CN107123099B - 人机界面数据采集方法 - Google Patents
人机界面数据采集方法 Download PDFInfo
- Publication number
- CN107123099B CN107123099B CN201710289656.3A CN201710289656A CN107123099B CN 107123099 B CN107123099 B CN 107123099B CN 201710289656 A CN201710289656 A CN 201710289656A CN 107123099 B CN107123099 B CN 107123099B
- Authority
- CN
- China
- Prior art keywords
- human
- image
- computer interface
- wide
- angle camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000003702 image correction Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 238000009432 framing Methods 0.000 claims abstract description 4
- 230000008859 change Effects 0.000 claims description 5
- 240000004282 Grewia occidentalis Species 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013480 data collection Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种人机界面数据采集方法,其包括如下步骤:提供广角摄像头、面光源装置、上位机及人机界面,并将所述广角摄像头及面光源装置对准所述人机界面;启动所述广角摄像头及面光源装置,进行亮度检测、光源控制,使所述广角摄像头获取清晰图像;所述人机界面连接所述上位机进行屏幕标定;通过所述摄像头获取任意像素点传输给所述上位机进行图像矫正;通过所述上位机进行模板配置,框选矫正后的图像中的多个矩形兴趣区并建立模版库;通过所述广角摄像头获取实时人机界面的图像并传输给所述上位机进行模式匹配;所述上位机进行数据比较,之后将数据传输给无线收发模块。该人机界面采集方法,操作简单,通用性强,可快速获得数据。
Description
技术领域
本发明涉及机械自动化控制技术领域,特别是涉及一种人机界面数据采集方法。
背景技术
当前工业生产已实现一定程度的机械化和自动化,生产设备是获取生产过程数据的最主要来源,如果不能从生产设备单元直接获取一手数据,就不得不采用外接传感器、射频识别、产品条码等形式获取生产数据,增加了成本和实施难度,且影响数据采集的准确性。但是在以上数据采集过程中经常是从数据接口中导出的,由于缺乏强制统一的标准,不同行业、不同设备、不同厂商、不同型号、甚至不同版本中的数据接口难以一致和标准化,加大了数据采集的难度。经常要根据不同设备环境争对性的开发数据采集装置和***,致使设备数据采集的研发成本和维护成本提高,操作繁琐且通用性差。
发明内容
基于此,有必要针对人机界面数据采集存在的问题,提供一种简单通用、速配的人机界面数据采集方法。
一种人机界面数据采集方法,包括如下步骤:
第一步骤:提供广角摄像头、面光源装置、上位机及人机界面,并将所述广角摄像头及面光源装置对准所述人机界面;
第二步骤:启动所述广角摄像头及面光源装置,进行亮度检测、光源控制,使所述广角摄像头获取清晰图像;
第三步骤:所述人机界面连接所述上位机进行屏幕标定;
第四步骤:通过所述摄像头获取任意像素点传输给所述上位机进行图像矫正;
第五步骤:通过所述上位机进行模板配置,框选矫正后的图像中的多个矩形兴趣区并建立模版库;
第六步骤:通过所述广角摄像头获取实时人机界面的图像并传输给所述上位机进行模式匹配;
第七步骤:所述上位机进行数据比较,之后将数据传输给无线收发模块。
上述人机界面数据采集方法,通过广角摄像头、面光源装置、上位机协调配合,可以对不同行业、不同设备、不同厂商、不同型号、不同版本的人机界面进行数据采集。通过广角摄像头的图像获取、上位机的屏幕标定、图像矫正、模板配置及模式匹配,可以准确快速地获取人机界面数据。该人机界面数据采集方法,不会因不同设备环境针对性开发数据采集装置与***,操作简单,通用性强,可快速获得数据。
在其中一个实施例中,所述第二步骤将所述面光源装置覆盖照射所述人机界面,并根据所述广角摄像头获取的平均亮度控制光源亮度,实施负反馈补偿,消除环境光线变化带来的影响。
在其中一个实施例中,所述第三步骤具体为:从所述广角摄像头获取的图像中顺时针提取人机界面的四角像素坐标A1(x1,y1)、A2(x2,y2)、A3(x3,y3)、A4(x4,y4),实际测量所述人机界面的宽W和高H,得到实际坐标B1(0,0)、B2(0,H)、B3(W,H)、B4(W,0)。
在其中一个实施例中,所述像素坐标、实际坐标之间满足式1:
根据式1得出变换参数SET(A…H)。
在其中一个实施例中,所述图像矫正通过所述广角摄像头获取图像的任一像素坐标Ai(xi,yi),并输送给所述上位机,根据式2:
X=(A*x+B*y+C)/(x+G*y+H)
Y=(D*x+E*y+F)/(x+G*y+H)
得到实际坐标Bi(Xi,Yi),按Bi绘制图像,完成图像矫正。
在其中一个实施例中,所述矩形兴趣区包括起始坐标(Xn,Yn)、宽Wn、高Hn、及区域内的图像Pn。
在其中一个实施例中,所述起始坐标(Xn,Yn)、宽Wn、高Hn、及区域内的图像Pn形成模版库:R1(X1,Y1,W1,H1,P1)、R2(X2,Y2,W3,H4,P5)…Rn(Xn,Yn,Wn,Hn,Pn)。
在其中一个实施例中,所述数据比较包括:
a、将首次模式匹配后得到的数值直接传给后续单元,并存储到内存中;
b、将后续模式匹配的得到的数值与内存中存储的数值进行比较;
c、如果数据相同则丢弃,如果不同则传给后续单元,并更新存储在当前数值的内存中。
附图说明
图1为本发明人机界面数据采集方法的流程示意图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
需要说明的是,当元件被称为“固定于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
请参照图1为本发明一较佳实施例人机界面数据采集方法的流程示意图,该人机界面数据采集方法包括如下步骤:
第一步骤:提供广角摄像头、面光源装置、上位机及人机界面,并将广角摄像头及面光源装置对准人机界面。
第二步骤:启动广角摄像头及面光源装置,进行亮度检测、光源控制,将面光源装置覆盖照射人机界面,并根据广角摄像头获取的平均亮度控制光源亮度,实施负反馈补偿,消除环境光线变化带来的影响,使广角摄像头获取清晰图像。
第三步骤:人机界面连接上位机进行屏幕标定,从广角摄像头获取的图像中顺时针提取人机界面的四角像素坐标A1(x1,y1)、A2(x2,y2)、A3(x3,y3)、A4(x4,y4),实际测量人机界面的宽W和高H,得到实际坐标B1(0,0)、B2(0,H)、B3(W,H)、B4(W,0)。像素坐标、实际坐标之间满足式1:
根据式1采用高斯消元法求解得出变换参数SET(A…H),存储A…H参数备用。
第四步骤:通过摄像头获取任意像素点传输给上位机进行图像矫正,图像矫正通过所述广角摄像头获取图像的任一像素坐标Ai(xi,yi),并输送给所述上位机,根据式2:
X=(A*x+B*y+C)/(x+G*y+H)
Y=(D*x+E*y+F)/(x+G*y+H)
得到实际坐标Bi(Xi,Yi),按Bi绘制图像,完成图像矫正。
第五步骤:通过上位机进行模板配置,框选矫正后的图像中的多个矩形兴趣区并建立模版库,矩形兴趣区包括指示灯、数码字符等等。其中,矩形兴趣区包括起始坐标(Xn,Yn)、宽Wn、高Hn、及区域内的图像Pn,起始坐标(Xn,Yn)、宽Wn、高Hn、及区域内的图像Pn形成模版库:R1(X1,Y1,W1,H1,P1)、R2(X2,Y2,W3,H4,P5)…Rn(Xn,Yn,Wn,Hn,Pn)。
第六步骤:通过广角摄像头获取实时人机界面的图像并传输给上位机进行模式匹配;模式匹配对当前获取的设备人机界面图像并调取模版库中的模板集合,按照起始坐标(Xn,Yn)、宽Wn、高Hn、及区域内的图像Pn进行匹配,获取各矩形兴趣区的数值。
第七步骤:上位机进行数据比较,之后将数据传输给无线收发模块,其中数据比较包括:
a、将首次模式匹配后得到的数值直接传给后续单元,并存储到内存中;
b、将后续模式匹配的得到的数值与内存中存储的数值进行比较;
c、如果数据相同则丢弃,如果不同则传给后续单元,并更新存储在当前数值的内存中。
屏幕标定仅在首次安装时进行,模板配置仅在发现人机界面出现跟预定设置的有差错时进行更改采集数据。
无线收发模块为一个低功耗局域网协议(ZigBee)无线数据收发节点,当有需要发送数据时,将本节点的变化及数据发送出去,当没有需要发送的数据时,节点处于休眠状态。多个本数据采集装置就对应包含多个无线数据收发节点,它们可以组成基于人机界面的无线数据采集网络,各节点间通过Z-Stack协议通信,它们可以被灵活的部署在需要进行设备工作监控的任何设备上。
上述人机界面数据采集方法,通过广角摄像头、面光源装置、上位机协调配合,可以对不同行业、不同设备、不同厂商、不同型号、不同版本的人机界面进行数据采集。通过广角摄像头的图像获取、上位机的屏幕标定、图像矫正、模板配置及模式匹配,可以准确快速地获取人机界面数据。该人机界面数据采集方法,不会因不同设备环境针对性开发数据采集装置与***,操作简单,通用性强,可快速获得数据。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种人机界面数据采集方法,其特征在于,包括如下步骤:
第一步骤:提供广角摄像头、面光源装置、上位机及人机界面,并将所述广角摄像头及面光源装置对准所述人机界面;
第二步骤:启动所述广角摄像头及面光源装置,进行亮度检测、光源控制,使所述广角摄像头获取清晰图像;
第三步骤:所述人机界面连接所述上位机进行屏幕标定;
第四步骤:通过所述摄像头获取任意像素点传输给所述上位机进行图像矫正;
第五步骤:通过所述上位机进行模板配置,框选矫正后的图像中的多个矩形兴趣区并建立模版库;
第六步骤:通过所述广角摄像头获取实时人机界面的图像并传输给所述上位机进行模式匹配;
第七步骤:所述上位机进行数据比较,之后将数据传输给无线收发模块;
所述第三步骤具体为:从所述广角摄像头获取的图像中顺时针提取人机界面的四角像素坐标A1(x1,y1)、A2(x2,y2)、A3(x3,y3)、A4(x4,y4),实际测量所述人机界面的宽W和高H,得到实际坐标B1(0,0)、B2(0,H)、B3(W,H)、B4(W,0);
所述像素坐标、实际坐标之间满足式1:
根据式1得出变换参数SET(A…H)。
2.根据权利要求1所述的人机界面数据采集方法,其特征在于,所述第二步骤将所述面光源装置覆盖照射所述人机界面,并根据所述广角摄像头获取的平均亮度控制光源亮度,实施负反馈补偿,消除环境光线变化带来的影响。
3.根据权利要求1所述的人机界面数据采集方法,其特征在于,所述图像矫正通过所述广角摄像头获取图像的任一像素坐标Ai(xi,yi),并输送给所述上位机,根据式2:
X=(A*x+B*y+C)/(x+G*y+H)
Y=(D*x+E*y+F)/(x+G*y+H)
得到实际坐标Bi(Xi,Yi),按Bi绘制图像,完成图像矫正。
4.根据权利要求1所述的人机界面数据采集方法,其特征在于,所述矩形兴趣区包括起始坐标(Xn,Yn)、宽Wn、高Hn、及区域内的图像Pn。
5.根据权利要求4所述的人机界面数据采集方法,其特征在于,所述起始坐标(Xn,Yn)、宽Wn、高Hn、及区域内的图像Pn形成模版库:R1(X1,Y1,W1,H1,P1)、R2(X2,Y2,W3,H4,P5)…Rn(Xn,Yn,Wn,Hn,Pn)。
6.根据权利要求1所述的人机界面数据采集方法,其特征在于,所述数据比较包括:
a、将首次模式匹配后得到的数值直接传给后续单元,并存储到内存中;
b、将后续模式匹配的得到的数值与内存中存储的数值进行比较;
c、如果数据相同则丢弃,如果不同则传给后续单元,并更新存储在当前数值的内存中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710289656.3A CN107123099B (zh) | 2017-04-27 | 2017-04-27 | 人机界面数据采集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710289656.3A CN107123099B (zh) | 2017-04-27 | 2017-04-27 | 人机界面数据采集方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107123099A CN107123099A (zh) | 2017-09-01 |
CN107123099B true CN107123099B (zh) | 2020-02-14 |
Family
ID=59725130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710289656.3A Active CN107123099B (zh) | 2017-04-27 | 2017-04-27 | 人机界面数据采集方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107123099B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101709957A (zh) * | 2009-12-14 | 2010-05-19 | 上海应用技术学院 | 基于机器视觉的直线度自动测量方法 |
CN102483751A (zh) * | 2009-10-15 | 2012-05-30 | 博世汽车部件(苏州)有限公司 | 具有改进的目的地搜索功能的导航***和方法 |
CN102611822A (zh) * | 2012-03-14 | 2012-07-25 | 海信集团有限公司 | 投影仪及其投影图像校正方法 |
CN102750067A (zh) * | 2011-04-19 | 2012-10-24 | 中国科学院软件研究所 | 一种基于手持设备的大屏幕交互方法 |
CN202563233U (zh) * | 2011-12-21 | 2012-11-28 | 海信集团有限公司 | 一种投影图像校正的装置 |
CN103093221A (zh) * | 2013-01-31 | 2013-05-08 | 冠捷显示科技(厦门)有限公司 | 一种智能跟踪阅读物并采集其图像的显示器及其方法 |
CN103839058A (zh) * | 2012-11-21 | 2014-06-04 | 方正国际软件(北京)有限公司 | 一种基于标准模版的文档图像的信息定位方法 |
CN105278659A (zh) * | 2014-06-18 | 2016-01-27 | 中国电信股份有限公司 | 基于视线追踪技术的目标定位方法和装置 |
CN105979234A (zh) * | 2016-06-13 | 2016-09-28 | Tcl集团股份有限公司 | 一种投影图像校正的方法及投影装置 |
CN105989577A (zh) * | 2015-02-17 | 2016-10-05 | 中兴通讯股份有限公司 | 一种图像校正的方法和装置 |
-
2017
- 2017-04-27 CN CN201710289656.3A patent/CN107123099B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102483751A (zh) * | 2009-10-15 | 2012-05-30 | 博世汽车部件(苏州)有限公司 | 具有改进的目的地搜索功能的导航***和方法 |
CN101709957A (zh) * | 2009-12-14 | 2010-05-19 | 上海应用技术学院 | 基于机器视觉的直线度自动测量方法 |
CN102750067A (zh) * | 2011-04-19 | 2012-10-24 | 中国科学院软件研究所 | 一种基于手持设备的大屏幕交互方法 |
CN202563233U (zh) * | 2011-12-21 | 2012-11-28 | 海信集团有限公司 | 一种投影图像校正的装置 |
CN102611822A (zh) * | 2012-03-14 | 2012-07-25 | 海信集团有限公司 | 投影仪及其投影图像校正方法 |
CN103839058A (zh) * | 2012-11-21 | 2014-06-04 | 方正国际软件(北京)有限公司 | 一种基于标准模版的文档图像的信息定位方法 |
CN103093221A (zh) * | 2013-01-31 | 2013-05-08 | 冠捷显示科技(厦门)有限公司 | 一种智能跟踪阅读物并采集其图像的显示器及其方法 |
CN105278659A (zh) * | 2014-06-18 | 2016-01-27 | 中国电信股份有限公司 | 基于视线追踪技术的目标定位方法和装置 |
CN105989577A (zh) * | 2015-02-17 | 2016-10-05 | 中兴通讯股份有限公司 | 一种图像校正的方法和装置 |
CN105979234A (zh) * | 2016-06-13 | 2016-09-28 | Tcl集团股份有限公司 | 一种投影图像校正的方法及投影装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107123099A (zh) | 2017-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU86023U1 (ru) | Двухпротокольный портативный инструмент технического обслуживания в полевых условиях с возможностью радиочастотной связи | |
CN103776841B (zh) | 合成革缺陷自动检测装置及检测方法 | |
EP1596324A2 (en) | Contactless data carrier system | |
US9241110B2 (en) | Information display device and information device system | |
CN105137389B (zh) | 一种视频辅助射频定位方法和装置 | |
US11646807B2 (en) | Methods including detecting cables connected to ports of communications network equipment and related systems | |
RU2728726C2 (ru) | Базовая станция для сбора данных от локализованных датчиков | |
CN109556510B (zh) | 位置检测装置以及计算机可读存储介质 | |
US20160370787A1 (en) | Operation management system | |
US20190114816A1 (en) | Augmented reality light beacon | |
CN109945992B (zh) | 一种带温度传感器的电子标签的校准方法 | |
CN108627104A (zh) | 一种零部件高度尺寸的点激光测量方法 | |
US20230271325A1 (en) | Industrial internet of things systems for monitoring collaborative robots with dual identification, control methods and storage media thereof | |
CN104581038A (zh) | 摄像头位置识别*** | |
CN112308930B (zh) | 相机外参标定方法、***及装置 | |
CN104243815A (zh) | 一种对焦方法及电子设备 | |
CN108180935B (zh) | 传感器的故障检测方法及装置 | |
CN102236777A (zh) | 一种手持式移动数据采集终端 | |
CN107493377B (zh) | 一种基于移动终端应用的热工参数采集装置与方法 | |
CN107123099B (zh) | 人机界面数据采集方法 | |
CN106709388B (zh) | 一种读写器功率校准装置及校准方法 | |
US11402244B2 (en) | Automatic calibration of a measuring circuit | |
US20150262414A1 (en) | Image processing device, image processing method, and image processing program | |
EP4332940A1 (en) | Measurement device and method for transmitting output of sensor in measurement device | |
US20140052302A1 (en) | Method and sensor node for managing power consumption and power consumption information collection apparatus using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |