CN108243067A - 一种基于wifi探测的用户终端数据采集*** - Google Patents
一种基于wifi探测的用户终端数据采集*** Download PDFInfo
- Publication number
- CN108243067A CN108243067A CN201611201808.1A CN201611201808A CN108243067A CN 108243067 A CN108243067 A CN 108243067A CN 201611201808 A CN201611201808 A CN 201611201808A CN 108243067 A CN108243067 A CN 108243067A
- Authority
- CN
- China
- Prior art keywords
- data
- server
- wifi
- acquisition system
- wifi probe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims description 9
- 239000000523 sample Substances 0.000 claims abstract description 25
- 230000006835 compression Effects 0.000 claims abstract description 10
- 238000007906 compression Methods 0.000 claims abstract description 10
- 230000004044 response Effects 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 claims description 11
- 238000012856 packing Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 4
- 241001269238 Data Species 0.000 abstract description 3
- 238000004321 preservation Methods 0.000 abstract description 3
- 238000011084 recovery Methods 0.000 abstract description 3
- 238000011897 real-time detection Methods 0.000 abstract description 2
- 238000003860 storage Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000013480 data collection Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013481 data capture Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Cardiology (AREA)
- General Health & Medical Sciences (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于wifi探测的用户终端数据采集***，包括wifi探针设备端和服务器端。所述wifi探针设备端采集mac地址数据并将mac地址数据进行压缩上传至服务器，此外还会按设定时间间隔向服务器端发送心跳包数据。服务器端回复设备端发送的心跳包的应答，并提供给设备端设置更新的下载服务。本发明提出的wifi探针数据采集***的特点有：1)更加灵活2)上传数据量少，对带宽要求小，同时又保证了时间粒度。3)容错性好，可靠性高，数据不容易丢失，网络中断后具有保存数据等网络恢复再重新传输的功能。4)可以实时探测wifi探针设备状态。5)可以实现设备设置的自动更新功能。
Description
技术领域
本发明涉及一种采集***，具体是一种基于wifi探测的用户终端数据采集***。
背景技术
当前已经有一些设备可以用户终端无线网卡的mac地址进行采集。(所谓的用户终端主要是手机、平板电脑、笔记本等带wifi上网功能的设备)。采集的数据可以进行人流量的计算，区域入口密度的计算，以及进行大数据的匹配等等。这些设备可以称为wifi探针设备。但是现有的wifi探针设备采集数据和上传数据的方式存在各自的问题：有的过于注重实时性，抓到mac地址数据就往服务器发送没有做处理或者做了少量处理，但是数据量都很大，会导致丢失或者占有大量网络带宽。而商业场景下的mac地址数据采集有其特点，不一定实时性要求那么高；也有的做了数据处理，但是保存在设备本身的存储介质中，需要定期去从设备拷贝数据出来，导致数据获取的实时性不高也不太方便。
因此，需要改进现有的数据采集的方法，即能够尽量缩小传输数据量以便适应某些较差的网络环境，而且又能保持wifi数据传输的稳定性。另外，在保证实时性方面，需要提供与数据采集设备的实时交互的方法。
发明内容
本发明的目的在于提供一种结构简单、使用方便的基于wifi探测的用户终端数据采集***，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于wifi探测的用户终端数据采集***，包括wifi探针设备端和服务器端，所述wifi探针设备端采集mac地址数据并将mac地址数据进行压缩上传至服务器，此外还会按设定时间间隔向服务器端发送心跳包数据。服务器端回复设备端发送的心跳包的应答，并提供给设备端需更新配置的下载服务。
作为本发明的优选方案：所述wifi探针设备端包括数据去重子模块、数据记录子模块、数据打包模块、数据上传模块、实时通讯模块和服务器，探针数据依次通过去重子模块、数据记录子模块、数据打包模块和数据上传模块传输到服务端，实时通讯模块也连接服务器。
与现有技术相比，本发明的有益效果是：本发明提出的wifi探针数据采集***的特点有：1)更加灵活2)上传数据量少，对带宽要求小，同时又保证了时间粒度。3)容错性好，可靠性高，数据不容易丢失，网络中断后具有保存数据等网络恢复再重新传输的功能。4)可以实时探测wifi探针设备状态。5)可以启动设备设置的自动更新功能。
附图说明
图1是wifi探针数据采集***示意图；
图2是wifi探针设备端软件流程图；
图3是服务器端软件流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-3，一种基于wifi探测的用户终端数据采集***，包括wifi探针设备端和服务器端。所述wifi探针设备端采集mac数据并将mac数据进行压缩上传至服务器，此外还会按设定时间间隔向服务器端发送心跳包数据。服务器端回复设备端发送的心跳包的应答，并提供给设备端需更新配置的下载服务。
wifi探针设备端包括数据去重子模块、数据记录子模块、数据打包模块、数据上传模块、实时通讯模块和服务器，探针数据依次通过去重子模块、数据记录子模块、数据打包模块和数据上传模块传输到服务端，实时通讯模块也连接服务器。
本发明的工作原理是：整个数据采集***分为wifi探针设备端和服务器端。其中wifi探针设备端的软件主要分为数据抓取模块、数据打包模块、数据上传模块和实时通讯模块。服务器端的软件主要分为ftp数据采集伺服模块、数据入库伺服模块和实时通讯伺服模块。
设备端实现方法描述如下：
1、数据抓取模块分为数据去重子模块和数据记录子模块。
数据去重子模块是可以将设定时间内抓取的数据进行去重处理，以便有效减少重复抓取数据，从而使存储的抓取数据大量减少。经过去重处理模块不重复的数据才被数据记录子模块处理。
数据记录子模块负责把抓取的用户终端数据写入文本文件，此文件称为数据记录文件。记录的数据包括终端的mac地址，抓取时间戳、位置信息等，以文本格式逐条保存到。此文件保存的记录条数根据数据采集策略来决定。数据采集策略主要有两种：1)单个数据记录文件存储固定的数据条数。2)单个数据记录文件存储固定时间内采集的数据条数。当采集的数据满足数据采集策略的要求时，结束对此数据记录文件的写入，重新创建一个新的数据记录文件。同时通知数据打包模块可以进行打包已经结束写入的数据记录文件。
2、数据打包模块驻留在***中，负责将生产的数据记录文件进行zip压缩打包。打包完成删除原数据记录文件以节省存储空间。然后，将打包文件放入指定的存储目录。这个目录可以是在设备本地的flash存储也可以是***的存储介质比如tf卡等。生成的压缩包名中必须包括设备序号和时间戳，以便服务器端处理。
3、数据上传模块负责根据原先设置的ftp地址和登陆方法将存储数据压缩包的目录里面的压缩包文件上传到ftp服务器。如果此目录里面有多个文件则按照压缩包文件生成的时间依次上传。上传完成一个压缩包后，将ftp服务器上的同名文件大小与此上传文件的大小进行比对，如果一致则确认上传完成，可以删除此文件，否则继续保留此文件重新尝试上传。如果网络中断或者服务器出问题无法完成上传，则数据压缩包不会有丢失仍旧存储在此目录中。
4、实时通讯模块负责上报服务器设备的实时状态和查询服务器的更新。以设定的时间间隔发送实时状态给设定的服务器的指定端口。称为发送心跳包。服务器返回接受成功的消息。返回消息分为接受应答消息和更新消息。如果是应答消息表明正确接受上报的心跳包；如果是更新消息，则根据返回的更新消息中所带的服务器地址和端口，去下载更新的配置文件。配置文件的末尾自带16位的CRC校验码，如果此配置文件的CRC16的校验通过则去除此末两个字节将配置文件覆盖原有的配置文件，并将设备重启，达到更新设置的目的。
服务器端实现方法描述如下：
1、ftp数据采集伺服模块主要是搭建ftp服务器。采用设备分组的方式，50个设备一组账号登陆，以免一个ftp目录下的数据文件过多。采用域名方式登陆服务器可以在多台数据采集设备配置不同的域名，以便某一台ftp服务器过多的设备连接。
2、数据入库伺服模块主要是服务器里定时自动运行的脚本。这些脚本到每个ftp的目录下解压缩上传的数据文件，根据压缩包的文件名中的设备名拷贝数据压缩包到相应名字的目录中并进行zip解压缩。解压缩的出来数据记录文件可以运用工具直接导入mysql数据库。
实时通讯伺服模块。主要是服务器端用于接收设备端定时发送的心跳包，接收到心跳包之后，回复一个返回消息包。接收消息包在不需要设备作配置更新时，返回一个简单的状态码。当需要设备更新设置时，返回消息包的状态码设置更新标记，同时后面附上设置文件的下载地址。
1)本发明的效果体现在以下几点：灵活性。采用两种数据采集策略，对采集的终端数据进行存储并压缩打包。这两种策略分别是固定数据条数和固定时间间隔。固定数据条数是指达到一定的数据采集条数就保存一个文件并压缩上传，这样容易根据设备所在位置带宽情况和人流量进行合适的设置。比如对带宽流量要求高的，条数设置大些，以便传输次数少节省通讯开销。又比如人流密集的场所，设置固定条数上传并且条数设置多些压缩比率也高。而固定时间间隔，是指达到设置的时间间隔(比如5分钟)，就把这段时间间隔的所有采集数据保存一个文件并打包上传。这种策略用在人流稀少的场所，适合判断设备数据上传是否正常，因为固定时间都有数据包上传，不会长时间看不到上传数据。
2)上传数据量少，对带宽要求小，同时又保证了时间粒度。数据的去重处理子模块将可设定的合适时间内(比如1分钟)抓取的重复mac地址数据进行合并，适合商业条件下实时性不高的需求，又防止合并时间过长，探测时间不精确。同时又有效减少了数据量。另外，通过zip压缩方式平均又把数据量压缩了很多(实测平均5倍以上)。
3)数据传输采用ftp方式上传成功才把设备本地存储的zip压缩包删除，如果网络中断或者通讯情况不佳，则数据压缩包会一直保存在设备的内部存储或者外插存储卡中。网络恢复后还是可以继续上传。因此有容错性好，可靠性高，数据不容易丢失的特点。
4)Wifi探针设备按设定时间间隔发送心跳包，服务器收到心跳包后回复返回消息包。可以用于记录和探测设备状态。设定时间间隔可以满足应用最低的时间粒度。
5)服务器在设备需要更新设置时返回的消息包包含设置下载地址，设备可根据此地址进行设置更新从而实现自动的设备设置更新功能。
Claims (2)
1.一种基于wifi探测的用户终端数据采集***，包括wifi探针设备端和服务器端，其特征在于，所述wifi探针设备端采集mac地址数据并将数据进行压缩上传至服务器端，按设定时间间隔发送心跳包数据给服务器端，服务器端能回复心跳包应答消息，并提供给设备端设置更新的下载服务。
2.根据权利要求1所述的一种基于wifi探测的用户终端数据采集***，其特征在于，所述wifi探针设备端包括数据去重子模块、数据记录子模块、数据打包模块、数据上传模块、实时通讯模块和服务器，探针数据依次通过去重子模块、数据记录子模块、数据打包模块和数据上传模块传输到服务端，实时通讯模块也连接服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611201808.1A CN108243067A (zh) | 2016-12-23 | 2016-12-23 | 一种基于wifi探测的用户终端数据采集*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611201808.1A CN108243067A (zh) | 2016-12-23 | 2016-12-23 | 一种基于wifi探测的用户终端数据采集*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108243067A true CN108243067A (zh) | 2018-07-03 |
Family
ID=62703293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611201808.1A Pending CN108243067A (zh) | 2016-12-23 | 2016-12-23 | 一种基于wifi探测的用户终端数据采集*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108243067A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109089301A (zh) * | 2018-07-19 | 2018-12-25 | 深圳云盈网络科技有限公司 | 网络数据处理***及方法 |
| CN109150617A (zh) * | 2018-09-04 | 2019-01-04 | 上海瀚讯信息技术股份有限公司 | 一种自组织网络路由规划和动态优化的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102130950A (zh) * | 2011-03-14 | 2011-07-20 | 中国科学技术大学苏州研究院 | 基于Hadoop集群的分布式监控***及其监控方法 |
| CN103051635A (zh) * | 2012-12-28 | 2013-04-17 | 宁波新然电子信息科技发展有限公司 | 流媒体服务器与终端间的通讯方法 |
| CN104778642A (zh) * | 2015-03-20 | 2015-07-15 | 北京邮电大学 | 基于WiFi的校园用户数据处理方法、服务器和监测*** |
| CN105204922A (zh) * | 2014-06-30 | 2015-12-30 | 金电联行（北京）信息技术有限公司 | 一种数据采集平台客户端采集方法 |
| CN105813019A (zh) * | 2016-03-08 | 2016-07-27 | 深圳市百米生活股份有限公司 | 一种基于wifi热点设备的定位管理方法 |
-
2016
- 2016-12-23 CN CN201611201808.1A patent/CN108243067A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102130950A (zh) * | 2011-03-14 | 2011-07-20 | 中国科学技术大学苏州研究院 | 基于Hadoop集群的分布式监控***及其监控方法 |
| CN103051635A (zh) * | 2012-12-28 | 2013-04-17 | 宁波新然电子信息科技发展有限公司 | 流媒体服务器与终端间的通讯方法 |
| CN105204922A (zh) * | 2014-06-30 | 2015-12-30 | 金电联行（北京）信息技术有限公司 | 一种数据采集平台客户端采集方法 |
| CN104778642A (zh) * | 2015-03-20 | 2015-07-15 | 北京邮电大学 | 基于WiFi的校园用户数据处理方法、服务器和监测*** |
| CN105813019A (zh) * | 2016-03-08 | 2016-07-27 | 深圳市百米生活股份有限公司 | 一种基于wifi热点设备的定位管理方法 |
Non-Patent Citations (1)
| Title |
|---|
| 向庭勇;向庭波;: "用大数据技术构建公安wifi侦测***的研究与应用" * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109089301A (zh) * | 2018-07-19 | 2018-12-25 | 深圳云盈网络科技有限公司 | 网络数据处理***及方法 |
| CN109089301B (zh) * | 2018-07-19 | 2021-01-15 | 深圳云盈网络科技有限公司 | 网络数据处理***及方法 |
| CN109150617A (zh) * | 2018-09-04 | 2019-01-04 | 上海瀚讯信息技术股份有限公司 | 一种自组织网络路由规划和动态优化的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111291079A (zh) | 一种数据的查询方法和装置 | |
| CN106709043A (zh) | 一种基于数据库日志的数据同步加载方法 | |
| CN105391524B (zh) | Qar数据自动化管理方法及*** | |
| US10681115B2 (en) | Multimedia data transmission method and device | |
| CN108243067A (zh) | 一种基于wifi探测的用户终端数据采集*** | |
| CN109150617A (zh) | 一种自组织网络路由规划和动态优化的方法 | |
| CN108093016A (zh) | 一种图片存储方法、装置及视频监控*** | |
| CN103490978A (zh) | 终端、服务器和消息监视方法 | |
| CN106709053A (zh) | 数据切片管理方法及*** | |
| CN108228476B (zh) | 一种数据获取方法及装置 | |
| CN102984240B (zh) | 一种导入、导出联系人的方法及装置 | |
| CN102820982B (zh) | 数据传输方法和装置 | |
| CN116991858A (zh) | 变更数据的采集方法、采集装置和数据采集*** | |
| CN111935237B (zh) | 日志处理方法及***、电子设备及存储介质 | |
| CN103049351B (zh) | 多元数据服务器的日志处理方法和装置 | |
| CN109620193A (zh) | 血压监测单元以及*** | |
| CN112764673B (zh) | 高光谱线阵数据存储速率优化方法、装置和存储介质 | |
| CN205427832U (zh) | 数据库容灾装置 | |
| CN109947371B (zh) | 数据记录方法、装置、存储器及t-box | |
| CN106528602A (zh) | 节省智能终端存储空间的方法及装置 | |
| US11513769B2 (en) | Data acquisition system, input device, data acquisition apparatus, and data combining apparatus | |
| CN112783724A (zh) | 一种日志抓取调试方法、***、智能设备及存储介质 | |
| CN112422618A (zh) | 位置感应数据上报方法、装置及*** | |
| CN111597098A (zh) | 一种数据处理方法以及设备 | |
| CN114245052B (zh) | 视频数据的存储方法及装置、存储介质、电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180703 |
|
| RJ01 | Rejection of invention patent application after publication |