CN115309802A - 用户分布热力图获取方法、装置、电子设备及存储介质 - Google Patents

用户分布热力图获取方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115309802A
CN115309802A CN202210936873.8A CN202210936873A CN115309802A CN 115309802 A CN115309802 A CN 115309802A CN 202210936873 A CN202210936873 A CN 202210936873A CN 115309802 A CN115309802 A CN 115309802A
Authority
CN
China
Prior art keywords
information
user
position information
thermodynamic diagram
access log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210936873.8A
Other languages
English (en)
Inventor
冉冰冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Health Insurance Company of China Ltd
Original Assignee
Ping An Health Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Health Insurance Company of China Ltd filed Critical Ping An Health Insurance Company of China Ltd
Priority to CN202210936873.8A priority Critical patent/CN115309802A/zh
Publication of CN115309802A publication Critical patent/CN115309802A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种用户分布热力图获取方法、装置、电子设备及计算机可读存储介质。本发明提供的用户分布热力图获取方法，包括：获取用户的访问日志信息，将所述访问日志信息传输至数据收集引擎；在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息；将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，得到配置后的地理位置信息；利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图。本发明提供的用户分布热力图获取方法，可以通过用户的访问日志信息，获取用户分布热力图，提高了用户分布热力图的获取效率。

Description

用户分布热力图获取方法、装置、电子设备及存储介质
技术领域
本发明涉及热力图技术领域，尤其涉及一种用户分布热力图获取方法、装置、电子设备及计算机可读存储介质。
背景技术
热力图是利用不同颜色和颜色深浅来表示数据分布信息，可视化效果好，被广泛应用在各种统计分析中，热力图往往是以用户的点击数据为基础统计分析得到的。现有的用户分布热力图实现方案以前端开发展示为主，用户分布热力图获取效率较低。
发明内容
本发明的目的在于提供一种用户分布热力图获取方法，以解决现有技术中用户分布热力图获取效率较低的技术问题。
本发明提供的技术方案如下，提供了一种用户分布热力图获取方法，包括：
获取用户的访问日志信息，将所述访问日志信息传输至数据收集引擎；
在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息；
将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，得到配置后的地理位置信息；
利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图。
进一步地，将所述访问日志信息传输至数据收集引擎之前，还包括，对所述访问日志信息进行格式化，得到格式化后的访问日志信息，将所述格式化后的访问日志信息传输至标准日志中；对应的，将所述访问日志信息传输至数据收集引擎，包括，将标准日志中的所述格式化后的访问日志信息传输至数据收集引擎。
进一步地，将所述访问日志信息传输至数据收集引擎，包括：将用户访问IP信息、用户访问方法以及响应时间信息传输至数据收集引擎。
进一步地，在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息，包括：在数据收集引擎中对所述访问日志信息中的用户访问IP信息进行解析，得到IP信息对应的经纬度信息，对所述经纬度信息进行转换，得到所述用户的地理位置信息。
进一步地，将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，包括：将所述地理位置信息通过数据收集引擎的输出模块输出至所述搜索服务器，在可视化工具中配置所述搜索服务器中的所述地理位置信息。
进一步地，将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，包括：将所述地理位置信息通过Logstash的输出模块输出至搜索服务器中，在Grafana中配置所述搜索服务器中的所述地理位置信息。
进一步地，利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图，包括：
利用Grafana的地图插件读取所述配置后的地理位置信息，对所述读取的配置后的地理位置信息进行聚合，得到不同地理位置的用户访问人数信息，根据所述不同地理位置的用户访问人数信息获取用户分布热力图。
本发明提供的另一技术方案如下，提供了一种用户分布热力图获取装置，包括日志信息传输模块、日志信息处理模块、地理信息配置模块以及热力图获取模块；
所述日志信息传输模块，用于获取用户的访问日志信息，将所述访问日志信息传输至数据收集引擎；
所述日志信息处理模块，用于在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息；
所述地理信息配置模块，用于将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，得到配置后的地理位置信息；
所述热力图获取模块，用于利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图。
本发明的有益效果在于：获取用户的访问日志信息，将所述访问日志信息传输至数据收集引擎；在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息；将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，得到配置后的地理位置信息；利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图；通过上述技术方案，可以通过用户的访问日志信息，获取用户分布热力图，提高了用户分布热力图的获取效率。
附图说明
图1为本发明实施例提供的用户分布热力图获取方法的流程示意图；
图2为本发明实施例提供的用户分布热力图获取装置的结构示意图；
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请中多个，是指两个或两个以上，在本申请的描述中，“第一”、“第二”、“第三”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
在本说明书中描述的参考“一个可选的实施方式”或“一个具体实施例中”等意味着在本申请的一个或多个实施方式中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
图1是本发明实施例的用户分布热力图获取方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的用户分布热力图获取方法并不以图1所示的流程顺序为限。如图1所示，该用户分布热力图获取方法，主要包括以下步骤：
S1，获取用户的访问日志信息，将所述访问日志信息传输至数据收集引擎；
其中，所述访问日志信息具体可以为前端访问日志信息，所述访问日志信息可以包括访问IP信息、访问方法以及访问响应时间等请求信息；
S2，在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息；
其中，所述地理位置信息可以包括国家、国家代码、省份、省份代码、城市以及经纬度信息；
S3，将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，得到配置后的地理位置信息；
S4，利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图。
本发明实施例提供的用户分布热力图获取方法，通过获取用户的访问日志信息，将所述访问日志信息传输至数据收集引擎；在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息；将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，得到配置后的地理位置信息；利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图；可以通过用户的访问日志信息，获取用户分布热力图，提高了用户分布热力图的获取效率。
在一个可选的实施方式中，在将所述访问日志信息传输至数据收集引擎之前，还包括，对所述访问日志信息进行格式化，得到格式化后的访问日志信息，将所述格式化后的访问日志信息传输至标准日志中；对应的，将所述访问日志信息传输至数据收集引擎，包括，将标准日志中的所述格式化后的访问日志信息传输至数据收集引擎。
一个具体实施例中，对所述访问日志信息进行格式化，具体为，通过nginx的log_format access模块将用户的nginx访问日志信息格式化，其中，nginx是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务，nginx可以在大多数UnixLinux OS上编译运行，并有Windows移植版，其占有内存少，并发能力强，并发能力在同类型的网页服务器中表现较好，log_format指令可以用于设置日志格式，access_log指令可以用于指定日志文件存放路径，一般在nginx的配置文件中进行日记配置。
在一个可选的实施方式中，将所述访问日志信息传输至数据收集引擎，包括：将用户访问IP信息、用户访问方法以及响应时间信息传输至数据收集引擎。
一个具体实施例中，用户访问方法(请求方法)可以包括get、post、put、delete、options等。其中，get请求是用来获取数据的，只是用来查询数据，不对服务器的数据做任何的修改、新增或者删除等操作。可以认为get请求是安全的以及幂等的；安全就是指不影响服务器的数据，幂等是指同一个请求发送多次返回的结果应该相同。get请求本身的HTTP协议并没有限制它的URL大小，但是不同的浏览器对其有不同的大小长度限制。post请求一般是对服务器的数据做改变，常用来数据的提交，新增操作，post请求的请求参数都是请求体中，post请求本身的HTTP协议也是没有限制大小的，限制它的是服务器的处理能力。put请求与post一样都会改变服务器的数据，put的侧重点在于对于数据的修改操作，但是post侧重于对于数据的增加。delete请求用来删除服务器的资源，options请求属于浏览器的预检请求，查看服务器是否接受请求，预检通过后，浏览器才会去发get、post、put、delete等请求；浏览器会将请求分为两类，简单请求与非简单请求，对于非简单请求会产生预检options请求。
在一个可选的实施方式中，在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息，包括：在数据收集引擎中对所述访问日志信息中的用户访问IP信息进行解析，得到IP信息对应的经纬度信息，对所述经纬度信息进行转换，得到所述用户的地理位置信息。
一个具体实施例中，安装GeoIp数据库到Logstash目录，通过服务器安装filebeat客户端或者pod中以边车的形式运行filebeat，获取访问日志信息并传输到Logstash，在Logstash中通过GeoIp对固定字段client IP(客户端IP)进行信息解析和经纬度信息转换，实现地理位置定位。其中，GeoIP为IP地理位置数据库，该数据库可以根据IP信息获得地理位置信息；Logstash是具有实时流水线能力的开源的数据收集引擎，Logstash可以动态统一不同来源的数据，并将数据标准化选择的目标输出，它提供了大量插件，可帮助解析、丰富、转换和缓冲任何类型的数据，所述Logstash还具备实时数据传输能力的管道，可以将数据信息从管道的输入端传输到管道的输出端；与此同时还可以根据需求，在中间加上滤网，Logstash提供里很多功能强大的滤网以满足各种应用场景。
其中，filebeat是一个日志文件托运工具，在服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件；pod为Kubernetes(Google开源的一个容器编排引擎)中的最小调度单元。
另一个具体实施例中，在filter(过滤器)中加入GeoIp配置的部分代码如下，
Figure BDA0003783828810000071
其中，上述代码中，第二行表示排除私网地址，第四行表示设置解析IP地址的字段，第五行表示将geoip数据保持到一个字段内，第六行表示IP地址数据库。通过上述配置转换，可以实现通过一个IP信息，可以解析并获取的地理位置信息，所述地理位置信息包括国家、国家代码、省份、省份代码、城市、经纬度信息等。
一些实施例中，得到所述用户的地理位置信息，如下所示
Figure BDA0003783828810000072
上述代码中，第二行表示ip地址，第三行和第四行表示国家代码，第五行表示国家名称，第六行表示大陆代码，第七行表示地区名称，第八行表示城市，第九行表示纬度，第十行表示经度，第十一行表示时区，第十二行表示真实区域名称，第十三行表示经纬度坐标。
在一个可选的实施方式中，将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，包括：将所述地理位置信息通过数据收集引擎的输出模块输出至所述搜索服务器，在可视化工具中配置所述搜索服务器中的所述地理位置信息。
一个具体实施例中，在将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息中，所述地理位置信息具体为经过Geoip转换后的数据，搜索服务器具体为Logstash，Elasticsearh具体为搜索服务器；在可视化工具中配置所述搜索服务器中的所述地理位置信息，具体为在可视化工具Grafana中配置所述搜索服务器中的所述地理位置信息。
其中，Grafana是一款用Go语言开发的开源数据可视化工具，可以用做数据监控和数据统计，带有告警功能；Grafana是拥有丰富dashboard和图表编辑的指标分析平台，和Kibana不同的是Grafana专注于时序类图表分析，而且支持多种数据源，如Graphite、InfluxDB、Elasticsearch、Mysql、K8s、Zabbix等。
在一个可选的实施方式中，将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，包括：将所述地理位置信息通过Logstash的输出模块输出至搜索服务器中，在Grafana中配置所述搜索服务器中的所述地理位置信息。
一个具体实施例中，在Grafana中配置新增的Elasticsearh的数据源，即地理位置信息，并新建一个展示面板，通过Elasticsearh的SQL语句灵活的配置需要展示的地理位置信息(即监控信息)，可以通过Grafana的图表模块展示。SQL语句为结构化查询语言，即为一种数据库查询和程序设计语言，其用于存取数据以及查询、更新和管理关系数据库***。上述展示面板可以新建和删除，以实现对热力图的灵活展示。
在一个可选的实施方式中，利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图，包括：
利用Grafana的地图插件读取所述配置后的地理位置信息，对所述读取的配置后的地理位置信息进行聚合，得到不同地理位置的用户访问人数信息，根据所述不同地理位置的用户访问人数信息获取用户分布热力图。
一个具体实施例中，在Grafana的数据源中配置上述Elasticsearh数据，利用Grafana的地图插件读取所述配置后的地理位置信息，即通过地图插件Grafana新增的Elasticsearh数据(地理位置信息)，该Elasticsearh数据可以展示在全球用户分布的热力图上。
具体实施时，通过配置Grafana的地图插件，读取对应Elasticsearh中存储的地理位置信息，对所述读取的配置后的地理位置信息进行聚合，聚合之后，得到事件序列的每个国家城市的访问人数信息，根据访问人数信息得到用户分布热力图。
本发明实施例提供了一种用户分布热力图获取方法，通过获取用户的访问日志信息，将所述访问日志信息传输至数据收集引擎；在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息；将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，得到配置后的地理位置信息；利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图；可以通过用户的访问日志信息，获取用户分布热力图，提高了用户分布热力图的获取效率。
需要说明的是，本发明实施例提供的用户分布热力图获取方法通过及时获取用户分布热力图，可以实现对用户分布热力图的监控，本发明实施例可以通过在服务软件所在的服务器安装agent或者容器做sidecar，进行访问日志抓取、格式化，传输存储数据库，然后对IP信息、访问方法以及响应时间之类的信息进行聚合处理Grafana展示；通过Logstash把获取的IP信息分别转换为经纬度信息，然后通过插件存储到geolite2数据库进行数据处理，最终输出国家城市信息，通过Grafana地图插件展示客户分布的全球热力图。由此得到的热力图包含国家维度和城市维度。
本发明实施例提供的用户分布热力图获取方法，可以对热力图进行进行多维度展示，可动态、灵活的进行数据可视化处理，此外，通过对Client ip进行地理位置信息确认，并把全量的地理位置信息存储到数据库，通过数据的聚合处理，可以分析一段时间内各个区域的访问人数。
本实施例提供的用户分布热力图获取方法，可以基于人工智能进行构建，基于人工智能技术对相关的数据进行获取和处理，实现无人值守的人工智能的用户分布热力图获取。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
图2是本发明实施例的用户分布热力图获取装置的结构示意图。如图2所示，该用户分布热力图获取装置20包括日志信息传输模块21、日志信息处理模块22、地理信息配置模块23以及热力图获取模块24；
所述日志信息传输模块21，用于获取用户的访问日志信息，将所述访问日志信息传输至数据收集引擎；
其中，所述访问日志信息具体可以为前端访问日志信息，所述访问日志信息可以包括访问IP信息、访问方法以及访问响应时间等请求信息；
所述日志信息处理模块22，用于在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息；
其中，所述地理位置信息可以包括国家、国家代码、省份、省份代码、城市以及经纬度信息；
所述地理信息配置模块23，用于将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，得到配置后的地理位置信息；
所述热力图获取模块24，用于利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图。
本发明实施例提供的用户分布热力图获取装置，通过所述日志信息传输模块，获取用户的访问日志信息，将所述访问日志信息传输至数据收集引擎；通过所述日志信息处理模块，在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息；通过所述地理信息配置模块，将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，得到配置后的地理位置信息；通过所述热力图获取模块，利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图；可以通过用户的访问日志信息，获取用户分布热力图，提高了用户分布热力图的获取效率。
在一个可选的实施方式中，所述日志信息传输模块21，还用于在将所述访问日志信息传输至数据收集引擎之前，对所述访问日志信息进行格式化，得到格式化后的访问日志信息，将所述格式化后的访问日志信息传输至标准日志中；所述日志信息传输模块21，将所述访问日志信息传输至数据收集引擎，包括，将标准日志中的所述格式化后的访问日志信息传输至数据收集引擎。
一个具体实施例中，对所述访问日志信息进行格式化，具体为，通过nginx的log_format access模块将用户的nginx访问日志信息格式化，其中，nginx是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务，nginx可以在大多数UnixLinux OS上编译运行，并有Windows移植版，其占有内存少，并发能力强，并发能力在同类型的网页服务器中表现较好，log_format指令可以用于设置日志格式，access_log指令可以用于指定日志文件存放路径，一般在nginx的配置文件中进行日记配置。
在一个可选的实施方式中，所述日志信息传输模块21，将所述访问日志信息传输至数据收集引擎，包括：将用户访问IP信息、用户访问方法以及响应时间信息传输至数据收集引擎。
其中，用户访问方法(请求方法)可以包括get、post、put、delete、options等。get请求是用来获取数据的，只是用来查询数据，不对服务器的数据做任何的修改、新增或者删除等操作。可以认为get请求是安全的以及幂等的；安全就是指不影响服务器的数据，幂等是指同一个请求发送多次返回的结果应该相同。get请求本身的HTTP协议并没有限制它的URL大小，但是不同的浏览器对其有不同的大小长度限制。post请求一般是对服务器的数据做改变，常用来数据的提交，新增操作，post请求的请求参数都是请求体中，post请求的HTTP协议也是没有限制大小的，限制它的是服务器的处理能力。put请求与post一样都会改变服务器的数据，put的侧重点在于对于数据的修改操作，但是post侧重于对于数据的增加。delete请求用来删除服务器的资源，options请求属于浏览器的预检请求，查看服务器是否接受请求，预检通过后，浏览器才会去发get、post、put，delete等请求。至于什么情况下浏览器会发预检请求，浏览器会会将请求分为两类，简单请求与非简单请求，非简单请求会产生预检options请求。
在一个可选的实施方式中，所述日志信息处理模块22，在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息，包括：在数据收集引擎中对所述访问日志信息中的用户访问IP信息进行解析，得到IP信息对应的经纬度信息，对所述经纬度信息进行转换，得到所述用户的地理位置信息。
一个具体实施例中，安装GeoIp数据库到Logstash目录，通过服务器安装filebeat客户端或者pod中以边车的形式运行filebeat，获取访问日志信息并传输到Logstash，在Logstash中通过GeoIp对固定字段client IP(客户端IP)进行信息解析和经纬度信息转换，实现地理位置定位。其中，GeoIP为IP地理位置数据库，该数据库可以根据IP信息获得地理位置信息；Logstash是具有实时流水线能力的开源的数据收集引擎，Logstash可以动态统一不同来源的数据，并将数据标准化选择的目标输出，它提供了大量插件，可帮助解析、丰富、转换和缓冲任何类型的数据，所述Logstash还具备实时数据传输能力的管道，可以将数据信息从管道的输入端传输到管道的输出端；与此同时还可以根据需求，在中间加上滤网，Logstash提供里很多功能强大的滤网以满足各种应用场景。
其中，filebeat是一个日志文件托运工具，在服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件；pod为Kubernetes(Google开源的一个容器编排引擎)中的最小调度单元。
在一个可选的实施方式中，所述地理信息配置模块23，将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，包括：将所述地理位置信息通过数据收集引擎的输出模块输出至所述搜索服务器，在可视化工具中配置所述搜索服务器中的所述地理位置信息。
一个具体实施例中，在将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息中，所述地理位置信息具体为经过Geoip转换后的数据，搜索服务器具体为Logstash，Elasticsearh具体为搜索服务器；在可视化工具中配置所述搜索服务器中的所述地理位置信息，具体为在可视化工具Grafana中配置所述搜索服务器中的所述地理位置信息。
其中，Grafana是一款用Go语言开发的开源数据可视化工具，可以用做数据监控和数据统计，带有告警功能；Grafana是拥有丰富dashboard和图表编辑的指标分析平台，和Kibana不同的是Grafana专注于时序类图表分析，而且支持多种数据源，如Graphite、InfluxDB、Elasticsearch、Mysql、K8s、Zabbix等。
在一个可选的实施方式中，所述地理信息配置模块23，将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，包括：将所述地理位置信息通过Logstash的输出模块输出至搜索服务器中，在Grafana中配置所述搜索服务器中的所述地理位置信息。
一个具体实施例中，在Grafana中配置新增的Elasticsearh的数据源，即地理位置信息，并新建一个展示面板，通过Elasticsearh的SQL语句灵活的配置需要展示的地理位置信息(即监控信息)，可以通过Grafana的图表模块展示。SQL语句为结构化查询语言，即为一种数据库查询和程序设计语言，其用于存取数据以及查询、更新和管理关系数据库***。上述展示面板可以新建和删除，以实现对热力图的灵活展示。
在一个可选的实施方式中，所述热力图获取模块24，利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图，包括：
利用Grafana的地图插件读取所述配置后的地理位置信息，对所述读取的配置后的地理位置信息进行聚合，得到不同地理位置的用户访问人数信息，根据所述不同地理位置的用户访问人数信息获取用户分布热力图。
一个具体实施例中，在Grafana的数据源中配置上述Elasticsearh数据，利用Grafana的地图插件读取所述配置后的地理位置信息，即通过地图插件Grafana新增的Elasticsearh数据(地理位置信息)，该Elasticsearh数据可以展示在全球用户分布的热力图上。
具体实施时，通过配置Grafana的地图插件，读取对应Elasticsearh中存储的地理位置信息，对所述读取的配置后的地理位置信息进行聚合，聚合之后，得到事件序列的每个国家城市的访问人数信息，根据访问人数信息得到用户分布热力图。
本发明实施例提供的用户分布热力图获取装置，通过所述日志信息传输模块，获取用户的访问日志信息，将所述访问日志信息传输至数据收集引擎；通过所述日志信息处理模块，在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息；通过所述地理信息配置模块，将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，得到配置后的地理位置信息；通过所述热力图获取模块，利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图；可以通过用户的访问日志信息，获取用户分布热力图，提高了用户分布热力图的获取效率。本发明实施例提供的用户分布热力图获取装置，通过及时获取用户分布热力图，可以实现对用户分布热力图的监控，本发明实施例可以通过在服务软件所在的服务器安装agent或者容器做sidecar，进行访问日志抓取、格式化，传输存储数据库，然后对IP信息、访问方法以及响应时间之类的信息进行聚合处理Grafana展示；通过Logstash把获取的IP信息分别转换为经纬度信息，然后通过插件存储到geolite2数据库进行数据处理，最终输出国家城市信息，通过Grafana地图插件展示客户分布的全球热力图。由此得到的热力图包含国家维度和城市维度。
本发明实施例提供的用户分布热力图获取装置，可以对热力图进行进行多维度展示，可动态、灵活的进行数据可视化处理，此外，通过对Client ip进行地理位置信息确认，并把全量的地理位置信息存储到数据库，通过数据的聚合处理，可以分析一段时间内各个区域的访问人数。
图3是本发明实施例的电子设备的结构示意图。如图3所示，该电子设备30包括处理器31及和处理器31通信连接的存储器32。
存储器32存储有用于实现上述任一实施例的所述用户分布热力图获取方法的程序指令。
处理器31用于执行存储器32存储的程序指令以进行代码测试。
其中，处理器31还可以称为CPU(Central Processing Unit，中央处理单元)。处理器31可能是一种集成电路芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本发明实施例提供一种存储介质，本发明实施例的存储介质存储有能够实现上述所有方法的程序指令，所述存储介质可以是非易失性，也可以是易失性。其中，该程序指令可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围。
以上所述的仅是本发明的实施方式，在此应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。

Claims (10)

1.一种用户分布热力图获取方法，其特征在于，包括如下步骤：
获取用户的访问日志信息，将所述访问日志信息传输至数据收集引擎；
在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息；
将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，得到配置后的地理位置信息；
利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图。
2.根据权利要求1所述的用户分布热力图获取方法，其特征在于，在将所述访问日志信息传输至数据收集引擎之前，还包括，对所述访问日志信息进行格式化，得到格式化后的访问日志信息，将所述格式化后的访问日志信息传输至标准日志中；对应的，将所述访问日志信息传输至数据收集引擎，包括，将标准日志中的所述格式化后的访问日志信息传输至数据收集引擎。
3.根据权利要求1所述的用户分布热力图获取方法，其特征在于，将所述访问日志信息传输至数据收集引擎，包括：将用户访问IP信息、用户访问方法以及响应时间信息传输至数据收集引擎。
4.根据权利要求1所述的用户分布热力图获取方法，其特征在于，在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息，包括：在数据收集引擎中对所述访问日志信息中的用户访问IP信息进行解析，得到IP信息对应的经纬度信息，对所述经纬度信息进行转换，得到所述用户的地理位置信息。
5.根据权利要求1所述的用户分布热力图获取方法，其特征在于，将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，包括：将所述地理位置信息通过数据收集引擎的输出模块输出至所述搜索服务器，在可视化工具中配置所述搜索服务器中的所述地理位置信息。
6.根据权利要求1所述的用户分布热力图获取方法，其特征在于，将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，包括：将所述地理位置信息通过Logstash的输出模块输出至搜索服务器中，在Grafana中配置所述搜索服务器中的所述地理位置信息。
7.根据权利要求1所述的用户分布热力图获取方法，其特征在于，利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图，包括：
利用Grafana的地图插件读取所述配置后的地理位置信息，对所述读取的配置后的地理位置信息进行聚合，得到不同地理位置的用户访问人数信息，根据所述不同地理位置的用户访问人数信息获取用户分布热力图。
8.一种用户分布热力图获取装置，其特征在于，包括日志信息传输模块、日志信息处理模块、地理信息配置模块以及热力图获取模块；
所述日志信息传输模块，用于获取用户的访问日志信息，将所述访问日志信息传输至数据收集引擎；
所述日志信息处理模块，用于在数据收集引擎中对所述访问日志信息进行信息解析以及经纬度信息转换，得到所述用户的地理位置信息；
所述地理信息配置模块，用于将所述地理位置信息输出至搜索服务器，配置所述搜索服务器中的所述地理位置信息，得到配置后的地理位置信息；
所述热力图获取模块，用于利用地图插件读取所述配置后的地理位置信息，根据所述读取的配置后的地理位置信息，获取用户分布热力图。
9.一种电子设备，包括存储器、处理器，所述存储器存储有可被所述处理器执行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的用户分布热力图获取方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的用户分布热力图获取方法。
CN202210936873.8A 2022-08-05 2022-08-05 用户分布热力图获取方法、装置、电子设备及存储介质 Pending CN115309802A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210936873.8A CN115309802A (zh) 2022-08-05 2022-08-05 用户分布热力图获取方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210936873.8A CN115309802A (zh) 2022-08-05 2022-08-05 用户分布热力图获取方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115309802A true CN115309802A (zh) 2022-11-08

Family

ID=83861547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210936873.8A Pending CN115309802A (zh) 2022-08-05 2022-08-05 用户分布热力图获取方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115309802A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116150298A (zh) * 2023-04-19 2023-05-23 山东盛途互联网科技有限公司 基于物联网的数据采集方法、***及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116150298A (zh) * 2023-04-19 2023-05-23 山东盛途互联网科技有限公司 基于物联网的数据采集方法、***及可读存储介质
CN116150298B (zh) * 2023-04-19 2023-07-04 山东盛途互联网科技有限公司 基于物联网的数据采集方法、***及可读存储介质

Similar Documents

Publication Publication Date Title
CN110362544B (zh) 日志处理***、日志处理方法、终端及存储介质
TWI640876B (zh) 執行具有定義草圖精確度分佈之集合運算的系統與方法
CN107957940B (zh) 一种测试日志处理方法、***及终端
CN104951515B (zh) 一种提取并分析Android手机行踪轨迹信息的方法
CN111949850B (zh) 多源数据的采集方法、装置、设备及存储介质
WO2022083684A1 (zh) 一种路网运行的管理方法、装置、存储介质及终端
CN113282611B (zh) 一种流数据同步的方法、装置、计算机设备及存储介质
CN113360554A (zh) 一种数据抽取、转换和加载etl的方法和设备
CN115297183B (zh) 一种数据处理方法、装置、电子设备和存储介质
US20190347340A1 (en) Unified data model for databases
CN104598570A (zh) 资源的抓取方法及装置
CN115309802A (zh) 用户分布热力图获取方法、装置、电子设备及存储介质
CN103699534A (zh) ***目录中数据对象的显示方法及装置
CN107085599B (zh) Poi推荐方法、装置、设备及计算机可读存储介质
WO2023169165A1 (zh) 访问数据处理方法和装置、电子设备、计算机可读介质
CN109992614B (zh) 数据获取方法、装置和服务器
CN106802922B (zh) 一种基于对象的溯源存储***及方法
CN115578082A (zh) 自动化机器人流程生成方法、装置、电子设备及存储介质
US8856152B2 (en) Apparatus and method for visualizing data
CN115114805A (zh) 自主式交通***架构的信息交互对离散仿真方法
CN114297495A (zh) 业务数据查找方法、装置、电子设备及存储介质
CN110955709B (zh) 一种数据的处理方法、装置及电子设备
KR20110070767A (ko) 네트워크 기반 원격 포렌식 시스템
CN113515715A (zh) 埋点事件编码的生成方法、处理方法及相关设备
CN107169015B (zh) Poi推荐方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination