CN112187623B - 一种信息发布管理*** - Google Patents
一种信息发布管理*** Download PDFInfo
- Publication number
- CN112187623B CN112187623B CN202011043867.7A CN202011043867A CN112187623B CN 112187623 B CN112187623 B CN 112187623B CN 202011043867 A CN202011043867 A CN 202011043867A CN 112187623 B CN112187623 B CN 112187623B
- Authority
- CN
- China
- Prior art keywords
- unit
- information
- data
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 16
- 230000006399 behavior Effects 0.000 claims abstract description 14
- 238000007405 data analysis Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims abstract description 3
- 238000007726 management method Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000003993 interaction Effects 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims 1
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
- H04L51/046—Interoperability with other network applications or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/214—Monitoring or handling of messages using selective forwarding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Strategic Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种信息发布管理***，包括微信***、存储单元、大数据单元、监控单元、QQ单元、微博单元和论坛单元；本发明信息发布管理***将各个子***进行连接，提升了信息推荐的高效性和及时性；信息发布管理***的存储单元内存储了微信用户的注册信息、区域信息、用户行为和特征等，根据这些信息大数据单元会进行大数据分析，通过分析的结果来提高微信***文章推送的针对性；然后再通过信息发布管理***使微信与QQ单元、微博单元、论坛单元信息进行相互拓展交流，提高微信***的功能性，并通过监控单元使用户在使用微信过程中更加安全，并且监控单元还能对微信***进行智能监控，实现微信***的运行平稳。
Description
技术领域
本发明涉及管理***技术领域，尤其涉及一种信息发布管理***。
背景技术
随着网络和信息技术的高速发展，用户的网络规模在不断扩大，信息发布的途径也越来越多。现有的信息发布管理***一般存在以下缺点：微信***和其他单元之间无法进行信息共享和推送；无法根据用户的习惯推送针对性的内容，仅仅按热度推荐难以让用户产生兴趣；无法对微信***的运行状况进行监控，微信***运行不稳定；消息推送速度慢且存在明显的时延。
发明内容
本发明的目的在于针对现有技术的不足，提供一种信息发布管理***，本发明能够对接多套***，快速获取个人基本信息、地域信息，并根据用户的习惯进行精准推荐；能够对微信***进行监控保证其运行稳定。
本发明的目的是通过以下技术方案来实现的：一种信息发布管理***，该***包括微信***、存储单元、大数据单元、监控单元、QQ单元、微博单元和论坛单元；所述信息发布管理***使用Python来实现，使用requests库请求微信的HTTP API接口，通过对微信的HTTP API进行封装来操作微信的各个功能；
所述存储单元使用Ceph作为底层的存储引擎，微信用户的注册信息、区域信息、用户行为和特征均存储在Ceph中；
所述大数据单元基于Spark进行数据的流计算，通过Spark的流计算功能，实时从Ceph存储引擎中获取用户的行为数据，运算出用户感兴趣的标签，将对应的带标签的文章推送给用户来实现个性化推荐；
所述监控单元对多个微信CDN节点进行解析和采集，然后对比24小时的水位线，根据***内配置的策略进行告警；
所述QQ单元、微博单元和论坛单元作为信息交互***，信息发布管理***通过调用这些单元对外公开的API，将微信上的消息推送/分享到信息交互***的指定单元上。
进一步地，所述大数据单元中，对用户进行个性化推荐的具体处理流程如下：
(a)对平台内的文章标题进行分词处理。
(b)查询用户点击过的文章标题，然后关联其分词的结果，统计各个分词出现的频率。
(c)将出现频率最高的若干种分词转换成文章的标签，推送给用户。
(d)当用户出现新的点击行为时，如果仍然在步骤(c)这几类中，则继续增加这些分词的权重，反之则降低其权重。
进一步地，所述大数据单元中，所述大数据单元中，初期点击行为较少时，利用文本相识度算法计算出类似的文章进行推送，从而引导用户提供更多的数据。
进一步地，所述大数据单元基于Spark进行数据的流计算，Spark启用了内存分布数据集，能够提供交互式查询外，且能够优化迭代工作负载。
进一步地，所述监控单元采用的监控框架共分四层：
数据收集层：位于最底层，用于收集微信CDN的多节点的延时、可用性、关键接口的状态码等信息，然后将收集到的数据范式化处理成结构化的数据，并传输到分布式的对象存储池中。
数据分析层：位于第二层，用于将数据收集层获取到的数据进行规则的匹配处理，根据***内配置的告警规则，数据分析层会将分析到的告警转换成事件信息发送给告警生成层。
告警生成层：位于第三层，用于将报警事件进行实时记录，并将报警结果存入数据库以备调用，并将报警结果形成分析报表，以统计一段时间内的故障率和故障发生趋势。
全局展示层：位于最顶层，用于对数据收集、分析、告警的信息进行聚合并统一展示。
本发明的有益效果是：
本发明信息发布管理***将各个子***进行连接，提升了信息推荐的高效性和及时性；信息发布管理***的存储单元内存储了微信用户的注册信息、区域信息、用户行为和特征等，根据这些信息大数据单元会进行大数据分析，通过分析的结果来提高微信***文章推送的针对性；然后再通过信息发布管理***使微信与QQ单元、微博单元、论坛单元信息进行相互拓展交流，提高微信***的功能性，并通过监控单元使用户在使用微信过程中更加安全，并且监控单元还能对微信***进行智能监控，实现微信***的运行平稳。
附图说明
图1为信息发布管理***结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所示，本发明提出的一种信息发布管理***，包括微信***、存储单元、大数据单元、监控单元、QQ单元、微博单元和论坛单元。
本发明使用Python来实现，使用requests库请求微信的HTTP API接口；通过对微信的HTTP API进行封装来操作微信的各个功能。
存储单元：使用Ceph作为底层的存储引擎，Ceph是一个可靠、自动重均衡、自动恢复的分布式存储***；具体地，微信用户的注册信息、区域信息、用户行为和特征均存储在Ceph中。
大数据单元：基于Spark进行数据的流计算，Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优越，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。通过Spark的流计算功能，实时从Ceph存储引擎中获取用户的行为数据，运算出用户感兴趣的标签，将对应的带标签的文章推送给用户来实现个性化推荐；具体如下：
1.首先对平台内的文章标题进行分词处理。
2.查询用户点击过的文章标题，然后关联其分词的结果，统计各个分词出现的频率。
3.将出现频率最高的10种分词转换成文章的标签，推送给用户。
4.当用户出现新的点击行为时，如果仍然在上面这几类中，则继续增加这10种分词的权重，反之则降低其权重。
进一步地，初期点击行为较少时，利用文本相识度算法计算出类似的文章进行推送，从而引导用户提供更多的数据。
监控单元：使用自研的框架，本框架可以对多个微信CDN节点进行解析和采集，然后对比24小时的水位线，根据***内配置的策略进行告警。
监控单元的自研框架架构共分四层：
1.数据收集层：位于最底层，主要收集微信CDN的多节点的延时、可用性、关键接口的状态码等信息，然后将收集到的数据范式化处理成结构化的数据，并传输到分布式的对象存储池中。
2.数据分析层：位于第二层，主要是将数据收集层获取到的数据进行规则的匹配处理，根据***内配置的告警规则，数据分析层会将分析到的告警转换成事件信息发送给告警生成层。
3.告警生成层：位于第三层，主要是将报警事件进行实时记录，并将报警结果存入数据库以备调用，并将报警结果形成分析报表，以统计一段时间内的故障率和故障发生趋势。
4.全局展示层：位于最顶层，主要对数据收集、分析、告警的信息进行聚合并统一展示。
此外，本发明信息发布管理***还包括QQ单元、微博单元和论坛单元等，通过调用这些单元对外公开的API，将微信上的消息推送/分享到指定单元上，这些单元会自动处理成对应***的数据格式并转发出去；本发明支持一对一和一对多的消息发布。
以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
Claims (2)
1.一种信息发布管理***，其特征在于，包括微信***、存储单元、大数据单元、监控单元、QQ单元、微博单元和论坛单元；所述信息发布管理***使用Python来实现，使用requests库请求微信的HTTP API接口，通过对微信的HTTP API进行封装来操作微信的各个功能；
所述存储单元使用Ceph作为底层的存储引擎，微信用户的注册信息、区域信息、用户行为和特征均存储在Ceph中；
所述大数据单元基于Spark进行数据的流计算，通过Spark的流计算功能，实时从Ceph存储引擎中获取用户的行为数据，运算出用户感兴趣的标签，将对应的带标签的文章推送给用户来实现个性化推荐；具体处理流程如下：
(a) 对平台内的文章标题进行分词处理；
(b) 查询用户点击过的文章标题，然后关联其分词的结果，统计各个分词出现的频率；
(c) 将出现频率最高的若干种分词转换成文章的标签，推送给用户；
(d) 当用户出现新的点击行为时，如果仍然在步骤(c)这几类中，则继续增加这些分词的权重，反之则降低其权重；
大数据单元中，初期点击行为较少时，利用文本相识度算法计算出文章进行推送，从而引导用户提供更多的数据；
所述监控单元对多个微信CDN节点进行解析和采集，然后对比24小时的水位线，根据***内配置的策略进行告警；所述监控单元采用的监控框架共分四层：
数据收集层：位于最底层，用于收集微信CDN的多节点的延时、可用性、关键接口的状态码信息，然后将收集到的数据范式化处理成结构化的数据，并传输到分布式的对象存储池中；
数据分析层：位于第二层，用于将数据收集层获取到的数据进行规则的匹配处理，根据***内配置的告警规则，数据分析层会将分析到的告警转换成事件信息发送给告警生成层；
告警生成层：位于第三层，用于将报警事件进行实时记录，并将报警结果存入数据库以备调用，并将报警结果形成分析报表，以统计一段时间内的故障率和故障发生趋势；
全局展示层：位于最顶层，用于对数据收集、分析、告警的信息进行聚合并统一展示；
所述QQ单元、微博单元和论坛单元作为信息交互***，信息发布管理***通过调用这些单元对外公开的API，将微信上的消息推送/分享到信息交互***的指定单元上。
2.根据权利要求1所述的一种信息发布管理***，其特征在于，所述大数据单元基于Spark进行数据的流计算，Spark启用了内存分布数据集，能够提供交互式查询外，且能够优化迭代工作负载。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011043867.7A CN112187623B (zh) | 2020-09-28 | 2020-09-28 | 一种信息发布管理*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011043867.7A CN112187623B (zh) | 2020-09-28 | 2020-09-28 | 一种信息发布管理*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112187623A CN112187623A (zh) | 2021-01-05 |
| CN112187623B true CN112187623B (zh) | 2022-07-22 |
Family
ID=73947157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011043867.7A Active CN112187623B (zh) | 2020-09-28 | 2020-09-28 | 一种信息发布管理*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112187623B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018076695A1 (zh) * | 2016-10-31 | 2018-05-03 | 上海斐讯数据通信技术有限公司 | 一种智能推荐***及智能推荐方法 |
| CN109035051A (zh) * | 2018-07-27 | 2018-12-18 | 广州诚效信息科技有限公司 | 一种微信epr管理*** |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016145949A1 (zh) * | 2015-03-19 | 2016-09-22 | 腾讯科技（深圳）有限公司 | 一种信息处理方法、终端、计算机存储介质 |
| CN106411554A (zh) * | 2015-08-03 | 2017-02-15 | 天脉聚源（北京）科技有限公司 | 一种微信信息统计分析方法和*** |
| CN111161845A (zh) * | 2019-12-31 | 2020-05-15 | 深圳信恳智能电子有限公司 | 一种基于智能移动终端的健康饮食监控***及使用方法 |
| CN111275563A (zh) * | 2020-01-21 | 2020-06-12 | 深圳市比量科技传媒有限公司 | 基于微信动作的人脉关系的生成方法、***及存储介质 |
-
2020
- 2020-09-28 CN CN202011043867.7A patent/CN112187623B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018076695A1 (zh) * | 2016-10-31 | 2018-05-03 | 上海斐讯数据通信技术有限公司 | 一种智能推荐***及智能推荐方法 |
| CN109035051A (zh) * | 2018-07-27 | 2018-12-18 | 广州诚效信息科技有限公司 | 一种微信epr管理*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112187623A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111984499B (zh) | 一种大数据集群的故障检测方法和装置 | |
| US11582123B2 (en) | Distribution of data packets with non-linear delay | |
| CN108416620B (zh) | 一种基于大数据的画像数据的智能社交广告投放平台 | |
| US9832280B2 (en) | User profile configuring method and device | |
| US12008027B2 (en) | Optimization for real-time, parallel execution of models for extracting high-value information from data streams | |
| CN107451149B (zh) | 流量数据查询任务的监控方法及其装置 | |
| CN103838867A (zh) | 日志处理方法和装置 | |
| CN102637178A (zh) | 一种音乐推荐方法、装置及*** | |
| KR20150057322A (ko) | 빅데이터 분석 기반의 위크시그널 도출 시스템 및 그 방법 | |
| CN112130999A (zh) | 一种基于边缘计算的电力异构数据处理方法 | |
| CN103970891A (zh) | 一种基于情境的用户兴趣信息查询方法 | |
| US9922116B2 (en) | Managing big data for services | |
| CN113190426B (zh) | 一种大数据评分***稳定性监控方法 | |
| Mansouri et al. | IoT data quality issues and potential solutions: a literature review | |
| CN113537337A (zh) | 训练方法、异常检测方法、装置、设备和存储介质 | |
| Mythily et al. | Clustering models for data stream mining | |
| Solmaz et al. | ALACA: A platform for dynamic alarm collection and alert notification in network management systems | |
| CN109933575B (zh) | 监测数据的存储方法及装置 | |
| CN103412883A (zh) | 基于p2p技术的语义智能信息发布订阅方法 | |
| CN108337100A (zh) | 一种云平台监测的方法和装置 | |
| CN107729206A (zh) | 告警日志的实时分析方法、***和计算机处理设备 | |
| CN112187623B (zh) | 一种信息发布管理*** | |
| CN112306820A (zh) | 一种日志运维根因分析方法、装置、电子设备及存储介质 | |
| CN111414355A (zh) | 一种海上风电场数据监测存储***及方法、装置 | |
| Antunes et al. | Semantic-based publish/subscribe for M2M |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |