CN107070890A - 一种通信网优***中的流数据处理装置及通信网优*** - Google Patents

一种通信网优***中的流数据处理装置及通信网优*** Download PDF

Info

Publication number
CN107070890A
CN107070890A CN201710142542.6A CN201710142542A CN107070890A CN 107070890 A CN107070890 A CN 107070890A CN 201710142542 A CN201710142542 A CN 201710142542A CN 107070890 A CN107070890 A CN 107070890A
Authority
CN
China
Prior art keywords
data
processing
layer
nodes
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710142542.6A
Other languages
English (en)
Inventor
徐炯�
李智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing MetarNet Technologies Co Ltd
Original Assignee
Beijing MetarNet Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing MetarNet Technologies Co Ltd filed Critical Beijing MetarNet Technologies Co Ltd
Priority to CN201710142542.6A priority Critical patent/CN107070890A/zh
Publication of CN107070890A publication Critical patent/CN107070890A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/044—Network management architectures or arrangements comprising hierarchical management structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/04—Large scale networks; Deep hierarchical networks
    • H04W84/08—Trunked mobile radio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种通信网优***中的流数据处理装置及通信网优***，流数据处理装置包括：流式数据生成模块，用于将不同数据源得到的文件数据加载为流式数据并推送至Kafka处理模块中；Kafka处理模块，用于将流式数据均匀地加载至Kafka集群中，以供Storm处理模块进行调用；Storm处理模块，包括Spout节点和Bolt节点，Spout节点用于从Kafka集群中读取数据并推送至Bolt节点，Bolt节点用于将Spout节点推送的数据根据预先配置的应用场景进行相应计算并将计算结果进行实时汇总，以及定期将汇总结果存储至Redis集群中；Redis存储模块，用于将汇总的数据缓存在内存中；数据输出模块，用于将流式处理结果以标准的接口提供给第三方数据者。本发明使网优***能够提供用户级别的实时感知分析功能。

Description

一种通信网优***中的流数据处理装置及通信网优***
技术领域
本发明涉及通信技术领域，具体涉及一种通信网优***中的流数据处理装置及通信网优***。
背景技术
网优***最初的定位主要是作为离线数据分析***，对移动网络的运行状态进行综合的评估分析，比如综合评估无线网、核心网的网络环境，评估当前网络覆盖、干扰问题、掉话问题，评估业务质量、用户感知，可以以直观的GIS、图表、表格等方式展示评估结果。上述网优功能的实现依赖于对网络中基础数据、性能数据、MR数据、参数数据、话单数据等不同类型数据源的采集和解析，而通常上述数据处理都需要经过厂家OMC周期性生成、数据文件远程传输、数据解析、数据汇总、数据入库等多个步骤，所以从网络事件发生，到网优***呈现出来至少有2-3小时的延时。
但是随着网优***使用部门和使用人员的增多，使用场景的丰富，对网优***处理实时性的要求越来越高，比如对于客服投诉的快速响应、重要赛事场景的监控保障、单次通话的信令跟踪等，这些使用场景都是需要达到实时处理分析的标准。这就对网优***在实时数据处理技术上提出了更高的要求。
发明内容
针对现有技术中的缺陷，本发明提供了一种通信网优***中的流数据处理装置及通信网优***，本发明使得网优***能够提供用户级别的实时感知分析功能。
为解决上述技术问题，本发明提供以下技术方案：
第一方面，本发明提供了一种通信网优***中的流数据处理装置，包括：
流式数据生成模块，用于将不同数据源得到的文件数据加载为一条条的流数据引擎所需要格式的流式数据，并推送至Kafka处理模块中；
Kafka处理模块，为一个分布式消息列队处理模块，用于将所述流式数据生成模块生成的流式数据均匀地加载至Kafka集群中，以供Storm处理模块进行调用；
Storm处理模块，为流式处理的计算引擎，包括Spout节点和Bolt节点，Spout节点用于从Kafka集群中读取数据，并推送至Bolt节点，Bolt节点用于将Spout节点推送的数据根据预先配置的应用场景进行相应计算并将计算结果进行实时汇总，以及定期将汇总结果存储至Redis集群中；
Redis存储模块，采用分布式集群方案，用于将所述Storm处理模块汇总的数据缓存在内存中；
数据输出模块，用于将流式处理的结果以标准的接口提供给第三方数据者使用。
进一步地，所述数据输出模块支持以组件的方式进行横向扩展，包括：HBASE组件、Codis组件、Hive组件、Oracle组件和GP组件。
进一步地，所述数据输出模块支持用户手机APP通过WebService调用进行实时查询。
第二方面，本发明还提供了一种通信网优***，包括：从下向上依次设置的数据采集层、数据处理与存储层、技术服务组件层和应用展现层；
所述数据采集层通过云化采集技术，用于对采集任务进行分布式部署，支持实时采集、批量采集和互联网爬虫采集，用于对PB级数据进行采集与收敛，提供流数据处理工具，支撑实时数据的采集处理，实现数据分发和加载；
所述数据处理与存储层采用了如上面所述的流数据处理装置；所述数据处理与存储层采用“流式计算+Hadoop+MPP+RDB”混搭的数据处理架构以支撑多样化海量混搭计算存储能力，提供实时运算、库外运算和流式计算的计算组件与服务；
所述技术服务组件层用于支撑上层应用的报表/报告、搜索引擎、GIS服务和信息推送服务；
所述应用展现层用于实现***的图形界面展示，包括PC版应用展现层和移动智能终端版应用展现层，图形展示形式包括GIS和图表。
进一步地，所述数据处理与存储层配置有N个节点组成的Storm流处理集群，M个节点组成的Redis内存数据库集群和Q个节点组成的Kafka消息集群，且各个集群部署在万兆以太网内。
进一步地，所述N取值为6，M取值为4，Q取值为4。
进一步地，所述数据采集层采集的数据包括网络基础数据、MR数据、参数数据、话单数据和信令数据。
进一步地，所述技术服务组件层包括WebServices组件、SPSS组件、Solr组件和Struts2组件。
进一步地，所述PC版应用展现层采用JSP、easyUI、JQuery和ArcGis技术实现图形展示。
进一步地，所述移动智能终端版应用展现层采用IOS、Android、Html5和BaiduMap技术实现图形展示。
由上述技术方案可知，本发明提供的通信网优***，应用“流式计算+Hadoop+MPP+RDB”混搭模式的***架构技术，既兼顾了大数据处理的实时分析和离线分析需求，又没有摈弃常规数据的高并发、在线分析的需求，使网优***能够提供用户级别的实时感知分析功能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的通信网优***中的流数据处理装置的结构示意图；
图2是本发明一实施例提供的流式计算软件架构示意图；
图3是本发明另一实施例提供的通信网优***的结构示意图；
图4是本发明另一实施例提供的通信网优***的软件架构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
通信网优***用到的分析数据与传统O域的告警、配置、性能等数据相比较，数据体量巨大，尤其对于MR、话单、信令等数据，往往一个省一天的原始数据增量就可以达到几个甚至十几个T。对于该大数据应用场景，现在已有较成熟的分布式处理技术对大数据进行解析和存储，但从数据产生了到分析呈现，往往要有若干小时的时延。本发明着眼于解决大数据处理的实时性能，采用流数据处理装置，能够把通信网优***中的数据处理的时限压缩到秒级别。
图1示出了本发明一实施例提供的通信网优***中的流数据处理装置的结构示意图。参见图1，本发明提供的通信网优***中的流数据处理装置，包括：流式数据生成模块11、Kafka处理模块12、Storm处理模块13、Redis存储模块14和数据输出模块15，其中：
流式数据生成模块11，用于将不同数据源得到的文件数据加载为一条条的流数据引擎所需要格式的流式数据，并推送至Kafka处理模块中；
可以理解的是，流式数据生成模块11的主要功能是将由不同数据源得到的文件数据加载为一条一条的流数据引擎所需要格式的流式数据，并推送至kafka处理模块中。参见图2所示的流式计算软件架构示意图，该流式数据生成模块11支持FTP、Socket、WebService、STDP等常见协议的实时数据在线采集接入，以及常见的***日志实时采集。对于网优***最常见的数据文件采集，当目标文件夹发生任何改变的时候，都会触发监控程序执行，监控程序自动分辨该改变是否为新增了需要处理的文件，如果是则监控程序会将该文件名加入至待处理文件队列。
Kafka处理模块12，为一个分布式消息列队处理模块，用于将所述流式数据生成模块生成的流式数据均匀地加载至Kafka集群中，以供Storm处理模块进行调用；
可以理解的是，Kafka处理模块12主要是作为一个分布式消息队列的模块，用于将流式数据生成模块中生成的流式数据均匀的加载至Kafka集群中，以供Storm处理模块进行调用，可以理解为一个数据流的缓存。该模块采用的是一种高吞吐量的分布式发布订阅消息***，是通过类似Hadoop的分布式并行加载机制来统一线上和离线的消息处理，支持性能线性扩展，可以通过添加硬件的方式获得近似线性比例的处理能力的提升。
Storm处理模块13，为流式处理的计算引擎，包括Spout节点和Bolt节点，Spout节点用于从Kafka集群中读取数据，并推送至Bolt节点，Bolt节点用于将Spout节点推送的数据根据预先配置的应用场景进行相应计算并将计算结果进行实时汇总，以及定期将汇总结果存储至Redis集群中；
可以理解的是，Storm处理模块13为流式处理的计算引擎，能够根据配置的应用场景进行计算操作，起到数据实时汇总的作用，并输出结果到对应的存储中。参见图2所示的流式计算软件架构示意图，Spout节点负责从Kafka集群中读取数据，并推送至Bolt节点，Bolt节点负责将Spout推送的数据根据不同的业务应用(比如用户号码)进行分类，并进行实时数据汇总，并定时存储汇总结果至Redis集群中。
Redis存储模块14，采用分布式集群方案，用于将所述Storm处理模块汇总的数据缓存在内存中；
可以理解的是，Redis存储模块14为了保证效率，汇总数据都是缓存在内存中。Redis集群考虑到数据规模巨大，调用并发度极高等情况，采用分布式集群方案，这种解决方案具有负载均衡及主备机容错等功能，可以有效的解决容错和并发问题。
数据输出模块15，用于将流式处理的结果以标准的接口提供给第三方数据者使用。
可以理解的是，数据输出模块15主要负责将流式处理的结果以标准的接口提供给第三方数据者使用。参见图2所示的流式计算软件架构示意图，该数据输出模块15支持以组件的方式进行横向扩展，包括HBASE组件、Codis组件、Hive组件、Oracle组件、GP组件，也支持用户手机App通过WebService调用进行实时查询。
与Hadoop等离线批量大数据处理技术相比，本发明实施例提供的流数据处理装置更为擅长突发性、单条事件的实时处理。以XDR类数据处理为例，从XDR数据采集到位开始计算，只需要经过秒级别时间的处理，即可完成数据的解析入库。再经过后台应用模块的处理，用户行为和网络指标只需要经过秒级别的时延即可得到呈现。这样的时延相对与传统技术2-3小时的时延，完全可以称为实时处理，在重要赛事/会议监控保障、实时信令跟踪等应用场景是可以满足应用要求的。
本发明另一实施例提供了一种通信网优***，参见图3，该通信网优***包括：从下向上依次设置的数据采集层31、数据处理与存储层32、技术服务组件层33和应用展现层34；
所述数据采集层31通过云化采集技术，用于对采集任务进行分布式部署，支持实时采集、批量采集和互联网爬虫采集，用于对PB级数据进行采集与收敛，提供流数据处理工具，支撑实时数据的采集处理，实现数据分发和加载；
可以理解的是，数据采集层31通过云化采集技术，可对采集任务进行分布式部署，支持实时采集、批量采集、互联网爬虫采集等采集技术。可对PB级数据进行采集与收敛，提供流数据处理工具，支撑实时数据的采集处理，并实现数据分发和加载。所述数据采集层31采集的数据包括网络基础数据、MR数据、参数数据、话单数据和信令数据。
所述数据处理与存储层32采用了如上面实施例所述的流数据处理装置；所述数据处理与存储层采用“流式计算+Hadoop+MPP+RDB”混搭的数据处理架构以支撑多样化海量混搭计算存储能力，提供实时运算、库外运算和流式计算的计算组件与服务；
可以理解的是，通信网优***的技术核心在于对各种大数据进行处理的多种软件技术的综合应用。Hadoop技术拥有天生的分布式数据处理优势，主要用于实现MR、话单、XDR等类大数据原始文件的批量存储解析和初步的KPI指标汇总，速度快，效率高；MPP为列式数据库集群，适用于长期海量分析数据(MR汇总数据、话单数据、话统数据等)的存储，尤其适合话单、信令类分析应用的查询，数据存储压缩比高，为网优***采用的数据存储方案之一；RDB为传统的关系型数据库，具有高并发、小容量等技术特点，适用于小数据量的结果类数据、周期/实时更新类数据(基站工参数据、考核结果数据、工单数据、管理数据等)的存储；流式计算则是为了解决大数据实时处理需求而出现的技术，主要应用于小时延类数据采集、分析、处理场景，如重要赛事/会议监控保障、实时信令跟踪等。可以理解的是，数据处理与存储层32是网优***对大数据处理特色的体现，采用“流式计算+Hadoop+MPP+RDB”混搭的数据处理架构，以支撑多样化海量数据混搭计算存储能力，提供实时运算、库外运算、流式计算等计算组件与服务，还提供数据完整性、准确性等数据质量管理功能。
比如，在通信网优***的高铁专项分析中，需要对用户在高铁乘车期间使用无线网络的质量进行分析，且需要能按用户进行监控和分析。为实现用户级的实时感知分析，需要采用实时流式计算处理方案，以提供尽可能低的处理时延。为了提高XDR话单数据的处理实时性，降低处理时延，搭建Storm流处理集群完成单用户实时分析功能。在项目实际应用中，配置6个节点组成Storm流处理集群，配置4个节点组成Redis内存数据库集群，配置4个节点组成Kafka消息集群。集群部署在万兆以太网内，以保证网络传输速度。在实际运行过程中，XDR文件中的单条用户话单数据的处理过程，从XDR文件输出完成到用户实时行为和感知分析的KPI指标数据输出到实时监控分析平台，总体处理时延约为5秒。可见，通过采用流式处理集群技术，极大的提高了用户级别数据的处理性能，将处理时延降低到“实时”的范围，为实时用户行为监控和感知分析提供了有效支撑。
所述技术服务组件层33用于支撑上层应用的报表/报告、搜索引擎、GIS服务和信息推送服务；
可以理解的是，技术服务组件层33支撑上层应用的报表/报告、搜索引擎、GIS服务、信息推送服务等基础组件，亦采用模块化、组件化设计，方面灵活升级与替换。参见图4所示的通信网优***的软件架构示意图，技术服务组件层33包括WebServices组件、SPSS组件、Solr组件和Struts2组件。
所述应用展现层34用于实现***的图形界面展示，包括PC版应用展现层和移动智能终端版应用展现层，图形展示形式包括GIS和图表。
可以理解的是，应用展现层34主要实现***图形界面的展示，包括PC版(Web浏览器方式)和移动智能终端版(ios、android、windows phone的原生APP、非原生APP、微信、短信等方式)，展现形式包括GIS、图表等。参见图4所示的通信网优***的软件架构示意图，PC版应用展现层采用JSP、easyUI、JQuery和ArcGis技术实现图形展示；移动智能终端版应用展现层采用IOS、Android、Html5和BaiduMap技术实现图形展示。
本发明实施例提供的通信网优***，应用“流式计算+Hadoop+MPP+RDB”混搭模式的***架构技术，既兼顾了大数据处理的实时分析和离线分析需求，又没有摈弃常规数据的高并发、在线分析的需求，使网优***能够提供用户级别的实时感知分析功能。
以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种通信网优***中的流数据处理装置，其特征在于，包括：
流式数据生成模块，用于将不同数据源得到的文件数据加载为一条条的流数据引擎所需要格式的流式数据，并推送至Kafka处理模块中；
Kafka处理模块，为一个分布式消息列队处理模块，用于将所述流式数据生成模块生成的流式数据均匀地加载至Kafka集群中，以供Storm处理模块进行调用；
Storm处理模块，为流式处理的计算引擎，包括Spout节点和Bolt节点，Spout节点用于从Kafka集群中读取数据，并推送至Bolt节点，Bolt节点用于将Spout节点推送的数据根据预先配置的应用场景进行相应计算并将计算结果进行实时汇总，以及定期将汇总结果存储至Redis集群中；
Redis存储模块，采用分布式集群方案，用于将所述Storm处理模块汇总的数据缓存在内存中；
数据输出模块，用于将流式处理的结果以标准的接口提供给第三方数据者使用。
2.根据权利要求1所述的装置，其特征在于，所述数据输出模块支持以组件的方式进行横向扩展，包括：HBASE组件、Codis组件、Hive组件、Oracle组件和GP组件。
3.根据权利要求1所述的装置，其特征在于，所述数据输出模块支持用户手机APP通过WebService调用进行实时查询。
4.一种通信网优***，其特征在于，包括：从下向上依次设置的数据采集层、数据处理与存储层、技术服务组件层和应用展现层；
所述数据采集层通过云化采集技术，用于对采集任务进行分布式部署，支持实时采集、批量采集和互联网爬虫采集，用于对PB级数据进行采集与收敛，提供流数据处理工具，支撑实时数据的采集处理，实现数据分发和加载；
所述数据处理与存储层采用了如权利要求1～3任一项所述的流数据处理装置；所述数据处理与存储层采用“流式计算+Hadoop+MPP+RDB”混搭的数据处理架构以支撑多样化海量混搭计算存储能力，提供实时运算、库外运算和流式计算的计算组件与服务；
所述技术服务组件层用于支撑上层应用的报表/报告、搜索引擎、GIS服务和信息推送服务；
所述应用展现层用于实现***的图形界面展示，包括PC版应用展现层和移动智能终端版应用展现层，图形展示形式包括GIS和图表。
5.根据权利要求4所述的***，其特征在于，所述数据处理与存储层配置有N个节点组成的Storm流处理集群，M个节点组成的Redis内存数据库集群和Q个节点组成的Kafka消息集群，且各个集群部署在万兆以太网内。
6.根据权利要求5所述的***，其特征在于，所述N取值为6，M取值为4，Q取值为4。
7.根据权利要求4所述的***，其特征在于，所述数据采集层采集的数据包括网络基础数据、MR数据、参数数据、话单数据和信令数据。
8.根据权利要求4所述的***，其特征在于，所述技术服务组件层包括WebServices组件、SPSS组件、Solr组件和Struts2组件。
9.根据权利要求4所述的***，其特征在于，所述PC版应用展现层采用JSP、easyUI、JQuery和ArcGis技术实现图形展示。
10.根据权利要求4所述的***，其特征在于，所述移动智能终端版应用展现层采用IOS、Android、Html5和BaiduMap技术实现图形展示。
CN201710142542.6A 2017-03-10 2017-03-10 一种通信网优***中的流数据处理装置及通信网优*** Pending CN107070890A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710142542.6A CN107070890A (zh) 2017-03-10 2017-03-10 一种通信网优***中的流数据处理装置及通信网优***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710142542.6A CN107070890A (zh) 2017-03-10 2017-03-10 一种通信网优***中的流数据处理装置及通信网优***

Publications (1)

Publication Number Publication Date
CN107070890A true CN107070890A (zh) 2017-08-18

Family

ID=59622366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710142542.6A Pending CN107070890A (zh) 2017-03-10 2017-03-10 一种通信网优***中的流数据处理装置及通信网优***

Country Status (1)

Country Link
CN (1) CN107070890A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107508888A (zh) * 2017-08-25 2017-12-22 同方(深圳)云计算技术股份有限公司 一种车联网服务平台
CN108009257A (zh) * 2017-12-08 2018-05-08 武汉虹信技术服务有限责任公司 一种基于流式计算的无线射频数据筛选装置及方法
CN108737177A (zh) * 2018-05-21 2018-11-02 中国联合网络通信有限公司重庆市分公司 一种移动互联网实时流数据采集及分析的实现方法
CN109086410A (zh) * 2018-08-02 2018-12-25 中国联合网络通信集团有限公司 流式海量数据的处理方法及***
CN109558397A (zh) * 2018-10-30 2019-04-02 平安医疗健康管理股份有限公司 一种数据处理方法、装置、服务器及计算机存储介质
CN109686035A (zh) * 2018-12-27 2019-04-26 福建小电科技有限公司 一种基于大数据的电动车充电站消防预警***
CN109766363A (zh) * 2019-01-08 2019-05-17 北京江融信科技有限公司 流式数据处理方法、***、电子设备及存储介质
CN110020360A (zh) * 2017-11-09 2019-07-16 北京京东尚科信息技术有限公司 用户行为特征提取的方法，***及服务器
CN110232073A (zh) * 2019-05-10 2019-09-13 中国联合网络通信集团有限公司 一种数据处理分析***及方法
CN110750562A (zh) * 2018-07-20 2020-02-04 武汉烽火众智智慧之星科技有限公司 基于Storm的实时数据比对预警方法及***
CN110809050A (zh) * 2019-11-08 2020-02-18 智者四海（北京）技术有限公司 基于流式计算的个性化推送***及方法
CN110971687A (zh) * 2019-11-29 2020-04-07 浙江邦盛科技有限公司 一种轨道交通流数据处理方法
CN111049898A (zh) * 2019-12-10 2020-04-21 杭州东方通信软件技术有限公司 一种实现计算集群资源跨域架构的方法及***
CN111787497A (zh) * 2020-07-01 2020-10-16 北京长焜科技有限公司 一种使用数据库集群存储计费原始话单的方法
CN112134846A (zh) * 2020-08-21 2020-12-25 宜通世纪科技股份有限公司 一种通信网络信令数据分析方法、***、装置及介质
CN112200931A (zh) * 2020-09-02 2021-01-08 南京知数网络科技有限公司 一种鹰眼赛道智能定位分布***及方法
CN112506915A (zh) * 2020-10-27 2021-03-16 百果园技术(新加坡)有限公司 一种应用数据的管理***以及处理方法、装置和服务器
CN112995263A (zh) * 2019-12-18 2021-06-18 ***通信集团陕西有限公司 网优流数据处理***
CN113422840A (zh) * 2021-07-13 2021-09-21 全景智联(武汉)科技有限公司 基于文件传输协议的照片处理***及方法
CN113486063A (zh) * 2021-07-05 2021-10-08 国网河北省电力有限公司信息通信分公司 电力物联网中流数据处理方法、装置及终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105681474A (zh) * 2016-03-31 2016-06-15 浪潮通信信息***有限公司 一种基于企业级大数据平台支撑上层应用的***架构
CN106168909A (zh) * 2016-06-30 2016-11-30 北京奇虎科技有限公司 一种日志的处理方法和装置
US9560119B2 (en) * 2014-12-23 2017-01-31 Cisco Technology, Inc. Elastic scale out policy service

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9560119B2 (en) * 2014-12-23 2017-01-31 Cisco Technology, Inc. Elastic scale out policy service
CN105681474A (zh) * 2016-03-31 2016-06-15 浪潮通信信息***有限公司 一种基于企业级大数据平台支撑上层应用的***架构
CN106168909A (zh) * 2016-06-30 2016-11-30 北京奇虎科技有限公司 一种日志的处理方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
丁亦志 等: "大数据在电信行业的应用研究", 《互联网天地》 *
屈国庆: "基于Storm的实时日志分析***的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
杨华辉: "分布式日志***的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107508888A (zh) * 2017-08-25 2017-12-22 同方(深圳)云计算技术股份有限公司 一种车联网服务平台
CN110020360A (zh) * 2017-11-09 2019-07-16 北京京东尚科信息技术有限公司 用户行为特征提取的方法，***及服务器
CN108009257A (zh) * 2017-12-08 2018-05-08 武汉虹信技术服务有限责任公司 一种基于流式计算的无线射频数据筛选装置及方法
CN108009257B (zh) * 2017-12-08 2020-09-11 武汉虹信技术服务有限责任公司 一种基于流式计算的无线射频数据筛选装置及方法
CN108737177A (zh) * 2018-05-21 2018-11-02 中国联合网络通信有限公司重庆市分公司 一种移动互联网实时流数据采集及分析的实现方法
CN110750562B (zh) * 2018-07-20 2023-10-27 宿迁市公安局 基于Storm的实时数据比对预警方法及***
CN110750562A (zh) * 2018-07-20 2020-02-04 武汉烽火众智智慧之星科技有限公司 基于Storm的实时数据比对预警方法及***
CN109086410A (zh) * 2018-08-02 2018-12-25 中国联合网络通信集团有限公司 流式海量数据的处理方法及***
CN109558397A (zh) * 2018-10-30 2019-04-02 平安医疗健康管理股份有限公司 一种数据处理方法、装置、服务器及计算机存储介质
CN109558397B (zh) * 2018-10-30 2023-08-22 深圳平安医疗健康科技服务有限公司 一种数据处理方法、装置、服务器及计算机存储介质
CN109686035A (zh) * 2018-12-27 2019-04-26 福建小电科技有限公司 一种基于大数据的电动车充电站消防预警***
CN109766363A (zh) * 2019-01-08 2019-05-17 北京江融信科技有限公司 流式数据处理方法、***、电子设备及存储介质
CN110232073A (zh) * 2019-05-10 2019-09-13 中国联合网络通信集团有限公司 一种数据处理分析***及方法
CN110809050A (zh) * 2019-11-08 2020-02-18 智者四海（北京）技术有限公司 基于流式计算的个性化推送***及方法
CN110971687A (zh) * 2019-11-29 2020-04-07 浙江邦盛科技有限公司 一种轨道交通流数据处理方法
CN111049898A (zh) * 2019-12-10 2020-04-21 杭州东方通信软件技术有限公司 一种实现计算集群资源跨域架构的方法及***
CN112995263A (zh) * 2019-12-18 2021-06-18 ***通信集团陕西有限公司 网优流数据处理***
CN111787497B (zh) * 2020-07-01 2021-07-09 北京长焜科技有限公司 一种使用数据库集群存储计费原始话单的方法
CN111787497A (zh) * 2020-07-01 2020-10-16 北京长焜科技有限公司 一种使用数据库集群存储计费原始话单的方法
CN112134846B (zh) * 2020-08-21 2023-04-18 宜通世纪科技股份有限公司 一种通信网络信令数据分析方法、***、装置及介质
CN112134846A (zh) * 2020-08-21 2020-12-25 宜通世纪科技股份有限公司 一种通信网络信令数据分析方法、***、装置及介质
CN112200931A (zh) * 2020-09-02 2021-01-08 南京知数网络科技有限公司 一种鹰眼赛道智能定位分布***及方法
CN112506915A (zh) * 2020-10-27 2021-03-16 百果园技术(新加坡)有限公司 一种应用数据的管理***以及处理方法、装置和服务器
CN112506915B (zh) * 2020-10-27 2024-05-10 百果园技术(新加坡)有限公司 一种应用数据的管理***以及处理方法、装置和服务器
CN113486063A (zh) * 2021-07-05 2021-10-08 国网河北省电力有限公司信息通信分公司 电力物联网中流数据处理方法、装置及终端设备
CN113422840A (zh) * 2021-07-13 2021-09-21 全景智联(武汉)科技有限公司 基于文件传输协议的照片处理***及方法

Similar Documents

Publication Publication Date Title
CN107070890A (zh) 一种通信网优***中的流数据处理装置及通信网优***
CN106651633B (zh) 一种基于大数据技术的用电信息采集***及其采集方法
CN107103064B (zh) 数据统计方法及装置
CN106126641A (zh) 一种基于Spark的实时推荐***及方法
CN106709003A (zh) 基于Hadoop的海量日志数据处理方法
CN106951552A (zh) 一种基于Hadoop的用户行为数据处理方法
CN103761309A (zh) 一种运营数据处理方法及***
CN105677842A (zh) 基于Hadoop大数据处理技术的日志分析***
CN109739919A (zh) 一种用于电力***的前置机和采集***
CN109636307B (zh) 河长app***
CN108009258A (zh) 一种可在线配置的数据采集与分析平台
US9374475B1 (en) System for processing customer records
CN104317942A (zh) 一种基于Hadoop云平台的海量数据比对方法及***
CN115033646A (zh) 一种基于Flink&Doris构建实时数仓***的方法
CN110706125A (zh) 水利大数据分析信息服务***和平台服务***
CN110083600A (zh) 一种日志收集处理的方法、装置、计算设备及存储介质
CN112631754A (zh) 数据处理方法、装置、存储介质及电子装置
CN115292414A (zh) 一种业务数据同步到数仓的方法
CN113378219B (zh) 一种非结构化数据的处理方法和***
CN112506887B (zh) 车辆终端can总线数据处理方法及装置
CN113342806A (zh) 大数据处理方法、装置、存储介质及处理器
CN105740397A (zh) 一种基于大数据并行运算的语音信箱业务数据分析方法
Tudoran et al. SAGE: Geo-distributed streaming data analysis in clouds
CN111049898A (zh) 一种实现计算集群资源跨域架构的方法及***
CN108430067A (zh) 一种基于xdr的互联网业务质量分析方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170818

RJ01 Rejection of invention patent application after publication