CN111597058B - 一种数据流处理方法及*** - Google Patents

一种数据流处理方法及*** Download PDF

Info

Publication number
CN111597058B
CN111597058B CN202010307212.XA CN202010307212A CN111597058B CN 111597058 B CN111597058 B CN 111597058B CN 202010307212 A CN202010307212 A CN 202010307212A CN 111597058 B CN111597058 B CN 111597058B
Authority
CN
China
Prior art keywords
processing
processing node
data
node
data stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010307212.XA
Other languages
English (en)
Other versions
CN111597058A (zh
Inventor
周源
贾晓捷
冯萌萌
王佳佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weimeng Chuangke Network Technology China Co Ltd
Original Assignee
Weimeng Chuangke Network Technology China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weimeng Chuangke Network Technology China Co Ltd filed Critical Weimeng Chuangke Network Technology China Co Ltd
Priority to CN202010307212.XA priority Critical patent/CN111597058B/zh
Publication of CN111597058A publication Critical patent/CN111597058A/zh
Application granted granted Critical
Publication of CN111597058B publication Critical patent/CN111597058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/06—Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/288—Distributed intermediate devices, i.e. intermediate devices for interaction with other intermediate devices on the same level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开了一种数据流处理方法及***，用于解决现有的数据流处理方法中各处理节点之间的互相通讯需要依赖中心化节点，使得部署较笨重且不便扩缩容的问题，该方法包括：各个处理节点获取自身的配置文件，所述配置文件包括拓扑参数；所述各个处理节点根据自身的拓扑参数，组建拓扑架构；当任一处理节点接收到数据流时，该处理节点按照所述拓扑架构对所述数据流进行业务处理，并输出处理结果信息。本发明实施例通过各个处理节点根据自身的拓扑参数自发组建拓扑架构，每个处理节点相互独立，只关心自身的拓扑参数，不关心其他处理节点的行为，组建拓扑架构不存在中心化的处理节点，使得部署的框架较轻量化，便于扩缩容。

Description

一种数据流处理方法及***
技术领域
本发明实施例涉及数据处理技术领域，尤其涉及一种数据流处理方法及***。
背景技术
随着互联网大数据的兴起，加速了大数据处理技术的发展。不同数据对处理技术有不同的要求。流处理***的数据为实时采集的数据，通过实时计算采集来的数据，计算完成后迅速反馈给用户，已达到响应快、延迟低、可靠的目的。可见，流处理***具有快速、高效、容错率高等特性能，能够将数据信息准确无误的进行处理。在实际应用中，流处理***可以应用在火灾报警、燃气泄漏报警等场景。
常用的流处理框架有Storm分布式实时计算框架，该框架在大数据流式处理的各种平台技术中以实时性好、高性能著称，兼备高可扩展性、稳定性和可靠性等特点受到业界的广泛关注使用。Storm作为流数据处理引擎，采用轮询算法进行任务调度，基于内存进行快速运算，能够保证每个消息都会得到处理，而且响应速度快，很适用于实时流处理。
但是，storm通过一个中心化节点实现各处理节点之间互相发现，即各处理节点之间的互相通讯需要依赖中心化节点来实现。如storm的启动需要依赖zookeeper。因此，storm的部署较为笨重，且扩缩容较为不便。
发明内容
本发明实施例提供一种数据流处理方法及***，用于解决现有的数据流处理方法中各处理节点之间的互相通讯需要依赖中心化节点，使得部署较笨重且不便扩缩容的问题。
本发明实施例采用下述技术方案：
第一方面，提供了一种数据流处理方法，所述方法包括：
各个处理节点获取自身的配置文件，所述配置文件包括拓扑参数；
所述各个处理节点根据自身的拓扑参数，组建拓扑架构；
当任一处理节点接收到数据流时，该处理节点按照所述拓扑架构对所述数据流进行业务处理，并输出处理结果信息。
第二方面，提供了一种数据流处理***，所述***包括：若干处理节点，每一个处理节点包括获取模块、组建模块和业务处理模块，其中：
所述获取模块，用于获取所属处理节点的配置文件，所述配置文件包括拓扑参数；
所述组建模块，用于根据所属处理节点的拓扑参数，组建拓扑架构；
所述业务处理模块，用于当所属处理节点接收到数据流时，按照所述拓扑架构对所述数据流进行业务处理，并输出处理结果信息。
第三方面，提供了一种数据流处理***，包括：存储器，存储有计算机程序指令；
处理器，当所述计算机程序被所述处理器执行时实现如上述所述的数据流处理方法。
第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行时实现如上述所述的数据流处理方法。
本发明实施例采用的上述至少一个技术方案能够达到以下有益效果：
本发明实施例通过各个处理节点根据自身的拓扑参数自发组建拓扑架构，每个处理节点相互独立，只关心自身的拓扑参数，不关心其他处理节点的行为，组建拓扑架构不存在中心化的处理节点，使得部署的框架较轻量化，便于扩缩容。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本说明书的一个实施例提供的数据流处理方法流程示意图；
图2为本说明书的一个实施例提供的数据流处理方法的实际应用场景示意图之一；
图3为本说明书的一个实施例提供的数据流处理方法的实际应用场景示意图之二；
图4为本说明书的一个实施例提供的数据流处理方法的实际应用场景示意图之三；
图5为本说明书的一个实施例提供的数据流处理方法的实际应用场景示意图之四；
图6为本说明书的一个实施例提供的数据流处理方法的实际应用场景示意图之五；
图7为本说明书的一个实施例提供的数据流处理方法的实际应用场景示意图之六；
图8为本说明书的一个实施例提供的数据流处理***结构示意图之一；
图9为本说明书一个实施例提供的数据流处理***结构示意图之二。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明实施例提供一种数据流处理方法及***，用于解决现有的数据流处理方法中各处理节点之间的互相通讯需要依赖中心化节点，使得部署较笨重且不便扩缩容的问题。本发明实施例提供一种数据流处理方法，该方法的执行主体，可以但不限于应用程序或能够被配置为执行本发明实施例提供的该方法的***。
图1为本发明实施例提供的数据流处理方法的流程图，图1的方法可以由***执行，如图1所示，该方法可以包括：
步骤110，各个处理节点获取自身的配置文件。
其中，所述配置文件可以包括拓扑参数。
该拓扑参数可以包括：处理节点的标识信息，处理节点的待处理数据和处理结果数据，处理节点读取消息中间件的密钥值和处理节点输出的消息中间件的密钥列表，处理节点读取的消息中间件的类型，处理节点的线程数，控制处理节点执行业务处理的指令等。
步骤120，所述各个处理节点根据自身的拓扑参数，组建拓扑架构。
示例性的，所述拓扑参数可以包括处理节点的待处理数据和处理结果数据，处理节点读取消息中间件的密钥值和处理节点将数据写入消息中间件的密钥值。本步骤具体可实现为：
所述各个处理节点根据待处理处理数据和处理结果数据，确定各个处理节点的关联关系，以生成拓扑图。
该拓扑图是一个有向无环图，其用于确定数据流向，及排查处理节点性能压力等。
示例性的，如图2所示，假设：
处理节点(简称节点)1的处理结果数据是节点3和节点4的待处理处理数据，节点2的处理结果数据是节点4和节点5的待处理处理数据，节点4的处理结果数据是节点6的待处理处理数据，节点4的处理结果数据是节点5和节点7的待处理处理数据，节点7的处理结果数据是节点6的待处理处理数据。
则，可确定节点1～节点7之间的关联关系，并根据该关联关系，生成一个有向无环图，即拓扑图。
根据所述拓扑图，在所述各个处理节点中，将采用密钥值将数据写入所述消息中间件的第一处理节点，与采用同一密钥值从所述消息中间件中读取数据的第二处理节点建立通讯，组建所述拓扑架构。
其中，如图3所示，消息中间件以接口插件的形式嵌入***中，常用的消息中间件有Kafka，Redis，BlockingQueue(由Java Development Kit，JDK提供)，memcacheq等。通过插件扩展的方式可以在jvm(Java Virtual Machine，Java虚拟机)内部通讯，也可以跨jvm通讯。
具体实施时，本发明实施例使用BlockingQueue，在使用BlockingQueue时数据只能在Jvm内传递。本发明实施例使用其他消息中间件时数据可以跨机器传递。
其中，第一处理节点将数据写入消息中间件所采用的密钥值，与第二处理节点从消息中间件中读取数据所采用的密钥值一致。
示例性的，如图2所示，假设第一处理节点为节点1，第二处理节点为节点3，则节点1采用密钥值Key1-3将处理结果数据写入所述消息中间件，节点4采用该密钥值Key1-3从所述消息中间件中读取待处理处理数据。同理，假设第一处理节点为节点4，第二处理节点为节点5，则节点4采用密钥值Key4-5将处理结果数据写入所述消息中间件，节点5采用该密钥值Key4-5从所述消息中间件中读取待处理处理数据。以此类推，各个处理节点可以通过采用同一密钥值建立通讯，组建拓扑架构。
步骤130，当任一处理节点接收到数据流时，该处理节点按照所述拓扑架构对所述数据流进行业务处理，并输出处理结果信息。
本发明实施例中，各处理节点的关系，拓扑图的逻辑，可使用java注解来实现，每个处理节点只关心自身读取的数据和输出的数据，不关心其他处理节点的行为，组建的拓扑架构中没有中心化的处理节点，使得部署的框架较轻量化，便于扩缩容。
作为一个实施例，步骤110具体可实现为：
扫描提供处理节点类的包，以获取类定义，所述处理节点的类定义的注解被加在处理节点类上。
如图3所示，本步骤可以通过处理节点上的类扫描器扫描提供处理节点类的包。
解析所述类定义的注解，以得到所述处理节点类及处理节点类对象。
对所述处理节点类进行实例化处理。
在执行对所述处理节点类进行实例化处理之前，步骤110还包括：
根据所述类定义的注解，判定所述处理节点类合法。具体包括：根据所述类定义的注解，判断所述处理节点类是否合法；若是，则对所述处理节点类进行实例化处理。
对所述处理节点类进行实例化处理，包括两种方式：第一种，通过***框架进行的普通实例化处理(即如图4中所示的普通类初始化)；第二种，如采用处理节点类通过注解实现依赖的处理节点类对象被注入spring框架的实例化处理方式(即如图4中所示的spring类初始化)。
本发明实施例采用所述处理节点类通过注解实现依赖的处理节点类对象被注入spring框架，以对所述处理节点类进行实例化处理。
其中，Spring框架是由于软件开发的复杂性而创建的，是一个轻量级的控制反转(IoC)和面向切面(AOP)的容器框架。
Spring通过一种称作控制反转(IoC)的技术促进了松耦合。当应用了IoC，一个处理节点类依赖的其它处理节点类会通过被动的方式传递进来，而不是这个处理节点类自己创建或者查找依赖处理节点类对象。可以认为IoC与JNDI相反，不是处理节点类从Spring框架Spring框架中查找依赖，而是Spring框架在处理节点类初始化时不等处理节点类请求就主动将依赖传递给它。
示例性的，注解样例@Processor(desc＝"私信来源分发信息处理",readEventName＝"direct_massage_report",readEventType＝QueueType.REDIS,emitEventName＝{"origin_report"},threadNum＝2))，包含的字段有处理节点名称，处理节点读取消息中间件的key，处理节点输出的消息中间件的key list，消息中间件类型，当前处理节点的线程数，开关和跳过开关的一些信息等。
本发明实施例通过在组建处理节点时可以使用spring框架对处理节点的初始化和依赖关系进行管理，一方面为各处理节点之间代码共享提供了途径，另一方面解决了流处理服务的代码与非流处理服务的代码共享问题，极大的方便了代码的开发。
在已实现的项目中，流处理服务与http服务并存的场景下，大约减少了30％左右的代码行数。在部署上，本发明实施例是通过消息中间件(以各类消息队列为主)实现处理节点间数据通信，简化了流处理服务的部署难度，避免了流处理服务依赖中心化处理节点来发现的问题，将数据传输方式为拉模式，即，上游只负责将数据写入消息中间件，下游空闲时主动从消息中间件中拉取数据。
另外，本发明实施例提供的流处理服务可以与其他类型的服务，如http服务，rpc服务进行混部，可以不占用其他物理服务器资源实现共享，减少了资源占用，提高了服务器的利用率。
作为一个实施例，所述拓扑参数包括控制处理节点执行业务处理的指令，在执行步骤130之前，本发明实施例提供的数据流处理方法还可以包括：
当任一处理节点接收到数据流时，该处理节点根据所述控制处理节点执行业务处理的指令，执行与所述指令相应的操作。
具体的，控制处理节点执行业务处理的指令可以包括关闭指令和/或跳过指令，则所述处理节点根据所述控制处理节点执行业务处理的指令，执行与所述指令相应的操作，具体可实现为：
所述处理节点根据所述关闭指令，执行关闭自身执行业务处理的操作；和/或，所述处理节点根据所述跳过指令，不执行业务处理的操作，并直接输出数据。
示例性的，如图5所示，在步骤510，判断处理节点是否根据关闭指令执行关闭自身执行业务处理的操作；若是，结束；若否，执行步骤520。
在步骤520，处理节点从消息中间件读取数据。
在步骤530，判断处理节点是否根据所述跳过指令不执行业务处理的操作，若是，则执行步骤550，若否，则执行步骤540。
在步骤540，处理节点执行业务处理的操作，并输出处理数据，将处理数据写入消息中间件。
在步骤550，处理节点将输入的数据直接输出，并写入消息中间件。
本发明实施例通过将拓扑参数设置有控制处理节点执行业务处理的指令，可以灵活的控制各个处理节点执行处理数据操作的启动或停止，满足各个应用场景的需求。
作为一个实施例，本发明实施例提供的数据流处理方法还可以包括：
当第一处理节点输入源数据，输出第一中间数据时，所述第一处理节点对所述第一中间数据进行封包处理，以得到第一数据包并输出，所述第一数据包包含第一标识信息。
当第二处理节点输入所述第一数据包，输出第二中间数据时，所述第二处理节点对所述第二中间数据和所述第一标识信息进行封包处理，以得到第二数据包并输出，所述第二数据包包含第二标识信息。
示例性的，假设，如图6所示，第一数据包包含第一标识信息(currentprocessRequestID 11)，图6中的标识信息(parentProcessRequestID 10)为第一处理节点之前的处理节点生成的标识信息。第二处理节点对第一数据包解析处理，得到上一处理节点生成的第一标识信息(currentprocessRequestID 11)，及第二处理节点对所述第二中间数据和所述第一标识信息进行封包处理得到第二数据包，并生成第二标识信息(currentprocessRequestID 12)。
根据所述第一标识信息和所述第二标识信息的继承关系，获得从所述源数据向所述第二中间数据转换过程中产生的数据流向日志。
本步骤具体可实现为：如图7所示，沿用上述实例，根据第一标识信息和第二标识信息的继承关系，以此类推，可得到第一处理节点至第十处理节点分别产生的标识信息，依次如下：RequestID 1、RequestID 2、RequestID 3、RequestID4、RequestID 5、RequestID6、RequestID 7、RequestID 8、RequestID 9、RequestID10。
以及，可得到上述标识信息之间的继承关系，最终得到从所述源数据向第十处理节点生成的中间数据转换过程中数据流向日志。
本发明实施例中，当数据从前一个处理节点输出时，会对数据进行一次封包，并在包内记录一个requestID，到达当前处理节点时，会对该数据包进行解包，从而得知前一个处理节点处理时的requestID，并生成当前处理节点自己的requestID，根据这两个requestID之间的继承关系，可以得到数据的流向信息，可从任一中间数据追溯至源数据，便于数据查找。
以上，结合图1～图7详细说明了本说明书实施例的数据流处理方法，下面，结合图8，详细说明本说明书实施例的***。
图8示出了本说明书实施例提供的***的结构示意图，如图8所示，该***800可以包括：若干处理节点，每一个处理节点包括获取模块、组建模块和业务处理模块，其中：
所述获取模块810，用于获取所属处理节点的配置文件，所述配置文件包括拓扑参数；
所述组建模块820，用于根据所属处理节点的拓扑参数，组建拓扑架构；
所述业务处理模块830，用于当所属处理节点接收到数据流时，按照所述拓扑架构对所述数据流进行业务处理，并输出处理结果信息。
在一实施例中，所述拓扑参数包括处理节点的待处理数据和处理结果数据，处理节点读取消息中间件的密钥值和处理节点将数据写入消息中间件的密钥值；
所述组建模块820可以包括：
确定单元，用于所属处理节点根据自身的处理数据和处理结果数据，确定与各个处理节点的关联关系，以生成拓扑图；
建立单元，用于根据所述拓扑图，在所述各个处理节点中，将采用密钥值将数据写入所述消息中间件的第一处理节点，与采用该密钥值从所述消息中间件中读取数据的第二处理节点建立通讯，组建所述拓扑架构。
在一实施例中，所述获取模块810可以包括：
类扫描器，用于扫描提供处理节点类的包，以获取类定义，所述处理节点的类定义的注解被加在处理节点类上；
解析单元，用于解析所述类定义的注解，以得到所述处理节点类及处理节点类对象；
处理单元，用于对所述处理节点类进行实例化处理，所述处理单元具体用于所述处理节点类通过注解实现依赖的处理节点类对象被注入spring框架。
在一实施例中，所述获取模块810可以包括：
判断单元，用于根据所述类定义的注解，判定所述处理节点类合法。
在一实施例中，所述拓扑参数包括控制处理节点执行业务处理的指令，所述***800可以包括：
执行模块840，用于当任一处理节点接收到数据流时，该处理节点根据所述控制处理节点执行业务处理的指令，执行与所述指令相应的操作。
在一实施例中，控制处理节点执行业务处理的指令包括关闭指令和/或跳过指令；所述执行模块840可以包括：
执行单元，用于所述处理节点根据所述关闭指令，执行关闭自身执行业务处理的操作；
和/或，所述处理节点根据所述跳过指令，不执行业务处理的操作，并直接输出数据。
在一实施例中，所述***800可以包括：
第一封包处理模块850，用于当第一处理节点输入源数据，输出第一中间数据时，所述第一处理节点对所述第一中间数据进行封包处理，以得到第一数据包并输出，所述第一数据包包含第一标识信息；
第二封包处理模块860，用于当第二处理节点输入所述第一数据包，输出第二中间数据时，所述第二处理节点对所述第二中间数据和所述第一标识信息进行封包处理，以得到第二数据包并输出，所述第二数据包包含第二标识信息；
日志获取模块870，用于根据所述第一标识信息和所述第二标识信息的继承关系，获得从所述源数据向所述第二中间数据转换过程中产生的数据流向日志。
本发明实施例通过各个处理节点根据自身的拓扑参数自发组建拓扑架构，每个处理节点相互独立，只关心自身的拓扑参数，不关心其他处理节点的行为，组建拓扑架构不存在中心化的处理节点，使得部署的框架较轻量化，便于扩缩容。
下面将结合图9详细描述根据本发明实施例的数据流处理***。参考图9，在硬件层面，数据流处理***包括处理器，可选地，包括内部总线、网络接口、存储器。其中，如图9所示，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该数据流处理***还可能包括实现其他目标业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成资源增值对象与资源对象的关联数据流处理***。处理器，执行存储器所存放的程序，并具体用于执行本说明书前文所述的方法实施例的操作。
上述图1至图8所示实施例揭示的方法、数据流处理***执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
图8所示的数据流处理***还可执行图1至图7的方法，实现数据流处理方法在图1至图7所示实施例的功能，本发明实施例在此不再赘述。
当然，除了软件实现方式之外，本申请的数据流处理***并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述各个方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的服务器。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令服务器的制造品，该指令服务器实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种数据流处理方法，其特征在于，包括：
各个处理节点获取自身的配置文件，所述配置文件包括拓扑参数；
所述各个处理节点根据自身的拓扑参数，组建拓扑架构；
当任一处理节点接收到数据流时，该处理节点按照所述拓扑架构对所述数据流进行业务处理，并输出处理结果信息；
所述拓扑参数包括处理节点的待处理数据和处理结果数据，处理节点读取消息中间件的密钥值和处理节点将数据写入消息中间件的密钥值；
所述各个处理节点根据自身的拓扑参数，组建拓扑架构，包括：
所述各个处理节点根据待处理数据和处理结果数据，确定各个处理节点的关联关系，生成拓扑图；
根据所述拓扑图，在所述各个处理节点中，将采用密钥值将数据写入所述消息中间件的第一处理节点，与采用同一密钥值从所述消息中间件中读取数据的第二处理节点建立通讯，组建所述拓扑架构。
2.根据权利要求1所述的方法，其特征在于，各个处理节点获取自身的配置文件，包括：
扫描提供处理节点类的包，获取类定义，所述处理节点的类定义的注解被加在处理节点类上；
解析所述类定义的注解，得到所述处理节点类及处理节点类对象；
对所述处理节点类进行实例化处理，具体包括：所述处理节点类通过注解实现依赖的处理节点类对象被注入spring框架。
3.根据权利要求2所述的方法，其特征在于，对所述处理节点类进行实例化处理之前，还包括：根据所述类定义的注解，判定所述处理节点类合法。
4.根据权利要求1所述的方法，其特征在于，所述拓扑参数包括控制处理节点执行业务处理的指令，在任一处理节点按照所述拓扑架构对所述数据流进行业务处理之前，包括：
当任一处理节点接收到数据流时，该处理节点根据所述控制处理节点执行业务处理的指令，执行与所述指令相应的操作。
5.根据权利要求4所述的方法，其特征在于，控制处理节点执行业务处理的指令包括关闭指令和/或跳过指令；
所述处理节点根据所述控制处理节点执行业务处理的指令，执行与所述指令相应的操作，包括：
所述处理节点根据所述关闭指令，执行关闭自身执行业务处理的操作；
和/或，所述处理节点根据所述跳过指令，不执行业务处理的操作，并直接输出数据。
6.根据权利要求1所述的方法，其特征在于，所述方法包括：
当第一处理节点输入源数据，输出第一中间数据时，所述第一处理节点对所述第一中间数据进行封包处理，得到第一数据包并输出，所述第一数据包包含第一标识信息；
当第二处理节点输入所述第一数据包，输出第二中间数据时，所述第二处理节点对所述第二中间数据和所述第一标识信息进行封包处理，得到第二数据包并输出，所述第二数据包包含第二标识信息；
根据所述第一标识信息和所述第二标识信息的继承关系，获得从所述源数据向所述第二中间数据转换过程中产生的数据流向日志。
7.一种数据流处理***，其特征在于，包括若干处理节点，每一个处理节点包括获取模块、组建模块和业务处理模块，其中：
所述获取模块，用于获取所属处理节点的配置文件，所述配置文件包括拓扑参数；
所述组建模块，用于根据所属处理节点的拓扑参数，组建拓扑架构；
所述业务处理模块，用于当所属处理节点接收到数据流时，按照所述拓扑架构对所述数据流进行业务处理，并输出处理结果信息；
所述各个处理节点的组建模块，包括：
确定单元，用于所述各个处理节点根据自身的待处理数据和处理结果数据，确定各个处理节点的关联关系，以生成拓扑图；
建立单元，用于根据所述拓扑图，在所述各个处理节点中，将采用密钥值将数据写入消息中间件的第一处理节点，与采用同一密钥值从所述消息中间件中读取数据的第二处理节点建立通讯，组建所述拓扑架构。
8.一种数据流处理***，其特征在于，包括：
存储器，存储有计算机程序指令；
处理器，当所述计算机程序被所述处理器执行时实现如权利要求1至6任一项所述的数据流处理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行时实现如权利要求1至6任一项所述的数据流处理方法。
CN202010307212.XA 2020-04-17 2020-04-17 一种数据流处理方法及*** Active CN111597058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010307212.XA CN111597058B (zh) 2020-04-17 2020-04-17 一种数据流处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010307212.XA CN111597058B (zh) 2020-04-17 2020-04-17 一种数据流处理方法及***

Publications (2)

Publication Number Publication Date
CN111597058A CN111597058A (zh) 2020-08-28
CN111597058B true CN111597058B (zh) 2023-10-17

Family

ID=72181470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010307212.XA Active CN111597058B (zh) 2020-04-17 2020-04-17 一种数据流处理方法及***

Country Status (1)

Country Link
CN (1) CN111597058B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326292B (zh) * 2021-06-25 2024-06-07 深圳前海微众银行股份有限公司 一种数据流合并方法、装置、设备和计算机存储介质
CN114116065B (zh) * 2021-11-29 2022-11-15 中电金信软件有限公司 获取拓扑图数据对象的方法、装置、及电子设备
CN114281297A (zh) * 2021-12-09 2022-04-05 上海深聪半导体有限责任公司 多音频流的传输管理方法、装置、设备及存储介质

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065136A (zh) * 2010-12-10 2011-05-18 中国科学院软件研究所 一种p2p网络安全数据传输方法及其***
CN103368770A (zh) * 2013-06-18 2013-10-23 华中师范大学 基于网关级拓扑的自适应alm覆盖网络构建及维护方法
CN103491129A (zh) * 2013-07-05 2014-01-01 华为技术有限公司 一种业务节点配置方法、业务节点池注册器及***
CN103560943A (zh) * 2013-10-31 2014-02-05 北京邮电大学 支持海量数据实时处理的网络分析***和方法
CN104038364A (zh) * 2013-12-31 2014-09-10 华为技术有限公司 分布式流处理***的容错方法、节点及***
CN105574082A (zh) * 2015-12-08 2016-05-11 曙光信息产业(北京)有限公司 基于Storm的流处理方法及***
CN107678852A (zh) * 2017-10-26 2018-02-09 携程旅游网络技术（上海）有限公司 基于流数据实时计算的方法、***、设备及存储介质
WO2018072708A1 (zh) * 2016-10-21 2018-04-26 中兴通讯股份有限公司 一种云平台业务的缩容方法、装置及云平台
CN108268305A (zh) * 2017-01-04 2018-07-10 ***通信集团四川有限公司 用于虚拟机自动扩缩容的***和方法
CN108594810A (zh) * 2018-04-08 2018-09-28 百度在线网络技术（北京）有限公司 数据处理的方法、装置、存储介质、终端设备和自动驾驶车辆
CN108595699A (zh) * 2018-05-09 2018-09-28 国电南瑞科技股份有限公司 电力调度自动化***中广域分布式数据的流式处理方法
CN108881369A (zh) * 2018-04-24 2018-11-23 中国科学院信息工程研究所 一种基于面向数据内容的云消息中间件的数据交换方法和云消息中间件***
CN108900320A (zh) * 2018-06-04 2018-11-27 佛山科学技术学院 一种互联网测试床拓扑结构大比例规模缩减方法及装置
CN109104318A (zh) * 2018-08-23 2018-12-28 广东轩辕网络科技股份有限公司 用于实现集群自适应部署的方法、基于云平台的自适应部署大数据集群的部署方法及***
CN109194919A (zh) * 2018-09-19 2019-01-11 图普科技（广州）有限公司 一种摄像头数据流分配***、方法及其计算机存储介质
CN109992561A (zh) * 2019-02-14 2019-07-09 石化盈科信息技术有限责任公司 工业实时计算方法、存储介质和计算设备
CN110113399A (zh) * 2019-04-24 2019-08-09 华为技术有限公司 负载均衡管理方法及相关装置
CN110245108A (zh) * 2019-07-15 2019-09-17 北京一流科技有限公司 执行体创建***和执行体创建方法
CN110716744A (zh) * 2019-10-21 2020-01-21 中国科学院空间应用工程与技术中心 一种数据流处理方法、***和计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012005637A1 (en) * 2010-07-05 2012-01-12 Saab Ab Method for configuring a distributed avionics control system
KR102372219B1 (ko) * 2016-04-25 2022-03-08 콘비다 와이어리스, 엘엘씨 서비스 레이어에서의 데이터 스트림 애널리틱스
US11238164B2 (en) * 2017-07-10 2022-02-01 Burstiq, Inc. Secure adaptive data storage platform
EP3821583A1 (en) * 2018-07-10 2021-05-19 Nokia Technologies Oy Dynamic multiple endpoint generation

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065136A (zh) * 2010-12-10 2011-05-18 中国科学院软件研究所 一种p2p网络安全数据传输方法及其***
CN103368770A (zh) * 2013-06-18 2013-10-23 华中师范大学 基于网关级拓扑的自适应alm覆盖网络构建及维护方法
CN103491129A (zh) * 2013-07-05 2014-01-01 华为技术有限公司 一种业务节点配置方法、业务节点池注册器及***
CN103560943A (zh) * 2013-10-31 2014-02-05 北京邮电大学 支持海量数据实时处理的网络分析***和方法
CN104038364A (zh) * 2013-12-31 2014-09-10 华为技术有限公司 分布式流处理***的容错方法、节点及***
CN105574082A (zh) * 2015-12-08 2016-05-11 曙光信息产业(北京)有限公司 基于Storm的流处理方法及***
WO2018072708A1 (zh) * 2016-10-21 2018-04-26 中兴通讯股份有限公司 一种云平台业务的缩容方法、装置及云平台
CN108268305A (zh) * 2017-01-04 2018-07-10 ***通信集团四川有限公司 用于虚拟机自动扩缩容的***和方法
CN107678852A (zh) * 2017-10-26 2018-02-09 携程旅游网络技术（上海）有限公司 基于流数据实时计算的方法、***、设备及存储介质
CN108594810A (zh) * 2018-04-08 2018-09-28 百度在线网络技术（北京）有限公司 数据处理的方法、装置、存储介质、终端设备和自动驾驶车辆
CN108881369A (zh) * 2018-04-24 2018-11-23 中国科学院信息工程研究所 一种基于面向数据内容的云消息中间件的数据交换方法和云消息中间件***
CN108595699A (zh) * 2018-05-09 2018-09-28 国电南瑞科技股份有限公司 电力调度自动化***中广域分布式数据的流式处理方法
CN108900320A (zh) * 2018-06-04 2018-11-27 佛山科学技术学院 一种互联网测试床拓扑结构大比例规模缩减方法及装置
CN109104318A (zh) * 2018-08-23 2018-12-28 广东轩辕网络科技股份有限公司 用于实现集群自适应部署的方法、基于云平台的自适应部署大数据集群的部署方法及***
CN109194919A (zh) * 2018-09-19 2019-01-11 图普科技（广州）有限公司 一种摄像头数据流分配***、方法及其计算机存储介质
CN109992561A (zh) * 2019-02-14 2019-07-09 石化盈科信息技术有限责任公司 工业实时计算方法、存储介质和计算设备
CN110113399A (zh) * 2019-04-24 2019-08-09 华为技术有限公司 负载均衡管理方法及相关装置
CN110245108A (zh) * 2019-07-15 2019-09-17 北京一流科技有限公司 执行体创建***和执行体创建方法
CN110716744A (zh) * 2019-10-21 2020-01-21 中国科学院空间应用工程与技术中心 一种数据流处理方法、***和计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于Spark的有效载荷参数解析处理方法;张文彬;王春梅;王静;陈托;智佳;;计算机工程与设计(第02期);587-591 *
基于Storm的面向大数据实时流查询***设计研究;蒋晨晨;季一木;孙雁飞;王汝传;;南京邮电大学学报(自然科学版)(第03期);100-105+111 *
基于软件定义网络的自适应数据流处理模型;王斌;马颖;;计算机工程与设计(12);3601-3604+3627 *
自私节点下无线多跳网的节能博弈拓扑研究;陈松林;秦燕;;计算机科学(第12期);182-185 *

Also Published As

Publication number Publication date
CN111597058A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111597058B (zh) 一种数据流处理方法及***
CN109002362B (zh) 一种服务方法、装置、***以及电子设备
CN110704037B (zh) 一种规则引擎实现方法及装置
CN111124906A (zh) 基于动态埋点的跟踪方法、编译方法、装置和电子设备
CN113495797B (zh) 一种消息队列及消费者动态创建方法及***
CN113704117A (zh) 一种算法测试***、方法及装置
CN110457132B (zh) 一种功能对象的创建方法、装置和终端设备
CN111142925A (zh) 一种管道式数据处理方法、设备以及存储介质
CN111694639A (zh) 进程容器地址的更新方法、装置和电子设备
CN112559565A (zh) 一种异常检测方法、***及装置
CN110704099B (zh) 联盟链的构建方法、装置和电子设备
CN116578282A (zh) 代码生成方法、装置、电子设备及介质
CN111459474B (zh) 一种模板化的数据处理方法及装置
CN114546672A (zh) 一种无人驾驶通信方法、装置、设备及存储介质
CN113419952A (zh) 云服务管理场景测试装置与方法
US20070240164A1 (en) Command line pipelining
CN111435320B (zh) 一种数据处理方法及其装置
CN111796864A (zh) 一种数据校验的方法及装置
CN111459819A (zh) 软件测试方法及装置、电子设备、计算机可读介质
CN111401020A (zh) 一种界面加载方法、***和计算设备
CN116668542B (zh) 一种增强型服务架构下基于异构资源绑定的业务执行方法
CN113687973B (zh) 一种日志动态化输出的控制方法、设备及介质
CN115023931B (zh) 用于服务api发布的方法和网络实体
CN117170669B (zh) 一种基于前端高低代码融合的页面展示方法
CN115454494A (zh) 基于事件流机制的内容管理***的实现方法、***及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant