CN110019651A - 一种流式规则引擎及业务数据处理方法 - Google Patents
一种流式规则引擎及业务数据处理方法 Download PDFInfo
- Publication number
- CN110019651A CN110019651A CN201910157335.7A CN201910157335A CN110019651A CN 110019651 A CN110019651 A CN 110019651A CN 201910157335 A CN201910157335 A CN 201910157335A CN 110019651 A CN110019651 A CN 110019651A
- Authority
- CN
- China
- Prior art keywords
- business rule
- data
- business
- module
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 abstract description 4
- 230000015654 memory Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 10
- 238000009826 distribution Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000000712 assembly Effects 0.000 description 5
- 238000000429 assembly Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000009432 framing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000000379 polymerizing effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013497 data interchange Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种流式规则引擎及业务数据处理方法。该流式规则引擎：包括业务规则配置模块和处理模块；其中，所述业务规则配置模块部署在Flink框架平台中的一设备上，用于配置业务规则数据；所述处理模块部署在Flink框架平台中的其他分布式设备上，用于从所述一设备上获取所述配置的业务规则数据，对获取的业务规则数据进行解析，将解析出的业务规则数据与业务数据进行规则匹配处理，输出处理结果。本发明提供的技术方案，能提高业务数据聚合速度和提高运算能力，更适合用户进行业务上的大量聚合操作，且适用于开源环境。
Description
技术领域
本发明涉及计算机大数据技术领域，具体涉及一种流式规则引擎及业务数据处理方法。
背景技术
目前在很多企业的IT业务***中，经常会有大量的业务规则配置，当企业管理者的决策发生变化时，这些业务规则也需要随之发生变化。为了适应企业管理变化的需求，企业的IT业务***需要能快速且低成本进行更新。现有技术中，一般是将业务规则的配置单独提取出来，使之与业务***保持低耦合，而实现这样的功能的程序，已经被开发成为规则引擎。
所谓规则引擎，是一种推理引擎，它是根据已有的事实，从规则知识库中匹配规则，并处理存在冲突的规则，执行最后筛选通过的规则。因此，规则引擎是人工智能研究领域的一部分，具有一定的选择判断性、人工智能性和富含知识性。同时，规则引擎是一种嵌入在应用程序中的组件，实现了将业务决策从应用程序代码中分离出来，并使用预定义的语义模块编写业务决策。大多数的规则引擎都支持规则的次序和规则冲突检验，支持简单脚本语言的规则实现，支持通用开发语言的嵌入开发。目前业内有多个规则引擎可供使用，比较流行的规则引擎包括商业规则引擎iLog和开源规则引擎Drools等。在Drools中，规则被存放在Production Memory(规则库)中，推理机要匹配的facts(事实)被存在WorkingMemory(工作内存)中。当事实被***到工作内存中后，规则引擎会把事实和规则库里的模式进行匹配，对于匹配成功的规则再由Agenda(代理器)负责具体执行推理算法中被激发规则的结论部分，同时Agenda通过冲突决策策略来管理这些冲突规则的执行顺序。
现有技术中，使用的最多的是一款基于Java语言的开源规则引擎，它的最大优势在于语法规则简单，类似Java编写门槛不高，能够无缝化与Java集成且用户可以对Drools规则进行动态配置，但该规则引擎存在比较明显的缺点：由于Drools引擎大都是单机部署，运算能力很难扩展，因此导致内置聚合功能速度缓慢，不适合企业自身或者客户使用场景下的大量聚合操作任务；另外，其内置事件序列处理机制也需要消耗大量内存资源。因此，现有技术中的大多数开源规则引擎，面对业务数据量迅猛增长的大规模数据时，会显得无能为力。
专利申请号为“201310641753.6”的发明专利中公开了一种分布式规则引擎***，将规则分布到多个规则引擎之上，通过多个规则引擎进行处理，可以一定程度地扩展运算能力，但该种分布式规则引擎是基于Rete网络，只是公司内部研发使用，没有经过如Google、Uber、Airbnb、Amazon、Apple、Facebook和阿里巴巴等大公司的大数据量的考验，所以在大数据量的时候，就会凸显在运行速度、扩展性和资源使用率等方面性能差，协调各个机器的进行分布式处理能力不强。该种分布式规则引擎由于缺乏开源社区的支持，导致易用性不强，软件更新升级速度慢，出现问题后，修复问题的周期慢，修复能力不足；且该种分布式规则引擎***是由多个规则引擎进行协同处理，由于各个规则引擎的规则不同，导致每个规则引擎处理后的结果数据，都需要进行跨网络传输，当数据量大的时候，传输效率特别低，对Rete网络造成很大的压力，而且缺乏容错机制和监控机制和管理机制，导致规则引擎之间协调性差，对各个规则引擎监控和管理能力差，不能协调各个规则引擎对***的资源的分配，可能出现部分规则引擎需要的资源增大导致各个规则引擎哄抢***资源，使得整个分布式规则引擎***崩塌的问题。
因此，很需要一种更适合开源的规则引擎能解决上述问题。
发明内容
有鉴于此，本发明的目的在于提出一种流式规则引擎及业务数据处理方法，能提高业务数据聚合速度和提高运算能力，更适合用户进行业务上的大量聚合操作，且适用于开源环境。
根据本发明的一方面，提供一种流式规则引擎：
包括业务规则配置模块和处理模块；其中，
所述业务规则配置模块部署在Flink框架平台中的一设备上，用于配置业务规则数据；
所述处理模块部署在Flink框架平台中的其他分布式设备上，用于从所述一设备上获取所述配置的业务规则数据，对获取的业务规则数据进行解析，将解析出的业务规则数据与业务数据进行规则匹配处理，输出处理结果。
优选的，所述处理模块包括：业务规则获取模块、业务规则解析模块、业务数据处理模块和结果输出模块，所述业务规则获取模块、业务规则解析模块、业务数据处理模块和结果输出模块同时设置在每个所述其他分布式设备上，其中所述其他分布式设备包括任务管理器所在的设备；
所述业务规则获取模块，用于从所述一设备上获取所述配置的业务规则数据，其中所述一设备包括工作管理器所在的设备；
所述业务规则解析模块，用于对所述业务规则获取模块获取的业务规则数据进行解析；
所述业务数据处理模块，用于将所述业务规则解析模块解析出的业务规则数据与业务数据进行规则匹配处理；
所述结果输出模块，用于输出所述业务数据处理模块的处理结果。
优选的，所述业务规则配置模块通过设置的规则配置页面配置业务规则数据。
优选的，所述业务规则配置模块配置业务规则数据后，将所述业务规则数据采用JSON格式存储到数据库中；
所述业务规则解析模块，解析所述JSON格式的业务规则数据。
优选的，所述业务规则获取模块获取所述配置的业务规则数据后，将判断为有效的业务规则数据转成流式数据传输给所述业务规则解析模块。
根据本发明的另一方面，提供一种业务数据处理方法：
通过流式规则引擎的业务规则配置模块配置业务规则数据，其中所述业务规则配置模块部署在Flink框架平台中的一设备上；
通过流式规则引擎的处理模块从所述一设备上获取所述配置的业务规则数据，对获取的业务规则数据进行解析，将解析出的业务规则数据与业务数据进行规则匹配处理，输出处理结果，其中所述处理模块部署在Flink框架平台中的其他分布式设备上。
优选的，所述从所述一设备上获取所述配置的业务规则数据，包括：通过所述处理模块中的业务规则获取模块从所述一设备上获取所述配置的业务规则数据，其中所述一设备包括工作管理器所在的设备；
所述对获取的业务规则数据进行解析，包括：通过所述处理模块中的业务规则解析模块对所述业务规则获取模块获取的业务规则数据进行解析；
所述将解析出的业务规则数据与业务数据进行规则匹配处理，包括：通过所述处理模块中的业务数据处理模块将所述业务规则解析模块解析出的业务规则数据与业务数据进行规则匹配处理；
所述输出处理结果，包括：通过所述处理模块中的结果输出模块输出所述业务数据处理模块的处理结果；
其中所述业务规则获取模块、业务规则解析模块、业务数据处理模块和结果输出模块同时设置在每个所述其他分布式设备上，其中所述其他分布式设备包括任务管理器所在的设备。
优选的，所述业务规则配置模块通过设置的规则配置页面配置业务规则数据。
优选的，所述业务规则配置模块配置业务规则数据后，将所述业务规则数据采用JSON格式存储到数据库中；
所述业务规则解析模块，解析所述JSON格式的业务规则数据。
优选的，所述业务规则获取模块获取所述配置的业务规则数据后，将判断为有效的业务规则数据转成流式数据传输给所述业务规则解析模块。
通过上述内容可以发现，本发明实施例所提供的方案，提供了一种新的流式规则引擎，该流式规则引擎包括业务规则配置模块和处理模块；其中，所述业务规则配置模块部署在Flink框架平台中的一设备上，用于配置业务规则数据；所述处理模块部署在Flink框架平台中的其他分布式设备上，用于从所述一设备上获取所述配置的业务规则数据，对获取的业务规则数据进行解析，将解析出的业务规则数据与业务数据进行规则匹配处理，输出处理结果。该流式规则引擎不再采用单机部署方式，而是利用了Flink的分布式部署和分布式计算的能力，将设备组成分布式集群，将流式规则引擎中的业务规则配置模块部署在一设备上用于配置业务规则数据，将处理模块部署在其他分布式设备上，这样就解决了传统单机部署的CPU和内存计算不足的困境，通过分布式计算大大增强了规则引擎的内置聚合能力和可使用内存的容量，满足了日益增长的大数据量和日益复杂的业务的需求；此外，也避免了现有技术中分散为多个规则引擎协同处理，进而避免了以下问题的出现：由于各个规则引擎的规则不同，导致每个规则引擎处理后的结果数据，都需要进行跨网络传输，当数据量大的时候，传输效率特别低，对Rete网络造成很大的压力，而且缺乏容错机制和监控机制和管理机制，导致规则引擎之间协调性差，对各个规则引擎监控和管理能力差，不能协调各个规则引擎对***的资源的分配，可能出现部分规则引擎需要的资源增大导致各个规则引擎哄抢***资源，使得整个分布式规则引擎***崩塌。
进一步的，本发明的业务规则配置模块是可以通过设置的规则配置页面配置业务规则数据，通过规则配置页面就可以将业务规则(业务逻辑)从程序代码中脱离出来，使得业务规则的配置更加标准化和专业化。
进一步的，本发明没有像现有技术那样将业务规则写在Drools脚本中，然后转换成Java对象并再调用改Java对象对数据进行操作，而是将业务规则转成JSON(JavaScriptObject Notation，JS对象简谱，是一种轻量级的数据交换格式)串的格式存储到数据库(例如Redis)中，然后通过解析JSON串里的数据再对数据进行操作，处理起来更简单。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本发明实施例的一种流式规则引擎的结构框架的一示意图；
图2是本发明实施例的一种流式规则引擎的结构框架的另一示意图；
图3是本发明实施例的一种业务数据处理方法的一流程示意图；
图4是本发明实施例的一种业务数据处理方法的另一流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本发明提供一种流式规则引擎，能提高业务数据聚合速度和提高运算能力，更适合用户进行业务上的大量聚合操作，且适用于开源环境。
以下结合附图详细描述本发明实施例的技术方案。
图1是本发明实施例的一种流式规则引擎的结构框架的一示意图。
参照图1所示，本发明的一种流式规则引擎，包括业务规则配置模块10和处理模块20。
其中，所述业务规则配置模块10部署在Flink框架平台中的一设备上，用于配置业务规则数据。
其中，所述处理模块20部署在Flink框架平台中的其他分布式设备上，用于从所述一设备上获取所述配置的业务规则数据，对获取的业务规则数据进行解析，将解析出的业务规则数据与业务数据进行规则匹配处理，输出处理结果。
其中，所述业务规则配置模块10可以是通过设置的规则配置页面配置业务规则数据。
其中，所述业务规则配置模块10配置业务规则数据后，还可以将所述业务规则数据采用JSON格式存储到数据库中，例如存储到Redis中。
从该实施例可以发现，本发明提供了一种新的流式规则引擎，该流式规则引擎包括业务规则配置模块和处理模块；其中，所述业务规则配置模块部署在Flink框架平台中的一设备上，用于配置业务规则数据；所述处理模块部署在Flink框架平台中的其他分布式设备上，用于从所述一设备上获取所述配置的业务规则数据，对获取的业务规则数据进行解析，将解析出的业务规则数据与业务数据进行规则匹配处理，输出处理结果。该流式规则引擎不再采用单机部署方式，而是利用了Flink的分布式部署和分布式计算的能力，将设备组成分布式集群，将流式规则引擎中的业务规则配置模块部署在一设备上用于配置业务规则数据，将处理模块部署在其他分布式设备上，这样就解决了传统单机部署的CPU和内存计算不足的困境，通过分布式计算大大增强了规则引擎的内置聚合能力和可使用内存的容量，满足了日益增长的大数据量和日益复杂的业务的需求；此外，也避免了现有技术中分散为多个规则引擎协同处理，进而避免了以下问题的出现：由于各个规则引擎的规则不同，导致每个规则引擎处理后的结果数据，都需要进行跨网络传输，当数据量大的时候，传输效率特别低，对Rete网络造成很大的压力，而且缺乏容错机制和监控机制和管理机制，导致规则引擎之间协调性差，对各个规则引擎监控和管理能力差，不能协调各个规则引擎对***的资源的分配，可能出现部分规则引擎需要的资源增大导致各个规则引擎哄抢***资源，使得整个分布式规则引擎***崩塌。图2是本发明实施例的一种流式规则引擎的结构框架的另一示意图。
本发明提供一种基于分布式的实时流式规则引擎，能够进行分布式部署，具有低延迟、高性能、分布式、可扩展容错等特点。
本发明基于Flink大数据框架平台的基础上，利用了Flink的分布式部署和分布式计算的能力，将更多的设备例如普通计算机组成分布式集群对外提供服务，同时解决了传统单机部署的CPU和内存计算不足的困境，通过分布式计算，大大增强了规则引擎的内置聚合能力和可使用内存的容量，满足了日益增长的大数据量和日益复杂的业务的需求。另外，本发明通过规则配置页面将业务规则从程序代码中脱离出来，使得业务规则的配置更加标准化和专业化。
参照图2所示，本发明的一种流式规则引擎，包括业务规则配置模块10和处理模块20，其中所述处理模块20可以包括：业务规则获取模块201、业务规则解析模块202、业务数据处理模块203和结果输出模块204，其中所述业务规则获取模块201、业务规则解析模块202、业务数据处理模块203和结果输出模块204可以同时设置在每个所述其他分布式设备上，当然，在其他实施例中，所述业务规则获取模块201、业务规则解析模块202、业务数据处理模块203和结果输出模块204也可以设置在不同的所述其他分布式设备上，但是，相比之下，同时设置在每个所述其他分布式设备上会让处理速度更快。
其中，所述业务规则配置模块10部署在Flink框架平台中的一设备上，用于配置业务规则数据；所述处理模块20部署在Flink框架平台中的其他分布式设备上，用于从所述一设备上获取所述配置的业务规则数据，对获取的业务规则数据进行解析，将解析出的业务规则数据与业务数据进行规则匹配处理，输出处理结果。
本发明利用了Flink是一个面向分布式数据流处理和批量数据处理的开源计算框架平台的特点。Flink由Jobmanager(工作管理器)和Taskmanager(任务管理器)组成，一般包括一个JobManager和多个TaskManager，Jobmanager和多个Taskmanager可以分别部署在不同的设备例如计算机上，共同组成分布式集群。因此本发明将规则引擎与Flink框架平台结合，大大增强了规则引擎的各个模块之间数据的整合处理能力，相比，若只是简单地将规则引擎的各模块部署在不同设备上，而不是基于Flink框架平台的情况下，则需进行额外的数据整合运算，增大了设计及维护成本。
其中，本发明的流式规则引擎中的业务规则配置模块10可以是部署在一台设备上，流式规则引擎中的其他四个模块(业务规则获取模块201、业务规则解析模块202、业务数据处理模块203和结果输出模块204)可以是部署到其他分布式设备上，其中，所述业务规则配置模块10所在的一台设备即Jobmanager所在的设备，其他四个模块所在的分布式设备即Taskmanager所在的设备，该四个模块在其他各个设备上都同时有部署。本发明可以由Flink的Jobmanager负责管理该四个模块的部署，还可以将四个模块解析成一个个的task(任务)由Taskmanager进行处理,Jobmanager和Taskmanager保持通信交互。
其中，所述业务规则配置模块201可以通过设置的规则配置页面配置业务规则数据。本发明通过规则配置页面就可以将业务规则(业务逻辑)从程序代码中脱离出来，使得业务规则的配置更加标准化和专业化。
其中，所述业务规则获取模块202，用于从所述一设备上获取所述配置的业务规则数据。
其中，所述业务规则解析模块203，用于对所述业务规则获取模块202获取的业务规则数据进行解析。所述业务规则获取模块202获取所述配置的业务规则数据后，将判断为有效的业务规则数据转成流式数据传输给所述业务规则解析模块203。
其中，所述业务数据处理模块204，用于将所述业务规则解析模块203解析出的业务规则数据与业务数据进行规则匹配处理。
其中，所述结果输出模块205，用于输出所述业务数据处理模块204的处理结果。
其中，所述业务规则配置模块10配置业务规则数据后，可以将所述业务规则数据采用JSON格式存储到数据库中；所述业务规则解析模块202，解析所述JSON格式的业务规则数据。现有技术中是将业务规则写在Drools脚本中，然后转换成Java对象，再调用该Java对象对数据进行操作。本发明没有将业务规则写在Drools脚本中，而是将业务规则转成JSON串存储到Redis数据库中，然后通过解析JSON串里的数据，对数据进行操作，处理更简单。
上述详细介绍了本发明的一种流式规则引擎，以下相应介绍应用所述流式规则引擎的业务数据处理方法。
图3是本发明实施例的一种业务数据处理方法的一流程示意图。
参照图3所示，所述方法包括：
在步骤301中，通过流式规则引擎的业务规则配置模块配置业务规则数据，其中所述业务规则配置模块部署在Flink框架平台中的一设备上。
其中，所述业务规则配置模块可以是通过设置的规则配置页面配置业务规则数据，在配置业务规则数据后，还可以将所述业务规则数据采用JSON格式存储到数据库中，例如存储到Redis中。
在步骤302中，通过流式规则引擎的处理模块从所述一设备上获取所述配置的业务规则数据，对获取的业务规则数据进行解析，将解析出的业务规则数据与业务数据进行规则匹配处理，输出处理结果，其中所述处理模块部署在Flink框架平台中的其他分布式设备上。
其中，所述一设备包括工作管理器所在的设备，所述其他分布式设备包括任务管理器所在的设备。
从该实施例可以发现，本发明方法中所应用的流式规则引擎，不再采用单机部署方式，而是了利用了Flink的分布式部署和分布式计算的能力，将设备组成分布式集群，将流式规则引擎中的业务规则配置模块部署在一设备上用于配置业务规则数据，将处理模块部署在其他分布式设备上，这样就解决了传统单机部署的CPU和内存计算不足的困境，通过分布式计算大大增强了规则引擎的内置聚合能力和可使用内存的容量，满足了日益增长的大数据量和日益复杂的业务的需求，且适用于开源环境。
图4是本发明实施例的一种业务数据处理方法的另一流程示意图。图4相对于图3更详细描述了本发明的业务数据处理方法。
参照图4所示，所述方法包括：
步骤401、通过流式规则引擎的业务规则配置模块，在规则配置页面中输入各个业务***的业务规则数据，采用JSON格式存储到数据库中。
该步骤中，可以将业务规则数据通过JSON方式存储到Redis中。
该步骤中配置输入的业务规则数据可以如下所示但不局限于此：
{"主业务***编号":"123",“用户部门编号”:“122”,"子业务***信息":[{"子业务***编号":"378","业务数据编号":123,”累加字段“:acc,"过滤字段":"ac>32","统计前10字段":"字段名称","执行顺序":"1"}]}
数据格式：
步骤402、通过流式规则引擎的业务规则获取模块获取所述配置的业务规则数据，将判断为有效的业务规则数据转成流式数据传输给业务规则解析模块。
该步骤通过业务规则获取模块从Redis数据库获取业务规则数据后，校验判断获取的业务规则数据是否有效，将判断为有效的业务规则数据转成流式数据，并发送到业务规则解析模块。其中，可以定时或不定时进行发送。
业务规则获取模块可以提取业务规则数据中的用户编号，通过查询数据库来判断该用户编号是否有权限处理数据，如果判断结果为有权限，则确定该业务规则数据为有效的业务规则数据。
其中上述判断逻辑包括：首先判断该用户编号是否对主***有访问权限，其次判断是否对子***有访问权限，最后判断是否对子***下面的业务数据有访问权限，当判断为都有访问权限时，可以确定该业务规则数据为有效的业务规则数据。需说明的是，在上述判断为都有访问权限时，还可以再进一步判断该业务数据是否存在***所填写的字段，如果存在，则确定该业务规则数据为有效的业务规则数据。
步骤403、通过流式规则引擎的业务规则解析模块对接收的JSON格式的业务规则数据进行解析。
该步骤中，业务规则解析模块根据JSON格式解析业务规则数据，将业务规则数据中的业务***编号、子业务***编号、过滤的字段、top(前)字段、规则执行顺序等字段解析出来。其中，过滤的字段、top(前)字段、规则执行顺序等等字段，都是可以在JSON里面设置。
该步骤的解析过程包括：先将JSON格式的业务规则数据按格式解析，将执行顺序字段解析出来，通过执行顺序字段对所有的业务规则进行排序，然后对业务规则里面的执行任务进一步排序，先按照过滤的字段进行过滤，再进行累计，最后求top(前)字段。
步骤404、通过流式规则引擎的业务数据处理模块将业务规则解析模块解析出的业务规则数据与业务数据进行规则匹配处理。
该步骤中，业务数据处理模块通过将业务数据流与规则配置流(解析出的业务规则数据)进行Join(联接)操作，根据业务规则数据中的业务规则对业务数据流中的业务数据进行逐条判断，并进行相应的规则匹配处理，最后生成结果数据。需说明的是，此处的规则匹配处理可以采用现有技术中的规则匹配处理方式，本发明并不加以限定。
其中，业务数据流可以是从业务数据源Kafka(卡夫卡)里面消费(获取)过来的数据流，规则配置流是从步骤401中开始配置并经过一系列处理解析出的业务规则数据。
步骤405、通过流式规则引擎的结果输出模块输出业务数据处理模块的处理结果。
该步骤中，结果输出模块可以将JSON数据里的业务数据编号的名字作为表名输出，例如输出到数据库中。
结果输出模块输出的处理结果的结果数据，可以包含但不限于以下内容：1)子业务***信息名称；2)累计结果；3)top结果。
综上所述，本发明使用Flink框架平台来构造规则引擎，使用Flink的内存计算的原理成功解决了内置聚合速度慢的问题，使得本发明提供的规则引擎更适合用户进行业务上的大量聚合操作；本发明利用Flink框架平台的分布式特点，可以将成千上万台计算机的内存、CPU和磁盘运算资源整合在一起，因此成功解决了因为日益增长的大数据量的运算带来的运算资源不足的问题，满足了日益增长的大数据量和日益复杂的业务的需求，且适用于开源环境。本发明还可以通过设置的规则配置页面配置业务规则数据，通过规则配置页面就可以将业务规则(业务逻辑)从程序代码中脱离出来，使得业务规则的配置更加标准化和专业化。
上文中已经参考附图详细描述了根据本发明的技术方案。
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑数据块、模数据块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的***和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模数据块、程序段或代码的一部分，所述模数据块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种流式规则引擎，其特征在于：
包括业务规则配置模块和处理模块；其中，
所述业务规则配置模块部署在Flink框架平台中的一设备上，用于配置业务规则数据；
所述处理模块部署在Flink框架平台中的其他分布式设备上，用于从所述一设备上获取所述配置的业务规则数据，对获取的业务规则数据进行解析，将解析出的业务规则数据与业务数据进行规则匹配处理，输出处理结果。
2.根据权利要求1所述的***，其特征在于：
所述处理模块包括：业务规则获取模块、业务规则解析模块、业务数据处理模块和结果输出模块，所述业务规则获取模块、业务规则解析模块、业务数据处理模块和结果输出模块同时设置在每个所述其他分布式设备上，其中所述其他分布式设备包括任务管理器所在的设备；
所述业务规则获取模块，用于从所述一设备上获取所述配置的业务规则数据，其中所述一设备包括工作管理器所在的设备；
所述业务规则解析模块，用于对所述业务规则获取模块获取的业务规则数据进行解析；
所述业务数据处理模块，用于将所述业务规则解析模块解析出的业务规则数据与业务数据进行规则匹配处理；
所述结果输出模块，用于输出所述业务数据处理模块的处理结果。
3.根据权利要求1或2所述的***，其特征在于：
所述业务规则配置模块通过设置的规则配置页面配置业务规则数据。
4.根据权利要求2所述的***，其特征在于：
所述业务规则配置模块配置业务规则数据后，将所述业务规则数据采用JSON格式存储到数据库中；
所述业务规则解析模块，解析所述JSON格式的业务规则数据。
5.根据权利要求2所述的***，其特征在于：
所述业务规则获取模块获取所述配置的业务规则数据后，将判断为有效的业务规则数据转成流式数据传输给所述业务规则解析模块。
6.一种业务数据处理方法，其特征在于：
通过流式规则引擎的业务规则配置模块配置业务规则数据，其中所述业务规则配置模块部署在Flink框架平台中的一设备上；
通过流式规则引擎的处理模块从所述一设备上获取所述配置的业务规则数据，对获取的业务规则数据进行解析，将解析出的业务规则数据与业务数据进行规则匹配处理，输出处理结果，其中所述处理模块部署在Flink框架平台中的其他分布式设备上。
7.根据权利要求6所述的方法，其特征在于：
所述从所述一设备上获取所述配置的业务规则数据，包括：通过所述处理模块中的业务规则获取模块从所述一设备上获取所述配置的业务规则数据，其中所述一设备包括工作管理器所在的设备；
所述对获取的业务规则数据进行解析，包括：通过所述处理模块中的业务规则解析模块对所述业务规则获取模块获取的业务规则数据进行解析；
所述将解析出的业务规则数据与业务数据进行规则匹配处理，包括：通过所述处理模块中的业务数据处理模块将所述业务规则解析模块解析出的业务规则数据与业务数据进行规则匹配处理；
所述输出处理结果，包括：通过所述处理模块中的结果输出模块输出所述业务数据处理模块的处理结果；
其中所述业务规则获取模块、业务规则解析模块、业务数据处理模块和结果输出模块同时设置在每个所述其他分布式设备上，其中所述其他分布式设备包括任务管理器所在的设备。
8.根据权利要求6或7所述的方法，其特征在于：
所述业务规则配置模块通过设置的规则配置页面配置业务规则数据。
9.根据权利要求7所述的方法，其特征在于：
所述业务规则配置模块配置业务规则数据后，将所述业务规则数据采用JSON格式存储到数据库中；
所述业务规则解析模块，解析所述JSON格式的业务规则数据。
10.根据权利要求7所述的方法，其特征在于：
所述业务规则获取模块获取所述配置的业务规则数据后，将判断为有效的业务规则数据转成流式数据传输给所述业务规则解析模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910157335.7A CN110019651A (zh) | 2019-03-01 | 2019-03-01 | 一种流式规则引擎及业务数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910157335.7A CN110019651A (zh) | 2019-03-01 | 2019-03-01 | 一种流式规则引擎及业务数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110019651A true CN110019651A (zh) | 2019-07-16 |
Family
ID=67189195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910157335.7A Pending CN110019651A (zh) | 2019-03-01 | 2019-03-01 | 一种流式规则引擎及业务数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110019651A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110704518A (zh) * | 2019-08-26 | 2020-01-17 | 苏宁云计算有限公司 | 基于Flink引擎的业务数据处理方法及装置 |
| CN110737631A (zh) * | 2019-09-10 | 2020-01-31 | 苏宁云计算有限公司 | 一种基于Flink引擎的数据解析方法及装置 |
| CN110868324A (zh) * | 2019-11-22 | 2020-03-06 | 中国建设银行股份有限公司 | 一种业务配置方法、装置、设备和存储介质 |
| CN110890983A (zh) * | 2019-11-26 | 2020-03-17 | 北京杰思安全科技有限公司 | 一种基于大数据的流处理预警的方法 |
| CN111240693A (zh) * | 2020-01-17 | 2020-06-05 | 北京三快在线科技有限公司 | 实时数据处理方法、装置、设备及存储介质 |
| CN111273962A (zh) * | 2020-02-14 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 配置管理方法、装置、计算机可读存储介质和计算机设备 |
| CN111639138A (zh) * | 2020-06-03 | 2020-09-08 | 中国联合网络通信集团有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN111639101A (zh) * | 2020-04-27 | 2020-09-08 | 浙江时空道宇科技有限公司 | 一种物联网规则引擎***的相关方法、装置、***及存储介质 |
| CN112131014A (zh) * | 2020-09-02 | 2020-12-25 | 广州市双照电子科技有限公司 | 决策引擎***及其业务处理方法 |
| CN112395338A (zh) * | 2019-08-15 | 2021-02-23 | 北京国双科技有限公司 | 工业互联网平台中遥测数据的处理方法及装置 |
| CN113269547A (zh) * | 2021-05-31 | 2021-08-17 | 中国农业银行股份有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN114070879A (zh) * | 2021-11-26 | 2022-02-18 | 安天科技集团股份有限公司 | 一种数据采集器控制方法、装置及相关设备 |
| CN114666237A (zh) * | 2022-02-25 | 2022-06-24 | 众安在线财产保险股份有限公司 | 秒级监控方法、装置及存储介质 |
| CN115794445A (zh) * | 2023-02-06 | 2023-03-14 | 北方健康医疗大数据科技有限公司 | 一种基于flink和规则表达式的数据处理方法、装置及设备 |
| CN112506960B (zh) * | 2020-12-17 | 2024-03-19 | 青岛以萨数据技术有限公司 | 基于ArangoDB引擎的多模型数据存储方法及*** |
| WO2024088026A1 (zh) * | 2022-10-27 | 2024-05-02 | ***数智科技有限公司 | 一种云数据迁移的优化方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103092967A (zh) * | 2013-01-22 | 2013-05-08 | 交通银行股份有限公司 | 一种基于规则引擎的业务规则决策方法及装置 |
| CN103107895A (zh) * | 2013-01-10 | 2013-05-15 | 昆山百润科技有限公司 | 一种基于配置解析应用规则的计费业务规则引擎组合***及其方法 |
| CN107220098A (zh) * | 2017-06-14 | 2017-09-29 | 北京奇艺世纪科技有限公司 | 规则引擎的实现方法及装置 |
-
2019
- 2019-03-01 CN CN201910157335.7A patent/CN110019651A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103107895A (zh) * | 2013-01-10 | 2013-05-15 | 昆山百润科技有限公司 | 一种基于配置解析应用规则的计费业务规则引擎组合***及其方法 |
| CN103092967A (zh) * | 2013-01-22 | 2013-05-08 | 交通银行股份有限公司 | 一种基于规则引擎的业务规则决策方法及装置 |
| CN107220098A (zh) * | 2017-06-14 | 2017-09-29 | 北京奇艺世纪科技有限公司 | 规则引擎的实现方法及装置 |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112395338A (zh) * | 2019-08-15 | 2021-02-23 | 北京国双科技有限公司 | 工业互联网平台中遥测数据的处理方法及装置 |
| CN110704518A (zh) * | 2019-08-26 | 2020-01-17 | 苏宁云计算有限公司 | 基于Flink引擎的业务数据处理方法及装置 |
| WO2021036447A1 (zh) * | 2019-08-26 | 2021-03-04 | 苏宁云计算有限公司 | 基于Flink引擎的业务数据处理方法及装置 |
| CN110704518B (zh) * | 2019-08-26 | 2022-11-08 | 苏宁云计算有限公司 | 基于Flink引擎的业务数据处理方法及装置 |
| CN110737631A (zh) * | 2019-09-10 | 2020-01-31 | 苏宁云计算有限公司 | 一种基于Flink引擎的数据解析方法及装置 |
| CN110868324A (zh) * | 2019-11-22 | 2020-03-06 | 中国建设银行股份有限公司 | 一种业务配置方法、装置、设备和存储介质 |
| CN110890983B (zh) * | 2019-11-26 | 2022-04-05 | 北京杰思安全科技有限公司 | 一种基于大数据的流处理预警的方法 |
| CN110890983A (zh) * | 2019-11-26 | 2020-03-17 | 北京杰思安全科技有限公司 | 一种基于大数据的流处理预警的方法 |
| CN111240693A (zh) * | 2020-01-17 | 2020-06-05 | 北京三快在线科技有限公司 | 实时数据处理方法、装置、设备及存储介质 |
| CN111273962A (zh) * | 2020-02-14 | 2020-06-12 | 腾讯科技（深圳）有限公司 | 配置管理方法、装置、计算机可读存储介质和计算机设备 |
| CN111639101A (zh) * | 2020-04-27 | 2020-09-08 | 浙江时空道宇科技有限公司 | 一种物联网规则引擎***的相关方法、装置、***及存储介质 |
| CN111639101B (zh) * | 2020-04-27 | 2022-12-06 | 浙江时空道宇科技有限公司 | 一种物联网规则引擎***的相关方法、装置、***及存储介质 |
| CN111639138B (zh) * | 2020-06-03 | 2023-04-25 | 中国联合网络通信集团有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN111639138A (zh) * | 2020-06-03 | 2020-09-08 | 中国联合网络通信集团有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN112131014B (zh) * | 2020-09-02 | 2024-01-26 | 广州市双照电子科技有限公司 | 决策引擎***及其业务处理方法 |
| CN112131014A (zh) * | 2020-09-02 | 2020-12-25 | 广州市双照电子科技有限公司 | 决策引擎***及其业务处理方法 |
| CN112506960B (zh) * | 2020-12-17 | 2024-03-19 | 青岛以萨数据技术有限公司 | 基于ArangoDB引擎的多模型数据存储方法及*** |
| CN113269547B (zh) * | 2021-05-31 | 2024-05-31 | 中国农业银行股份有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN113269547A (zh) * | 2021-05-31 | 2021-08-17 | 中国农业银行股份有限公司 | 数据处理方法、装置、电子设备和存储介质 |
| CN114070879B (zh) * | 2021-11-26 | 2024-01-26 | 安天科技集团股份有限公司 | 一种数据采集器控制方法、装置及相关设备 |
| CN114070879A (zh) * | 2021-11-26 | 2022-02-18 | 安天科技集团股份有限公司 | 一种数据采集器控制方法、装置及相关设备 |
| CN114666237B (zh) * | 2022-02-25 | 2023-10-31 | 众安在线财产保险股份有限公司 | 秒级监控方法、装置及存储介质 |
| CN114666237A (zh) * | 2022-02-25 | 2022-06-24 | 众安在线财产保险股份有限公司 | 秒级监控方法、装置及存储介质 |
| WO2024088026A1 (zh) * | 2022-10-27 | 2024-05-02 | ***数智科技有限公司 | 一种云数据迁移的优化方法及*** |
| CN115794445B (zh) * | 2023-02-06 | 2023-07-04 | 北方健康医疗大数据科技有限公司 | 一种基于flink和规则表达式的数据处理方法、装置及设备 |
| CN115794445A (zh) * | 2023-02-06 | 2023-03-14 | 北方健康医疗大数据科技有限公司 | 一种基于flink和规则表达式的数据处理方法、装置及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110019651A (zh) | 一种流式规则引擎及业务数据处理方法 | |
| US11086687B2 (en) | Managing resource allocation in a stream processing framework | |
| EP2831767B1 (en) | Method and system for processing data queries | |
| Schultz-Møller et al. | Distributed complex event processing with query rewriting | |
| US8141085B2 (en) | Apparatus and data structure for automatic workflow composition | |
| US20170083368A1 (en) | Maintaining throughput of a stream processing framework while increasing processing load | |
| CN109344170B (zh) | 流数据处理方法、***、电子设备及可读存储介质 | |
| CN101873334B (zh) | 一种状态驱动的可执行业务流程执行方法 | |
| Cerny | Aspect-oriented challenges in system integration with microservices, SOA and IoT | |
| CN104618304B (zh) | 数据处理方法及数据处理*** | |
| CN107103064A (zh) | 数据统计方法及装置 | |
| CN108604334A (zh) | 用于自主服务组合的方法和装置 | |
| CN109840298A (zh) | 大规模网络数据的多信息来源采集方法和*** | |
| CN112805984B (zh) | 用于部署增量网络更新的*** | |
| CN108345658A (zh) | 算法计算轨迹的分解处理方法、服务器及存储介质 | |
| Celino et al. | Semantic business process analysis. | |
| US11334461B2 (en) | Distributed application resource determination based on performance metrics | |
| CN106383738B (zh) | 任务处理方法和分布式计算框架 | |
| CN113918305B (zh) | 节点调度方法、装置、电子设备及可读存储介质 | |
| CN109597826A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| Chen et al. | Resource distribution equilibrium for virtual network embedding over flexi-grid optical networks | |
| CN102486731A (zh) | 增强软件的软件调用栈的可视化的方法、设备和*** | |
| CN106330556A (zh) | 一种用于生成服务模块调用关联信息的方法与装置 | |
| Khoshnevis | An approach to variability management in service-oriented product lines | |
| CN110333844A (zh) | 计算公式处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230517 Address after: Room 101, No. 227 Gaotang Road, Tianhe District, Guangzhou City, Guangdong Province, 510000 (location: Room 601) (office only) Applicant after: Yamei Zhilian Data Technology Co.,Ltd. Address before: 510000 self compiled h, Room 201, No. 1, Hanjing Road, Tianhe District, Guangzhou, Guangdong Province Applicant before: GUANGZHOU YAME INFORMATION TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190716 |