CN107766538A - 基于java的数据过滤处理模块及同步、异步过滤方法 - Google Patents

Abstract

本发明涉及一种基于java的数据过滤处理模块，包括数据接收单元、序列化单元、消息队列单元、反序列化单元和数据处理单元，数据处理单元中包括若干对配合设置的过滤器和处理器；采用前述数据过滤处理模块的同步或异步过滤方法，初始化过滤器和处理器、数据接收单元的处理模式、序列化单元和反序列化单元；数据接收单元接收数据后直接发送至数据处理单元或经过序列化单元、消息队列单元、反序列化单元直至数据处理单元，数据接收单元对数据进行过滤和处理后返回。本发明在实际的操作中可以仅以jar包即能嵌入java代码，不需要额外的服务器或大型引擎，专注于数据过滤处理，轻量级，数据过滤处理的效率高。

Description

基于java的数据过滤处理模块及同步、异步过滤方法

技术领域

本发明涉及电数字数据处理的技术领域，特别涉及一种轻量级且分布式的基于java的数据过滤处理模块及同步、异步过滤方法。

背景技术

随着信息技术的发展，数据成为很多企业的核心资产，特别是金融、互联网等企业，每个企业都存储着大量的数据，如果想利用数据产生价值，则必须有数据的交互、传递。

每个公司对于数据的要求或标准是不同的，针对同一份数据，每个公司的关注点亦不同，同时，很多数据都或多或少存在瑕疵，这样的数据是没有交互或传递的价值的，且影响***的稳定性，影响用户体验，只有经过处理的数据才具有价值。

现有技术中，针对数据处理使用的引擎都属于重量级的服务，侧重点都是庞大的数据分析层面，没有嵌入到java代码中的数据过滤及处理产品，而且现有的数据处理使用的引擎都是专用且独立的服务，不适合在web项目中嵌入使用，另外还有产品提供了数据检查的功能，但是并未提供处理业务。

发明内容

为了解决现有技术中存在的问题，本发明提供一种优化的基于java的数据过滤处理模块及同步、异步过滤方法，轻量级且分布式，可同步亦可异步进行数据的过滤及处理。

本发明所采用的技术方案是，一种基于java的数据过滤处理模块，所述数据过滤处理模块包括用于接收用户传递数据及过滤处理后数据的数据接收单元、用于将数据接收单元接收的数据序列化处理的序列化单元、用于暂存序列化后的数据对象且支持主题订阅和用户分组功能的消息队列单元、用于将序列化处理后的数据根据主题订阅和用户分组的不同进行反序列化处理的反序列化单元和用于对反序列化处理后的数据进行处理或用于直接处理数据接收单元接收的数据的数据处理单元；所述数据处理单元中包括若干对配合设置的过滤器和处理器。

优选地，所述过滤器包括字符串过滤器、日期过滤器和数字过滤器。

优选地，所述处理器包括用于删除字段、删除对象及替换字段的字符串处理器、日期处理器和数字处理器，所述字符串处理器、日期处理器和数字处理器与字符串过滤器、日期过滤器和数字过滤器配合设置。

优选地，所述字符串过滤器包括字符串长度过滤器、字符串编码过滤器、制定字符判断过滤器、判断空过滤器和字符串自定义过滤器。

优选地，所述日期过滤器包括日期范围过滤器、特殊年份过滤器、日期精度过滤器和日期自定义过滤器。

优选地，所述日期自定义过滤器为用于加减年份、月份、周、时、分、秒，整合周、整合月、整合年或格式转换的过滤器。

优选地，所述数字过滤器包括数字范围过滤器、数字类型过滤器、数字精度过滤器和数字自定义过滤器。

优选地，与所述数字过滤器配合的数字处理器为用于取负数、取绝对值、开方运算、幂运算或指数运算的处理器。

一种采用所述的基于java的数据过滤处理模块的同步过滤方法，所述方法包括以下步骤：

步骤1.1：初始化若干对配合设置的过滤器和处理器；初始化数据接收单元为同步处理模式；

步骤1.2：数据接收单元在接收到数据以后同步发送至数据处理单元；

步骤1.3：数据处理单元在接受到数据以后调用若干对配合设置的过滤器和处理器；

步骤1.4：过滤器和处理器对数据进行过滤及处理，返回数据接收单元；

步骤1.5：数据接收单元将过滤及处理后的数据作为返回值返回至用户。

一种采用所述的基于java的数据过滤处理模块的异步过滤方法，所述方法包括以下步骤：

步骤2.1：初始化若干对配合设置的过滤器和处理器；初始化数据接收单元为异步处理模式；初始化序列化单元和反序列化单元；

步骤2.2：数据接收单元接收到数据后，采用序列化单元对数据进行序列化处理；

步骤2.3：数据接收单元将序列化后的数据对象放入消息队列单元；

步骤2.4：数据处理单元从消息队列单元处获取数据对象，并采用反序列化单元对数据对象进行还原，并通过若干对配合设置的过滤器和处理器逐次对数据进行过滤和处理；

步骤2.5：将过滤和处理完成的数据通过消息队列单元回传至数据接收单元；

步骤2.6：数据接收单元将处理后的数据作为返回值返回至用户。

本发明提供了一种优化的基于java的数据过滤处理模块及同步、异步过滤方法，通过设置数据接收单元用于接收用户数据并确认同步或异步处理模式且接收过滤处理后的数据，设置序列化单元用于序列化处理异步过滤时的接收数据，设置消息队列单元暂存序列化后的数据且提供主题订阅和用户分组，设置反序列化单元对数据对象进行反序列化处理，设置数据处理单元对反序列化处理后的数据进行处理或用于直接处理数据接收单元接收的数据，数据处理单元在接收数据后，采用其内设的若干对配合设置的过滤器和处理器对数据进行过滤处理；通过对于数据接收单元的预设，确认以同步或异步进行数据过滤处理操作，选用合适的单元对数据进行对接和传输。本发明在实际的操作中可以仅以jar包即能嵌入java代码，不需要额外的服务器或大型引擎，专注于数据过滤处理，轻量级，数据过滤处理的效率高。

附图说明

图1为本发明的数据过滤处理模块的结构示意图；其中，实线箭头所示为本发明中同步过滤方法的流程图，虚线箭头所示为本发明中异步过滤方法的流程图。

具体实施方式

下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。

本发明涉及一种基于java的数据过滤处理模块，所述数据过滤处理模块包括用于接收用户传递数据及过滤处理后数据的数据接收单元、用于将数据接收单元接收的数据序列化处理的序列化单元、用于暂存序列化后的数据对象且支持主题订阅和用户分组功能的消息队列单元、用于将序列化处理后的数据根据主题订阅和用户分组的不同进行反序列化处理的反序列化单元和用于对反序列化处理后的数据进行处理或用于直接处理数据接收单元接收的数据的数据处理单元；所述数据处理单元中包括若干对配合设置的过滤器和处理器。

本发明中，通过对于数据接收单元的预设，确认以同步或异步进行数据过滤处理模块，选用合适的单元对数据进行对接和传输。

本发明中，数据接收单元主要用于接收用户数据、确认同步或异步处理模式及接收过滤处理后的数据，不管是采用同步或异步的处理模式，数据接收单元一般都采用Accept方法接口接收用户传过来的数据，同步过滤处理模式下Accept方法的返回值就是处理过后的数据，异步过滤处理模式下采用GetData阻塞方法接口接受数据处理单元处理过的数据。

本发明中，序列化单元、消息队列单元和反序列化单元均仅在异步过滤处理模式下被调用。其中，序列化单元用于序列化处理接收数据，消息队列单元用于暂存序列化后的数据对象且提供主题订阅和用户分组以支持同时处理多组异步任务，反序列化单元用于对数据对象进行反序列化处理。

本发明中，消息队列单元中的主题订阅和用户分组功能主要是用于支持同时有多个模块需要异步处理服务。

本发明中，数据处理单元对反序列化处理后的数据进行处理或用于直接处理数据接收单元接收的数据，数据处理单元在接收数据后，采用其内设的若干对配合设置的过滤器和处理器对数据进行过滤及处理操作。

本发明中，数据处理单元采用DataIn方法接口接收数据，数据源可以是过滤器或处理器。

本发明中，数据处理单元采用DataPassOut方法接口输出符合过滤条件的数据，采用DataUnpassOut方法接口输出不符合过滤条件的数据，采用DataOut方法接口输出经过处理操作的数据。

本发明中，采用AddFilterAndResolve 方法接口的多次调用定义过滤器和处理器链，因为此方法可以多次调用，会把添加的多组过滤器***整合成链路。

本发明在实际的操作中可以仅以jar包即能嵌入java代码，不需要额外的服务器或大型引擎，专注于数据过滤处理，轻量级，数据过滤处理的效率高。

所述过滤器包括字符串过滤器、日期过滤器和数字过滤器。

所述处理器包括用于删除字段、删除对象及替换字段的字符串处理器、日期处理器和数字处理器，所述字符串处理器、日期处理器和数字处理器与字符串过滤器、日期过滤器和数字过滤器配合设置。

本发明中，举例来说，用户需对字符串做如下处理“如果指定的字段的字符串中包含非unicode基本切面的字符，即乱码，则把对象删除”，此时用户可以创建字符串过滤器，并且指定要对哪几个字段进行过滤，然后创建字符串处理器，配对放入引擎即可，如用户输入的对象中有一个字段是“你还 阿加多去 ”，则经过处理过后该对象就会被删选出来进行删除。

本发明中，过滤器和处理器一般情况下都是成对设置。

所述字符串过滤器包括字符串长度过滤器、字符串编码过滤器、制定字符判断过滤器、判断空过滤器和字符串自定义过滤器。

本发明中，制定字符判断过滤器是指字符串是否包含指定字符的过滤器。

本发明中，字符串过滤器包括且不限于上述书记的过滤器。

所述日期过滤器包括日期范围过滤器、特殊年份过滤器、日期精度过滤器和日期自定义过滤器。

所述日期自定义过滤器为用于加减年份、月份、周、时、分、秒，整合周、整合月、整合年或格式转换的过滤器。

本发明中，日期过滤器包括且不限于上述书记的过滤器。

所述数字过滤器包括数字范围过滤器、数字类型过滤器、数字精度过滤器和数字自定义过滤器。

本发明中，与所述数字过滤器配合的数字处理器为用于取负数、取绝对值、开方运算、幂运算或指数运算的处理器。

本发明中，数字过滤器包括且不限于上述过滤器。

本发明中，过滤器和处理器均为完成相应的功能设置，其具体过滤、处理逻辑可以依据本领域技术人员的需求自行设置，故过滤器和处理器亦可以由本领域技术人员根据实际需求设置。

一种采用所述的基于java的数据过滤处理模块的同步过滤方法，所述方法包括以下步骤：

步骤1.1：初始化若干对配合设置的过滤器和处理器；初始化数据接收单元为同步处理模式；

步骤1.2：数据接收单元在接收到数据以后同步发送至数据处理单元；

步骤1.3：数据处理单元在接受到数据以后调用若干对配合设置的过滤器和处理器；

步骤1.4：过滤器和处理器对数据进行过滤及处理，返回数据接收单元；

步骤1.5：数据接收单元将过滤及处理后的数据作为返回值返回至用户。

本发明中，同步数据过滤处理的方法仅涉及数据接收单元和数据处理单元，两个单元的工作同步进行。

一种采用所述的基于java的数据过滤处理模块的异步过滤方法，所述方法包括以下步骤：

步骤2.1：初始化若干对配合设置的过滤器和处理器；初始化数据接收单元为异步处理模式；初始化序列化单元和反序列化单元；

步骤2.2：数据接收单元接收到数据后，采用序列化单元对数据进行序列化处理；

步骤2.3：数据接收单元将序列化后的数据对象放入消息队列单元；

步骤2.4：数据处理单元从消息队列单元处获取数据对象，并采用反序列化单元对数据对象进行还原，并通过若干对配合设置的过滤器和处理器逐次对数据进行过滤和处理；

步骤2.5：将过滤和处理完成的数据通过消息队列单元回至数据接收单元；

步骤2.6：数据接收单元将处理后的数据作为返回值返回至用户。

本发明中，异步数据过滤处理的方法涉及数据接收单元、序列化单元、消息队列单元、反序列化单元和数据处理单元，数据接收单元和数据处理单元的工作非同步进行。

本发明通过设置数据接收单元用于接收用户数据并确认同步或异步处理模式且接收过滤处理后的数据，设置序列化单元用于序列化处理异步过滤时的接收数据，设置消息队列单元暂存序列化后的数据且提供主题订阅和用户分组，设置反序列化单元对数据对象进行反序列化处理，设置数据处理单元对反序列化处理后的数据进行处理或用于直接处理数据接收单元接收的数据，数据处理单元在接收数据后，采用其内设的若干对配合设置的过滤器和处理器对数据进行过滤处理；通过对于数据接收单元的预设，确认以同步或异步进行数据过滤处理操作，选用合适的单元对数据进行对接和传输。本发明在实际的操作中可以仅以jar包即能嵌入java代码，不需要额外的服务器或大型引擎，专注于数据过滤处理，轻量级，数据过滤处理的效率高。

Claims (10)

1.一种基于java的数据过滤处理模块，其特征在于：所述数据过滤处理模块包括用于接收用户传递数据及过滤处理后数据的数据接收单元、用于将数据接收单元接收的数据序列化处理的序列化单元、用于暂存序列化后的数据对象且支持主题订阅和用户分组功能的消息队列单元、用于将序列化处理后的数据根据主题订阅和用户分组的不同进行反序列化处理的反序列化单元和用于对反序列化处理后的数据进行处理或用于直接处理数据接收单元接收的数据的数据处理单元；所述数据处理单元中包括若干对配合设置的过滤器和处理器。

2.根据权利要求1所述的一种基于java的数据过滤处理模块，其特征在于：所述过滤器包括字符串过滤器、日期过滤器和数字过滤器。

3.根据权利要求2所述的一种基于java的数据过滤处理模块，其特征在于：所述处理器包括用于删除字段、删除对象及替换字段的字符串处理器、日期处理器和数字处理器，所述字符串处理器、日期处理器和数字处理器与字符串过滤器、日期过滤器和数字过滤器配合设置。

4.根据权利要求2所述的一种基于java的数据过滤处理模块，其特征在于：所述字符串过滤器包括字符串长度过滤器、字符串编码过滤器、制定字符判断过滤器、判断空过滤器和字符串自定义过滤器。

5.根据权利要求2所述的一种基于java的数据过滤处理模块，其特征在于：所述日期过滤器包括日期范围过滤器、特殊年份过滤器、日期精度过滤器和日期自定义过滤器。

6.根据权利要求5所述的一种基于java的数据过滤处理模块，其特征在于：所述日期自定义过滤器为用于加减年份、月份、周、时、分、秒，整合周、整合月、整合年或格式转换的过滤器。

7.根据权利要求2所述的一种基于java的数据过滤处理模块，其特征在于：所述数字过滤器包括数字范围过滤器、数字类型过滤器、数字精度过滤器和数字自定义过滤器。

8.根据权利要求6所述的一种基于java的数据过滤处理模块，其特征在于：与所述数字过滤器配合的数字处理器为用于取负数、取绝对值、开方运算、幂运算或指数运算的处理器。

9.一种采用权利要求1～8之一所述的基于java的数据过滤处理模块的同步过滤方法，其特征在于：所述方法包括以下步骤：

步骤1.1：初始化若干对配合设置的过滤器和处理器；初始化数据接收单元为同步处理模式；

步骤1.2：数据接收单元在接收到数据以后同步发送至数据处理单元；

步骤1.3：数据处理单元在接受到数据以后调用若干对配合设置的过滤器和处理器；

步骤1.4：过滤器和处理器对数据进行过滤及处理，返回数据接收单元；

步骤1.5：数据接收单元将过滤及处理后的数据作为返回值返回至用户。

10.一种采用权利要求1～8之一所述的基于java的数据过滤处理模块的异步过滤方法，其特征在于：所述方法包括以下步骤：

步骤2.1：初始化若干对配合设置的过滤器和处理器；初始化数据接收单元为异步处理模式；初始化序列化单元和反序列化单元；

步骤2.2：数据接收单元接收到数据后，采用序列化单元对数据进行序列化处理；

步骤2.3：数据接收单元将序列化后的数据对象放入消息队列单元；

步骤2.4：数据处理单元从消息队列单元处获取数据对象，并采用反序列化单元对数据对象进行还原，并通过若干对配合设置的过滤器和处理器逐次对数据进行过滤和处理；

步骤2.5：将过滤和处理完成的数据通过消息队列单元回传至数据接收单元；

步骤2.6：数据接收单元将处理后的数据作为返回值返回至用户。