CN110245029A - 一种数据处理方法、装置、存储介质和服务器 - Google Patents
一种数据处理方法、装置、存储介质和服务器 Download PDFInfo
- Publication number
- CN110245029A CN110245029A CN201910422643.8A CN201910422643A CN110245029A CN 110245029 A CN110245029 A CN 110245029A CN 201910422643 A CN201910422643 A CN 201910422643A CN 110245029 A CN110245029 A CN 110245029A
- Authority
- CN
- China
- Prior art keywords
- interface
- data processing
- data
- task
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 184
- 238000012545 processing Methods 0.000 claims abstract description 142
- 230000008569 process Effects 0.000 claims abstract description 110
- 238000004590 computer program Methods 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000011161 development Methods 0.000 abstract description 9
- 238000003032 molecular docking Methods 0.000 abstract description 4
- 230000018109 developmental process Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 241000208340 Araliaceae Species 0.000 description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 description 4
- 235000008434 ginseng Nutrition 0.000 description 4
- 244000046052 Phaseolus vulgaris Species 0.000 description 3
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 3
- 238000002203 pretreatment Methods 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 239000000178 monomer Substances 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供了一种数据处理方法、装置、存储介质和服务器，包括：接收客户端发送的携带有配置参数的接口调用任务；解析所述接口调用任务，得到所述接口调用任务中的待处理数据以及与所述配置参数对应的数据处理逻辑；根据所述数据处理逻辑，将所述接口调用任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序；确定各个所述数据处理步骤分别对应的数据处理逻辑实现类，并根据所述数据处理逻辑实现类和所述数据处理步骤的顺序生成处理链；基于所述处理链对所述接口调用任务中的待处理数据进行数据处理。本发明可实现子***接口对接调用的统一，降低了开发难度，使得***可及时响应调用，提高了接口调用的效率。
Description
技术领域
本发明涉及数据处理领域，尤其涉及一种数据处理方法、装置、存储介质和服务器。
背景技术
微服务的本质就是拆分应用，把一个单体架构的应用***拆分成了一个个独立的子***。为了让多个子***之间实现和单体架构应用同样的功能，子***之间不可避免的需要相互的调用接口。在不同的子***进行数据/业务对接的时候，如果是子***与子***之间直接进行对接，会导致子***之间的依赖性变强，导致各***的独立性变差，当其中某个子***有变动的时候，往往会直接影响到另一个子***。特别是以一对多的关系进行对接的时候情况更加明显，一个子***可能要根据不同的子***开发多套调用方法，如使用不同格式的请求参数，解析不同格式的响应信息，会大大增加开发难度。
发明内容
本发明实施例提供了一种数据处理方法、装置、存储介质和服务器，以解决现有技术中，一个子***可能要根据不同的子***开发多套调用方法，如使用不同格式的请求参数，解析不同格式的响应信息，会大大增加开发难度的问题。
本发明实施例的第一方面提供了一种数据处理方法，包括：
接收客户端发送的携带有配置参数的接口调用任务；
解析所述接口调用任务，得到所述接口调用任务中的待处理数据以及与所述配置参数对应的数据处理逻辑；
根据所述数据处理逻辑，将所述接口调用任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序；
确定各个所述数据处理步骤分别对应的数据处理逻辑实现类，并根据所述数据处理逻辑实现类和所述数据处理步骤的顺序生成处理链；
基于所述处理链对所述接口调用任务中的待处理数据进行数据处理。
本发明实施例的第二方面提供了一种数据处理装置，包括：
调用任务接收单元，用于接收客户端发送的携带有配置参数的接口调用任务；
任务解析单元，用于解析所述接口调用任务，得到所述接口调用任务中的待处理数据以及与所述配置参数对应的数据处理逻辑；
处理步骤确定单元，用于根据所述数据处理逻辑，将所述接口调用任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序；
处理链生成单元，用于确定各个所述数据处理步骤分别对应的数据处理逻辑实现类，并根据所述数据处理逻辑实现类和所述数据处理步骤的顺序生成处理链；
数据处理单元，用于基于所述处理链对所述接口调用任务中的待处理数据进行数据处理。
本发明实施例的第三方面提供了一种服务器，包括存储器以及处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
接收客户端发送的携带有配置参数的接口调用任务；
解析所述接口调用任务，得到所述接口调用任务中的待处理数据以及与所述配置参数对应的数据处理逻辑；
根据所述数据处理逻辑，将所述接口调用任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序；
确定各个所述数据处理步骤分别对应的数据处理逻辑实现类，并根据所述数据处理逻辑实现类和所述数据处理步骤的顺序生成处理链；
基于所述处理链对所述接口调用任务中的待处理数据进行数据处理。
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
接收客户端发送的携带有配置参数的接口调用任务；
解析所述接口调用任务，得到所述接口调用任务中的待处理数据以及与所述配置参数对应的数据处理逻辑；
根据所述数据处理逻辑，将所述接口调用任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序；
确定各个所述数据处理步骤分别对应的数据处理逻辑实现类，并根据所述数据处理逻辑实现类和所述数据处理步骤的顺序生成处理链；
基于所述处理链对所述接口调用任务中的待处理数据进行数据处理。
本发明实施例中，通过接收客户端发送的携带有配置参数的接口调用任务，解析所述接口调用任务，得到所述接口调用任务中的待处理数据以及与所述配置参数对应的数据处理逻辑，然后根据所述数据处理逻辑，将所述接口调用任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序，再确定各个所述数据处理步骤分别对应的数据处理逻辑实现类，并根据所述数据处理逻辑实现类和所述数据处理步骤的顺序生成处理链，基于所述处理链对所述接口调用任务中的待处理数据进行数据处理。本方案可实现子***接口对接调用的统一，降低了开发难度，使得***可及时响应调用，提高了接口调用的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的数据处理方法的实现流程图；
图2是本发明实施例提供的数据处理方法S105的一种具体实现流程图；
图3是本发明实施例提供的数据处理方法S105的另一具体实现流程图；
图4是本发明另一实施例提供的数据处理方法的实现流程图；
图5是本发明实施例提供的数据处理装置的结构框图；
图6是本发明另一实施例提供的数据处理装置的结构框图；
图7是本发明实施例提供的服务器的示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1示出了本发明实施例提供的数据处理方法的实现流程，该方法流程包括步骤S101至S105。各步骤的具体实现原理如下：
S101：接收客户端发送的携带有配置参数的接口调用任务。
在本发明实施例中，所述配置参数是预先设置的，对同一***下的子***的接口，采用预设的参数配置规则进行配置。具体地，获取子***的域名，根据所述子***的域名确定所述子***的配置对bean以及出参格式，再获取入参数据，根据所述子***的配置对bean、出参格式以及所述入参数据，为所述子***的接口进行参数配置，得到所述子***的配置参数，其中，所述入参数据根据业务需求确定。进一步地，建立接口配置参数映射表，所述接口配置参数映射表中包括子***的接口标识与配置参数的映射关系。
示例性地，在适配新的子***的接口时，首先需要配置新的子***的域名，然后建立一个Rest Template的bean以及对应的出参格式，由业务定义的入参，实现ResultCouvert接口，然后在数据库中配置一条数据。当客户端发送的接口调用请求的时候，参数一定需要携带这个url_mapping中配置的数据，然后在forwardManager中通过这个参数查询到对应的关联***以及出参。
S102：解析所述接口调用任务，得到所述接口调用任务中的待处理数据以及与所述配置参数对应的数据处理逻辑。
具体地，根据所述接口调用任务携带的配置参数与预设的接口配置参数映射表，确定需调用的接口的接口标识，根据所述接口标识，查找所述接口对应的子***的数据处理逻辑。所述数据处理逻辑包括数据处理的步骤和顺序。
可选地，在所述解析所述携带有配置参数的接口调用任务之前，基于所述接口调用任务携带的配置参数，对所述客户端的调用权限进行校验，验证所述客户端是否具有调用接口的权限，具体地，预设客户端或者使用所述客户端的用户的调用权限，构建配置权限表，所述配置权限表包括配置参数与客户端或者用户的调用权限的映射关系。本发明实施例在对所述接口调用任务进行解析之前，对发送所述接口调用任务的客户端或者用户的调用权限进行验证，以便有效保证调用数据的安全。
S103：根据所述数据处理逻辑，将所述接口调用任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序。
在本发明实施例中，根据所述数据处理逻辑，将所述接口调用任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序。具体地，在根据所述数据处理逻辑将所述接口调用任务分解为多个数据处理步骤的同时，标记分解的每一个数据处理步骤的顺序，并将所述数据处理步骤按标记的顺序排序。
S104：确定各个所述数据处理步骤分别对应的数据处理逻辑实现类，并根据所述数据处理逻辑实现类和所述数据处理步骤的顺序生成处理链。
具体地，对各个所述数据处理步骤进行解析，得到各个所述数据处理步骤的类型和方法，再根据所述数据处理步骤的类型和方法，分别确定与所述数据处理步骤的类型和方法相对应的数据处理逻辑实现类。在本发明实施例中，一个数据处理步骤对应一个数据处理逻辑实现类，一个数据处理逻辑实现类对多个数据操作原语进行封装，从而使得用户只需了解各个数据处理步骤对应的子***提供的数据逻辑实现类，并不需要了解***底层框架提供的数据操作原语，降低了开发难度。
S105：基于所述处理链对所述接口调用任务中的待处理数据进行数据处理。
作为本发明的一个实施例，图2示出了本发明实施例提供的数据处理方法S105的具体实现流程，详述如下：
A1：调用预设数据处理接口，依次控制所述处理链中的各个所述数据处理逻辑实现类按所述数据处理步骤的顺序继承所述预设数据处理接口，对所述待处理数据进行处理。
A2：调用预设输入输出接口，依次控制所述处理链中所述各个所述数据处理逻辑实现类接收上一个数据处理逻辑实现类得到的中间数据，所述处理链中第一个数据处理逻辑实现类接收所述待处理数据。
在本发明实施例中，根据所述数据处理步骤的顺序标记所述处理链中各个所述数据处理逻辑实现类的继承顺序，通过调用预设数据处理接口，依次控制所述处理链中的各个所述数据处理逻辑实现类按所述数据处理步骤的顺序继承所述预设数据处理接口，同时，调用预设输入输出接口，根据所述数据处理逻辑实现类的继承顺序依次控制所述处理链中所述各个数据处理逻辑实现类接收上一个数据处理逻辑实现类得到的中间数据，所述第一个数据处理逻辑实现类接收所述待处理数据。具体地，调用预先封装的多个数据操作原语，对所述中间数据进行处理，并将得到的中间数据输出到下一个数据处理逻辑实现类，直到得到最终数据处理结果。
示例性地，在本发明实施例中，提供预设数据处理接口process，每一个数据处理逻辑实现类processor继承预设数据处理接口process，是预设数据处理接口process的实例，用于实现对应的数据处理步骤的数据处理过程。最后一个数据处理逻辑实现类processor不会将中间数据传递给下一步，而是调用平台***提供的输入输出接口，将最终数据处理结果写入数据库或文件中。
可选地，作为本发明的一个实施例，在所述步骤S105之前，还包括根据所述配置参数的规定，对所述待处理数据和运行环境的环境变量进行统一前处理。具体的，基于扩展性考虑，如果需要对所述待处理数据进行初始化或预处理等操作，并对运行环境的环境变量进行配置时，对配置参数进行相关设置，可避免在各个数据处理步骤中对所述待处理数据再进行初始化或预处理等操作，实现低耦合，使所有的数据处理步骤可插拔，如果所述接口调用任务中的数据处理步骤的顺序有变化，只需要在配置参数中调整数据处理步骤的顺序即可，提高了子***的可扩展性。
可选地，作为本发明的一个实施例，在所述步骤S105之后，还包括根据所述配置参数的规定，对完成所述数据处理后的数据处理结果数据进行统一后处理，并将所述运行环境的环境变量恢复为默认状态，以便接收下一个借口调用任务。
需说明的是，在本发明实施例中，对所述待处理数据和运行环境的环境变量进行的所述统一前处理，与对完成所述数据处理后的数据处理结果数据进行的所述统一后处理相对应，例如数据格式转换，数据筛选等。进一步地，当接口调用任务不需要进行初始化或预处理，或对运行环境的环境变量进行配置等操作时，不需要执行前处理和后处理操作。
作为本发明的一个实施例，如图3所示，上述S105还包括：
B1：若同时发送接口调用任务的客户端不止一个，则获取所述接口调用任务中请求调用的目标URL。
B2：查找所述目标URL在指定时间段内的限定调用次数。
B3：若发送所述接口调用任务的客户端数超过所述限定调用次数，则获取所述客户端的优先级。
B4：按所述客户端的优先级依次对所述接口调用任务中的待处理数据进行数据处理。
在本发明实施例中，当同时发送接口调用任务的客户端不止一个时，对请求调用的目标URL进行限流，例如，某个目标URL每分钟只允许调用指定次。若发送所述接口调用任务的客户端数超过所述限定调用次数，则按所述客户端的优先级依次对所述接口调用任务中的待处理数据进行数据处理，避免接口调用冲突，从而提高接口调用的效率，并且增强用户体验。
本发明实施例中，通过接收客户端发送的携带有配置参数的接口调用任务，解析所述接口调用任务，得到所述接口调用任务中的待处理数据以及与所述配置参数对应的数据处理逻辑，然后根据所述数据处理逻辑，将所述接口调用任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序，再确定各个所述数据处理步骤分别对应的数据处理逻辑实现类，并根据所述数据处理逻辑实现类和所述数据处理步骤的顺序生成处理链，基于所述处理链对所述接口调用任务中的待处理数据进行数据处理。本方案可实现子***接口对接调用的统一，降低了开发难度，使得***可及时响应调用，提高了接口调用的效率。
进一步地，基于上述图1实施例中所提供的数据处理方法，提出本发明的另一实施例。在本发明实施例中，在图1所示的步骤S101-S105的基础上，如图4所示，所述数据处理方法还包括：
S106：获取所述客户端的IP地址。
S107：根据所述配置参数确定所述接口调用任务中请求调用的接口的接口类型。
在本发明实施例中，不同接口类型的接口对应的配置参数存在不同。根据参数接口对照表，确定所述接口调用任务携带的配置参数对应的接口类型。
S108：确定所述接口类型对应的预设限流对照表。
在本发明实施例中，所述接口类型与所述预设限流对照表对应，根据所述接口类型可确定所述接口类型对应的预设限流对照表。
S109：基于所述预设限流对照表，查找所述客户端的IP地址对应的预设限流次数，对所述客户端发送的接口调用任务进行限流。
在本发明实施例中，所述预设限流对照表包括IP地址区间与预设限流次数的对应关系，根据所述预设限流对照表，查找所述客户端的IP地址对应的预设限流次数，对所述客户端发送的接口调用任务进行限流。例如：某个IP每分钟只允许请求多少次。
本发明实施例中，通过获取所述客户端的IP地址，然后根据所述配置参数确定所述接口调用任务中请求调用的接口的接口类型，确定所述接口类型对应的预设限流对照表，再基于所述预设限流对照表，查找所述客户端的IP地址对应的预设限流次数，最后对所述客户端发送的接口调用任务进行限流，避免客户端访问过于频繁，从而保证访问的稳定性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的数据处理方法，图5示出了本申请实施例提供的数据处理装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。
参照图5，该数据处理装置包括：调用任务接收单元51，任务解析单元52，处理步骤确定单元53，处理链生成单元54，数据处理单元55，其中：
调用任务接收单元51，用于接收客户端发送的携带有配置参数的接口调用任务；
任务解析单元52，用于解析所述接口调用任务，得到所述接口调用任务中的待处理数据以及与所述配置参数对应的数据处理逻辑；
处理步骤确定单元53，用于根据所述数据处理逻辑，将所述接口调用任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序；
处理链生成单元54，用于确定各个所述数据处理步骤分别对应的数据处理逻辑实现类，并根据所述数据处理逻辑实现类和所述数据处理步骤的顺序生成处理链；
数据处理单元55，用于基于所述处理链对所述接口调用任务中的待处理数据进行数据处理。
可选地，所述数据处理单元55包括：
第一数据处理模块，用于调用预设数据处理接口，依次控制所述处理链中的各个所述数据处理逻辑实现类按所述数据处理步骤的顺序继承所述预设数据处理接口，对所述待处理数据进行处理；
第二数据处理模块，用于调用预设输入输出接口，依次控制所述处理链中所述各个所述数据处理逻辑实现类接收上一个数据处理逻辑实现类得到的中间数据，所述处理链中第一个数据处理逻辑实现类接收所述待处理数据。
可选地，所述数据处理单元55还包括：
目标确定模块，用于若同时发送接口调用任务的客户端不止一个，则获取所述接口调用任务中请求调用的目标URL；
限用次数查找模块，用于查找所述目标URL在指定时间段内的限定调用次数；
优先级确定模块，用于若发送所述接口调用任务的客户端数超过所述限定调用次数，则获取所述客户端的优先级；
第三数据处理模块，用于按所述客户端的优先级依次对所述接口调用任务中的待处理数据进行数据处理。
可选地，所述数据处理装置还包括：
权限校验单元，用于基于所述接口调用任务携带的配置参数，对所述客户端的调用权限进行校验。
本发明实施例中，通过接收客户端发送的携带有配置参数的接口调用任务，解析所述接口调用任务，得到所述接口调用任务中的待处理数据以及与所述配置参数对应的数据处理逻辑，然后根据所述数据处理逻辑，将所述接口调用任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序，再确定各个所述数据处理步骤分别对应的数据处理逻辑实现类，并根据所述数据处理逻辑实现类和所述数据处理步骤的顺序生成处理链，基于所述处理链对所述接口调用任务中的待处理数据进行数据处理。本方案可实现子***接口对接调用的统一，降低了开发难度，使得***可及时响应调用，提高了接口调用的效率。
可选地，如图6所示，所述数据处理装置还包括：
地址获取单元61，用于获取所述客户端的IP地址；
接口类型确定单元62，用于根据所述配置参数确定所述接口调用任务中请求调用的接口的接口类型；
对照表查找单元63，用于确定所述接口类型对应的预设限流对照表；
调用任务限流单元64，用于基于所述预设限流对照表，查找所述客户端的IP地址对应的预设限流次数，对所述客户端发送的接口调用任务进行限流。
本发明实施例中，通过获取所述客户端的IP地址，然后根据所述配置参数确定所述接口调用任务中请求调用的接口的接口类型，确定所述接口类型对应的预设限流对照表，再基于所述预设限流对照表，查找所述客户端的IP地址对应的预设限流次数，最后对所述客户端发送的接口调用任务进行限流，避免客户端访问过于频繁，从而保证访问的稳定性。
图7是本发明一实施例提供的服务器的示意图。如图7所示，该实施例的服务器7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72，例如数据处理程序。所述处理器70执行所述计算机程序72时实现上述各个数据处理方法实施例中的步骤，例如图1所示的步骤101至105。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图5所示单元51至55的功能。
示例性的，所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述服务器7中的执行过程。
所述服务器7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述服务器可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是服务器7的示例，并不构成对服务器7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述服务器还可以包括输入输出设备、网络接入设备、总线等。
所述处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述服务器7的内部存储单元，例如服务器7的硬盘或内存。所述存储器71也可以是所述服务器7的外部存储设备，例如所述服务器7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述服务器7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述服务器所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
接收客户端发送的携带有配置参数的接口调用任务；
解析所述接口调用任务，得到所述接口调用任务中的待处理数据以及与所述配置参数对应的数据处理逻辑；
根据所述数据处理逻辑，将所述接口调用任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序；
确定各个所述数据处理步骤分别对应的数据处理逻辑实现类，并根据所述数据处理逻辑实现类和所述数据处理步骤的顺序生成处理链；
基于所述处理链对所述接口调用任务中的待处理数据进行数据处理。
2.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述处理链对所述接口调用任务中的待处理数据进行数据处理，还包括：
若同时发送接口调用任务的客户端不止一个，则获取所述接口调用任务中请求调用的目标URL；
查找所述目标URL在指定时间段内的限定调用次数；
若发送所述接口调用任务的客户端数超过所述限定调用次数，则获取所述客户端的优先级；
按所述客户端的优先级依次对所述接口调用任务中的待处理数据进行数据处理。
3.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：
获取所述客户端的IP地址；
根据所述配置参数确定所述接口调用任务中请求调用的接口的接口类型；
确定所述接口类型对应的预设限流对照表；
基于所述预设限流对照表，查找所述客户端的IP地址对应的预设限流次数，对所述客户端发送的接口调用任务进行限流。
4.根据权利要求1所述的数据处理方法，其特征在于，所述基于所述处理链对所述接口调用任务中的待处理数据进行数据处理，包括：
调用预设数据处理接口，依次控制所述处理链中的各个所述数据处理逻辑实现类按所述数据处理步骤的顺序继承所述预设数据处理接口，对所述待处理数据进行处理；
调用预设输入输出接口，依次控制所述处理链中所述各个所述数据处理逻辑实现类接收上一个数据处理逻辑实现类得到的中间数据，所述处理链中第一个数据处理逻辑实现类接收所述待处理数据。
5.根据权利要求1所述的数据处理方法，其特征在于，在所述解析所述接口调用任务之前，还包括：
基于所述接口调用任务携带的配置参数，对所述客户端的调用权限进行校验。
6.一种数据处理装置，其特征在于，所述数据处理装置包括：
调用任务接收单元，用于接收客户端发送的携带有配置参数的接口调用任务；
任务解析单元，用于解析所述接口调用任务，得到所述接口调用任务中的待处理数据以及与所述配置参数对应的数据处理逻辑；
处理步骤确定单元，用于根据所述数据处理逻辑，将所述接口调用任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序；
处理链生成单元，用于确定各个所述数据处理步骤分别对应的数据处理逻辑实现类，并根据所述数据处理逻辑实现类和所述数据处理步骤的顺序生成处理链；
数据处理单元，用于基于所述处理链对所述接口调用任务中的待处理数据进行数据处理。
7.根据权利要求6所述的数据处理装置，其特征在于，所述数据处理单元还包括：
目标确定模块，用于若同时发送接口调用任务的客户端不止一个，则获取所述接口调用任务中请求调用的目标URL；
限用次数查找模块，用于查找所述目标URL在指定时间段内的限定调用次数；
优先级确定模块，用于若发送所述接口调用任务的客户端数超过所述限定调用次数，则获取所述客户端的优先级；
第三数据处理模块，用于按所述客户端的优先级依次对所述接口调用任务中的待处理数据进行数据处理。
8.根据权利要求6所述的数据处理装置，其特征在于，所述数据处理装置还包括：
地址获取单元，用于获取所述客户端的IP地址；
接口类型确定单元，用于根据所述配置参数确定所述接口调用任务中请求调用的接口的接口类型；
对照表查找单元，用于确定所述接口类型对应的预设限流对照表；
调用任务限流单元，用于基于所述预设限流对照表，查找所述客户端的IP地址对应的预设限流次数，对所述客户端发送的接口调用任务进行限流。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述数据处理方法的步骤。
10.一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910422643.8A CN110245029A (zh) | 2019-05-21 | 2019-05-21 | 一种数据处理方法、装置、存储介质和服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910422643.8A CN110245029A (zh) | 2019-05-21 | 2019-05-21 | 一种数据处理方法、装置、存储介质和服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110245029A true CN110245029A (zh) | 2019-09-17 |
Family
ID=67884653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910422643.8A Pending CN110245029A (zh) | 2019-05-21 | 2019-05-21 | 一种数据处理方法、装置、存储介质和服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110245029A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110851209A (zh) * | 2019-11-08 | 2020-02-28 | 北京字节跳动网络技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN112015769A (zh) * | 2020-09-01 | 2020-12-01 | 平安付科技服务有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN112052105A (zh) * | 2020-09-04 | 2020-12-08 | 京东数字科技控股股份有限公司 | 接口的调用方法、装置、电子设备及计算机可读介质 |
| CN112214325A (zh) * | 2020-10-20 | 2021-01-12 | 杭州电子科技大学 | Fpga任务动态编排方法、装置、芯片和存储介质 |
| CN112579312A (zh) * | 2019-09-30 | 2021-03-30 | 上海际链网络科技有限公司 | 参数映射方法及装置、存储介质、接口调用平台、服务*** |
| CN112597233A (zh) * | 2020-12-29 | 2021-04-02 | 平安银行股份有限公司 | 数据指标的批量处理方法、装置、设备及存储介质 |
| CN113688175A (zh) * | 2020-05-18 | 2021-11-23 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法和装置 |
| CN112597233B (zh) * | 2020-12-29 | 2024-06-25 | 平安银行股份有限公司 | 数据指标的批量处理方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103701709A (zh) * | 2013-12-13 | 2014-04-02 | 北京京东尚科信息技术有限公司 | 一种流量控制方法及*** |
| CN105915621A (zh) * | 2016-05-11 | 2016-08-31 | 深圳市永兴元科技有限公司 | 访问数据的方法及预处理服务器 |
| CN106610837A (zh) * | 2016-12-26 | 2017-05-03 | 中国建设银行股份有限公司 | 一种应用程序的开发方法及开发平台 |
| CN108845869A (zh) * | 2018-05-31 | 2018-11-20 | 中国平安人寿保险股份有限公司 | 并发请求控制方法、装置、计算机设备和存储介质 |
-
2019
- 2019-05-21 CN CN201910422643.8A patent/CN110245029A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103701709A (zh) * | 2013-12-13 | 2014-04-02 | 北京京东尚科信息技术有限公司 | 一种流量控制方法及*** |
| CN105915621A (zh) * | 2016-05-11 | 2016-08-31 | 深圳市永兴元科技有限公司 | 访问数据的方法及预处理服务器 |
| CN106610837A (zh) * | 2016-12-26 | 2017-05-03 | 中国建设银行股份有限公司 | 一种应用程序的开发方法及开发平台 |
| CN108845869A (zh) * | 2018-05-31 | 2018-11-20 | 中国平安人寿保险股份有限公司 | 并发请求控制方法、装置、计算机设备和存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112579312A (zh) * | 2019-09-30 | 2021-03-30 | 上海际链网络科技有限公司 | 参数映射方法及装置、存储介质、接口调用平台、服务*** |
| CN110851209A (zh) * | 2019-11-08 | 2020-02-28 | 北京字节跳动网络技术有限公司 | 一种数据处理方法、装置、电子设备及存储介质 |
| CN113688175A (zh) * | 2020-05-18 | 2021-11-23 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法和装置 |
| CN112015769A (zh) * | 2020-09-01 | 2020-12-01 | 平安付科技服务有限公司 | 数据处理方法、装置、计算机设备及存储介质 |
| CN112052105A (zh) * | 2020-09-04 | 2020-12-08 | 京东数字科技控股股份有限公司 | 接口的调用方法、装置、电子设备及计算机可读介质 |
| CN112214325A (zh) * | 2020-10-20 | 2021-01-12 | 杭州电子科技大学 | Fpga任务动态编排方法、装置、芯片和存储介质 |
| CN112597233A (zh) * | 2020-12-29 | 2021-04-02 | 平安银行股份有限公司 | 数据指标的批量处理方法、装置、设备及存储介质 |
| CN112597233B (zh) * | 2020-12-29 | 2024-06-25 | 平安银行股份有限公司 | 数据指标的批量处理方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245029A (zh) | 一种数据处理方法、装置、存储介质和服务器 | |
| US20230396669A1 (en) | Technologies for transparent function as a service arbitration for edge systems | |
| CN108696381B (zh) | 一种协议配置方法及装置 | |
| CN106534338A (zh) | 一种云机器人***及实现方法 | |
| US20130262643A1 (en) | Validating deployment patterns in a networked computing environment | |
| US11108871B2 (en) | Dynamic generation of network routing configuration with service requirements | |
| CN109636301A (zh) | 金融业务的工作流配置方法、***、终端及可读存储介质 | |
| CN109582452A (zh) | 一种容器调度方法、调度装置及电子设备 | |
| CN110471746A (zh) | 一种分布式事务回调方法、装置及*** | |
| CN109343972A (zh) | 任务处理方法及终端设备 | |
| CN113361838A (zh) | 业务风控方法、装置、电子设备和存储介质 | |
| CN109446648A (zh) | 仿真服务建立方法及装置 | |
| CN108965404A (zh) | 云网健康服务***及方法 | |
| CN113626512A (zh) | 数据处理方法、装置、设备及可读存储介质 | |
| CN109857450B (zh) | 一种校验服务编排方法及装置 | |
| CN106330556B (zh) | 一种用于生成服务模块调用关联信息的方法与装置 | |
| CN111045928A (zh) | 一种接口数据测试方法、装置、终端及存储介质 | |
| CN110175808A (zh) | 一种订单管理、查询方法、装置、设备及介质 | |
| CN109597611A (zh) | 前端数据流控制组件开发***、方法、设备及存储介质 | |
| CN115167985A (zh) | 一种虚拟化的算力提供方法及*** | |
| CN113590217B (zh) | 基于引擎的函数管理方法、装置、电子设备及存储介质 | |
| CN113110982B (zh) | 数据访问层验证方法及装置、存储介质及电子装置 | |
| CN111400281B (zh) | 一种面向oss对象存储的gis数据质检与入库方法 | |
| US12020022B2 (en) | In-band instantiation configuration for application workloads | |
| CN112100285B (zh) | 一种配电网模型的拓扑分析方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |