CN112685481A - 一种数据处理方法和装置 - Google Patents
一种数据处理方法和装置 Download PDFInfo
- Publication number
- CN112685481A CN112685481A CN201910988064.XA CN201910988064A CN112685481A CN 112685481 A CN112685481 A CN 112685481A CN 201910988064 A CN201910988064 A CN 201910988064A CN 112685481 A CN112685481 A CN 112685481A
- Authority
- CN
- China
- Prior art keywords
- data
- export
- mode
- import
- calling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 100
- 230000008676 import Effects 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000007667 floating Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 238000009795 derivation Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括获取待处理数据，任选预设数量的待处理数据作为样本数据,分别计算每条样本数据处理时长，以获得样本数据的平均处理时长；根据样本数据的平均处理时长，获得待处理数据的总处理时长；基于总处理时长，为待处理数据选取相应的数据导入、导出方式。从而，本发明的实施方式能够解决现有技术中无法针对不同场景实现灵活的数据导入、导出的问题。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据处理方法和装置。
背景技术
在多数企业级应用中，将现有的格式相同的数据录入到数据库中，大体可分为两种录入方式：1)手工录入，2)数据导入。然后，将数据库中的格式相同的数据提取出来则一般通过数据导出的方式完成。手工录入方式一般是针对数据量较小的写库过程，当数据量较大的，会采用导入的方式来完成数据录入。对于获取数据库中的数据，则一般采用导出的方式进行。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
现有大部分导入导出方案在实现上基本上采用其中一种方式，一般在确定方案前会预估数据量，并根据数据量大小选择不同实现。数据导入或导出的量随着不同的场景可变，固定某个导入、导出方案会降低应用的灵活性，轻则增加计算机的资源消耗，重则导致内存溢出使得计算机崩溃。
发明内容
有鉴于此，本发明实施例提供一种数据处理方法和装置，能够解决现有技术中无法针对不同场景实现灵活的数据导入、导出的问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理方法，包括获取待处理数据，任选预设数量的待处理数据作为样本数据,分别计算每条样本数据处理时长，以获得样本数据的平均处理时长；根据样本数据的平均处理时长，获得待处理数据的总处理时长；基于总处理时长，为待处理数据选取相应的数据导入、导出方式。
可选地，基于总处理时长，为待处理数据选取相应的数据导入、导出方式，包括：
判断总处理时长是否小于预设在第一时间级别范围内的第一阈值，若是则选取同步导入、导出方式；否则判断总处理时长是否小于预设在第二时间级别范围内的第二阈值，若是则选取异步导入、导出方式，否则选取异步多线程导入、导出方式；
其中，在第一时间级别范围内的第一阈值为第一时间级别阈值与第一时间级别用户忍受限度浮动值之和；在第二时间级别范围内的第二阈值为第二时间级别阈值与第二时间级别用户忍受限度浮动值之和。
可选地，所述异步导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载；
获取下载数据，通过调用实现接口存储到第三方数据库；
所述异步导出方式，包括：
接收前台应用发送的条件参数；
基于任务表，查询满足条件参数的任务，调用第三方数据库以获取任务的导出数据；
将导出数据解析成预设格式文件并输出。
可选地，所述异步多线程导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载；
获取下载数据，通过调用实现接口，以多线程方式将下载数据存储到第三方数据库；
所述异步多线程导出方式，包括：
接收前台应用发送的条件参数；
基于任务表，查询满足条件参数的任务，通过多线程方式调用第三方数据库以获取任务的导出数据；
将导出数据解析成预设格式文件并输出。
另外，根据本发明实施例的一个方面，提供了一种数据处理装置，包括计算模块，用于获取待处理数据，任选预设数量的待处理数据作为样本数据,分别计算每条样本数据处理时长，以获得样本数据的平均处理时长；根据样本数据的平均处理时长，获得待处理数据的总处理时长；处理模块，用于基于总处理时长，为待处理数据选取相应的数据导入、导出方式。
可选地，所述处理模块基于总处理时长，为待处理数据选取相应的数据导入、导出方式，包括：
判断总处理时长是否小于预设在第一时间级别范围内的第一阈值，若是则选取同步导入、导出方式；否则判断总处理时长是否小于预设在第二时间级别范围内的第二阈值，若是则选取异步导入、导出方式，否则选取异步多线程导入、导出方式；
其中，在第一时间级别范围内的第一阈值为第一时间级别阈值与第一时间级别用户忍受限度浮动值之和；在第二时间级别范围内的第二阈值为第二时间级别阈值与第二时间级别用户忍受限度浮动值之和。
可选地，所述异步导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载；
获取下载数据，通过调用实现接口存储到第三方数据库；
所述异步导出方式，包括：
接收前台应用发送的条件参数；
基于任务表，查询满足条件参数的任务，调用第三方数据库以获取任务的导出数据；
将导出数据解析成预设格式文件并输出。
可选地，所述异步多线程导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载；
获取下载数据，通过调用实现接口，以多线程方式将下载数据存储到第三方数据库；
所述异步多线程导出方式，包括：
接收前台应用发送的条件参数；
基于任务表，查询满足条件参数的任务，通过多线程方式调用第三方数据库以获取任务的导出数据；
将导出数据解析成预设格式文件并输出。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一数据处理实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一基于数据处理实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：本发明通过获取待处理数据，任选预设数量的待处理数据作为样本数据,分别计算每条样本数据处理时长，以获得样本数据的平均处理时长；根据样本数据的平均处理时长，获得待处理数据的总处理时长；基于总处理时长，为待处理数据选取相应的数据导入、导出方式。从而，本发明能够实现快速，高效的数据导入导出。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明第一实施例的数据处理方法的主要流程的示意图
图2是根据本发明第二实施例的数据处理方法的主要流程的示意图；
图3是根据本发明第三实施例的数据处理方法的主要流程的示意图；
图4是根据本发明第四实施例的数据处理方法的主要流程的示意图；
图5是根据本发明第五实施例的数据处理方法的主要流程的示意图；
图6是根据本发明第六实施例的数据处理方法的主要流程的示意图；
图7是根据本发明实施例的数据处理装置的主要模块的示意图；
图8是本发明实施例可以应用于其中的示例性***架构图；
图9是适于用来实现本发明实施例的终端设备或服务器的计算机***的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明第一实施例的数据处理方法的主要流程的示意图，所述数据处理方法可以包括：
步骤S101，获取待处理数据，任选预设数量的待处理数据作为样本数据。
在实施例中，任选需要处理的nsample条数据，当作样本数据。其中，样本数据量小于或等于总待处理数据，且小于预设样本数量阈值。优选地，nsample≤ndata&&nsample<5。
步骤S102，分别计算每条样本数据处理时长，以获得样本数据的平均处理时长。
在实施例中，分别计算每条样本数据处理时长，然后再计算平均样本数据的处理时长
步骤S103，根据样本数据的平均处理时长，获得待处理数据的总处理时长。
在实施例中，将平均处理时长
乘以总待处理数据量ndata，得到总处理时长Ttotal。
步骤S104，基于总处理时长，为待处理数据选取相应的数据导入、导出方式。
较佳地，在为待处理数据选取相应的数据导入、导出方式时，可以判断总处理时长是否小于预设在第一时间级别范围内的第一阈值，若是则选取同步导入、导出方式。否则判断总处理时长是否小于预设在第二时间级别范围内的第二阈值，若是则选取异步导入、导出方式，否则选取异步多线程导入、导出方式。
其中，在第一时间级别范围内的第一阈值为第一时间级别阈值与第一时间级别用户忍受限度浮动值之和。在第二时间级别范围内的第二阈值为第二时间级别阈值与第二时间级别用户忍受限度浮动值之和。
在实施例中，在第一时间级别范围内的第一阈值可以表示为thresholda+floata，其中thresholda是第一时间级别阈值，floata是第一时间级别用户忍受限度浮动值。较佳地，第一时间级别可以为秒级。
在第二时间级别范围内的第二阈值可以表示为thresholdb+floatb，其中thresholdb是第二时间级别阈值，floatb是第二时间级别用户忍受限度浮动值。较佳地，第二时间级别可以为小时级别。
因此，当Ttotal<thresholda+floata时，选取同步导入、导出方式。当thresholda+floata≤Ttotal<thresholdb+floatb时，选取异步导入、导出方式。当Ttotal≥thresholdb+floatb时，选取异步多线程导入、导出方式。
进一步地，所述异步导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载。获取下载数据，通过调用实现接口存储到第三方数据库。
所述异步导出方式，包括：
接收前台应用发送的条件参数。基于任务表，查询满足条件参数的任务，调用第三方数据库以获取任务的导出数据。将导出数据解析成预设格式文件并输出。
另外，所述异步多线程导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载。获取下载数据，通过调用实现接口，以多线程方式将下载数据存储到第三方数据库。
所述异步多线程导出方式，包括：
接收前台应用发送的条件参数。基于任务表，查询满足条件参数的任务，通过多线程方式调用第三方数据库以获取任务的导出数据。将导出数据解析成预设格式文件并输出。
因此，本发明提出了一种数据处理方法，能够在数据量大小和时间的维度上，自主切换不同导入、导出方案。并且，数据量大小是影响导入或导出效率的关键因素，通过抽样的方式计算数据处理时长，并在此处理时长的基础之上来确定应该选取哪种方案，保证导入或导出的高效性以及提升用户的使用体验。
图2是根据本发明第二实施例的数据处理方法的主要流程的示意图，所述数据处理方法可以包括：
步骤S201，获取待处理数据，任选预设数量的待处理数据作为样本数据。
步骤S202，分别计算每条样本数据处理时长，以获得样本数据的平均处理时长。
步骤S203，根据样本数据的平均处理时长，获得待处理数据的总处理时长。
步骤S204，判断总处理时长是否小于预设在第一时间级别范围内的第一阈值，若是则进行步骤S205，否则进行步骤S206。
其中，在第一时间级别范围内的第一阈值为第一时间级别阈值与第一时间级别用户忍受限度浮动值之和。
步骤S205，选取同步导入、导出方式。
步骤S206，判断总处理时长是否小于预设在第二时间级别范围内的第二阈值，若是则进行步骤S207，否则进行步骤S208。
其中，在第二时间级别范围内的第二阈值为第二时间级别阈值与第二时间级别用户忍受限度浮动值之和。
步骤S207，选取异步导入、导出方式。
在实施例中，异步导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载；获取下载数据，通过调用实现接口存储到第三方数据库。
所述异步导出方式，包括：
接收前台应用发送的条件参数。基于任务表，查询满足条件参数的任务，调用第三方数据库以获取任务的导出数据。将导出数据解析成预设格式文件并输出。
步骤S208，选取异步多线程导入、导出方式。
在实施例中，所述异步多线程导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载。获取下载数据，通过调用实现接口，以多线程方式将下载数据存储到第三方数据库。
所述异步多线程导出方式，包括：
接收前台应用发送的条件参数。基于任务表，查询满足条件参数的任务，通过多线程方式调用第三方数据库以获取任务的导出数据。将导出数据解析成预设格式文件并输出。
图3是根据本发明第三实施例的数据处理方法的主要流程的示意图，异步导入方式的具体实施过程包括：
App a(即前台应用)通过RPC方式调用App b，并将数据存储到云存储(cloud)上，完成这两个操作后响应前台，则App a可对其他功能进行操作。
App b接收到来自App a的调用参数(Task param)，将其调用参数存储到数据库database中，并通过MQ的方式将调用参数(Task param)发送至消息消费者MQ consumer，消息消费者MQ consumer接到消息后，通过任务参数(Task param)访问云存储(cloud)，将云存储(cloud)中的数据下载下来。
App b解析从云存储(cloud)中下载的数据，并通过RPC调用App c中不同的实现接口(BusinessLogicHandler)，App c将数据存储到数据库中。在调用App c的过程中，同时改变任务表中的状态。
其中，BusinessLogicHandler Class表示为实现业务逻辑处理程序的托管代码程序集的服务器注册。RPC全称Remote Procedure Call，远程过程调用，它是一种通过网络从远程计算机程序上请求服务。
图4是根据本发明第四实施例的数据处理方法的主要流程的示意图，异步导出的具体实施过程包括：
App a(即前台应用)通过RPC方式将导出任务中的条件参数等信息传至App b，将条件参数等信息保存至数据库database中。
App b中任务服务Task Service实时不间断扫描任务表，获得满足条件的查询参数，通过RPC方式将调用App c获取数据。
App b中的数据解析器Data Intepreter将数据解析成所需要的格式文件并输出给用户。
图5是根据本发明第五实施例的数据处理方法的主要流程的示意图，多线程异步导入的具体实施过程：
App a(即前台应用)通过RPC方式调用App b，并将数据存储到云存储(cloud)上，完成这两个操作后响应前台，则App a可对其他功能进行操作。
App b接收到来自App a的调用参数(Task param)，将其调用参数存储到数据库database中，并通过MQ的方式将调用参数(Task param)发送至消息消费者MQ consumer，消息消费者MQ consumer接到消息后，通过任务参数(Task param)访问云存储(cloud)，将云存储(cloud)中的数据下载下来。
App b解析从云存储(cloud)中下载的数据，并通过多线程的方式调用App c中不同的实现接口(BusinessLogicHandler)，App c将数据存储到数据库中。在调用App c的过程中，同时改变任务表中的状态。
可以看出，多线程异步导入方式通过RPC方式，在不同应用之间建立连接，从而实现异步处理过程。并且，将要处理的数据存储至云存储上，以异步的方式解析云存储上的数据。多线程处理解析后的数据，并保存至数据库中。
图6是根据本发明第六实施例的数据处理方法的主要流程的示意图，多线程异步导出的具体实施过程：
App a(即前台应用)通过RPC方式将导出任务中的条件参数等信息传至App b，将条件参数等信息保存至数据库database中。
App b中任务服务Task Service实时不间断扫描任务表，获得满足条件的查询参数，通过多线程的方式调用App c获取数据。
App b中的数据解析器Data Intepreter将数据解析成所需要的格式文件并输出给用户。
较佳地，存储的单条数据量的大小不一致，且不同计算机性能的存在一定差异，故线程数需要根据实际计算情况来动态确定，可根据如下公式对线程数进行约束：
其中，threadwatingTime为线程等待时长。
threadcpuTime为线程CPU时长。
NumsCPU为CPU个数。
可以看出，多线程异步导出方案通过RPC方式，在不同应用之间建立连接，从而实现异步处理过程。数据解析器以异步方式解析根据导出参数获取的数据，并将解析后的数据汇总返回给用户。
综上所述，本发明各种实施例所述的数据处理方法，能够适应由于业务的变化而变化的数据量，例如开始的数据量较小，随着数据量的增长，可以采用相应的数据导入、导出方式，以保证业务增长的需求。同时，也可以保证在处理数据的数据量大小变化范围波动较大时，动态变换数据导入、导出方式。
图7是根据本发明第一实施例的数据处理装置的主要模块的示意图，如图7所示，所述数据处理装置700包括计算模块701和处理模块702。其中，计算模块701用于获取待处理数据，任选预设数量的待处理数据作为样本数据,分别计算每条样本数据处理时长，以获得样本数据的平均处理时长；根据样本数据的平均处理时长，获得待处理数据的总处理时长。处理模块702用于基于总处理时长，为待处理数据选取相应的数据导入、导出方式。
作为另一个实施例，所述处理模块702基于总处理时长，为待处理数据选取相应的数据导入、导出方式，包括：
判断总处理时长是否小于预设在第一时间级别范围内的第一阈值，若是则选取同步导入、导出方式；否则判断总处理时长是否小于预设在第二时间级别范围内的第二阈值，若是则选取异步导入、导出方式，否则选取异步多线程导入、导出方式。
其中，在第一时间级别范围内的第一阈值为第一时间级别阈值与第一时间级别用户忍受限度浮动值之和。在第二时间级别范围内的第二阈值为第二时间级别阈值与第二时间级别用户忍受限度浮动值之和。
较佳地，所述异步导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载。获取下载数据，通过调用实现接口存储到第三方数据库。
所述异步导出方式，包括：
接收前台应用发送的条件参数。基于任务表，查询满足条件参数的任务，调用第三方数据库以获取任务的导出数据。将导出数据解析成预设格式文件并输出。
又一较佳地，所述异步多线程导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载。获取下载数据，通过调用实现接口，以多线程方式将下载数据存储到第三方数据库。
所述异步多线程导出方式，包括：
接收前台应用发送的条件参数。基于任务表，查询满足条件参数的任务，通过多线程方式调用第三方数据库以获取任务的导出数据。将导出数据解析成预设格式文件并输出。
需要说明的是，在本发明所述数据处理方法和所述数据处理装置在具体实施内容上具有相应关系，故重复内容不再说明。
图8示出了可以应用本发明实施例的数据处理方法或数据处理装置的示例性***架构800。
如图8所示，***架构800可以包括终端设备801、802、803，网络804和服务器805。网络804用以在终端设备801、802、803和服务器805之间提供通信链路的介质。网络804可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备801、802、803通过网络804与服务器805交互，以接收或发送消息等。终端设备801、802、803上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备801、802、803可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器805可以是提供各种服务的服务器，例如对用户利用终端设备801、802、803所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的数据处理方法一般由服务器805执行，相应地，数据处理装置一般设置于服务器805中。
应该理解，图8中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图9，其示出了适于用来实现本发明实施例的终端设备的计算机***900的结构示意图。图9示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，计算机***900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM903中，还存储有***900操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本发明的***中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括计算模块和处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取待处理数据，任选预设数量的待处理数据作为样本数据,分别计算每条样本数据处理时长，以获得样本数据的平均处理时长；根据样本数据的平均处理时长，获得待处理数据的总处理时长；基于总处理时长，为待处理数据选取相应的数据导入、导出方式。
根据本发明实施例的技术方案，能够解决现有技术中无法针对不同场景实现灵活的数据导入、导出的问题。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种数据处理方法，其特征在于，包括：
获取待处理数据，任选预设数量的待处理数据作为样本数据,分别计算每条样本数据处理时长，以获得样本数据的平均处理时长；
根据样本数据的平均处理时长，获得待处理数据的总处理时长；
基于总处理时长，为待处理数据选取相应的数据导入、导出方式。
2.根据权利要求1所述的方法，其特征在于，基于总处理时长，为待处理数据选取相应的数据导入、导出方式，包括：
判断总处理时长是否小于预设在第一时间级别范围内的第一阈值，若是则选取同步导入、导出方式；否则判断总处理时长是否小于预设在第二时间级别范围内的第二阈值，若是则选取异步导入、导出方式，否则选取异步多线程导入、导出方式；
其中，在第一时间级别范围内的第一阈值为第一时间级别阈值与第一时间级别用户忍受限度浮动值之和；在第二时间级别范围内的第二阈值为第二时间级别阈值与第二时间级别用户忍受限度浮动值之和。
3.根据权利要求2所述的方法，其特征在于，所述异步导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载；
获取下载数据，通过调用实现接口存储到第三方数据库；
所述异步导出方式，包括：
接收前台应用发送的条件参数；
基于任务表，查询满足条件参数的任务，调用第三方数据库以获取任务的导出数据；
将导出数据解析成预设格式文件并输出。
4.根据权利要求2所述的方法，其特征在于，所述异步多线程导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载；
获取下载数据，通过调用实现接口，以多线程方式将下载数据存储到第三方数据库；
所述异步多线程导出方式，包括：
接收前台应用发送的条件参数；
基于任务表，查询满足条件参数的任务，通过多线程方式调用第三方数据库以获取任务的导出数据；
将导出数据解析成预设格式文件并输出。
5.一种数据处理装置，其特征在于，包括：
计算模块，用于获取待处理数据，任选预设数量的待处理数据作为样本数据,分别计算每条样本数据处理时长，以获得样本数据的平均处理时长；根据样本数据的平均处理时长，获得待处理数据的总处理时长；
处理模块，用于基于总处理时长，为待处理数据选取相应的数据导入、导出方式。
6.根据权利要求5所述的装置，其特征在于，所述处理模块基于总处理时长，为待处理数据选取相应的数据导入、导出方式，包括：
判断总处理时长是否小于预设在第一时间级别范围内的第一阈值，若是则选取同步导入、导出方式；否则判断总处理时长是否小于预设在第二时间级别范围内的第二阈值，若是则选取异步导入、导出方式，否则选取异步多线程导入、导出方式；
其中，在第一时间级别范围内的第一阈值为第一时间级别阈值与第一时间级别用户忍受限度浮动值之和；在第二时间级别范围内的第二阈值为第二时间级别阈值与第二时间级别用户忍受限度浮动值之和。
7.根据权利要求6所述的装置，其特征在于，所述异步导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载；
获取下载数据，通过调用实现接口存储到第三方数据库；
所述异步导出方式，包括：
接收前台应用发送的条件参数；
基于任务表，查询满足条件参数的任务，调用第三方数据库以获取任务的导出数据；
将导出数据解析成预设格式文件并输出。
8.根据权利要求6所述的装置，其特征在于，所述异步多线程导入方式，包括：
接收前台应用发送的调用参数，通过队列方式将调用参数发送至消息消费者，进而消息消费者通过任务参数访问云存储，以进行数据下载；
获取下载数据，通过调用实现接口，以多线程方式将下载数据存储到第三方数据库；
所述异步多线程导出方式，包括：
接收前台应用发送的条件参数；
基于任务表，查询满足条件参数的任务，通过多线程方式调用第三方数据库以获取任务的导出数据；
将导出数据解析成预设格式文件并输出。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910988064.XA CN112685481B (zh) | 2019-10-17 | 2019-10-17 | 一种数据处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910988064.XA CN112685481B (zh) | 2019-10-17 | 2019-10-17 | 一种数据处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112685481A true CN112685481A (zh) | 2021-04-20 |
| CN112685481B CN112685481B (zh) | 2023-11-03 |
Family
ID=75444740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910988064.XA Active CN112685481B (zh) | 2019-10-17 | 2019-10-17 | 一种数据处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112685481B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113282456A (zh) * | 2021-05-24 | 2021-08-20 | 北京京东振世信息技术有限公司 | 一种数据处理方法和装置 |
| CN113704269A (zh) * | 2021-09-02 | 2021-11-26 | 京东城市(北京)数字科技有限公司 | 一种数据处理方法、***、存储介质及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657123A (zh) * | 2013-11-21 | 2015-05-27 | 航天信息股份有限公司 | 一种动态导出文件的方法 |
| CN105894163A (zh) * | 2014-12-17 | 2016-08-24 | 中信天津外包服务有限公司 | 一站式全流程档案信息管理方法 |
| CN108228752A (zh) * | 2017-12-21 | 2018-06-29 | 中国联合网络通信集团有限公司 | 数据全量导出方法、数据分配装置及数据导出节点 |
| CN108346106A (zh) * | 2018-02-23 | 2018-07-31 | 平安科技（深圳）有限公司 | 账单录入方法、***、光学字符识别服务器和存储介质 |
| CN108874894A (zh) * | 2018-05-21 | 2018-11-23 | 平安科技（深圳）有限公司 | 交叉表导出方法、装置、计算机设备和存储介质 |
| CN110019293A (zh) * | 2017-09-07 | 2019-07-16 | 北京国双科技有限公司 | 基于impala数据库的表格数据导出方法及装置 |
| CN110020646A (zh) * | 2019-04-16 | 2019-07-16 | 恒生电子股份有限公司 | 文件归档方法、装置、电子设备、及存储介质 |
-
2019
- 2019-10-17 CN CN201910988064.XA patent/CN112685481B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657123A (zh) * | 2013-11-21 | 2015-05-27 | 航天信息股份有限公司 | 一种动态导出文件的方法 |
| CN105894163A (zh) * | 2014-12-17 | 2016-08-24 | 中信天津外包服务有限公司 | 一站式全流程档案信息管理方法 |
| CN110019293A (zh) * | 2017-09-07 | 2019-07-16 | 北京国双科技有限公司 | 基于impala数据库的表格数据导出方法及装置 |
| CN108228752A (zh) * | 2017-12-21 | 2018-06-29 | 中国联合网络通信集团有限公司 | 数据全量导出方法、数据分配装置及数据导出节点 |
| CN108346106A (zh) * | 2018-02-23 | 2018-07-31 | 平安科技（深圳）有限公司 | 账单录入方法、***、光学字符识别服务器和存储介质 |
| WO2019161615A1 (zh) * | 2018-02-23 | 2019-08-29 | 平安科技（深圳）有限公司 | 账单录入方法、***、光学字符识别服务器和存储介质 |
| CN108874894A (zh) * | 2018-05-21 | 2018-11-23 | 平安科技（深圳）有限公司 | 交叉表导出方法、装置、计算机设备和存储介质 |
| CN110020646A (zh) * | 2019-04-16 | 2019-07-16 | 恒生电子股份有限公司 | 文件归档方法、装置、电子设备、及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113282456A (zh) * | 2021-05-24 | 2021-08-20 | 北京京东振世信息技术有限公司 | 一种数据处理方法和装置 |
| CN113282456B (zh) * | 2021-05-24 | 2023-09-22 | 北京京东振世信息技术有限公司 | 一种数据处理方法和装置 |
| CN113704269A (zh) * | 2021-09-02 | 2021-11-26 | 京东城市(北京)数字科技有限公司 | 一种数据处理方法、***、存储介质及电子设备 |
| CN113704269B (zh) * | 2021-09-02 | 2024-04-16 | 京东城市(北京)数字科技有限公司 | 一种数据处理方法、***、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112685481B (zh) | 2023-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112527649A (zh) | 一种测试用例的生成方法和装置 | |
| CN110706093A (zh) | 一种账务处理方法和装置 | |
| CN111478781B (zh) | 一种消息广播的方法和装置 | |
| CN112596920A (zh) | 一种消息处理的方法、装置、电子设备和存储介质 | |
| CN111062572B (zh) | 任务分配的方法和装置 | |
| CN112685481B (zh) | 一种数据处理方法和装置 | |
| CN114979295A (zh) | 一种网关管理的方法和装置 | |
| CN112084042A (zh) | 一种消息处理的方法和装置 | |
| CN112398669A (zh) | 一种Hadoop部署方法和装置 | |
| CN113742389A (zh) | 一种业务处理方法和装置 | |
| CN112667368B (zh) | 一种任务数据处理方法和装置 | |
| CN112948138A (zh) | 一种处理消息的方法和装置 | |
| CN112784139B (zh) | 查询方法、装置、电子设备和计算机可读介质 | |
| CN113779122B (zh) | 导出数据的方法和装置 | |
| CN112860447B (zh) | 一种不同应用间的交互方法和*** | |
| CN114924937A (zh) | 批量任务处理方法、装置、电子设备及计算机可读介质 | |
| CN113127561B (zh) | 业务单号的生成方法、装置、电子设备和存储介质 | |
| CN113779018A (zh) | 一种数据处理方法和装置 | |
| CN113448652A (zh) | 一种请求处理方法和装置 | |
| CN113572704A (zh) | 一种信息处理方法、生产端、消费端和服务器 | |
| CN113283991A (zh) | 一种区块链上交易数据的处理方法及装置 | |
| CN109213815B (zh) | 控制执行次数的方法、装置、服务器终端以及可读介质 | |
| CN113722193A (zh) | 检测页面异常的方法和装置 | |
| CN113626176A (zh) | 一种业务请求处理方法及装置 | |
| CN110858240A (zh) | 一种前端模块加载方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |