CN109088933A - 大批量名单传送方法、获取方法及相应的装置、电子设备 - Google Patents

Abstract

本申请提供了一种大批量名单传送方法、获取方法及相应的装置、电子设备。该方法包括：将用户上传的大批量名单文件进行切割细分，并将切割细分后的各个数据分片文件解析到存储器中；确定预搭建的消息队列中间件中数据接收方对应的指定主题；将各个数据分片文件发送至消息队列中间件的指定主题，以供数据接收方进行获取。本申请基于分步式消息队列技术，通过消息队列中间件进行大批量名单数据的交互，避免了大量接口请求的堆积，提高大批量名单数据传输的效率。

Description

大批量名单传送方法、获取方法及相应的装置、电子设备

技术领域

本申请涉及数据传输技术领域，具体而言，本申请涉及一种大批量名单传送方法、获取方法及相应的装置、电子设备。

背景技术

当今时代是数据日益渗透生活的时代，数据的合理应用为各行各业带来了巨大的变革潜力和创新空间。在各种业务的实际应用中，经常需要用到大批量名单数据，例如某机构或某产品相关的名录、白名单、黑名单等。随着名单数据量的急剧增加，传统的大批量名单数据的存储、传输、处理以及管理技术都受到了严峻的挑战。

其中，目前市面上的***对大批量名单数据的传输都是通过预定接口进行的，但是对于架构复杂度高的项目，多个***之间的大批量名单数据交互均需通过该预定接口，会对***产生大量接口请求，容易造成接口请求堆积，影响生产应用性能。

发明内容

本申请提供了一种大批量名单传送方法、获取方法及相应的装置、电子设备，用于提高多***间大批量名单数据传输的效率。

第一方面，本申请提供了一种大批量名单传送方法，该方法包括：

将用户上传的大批量名单文件进行切割细分，并将切割细分后的各个数据分片文件解析到存储器中；

确定预搭建的消息队列中间件中数据接收方对应的指定主题；

将各个数据分片文件发送至消息队列中间件的指定主题，以供数据接收方进行获取。

第二方面，本申请提供了一种大批量名单获取方法，该方法包括：

确定预搭建的消息队列中间件中数据发送方对应的指定主题；

对消息队列中间件的指定主题进行监听；

从消息队列中间件的指定主题获取监听的到各个数据分片文件，以得到大批量名单文件。

第三方面，本申请提供了一种大批量名单传送装置，该装置包括：

切割细分模块，用于将用户上传的大批量名单文件进行切割细分，并将切割细分后的各个数据分片文件解析到存储器中；

确定模块，用于确定预搭建的消息队列中间件中数据接收方对应的指定主题；

发送模块，用于将各个数据分片文件发送至消息队列中间件的指定主题，以供数据接收方进行获取。

第四方面，本申请提供了一种大批量名单获取装置，该装置包括：

确定模块，用于确定预搭建的消息队列中间件中数据发送方对应的指定主题

监听模块，用于对消息队列中间件的指定主题进行监听；

获取模块，用于从消息队列中间件的指定主题获取监听的到各个数据分片文件，以得到大批量名单文件。

第五方面，本申请提供了一种电子设备，该电子设备包括：处理器和存储器，存储器存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如本申请的第一方面所示的大批量名单传送方法，或者实现如本申请的第二方面所示的大批量名单获取方法。

第六方面，本申请提供了一种计算机可读存储介质，计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行如本申请的第一方面所示的大批量名单传送方法，或者如本申请的第二方面所示的大批量名单获取方法。

本申请提供的大批量名单传送方法、获取方法及相应的装置、电子设备，采用将用户上传的大批量名单文件进行切割细分，并将切割细分后的各个数据分片文件解析到存储器中；确定预搭建的消息队列中间件中数据接收方对应的指定主题；将各个数据分片文件发送至消息队列中间件的指定主题，以供数据接收方进行获取，通过消息队列中间件进行大批量名单数据的交互，避免了大量接口请求的堆积，提高大批量名单数据传输的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的大批量名单传送方法的流程示意图；

图2为本申请实施例提供的大批量名单获取方法的流程示意图；

图3为本申请实施例提供的大批量名单传送装置的结构示意图；

图4为本申请实施例提供的大批量名单获取装置的结构示意图；

图5为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

实施例一

本申请实施例提供了一种大批量名单传送方法，如图1所示，该方法包括：

步骤S101：将用户上传的大批量名单文件进行切割细分，并将切割细分后的各个数据分片文件解析到存储器中。

在本申请实施例中，该方法的执行主体为数据发送方。

具体而言，当用户需要传输大批量名单数据时，用户可以在数据发送方的终端***上上传大批量名单文件。待用户上传完成后，数据发送方将大批量名单文件进行切割细分，切割成大量的数据分片文件。

实际应用中，切割细分方式可以为以下任一种：水平分片、垂直分片、导出分片和混合分片等。其中，

(1)水平分片：根据预设的分片条件，把大批量名单文件的所有元组划分成若干不相交的子集。作为示例地，按照人数进行分片。

(2)垂直分片：把大批量名单文件按照属性集分成若干子集。

(3)导出分片：实际上是导出水平分片，但是水平分片的条件不是该大批量名单文件中的属性，而是其他预设的属性关系。

(4)混合分片：以上三种方法的混合。可以先水平分片再垂直分片，或先垂直分片再水平分片，或其他形式，需要说明的是，不同的混合分片方式的结果是不相同的，但不影响本申请实施例的效果。

本领域技术人员可以根据实际情况对分片方式及分片条件进行设置，本申请实施例对此不作限定。

本申请实施例中，将用户上传的大批量名单文件进行切割细分后，再解析到存储器中。

其中，存储器包括但不限于内存、持久化存储等。

该步骤中，将大批量名单文件切割细分成大量的数据分片文件后再进行后续存储、传输过程，即进行存储的就是切割细分后的大批量名单文件，以便后续过程中读取并传输的为各个数据分片文件，有效提高存储、读取、传输效率。

步骤S102：确定预搭建的消息队列中间件中数据接收方对应的指定主题。

其中，消息队列中间件为本申请实施例预先搭建的***组件，可以内置高效的通信机制，该消息队列中间件同时与数据发送方、数据接收方相连，可以接收数据发送方发送的数据分片文件并进行存储，在需要时将数据分片文件发送给数据接收方。

可以理解，当一个数据发送方需要向多个数据接收方同时发送大批量名单文件时，通过消息队列中间件，可以避免数据发送方同时与多个数据接收方进行数据交互，实现数据发送方的解耦。

或者当多个数据发送方需要向同一个数据接收方发送大批量名单文件时，通过消息队列中间件，可以避免多个数据发送方同时请求的数据交互，实现数据接收方的解耦。

实际应用中，为了对不同数据发送方及数据接收方之间的数据交互进行区分，本申请实施例中，需要确定预搭建的消息队列中间件中数据接收方对应的指定主题TOPIC。

具体而言，指定主题TOPIC是数据发送方与数据接收方预先协议的，即消息队列中间件中根据不同的数据发送方与数据接收方组合分别设定有对应的主题TOPIC，每一对数据发送方与数据接收方通过消息队列中间件的数据传输都可以由对应的主题TOPIC进行标识。

在数据发送方向预定的数据接收方发送大批量名单文件时，需要确定消息队列中间件中与该数据接收方对应的指定主题TOPIC。

步骤S103：将各个数据分片文件发送至消息队列中间件的指定主题，以供数据接收方进行获取。

其中，由于大批量名单文件的无序性，批量发送方式可以根据网络情况采取并行发送和/或依次发送等方式，本申请实施例在此不做限制。

通过消息队列中间件的指定主题TOPIC进行大批量名单数据的交互，保证了数据的准确性和可靠性。

本申请实施例中，考虑到需要保证数据分片文件的完整性，在步骤S101中的将用户上传的大批量名单文件进行切割细分之后，还可以包括步骤：确定切割细分后的各个数据分片文件的批次号及对应的数据量，并通知数据接收方。

数据发送方可以通过接口告知数据接收方即将推送的各个批次号和各个批次号的数据量，以使得数据接收方及时进行监听。其中，通过接口传输的仅为通知消息，不会影响生产应用性能。

通过批次号及对应的数据量的消息通知，可以保证数据发送方与数据接收方之间大批量名单数据传输的完整性和一致性。

本申请实施例提供的大批量名单传送方法，通过消息队列中间件进行大批量名单数据的交互，避免了大量接口请求的堆积，提高大批量名单数据传输的效率。并且，通过消息队列中间件的指定主题进行大批量名单数据的交互，保证了数据的准确性和可靠性。以及，通过批次号及对应的数据量的消息通知，可以保证数据发送方与数据接收方之间大批量名单数据传输的完整性和一致性。

实施例二

本申请实施例提供了一种大批量名单获取方法，如图2所示，该方法包括：

步骤S201：确定预搭建的消息队列中间件中数据发送方对应的指定主题。

在本申请实施例中，该方法的执行主体为数据接收方。

其中，消息队列中间件为本申请实施例预先搭建的***组件，可以内置高效的通信机制，该消息队列中间件同时与数据发送方、数据接收方相连，可以接收数据发送方发送的数据分片文件并进行存储，在需要时将数据分片文件发送给数据接收方。

可以理解，当一个数据发送方需要向多个数据接收方同时发送大批量名单文件时，通过消息队列中间件，可以避免数据发送方同时与多个数据接收方进行数据交互，实现数据发送方的解耦。

或者当多个数据发送方需要向同一个数据接收方发送大批量名单文件时，通过消息队列中间件，可以避免多个数据发送方同时请求的数据交互，实现数据接收方的解耦。

实际应用中，为了对不同数据发送方及数据接收方之间的数据交互进行区分，需要确定预搭建的消息队列中间件中数据发送方对应的指定主题TOPIC。

具体而言，指定主题TOPIC是数据发送方与数据接收方预先协议的，即消息队列中间件中根据不同的数据发送方与数据接收方组合分别设定有对应的主题TOPIC，每一对数据发送方与数据接收方通过消息队列中间件的数据传输都可以由对应的主题TOPIC进行标识。

步骤S202：对消息队列中间件的指定主题进行监听。

在确定出数据发送方对应的指定主题TOPIC后，即可进行监听，以便及时获取大批量名单文件。

步骤S203：从消息队列中间件的指定主题获取监听的到各个数据分片文件，以得到大批量名单文件。

数据接收方从消息队列中间件的指定主题TOPIC获取监听的到各个数据分片文件。

通过消息队列中间件的指定主题TOPIC进行大批量名单数据的交互，保证了数据的准确性和可靠性。

实际应用中，数据接收方可以在监听到消息队列中间件的指定TOPIC包括任一数据分片文件时，马上请求进行接收。也就是说，在数据发送方向消息队列中间件的指定TOPIC发送数据的同时，数据接收方实时地接收已传输到消息队列中间件的指定TOPIC中的数据分片文件。

或者，可以根据各个数据分片文件的批次号及对应的数据量，监听到消息队列中间件的指定TOPIC包括全部数据分片文件时，再请求进行接收。也就是说，在数据发送方向消息队列中间件的指定TOPIC发送完全部名单数据后，数据接收方再接收已传输到消息队列中间件的指定TOPIC中的全部数据分片文件。这种情况下，可以根据网络情况采取并行发送和/或依次发送等方式，本申请实施例在此不做限制。

通过消息队列中间件进行大批量名单数据的交互，避免了大量接口请求的堆积，提高大批量名单数据传输的效率。

此外，从实施例一中可以看到，由于大批量名单文件是以切割细分后的数据分片文件的形式进行传输的，为了保证数据分片文件的完整性，数据发送方需要确定各个数据分片文件的批次号及对应的数据量，并通知数据接收方。

即本申请实施例提供的大批量名单获取方法还包括步骤：接收数据发送方通知的各个数据分片文件的批次号及对应的数据量。

对于数据接收方来说，接收数据发送方通知的各个数据分片文件的批次号及对应的数据量，便可明确有大批量名单文件需要获取，以执行后续的获取步骤。此时，接收的仅为通知消息，即使有多个数据发送方同时通知获取大批量名单文件，也不会影响生产应用性能。

通过批次号及对应的数据量的消息通知，可以保证数据发送方与数据接收方之间大批量名单数据传输的完整性和一致性。

那么，为了提高监听效率，避免资源的浪费，步骤S202可以在接收数据发送方通知的各个数据分片文件的批次号及对应的数据量之后，对消息队列中间件的指定主题进行监听。

本申请实施例中，考虑到需要保证数据分片文件的完整性，在步骤S203之后，还可以包括步骤：根据各个数据分片文件的批次号及对应的数据量，判断大批量名单文件是否接受完成。

直至判断出大批量名单文件已接受完成，即数据发送方与数据接收方之间大批量名单数据交互已经完成，保证数据传输的完整性和一致性。

实际应用中，数据接收方在接收到完整的各个数据分片文件后，可以按照上述分片方式进行存储，保证数据的读写效率，也可以直接合成完整的大批量名单文件进行使用，本申请实施例在此不做限制。

本申请实施例提供的大批量名单获取方法，通过批次号及对应的数据量的消息通知，可以保证数据发送方与数据接收方之间大批量名单数据传输的完整性和一致性。通过消息队列中间件进行大批量名单数据的交互，避免了大量接口请求的堆积，提高大批量名单数据传输的效率。通过消息队列中间件的指定主题进行大批量名单数据的交互，保证了数据的准确性和可靠性。

实施例三

本申请实施例提供了一种大批量名单传送装置，如图3所示，该大批量名单传送装置30可以包括：切割细分模块301、确定模块302以及发送模块303，其中，

切割细分模块301，用于将用户上传的大批量名单文件进行切割细分，并将切割细分后的各个数据分片文件解析到存储器中；

确定模块302，用于确定预搭建的消息队列中间件中数据接收方对应的指定主题；

发送模块303，用于将各个数据分片文件发送至消息队列中间件的指定主题，以供数据接收方进行获取。

进一步地，发送模块303还具体用于确定切割细分后的各个数据分片文件的批次号及对应的数据量，并通知数据接收方。

进一步地，切割细分模块301具体用于以下任一种方式：水平分片、垂直分片、导出分片、混合分片。

本申请实施例所提供的大批量名单传送方法，可以为服务器上的特定硬件或者安装于服务器上的软件或固件等，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，设备实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。

本申请实施例提供的大批量名单传送方法，通过消息队列中间件进行大批量名单数据的交互，避免了大量接口请求的堆积，提高大批量名单数据传输的效率。并且，通过消息队列中间件的指定主题进行大批量名单数据的交互，保证了数据的准确性和可靠性。以及，通过批次号及对应的数据量的消息通知，可以保证数据发送方与数据接收方之间大批量名单数据传输的完整性和一致性。

实施例四

本申请实施例提供了一种大批量名单获取装置，如图4所示，该大批量名单获取装置40可以包括：确定模块401、监听模块402以及获取模块403，其中，

确定模块401用于确定预搭建的消息队列中间件中数据发送方对应的指定主题；

监听模块402用于对消息队列中间件的指定主题进行监听；

获取模块403用于从消息队列中间件的指定主题获取监听的到各个数据分片文件，以得到大批量名单文件。

进一步地，监听模块402还用于接收数据发送方通知的各个数据分片文件的批次号及对应的数据量；

以及，监听模块402具体用于在接收数据发送方通知的各个数据分片文件的批次号及对应的数据量之后，对消息队列中间件的指定主题进行监听。

进一步地，获取模块403还具体用于根据各个数据分片文件的批次号及对应的数据量，判断大批量名单文件是否接受完成。

本申请实施例所提供的大批量名单获取方法，可以为服务器上的特定硬件或者安装于服务器上的软件或固件等，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，设备实施例部分未提及之处，可参考前述方法实施例中相应内容，在此不再赘述。

本申请实施例提供的大批量名单获取装置，通过消息队列中间件进行大批量名单数据的交互，避免了大量接口请求的堆积，提高大批量名单数据传输的效率。并且，通过消息队列中间件的指定主题进行大批量名单数据的交互，保证了数据的准确性和可靠性。以及，通过批次号及对应的数据量的消息通知，可以保证数据发送方与数据接收方之间大批量名单数据传输的完整性和一致性。

实施例五

本申请实施例还提供了一种电子设备，如图5所示，图5所示的电子设50包括包括：处理器501和存储器502，存储器502存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器501加载并执行以实现实施例一或实施例二所示的方法。

其中，当处理器501加载并执行以实现实施例一所示的方法时，电子设备50为数据发送方。当处理器501加载并执行以实现实施例二所示的方法时，电子设备50为数据接收方。

需要说明的是，实际应用中，该电子设备的结构并不构成对本申请实施例的限定。

其中，处理器501可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器501也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

存储器502可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

本申请实施例还提供了一种计算机可读存储介质，该计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行实施例一或实施例二所示的方法。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种大批量名单传送方法，其特征在于，包括：

将用户上传的大批量名单文件进行切割细分，并将切割细分后的各个数据分片文件解析到存储器中；

确定预搭建的消息队列中间件中数据接收方对应的指定主题；

将各个数据分片文件发送至消息队列中间件的指定主题，以供数据接收方进行获取。

2.根据权利要求1所述的大批量名单发送方法，其特征在于，所述将用户上传的大批量名单文件进行切割细分之后，还包括：

确定切割细分后的各个数据分片文件的批次号及对应的数据量，并通知数据接收方。

3.根据权利要求1或2所述的大批量名单发送方法，其特征在于，所述将用户上传的大批量名单文件进行切割细分，包括以下任一种方式：

水平分片、垂直分片、导出分片、混合分片。

4.一种大批量名单获取方法，其特征在于，包括：

确定预搭建的消息队列中间件中数据发送方对应的指定主题；

对消息队列中间件的指定主题进行监听；

从消息队列中间件的指定主题获取监听的到各个数据分片文件，以得到大批量名单文件。

5.根据权利要求4所述的大批量名单获取方法，其特征在于，还包括：

接收数据发送方通知的各个数据分片文件的批次号及对应的数据量；

所述对消息队列中间件的指定主题进行监听，包括：

在接收数据发送方通知的各个数据分片文件的批次号及对应的数据量之后，对消息队列中间件的指定主题进行监听。

6.根据权利要求5所述的大批量名单获取方法，其特征在于，还包括：

根据各个数据分片文件的批次号及对应的数据量，判断大批量名单文件是否接受完成。

7.一种大批量名单传送装置，其特征在于，包括：

切割细分模块，用于将用户上传的大批量名单文件进行切割细分，并将切割细分后的各个数据分片文件解析到存储器中；

确定模块，用于确定预搭建的消息队列中间件中数据接收方对应的指定主题；

发送模块，用于将各个数据分片文件发送至消息队列中间件的指定主题，以供数据接收方进行获取。

8.一种大批量名单获取装置，其特征在于，包括：

确定模块，用于确定预搭建的消息队列中间件中数据发送方对应的指定主题；

监听模块，用于对消息队列中间件的指定主题进行监听；

获取模块，用于从消息队列中间件的指定主题获取监听的到各个数据分片文件，以得到大批量名单文件。

9.一种电子设备，其特征在于，其包括：

处理器和存储器，所述存储器存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-3中任一项所述的大批量名单传送方法，或者如权利要求4-6中任一项所述的大批量名单获取方法。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质用于存储计算机指令，当其在计算机上运行时，使得计算机可以执行如权利要求1-3中任一项所述的大批量名单传送方法，或者如权利要求4-6中任一项所述的大批量名单获取方法。