CN113411365A - 数据处理方法及装置 - Google Patents

数据处理方法及装置 Download PDF

Info

Publication number
CN113411365A
CN113411365A CN202010184728.XA CN202010184728A CN113411365A CN 113411365 A CN113411365 A CN 113411365A CN 202010184728 A CN202010184728 A CN 202010184728A CN 113411365 A CN113411365 A CN 113411365A
Authority
CN
China
Prior art keywords
data
address information
information
task flow
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010184728.XA
Other languages
English (en)
Inventor
蒲承祖
刘毅
刘红梅
姜良军
袁鲲
邱伟娜
张康
孙善勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Shandong Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Shandong Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Shandong Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010184728.XA priority Critical patent/CN113411365A/zh
Publication of CN113411365A publication Critical patent/CN113411365A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及数据处理方法及装置。该方法包括：接收数据源***发送的数据消息，所述数据消息携带用于存储数据的服务器的地址信息和数据信息；所述数据源***将所述数据存储于所述服务器；根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；按照调度队列中地址信息的排列顺序，提取所述地址信息；根据所述地址信息从所述服务器下载所述数据；将下载的同一任务流的数据进行装载和汇聚。本发明实施例提供的技术方案可提高数据采集，装载和汇聚的效率及正确率。

Description

数据处理方法及装置
【技术领域】
本发明涉及通信技术领域，尤其涉及一种数据处理方法、装置及电子设备。
【背景技术】
目前4G业务呈爆发式增长，并伴随5G时代的到来，网络规模不断扩大、网络结构愈发复杂、网络业务不断多样化，网络指标数据量呈指数增长，各场景业务存在短时间内高用户数高流量的潮汐效应。在此大背景下，数据分析的实时性、准确性日益重要。
现有的数据分析***通常采用定时任务的方式完成数据处理，如将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程，简称ETL。该数据处理方式中，数据采集，装载和汇聚三个环节的处理程序相互独立，靠约定的调度时间相互依赖，没有真正意义上形成任务流。随着数据源的增加，数据量的不断增大，业务的变化，需要不断调整调度时间，使得数据采集，装载和汇聚的过程不仅繁琐，并且容易发生错误。
【发明内容】
有鉴于此，本发明实施例提供了数据处理方法及装置，以提高数据采集，装载和汇聚的效率及正确率。
为了实现上述目的，第一方面，本发明提供了一种数据处理方法，所述方法包括：
接收数据源***发送的数据消息，所述数据消息携带用于存储数据的服务器的地址信息和数据信息；所述数据源***将所述数据存储于所述服务器；
根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；
按照调度队列中地址信息的排列顺序，提取所述地址信息；
根据所述地址信息从所述服务器下载所述数据；
将下载的同一任务流的数据进行装载和汇聚。
结合第一方面，在一种可行的实施方式中，所述方法还包括：确定所述数据消息是否携带补采标识；若所述数据消息携带补采标识，则在从服务器下载所述数据之后，查找已下载数据中数据信息与所述数据中携带的数据信息相同的待替换数据；将所述待替换数据删除。
结合第一方面，在一种可行的实施方式中，所述根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列，包括：根据所述数据信息确定是否存在与所述数据对应的任务流；若不存在，建立所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；若存在，将所述地址信息写入到所述任务流对应的调度队列。
结合第一方面，在一种可行的实施方式中，所述地址信息包括：所述服务器的IP地址和端口地址，用于访问所述服务器的用户名和密码，及用于存储所述数据的文件名及文件路径。
结合第一方面，在一种可行的实施方式中，所述数据信息包括：数据详细信息，数据开始时间及数据结束时间。
为了实现上述目的，第二方面，本发明提供了一种数据处理装置，所述装置包括：
消息处理模块，用于接收数据源***发送的数据消息，所述数据消息携带用于存储数据的服务器的地址信息和数据信息；所述数据源***将所述数据存储于所述服务器；
调度模块，用于根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；
数据处理模块，按照调度队列中地址信息的排列顺序，提取所述地址信息，根据所述地址信息从所述服务器下载所述数据；
所述数据处理模块，还用于将下载的同一任务流的数据进行装载和汇聚。
结合第二方面，在一种可行的实施方式中，所述数据处理模块还用于：确定所述数据消息是否携带补采标识；若所述数据消息携带补采标识，则在从服务器下载所述数据之后，查找已下载数据中数据信息与所述数据中携带的数据信息相同的待替换数据；将所述待替换数据删除。
结合第二方面，在一种可行的实施方式中，所述调度模块具体用于：根据所述数据信息确定是否存在与所述数据对应的任务流；若不存在，建立所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；若存在，将所述地址信息写入到所述任务流对应的调度队列。
为了实现上述目的，第三方面，本发明提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的数据处理方法。
为了实现上述目的，第四方面，本发明提供了一种计算机设备，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的数据处理方法。
在本方案中，将数据采集，装载和汇聚三个独立环节通过任务流有机统一起来，有效提高数据采集，装载和汇聚的效率及正确率。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种数据处理方法的流程示意图；
图2是本发明实施例提供的另一种数据处理方法的另一流程示意图；
图3是本发明实施例提供的一种数据处理装置的示意图；
图4是本发明实施例提供的一种可选的计算机设备的示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述绑定对象的绑定关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后绑定对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述终端，但这些终端不应限于这些术语。这些术语仅用来将终端彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一终端也可以被称为第二终端，类似地，第二终端也可以被称为第一终端。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1是根据本发明实施例提供的一种数据处理方法，该数据处理方法可以应用于数据处理装置。该数据处理装置可以包括：消息处理模块，调度模块和数据处理模块。
如图1所示，方法包括：
步骤101，接收数据源***发送的数据消息。
该数据消息携带用于存储数据的服务器的地址信息和数据信息。
其中，用于存储数据的服务器可以具体为PTF服务器，服务器的地址信息可以具体包括：服务器的IP地址和端口地址，用于访问服务器的用户名和密码，及用于存储数据的文件名及文件路径。数据信息可以具体包括：数据详细信息(如数据源信息，数据类型，数据内容等)，数据开始时间及数据结束时间。
在一个例子中，数据源***用于采集数据，将采集到的数据存储于服务器中，然后将用于存储数据的服务器的地址信息和数据的数据信息携带于数据消息中，把数据消息发送至数据处理装置，数据处理装置中的消息处理模块接收数据消息。
步骤102，根据数据信息确定该数据对应的任务流，并将该地址信息写入到任务流对应的调度队列。
在一个例子中，同一数据源的数据对应同一任务流。数据处理装置的调度模块可以根据数据信息中包括的数据详细信息确定出发送该数据的数据源，并将该数据源发送的所有数据分配于同一任务流。该调度模块还可以将地址信息转换为调度队列可识别的格式，并将转换格式后的地址信息写入到该数据分配到的任务流所对应的调度队列。基于这样的调度方式，可以同时建立多个任务流，以便同时处理多个数据源的数据，从而提高了数据处理效率。
步骤103，按照调度队列中地址信息的排列顺序，提取该数据的地址信息。
在一个例子中，数据处理装置的数据处理模块按照调度队列中地址信息的排列顺序，依次提取调度队列中的地址信息，当提取到该数据的地址信息后，执行下个步骤。
需要说明的是，如果同时存在多个调度队列，数据处理模块可以依次调取每个调度队列中的地址信息。
步骤104，根据地址信息从服务器下载该数据。
从步骤101中阐述可知，该数据存储于服务器，因此数据处理装置的数据处理模块，可以根据地址信息访问用于存储该数据的服务器，并从服务器中将该数据下载至本地。
步骤105，将下载的同一任务流的数据进行装载和汇聚。
数据处理装置的数据处理模块，在下载完同一任务流的数据后，将该同一任务流的数据进行装载和汇聚，完成整个数据处理过程。
通过利用本发明实施例提供的数据处理方法，将数据采集，装载和汇聚三个独立环节通过任务流有机统一起来，有效提高数据采集，装载和汇聚的效率及正确率。
图2为本发明的实施例提供的另一种数据处理方法的流程示意图。该数据处理方法可以应用于数据处理装置。该数据处理装置可以包括：消息处理模块，调度模块和数据处理模块。
如图2所示，本实施例的数据处理方法可以包括：
步骤201，接收数据源***发送的数据消息。
该数据消息携带用于指示是否为补采数据的标识，用于存储数据的服务器的地址信息和数据信息。
其中，用于存储数据的服务器可以具体为PTF服务器，服务器的地址信息可以具体包括：服务器的IP地址和端口地址，用于访问服务器的用户名和密码，及用于存储数据的文件名及文件路径。数据信息可以具体包括：数据详细信息(如数据源信息，数据类型，数据内容等)，数据开始时间及数据结束时间。
在一个例子中，数据源***用于采集数据，将采集到的数据存储于服务器中，然后将用于存储数据的服务器的地址信息和数据的数据信息携带于数据消息中，把数据消息发送至数据处理装置，数据处理装置中的消息处理模块接收数据消息。
在一个具体的例子中，该数据消息的格式如下：
Figure BDA0002413752450000071
步骤202，根据数据信息确定是否存在与该数据对应的任务流。
若不存在，执行步骤203和204；若存在，执行步骤204。
在一个例子中，同一数据源的数据对应同一任务流。数据处理装置的调度模块可以根据数据信息中包括的数据详细信息确定出发送该数据的数据源，并将该数据源发送的所有数据分配于同一任务流。基于这样的调度方式，可以同时建立多个任务流，以便同时处理多个数据源的数据，从而提高了数据处理效率。
步骤203，建立该数据对应的任务流，并将该地址信息写入到该任务流对应的调度队列。
调度模块在建立任务流时，可以根据预设的调度策略确定是否建立立即建立任务流。如，若当前任务流的数量超过预设阈值，则判断该数据是否为重要数据，如果是，则立即建立该数据对应的任务流，若不是，则等待有任务流结束之后，再建立该数据对应的任务流，以优化处理顺序，减轻处理的压力。
步骤204，将地址信息写入到该任务流对应的调度队列。
该调度模块还可以将地址信息转换为调度队列可识别的格式，并将转换格式后的地址信息写入到该数据分配到的任务流所对应的调度队列。
步骤205，按照调度队列中地址信息的排列顺序，提取该数据的地址信息。
在一个例子中，数据处理装置的数据处理模块按照调度队列中地址信息的排列顺序，依次提取调度队列中的地址信息，当提取到该数据的地址信息后，执行下个步骤。
需要说明的是，如果同时存在多个调度队列，数据处理模块可以依次调取每个调度队列中的地址信息。
步骤206，根据地址信息从服务器下载该数据。
从步骤201中阐述可知，该数据存储于服务器，因此数据处理装置的数据处理模块，可以根据地址信息访问用于存储该数据的服务器，并从服务器中将该数据下载智本地。
步骤207，确定该数据消息是否携带补采标识。
数据处理装置的数据处理模块还可以根据数据消息携带的用于指示是否为补采数据的标识确定该数据消息对应的数据是否为补采数据，从而执行相应步骤。在一个例子中，若用于指示是否为补采数据的标识为1，则认为数据消息携带补采标识，该数据消息对应的数据为补采数据，故执行步骤208-209；若用于指示是否为补采数据的标识为0，则认为数据消息未携带补采标识，该数据消息对应的数据为原始数据，故执行步骤209。
步骤208，查找已下载数据中数据信息与该数据中携带的数据信息相同的待替换数据，并将待替换数据删除。
由于该数据信息对应的数据为补采数据，因此消息处理模块需要将对补采数据对应的原始数据删除，以免出现处理错误。
步骤209，将下载的同一任务流的数据进行装载和汇聚。
数据处理装置的数据处理模块，在下载完同一任务流的数据后，将该同一任务流的数据进行装载和汇聚，完成整个数据处理过程。
通过利用本发明实施例提供的数据处理方法，将数据采集，装载和汇聚三个独立环节通过任务流有机统一起来，有效提高数据采集，装载和汇聚的效率及正确率。并且，在需要补采数据时，数据源***将需要补采的数据准备好后，通过发送携带补采标识的数据消息，以流触发后续流程，全程不需要人工参与处理，且补采数据涉及的所有业务流会根据相应的逻辑链进行处理，避免了人工处理可能存在遗漏的问题。同时数据消息中记录了需要处理的数据详细信息，整个流程只需要处理有问题的数据，减少了资源的消耗。
如图3所示，本发明实施例提供一种数据处理装置，本实施例的数据处理装置可以包括：消息处理模块301，调度模块302和数据处理模块303。
消息处理模块301，用于接收数据源***发送的数据消息，所述数据消息携带用于存储数据的服务器的地址信息和数据信息；所述数据源***将所述数据存储于所述服务器。
该数据消息携带用于存储数据的服务器的地址信息和数据信息。
其中，用于存储数据的服务器可以具体为PTF服务器，服务器的地址信息可以具体包括：服务器的IP地址和端口地址，用于访问服务器的用户名和密码，及用于存储数据的文件名及文件路径。数据信息可以具体包括：数据详细信息(如数据源信息，数据类型，数据内容等)，数据开始时间及数据结束时间。
在一个例子中，数据源***用于采集数据，将采集到的数据存储于服务器中，然后将用于存储数据的服务器的地址信息和数据的数据信息携带于数据消息中，把数据消息发送至数据处理装置，数据处理装置中的消息处理模块301接收数据消息。
调度模块302，用于根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列。
在一个例子中，同一数据源的数据对应同一任务流。数据处理装置的调度模块302可以根据数据信息中包括的数据详细信息确定出发送该数据的数据源，并将该数据源发送的所有数据分配于同一任务流。该调度模块302还可以将地址信息转换为调度队列可识别的格式，并将转换格式后的地址信息写入到该数据分配到的任务流所对应的调度队列。基于这样的调度方式，可以同时建立多个任务流，以便同时处理多个数据源的数据，从而提高了数据处理效率。
数据处理模块303，按照调度队列中地址信息的排列顺序，提取所述地址信息，根据所述地址信息从所述服务器下载所述数据。
在一个例子中，数据处理装置的数据处理模块303按照调度队列中地址信息的排列顺序，依次提取调度队列中的地址信息，当提取到该数据的地址信息后，根据所述地址信息从所述服务器下载该数据。
需要说明的是，如果同时存在多个调度队列，数据处理模块303可以依次调取每个调度队列中的地址信息。
数据处理模块303，还用于将下载的同一任务流的数据进行装载和汇聚。
数据处理装置的数据处理模块303，在下载完同一任务流的数据后，将该同一任务流的数据进行装载和汇聚，完成整个数据处理过程。
优选地，数据处理模块303还用于：确定所述数据消息是否携带补采标识；若所述数据消息携带补采标识，则在从服务器下载所述数据之后，查找已下载数据中数据信息与所述数据中携带的数据信息相同的待替换数据；将所述待替换数据删除。
优选地，调度模块302用于：根据所述数据信息确定是否存在与所述数据对应的任务流；若不存在，建立所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；若存在，将所述地址信息写入到所述任务流对应的调度队列。
通过利用本发明实施例提供的一种数据处理装置，将数据采集，装载和汇聚三个独立环节通过任务流有机统一起来，有效提高数据采集，装载和汇聚的效率及正确率。并且，在需要补采数据时，数据源***将需要补采的数据准备好后，通过发送携带补采标识的数据消息，以流触发后续流程，全程不需要人工参与处理，且补采数据涉及的所有业务流会根据相应的逻辑链进行处理，避免了人工处理可能存在遗漏的问题。同时数据消息中记录了需要处理的数据详细信息，整个流程只需要处理有问题的数据，减少了资源的消耗
本发明实施例提供了一种计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，其中，计算机指令使计算机执行以下步骤：
接收数据源***发送的数据消息，所述数据消息携带用于存储数据的服务器的地址信息和数据信息；所述数据源***将所述数据存储于所述服务器；根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；按照调度队列中地址信息的排列顺序，提取所述地址信息；
根据所述地址信息从所述服务器下载所述数据；将下载的同一任务流的数据进行装载和汇聚。
可选地，计算机指令使计算机还执行以下步骤：
确定所述数据消息是否携带补采标识；若所述数据消息携带补采标识，则在从服务器下载所述数据之后，查找已下载数据中数据信息与所述数据中携带的数据信息相同的待替换数据；将所述待替换数据删除。
可选地，所述根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列，包括：
根据所述数据信息确定是否存在与所述数据对应的任务流；若不存在，建立所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；若存在，将所述地址信息写入到所述任务流对应的调度队列。
可选地，所述地址信息包括：所述服务器的IP地址和端口地址，用于访问所述服务器的用户名和密码，及用于存储所述数据的文件名及文件路径。
可选地，所述数据信息包括：数据详细信息，数据开始时间及数据结束时间。
图4是本发明实施例提供的一种计算机设备400的示意图，如图4所示，该实施例的计算机设备400包括：至少一个处理器410及通信接口420；以及与处理器410通信连接的至少一个存储器430，其中，存储器430存储有可被处理器410执行的程序指令，处理器410调用程序指令能够执行上述的数据处理方法。为避免重复，此处不一一赘述。
计算机设备400可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算机设备。计算机设备可包括，但不仅限于，处理器410、通讯接口420、存储器430。本领域技术人员可以理解，图4仅仅是计算机设备400的示例，并不构成对计算机设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括通信总线440等。
所称处理器410可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器430可以是计算机设备400的内部存储单元，例如计算机设备400的硬盘或内存。存储器430也可以是计算机设备400的外部存储设备，例如计算机设备400上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器330还可以既包括计算机设备300的内部存储单元也包括外部存储设备。存储器430用于存储程序指令以及计算机设备所需的其他程序和数据。存储器430还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法应用于数据处理装置，所述方法包括：
接收数据源***发送的数据消息，所述数据消息携带用于存储数据的服务器的地址信息和数据信息；所述数据源***将所述数据存储于所述服务器；
根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；
按照调度队列中地址信息的排列顺序，提取所述地址信息；
根据所述地址信息从所述服务器下载所述数据；
将下载的同一任务流的数据进行装载和汇聚。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述数据消息是否携带补采标识；
若所述数据消息携带补采标识，则在从服务器下载所述数据之后，查找已下载数据中数据信息与所述数据中携带的数据信息相同的待替换数据；
将所述待替换数据删除。
3.根据权利要求1所述的方法，其特征在于，所述根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列，包括：
根据所述数据信息确定是否存在与所述数据对应的任务流；
若不存在，建立所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；
若存在，将所述地址信息写入到所述任务流对应的调度队列。
4.根据权利要求1所述的方法，其特征在于，所述地址信息包括：所述服务器的IP地址和端口地址，用于访问所述服务器的用户名和密码，及用于存储所述数据的文件名及文件路径。
5.根据权利要求1所述的方法，其特征在于，所述数据信息包括：数据详细信息，数据开始时间及数据结束时间。
6.一种数据处理装置，其特征在于，所述装置包括：
消息处理模块，用于接收数据源***发送的数据消息，所述数据消息携带用于存储数据的服务器的地址信息和数据信息；所述数据源***将所述数据存储于所述服务器；
调度模块，用于根据所述数据信息确定所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；
数据处理模块，按照调度队列中地址信息的排列顺序，提取所述地址信息，根据所述地址信息从所述服务器下载所述数据；
所述数据处理模块，还用于将下载的同一任务流的数据进行装载和汇聚。
7.根据权利要求6所述的装置，其特征在于，所述数据处理模块还用于：
确定所述数据消息是否携带补采标识；
若所述数据消息携带补采标识，则在从服务器下载所述数据之后，查找已下载数据中数据信息与所述数据中携带的数据信息相同的待替换数据；
将所述待替换数据删除。
8.根据权利要求6所述的装置，其特征在于，所述调度模块具体用于：
根据所述数据信息确定是否存在与所述数据对应的任务流；
若不存在，建立所述数据对应的任务流，并将所述地址信息写入到所述任务流对应的调度队列；
若存在，将所述地址信息写入到所述任务流对应的调度队列。
9.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，其特征在于，所述计算机指令使所述计算机执行权利要求1～5任意一项所述的数据处理方法。
10.一种计算机设备，其特征在于，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1～5任一项所述的数据处理方法。
CN202010184728.XA 2020-03-17 2020-03-17 数据处理方法及装置 Pending CN113411365A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010184728.XA CN113411365A (zh) 2020-03-17 2020-03-17 数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010184728.XA CN113411365A (zh) 2020-03-17 2020-03-17 数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN113411365A true CN113411365A (zh) 2021-09-17

Family

ID=77677067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010184728.XA Pending CN113411365A (zh) 2020-03-17 2020-03-17 数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN113411365A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004070615A (ja) * 2002-08-06 2004-03-04 Digital Electronics Corp データ収集システム、データ収集方法、データ収集のためのプログラムおよびそのプログラムが記録された記録媒体
US20080141250A1 (en) * 2006-10-30 2008-06-12 Karlheinz Dorn Distributed taskflow architecture
CN102915254A (zh) * 2011-08-02 2013-02-06 中兴通讯股份有限公司 任务管理方法及装置
CN104780017A (zh) * 2014-01-10 2015-07-15 ***通信集团公司 一种数据处理方法及装置
WO2018107780A1 (zh) * 2016-12-16 2018-06-21 威创集团股份有限公司 Kvm***的任务流程控制方法和***
CN108958881A (zh) * 2018-05-31 2018-12-07 平安科技（深圳）有限公司 数据处理方法、装置及计算机可读存储介质
CN110231983A (zh) * 2019-05-13 2019-09-13 北京百度网讯科技有限公司 数据并发处理方法、装置及***、计算机设备及可读介质
CN110650180A (zh) * 2019-08-23 2020-01-03 腾讯科技（深圳）有限公司 一种道路数据采集方法、***、终端及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004070615A (ja) * 2002-08-06 2004-03-04 Digital Electronics Corp データ収集システム、データ収集方法、データ収集のためのプログラムおよびそのプログラムが記録された記録媒体
US20080141250A1 (en) * 2006-10-30 2008-06-12 Karlheinz Dorn Distributed taskflow architecture
CN102915254A (zh) * 2011-08-02 2013-02-06 中兴通讯股份有限公司 任务管理方法及装置
CN104780017A (zh) * 2014-01-10 2015-07-15 ***通信集团公司 一种数据处理方法及装置
WO2018107780A1 (zh) * 2016-12-16 2018-06-21 威创集团股份有限公司 Kvm***的任务流程控制方法和***
CN108958881A (zh) * 2018-05-31 2018-12-07 平安科技（深圳）有限公司 数据处理方法、装置及计算机可读存储介质
CN110231983A (zh) * 2019-05-13 2019-09-13 北京百度网讯科技有限公司 数据并发处理方法、装置及***、计算机设备及可读介质
CN110650180A (zh) * 2019-08-23 2020-01-03 腾讯科技（深圳）有限公司 一种道路数据采集方法、***、终端及存储介质

Similar Documents

Publication Publication Date Title
CN104077328B (zh) MapReduce分布式***的作业诊断方法及设备
CN108255701B (zh) 场景测试方法及移动终端
CN107146623B (zh) 基于人工智能的语音识别方法、装置和***
CN115567589B (zh) Json数据的压缩传输方法、装置、设备及存储介质
CN116755844B (zh) 一种仿真引擎的数据处理方法、装置、设备及存储介质
US20200204688A1 (en) Picture book sharing method and apparatus and system using the same
CN111273891A (zh) 基于规则引擎的业务决策方法、装置及终端设备
CN114760369A (zh) 一种协议元数据提取方法、装置、设备及存储介质
CN113254767A (zh) 大数据搜索方法、装置、计算机设备及存储介质
CN105550179A (zh) 一种网页收藏方法和浏览器插件
CN111966647A (zh) 一种小文件的云存储方法、装置、服务器及存储介质
CN113204695B (zh) 网站识别方法和装置
CN106897052B (zh) Apk文件压缩方法及装置
CN109993286B (zh) 稀疏神经网络的计算方法及相关产品
CN110380902B (zh) 拓扑关系生成方法、装置、电子设备及存储介质
CN117093619A (zh) 一种规则引擎处理方法、装置、电子设备及存储介质
CN116775575A (zh) 一种文件合并方法、装置、电子设备及存储介质
CN113411365A (zh) 数据处理方法及装置
CN113779021B (zh) 数据处理方法、装置、计算机***及可读存储介质
CN114218175A (zh) 一种资源跨平台共享方法、装置、终端设备及存储介质
CN114374745A (zh) 一种协议格式的处理方法及***
CN111782479A (zh) 日志处理方法、装置、电子设备及计算机可读存储介质
CN103970605A (zh) 一种基于低性能终端的数据分析方法及装置
CN107888445B (zh) 性能状态分析的方法、装置、计算机设备及存储介质
CN112214669A (zh) 家装材料甲醛释放数据处理方法、装置及监控服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210917