CN111046077A - 数据的获取方法及装置、存储介质、终端 - Google Patents
数据的获取方法及装置、存储介质、终端 Download PDFInfo
- Publication number
- CN111046077A CN111046077A CN201911040235.2A CN201911040235A CN111046077A CN 111046077 A CN111046077 A CN 111046077A CN 201911040235 A CN201911040235 A CN 201911040235A CN 111046077 A CN111046077 A CN 111046077A
- Authority
- CN
- China
- Prior art keywords
- data
- time period
- preset
- matched
- data acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2477—Temporal data queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Fuzzy Systems (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据的获取方法及装置、存储介质、终端，涉及数据处理技术领域，主要目的在于能够通过批处理与流处理两种计算方式，分别处理和存储历史数据和实时数据，在获取数据时，可以直接对应获取处理结果，以减少重复计算量，从而提高数据获取效率，降低数据获取成本，节约计算资源。所述方法包括：识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与获取时间段匹配的数据。本发明适用于数据的获取。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种数据的获取方法及装置、存储介质、终端。
背景技术
随着互联网信息技术的发展，业务数据在日常业务的拓展以及业务维护中的作用与日俱增，而使用核心指标数据来进行业务指导并驱动业务发展，在互联网公司日常业务运营的过程中起到了至关重要的作用。
目前，现有的数据的获取方法需要***后台将一段时间内的明细数据全部存储下来，用户查询任意时间段的数据时，通过将所有存储的明细数据进行汇总，以得到数据。然而，由于用户每次获取数据时，都需要重新对所有数据进行汇总计算，提高了数据的获取成本，降低了数据的获取效率，且极大地浪费了计算资源。
发明内容
有鉴于此，本发明提供一种数据的获取方法及装置、存储介质、终端，主要目的在于能够通过批处理与流处理两种计算方式，分别处理和存储历史数据和实时数据，在获取数据时，可以直接对应获取处理结果，以减少重复计算量，从而提高数据的获取效率，降低数据获取成本，节约计算资源。
依据本发明一个方面，提供了一种数据的获取方法，包括：
识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；
若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；
若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。
可选地，所述识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配，包括：
提取接收的数据获取请求中携带的数据获取时间段；
将所述数据获取时间段与预设数据节点时长进行对比，判断所述数据时间段与预设数据节点时长是否匹配。
可选地，所述方法还包括：
根据预设时间间隔同步得到历史数据，对不同业务指标进行批计算处理，并将处理结果进行存储。
进一步地，所述将处理结果进行存储，包括：
以统计时间批次为标识将处理结果存储至第一预置存储位置的不同分区中。
进一步地，所述识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配之前，所述方法还包括：
根据实时同步得到的实时数据，以同步时间批次为标识进行流计算处理，并将处理结果存储至第二预置存储位置中。
进一步地，所述从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据，包括：
按照所述统计时间批次为标识从所述第一预置存储位置中获取与所述数据获取时间段匹配的数据；
所述从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据，包括：
按照所述同步时间批次为标识从所述第二预置存储位置中获取与所述数据获取时间段匹配的数据。
进一步地，所述方法还包括：
分别向业务数据库发送同步历史数据请求以及同步实时数据请求，以使按照从所述业务数据库中获取到的历史数据及实时数据进行数据更新。
依据本发明另一个方面，提供了一种数据的获取装置，包括：
识别单元，用于识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；
第一获取单元，用于若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；
第二获取单元，用于若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。
进一步地，所述识别单元包括：
提取模块，用于提取接收的数据获取请求中携带的数据获取时间段；
对比模块，用于将所述数据获取时间段与预设数据节点时长进行对比，判断所述数据时间段与预设数据节点时长是否匹配。
可选地，所述装置还包括：
第一处理单元，用于根据预设时间间隔同步得到历史数据，对不同业务指标进行批计算处理，并将处理结果进行存储。
进一步地，所述第一处理单元，具体用于以统计时间批次为标识将处理结果存储至第一预置存储位置的不同分区中。
可选地，所述装置还包括：
第二处理单元，用于根据实时同步得到的实时数据，以同步时间批次为标识进行流计算处理，并将处理结果存储至第二预置存储位置中。
进一步地，所述第一获取单元，具体用于按照所述统计时间批次为标识从所述第一预置存储位置中获取与所述数据获取时间段匹配的数据；
进一步地，所述第二获取单元，具体用于按照所述同步时间批次为标识从所述第二预置存储位置中获取与所述数据获取时间段匹配的数据。
可选地，所述装置还包括：
发送单元，用于分别向业务数据库发送同步历史数据请求以及同步实时数据请求，以使按照从所述业务数据库中获取到的历史数据及实时数据进行数据更新。
根据本发明的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述数据的获取方法对应的操作。
根据本发明的再一方面，提供了一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述数据的获取方法方法对应的操作。
借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：
本发明提供一种数据的获取方法及装置、存储介质、终端，与现有技术***后台将一段时间内的明细数据全部存储下来，用户查询任意时间段的数据时，通过将所有存储的明细数据进行汇总，以得到数据相比，本发明通过识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。能够通过批处理与流处理两种计算方式，分别处理和存储历史数据和实时数据，在获取数据时，可以直接对应获取处理结果，以减少重复计算量，从而提高数据的获取效率，降低数据获取成本，节约计算资源。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种数据的获取方法流程图；
图2示出了本发明实施例提供的另一种数据的获取方法流程图；
图3示出了本发明实施例提供的一种数据获取模块结构图；
图4示出了本发明实施例提供的一种数据的获取装置组成框图；
图5示出了本发明实施例提供的另一种数据的获取装置组成框图；
图6示出了本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如背景技术所述，目前，现有的数据的获取方法需要***后台将一段时间内的明细数据全部存储下来，用户查询任意时间段的数据时，通过将所有存储的明细数据进行汇总，以得到数据。然而，由于用户每次获取数据时，都需要重新对所有数据进行汇总计算，提高了数据的处理成本，降低了数据的处理效率，且极大地浪费了计算资源。
为了解决上述问题，本发明实施例提供了一种数据的获取方法，如图1所示，所述方法包括：
101、识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配。
其中，所述数据获取请求可以为前端向服务端发送的，所述数据可以为业务指标数据，具体可以包括订单笔数，客流量等。接收所述数据获取请求后，可以提取所述数据获取请求中携带的数据获取时间段，将所述数据获取时间段与预设的数据节点时长进行比较，所述数据获取时间段可以为需要获取的数据所在的时间区间，如所述时间段可以为9月1日，或者9月1日07:00至15：00，所述预设数据节点时长可以为与当前***时间的间隔时长，可以根据业务需求设置，如具体可以设置为距离当前***时间2日内、或者距离当前***时间12小时内等。若所述数据获取时间段在所述预设数据节点时长范围内，则可以确定所述数据获取时间段与所述预设数据节点时长匹配。
102、若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据。
其中，所述批计算处理可以为在预设的时间间隔，将历史数据按照预设的计算规则进行处理，所述处理结果可以存储在第一预置存储位置，所述第一预置存储位置可以包括数据列表或者其它指定的数据结构。例如，在9月1日时，可以将8月31日的所有订单数据进行加和处理，得到8月31日的订单总量，并将上述订单总量数据存储在第一预置存储位置。具体地，若所述数据获取时间段与所述预设数据节点时长不匹配，则可以根据对应关系从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据，所述第一预置存储位置中可以存储有所述数据获取时间段与所述数据之间的对应关系，且可以存储有不同时间段统计的数据。
103、若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。
其中，所述流计算处理可以为接收到一个实时数据时，将所述实时数据按照预设的计算规则进行处理，所述处理结果可以存储在第二预置存储位置，所述第二预置存储位置可以包括数据列表或者其它指定的数据结构。例如，在9月1日时，每接收一个新的订单数据，可以将9月1日接收的所有订单数据进行加和处理，得到9月1日的订单总量数据，并将上述订单总量数据存储在第二预置存储位置。具体地，若所述数据获取时间段与所述预设数据节点时长匹配，则可以根据对应关系在所述第二数据列表中查找与所述数据获取时间段匹配的数据，所述第二数据列表中可以存储有不同时间段实时同步的数据。
本发明提供一种数据的获取方法，本发明通过识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。能够通过批处理与流处理两种计算方式，分别处理和存储历史数据和实时数据，在获取数据时，可以直接对应获取处理结果，以减少重复计算量，从而提高数据的获取效率，降低数据获取成本，节约计算资源。
本发明实施例提供了另一种数据的获取方法，如图2所示，该方法包括：
201a、根据预设时间间隔同步得到历史数据，对不同业务指标进行批计算处理，并将处理结果进行存储。
对于本发明实施例，对业务指标统计的执行主体可以为批计算引擎，具体可以包括离线ETL技术，可以用于根据同步的历史数据，对不同业务指标进行统计，并将统计结果存储至所述所述第一预置存储位置。所述预设时间间隔可以设置为每日同步一次，或者每12小时同步一次等，所述预设时间间隔内同步的数据可以确定为历史数据；所述业务指标可以为根据不同业务指标的计算算法对所述历史数据进行处理所得到的数据，具体可以包括订单笔数，客流量等；所述第一预置存储位置具体可以为批次分区表。具体地，根据预设的时间间隔向业务数据库同步数据，利用不同业务指标的计算算法对所述历史数据进行处理，将处理结果存储至所述所述第一预置存储位置。
对于本发明实施例，为了进一步限定及扩展，所述将统计结果存储至所述所述第一预置存储位置包括：以统计时间批次为标识将处理结果存储至第一预置存储位置的不同分区中。
对于本发明实施例，为了便于在所述所述第一预置存储位置中查找对应的数据，以统计时间批次为标识将统计结果存储至所述第一预置存储位置的不同分区中。其中，所述所述第一预置存储位置可以为批次分区表，以所述列表中数据的统计时间批次为标识进行分区存储。在进行数据查找时，可以根据所述数据获取时间段在所述所述第一预置存储位置中查找对应的时间批次标识，以快速获取数据。
例如，根据2019年9月1日的历史数据进行统计后，得到2019年9月1日的订单笔数，则可以将所述订单笔数存储在批次分区表中标识为20190901的分区，在查找数据时，可以根据所述数据获取时间段2019年9月1日，在所述批次分区表中对应查找时间批次标识20190901，进而查找对应的数据。
对于本发明实施例，与步骤201a并列的步骤201b：根据实时同步得到的实时数据，以同步时间批次为标识更新至所述第二预置存储位置。
对于本发明实施例，同步更新的执行主体可以为流计算引擎，可以用于同步实时数据，并将所述实时数据更新至所述所述第二预置存储位置。具体地，向业务数据库实时同步数据，所述数据可以确定为实时数据，将所述实时数据存储在所述第二预置存储位置中，并以同步时间批次作为标识。在进行数据查找时，可以根据所述数据获取时间段在所述所述第二预置存储位置中查找对应的同步时间批次标识，以快速获取数据。所述所述第二预置存储位置可以为时间索引表，并可以将所述同步时间批次作为所述时间索引表的索引。
202、识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配。
本步骤与图1所示的步骤101方法相同，在此不再赘述。
对于本发明实施例，所述步骤201具体可以包括：提取接收的数据获取请求中携带的数据获取时间段；将所述数据获取时间段与预设数据节点时长进行对比，判断所述数据时间段与预设数据节点时长是否匹配。
例如，当前***时间为2019年9月3日，所述数据获取时间段为2019年9月1日，所述预设数据节点时长为距离当前***时间2日内，则将所述数据获取时间段与所述预设数据节点时长对比，可以得到所述数据获取时间段与所述预设数据节点不匹配；若所述数据获取时间段为2019年9月2日，则可以得到所述数据获取时间段与所述预设数据节点匹配。
203a、若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据。
其中，所述第一预置存储位置中存储不同时间段统计的数据可以为不同时间段统计的业务指标，且每个时间段内仅储存有本时间段内经过处理后的一个业务指标数据。例如，所述数据列表中20190901分区内，仅保存2019年9月1日的一个业务指标数据，需要获取数据时可以直接提取所述数据进行反馈。这样可以避免每次获取数据时都需要重新计算所述业务指标数据，可以提高数据的获取效率，节约计算资源。
203b、若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。
例如，如图3所示，示出了一种数据的获取模块结构图，业务数据库可以将实时数据同步至流计算引擎，所述流计算引擎经过数据处理后，可以将所述数据存储在实时索引表中。在接收前端发送的数据获取请求后，可以根据所述数据获取时间段与数据节点时长的匹配结果，在所述实时索引表中查找对应数据，并利用所述数据响应所述数据获取请求。
对于本发明实施例，为了提高在所述第一预置存储位置和所述第二预置存储位置中查找数据的效率，按照所述统计时间批次为标识在所述第二预置存储位置中查找与所述数据获取时间段匹配的数据，并进行反馈；按照所述同步时间批次为标识在所述第二预置存储位置中查找与所述数据获取时间段匹配的数据，并进行反馈。
例如，所述数据获取时间段为2019年9月1日，则可以根据所述数据获取时间段在所述第二预置存储位置中对应查找统计时间批次标识为20190901的存储分区，提取所述分区中的数据，将所述数据进行反馈。
需要说明的是，所述按照所述同步时间批次为标识在所述第二预置存储位置中查找与所述数据获取时间段匹配的数据之后，可以将所述数据按照不同业务指标的计算方法进行处理，将所述处理结果进行反馈。
例如，当前***时间为2019年9月1日，预设时间节点时长为2日，若需获取2019年9月1日的订单笔数，则根据所述同步时间批次在所述第二预置存储位置中查找同步时间批次标识为20190901的存储分区，提取所述分区中的实时数据，并根据订单笔数的计算算法，将上述实时数据进行汇总，得到并反馈所述2019年9月1日的订单笔数。
进一步地，为了准确获取到业务指标数据，本发明实施例还可以包括：分别向业务数据库发送同步历史数据请求以及同步实时数据请求，以使按照从所述业务数据库中获取到的历史数据及实时数据更新所述所述第一预置存储位置及所述第二预置存储位置。
具体地，可以根据预设时间间隔，向所述业务数据库发送同步历史数据请求，以获取历史数据；向所述数据库发送同步实施数据请求，以获取实时数据；根据不同业务指标的计算算法对所述历史数据进行处理，利用所述处理结果更新所述所述第一预置存储位置；利用所述实时数据更新所述第一预置存储位置。
本发明提供另一种数据的获取方法，本发明通过将识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。能够通过批处理与流处理两种计算方式，分别处理和存储历史数据和实时数据，在获取数据时，可以直接对应获取处理结果，以减少重复计算量，从而提高数据的获取效率，降低数据获取成本，节约计算资源。
进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种数据的获取装置，如图4所示，该装置包括：识别单元31、第一获取单元32、第二获取单元33。
识别单元31，可以用于识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；
第一获取单元32，可以用于若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；
第二获取单元33，可以用于若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。
本发明提供一种数据的获取装置，与现有技术***后台将一段时间内的明细数据全部存储下来，用户查询任意时间段的数据时，通过将所有存储的明细数据进行汇总，以得到数据相比，本发明通过识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。能够通过批处理与流处理两种计算方式，分别处理和存储历史数据和实时数据，在获取数据时，可以直接对应获取处理结果，以减少重复计算量，从而提高数据的获取效率，降低数据获取成本，节约计算资源。
进一步的，作为对上述图2所示方法的实现，本发明实施例提供了另一种数据的获取装置，如图5所示，该装置包括：识别单元41、第一获取单元42、第二获取单元43、第一处理单元44、第二处理单元45、发送单元46。
识别单元41，可以用于识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；
第一获取单元42，可以用于若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；
第二获取单元43，可以用于若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。
进一步地，所述识别单元41包括：
提取模块411，可以用于提取接收的数据获取请求中携带的数据获取时间段；
对比模块412，可以用于将所述数据获取时间段与预设数据节点时长进行对比，判断所述数据时间段与预设数据节点时长是否匹配。
进一步地，所述装置还包括：
第一处理单元44，可以用于根据预设时间间隔同步得到历史数据，对不同业务指标进行批计算处理，并将处理结果进行存储。
进一步地，所述第一处理单元44，具体用于以统计时间批次为标识将处理结果存储至第一预置存储位置的不同分区中。
进一步地，所述装置还包括：
第二处理单元45，可以用于根据实时同步得到的实时数据，以同步时间批次为标识进行流计算处理，并将处理结果存储至第二预置存储位置中。
对于本发明实施例，所述第一获取单元42，具体可以用于按照所述统计时间批次为标识从所述第一预置存储位置中获取与所述数据获取时间段匹配的数据；
对于本发明实施例，所述第二获取单元43，具体可以用于按照所述同步时间批次为标识从所述第二预置存储位置中获取与所述数据获取时间段匹配的数据。
进一步地，所述装置还包括：
发送单元46，可以用于分别向业务数据库发送同步历史数据请求以及同步实时数据请求，以使按照从所述业务数据库中获取到的历史数据及实时数据进行数据更新。
本发明提供另一种数据的获取装置，本发明实施例通过识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。能够通过批处理与流处理两种计算方式，分别处理和存储历史数据和实时数据，在获取数据时，可以直接对应获取处理结果，以减少重复计算量，从而提高数据的获取效率，降低数据获取成本，节约计算资源。
根据本发明一个实施例提供了一种存储介质，所述存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据的获取方法。
图6示出了根据本发明一个实施例提供的一种终端的结构示意图，本发明具体实施例并不对终端的具体实现做限定。
如图6所示，该终端可以包括：处理器(processor)502、通信接口(CommunicationsInterface)504、存储器(memory)506、以及通信总线508。
其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述实体信息标记的处理方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。终端包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作：
识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (10)
1.一种数据的获取方法，其特征在于，包括：
识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；
若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；
若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。
2.根据权利要求1的方法，其特征在于，所述识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配，包括：
提取接收的数据获取请求中携带的数据获取时间段；
将所述数据获取时间段与预设数据节点时长进行对比，判断所述数据时间段与预设数据节点时长是否匹配。
3.根据权利要求1的方法，其特征在于，所述识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配之前，所述方法还包括：
根据预设时间间隔同步得到历史数据，对不同业务指标进行批计算处理，并将处理结果进行存储。
4.根据权利要求3的方法，其特征在于，所述将处理结果进行存储，包括：
以统计时间批次为标识将处理结果存储至第一预置存储位置的不同分区中。
5.根据权利要求4的方法，其特征在于，所述识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配之前，所述方法还包括：
根据实时同步得到的实时数据，以同步时间批次为标识进行流计算处理，并将处理结果存储至第二预置存储位置中。
6.根据权利要求5的方法，其特征在于，所述从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据，包括：
按照所述统计时间批次为标识从所述第一预置存储位置中获取与所述数据获取时间段匹配的数据；
所述从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据，包括：
按照所述同步时间批次为标识从所述第二预置存储位置中获取与所述数据获取时间段匹配的数据。
7.根据权利要求1-6任一项的方法，其特征在于，所述方法还包括：
分别向业务数据库发送同步历史数据请求以及同步实时数据请求，以使按照从所述业务数据库中获取到的历史数据及实时数据进行数据更新。
8.一种数据的处理装置，其特征在于，包括：
识别单元，用于识别接收的数据获取请求中携带的数据获取时间段与预设数据节点时长是否匹配；
第一获取单元，用于若所述数据获取时间段与所述预设数据节点时长不匹配，则从经过批计算处理得到的数据中获取与所述获取时间段匹配的数据；
第二获取单元，用于若所述数据获取时间段与所述预设数据节点时长匹配，则从经过流计算处理得到的数据中获取与所述获取时间段匹配的数据。
9.一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求1-7中任一项所述的数据的获取方法对应的操作。
10.一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的数据的获取方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911040235.2A CN111046077A (zh) | 2019-10-29 | 2019-10-29 | 数据的获取方法及装置、存储介质、终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911040235.2A CN111046077A (zh) | 2019-10-29 | 2019-10-29 | 数据的获取方法及装置、存储介质、终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111046077A true CN111046077A (zh) | 2020-04-21 |
Family
ID=70231805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911040235.2A Pending CN111046077A (zh) | 2019-10-29 | 2019-10-29 | 数据的获取方法及装置、存储介质、终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111046077A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256734A (zh) * | 2020-10-20 | 2021-01-22 | 中国农业银行股份有限公司 | 一种大数据处理方法、装置、***、设备和存储介质 |
| CN113312367A (zh) * | 2021-06-25 | 2021-08-27 | 上海致景信息科技有限公司 | 产量效率的重算方法、装置、存储介质及处理器 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761309A (zh) * | 2014-01-23 | 2014-04-30 | ***（深圳）有限公司 | 一种运营数据处理方法及*** |
| CN106528717A (zh) * | 2016-10-26 | 2017-03-22 | 中国电子产品可靠性与环境试验研究所 | 数据处理方法和*** |
| WO2017166713A1 (zh) * | 2016-03-30 | 2017-10-05 | 乐视控股（北京）有限公司 | 服务请求处理方法及装置 |
| CN108629029A (zh) * | 2018-05-09 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 一种应用于数据仓库的数据处理方法和装置 |
| CN109597842A (zh) * | 2018-12-14 | 2019-04-09 | 深圳前海微众银行股份有限公司 | 数据实时计算方法、装置、设备及计算机可读存储介质 |
| CN109829009A (zh) * | 2018-12-28 | 2019-05-31 | 北京邮电大学 | 可配置的异构数据实时同步并可视化的***及方法 |
| CN109951463A (zh) * | 2019-03-07 | 2019-06-28 | 成都古河云科技有限公司 | 一种基于流计算和新型列式存储的物联网大数据分析方法 |
-
2019
- 2019-10-29 CN CN201911040235.2A patent/CN111046077A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761309A (zh) * | 2014-01-23 | 2014-04-30 | ***（深圳）有限公司 | 一种运营数据处理方法及*** |
| WO2017166713A1 (zh) * | 2016-03-30 | 2017-10-05 | 乐视控股（北京）有限公司 | 服务请求处理方法及装置 |
| CN106528717A (zh) * | 2016-10-26 | 2017-03-22 | 中国电子产品可靠性与环境试验研究所 | 数据处理方法和*** |
| CN108629029A (zh) * | 2018-05-09 | 2018-10-09 | 北京京东尚科信息技术有限公司 | 一种应用于数据仓库的数据处理方法和装置 |
| CN109597842A (zh) * | 2018-12-14 | 2019-04-09 | 深圳前海微众银行股份有限公司 | 数据实时计算方法、装置、设备及计算机可读存储介质 |
| CN109829009A (zh) * | 2018-12-28 | 2019-05-31 | 北京邮电大学 | 可配置的异构数据实时同步并可视化的***及方法 |
| CN109951463A (zh) * | 2019-03-07 | 2019-06-28 | 成都古河云科技有限公司 | 一种基于流计算和新型列式存储的物联网大数据分析方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112256734A (zh) * | 2020-10-20 | 2021-01-22 | 中国农业银行股份有限公司 | 一种大数据处理方法、装置、***、设备和存储介质 |
| CN113312367A (zh) * | 2021-06-25 | 2021-08-27 | 上海致景信息科技有限公司 | 产量效率的重算方法、装置、存储介质及处理器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110321387B (zh) | 数据同步方法、设备及终端设备 | |
| CN111459985B (zh) | 标识信息处理方法及装置 | |
| CN111586126A (zh) | 小程序预下载方法、装置、设备及存储介质 | |
| CN108762735B (zh) | 工作流引擎的管理方法及装置、存储介质、终端 | |
| CN110012049B (zh) | 信息推送方法. ***. 服务器及计算机可读存储介质 | |
| CN111046077A (zh) | 数据的获取方法及装置、存储介质、终端 | |
| CN108733790B (zh) | 数据排序方法、装置、服务器和存储介质 | |
| CN114647698A (zh) | 数据同步方法、装置及计算机存储介质 | |
| CN109325056A (zh) | 一种大数据处理方法及装置、通信设备 | |
| CN110990350B (zh) | 日志的解析方法及装置 | |
| CN110460668B (zh) | 一种文件上传方法、装置、计算机设备和存储介质 | |
| CN114398520A (zh) | 数据检索方法、***、装置、电子设备及存储介质 | |
| CN111475532A (zh) | 数据处理的优化方法及装置、存储介质、终端 | |
| CN114791927A (zh) | 一种数据分析方法和装置 | |
| CN110807035A (zh) | 流水号生成方法、装置、设备及存储介质 | |
| CN110515979B (zh) | 数据查询方法、装置、设备和存储介质 | |
| CN115658750A (zh) | 业务数据处理方法、装置、电子设备及存储介质 | |
| CN115658360A (zh) | 一种基于日志数据的云***故障诊断方法 | |
| CN110895538A (zh) | 数据检索方法、装置、存储介质和处理器 | |
| CN110363515B (zh) | 权益卡账户信息查询方法、***、服务器及可读存储介质 | |
| CN114063931A (zh) | 一种基于大数据的数据存储方法 | |
| CN109086279B (zh) | 报表缓存方法和装置 | |
| CN109783580A (zh) | 数据同步方法及装置 | |
| CN114443410A (zh) | 一种业务日志处理方法、***及物联网*** | |
| CN106469086B (zh) | 事件处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |