CN106446170A - 数据查询方法及装置 - Google Patents

数据查询方法及装置 Download PDF

Info

Publication number
CN106446170A
CN106446170A CN201610852042.7A CN201610852042A CN106446170A CN 106446170 A CN106446170 A CN 106446170A CN 201610852042 A CN201610852042 A CN 201610852042A CN 106446170 A CN106446170 A CN 106446170A
Authority
CN
China
Prior art keywords
data
query
offline
statistical
inquiry request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610852042.7A
Other languages
English (en)
Inventor
彭小春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nubia Technology Co Ltd
Original Assignee
Nubia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nubia Technology Co Ltd filed Critical Nubia Technology Co Ltd
Priority to CN201610852042.7A priority Critical patent/CN106446170A/zh
Publication of CN106446170A publication Critical patent/CN106446170A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据查询方法及装置，属于数据处理技术领域。该方法包括：接收数据查询请求；判断所述数据查询请求所适合的查询方式；若数据查询请求适合离线统计查询时，则从离线统计数据中进行查询；若数据查询请求适合实时统计查询时，则通过数据统计工具实时查询。本发明提供的数据查询方法及装置，最大程度地节省了统计查询时间，提高了数据查询效率。

Description

数据查询方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及数据查询方法及装置。
背景技术
随着各个应用上线之后，如果想要知道用户的使用情况，则需要对用户行为数据进行统计，即数据统计。为了方便运维人员对数据进行分析，常用的办法是提供页面进行展示。然而，往往由于数据量太大，以及查询时间跨度较大(例如：查看一整年内的下载量)，导致查询一次耗时太长，且由于之前应用中心的统计后台，随着数据量增大，在点击查询时，页面往往会直接卡死，影响工作效率。
因此，有必要提出一种数据查询方法及装置，避免上述情况的发生。
发明内容
本发明的主要目的在于提出一种数据查询方法及装置，旨在解决查询效率低的问题。
为实现上述目的，本发明提供的一种数据查询方法，所述方法包括步骤：接收数据查询请求；判断所述数据查询请求所适合的查询方式；若所述数据查询请求适合离线统计查询时，则从离线统计数据中进行查询；若所述数据查询请求适合实时统计查询时，则通过数据统计工具实时查询。
可选地，在所述接收数据查询请求之前，所述方法还包括：分别统计至少一个预定时间段内的数据，得到所述离线统计数据；所述判断所述数据查询请求所适合的查询方式，包括：若所述离线统计数据包括所述数据查询请求所查询的对象，则所述数据查询请求适合离线统计查询，若所述离线统计数据不包括所述数据查询请求所查询的对象，则所述数据查询请求适合实时统计查询。
可选地，所述方法还包括步骤：若所述数据查询请求所查询的对象的其中一部分包括在所述离线统计数据中，剩下部分不包括在所述离线统计数据中，则从所述离线统计数据中查询包括在所述离线统计数据中的其中一部分所述查询的对象，通过数据统计工具实时查询不包括在所述离线统计数据中的剩下部分的所述查询的对象。
可选地，所述通过数据统计工具实时查询，包括：启动数据加载接口；对数据进行实时统计；将统计结果保存在数据库中；从所述数据库中获取在查询时间段内的结果。
可选地，所述分别统计至少一个预定时间段内的数据，得到所述离线统计数据，包括：设置统计周期；根据所述统计周期，定时分别统计至少一个预定时间段内的数据，得到所述离线统计数据。
此外，为实现上述目的，本发明还提出一种数据查询装置，所述装置包括：接收模块，用于接收数据查询请求；判断模块，用于判断所述数据查询请求所适合的查询方式；离线数据查询模块，用于若所述数据查询请求适合离线统计查询时，则从离线统计数据中进行查询；实时数据查询模块，用于若判断所述数据查询请求适合实时统计查询时，则通过数据统计工具实时查询。
可选地，所述装置还包括：离线数据统计模块，用于分别统计至少一个预定时间段内的数据，得到所述离线统计数据；相应地，所述判断模块，具体用于若所述离线统计数据包括所述数据查询请求所查询的对象，则所述数据查询请求适合离线统计查询，若所述离线统计数据不包括所述数据查询请求所查询的对象，则所述数据查询请求适合实时统计查询。
可选地，若所述数据查询请求所查询的对象的其中一部分包括在所述离线统计数据中，剩下部分不包括在所述离线统计数据中，则从所述离线统计数据中查询包括在所述离线统计数据中的其中一部分所述查询的对象，通过数据统计工具实时查询不包括在所述离线统计数据中的剩下部分的所述查询的对象。
可选地，所述实时数据查询模块，包括：接口启动单元，用于启动数据加载接口；实时数据统计单元，用于对数据进行实时统计；第一保存单元，用于将统计结果保存在数据库中；查询单元，用于从所述数据库中获取在查询时间段内的结果。
可选地，所述离线数据统计模块，包括：设置单元，用于设置统计周期；离线数据统计单元，用于根据所述统计周期，定时分别统计至少一个预定时间段内的数据，得到所述离线统计数据。
本发明提出的数据查询方法及装置，当接收数据查询请求时，若数据查询请求适合离线统计查询时，则从离线统计数据中进行查询，若数据查询请求适合实时统计查询时，则通过数据统计工具实时查询，从而节省了数据统计时间，提高了数据查询效率。
附图说明
图1为本发明第一实施例提供的数据查询方法的流程示意图；
图2为本发明第一实施例提供的数据查询方法的子流程示意图；
图3为本发明第二实施例提供的数据查询方法的流程示意图；
图4为本发明第二实施例提供的数据查询方法的子流程示意图；
图5为本发明第二实施例中示例一的流程示意图；
图6为本发明第二实施例中示例二的流程示意图；
图7为本发明第三实施例提供的数据查询装置的模块示意图；
图8为图7中实时数据查询模块的模块示意图；
图9为本发明第四实施例提供的数据查询装置的模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
实施例一
如图1所示，本发明较佳实施例提出一种数据查询方法，该方法包括步骤：
步骤110，接收数据查询请求。
具体地，接收用户通过平台页面发送的数据查询请求。其中，查询的数据可以是查询某个应用的下载量等。
进一步地，数据查询请求中包括查询的对象，查询的对象包括查询时间段以及查询的内容。例如，在2016年9月20日8点整接收数据查询请求，要求统计过去一周内的下载量，则过去一周(即2016年9月12日至2016年9月19日)为查询时间段，下载量即为查询的内容。
步骤120，判断数据查询请求是否适合离线统计查询，若是，则进入步骤130，若否，则进入步骤140。
具体地，若离线统计数据包括数据查询请求所查询的对象，则数据查询请求适合离线统计查询，并进入步骤130，否则判定为不适合离线统计查询，并进入步骤140。
进一步地，离线统计数据包括已经统计的在至少一个时间段内的数据(例如下载量、访问量等)。离线统计数据可以是离散的，例如：已经统计了在2016年的1月、6月、8月的月下载量。离线统计数据也可以是周期性的，例如：已经统计了在2016年的1月至8月每个月的月下载量。
进一步地，在查询的内容为与离线统计数据相同的数据类型(例如：查询的内容与离线统计数据均为下载量)时，若判断数据查询请求中的查询时间段(例如：过去一个月)符合离线数据库中的查询周期(例如：每个月)，则判定数据查询请求适合离线统计查询。
步骤130，从离线统计数据中进行查询。
具体地，从离线数据库中直接获取统计数据，进而得知该数据的查询结果。离线数据库中存储了定期计算的数据结果，从而只需要读取离线数据库中已经计算好的统计结果。也就是说，统计离线数据结果，相当于读取已存储的数据，大大提高了查询效率，节省了查询时间。
步骤140，判断数据查询请求是否适合实时统计查询，若是，则进入步骤150，若否，则进入步骤160。
具体地，若离线统计数据不包括数据查询请求所查询的对象，或者，若判断数据查询请求中的查询时间段跨度较大，则判定数据查询请求适合实时统计查询，并进入步骤150，否则判定为不适合实时统计查询，并进入步骤160。
步骤150，通过数据统计工具实时查询。
优选地，该数据统计工具可以是Spark。Spark是一个大数据分析的开源工具，它可以结合Alluxio、Hadoop等分布式文件存储***进行大数据处理。它的核心技术是弹性分布式数据集(Resilien distributed datasets)，提供了比Hadoop更加丰富的MapReduce模型，Spark的效率比hadoop的MapReduce在内存中快100倍，在磁盘中快10倍，以快速在内存中对数据集进行多次迭代，来支持复杂的数据挖掘算法和图计算算法，适合于实时统计。
请参照图2，步骤150进一步包括步骤：
步骤210，启动数据加载接口。
具体地，启动Spark的数据加载接口。
步骤220，对数据进行实时统计。
具体地，根据数据加载接口，加载日志文件的数据，对数据进行统计，并写入到流文件中。
步骤230，将统计结果保存在数据库中。
具体地，本实施例中的数据库可以是DataFrame，则步骤230具体为：将流文件保持到DataFrame文件中。
进一步地，为了提高实时统计的效率，本实施例还使用了Alluxio分布式文件***，将结果的DataFrame数据保存到Alluxio进行管理。
步骤240，从数据库中获取查询请求时间段的结果。
步骤160，判断数据查询请求是否适合离线统计查询和实时统计查询，若是，则进入步骤170。
具体地，若数据查询请求所查询的对象的其中一部分包括在离线统计数据中，剩下部分不包括在离线统计数据中，则判定数据查询请求适合离线统计查询和实时统计查询，并进入步骤170。
步骤170，从离线统计数据中查询包括在离线统计数据中的其中一部分查询的对象，通过数据统计工具实时查询不包括在离线统计数据中的剩下部分的查询的对象。
具体地，符合离线统计的数据，则从离线统计数据中进行查询。符合实时统计的数据，则通过数据统计工具进行实时查询。
进一步地，在查询的内容为与离线统计数据相同的数据类型(例如：查询的内容与离线统计数据均为下载量)时，若判断数据查询请求中的查询时间段部分符合离线数据库中的查询周期，则符合离线数据库中的查询周期的查询时间段的数据，从离线统计数据中进行查询，剩下部分则通过数据统计工具进行实时查询。
例如，数据查询请求中的查询时间段为20天，离线数据库中的查询周期为15天，则其中15天的数据采用离线统计查询的方式进行查询，5天的数据采用实时统计查询的方式进行查询，进而得到20天的查询数据。
本实施例的数据查询方法，当接收数据查询请求时，若判断数据查询请求适合离线统计查询时，则从离线统计数据中进行查询，若判断数据查询请求适合实时统计查询时，则通过统计查询工具实时查询，从而节省了统计查询时间，提高了数据查询效率。
实施例二
请参照图3，为本发明另一较佳实施例提供的数据查询方法的流程示意图。数据查询方法包括步骤：
步骤310，分别统计至少一个预定时间段内的数据，得到离线统计数据。
具体地，使用mongodb的mr方式进行计算统计，让数据在mongodb中进行批量计算，计算结果直接保存在mongodb中，整个过程不需要将数据取出来。
请参照图4，步骤310进一步包括：
步骤410，设置统计周期。
步骤420，根据统计周期，定时分别统计至少一个预定时间段内的数据，得到离线统计数据。
步骤430，将统计结果保存在数据库中。
示例一：以离线统计昨天的数据为例。
请参照图5，示例一的离线数据统计的方法为：
步骤510，设置统计周期为一天。
步骤520，获取昨天上报数据的原始表，并进行mr计算，得到昨天数据的统计结果。
步骤530，将统计结果保存到昨天的结果表中。
示例二：以离线统计过去七天的数据为例。
请参照图6，示例二的离线数据统计的方法为：
步骤610，设置统计周期为七天。
步骤620，获取过去七天上班数据的原始表，并进行mr计算，得到过去七天数据的统计结果。
步骤630，将统计结果保存到过去七天的结果表中。
步骤320，接收数据查询请求。
步骤330，判断数据查询请求是否适合离线统计查询，若是，则进入步骤340，若否，则进入步骤350。
步骤340，从离线统计数据中进行查询。
步骤350，判断数据查询请求是否适合实时统计查询，若是，则进入步骤360，若否，则进入步骤370。
步骤360，通过数据统计工具实时查询。
步骤370，判断数据查询请求是否适合离线统计查询和实时统计查询，若是，则进入步骤380。
步骤380，从离线统计数据中查询包括在离线统计数据中的其中一部分查询的对象，通过数据统计工具实时查询不包括在离线统计数据中的剩下部分的查询的对象。
上述步骤320-380的内容与第一实施例中的步骤110-170的内容相同，对于相同的内容，本实施例在此不再赘述。
本实施例的数据查询方法，通过设置统计周期，根据统计周期，定时计算统计数据，并将统计结果保存在数据库中。细化了离线统计的过程，可以通过定时任务提前计算数据，提高了日后数据查询的效率。
实施例三
本发明进一步提供一种数据查询装置。
参照图7，图7为本发明第三实施例提供的数据查询装置的模块示意图。
本实施例一种数据查询装置，装置包括：
接收模块710，用于接收数据查询请求。
具体地，接收模块710接收用户通过平台页面发送的数据查询请求。其中，查询的数据可以是查询某个应用的下载量等。
进一步地，数据查询请求中包括查询的对象，查询的对象包括查询时间段以及查询的内容。例如，在2016年9月20日8点整接收数据查询请求，要求统计过去一周内的下载量，则过去一周(即2016年9月12日至2016年9月19日)为查询时间段，下载量即为查询的内容。
判断模块720，用于判断数据查询请求适合离线统计查询、或者适合实时统计查询、或者适合离线统计查询和实时统计查询。
具体地，若判断模块720判断离线统计数据包括数据查询请求所查询的对象，则判定数据查询请求适合离线统计查询，否则判定为不适合离线统计查询。
进一步地，离线统计数据包括已经统计的在至少一个时间段内的数据(例如下载量、访问量等)。离线统计数据可以是离散的，例如：已经统计了在2016年的1月、6月、8月的月下载量。离线统计数据也可以是周期性的，例如：已经统计了在2016年的1月至8月每个月的月下载量。
进一步地，在查询的内容为与离线统计数据相同的数据类型(例如：查询的内容与离线统计数据均为下载量)时，若判断数据查询请求中的查询时间段(例如：过去一个月)符合离线数据库中的查询周期(例如：每个月)，则判定数据查询请求适合离线统计查询。
若判断模块720判断若离线统计数据不包括数据查询请求所查询的对象，或者，数据查询请求中的查询时间段跨度较大，则判定数据查询请求适合实时统计查询。
若判断模块720判断数据查询请求所查询的对象的其中一部分包括在离线统计数据中，剩下部分不包括在离线统计数据中，则判定数据查询请求适合离线统计查询和实时统计查询。
离线数据查询模块730，用于若判断模块720判断数据查询请求适合离线统计查询时，则从离线统计数据中进行查询。
具体地，离线数据查询模块730从离线数据库中直接获取统计数据，进而得知该数据的查询结果。离线数据库中存储了定期计算的数据结果，从而只需要读取离线数据库中已经计算好的统计结果。也就是说，统计离线数据结果，相当于读取已存储的数据，大大提高了查询效率，节省了查询时间。
实时数据查询模块740，用于若判断模块720判断数据查询请求适合实时统计查询时，则通过数据统计工具实时查询。
进一步地，若数据查询请求所查询的对象的其中一部分包括在离线统计数据中，剩下部分不包括在离线统计数据中，则离线数据查询模块730从离线统计数据中查询包括在离线统计数据中的其中一部分查询的对象，实时数据查询模块740通过数据统计工具实时查询不包括在离线统计数据中的剩下部分的查询的对象。
进一步地，在查询的内容为与离线统计数据相同的数据类型(例如：查询的内容与离线统计数据均为下载量)时，若判断模块720判断数据查询请求中的查询时间段部分符合离线数据库中的查询周期，则触发离线数据查询模块730从符合离线数据库中的查询周期的查询时间段的数据，触发实时数据查询模块740从离线统计数据中进行查询，剩下部分则通过数据统计工具进行实时查询。
优选地，该数据统计工具可以是Spark。Spark是一个大数据分析的开源工具，它可以结合Alluxio、Hadoop等分布式文件存储***进行大数据处理。它的核心技术是弹性分布式数据集(Resilien distributed datasets)，提供了比Hadoop更加丰富的MapReduce模型，Spark的效率比hadoop的MapReduce在内存中快100倍，在磁盘中快10倍，以快速在内存中对数据集进行多次迭代，来支持复杂的数据挖掘算法和图计算算法，适合于实时统计。
请参照图8，实时数据查询模块740进一步包括：
接口启动单元810，用于启动数据加载接口。
具体地，接口启动单元810启动Spark的数据加载接口。
实时数据统计单元820，用于对数据进行实时统计。
具体地，根据数据加载接口，实时数据统计单元820加载日志文件的数据，对数据进行统计，并写入到流文件中。
第一保存单元830，用于将统计结果保存在数据库中。
具体地，本实施例中的数据库可以是DataFrame，则第一保存单元830具体用于将流文件保持到DataFrame文件中。
进一步地，为了提高实时统计的效率，本实施例还使用了Alluxio分布式文件***，第一保存单元830将结果的DataFrame数据保存到Alluxio进行管理。
查询单元840，用于从数据库中获取查询请求时间段的结果。
进一步地，若判断模块720判断数据查询请求适合离线统计查询和实时统计查询时，则触发离线数据查询模块730从离线统计数据中查询适合离线统计的数据，以及触发实时数据查询模块740通过数据统计工具实时查询适合实时统计的数据。也就是说，符合离线统计的数据，则触发离线数据查询模块730从离线统计数据中进行查询。符合实时统计的数据，则触发实时数据查询模块740通过数据统计工具进行实时查询。
例如，数据查询请求中的查询时间段为20天，离线数据库中的统计周期为15天，则其中15天的数据采用离线统计查询的方式进行查询，5天的数据采用实时统计查询的方式进行查询，进而得到20天的查询数据。
本实施例的数据查询装置，当接收模块710接收数据查询请求时，若判断模块720判断数据查询请求适合离线统计查询时，则触发离线数据查询模块730从离线统计数据中进行查询，若判断模块720判断数据查询请求适合实时统计查询时，则触发实时数据查询模块740通过数据统计工具实时查询，从而节省了统计查询时间，提高了数据查询效率。
实施例四
本发明第四实施例提供一种数据查询装置，在第四实施例中，数据查询装置是在第三实施例的基础上所作出的进一步改进，区别仅在于，装置还包括：
离线数据统计模块，用于分别统计至少一个预定时间段内的数据，得到离线统计数据。
具体地，离线数据统计模块使用mongodb的mr方式进行计算统计，让数据在mongodb中进行批量计算，计算结果直接保存在mongodb中，整个过程不需要将数据取出来。
请参照图9，离线数据统计模块进一步包括：
设置单元910，用于设置统计周期。
离线数据统计单元920，用于根据统计周期，定时分别统计至少一个预定时间段内的数据，得到离线统计数据。
第二保存单元930，用于将统计结果保存在数据库中。
本实施例的数据查询装置，通过设置单元910设置统计周期，根据统计周期，离线数据统计单元920定时计算统计数据，第二保存单元930将统计结果保存在数据库中，细化了离线统计的过程，可以通过定时任务提前计算数据，提高了日后数据查询的效率。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据查询方法，其特征在于，所述方法包括步骤：
接收数据查询请求；
判断所述数据查询请求所适合的查询方式；
若所述数据查询请求适合离线统计查询时，则从离线统计数据中进行查询；
若所述数据查询请求适合实时统计查询时，则通过数据统计工具实时查询。
2.根据权利要求1所述的数据查询方法，其特征在于，
在所述接收数据查询请求之前，所述方法还包括：
分别统计至少一个预定时间段内的数据，得到所述离线统计数据；
所述判断所述数据查询请求所适合的查询方式，包括：
若所述离线统计数据包括所述数据查询请求所查询的对象，则所述数据查询请求适合离线统计查询，若所述离线统计数据不包括所述数据查询请求所查询的对象，则所述数据查询请求适合实时统计查询。
3.根据权利要求2所述的数据查询方法，其特征在于，所述方法还包括步骤：
若所述数据查询请求所查询的对象的其中一部分包括在所述离线统计数据中，剩下部分不包括在所述离线统计数据中，则从所述离线统计数据中查询包括在所述离线统计数据中的其中一部分所述查询的对象，通过数据统计工具实时查询不包括在所述离线统计数据中的剩下部分的所述查询的对象。
4.根据权利要求1或2或3所述的数据查询方法，其特征在于，所述通过数据统计工具实时查询，包括：
启动数据加载接口；
对数据进行实时统计；
将统计结果保存在数据库中；
从所述数据库中获取在查询时间段内的结果。
5.根据权利要求2所述的数据查询方法，其特征在于，所述分别统计至少一个预定时间段内的数据，得到所述离线统计数据，包括：
设置统计周期；
根据所述统计周期，定时分别统计至少一个预定时间段内的数据，得到所述离线统计数据。
6.一种数据查询装置，其特征在于，所述装置包括：
接收模块，用于接收数据查询请求；
判断模块，用于判断所述数据查询请求所适合的查询方式；
离线数据查询模块，用于若所述数据查询请求适合离线统计查询时，则从离线统计数据中进行查询；
实时数据查询模块，用于若所述数据查询请求适合实时统计查询时，则通过数据统计工具实时查询。
7.根据权利要求6所述的数据查询装置，其特征在于，所述装置还包括：
离线数据统计模块，用于分别统计至少一个预定时间段内的数据，得到所述离线统计数据；
相应地，所述判断模块，具体用于若所述离线统计数据包括所述数据查询请求所查询的对象，则所述数据查询请求适合离线统计查询，若所述离线统计数据不包括所述数据查询请求所查询的对象，则所述数据查询请求适合实时统计查询。
8.根据权利要求7所述的数据查询装置，其特征在于，若所述数据查询请求所查询的对象的其中一部分包括在所述离线统计数据中，剩下部分不包括在所述离线统计数据中，则从所述离线统计数据中查询包括在所述离线统计数据中的其中一部分所述查询的对象，通过数据统计工具实时查询不包括在所述离线统计数据中的剩下部分的所述查询的对象。
9.根据权利要求6或7或8所述的数据查询装置，其特征在于，所述实时数据查询模块，包括：
接口启动单元，用于启动数据加载接口；
实时数据统计单元，用于对数据进行实时统计；
第一保存单元，用于将统计结果保存在数据库中；
查询单元，用于从所述数据库中获取在查询时间段内的结果。
10.根据权利要求7所述的数据查询装置，其特征在于，所述离线数据统计模块，包括：
设置单元，用于设置统计周期；
离线数据统计单元，用于根据所述统计周期，定时分别统计至少一个预定时间段内的数据，得到所述离线统计数据。
CN201610852042.7A 2016-09-27 2016-09-27 数据查询方法及装置 Pending CN106446170A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610852042.7A CN106446170A (zh) 2016-09-27 2016-09-27 数据查询方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610852042.7A CN106446170A (zh) 2016-09-27 2016-09-27 数据查询方法及装置

Publications (1)

Publication Number Publication Date
CN106446170A true CN106446170A (zh) 2017-02-22

Family

ID=58170257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610852042.7A Pending CN106446170A (zh) 2016-09-27 2016-09-27 数据查询方法及装置

Country Status (1)

Country Link
CN (1) CN106446170A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446369A (zh) * 2018-03-15 2018-08-24 深圳市中科新业信息科技发展有限公司 海量数据下实时数据报表统计方法
CN109684352A (zh) * 2018-12-29 2019-04-26 江苏满运软件科技有限公司 数据分析***、方法、存储介质及电子设备
CN110442598A (zh) * 2019-07-22 2019-11-12 阿里巴巴集团控股有限公司 一种数据查询方法和装置
CN110619006A (zh) * 2019-08-30 2019-12-27 上海曼斯克物联网科技有限公司 基于物联网的统计数据管理方法、装置、平台和存储介质
CN110633306A (zh) * 2019-08-14 2019-12-31 中国平安人寿保险股份有限公司 业务数据处理方法、装置、计算机设备和存储介质
CN110888917A (zh) * 2019-11-21 2020-03-17 深圳乐信软件技术有限公司 一种跑批任务执行方法、装置、服务器和存储介质
CN111339134A (zh) * 2020-02-11 2020-06-26 广州众赢科技有限公司 一种数据查询方法及装置
CN111782409A (zh) * 2020-08-17 2020-10-16 支付宝(杭州)信息技术有限公司 任务处理、风险识别任务处理方法、装置及电子设备
CN113377777A (zh) * 2021-06-29 2021-09-10 深圳市华曦达科技股份有限公司 数据加载方法、设备、计算机程序产品及存储介质
CN114416817A (zh) * 2021-12-21 2022-04-29 北京镁伽科技有限公司 用于处理数据的方法、装置、设备、***及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436510A (zh) * 2011-12-30 2012-05-02 浙江乐得网络科技有限公司 通过离线查询提高在线实时搜索质量的方法与***
EP2524328A1 (en) * 2010-01-15 2012-11-21 AB Initio Technology LLC Managing data queries
CN103927346A (zh) * 2014-03-28 2014-07-16 浙江大学 基于数据量的查询连接方法
CN105677836A (zh) * 2016-01-05 2016-06-15 北京汇商融通信息技术有限公司 一种同时支持离线数据和实时在线数据的大数据处理解决***
CN105787132A (zh) * 2016-03-31 2016-07-20 畅捷通信息技术股份有限公司 用户行为分析的控制方法和用户行为分析的控制***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2524328A1 (en) * 2010-01-15 2012-11-21 AB Initio Technology LLC Managing data queries
CN102436510A (zh) * 2011-12-30 2012-05-02 浙江乐得网络科技有限公司 通过离线查询提高在线实时搜索质量的方法与***
CN103927346A (zh) * 2014-03-28 2014-07-16 浙江大学 基于数据量的查询连接方法
CN105677836A (zh) * 2016-01-05 2016-06-15 北京汇商融通信息技术有限公司 一种同时支持离线数据和实时在线数据的大数据处理解决***
CN105787132A (zh) * 2016-03-31 2016-07-20 畅捷通信息技术股份有限公司 用户行为分析的控制方法和用户行为分析的控制***

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446369A (zh) * 2018-03-15 2018-08-24 深圳市中科新业信息科技发展有限公司 海量数据下实时数据报表统计方法
CN109684352B (zh) * 2018-12-29 2020-12-01 江苏满运软件科技有限公司 数据分析***、方法、存储介质及电子设备
CN109684352A (zh) * 2018-12-29 2019-04-26 江苏满运软件科技有限公司 数据分析***、方法、存储介质及电子设备
CN110442598A (zh) * 2019-07-22 2019-11-12 阿里巴巴集团控股有限公司 一种数据查询方法和装置
CN110633306A (zh) * 2019-08-14 2019-12-31 中国平安人寿保险股份有限公司 业务数据处理方法、装置、计算机设备和存储介质
CN110619006A (zh) * 2019-08-30 2019-12-27 上海曼斯克物联网科技有限公司 基于物联网的统计数据管理方法、装置、平台和存储介质
CN110888917A (zh) * 2019-11-21 2020-03-17 深圳乐信软件技术有限公司 一种跑批任务执行方法、装置、服务器和存储介质
CN111339134A (zh) * 2020-02-11 2020-06-26 广州众赢科技有限公司 一种数据查询方法及装置
CN111339134B (zh) * 2020-02-11 2024-03-08 广州拉卡拉信息技术有限公司 一种数据查询方法及装置
CN111782409A (zh) * 2020-08-17 2020-10-16 支付宝(杭州)信息技术有限公司 任务处理、风险识别任务处理方法、装置及电子设备
CN111782409B (zh) * 2020-08-17 2023-12-19 支付宝(杭州)信息技术有限公司 任务处理、风险识别任务处理方法、装置及电子设备
CN113377777A (zh) * 2021-06-29 2021-09-10 深圳市华曦达科技股份有限公司 数据加载方法、设备、计算机程序产品及存储介质
CN114416817A (zh) * 2021-12-21 2022-04-29 北京镁伽科技有限公司 用于处理数据的方法、装置、设备、***及存储介质

Similar Documents

Publication Publication Date Title
CN106446170A (zh) 数据查询方法及装置
CN103200262B (zh) 一种基于移动网络的广告调度方法、装置及***
CN107451861B (zh) 一种大数据下用户上网特征识别的方法
CN104317839B (zh) 生成报表模板的方法和装置
CN103473036B (zh) 一种输入法皮肤推送方法及***
CN107918618B (zh) 数据处理方法及装置
CN103150696A (zh) 选择目标增值业务潜在客户的方法及装置
CN101576988A (zh) 信用数据交互***及交互方法
CN108596785A (zh) 电力设备数据的处理方法、装置、计算机设备和存储介质
CN110175264A (zh) 视频用户画像的构建方法、服务器及计算机可读存储介质
CN107832291A (zh) 人机协作的客服方法、电子装置及存储介质
CN106709851A (zh) 大数据检索方法及装置
CN107483381A (zh) 关联账户的监控方法及装置
CN107844595A (zh) 一种求职网站职位智能推荐方法
CN109829098A (zh) 搜索结果优化方法、装置及服务器
CN111382182A (zh) 数据处理方法、装置、电子设备及存储介质
CN111061837A (zh) 话题识别方法、装置、设备及介质
CN111507479A (zh) 特征分箱方法、装置、设备及计算机可读存储介质
CN105005585A (zh) 一种日志数据的处理方法和装置
CN104598780A (zh) 账户识别方法和***
CN104992318A (zh) 行事历主动推荐事件的方法
CN116993227B (zh) 一种基于人工智能的供热分析评估方法、***及存储介质
CN107943678A (zh) 一种评价应用访问过程的方法及评价服务器
CN111325280A (zh) 一种标签的生成方法及***
CN111553749A (zh) 一种活动推送策略配置方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222

RJ01 Rejection of invention patent application after publication