CN110968599B - 一种基于Impala的查询方法和装置 - Google Patents

一种基于Impala的查询方法和装置 Download PDF

Info

Publication number
CN110968599B
CN110968599B CN201811162725.5A CN201811162725A CN110968599B CN 110968599 B CN110968599 B CN 110968599B CN 201811162725 A CN201811162725 A CN 201811162725A CN 110968599 B CN110968599 B CN 110968599B
Authority
CN
China
Prior art keywords
query
data
memory
queried
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811162725.5A
Other languages
English (en)
Other versions
CN110968599A (zh
Inventor
陈克凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201811162725.5A priority Critical patent/CN110968599B/zh
Publication of CN110968599A publication Critical patent/CN110968599A/zh
Application granted granted Critical
Publication of CN110968599B publication Critical patent/CN110968599B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于Impala的查询方法,应用于包括数据查询组件的终端,包括:数据查询组件向服务器发送查询请求,以便服务器根据待查询数据进行查询确定查询结果;数据查询组件接收服务器发送的查询结果;若查询结果为预设查询内存不满足查询待查询数据所需的查询内存,数据查询组件根据预设查询内存确定目标查询内存;数据查询组件向服务器发送目标查询内存,以便服务器将目标查询内存作为预设查询内存;并且,数据查询组件返回执行向服务器发送查询请求,直至预设查询内存满足查询待查询数据所需的查询内存。本申请实现避免用户需要对预设查询内存多次重新设置,从而提高用户查询待查询数据的效率,提高用户对于查询数据的体验。

Description

一种基于Impala的查询方法和装置
技术领域
本申请涉及数据处理领域,特别是涉及一种基于Impala的查询方法和装置。
背景技术
Impala是一种新型查询***,可以用于查询存储在海杜普(Hadoop)的分布式文件***(Hadoop Distributed File System,HDFS)和分布式的、面向列的开源数据库(HBase)中的拍字节(petabyte,PB)级大数据。
在通过Impala查询数据的过程中,若Impala用于查询数据的查询内存小于查询该数据所需的查询内存,则Impala无法针对该数据进行数据查询,并且Impala会向用户终端发送查询失败消息,以通知用户本次查询失败。在现有技术中,当数据查询失败原因为Impala用于查询数据的查询内存小于查询该数据所需的查询内存时,需要人工对Impala用于查询数据的查询内存进行重新设置。
然而,在现有技术中,由于服务器在查询待查询数据的过程中,无法确定出查询数据所需的查询内存,故在人工设置Impala用于查询数据的查询内存的过程中,会需要操作人员对Impala用于查询数据的查询内存进行多次重新设置,导致数据查询的效率大大降低,并且降低了用户对于查询数据的体验。
发明内容
为了解决上述技术问题,本申请提供了一种方法,一种基于Impala的查询方法,以实现避免了用户需要对预设查询内存进行多次重新设置,从而提高了用户查询待查询数据的效率,并且提高了用户对于查询数据的体验。
本申请实施例公开了如下技术方案:
本申请第一方面提供了一种基于Impala的查询方法,所述方法应用于终端,所述终端包括数据查询组件,所述方法包括:
所述数据查询组件获取待查询数据,并向服务器发送查询请求,所述查询请求包括所述待查询数据,以便所述服务器根据所述待查询数据进行数据查询,确定针对所述待查询数据的查询结果;
所述数据查询组件接收所述服务器发送的针对所述待查询数据的查询结果;
若所述查询结果为预设查询内存不满足查询所述待查询数据所需的查询内存,则所述数据查询组件根据所述预设查询内存确定目标查询内存,所述目标查询内存大于所述预设查询内存;
所述数据查询组件向所述服务器发送所述目标查询内存,以便所述服务器将所述目标查询内存作为所述预设查询内存;并且,所述数据查询组件返回执行所述向所述服务器发送查询请求,直至预设查询内存满足查询所述待查询数据所需的查询内存。
可选的,所述目标查询内存是根据所述预设查询内存的内存大小确定的。
可选的,所述服务器中保存有所述查询结果与所述预设查询内存的对应关系,在所述数据查询组件根据所述预设查询内存确定目标查询内存之前,所述方法还包括:
所述数据查询组件向所述服务器发送获取内存请求,所述获取内存请求包括所述查询结果,以便所述服务器根据所述查询结果与所述预设查询内存的对应关系,向所述数据查询组件返回所述查询结果对应的预设查询内存。
可选的,所述查询结果包括所述预设查询内存。
可选的,所述方法还包括:
若所述查询结果为所述待查询数据对应的查询数据,所述终端展示所述查询数据。
可选的,所述数据查询组件包括java数据库连接组件。
本申请第二方面提供了一种基于Impala的查询装置,所述装置包括:
第一发送单元,用于所述数据查询组件获取待查询数据,并向服务器发送查询请求,所述查询请求包括所述待查询数据,以便所述服务器根据所述待查询数据进行数据查询,确定针对所述待查询数据的查询结果;
接收单元,用于所述数据查询组件接收所述服务器发送的针对所述待查询数据的查询结果;
确定单元,用于若所述查询结果为预设查询内存不满足查询所述待查询数据所需的查询内存,则所述数据查询组件根据所述预设查询内存确定目标查询内存,所述目标查询内存大于所述预设查询内存;
第二发送单元,用于所述数据查询组件向所述服务器发送所述目标查询内存,以便所述服务器将所述目标查询内存作为所述预设查询内存;并且,所述数据查询组件返回执行所述向所述服务器发送查询请求,直至预设查询内存满足查询所述待查询数据所需的查询内存。
可选的,所述目标查询内存是根据所述预设查询内存的内存大小确定的。
可选的,所述服务器中保存有所述查询结果与所述预设查询内存的对应关系,所述装置还包括:
获取单元,用于所述数据查询组件向所述服务器发送获取内存请求,所述获取内存请求包括所述查询结果,以便所述服务器根据所述查询结果与所述预设查询内存的对应关系,向所述数据查询组件返回所述查询结果对应的预设查询内存。
可选的,所述查询结果包括所述预设查询内存。
可选的,所述装置还包括:
展示单元,用于若所述查询结果为所述待查询数据对应的查询数据,所述终端展示所述查询数据。
可选的,所述数据查询组件包括java数据库连接组件。
本发明还提供了一种存储介质。该存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述查询方法。
本发明还提供了一种处理器。该处理器用于运行程序,其中,所述程序运行时执行上述查询方法。
由上述技术方案可以看出,在本申请中,终端中的数据查询组件获取待查询数据,可以向服务器发送查询请求,所述查询请求包括待查询数据,以便服务器可以根据待查询数据进行数据查询,确定针对所述待查询数据的查询结果。在数据查询组件接收服务器发送的针对所述待查询数据的查询结果之后,若查询结果为预设查询内存不满足查询所述待查询数据所需的查询内存,则数据查询组件可以根据预设查询内存确定目标查询内存,其中,目标查询内存大于所述预设查询内存。接着,数据查询组件可以向服务器发送目标查询内存,以便服务器将所述目标查询内存作为所述预设查询内存,并且,在服务器将目标查询内存作为预设查询内存之后,数据查询组件可以返回执行所述向所述服务器发送查询请求,直至预设查询内存满足查询所述待查询数据所需的查询内存。可见,当预设查询内存不满足查询待查询数据所需的查询内存时,便可以通过终端中的数据查询组件根据预设查询内存确定目标查询内存,以及向服务器发送目标查询内存,以实现自动增大预设查询内存的内存大小,而不需要用户通过人工设置的方式增大预设查询内存的内存大小,这样,避免了用户需要对预设查询内存进行多次重新设置,从而提高了用户查询待查询数据的效率,并且提高了用户对于查询数据的体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于Impala的查询方法的场景示意图;
图2为本申请实施例提供的一种基于Impala的查询方法的方法流程图;
图3为本申请实施例提供的一种基于Impala的查询装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在现有技术中,由于无法确定出查询数据所需的查询内存,故在人工设置Impala用于查询数据的查询内存的过程中,会需要操作人员对Impala用于查询数据的查询内存进行多次重新设置,导致数据查询的效率大大降低,并且降低了用户对于查询数据的体验。
故此,本申请提供了一种基于Impala的查询方法,以实现能够避免用户需要对预设查询内存进行多次重新设置,从而提高用户查询待查询数据的效率,并且提高了用户对于查询数据的体验。
举例说明,在一种示例性的场景中,本申请实施例可以应用到如图1所示的查询***中。在该查询***中,用户可以通过终端100与服务器200进行交互,以使用基于Impala的查询方法,对用户通过终端100输入的待查询数据进行查询。
具体地,用户可以通过终端100所提供的Impala***下数据查询界面输入待查询数据,终端100中的数据查询组件获取该待查询数据,并且可以将该待查询数据向服务器200发送。服务器200可以根据该待查询数据进行数据查询,确定针对该待查询数据的查询结果,并将该查询结果向终端100中的数据查询组件发送。终端100中的数据查询组件接收该查询结果后,可以先判断查询结果是否为预设查询内存不满足查询所述待查询数据所需的查询内存,若是,则终端100中的数据查询组件可以根据预设查询内存确定目标查询内存,并且,将该目标查询内存向服务器200发送;其中,目标查询内存大于预设查询内存。服务器200获取到该目标查询内存后,可以将该目标查询内存作为预设查询内存,并且,终端100中的数据查询组件可以继续执行所述向服务器200发送查询请求的步骤,直至服务器200的预设查询内存满足查询该待查询数据所需的查询内存。
需要注意的是,上述应用场景仅是为了便于理解本申请而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。
参见图2,该图为本申请实施例提供的一种基于Impala的查询方法的信令交互图。本实施例提供的基于Impala的查询方法应用于终端,其中,终端包括数据查询组件,所述方法包括如下步骤:
S201:所述数据查询组件获取待查询数据,并向服务器发送查询请求,所述查询请求包括所述待查询数据。
其中,待查询数据可以为用于查询的关键数据,例如可以是字符、图片等;而数据查询组件可以为能够为多种关系数据库(比如Hadoop、HDFS)提供统一访问入口的组件,例如,可以包括Java数据库连接(Java DataBase Connectivity,JBDC)组件。
在本实施例中,设置有数据查询组件的终端可以提供Impala***下数据查询界面,用户可以通过该数据查询界面输入待查询数据。当用户输入待查询数据后,数据查询组件可以获取该待查询数据,并且,可以根据该待查询数据生成查询请求,其中,该查询请求包括该待查询数据,并可以将该查询请求向服务器发送,以便服务器针对该查询请求中的该待查询数据进行查询。
S202:所述服务器根据所述待查询数据进行数据查询,确定针对所述待查询数据的查询结果。
服务器接收到数据查询组件发送的查询请求后,服务器可以根据该查询请求中的待查询数据进行数据查询,确定针对该待查询数据的查询结果。例如,服务器可以利用预设查询内存,对待查询数据进行数据查询,以确定该待查询数据对应的查询结果。
其中,预设查询内存为服务器对待查询数据进行查询时所占用的内存,需要强调的是,预设查询内存可以为在查询待查询数据之前,用户预先设置或者***预先设置的。
S203:所述服务器向所述数据查询组件发送针对所述待查询数据的查询结果。
S204:若所述查询结果为预设查询内存不满足查询所述待查询数据所需的查询内存,则所述数据查询组件根据所述预设查询内存确定目标查询内存,所述目标查询内存大于所述预设查询内存。
其中,查询待查询数据所需的查询内存可以理解为服务器完成对于待查询数据的查询所需要的内存大小。需要说明的是,查询待查询数据所需的查询内存与待查询内容的数据大小、数据库所存储的数据大小相关;具体地,待查询数据的数据大小越大,查询待查询数据所需的查询内存越大,反之,查询待查询数据所需的查询内存越小,并且,数据库所存储的数据大小越大,查询待查询数据所需的查询内存越大,反之,查询待查询数据所需的查询内存越小。
在本实施例中,若查询结果为预设查询内存不满足查询待查询数据所需的查询内存,例如,预设查询内存小于查询待查询数据所需的查询内存,说明服务器查询待查询数据的过程中,预设查询内存不足以支持服务器完成对于待查询数据的查询。故此,在本实施例中,数据查询组件在接收查询结果后,可以根据预设查询内存确定目标查询内存,其中,目标查询内存大于预设查询内存。并且,在一种实现方式中,终端并不会展示该查询结果。
需要说明的是,在本实施例中,提供了多种根据预设查询内存确定目标查询内存的方式。在一种实现方式中,目标查询内存可以为预设查询内存的内存大小与预设值之和,例如,假设预设值为1G内存,那么,当预设查询内存的内存大小为3G时,目标查询内存的内存大小为4G,当预设查询内存的内存大小为4G,目标查询内存的内存大小为5G。在另一种实现方式中,目标查询内存可以是根据预设查询内存的内存大小确定的,例如,目标查询内存的内存大小可以为预设查询内存的内存大小的整数倍,举例来说,当预设查询内存的内存大小为3G时,目标查询内存的内存大小为6G。
需要说明的是,在本实施例中,还提供了多种数据查询组件获取到服务器中预设查询内存的方式。接下来,将针对其中两种方式进行介绍。
第一种方式:数据查询组件可以根据查询结果获取到服务器中预设查询内存。
在本方式中,在执行S204中的“所述数据查询组件根据所述预设查询内存确定目标查询内存”步骤之前,还可以包括以下步骤:所述数据查询组件向所述服务器发送获取内存请求,所述获取内存请求包括所述查询结果,以便所述服务器根据所述查询结果与所述预设查询内存的对应关系,向所述数据查询组件返回所述查询结果对应的预设查询内存。
具体地,由于服务器对待查询数据进行查询得到查询结果后,服务器中可以保存有查询结果与预设查询内存的对应关系。故在数据查询组件接收到查询结构后,若所述查询结果为预设查询内存不满足查询所述待查询数据所需的查询内存,则数据查询组件可以根据待查询数据对应的查询结果,获取到该服务器查询该待查询数据时的预设查询内存。例如,数据查询组件可以向服务器发送获取内存请求,其中,该获取内存请求中包括该查询结果;该服务器接收到该内存请求后,可以根据该查询结果,以及所存储的查询结果与预设查询内存的对应关系,确定出该查询结果对应的预设查询内存,并可以向数据查询组件返回该预设查询内存,以便数据查询组件能够根据该预设查询内存确定目标查询内存。
第二种方式:数据查询组件获取到的查询结果包括了该预设结果对应的预设查询内存。
在本方式中,在S203中,服务器向数据查询组件发送的查询结果中可以包括了该查询结果对应的预设查询内存,这样,数据查询组件接收到查询结构后,若该查询结果为预设查询内存不满足查询该待查询数据所需的查询内存,则数据查询组件可以直接根据该查询结果中的预设查询内存确定目标查询内存,从而节约了数据查询组件确定目标查询内存的时间。
S205:所述数据查询组件向所述服务器发送所述目标查询内存。
S206:所述服务器将所述目标查询内存作为所述预设查询内存。
在本实施例中,由于目标查询内存大于本次查询待查询数据时的预设查询内存,故在服务器接收目标查询内存后,可以将该目标查询内存作为下次查询待查询数据时的预设查询内存,这样,能够提高预设查询内存满足查询待查询数据所述的查询内存的可能性。
S207:所述数据查询组件返回执行所述向所述服务器发送查询请求,直至预设查询内存满足查询所述待查询数据所需的查询内存。
在本实施例中,服务器将目标查询内存作为预设查询内存后,数据查询组件可以继续执行S201。例如,由于服务器对待查询数据进行查询得到查询结果后,服务器中可以保存有查询结果与待查询数据的对应关系,故服务器将目标查询内存作为预设查询内存后,可以向数据查询组件发送完成设置预设查询内存的标识,以便数据查询组件获取到该标识后,可以向服务器发送该查询结果,获取到该查询结果对应的待查询数据,从而可以根据该待查询数据,再次向服务器发送包括了待查询数据的查询请求。又例如,数据查询组件上次向服务器发送查询请求后,终端本地可以保存有该查询请求中的待查询数据,当数据查询组件接收到服务器发送的完成设置预设查询内存的标识时,该数据查询组件可以根据该终端本地保存的该待查询数据生成查询请求,并可以再次向服务器发送包括了该待查询数据的查询请求。
需要说明的是,在本实施的一种实现方式中,图2对应的实施例所提供的方法还可以包括以下步骤:若所述查询结果为所述待查询数据对应的查询数据,所述终端展示所述查询数据。
在本方式中,若预设查询内存满足查询待查询数据所需的查询内存,则服务器的查询结果可以为待查询数据对应的查询数据,其中,查询数据可以为包括了待查询数据的文件,例如,查询数据可以为新闻、论文等,举例来说,待查询数据为词组“汽车”,则该待查询数据对应的查询数据可以为包括了词组“汽车”的文本;在该情况下,数据查询组件获取到该查询结果后,终端可以展示该查询数据所包括的查询数据。
由上述技术方案可以看出,在本申请中,终端中的数据查询组件获取待查询数据,可以向服务器发送查询请求,所述查询请求包括待查询数据,以便服务器可以根据待查询数据进行数据查询,确定针对所述待查询数据的查询结果。在数据查询组件接收服务器发送的针对所述待查询数据的查询结果之后,若查询结果为预设查询内存不满足查询所述待查询数据所需的查询内存,则数据查询组件可以根据预设查询内存确定目标查询内存,其中,目标查询内存大于所述预设查询内存。接着,数据查询组件可以向服务器发送目标查询内存,以便服务器将所述目标查询内存作为所述预设查询内存,并且,在服务器将目标查询内存作为预设查询内存之后,数据查询组件可以返回执行所述向所述服务器发送查询请求,直至预设查询内存满足查询所述待查询数据所需的查询内存。可见,当预设查询内存不满足查询待查询数据所需的查询内存时,便可以通过终端中的数据查询组件根据预设查询内存确定目标查询内存,以及向服务器发送目标查询内存,以实现自动增大预设查询内存的内存大小,而不需要用户通过人工设置的方式增大预设查询内存的内存大小,这样,避免了用户需要对预设查询内存进行多次重新设置,从而提高了用户查询待查询数据的效率,并且提高了用户对于查询数据的体验。
基于以上实施例提供的一种基于Impala的查询方法,本申请实施例还提供了一种基于Impala的查询装置,下面结合附图来详细说明其工作原理。
参见图3,该图为本申请实施例提供的一种基于Impala的查询装置的结构示意图。
本实施例提供的一种基于Impala的查询装置,所述装置包括:
第一发送单元301,用于所述数据查询组件获取待查询数据,并向服务器发送查询请求,所述查询请求包括所述待查询数据,以便所述服务器根据所述待查询数据进行数据查询,确定针对所述待查询数据的查询结果;
接收单元302,用于所述数据查询组件接收所述服务器发送的针对所述待查询数据的查询结果;
确定单元303,用于若所述查询结果为预设查询内存不满足查询所述待查询数据所需的查询内存,则所述数据查询组件根据所述预设查询内存确定目标查询内存,所述目标查询内存大于所述预设查询内存;
第二发送单元304,用于所述数据查询组件向所述服务器发送所述目标查询内存,以便所述服务器将所述目标查询内存作为所述预设查询内存;并且,所述数据查询组件返回执行所述向所述服务器发送查询请求,直至预设查询内存满足查询所述待查询数据所需的查询内存。
可选的,所述目标查询内存是根据所述预设查询内存的内存大小确定的。
可选的,所述服务器中保存有所述查询结果与所述预设查询内存的对应关系,所述装置还包括:
获取单元,用于所述数据查询组件向所述服务器发送获取内存请求,所述获取内存请求包括所述查询结果,以便所述服务器根据所述查询结果与所述预设查询内存的对应关系,向所述数据查询组件返回所述查询结果对应的预设查询内存。
可选的,所述查询结果包括所述预设查询内存。
可选的,所述装置还包括:
展示单元,用于若所述查询结果为所述待查询数据对应的查询数据,所述终端展示所述查询数据。
可选的,所述数据查询组件包括java数据库连接组件。
根据本发明的实施例,还提供了一种存储介质。该存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述查询方法。
根据本发明的实施例,还提供了一种处理器。该处理器用于运行程序,其中,所述程序运行时执行上述查询方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、***或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于Impala的查询方法,其特征在于,所述方法应用于终端,所述终端包括数据查询组件,所述方法包括:
所述数据查询组件获取待查询数据,并向服务器发送查询请求,所述查询请求包括所述待查询数据,以便所述服务器根据所述待查询数据进行数据查询,确定针对所述待查询数据的查询结果;
所述数据查询组件接收所述服务器发送的针对所述待查询数据的查询结果;
若所述查询结果为预设查询内存不满足查询所述待查询数据所需的查询内存,则所述数据查询组件根据所述预设查询内存确定目标查询内存,所述目标查询内存大于所述预设查询内存;
所述数据查询组件向所述服务器发送所述目标查询内存,以便所述服务器将所述目标查询内存作为所述预设查询内存;并且,所述数据查询组件返回执行所述向所述服务器发送查询请求,直至预设查询内存满足查询所述待查询数据所需的查询内存。
2.根据权利要求1所述的方法,其特征在于,所述目标查询内存是根据所述预设查询内存的内存大小确定的。
3.根据权利要求1或2所述的方法,其特征在于,所述服务器中保存有所述查询结果与所述预设查询内存的对应关系,在所述数据查询组件根据所述预设查询内存确定目标查询内存之前,所述方法还包括:
所述数据查询组件向所述服务器发送获取内存请求,所述获取内存请求包括所述查询结果,以便所述服务器根据所述查询结果与所述预设查询内存的对应关系,向所述数据查询组件返回所述查询结果对应的预设查询内存。
4.根据权利要求1或2所述的方法,其特征在于,所述查询结果包括所述预设查询内存。
5.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
若所述查询结果为所述待查询数据对应的查询数据,所述终端展示所述查询数据。
6.根据权利要求1或2所述的方法,其特征在于,所述数据查询组件包括java数据库连接组件。
7.一种基于Impala的查询装置,其特征在于,所述装置部署在终端,所述终端包括数据查询组件,所述装置包括:
第一发送单元,用于所述数据查询组件获取待查询数据,并向服务器发送查询请求,所述查询请求包括所述待查询数据,以便所述服务器根据所述待查询数据进行数据查询,确定针对所述待查询数据的查询结果;
接收单元,用于所述数据查询组件接收所述服务器发送的针对所述待查询数据的查询结果;
确定单元,用于若所述查询结果为预设查询内存不满足查询所述待查询数据所需的查询内存,则所述数据查询组件根据所述预设查询内存确定目标查询内存,所述目标查询内存大于所述预设查询内存;
第二发送单元,用于所述数据查询组件向所述服务器发送所述目标查询内存,以便所述服务器将所述目标查询内存作为所述预设查询内存;并且,所述数据查询组件返回执行所述向所述服务器发送查询请求,直至预设查询内存满足查询所述待查询数据所需的查询内存。
8.根据权利要求7所述的装置,其特征在于,所述目标查询内存是根据所述预设查询内存的内存大小确定的。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行如权利要求1-6中任一项所述的查询方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行如权利要求1-6中任一项所述的查询方法。
CN201811162725.5A 2018-09-30 2018-09-30 一种基于Impala的查询方法和装置 Active CN110968599B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811162725.5A CN110968599B (zh) 2018-09-30 2018-09-30 一种基于Impala的查询方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811162725.5A CN110968599B (zh) 2018-09-30 2018-09-30 一种基于Impala的查询方法和装置

Publications (2)

Publication Number Publication Date
CN110968599A CN110968599A (zh) 2020-04-07
CN110968599B true CN110968599B (zh) 2023-04-07

Family

ID=70029325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811162725.5A Active CN110968599B (zh) 2018-09-30 2018-09-30 一种基于Impala的查询方法和装置

Country Status (1)

Country Link
CN (1) CN110968599B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103257936A (zh) * 2012-02-17 2013-08-21 联想(北京)有限公司 内存映射方法和内存映射模块
US8806169B1 (en) * 2013-02-18 2014-08-12 Huawei Technologies Co., Ltd. Memory management method, memory management apparatus and NUMA system
CN104169891A (zh) * 2013-10-29 2014-11-26 华为技术有限公司 一种访问内存的方法及设备
CN105718455A (zh) * 2014-12-01 2016-06-29 阿里巴巴集团控股有限公司 一种数据查询方法及装置
CN107239570A (zh) * 2017-06-27 2017-10-10 联想(北京)有限公司 数据处理方法及服务器集群

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103257936A (zh) * 2012-02-17 2013-08-21 联想(北京)有限公司 内存映射方法和内存映射模块
US8806169B1 (en) * 2013-02-18 2014-08-12 Huawei Technologies Co., Ltd. Memory management method, memory management apparatus and NUMA system
CN104169891A (zh) * 2013-10-29 2014-11-26 华为技术有限公司 一种访问内存的方法及设备
CN105718455A (zh) * 2014-12-01 2016-06-29 阿里巴巴集团控股有限公司 一种数据查询方法及装置
CN107239570A (zh) * 2017-06-27 2017-10-10 联想(北京)有限公司 数据处理方法及服务器集群

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
spark sql:relational data processing in spark;MichaelArmbrust等;《proceedings of the 2015 ACM SIGMOD international conference on management of data》;20150531;1383-1394 *
大数据查询技术应用策略探讨;谭志远;《移动通信》;20180715;第42卷(第7期);7-11 *

Also Published As

Publication number Publication date
CN110968599A (zh) 2020-04-07

Similar Documents

Publication Publication Date Title
CN110287197B (zh) 一种数据存储方法、迁移方法及装置
CN108268609B (zh) 一种文件路径的建立、访问方法和装置
CN107016016B (zh) 一种数据处理的方法及装置
CN106897342B (zh) 一种数据校验方法和设备
CN109561128B (zh) 数据传输方法和装置
CN111131352A (zh) 主题切换方法及装置
CN110781386A (zh) 信息推荐、布隆过滤器的创建方法及装置
CN112579118A (zh) 微服务的配置信息更新方法、装置、***、介质和设备
CN110764930B (zh) 基于消息模式的请求或应答处理方法及装置
CN106878365B (zh) 一种数据同步方法和设备
CN113254163B (zh) 区块链数据的处理方法及装置
CN114691732A (zh) 定位异常交易的方法、装置、非易失性存储介质与处理器
CN108647102B (zh) 异构***的服务请求处理方法、装置和电子设备
CN107301097B (zh) 一种调用java对象、java对象的引用地址信息的存储方法及装置
CN112559565A (zh) 一种异常检测方法、***及装置
CN110968599B (zh) 一种基于Impala的查询方法和装置
CN106855821B (zh) 一种分布式事务处理方法及装置
CN108881367B (zh) 一种业务请求处理方法、装置及设备
CN112527792A (zh) 一种数据存储方法、装置、设备和存储介质
CN112579877A (zh) 信源***的控制方法、装置、存储介质和设备
CN109947843B (zh) 区块链中时间的确定方法、装置及***
CN110019497B (zh) 一种数据读取方法及装置
CN107291439B (zh) 一种目标增量数据构建方法及装置
CN115033551A (zh) 一种数据库迁移方法、装置、电子设备及存储介质
CN112749189A (zh) 数据查询方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant