CN112527843B - 数据查询方法、装置、终端设备和存储介质 - Google Patents
数据查询方法、装置、终端设备和存储介质 Download PDFInfo
- Publication number
- CN112527843B CN112527843B CN202011506379.5A CN202011506379A CN112527843B CN 112527843 B CN112527843 B CN 112527843B CN 202011506379 A CN202011506379 A CN 202011506379A CN 112527843 B CN112527843 B CN 112527843B
- Authority
- CN
- China
- Prior art keywords
- data
- instruction
- query
- queried
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
- G06F16/287—Visualization; Browsing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请适用于信息技术领域,提供了一种数据查询方法、装置、终端设备和存储介质。该数据查询方法包括:获取待查询指令;根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息;根据所述目标数据信息从指定服务器的最近最少使用LRU缓存中获取对应的目标缓存数据,并将所述目标缓存数据展示在指定的数据查询结果界面中。本申请先构建出记录查询频率大于设定阈值的各个数据查询指令与待查询数据之间对应关系的指令索引表,在获得查询指令之后,可以根据该指令索引表确定出目标数据信息,然后根据目标数据信息从LRU缓存中获取目标缓存数据以快速反馈查询结果,能够提高数据查询的效率。
Description
技术领域
本申请属于信息处理技术领域,尤其涉及一种数据查询方法、装置、终端设备和存储介质。
背景技术
目前分布式***架构中各服务都进行了功能拆分,当需要查询数据时,都是通过表象性状态转变接口到相应服务器中进行查询,提供查询功能的服务器也会到自己的数据库中进行搜索,在查询请求高度并发的情况下,网络的I/O和服务器的磁盘I/O消耗过大,导致数据查询效率大幅降低。
发明内容
有鉴于此,本申请实施例提供了一种数据查询方法、装置、终端设备和存储介质,可以提高数据查询的效率。
第一方面,本申请实施例提供了一种数据查询方法,包括:
获取待查询指令;
根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息,所述指令索引表记录查询频率大于设定阈值的各个数据查询指令和待查询数据的数据信息之间的对应关系;
根据所述目标数据信息从指定服务器的最近最少使用LRU缓存中获取对应的目标缓存数据,并将所述目标缓存数据展示在指定的数据查询结果界面中。
本申请实施例通过先构建出记录查询频率大于设定阈值的各个数据查询指令与待查询数据之间的对应关系的指令索引表,然后当获得查询指令后,根据指令索引表确定出目标数据信息,然后根据目标数据信息从LRU缓存中获取目标缓存数据以快速反馈查询结果,能够提高数据查询的效率。
进一步的,所述指令索引表通过以下步骤构建:
获取数据查询的历史数据;
根据所述历史数据查找出查询频率大于设定阈值的各个数据查询指令;
根据每个所述数据查询指令和待查询数据的数据信息之间的对应关系构建所述指令索引表。
通过对数据查询的历史数据进行筛选,能够准确查找到查询频率大于设定阈值的各个数据查询指令,然后通过这些数据查询指令和待查询数据的数据信息之间的对应关系,即可构建出指令索引表。
进一步的,在根据每个所述数据查询指令和待查询数据的数据信息之间的对应关系构建所述指令索引表之后,还包括:
根据所述指令索引表记录的各个数据信息获取对应的各个待查询数据,并将获取到的各个待查询数据缓存至所述指定服务器的LRU缓存中。
缓存中的数据读取效率远大于内存中的数据读取效率,因此在指令索引表构建完成后,可以将指令索引表中各个数据信息对应的各个待查询数据缓存在指定服务器的LRU缓存中,进一步提高数据查询的效率。
进一步的,获取预先构建的待查询队列;
将所述待查询队列中查询优先级别最高的数据查询指令确定为所述待查询指令,并获取所述待查询指令。
通过先构建出待查询队列,在进行数据查询时,按照待查询队列中每个数据查询指令的优先级别选取出待查询指令,即只有在某一数据查询指令确定为待查询指令之后,才会选取该数据查询指令执行数据查询操作,该方法不同于并发的数据查询请求,每次只会执行单个数据查询的操作,因此不会导致网络I/O和磁盘I/O的过多占用的问题,能够避免各数据查询之间的冲突,提高数据查询的可靠性。
进一步的,在根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息之后,还包括:
若根据所述指令索引表未查找到与所述待查询指令对应的目标数据信息,则根据所述待查询指令遍历所述指定服务器的数据库以获取对应的目标存储数据,并将所述目标存储数据展示在所述数据查询结果界面中。
待查询指令也可能是查询频率不高的数据查询指令,对于这样的待查询指令,无法根据指令索引表查找出对应的目标数据信息。该情况下,可以根据待查询指令从指定服务器的数据库中查找是否有对应的目标存储数据,虽然该过程查询耗时相对较久,但是能够提高数据查询的可靠性。
进一步的,所述数据库中的数据通过以下步骤采集:
利用流量镜像的方法从网络出入口采集流经的设备的日志数据以及所述日志数据对应的日志属性信息,并将所述日志数据和所述日志属性信息存储至所述数据库中。
存储在数据库中的数据,是通过流量镜像的方法进行采集的,通过在网络输入口进行部署,能够确保数据采集的全面性,其中,采集的数据包括流经设备的日志数据和日志属性信息。
进一步的,将所述目标缓存数据展示在指定的数据查询结果界面中,包括:
将所述目标缓存数据转化为指定样式的图表,并将所述图表展示在所述数据查询结果界面中
在获得目标缓存数据之后,通过将其转换为目标展示样式的图表,然后将图表展示在是定数据查询结果的界面中,能够提高数据查询结果的可视化。
第二方面,本申请实施例提供了一种数据查询装置,包括:
查询指令获取模块,用于获取待查询指令;
目标数据信息查找模块,用于根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息,所述指令索引表记录查询频率大于设定阈值的各个数据查询指令和待查询数据的数据信息之间的对应关系;
查询结果第一反馈模块,用于根据所述目标数据信息从指定服务器的最近最少使用LRU缓存中获取对应的目标缓存数据,并将所述目标缓存数据展示在指定的数据查询结果界面中。
第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例第一方面提出的数据查询方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本申请实施例第一方面提出的数据查询方法。
本申请实施例与现有技术相比存在的有益效果是:可以快速反馈查询结果,提高数据查询的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据查询方法的流程图;
图2是本申请实施例提供的一种数据查询装置的结构图;
图3是本申请实施例提供的一种终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定装置结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请实施例中,“一个或多个”是指一个、两个或两个以上;“和/或”,描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请实施例提供的数据查询方法可以应用于手机、平板电脑、医疗设备、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等终端设备或者服务器上,本申请实施例对终端设备和服务器的具体类型不作任何限制。
大数据时代下,对于数据的检索效率至关重要,对于长时间运行并实时采集数据进行分析的设备来说,更注重于对日志数据的查询效率,目前分布式***架构中各服务都进行了功能拆分,当需要数据查询时都需要走RESTful接口到相应服务器中进行查询,提供查询功能的服务器也会到自己的数据库中进行检索,高并发情况下网络I/O和磁盘I/O消耗过大,导致数据查询效率大幅降低。针对该问题,本申请提出一种数据查询方法,能够提高数据的查询效率。
请参阅图1,图1示出了本申请提供的一种数据查询方法的流程图,包括:
101、获取待查询指令;
首先,获取待查询指令,待查询指令是指获取后立即进行查询操作的数据查询指令,数据查询是用户通过查询界面输入的相关查询信息通过数据转换成的指令。
在一个实施例中,待查询指令可以通过以下步骤确定:
获取预先构建的待查询队列;
将所述待查询队列中查询优先级别最高的数据查询指令确定为所述待查询指令。
本申请的数据查询方式是采用队列式查询,即预先构建出待查询队列,当接收到相关查询信息转换成的数据查询指令,会先放置到待查询队列中,然后按照数据查询指令接收到的先后顺序,赋予待查询队列中的每个数据查询指令对应的优先级别,即先接收到的数据查询指令的优先级别高于接收到的数据查询指令,然后根据优先级别确定出待查询指令,并获取所述待查询指令。当然,在确定每个数据查询指令的优先级别时,不仅可以将数据查询指令的接受时间作为判断标准,还可以根据数据查询指令所携带的用户标签进行优先级别的划分,例如,同时接收到普通用户和VIP用户的数据查询指令,可以将VIP用户的数据查询指令确定为优先级别更高的数据查询指令。通过用户标签和数据查询指令的接收时间作为优先级别的确定标准,能够提高VIP用户的体验,增强用户粘度。
102、根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息,所述指令索引表记录查询频率大于设定阈值的各个数据查询指令和待查询数据的数据信息之间的对应关系;
预先构建的指令索引表中,会记录查询频率大于设定阈值的各个数据查询指令和待查询数据之间的对应关系,因此在获取待查询指令之后,可以从指令索引表中进行查找是否记录有和待查询指令对应的目标数据信息。
具体的,在一个实施例中,所述指令索引表通过以下步骤构建:
获取数据查询的历史数据;
根据所述历史数据查找出查询频率大于设定阈值的各个数据查询指令;
根据每个所述数据查询指令和待查询数据的数据信息之间的对应关系构建所述指令索引表。
通过对数据查询的历史数据进行分析,将每个数据查询指令的查询频率统计出来,和设定的阈值进行比较,筛选出查询频率大于设定阈值的数据查询指令(可看筛选出来的数据查询指令作高频数据查询指令,为筛选出来的数据查询指令可以视为低频数据查询指令),然后根据每个数据查询指令和待查询数据的数据信息之间的对应关系,即可构建出指令索引表。优选的,在统计出每个数据查询指令的查询频率之后,还可以根据数据查询指令中携带的用户信息构建出数据查询的用户画像,然后可以通过用户画像对获取到待查询指令时优先进行判断,如果用户画像显示,该用户经常通过高频的数据查询指令进行查询,那么在获取到待查询指令后,按照本方法进行数据查询操作;但如果用户画像显示,该用户经常通过低频的数据查询指令进行查询,那么在获取到待查询指令之后,直接根据待查询指令遍历指定服务器的数据库,查找是否有对应的目标存储数据。通过用户画像预先进行判断,能够较为准确的判断出用户输入的数据查询指令是高频数据查询指令还是低频数据查询指令,通过不同频率的数据查询指令选择适当的数据查询操作,能够进一步提高数据的查询效率,提高数据查询的可靠性。
为了进一步提高数据的查询效率,在一个实施例中,在根据每个所述数据查询指令和待查询数据的数据信息之间的对应关系构建所述指令索引表之后,还包括:
根据所述指令索引表记录的各个数据信息获取对应的各个待查询数据,并将获取到的各个待查询数据缓存至所述指定服务器的LRU缓存中。
缓存是指数据交换的缓冲存储区,当某一硬件要读取数据时,会首先从缓存中查找需要的数据,找到了则直接执行,找不到的话则从内存中查找。由于缓存的运行速度比内存快得多,故缓存的作用就是帮助硬件更快地运行。因此,在构建出指令索引表之后,可以获取指令索引表中记录的各个数据信息对应的各个待查询数据,将其缓存至指定服务器的LRU缓存中,以提高数据的查询效率。
在本申请实施例中,之所以选择LRU缓存,是因为计算机的缓存容量有限,如果缓存满了就要删除一些内容,给新内容腾位置。根据经验,会优先选择删掉没什么用的缓存,而把有用的数据继续留在缓存里,方便之后继续使用。而LRU缓存淘汰算法就是一种常用的“有用”数据的判别策略。LRU的全称是Least Recently Used,即认为最近使用过的数据应该是“有用”数据,很久都没用过的数据应该是无用的,内存满了就优先删除那些很久没用过的数据。采用这种缓存,可以随着查询方法不断的优化指令索引表,从而筛选出真正的高频的数据查询指令,使得本申请的数据查询方法变得更加可靠。
由于指令索引表中记录的都是查询频率较高的数据查询指令对应的目标数据信息,但是也有可能获得的待查询指令是低频的数据查询指令。该情况下,会出现通过数据查询指令无法查找到对应的目标数据查询信息。此时,可以通过对指定的服务器的内存进行查询,是否存在对应的目标存储数据,从而提高数据查询的可靠性。
在一个实施例中,在根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息之后,还包括:
若根据所述指令索引表未查找到与所述待查询指令对应的目标数据信息,则根据所述待查询指令遍历所述指定服务器的数据库以获取对应的目标存储数据,并将所述目标存储数据展示在所述数据查询结果界面中。
当根据指令索引表未查找到和待查询指令对应的目标数据信息,那么该查询指令可能是一个低频的数据查询指令,因此可以根据该查询指令遍历指定服务器的内存,即数据库,以获取对应的目标存储数据,并在获取到目标存储数据之后,将目标存储数据展示在数据查询结果界面中。
在一个实施例中,指定服务器的数据库中的存储数据可以通过以下步骤采集:
利用流量镜像的方法从网络出入口采集流经的设备的日志数据以及所述日志数据对应的日志属性信息,并将所述日志数据和所述日志属性信息存储至所述数据库中。
流量镜像(Mirroring/traffic-shadow),也叫作影子流量,是指通过一定的配置将线上的真实流量复制一份到镜像服务中去,通过流量镜像转发以达到在不影响线上服务的情况下对流量或请求内容做具体分析的目的,它的设计思想是只做转发而不接收响应(fire and forget)。具体的,在本事实例中,通过在网络的出口和入口进行部署,采集流经的设备的日志数据和日志数日志属性信息,并将采集到的数据存储到指定服务器的数据库中。在指令索引表构建完成之后,就可以根据该表中记录的待查询数据的信息从数据库中将对应的数据缓存至LRU缓存中,以待查询。
103、根据所述目标数据信息从指定服务器的最近最少使用LRU缓存中获取对应的目标缓存数据,并将所述目标缓存数据展示在指定的数据查询结果界面中。
在确定出目标数据信息之后,即可从指定服务器的LRU缓存中获取对应的目标缓存数据,并将目标缓存数据展示在指定的数据查询结果界面中。
为了便于用户直观的了解查询结果,在一个实施例中,将所述目标缓存数据展示在指定的数据查询结果界面中,包括:
将所述目标缓存数据转化为指定样式的图表,并将所述图表展示在所述数据查询结果界面中。
通过对目标缓存数据进行转化,转化为指定样式的图表,将数据结果可视化后展示在指定的数据查询结果界面中,更便于客户直观的了解查询结果。
本申请先构建出记录查询频率大于设定阈值的各个数据查询指令与待查询数据之间的对应关系的指令索引表,然后当获得查询指令后,根据指令索引表确定出目标数据信息,然后根据目标数据信息从LRU缓存中获取目标缓存数据以快速反馈查询结果,能够提高数据查询的效率。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图2示出了本申请实施例提供的数据查询装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图2,该装置包括:
查询指令获取模块201,用于获取待查询指令;
目标数据信息查找模块202,用于根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息,所述指令索引表记录查询频率大于设定阈值的各个数据查询指令和待查询数据的数据信息之间的对应关系;
查询结果第一反馈模块203,用于根据所述目标数据信息从指定服务器的最近最少使用LRU缓存中获取对应的目标缓存数据,并将所述目标缓存数据展示在指定的数据查询结果界面中。
进一步的,所述装置还可以包括:
历史数据获取模块,用于获取数据查询的历史数据;
数据查询指令查找模块,用于根据所述历史数据查找出查询频率大于设定阈值的各个数据查询指令;
指令索引表构建模块,用于根据每个所述数据查询指令和待查询数据的数据信息之间的对应关系构建所述指令索引表。
进一步的,所述装置还可以包括:
在根据每个所述数据查询指令和待查询数据的数据信息之间的对应关系构建所述指令索引表之后,根据所述指令索引表记录的各个数据信息获取对应的各个待查询数据,并将获取到的各个待查询数据缓存至所述指定服务器的LRU缓存中。
进一步的,所述查询指令获取模块201可以包括:
待查询队列获取模块,用于获取预先构建的待查询队列;
待查询指令确定模块,用于将所述待查询队列中查询优先级别最高的数据查询指令确定为所述待查询指令,并获取所述待查询指令。
进一步的,所述装置还可以包括:
查询结果第二反馈模块,用于在根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息之后,若根据所述指令索引表未查找到与所述待查询指令对应的目标数据信息,则根据所述待查询指令遍历所述指定服务器的数据库以获取对应的目标存储数据,并将所述目标存储数据展示在所述数据查询结果界面中。
进一步的,所述查询结果第二反馈模块可以包括:
存储数据采集单元,用于利用流量镜像的方法从网络出入口采集流经的设备的日志数据以及所述日志数据对应的日志属性信息,并将所述日志数据和所述日志属性信息存储至所述数据库中。
进一步的,查询结果第一反馈模块203可以包括:
查询结果第一反馈单元,用于将所述目标缓存数据转化为指定样式的图表,并将所述图表展示在所述数据查询结果界面中。
本申请实施例还提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请提出的各个数据查询方法的步骤。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本申请提出的各个数据查询方法的步骤。
本申请实施例还提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行本申请提出的各个数据查询方法的步骤。
图3为本申请一实施例提供的终端设备的结构示意图。如图3所示,该实施例的终端设备3包括:至少一个处理器30(图3中仅示出一个)处理器、存储器31以及存储在所述存储器31中并可在所述至少一个处理器30上运行的计算机程序32,所述处理器30执行所述计算机程序32时实现上述任意浏览器驱动的配置方法实施例中的步骤。
所述终端设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备,以及智能手表、智能手环等可穿戴设备。该终端设备可包括,但不仅限于,处理器30、存储器31。本领域技术人员可以理解,图3仅仅是终端设备3的举例,并不构成对终端设备3的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器30可以是中央处理单元(Central Processing Unit,CPU),该处理器30还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器31在一些实施例中可以是所述终端设备3的内部存储单元,例如终端设备3的硬盘或内存。所述存储器31在另一些实施例中也可以是所述终端设备3的外部存储设备,例如所述终端设备3上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器31还可以既包括所述终端设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储操作装置、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器31还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (9)
1.一种数据查询方法,其特征在于,包括:
获取待查询指令;
根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息,所述指令索引表记录查询频率大于设定阈值的各个数据查询指令和待查询数据的数据信息之间的对应关系;
根据所述目标数据信息从指定服务器的最近最少使用LRU缓存中获取对应的目标缓存数据,并将所述目标缓存数据展示在指定的数据查询结果界面中;
其中,所述获取待查询指令,包括:
获取预先构建的待查询队列;
针对所述查询队列中的每个队列查询指令,基于所述队列查询指令所携带的用户标签确定所述队列查询指令的查询优先级,所述用户标签包括普通用户和VIP用户,用户标签为普通用户的所述队列查询指令的查询优先级比用户标签为VIP用户的所述队列查询指令的查询优先级低;
将所述查询优先级最高的所述队列查询指令确定为所述待查询指令,并获取所述待查询指令;
在所述根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息之前,还包括:
基于所述待查询指令中所携带的用户信息构建所述待查询指令对应的用户画像;
基于所述用户画像确定所述待查询指令是否为高频的数据查询指令;
若所述待查询指令为高频的数据查询指令,则执行所述根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息的步骤及其后续步骤;
若所述待查询指令不为高频的数据查询指令,则基于所述待查询指令遍历所述指定服务器的数据库,以获取所述待查询指令所对应的数据查询结果。
2.如权利要求1所述的数据查询方法,其特征在于,所述指令索引表通过以下步骤构建:
获取数据查询的历史数据;
根据所述历史数据查找出查询频率大于设定阈值的各个数据查询指令;
根据每个所述数据查询指令和待查询数据的数据信息之间的对应关系构建所述指令索引表。
3.如权利要求2所述的数据查询方法,其特征在于,在根据每个所述数据查询指令和待查询数据的数据信息之间的对应关系构建所述指令索引表之后,还包括:
根据所述指令索引表记录的各个数据信息获取对应的各个待查询数据,并将获取到的各个待查询数据缓存至所述指定服务器的LRU缓存中。
4.如权利要求1所述的数据查询方法,其特征在于,在根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息之后,还包括:
若根据所述指令索引表未查找到与所述待查询指令对应的目标数据信息,则根据所述待查询指令遍历所述指定服务器的数据库以获取对应的目标存储数据,并将所述目标存储数据展示在所述数据查询结果界面中。
5.如权利要求4所述的数据查询方法,其特征在于,所述数据库中的数据通过以下步骤采集:
利用流量镜像的方法从网络出入口采集流经的设备的日志数据以及所述日志数据对应的日志属性信息,并将所述日志数据和所述日志属性信息存储至所述数据库中。
6.如权利要求1至5中任一项所述的数据查询方法,其特征在于,将所述目标缓存数据展示在指定的数据查询结果界面中,包括:
将所述目标缓存数据转化为指定样式的图表,并将所述图表展示在所述数据查询结果界面中。
7.一种数据查询装置,其特征在于,包括:
查询指令获取模块,用于获取待查询指令;
目标数据信息查找模块,用于根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息,所述指令索引表记录查询频率大于设定阈值的各个数据查询指令和待查询数据的数据信息之间的对应关系;
查询结果第一反馈模块,用于根据所述目标数据信息从指定服务器的最近最少使用LRU缓存中获取对应的目标缓存数据,并将所述目标缓存数据展示在指定的数据查询结果界面中;
其中,所述查询指令获取模块,包括:
待查询队列获取单元,用于获取预先构建的待查询队列;
查询优先级确定单元,用于针对所述查询队列中的每个队列查询指令,基于所述队列查询指令所携带的用户标签确定所述队列查询指令的查询优先级,所述用户标签包括普通用户和VIP用户,用户标签为普通用户的所述队列查询指令的比用户标签为VIP用户的所述队列查询指令的查询优先级低;
查询队列获取单元,用于将所述查询优先级最高的所述队列查询指令确定为所述待查询指令,并获取所述待查询指令;
所述数据查询装置还包括:
用户画像构建模块,用于基于所述待查询指令中所携带的用户信息构建所述待查询指令对应的用户画像;
高频指令确定模块,用于基于所述用户画像确定所述待查询指令是否为高频的数据查询指令;若所述待查询指令为高频的数据查询指令,则执行所述根据预先构建的指令索引表查找与所述待查询指令对应的目标数据信息的步骤及其后续步骤;若所述待查询指令不为高频的数据查询指令,则基于所述待查询指令遍历所述指定服务器的数据库,以获取所述待查询指令所对应的数据查询结果。
8.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的数据查询方法。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的数据查询方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011506379.5A CN112527843B (zh) | 2020-12-18 | 2020-12-18 | 数据查询方法、装置、终端设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011506379.5A CN112527843B (zh) | 2020-12-18 | 2020-12-18 | 数据查询方法、装置、终端设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112527843A CN112527843A (zh) | 2021-03-19 |
CN112527843B true CN112527843B (zh) | 2023-04-14 |
Family
ID=75001903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011506379.5A Active CN112527843B (zh) | 2020-12-18 | 2020-12-18 | 数据查询方法、装置、终端设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112527843B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113076462B (zh) * | 2021-03-25 | 2024-04-30 | 恒安嘉新(北京)科技股份公司 | 网络会话数据查询方法、装置、设备及介质 |
CN113282587B (zh) * | 2021-06-01 | 2023-06-16 | 青岛海尔科技有限公司 | 状态数据的传输方法及装置、存储介质、电子装置 |
CN113517047A (zh) * | 2021-06-08 | 2021-10-19 | 联仁健康医疗大数据科技股份有限公司 | 医学数据的获取方法、装置、电子设备及存储介质 |
CN113836181A (zh) * | 2021-09-01 | 2021-12-24 | 北京来也网络科技有限公司 | 结合rpa和ai的数据查询方法、装置、电子设备和存储介质 |
CN115361032B (zh) * | 2022-08-17 | 2023-04-18 | 佛山市朗盛通讯设备有限公司 | 一种用于5g通信的天线单元 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102857369A (zh) * | 2012-08-07 | 2013-01-02 | 北京鼎震科技有限责任公司 | 一种网站日志保存***及方法和装置 |
CN109657174A (zh) * | 2018-12-25 | 2019-04-19 | 北京百度网讯科技有限公司 | 用于更新数据的方法和装置 |
CN111104402A (zh) * | 2019-11-29 | 2020-05-05 | 北京文渊佳科技有限公司 | 查找数据的方法、装置、电子设备及介质 |
CN111814045A (zh) * | 2020-06-30 | 2020-10-23 | 平安科技(深圳)有限公司 | 数据查询方法、装置、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10990573B2 (en) * | 2019-01-16 | 2021-04-27 | Syscom Computer Engineering Co. | Fast index creation system for cloud big data database |
-
2020
- 2020-12-18 CN CN202011506379.5A patent/CN112527843B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102857369A (zh) * | 2012-08-07 | 2013-01-02 | 北京鼎震科技有限责任公司 | 一种网站日志保存***及方法和装置 |
CN109657174A (zh) * | 2018-12-25 | 2019-04-19 | 北京百度网讯科技有限公司 | 用于更新数据的方法和装置 |
CN111104402A (zh) * | 2019-11-29 | 2020-05-05 | 北京文渊佳科技有限公司 | 查找数据的方法、装置、电子设备及介质 |
CN111814045A (zh) * | 2020-06-30 | 2020-10-23 | 平安科技(深圳)有限公司 | 数据查询方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112527843A (zh) | 2021-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112527843B (zh) | 数据查询方法、装置、终端设备和存储介质 | |
CN110046133B (zh) | 一种存储文件***的元数据管理方法、装置及*** | |
US9374375B2 (en) | Systems and methods for publishing datasets | |
CN111198976B (zh) | 云上资产关联分析***、方法、电子设备及介质 | |
US8725762B2 (en) | Preventing leakage of information over a network | |
US9280551B2 (en) | De-duplication deployment planning | |
CN111813756B (zh) | 一种日志检索***、方法、装置、电子设备及存储介质 | |
CN109241084B (zh) | 数据的查询方法、终端设备及介质 | |
CN109446225A (zh) | 数据缓存方法、装置、计算机设备及存储介质 | |
CN107748772B (zh) | 一种商标识别方法及装置 | |
CN111414410A (zh) | 数据处理方法、装置、设备和存储介质 | |
CN111061802B (zh) | 一种电力数据管理处理方法、装置及存储介质 | |
CN111858581B (zh) | 一种分页查询的方法、装置、存储介质和电子设备 | |
CN111753141B (zh) | 一种数据管理方法及相关设备 | |
US9870404B2 (en) | Computer system, data management method, and recording medium storing program | |
CN110008243A (zh) | 一种数据表处理方法及装置 | |
CN103473290B (zh) | 兴趣点的属性数据的处理方法及装置 | |
CN113312410B (zh) | 数据图谱的构建方法、数据查询方法及终端设备 | |
CN115269519A (zh) | 一种日志检测方法、装置及电子设备 | |
CN117631955A (zh) | 数据缩减方法、装置及*** | |
CN110245208B (zh) | 一种基于大数据存储的检索分析方法、装置及介质 | |
CN112667682A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN111782588A (zh) | 一种文件读取方法、装置、设备和介质 | |
CN112434195A (zh) | 数据解析方法、装置、电子设备及计算机可读存储介质 | |
CN112416699A (zh) | 指标数据收集方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |