CN113723696A - 一种排名分析函数处理方法、装置、电子设备及存储介质 - Google Patents
一种排名分析函数处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113723696A CN113723696A CN202111042270.5A CN202111042270A CN113723696A CN 113723696 A CN113723696 A CN 113723696A CN 202111042270 A CN202111042270 A CN 202111042270A CN 113723696 A CN113723696 A CN 113723696A
- Authority
- CN
- China
- Prior art keywords
- ranking
- data
- function
- preset
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 110
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000014759 maintenance of location Effects 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000009826 distribution Methods 0.000 claims abstract description 43
- 238000005457 optimization Methods 0.000 claims abstract description 30
- 238000001914 filtration Methods 0.000 claims description 50
- 238000004891 communication Methods 0.000 claims description 17
- 238000012217 deletion Methods 0.000 claims description 15
- 230000037430 deletion Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000013138 pruning Methods 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 212
- 238000010586 diagram Methods 0.000 description 5
- 230000000717 retained effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种排名分析函数处理方法、装置、电子设备及存储介质,该方法包括:检测到目标执行计划满足预设排名函数优化条件,将待排名数据随机分发至多线程***;对待排名数据做预设排名函数处理得到初始排名数据,根据预设排名函数数据保留项对初始排名数据进行删减,得到初始删减排名数据;汇总初始删减排名数据得到中间排名数据,将中间排名数据分发至多个线程;对中间排名数据按组别信息做预设排名函数处理,得到最终排名数据,根据预设排名函数数据保留项对最终排名数据进行删减,得到目标执行计划执行结果。该方法解决了在数据分析的过程中,数据分发性能消耗大的问题,实现分析函数的处理过程中有效提高分析函数性能的效果。
Description
技术领域
本发明实施例涉及数据分析技术,尤其涉及一种排名分析函数处理方法、装置、电子设备及存储介质。
背景技术
在进行数据分析时经常出现各种需求,例如,学生成绩排名、业绩排名等。由于在数据分析的过程中,所采用的分析函数是在分组的基础上,对每组数据进行计算,并且返回组内所有行,会导致数据分发时,在数据量很大的情况下,整个分发过程较为复杂。
一般在多线程***中,组与组之间并行的前提是需要对数据进行分发,将相同组的数据给同一个线程进行处理。
对于现有的数据分析方式,整个数据分析过程会导致数据分发时,在数据量很大的情况下,分发过程存在较大的性能消耗。因此,在数据分析的数据量很大的情况下,如果出现数据分发过程消耗时间较长,也难以加快数据分析的速度。
发明内容
本发明实施例提供一种排名分析函数处理方法、装置、设备及介质,可以解决多线程***进行数据处理过程中,涉及有删减的排名分析函数时,数据处理性能较差的问题。
第一方面,本发明实施例提供了一种排名分析函数处理方法,其特征在于,包括:
检测到目标执行计划满足预设排名函数优化条件,将待排名数据随机分发至多线程***对应的多个线程,其中,所述目标执行计划中包含对应有数据保留项的预设排名函数,所述待排名数据中附带有分组的组别信息;
通过所述多个线程针对各自接收到的待排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的初始排名数据,并根据所述预设排名函数对应的数据保留项对相应的初始排名数据进行删减处理,得到初始删减排名数据;
汇总初始删减排名数据,得到中间排名数据,并将所述中间排名数据按照组别信息分发至所述多个线程,以使每个线程收到至少一个分组的所有中间排名数据;
通过所述多个线程针对各自接收到的中间排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的最终排名数据,并根据所述预设排名函数对应的数据保留项对所述最终排名数据进行删减处理,得到所述目标执行计划对应的执行结果。
第二方面,本发明实施例还提供了排名分析函数处理装置,包括:
待排名数据分发模块,用于在检测到目标执行计划满足预设排名函数优化条件后,将待排名数据随机分发至多线程***对应的多个线程,其中,所述目标执行计划中包含对应有数据保留项的预设排名函数,所述待排名数据中附带有分组的组别信息;
初始排名数据删减模块,用于通过所述多个线程针对各自接收到的待排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的初始排名数据,并根据所述预设排名函数对应的数据保留项对相应的初始排名数据进行删减处理,得到初始删减排名数据;
中间排名数据分发模块,用于汇总初始删减排名数据,得到中间排名数据,并将所述中间排名数据按照组别信息分发至所述多个线程,以使每个线程收到至少一个分组的所有中间排名数据;
最终排名数据删减模块,用于通过所述多个线程针对各自接收到的中间排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的最终排名数据,并根据所述预设排名函数对应的数据保留项对所述最终排名数据进行删减处理,得到所述目标执行计划对应的执行结果。
第三方面,本发明实施例还提供了一种排名分析函数处理设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例任一所述一种排名分析函数处理方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明实施例任一所述排名分析函数处理方法。
本发明实施例提供的一种排名分析函数处理方法、装置、设备及介质,通过改进排名分析函数,在数据分发之前对首次排名之后的排名数据进行删减,解决了在数据分析的过程中,数据分发由于数据量过大导致性能消耗大的问题,实现分析函数的处理过程中,减少每个线程的处理的数据量,有效的提高了分析函数性能的效果。
附图说明
图1为本发明实施例提供的一种排名分析函数处理方法的流程图;
图2为本发明实施例提供的另一种排名分析函数处理方法的流程图;
图3为本发明实施例提供的一种排名分析函数处理装置的结构框图;
图4是本发明实施例提供的一种排名分析函数处理设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明实施例,而非对本发明实施例的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明实施例相关的部分而非全部结构。
图1为本发明实施例一提供的一种排名分析函数处理方法的流程图,本发明实施例可适用于数据处理过程中数据分发的情况,该方法可以由一种排名分析函数处理装置来执行,该装置可以采用软件和/或硬件的方式来实现。该装置可配置于服务器中,在一个具体的实施例中,该装置可以集成在电子设备中,电子设备比如可以是服务器。以下实施例将以该装置集成在电子设备中为例进行说明,参考图1,本发明实施例的方法具体包括如下步骤:
S110、检测到目标执行计划满足预设排名函数优化条件,将待排名数据随机分发至多线程***对应的多个线程,其中,目标执行计划中包含对应有数据保留项的预设排名函数,待排名数据中附带有分组的组别信息。
其中,目标执行计划可以是执行排名函数功能的一段完整的程序代码,功能是对数据进行排名。预设排名函数可以是排名函数和密集排名函数。排名函数为每一组的行生成一个序号,如果有相同的值会生成相同的序号,并且接下来的序号是不连序的。例如两个相同的行生成序号3,那么接下来会生成序号5。密集排名函数也为每一组的行生成一个序号,不同的是如果有相同的序号,那么接下来的序号不会间断。也就是说如果两个相同的行生成序号3,那么接下来生成的序号还是4。
示例性的,对应有数据保留项的预设排名函数可理解为执行计划中预设排名函数所在结点的预设范围内存在数据保留项。其中,数据保留项可理解为以不等式的形式存在的具备数据筛选功能的项目,数据保留项中通常以常量表示需要进行保留的数据的数量。例如,一个班级所有学生成绩,需要查询前2名学生的成绩,那么这前2名学生的成绩即需要保留的数据,对应的数据保留项中的常量为2。
其中,待排名数据可以是需要进行排名的数据,例如可以是一年级,总共4个班级,查询一年级所有班级中每个班中的所有学生成绩的前2名,那么一年级所有学生成绩数据就是待排名数据。待排名数据中附带有分组的组别信息可以理解为待排名数据中附带有年龄、职位和班级等信息,例如一年级4个班级的所有学生成绩是待排名数据,其中班级可以是待排名数据中附带的组别信息。
目标执行计划中包含对应有数据保留项的预设排名函数时,如果数据分发的过程中,数据量较大会造成较大的性能消耗,而一些数据可能会在排名之后被删减掉,这部分数据的分发价值较小,减少数据分发过程中的这部分数据的分发,可以减少分发数据量,则可以减少性能消耗。所以目标执行计划中包含对应有数据保留项的预设排名函数时,则目标执行计划中的预设排名函数可以进行优化。可以预先设置优化条件,该优化条件可以用于判断目标执行计划中的预设排名函数是否具备优化的可能性。其中,优化条件例如可以是数据保留项中的常量、线程数量与待排名数据的数据量之间满足一定的关系。也可以是有数据的分发;还可以但不仅限于是预设排名函数是排名函数或者密集排名函数。当设备接收到目标执行计划对应的数据查询请求时,则需要检测目标执行计划是否满足预设排名函数优化条件。如果满足,则进行目标执行计划预设排名函数的优化。可选的,预设排名函数优化条件包括各个线程预计接收的待排名数据量大于数据保留项中的常量。
示例性的,如果目标执行计划不满足预设排名函数优化条件,则不进行目标执行计划中预设排名函数的优化。
例如,需要查询一年级各班学生成绩前30名(也即数据保留项中的常量为30),一年级学生总共200人,5个班级,需要将所有学生成绩汇总到一起,可以按照随机平均分发至8名老师。其中,一年级学生成绩即待排名数据,8名老师即8个不同的线程。8名老师预计各自接收到25名学生成绩,25小于30,不满足预计接收的待排名数据量大于数据保留项中的常量,则不需要优化。
继续上述举例,若将200个学生成绩随机平均分发给4名老师,即4个线程,则4名老师预计各自接收到50名学生成绩,50大于30,则满足预计接收的待排名数据量大于数据保留项中的常量,可以进行优化。
为便于说明,现假设需要查询一年级8个班级的200名学生成绩中的每个班级的前2名学生成绩数据,需要将所有学生成绩汇总到一起,按照随机平均分发至4名老师。所查询的每个班前2名学生成绩即数据保留项。4名老师预计各自接收到50名学生成绩,50大于2,满足优化条件。
在检测到目标执行计划满足预设排名函数优化条件后,将待排名数据分发至多线程***对应的多个线程。继续上述举例,可以将200名学生成绩作为待排名数据随机分发至多线程***对应的多个线程,也即4名老师,200名学生成绩中附带有班级的班号信息(如一年级一班、一年级二班、或一年级三班等),4名老师将各自收到散乱的50名学生成绩。
其中,线程是操作***能够进行运算调度的最小单位,它被包含在进程之中,是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。多线程***是指从软件或者硬件上实现多个线程并发执行的技术,具有多线程能力的计算机因有硬件支持而能够在同一时间执行多于一个线程,进而提升整体处理性能的***。
示例性的,数据分发是将数据传递到不同线程的过程。在进行数据分发时,可以是随机分发,也可以是按照行或列为单位进行分发,具体不做限定。
S120、通过多个线程针对各自接收到的待排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的初始排名数据,并根据预设排名函数对应的数据保留项对相应的初始排名数据进行删减处理,得到初始删减排名数据。
其中,初始排名数据可以是经过预设排名函数处理之后,所得到的排名数据,例如可以是对数字1、3、5、4、2进行排名之后得到1、2、3、4、5的排名数据,所得到的排名数据即初始排名数据。初始删减排名数据可以是经过预设排名函数处理之后,将所得到排名数据进行删减处理得到得排名数据,例如1、2、3、4、5是经过预设排名函数处理之后得到的排名数据,如果只需要前两个排名数据,那就对3、4和5进行删减处理,所保留的1和2就是初始删减排名数据。
示例性的,在上述步骤S110的基础之上,4名老师在各自收到散乱的50名学生成绩之后,按照组别信息进行排序,也即针对每个班级的学生成绩分别进行排序。每名老师把接收到的学生成绩按照每个班级排名完成后,得到对应的初始排名数据,然后对初始排名数据中与预设排名函数对应的数据保留项之外的数据进行删除,即4名老师对所接收到的学生成绩,按照每个班级排名完成后的各个班级的排名数据中,除每个班级前2名之外的数据进行删除。经过对初始排名数据进行删除处理之后,每名老师保留每个班级的前2名学生成绩的排名数据。例如,老师A对接收到的一年级一班的6名学生成绩进行排序后,取前2名学生成绩,将第3名至第6名删除,其他班级同样处理,假设老师A能够收到8个班级的学生成绩,则最多可以保留16个学生成绩,将这16个学生成绩作为老师A的初始删减排名数据,也就是说4名老师中每名老师最多得到16个初始删减排名数据。
S130、汇总初始删减排名数据,得到中间排名数据,并将中间排名数据按照组别信息分发至多个线程,以使每个线程收到至少一个分组的所有中间排名数据。
其中,中间排名数据可以是待排名数据经过分析函数处理之后,进一步经过删减处理,汇总到的排名数据。
示例性的,在上述步骤S120基础之上,将每名老师所保留的至少16名学生成绩排名数据进行汇总,汇总之后得到一年级8个班级的至少64名学生成绩作为中间排名数据。然后将中间排名数据按照班级的组别信息再次分发至4个老师,若平均分发,则每个老师可以接收到2个班级的学生成绩中间排名数据,以保证每个线程至少收到一个分组的所有中间排名数据。此时中间排名数据按照组别信息进行数据分发时,8个班级分配给4名老师,每名老师分配到2个班级的中间排名数据,可以达到平均分配的目的。
另外一种情况,假设一年级有6个班级,总共200人,首先将200个学生成绩数据分发至4名老师,即将待排名数据分发至4个不同的线程,然后4名老师对接收到的待排名数据进行预设排名函数处理,对预设排名函数进行优化处理之后,4名老师根据预设排名函数对应的数据保留项,对各自的学生成绩排名数据先进行删减处理,删除各个班级除前2名学生成绩数据之外的数据,4名老师将各自保留的学生成绩中间排名数据汇总,然后将中间排名数据按照班级将接收到的学生成绩数据再次分发至4名老师,其中数据分发需要最大程度上达到平均分发的目的,例如其中2名老师分别接收到2个班级的学生成绩数据,每个班级8名学生成绩中间排名数据。另外2名老师分别接收到1个班级的学生成绩数据,保证每个线程收到至少一个分组的所有中间排名数据,即按照组别信息进行中间排名数据分发时,需要最大程度上的保证中间排名数据的平均分发。
S140、通过多个线程针对各自接收到的中间排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的最终排名数据,并根据预设排名函数对应的数据保留项对最终排名数据进行删减处理,得到目标执行计划对应的执行结果。
示例性的,在上述步骤S130基础之上,每名老师分别接收到2个班级的学生成绩中间排名数据,每个班级总共8名学生成绩中间排名数据。然后每名老师针对各自接收到的2个班级的学生成绩中间排名数据,按照班级进行预设排名函数处理,即每名老师对各自接收到的2个班级的学生成绩中间排名数据进行排名,得到每个班级分别对应的最终排名数据。然后每名老师根据预设排名函数对应的数据保留项2对最终排名数据进行删减处理,将各个班级学生成绩最终排名数据前2名保留,删除各个班级前两名学生成绩最终排名数据之后的数据,得到一年级每个班级学生的前2名学生成绩,即得到目标执行计划对应的执行结果。
本发明实施例的技术方案,通过改进排名分析函数,在数据分发之前通过多个线程针对各自接收到的待排名数据对预设排名函数进行分析函数处理,对首次排名之后的排名数据进行删减,解决了在数据分析的过程中,数据分发由于数据量过大导致性能消耗大的问题,实现分析函数的处理过程中,减少每个线程的处理的数据量,有效的提高了分析函数性能的效果。
在一些实施例中,检测到目标执行计划满足预设排名函数优化条件,包括:后根遍历整个目标执行计划,找到处理分析函数结点;若处理分析函数结点对应于预设排名函数,且存在针对预设排名函数的删减和数据分发,以及各个线程预计接收的待排名数据量大于数据保留项中的常量,则确定目标执行计划满足预设排名函数优化条件。
其中,后根遍历是二叉树遍历的一种,也叫做后序遍历、后序周游,可记做左右根。在二叉树中,先左后右再根,即首先遍历左子树,然后遍历右子树,最后访问根结点。处理分析函数结点可以是在目标执行计划中,具有处理分析函数功能的结点。通过判断目标执行计划是否满足预设排名函数优化条件,避免了数据分发由于数据量过大造成的性能消耗过大问题。
进一步的,根据预设排名函数对应的数据保留项对相应的初始排名数据进行删减处理,包括根据预设排名函数对应的数据保留项确定第一排名序号,将相应的初始排名数据中位于第一排名序号之后的数据删除,其中,第一排名序号等于数据保留项中的常量;根据预设排名函数对应的数据保留项对最终排名数据进行删减处理,包括根据预设排名函数对应的数据保留项确定第二排名序号,将最终排名数据中位于第二排名序号之后的数据删除,其中,第二排名序号等于数据保留项中的常量。
其中,第一排名序号可以是一个常量。例如,对一年级6个班级的学生成绩进行排名,数据保留项中的数据量为2。将所有学生成绩分发给4名老师进行处理,4名老师对应4个不同的线程。4名老师针对各自接收到的学生成绩数据进行排名,然后根据预设排名函数对应的数据保留项2确定第一排名序号为2。此时,每名老师对各个班级前2名学生成绩排名数据之后的数据进行删减处理。然后将第一次排名之后的48名学生成绩进行汇总,得到中间排名数据,将中间排名数据按照班级分发至多线程,前2名老师分别接收到2个班级的学生成绩中间排名数据,每个班级总共8名学生成绩中间排名数据。另外2名老师分别接收到1个班级的学生成绩中间排名数据。根据预设排名函数对应的数据保留项2确定第二排名序号,第二排名序号则是数据保留项中的数据量2。每名老师对各个班级前2名学生成绩最终排名数据之后的数据进行删减处理。最后保留的12名学生成绩最终排名数据即目标执行计划优化后的返回结果。通过对初始排名数据的删减处理,减少了数据分发过程中的数据量,缩短了数据分发的时间。
进一步的,通过以下方式确定是否存在针对预设排名函数的删减:从根结点到预设排名函数结点的路径上查找过滤条件结点;若查找到的过滤条件结点对应于针对预设排名函数的数据保留项,则确定存在针对预设排名函数的删减。
其中,过滤条件结点可以用于判断目标执行计划是否满足预设排名函数优化条件。
示例性的,假设一年级一个班级15人,取班级学生成绩前3名学生成绩排名数据,分配给5名老师处理。如果从目标执行计划中过滤条件结点,查找到的过滤条件结点具体是每名老师取各班级前3名学生成绩排名数据,如果满足过滤条件结点的删减条件,则进行相应的针对预设排名函数的删减。通过过滤条件结点确定数据保留项,可以更加快速地进行数据保留项之外的数据删减处理。
进一步的,对预设排名函数进行排名分析函数处理之前,还包括:定位处理分析函数结点和过滤条件结点;判断处理分析函数结点的下层通讯结点之下的结点是否为并集结点;若不是并集结点,则拷贝一份处理分析函数结点和过滤条件结点;将拷贝的处理分析函数结点和过滤条件结点放到处理分析函数结点的下层通讯结点之下;若是并集结点,则拷贝设定份数的处理分析函数结点和过滤条件结点;将拷贝的设定数量的处理分析函数结点和过滤条件结点作为并集结点的下层结点***目标执行计划,其中,设定数量与并集结点的分支数量相同。
其中,通讯结点可以理解为用于数据分发的结点。并集结点可以是用于指示目标执行计划从左往右依次执行多个分析函数处理的操作。
示例性的,目标执行计划接收到获取待排名数据排名请求之后,定位处理分析函数结点,判断处理分析函数结点之下通讯结点之下的结点是否需要执行多个分析函数处理操作,那么此时需要拷贝多份处理分析函数结点和过滤条件结点,作为并集结点的下层结点***目标执行计划。通过拷贝设定拷贝结点的数量,可以更加具有针对性的执行并集结点的各分支处理操作。
进一步的,将拷贝的设定数量的处理分析函数结点和过滤条件结点作为并集结点的下层结点***目标执行计划,包括:将拷贝的设定数量的处理分析函数结点和过滤条件结点依次放到并集结点的每个分支之下,其中,每个分支对应一份处理分析函数结点和过滤条件结点。
示例性的,假设学校有5个年级,每个年级分为3个班级,需要获取各年级的前3名学生成绩排名数据,分配给5名老师进行处理,需要拷贝5份处理分析函数结点和过滤条件结点。所拷贝的5份处理分析函数结点和过滤条件结点,作为并集结点的下层结点***目标执行计划。并集结点的下层对应5名老师。通过各分支对应一份分析函数结点和过滤条件结点,提高各分支对待排名数据进行排名处理的准确率。
图2为本发明实施例一提供的另一种排名分析函数处理方法的流程图,本发明实施例可适用于数据处理过程中数据分发的情况,该方法可以由一种排名分析函数处理装置来执行,该装置可以采用软件和/或硬件的方式来实现。该装置可配置于服务器中,在一个具体的实施例中,该装置可以集成在电子设备中,电子设备比如可以是服务器。以下实施例将以该装置集成在电子设备中为例进行说明,参考图2,本发明实施例的方法具体包括如下步骤:
S201、接收针对目标执行计划的数据查询请求。
其中,目标执行计划可以对应为Rel树。
S202、后根遍历整个目标执行计划,找到处理分析函数结点;若处理分析函数结点对应于预设排名函数,且存在针对预设排名函数的删减和数据分发,以及各个线程的待排名数据量大于数据保留项中的常量,则确定目标执行计划满足预设排名函数优化条件。
其中,处理分析函数结点可以对应为afun_rel结点;预设排名函数可以对应为rank或者dense。
可选的,若确定目标执行计划不满足预设排名函数优化条件,可不对预设排名函数进行优化,执行目标执行计划,并返回执行结果。
示例性的,当目标执行计划接收到对整个年级的学生成绩数据进行排名,并对排名之后的学生成绩排名数据取前2名成绩排名数据请求。首先需要找到对整个年级的学生成绩数据进行排名处理的处理分析函数结点。如果找到的处理分析函数结点对应相应的预设排名函数,并且需要对整个年级的学生成绩数据排名之后,进行删减处理,还要满足各个线程接收到的数据量大于所要查询的排名数据量与线程的乘积,从而确定对整个年级学生成绩取前2名学生成绩的目标执行计划是否满足预设排名函数优化条件。
其中,从根结点到预设排名函数结点的路径上查找过滤条件结点;若查找到的过滤条件结点对应于针对预设排名函数的数据保留项,则确定存在针对预设排名函数的删减。
示例性的,假设一年级共45人,3个班级,取各班级学生成绩前9名学生成绩排名数据,分配给5名老师处理。如果从目标执行计划中过滤条件结点,查找到的过滤条件结点具体是每名老师取各班级前9名学生成绩排名数据,并对前9名学生成绩排名数据之后的数据进行删减。那么现在每名老师手中有9名学生成绩数据,不满足过滤条件结点的删减条件,则不进行删减处理。如果将一年级学生成绩数据分配给3名老师处理,则满足过滤条件结点的删减条件,则进行相应的针对预设排名函数的删减。
S203、判断处理分析函数结点的下层通讯结点之下的结点是否为并集结点,若否,则执行S204;否则,执行S205。
其中,通讯结点可以对应为send/receive结点;并集结点可以对应为unionall结点。
S204、拷贝一份处理分析函数结点和过滤条件结点;将拷贝的处理分析函数结点和过滤条件结点放到处理分析函数结点的下层通讯结点之下,执行S206。
其中,过滤条件结点可以对应为select_rel结点。
S205、拷贝设定份数的处理分析函数结点和过滤条件结点;将拷贝的设定数量的处理分析函数结点和过滤条件结点依次放到并集结点的每个分支之下,其中,每个分支对应一份处理分析函数结点和过滤条件结点,执行S206。
示例性的,假设现在有5个年级,每个年级分为3个班级,需要获取各年级的前3名学生成绩排名数据,分配给5名老师进行处理。目标执行计划接收到获取各年级的前3名学生成绩排名数据排名请求之后,定位处理分析函数结点,判断处理分析函数结点之下通讯结点之下的结点是否需要执行多个分析函数处理操作,那么此时需要同时对5个年级各个班级的学生成绩数据进行分析函数处理,则需要拷贝5份处理分析函数结点和过滤条件结点,作为并集结点的下层结点***目标执行计划,用于分别执行各个年级的分析函数处理操作。
如果只需要对一个年级的3个班级学生成绩排名,分配给3名老师进行处理。则需对1个年级的学生成绩数据进行分析函数处理,则只需要给这3名老师拷贝一份处理分析函数结点和过滤条件结点;将拷贝的处理分析函数结点和过滤条件结点放到处理分析函数结点的下层通讯结点之下,执行该年级的分析函数处理操作。
S206、通过执行优化后的目标执行计划,将待排名数据分发至多线程***对应的多个线程。
S207、通过多个线程针对各自接收到的待排名数据进行分析函数处理,得到对应的初始排名数据,根据预设排名函数对应的数据保留项确定第一排名序号,将相应的初始排名数据中位于第一排名序号之后的数据删除,得到初始删减排名数据,其中,第一排名序号根据数据保留项中的常量与多个线程的数量的乘积确定。
S208、汇总多组初始删减排名数据,得到中间排名数据,并将中间排名数据汇总,将中间排名数据按照组别信息分发至各个线程。
S209、通过各个线程针对中间排名数据进行预设排名函数处理,得到最终排名数据,根据预设排名函数对应的数据保留项确定第二排名序号,将最终排名数据中位于第二排名序号之后的数据删除,其中,第二排名序号等于数据保留项中的常量。
S210、返回优化后的目标执行计划对应的执行结果。
本发明实施例的技术方案,通过改进排名分析函数,对首次排名之后的排名数据进行删减,解决了在数据分析的过程中,数据分发由于数据量过大导致性能消耗大的问题,实现分析函数的处理过程中,减少每个线程的处理的数据量,有效的提高了分析函数性能的效果。
图3是本发明实施例所提供的一种排名分析函数处理装置的结构示意图。本发明实施例提供了一种排名分析函数处理装置,可执行本发明实施例任一实施例所提供的一种排名分析函数处理方法,具备执行方法相应的功能模块和有益效果。该装置具体包括:
待排名数据分发模块310,用于在检测到目标执行计划满足预设排名函数优化条件后,将待排名数据随机分发至多线程***对应的多个线程,其中,目标执行计划中包含对应有数据保留项的预设排名函数,待排名数据中附带有分组的组别信息;
初始排名数据删减模块320,用于通过多个线程针对各自接收到的待排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的初始排名数据,并根据预设排名函数对应的数据保留项对相应的初始排名数据进行删减处理,得到初始删减排名数据;
中间排名数据分发模块330,用于汇总初始删减排名数据,得到中间排名数据,并将中间排名数据按照组别信息分发至多个线程,以使每个线程收到至少一个分组的所有中间排名数据;
最终排名数据删减模块340,用于通过多个线程针对各自接收到的中间排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的最终排名数据,并根据预设排名函数对应的数据保留项对最终排名数据进行删减处理,得到目标执行计划对应的执行结果。
本发明实施例所提供的排名分析函数处里装置,通过各个功能模块之间的相互配合,在数据分发之前对首次排名之后的排名数据进行删减,解决了在数据分析的过程中,数据分发由于数据量过大导致性能消耗大的问题,实现分析函数的处理过程中,减少每个线程的处理的数据量,有效的提高了分析函数性能的效果。
进一步的,待排名数据分发模块包括:
优化条件检测单元,用于后根遍历整个目标执行计划,找到处理分析函数结点,若处理分析函数结点对应于预设排名函数,且存在针对预设排名函数的删减和数据分发,以及各个线程预计接收的待排名数据量大于数据保留项中的常量,则确定目标执行计划满足预设排名函数优化条件。
进一步的,初始排名数据删减模块包括:
第一排名序号确定单元,用于根据预设排名函数对应的数据保留项对相应的初始排名数据进行删减处理,包括:根据预设排名函数对应的数据保留项确定第一排名序号,将相应的初始排名数据中位于第一排名序号之后的数据删除,其中,第一排名序号根据数据保留项中的常量与多个线程的数量的乘积确定。
进一步的,最终排名数据删减模块包括:
第二排名序号确定单元,用于根据预设排名函数对应的数据保留项对最终排名数据进行删减处理,包括:根据预设排名函数对应的数据保留项确定第二排名序号,将最终排名数据中位于第二排名序号之后的数据删除,其中,第二排名序号等于数据保留项中的常量。
进一步的,待排名数据分发模块包括:
过滤条件结点确定单元,用于从根结点到预设排名函数结点的路径上查找过滤条件结点;
预设排名函数的删减确定单元,用于若查找到的过滤条件结点对应于针对预设排名函数的数据保留项,则确定存在针对预设排名函数的删减。
进一步的,该装置还包括结点处理模块,该模块包括:
结点定位单元,用于定位处理分析函数结点和过滤条件结点;
并集结点判断单元,用于判断处理分析函数结点的下层通讯结点之下的结点是否为并集结点;
第一结点拷贝单元,用于若不是并集结点,则拷贝一份处理分析函数结点和过滤条件结点;将拷贝的处理分析函数结点和过滤条件结点放到处理分析函数结点的下层通讯结点之下;
第二结点拷贝单元,用于若是并集结点,则拷贝设定份数的处理分析函数结点和过滤条件结点;将拷贝的设定数量的处理分析函数结点和过滤条件结点作为并集结点的下层结点***目标执行计划,其中,设定数量与并集结点的分支数量相同。
进一步的,第二结点拷贝单元包括:
将拷贝的设定数量的处理分析函数结点和过滤条件结点依次放到并集结点的每个分支之下,其中,每个分支对应一份分析函数结点和过滤条件结点。
进一步的,预设排名函数包括排名函数和/或密集排名函数。
图4为本发明实施例提供的一种电子设备的结构示意图,该电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述任一实施例提供的排名分析函数处理方法。
参考图4,其示出了适于用来实现本发明实施例的电子设备的计算机***500的结构示意图。图4示出的电子设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算机***500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有***500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如局域网(LAN)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明实施例公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本发明的***中限定的上述功能方法。
本发明实施例还提供一种包含计算机可执行指令的存储介质,计算机可执行指令在由计算机处理器执行时用于执行一种排名分析函数处理方法,该方法包括:
检测到目标执行计划满足预设排名函数优化条件,将待排名数据随机分发至多线程***对应的多个线程,其中,目标执行计划中包含对应有数据保留项的预设排名函数,待排名数据中附带有分组的组别信息;
通过多个线程针对各自接收到的待排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的初始排名数据,并根据预设排名函数对应的数据保留项对相应的初始排名数据进行删减处理,得到初始删减排名数据;
汇总初始删减排名数据,得到中间排名数据,并将中间排名数据按照组别信息分发至多个线程,以使每个线程收到至少一个分组的所有中间排名数据;
通过多个线程针对各自接收到的中间排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的最终排名数据,并根据预设排名函数对应的数据保留项对最终排名数据进行删减处理,得到目标执行计划对应的执行结果。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本发明任意实施例所提供的一种排名分析函数处理方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明实施例可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
值得注意的是,上述装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明实施例的保护范围。
注意,上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明实施例不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此,虽然通过以上实施例对本发明实施例进行了较为详细的说明,但是本发明实施例不仅仅限于以上实施例,在不脱离本发明实施例构思的情况下,还可以包括更多其他等效实施例,而本发明实施例的范围由所附的权利要求范围决定。
Claims (10)
1.一种排名分析函数处理方法,其特征在于,包括:
检测到目标执行计划满足预设排名函数优化条件,将待排名数据随机分发至多线程***对应的多个线程,其中,所述目标执行计划中包含对应有数据保留项的预设排名函数,所述待排名数据中附带有分组的组别信息;
通过所述多个线程针对各自接收到的待排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的初始排名数据,并根据所述预设排名函数对应的数据保留项对相应的初始排名数据进行删减处理,得到初始删减排名数据;
汇总初始删减排名数据,得到中间排名数据,并将所述中间排名数据按照组别信息分发至所述多个线程,以使每个线程收到至少一个分组的所有中间排名数据;
通过所述多个线程针对各自接收到的中间排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的最终排名数据,并根据所述预设排名函数对应的数据保留项对所述最终排名数据进行删减处理,得到所述目标执行计划对应的执行结果。
2.根据权利要求1所述的方法,其特征在于,所述检测到目标执行计划满足预设排名函数优化条件,包括:
后根遍历整个目标执行计划,找到处理分析函数结点;
若所述处理分析函数结点对应于预设排名函数,且存在针对所述预设排名函数的删减和数据分发,以及各个线程预计接收的待排名数据量大于数据保留项中的常量,则确定目标执行计划满足预设排名函数优化条件。
3.根据权利要求1所述的方法,其特征在于,所述根据所述预设排名函数对应的数据保留项对相应的初始排名数据进行删减处理,包括:
根据所述预设排名函数对应的数据保留项确定第一排名序号,将相应的初始排名数据中位于所述第一排名序号之后的数据删除,其中,所述第一排名序号等于所述数据保留项中的常量;
所述根据所述预设排名函数对应的数据保留项对所述最终排名数据进行删减处理,包括:
根据所述预设排名函数对应的数据保留项确定第二排名序号,将所述最终排名数据中位于所述第二排名序号之后的数据删除,其中,所述第二排名序号等于所述数据保留项中的常量。
4.根据权利要求2所述的方法,其特征在于,通过以下方式确定是否存在针对所述预设排名函数的删减:
从根结点到所述预设排名函数结点的路径上查找过滤条件结点;
若查找到的过滤条件结点对应于针对所述预设排名函数的数据保留项,则确定存在针对所述预设排名函数的删减。
5.根据权利要求1所述的方法,其特征在于,对预设排名函数进行排名分析函数处理之前,还包括:
定位处理分析函数结点和过滤条件结点;
判断处理分析函数结点的下层通讯结点之下的结点是否为并集结点;
若不是并集结点,则拷贝一份处理分析函数结点和过滤条件结点;将拷贝的处理分析函数结点和过滤条件结点放到处理分析函数结点的下层通讯结点之下;
若是并集结点,则拷贝设定份数的处理分析函数结点和过滤条件结点;将拷贝的设定数量的处理分析函数结点和过滤条件结点作为并集结点的下层结点***所述目标执行计划,其中,所述设定数量与所述并集结点的分支数量相同。
6.根据权利要求5所述的方法,其特征在于,将拷贝的设定数量的处理分析函数结点和过滤条件结点作为并集结点的下层结点***所述目标执行计划,包括:
将拷贝的设定数量的处理分析函数结点和过滤条件结点依次放到并集结点的每个分支之下,其中,每个分支对应一份处理分析函数结点和过滤条件结点。
7.根据权利要求1所述的方法,其特征在于:所述预设排名函数包括排名函数和/或密集排名函数。
8.一种排名分析函数处理装置,其特征在于,包括:
待排名数据分发模块,用于在检测到目标执行计划满足预设排名函数优化条件后,将待排名数据随机分发至多线程***对应的多个线程,其中,所述目标执行计划中包含对应有数据保留项的预设排名函数,所述待排名数据中附带有分组的组别信息;
初始排名数据删减模块,用于通过所述多个线程针对各自接收到的待排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的初始排名数据,并根据所述预设排名函数对应的数据保留项对相应的初始排名数据进行删减处理,得到初始删减排名数据;
中间排名数据分发模块,用于汇总初始删减排名数据,得到中间排名数据,并将所述中间排名数据按照组别信息分发至所述多个线程,以使每个线程收到至少一个分组的所有中间排名数据;
最终排名数据删减模块,用于通过所述多个线程针对各自接收到的中间排名数据按照组别信息进行预设排名函数处理,得到每个分组分别对应的最终排名数据,并根据所述预设排名函数对应的数据保留项对所述最终排名数据进行删减处理,得到所述目标执行计划对应的执行结果。
9.一种排名分析函数处理设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的排名分析函数处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的排名分析函数处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111042270.5A CN113723696B (zh) | 2021-09-07 | 2021-09-07 | 一种排名分析函数处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111042270.5A CN113723696B (zh) | 2021-09-07 | 2021-09-07 | 一种排名分析函数处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113723696A true CN113723696A (zh) | 2021-11-30 |
CN113723696B CN113723696B (zh) | 2023-08-08 |
Family
ID=78682097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111042270.5A Active CN113723696B (zh) | 2021-09-07 | 2021-09-07 | 一种排名分析函数处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113723696B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004062737A (ja) * | 2002-07-31 | 2004-02-26 | Nippon Telegr & Teleph Corp <Ntt> | 順位付けのための評価関数推定方法、装置、プログラム及び記憶媒体、並びに、順位付け方法、装置、プログラム及び記憶媒体 |
US20040122815A1 (en) * | 2002-12-19 | 2004-06-24 | International Business Machines Corporation | Method, system, and program for optimizing aggregate processing |
US20040220908A1 (en) * | 2003-04-30 | 2004-11-04 | International Business Machines Corporation | Information retrieval system and method for optimizing queries having maximum or minimum function aggregation predicates |
CN101589360A (zh) * | 2006-10-18 | 2009-11-25 | 谷歌公司 | 适合于联合的通用在线排名***和方法 |
US20120130984A1 (en) * | 2010-11-22 | 2012-05-24 | Microsoft Corporation | Dynamic query master agent for query execution |
CN103761234A (zh) * | 2013-10-29 | 2014-04-30 | 北京奇虎科技有限公司 | 一种用于优化网络资源点的搜索排名的方法和装置 |
US20170161858A1 (en) * | 2015-12-04 | 2017-06-08 | International Business Machines Corporation | Selective retention of forensic information |
CN107992516A (zh) * | 2017-10-27 | 2018-05-04 | 平安科技(深圳)有限公司 | 电子装置、数据查询的方法及存储介质 |
CN111427890A (zh) * | 2020-03-24 | 2020-07-17 | 上海达梦数据库有限公司 | 一种多表连接处理方法、装置、设备及存储介质 |
CN111695044A (zh) * | 2019-03-11 | 2020-09-22 | 北京柏林互动科技有限公司 | 用户排名的数据处理方法、装置及电子设备 |
CN112767103A (zh) * | 2020-12-30 | 2021-05-07 | 北京知因智慧科技有限公司 | 财务数据分析方法、装置和电子设备 |
-
2021
- 2021-09-07 CN CN202111042270.5A patent/CN113723696B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004062737A (ja) * | 2002-07-31 | 2004-02-26 | Nippon Telegr & Teleph Corp <Ntt> | 順位付けのための評価関数推定方法、装置、プログラム及び記憶媒体、並びに、順位付け方法、装置、プログラム及び記憶媒体 |
US20040122815A1 (en) * | 2002-12-19 | 2004-06-24 | International Business Machines Corporation | Method, system, and program for optimizing aggregate processing |
US20040220908A1 (en) * | 2003-04-30 | 2004-11-04 | International Business Machines Corporation | Information retrieval system and method for optimizing queries having maximum or minimum function aggregation predicates |
CN101589360A (zh) * | 2006-10-18 | 2009-11-25 | 谷歌公司 | 适合于联合的通用在线排名***和方法 |
US20120130984A1 (en) * | 2010-11-22 | 2012-05-24 | Microsoft Corporation | Dynamic query master agent for query execution |
CN103761234A (zh) * | 2013-10-29 | 2014-04-30 | 北京奇虎科技有限公司 | 一种用于优化网络资源点的搜索排名的方法和装置 |
US20170161858A1 (en) * | 2015-12-04 | 2017-06-08 | International Business Machines Corporation | Selective retention of forensic information |
CN107992516A (zh) * | 2017-10-27 | 2018-05-04 | 平安科技(深圳)有限公司 | 电子装置、数据查询的方法及存储介质 |
CN111695044A (zh) * | 2019-03-11 | 2020-09-22 | 北京柏林互动科技有限公司 | 用户排名的数据处理方法、装置及电子设备 |
CN111427890A (zh) * | 2020-03-24 | 2020-07-17 | 上海达梦数据库有限公司 | 一种多表连接处理方法、装置、设备及存储介质 |
CN112767103A (zh) * | 2020-12-30 | 2021-05-07 | 北京知因智慧科技有限公司 | 财务数据分析方法、装置和电子设备 |
Non-Patent Citations (2)
Title |
---|
孙琳琳 等: "基于多线程归并排序算法设计", 吉林大学学报(信息科学版), vol. 33, no. 1, pages 105 - 100 * |
张建宏: "Excel 函数SUMPRODUCT 在数据排名中的应用", 福建电脑, no. 11, pages 145 - 146 * |
Also Published As
Publication number | Publication date |
---|---|
CN113723696B (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6778977B1 (en) | Method and system for creating a database table index using multiple processors | |
US9727608B2 (en) | Generating statistical views in a database system | |
US10769146B1 (en) | Data locality based query optimization for scan operators | |
US20160350302A1 (en) | Dynamically splitting a range of a node in a distributed hash table | |
US20160034587A1 (en) | Efficient join-filters for parallel processing | |
US20120078904A1 (en) | Approximate Index in Relational Databases | |
EP2833277A1 (en) | Global dictionary for database management systems | |
JP6937759B2 (ja) | データベース操作方法及び装置 | |
US9734177B2 (en) | Index merge ordering | |
US11288266B2 (en) | Candidate projection enumeration based query response generation | |
US10621173B2 (en) | Data processing device, data processing method, and recording medium | |
CN115964374A (zh) | 一种基于预计算场景的查询处理方法及其装置 | |
CN108551478B (zh) | 一种事务处理方法、服务器及事务处理*** | |
CN114428776A (zh) | 一种面向时序数据的索引分区管理方法和*** | |
CN112948330A (zh) | 数据合并方法、装置、电子设备、存储介质及程序产品 | |
CN113723696B (zh) | 一种排名分析函数处理方法、装置、电子设备及存储介质 | |
CN113094444A (zh) | 数据处理方法、数据处理装置、计算机设备和介质 | |
Migliorini et al. | CoPart: a context-based partitioning technique for big data | |
US9256644B1 (en) | System for identifying and investigating shared and derived content | |
CN114461530A (zh) | 针对app的测试用例智能推荐处理***、方法、装置、处理器及计算机可读存储介质 | |
US9239867B2 (en) | System and method for fast identification of variable roles during initial data exploration | |
McInnes et al. | hdbscan Documentation | |
CN111966790A (zh) | 一种云管理平台知识库的搜索的方法和设备 | |
US11620271B2 (en) | Relationship analysis using vector representations of database tables | |
Fornari et al. | Query optimizer for spatial join operations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |