CN110413978B - 数据分页导出方法、装置、计算机设备和存储介质 - Google Patents

数据分页导出方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110413978B
CN110413978B CN201910710933.2A CN201910710933A CN110413978B CN 110413978 B CN110413978 B CN 110413978B CN 201910710933 A CN201910710933 A CN 201910710933A CN 110413978 B CN110413978 B CN 110413978B
Authority
CN
China
Prior art keywords
memory
paging
preset
export
expected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910710933.2A
Other languages
English (en)
Other versions
CN110413978A (zh
Inventor
侯海波
施生燊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN201910710933.2A priority Critical patent/CN110413978B/zh
Publication of CN110413978A publication Critical patent/CN110413978A/zh
Application granted granted Critical
Publication of CN110413978B publication Critical patent/CN110413978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请提供了一种数据分页导出方法、装置、计算机设备和存储介质,其中,该方法包括:接收数据导出请求,其中,数据导出请求中携带有导出条件;响应于数据导出请求,查询符合导出条件的多条目标记录;获取预设导出条数、***当前已使用内存和***总内存;根据预设导出条数确定分页导出预计要占用的内存;根据预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数;从多条目标记录中导出分页导出条数的目标记录并存入目标文件中。上述方法可以有效规避***内存溢出,并且最大化利用***资源,最终提高导出效率以及改善用户体验。

Description

数据分页导出方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机数据导出处理技术领域,特别涉及一种数据分页导出方法、装置、计算机设备和存储介质。
背景技术
目前,日常工作和生活中会用到各类应用软件***。通常,***一般都会在页面提供数据导出或下载的功能,导出形式多种多样。最常见的导出形式以二维表格的形式导出,例如导出一个excel表格数据。对于数据导出,用户使用非常频繁,而且数据导出给***的使用人员带来了便捷,成为日常不可或缺的一部分。
然而,数据导出功能非常消耗虚拟机内存,若控制不当,容易引发内存溢出事件,从而导致***崩溃,且分析排查难度大。为了防止数据导出功能引发内存溢出,通常在导出功能设计上会采取一些常规的规避措施,例如,通过设定阈值来限制最大日期区间或导出条数、限制导出进程并发数、控制同时使用导出功能的人员数或采用提交异步导出任务稍后查询下载等诸多方式。但是这些常规的规避措施的效果欠佳,而且存在易用性较差、业务体验欠佳、以及软硬件资源使用不充分等诸多问题。
针对上述问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种数据分页导出方法、装置、计算机设备和存储介质,以解决现有技术中的数据导出方法不能有效防止内存溢出事件的问题。
本申请实施例提供了一种数据分页导出方法,包括:接收数据导出请求,其中,数据导出请求中携带有导出条件;响应于数据导出请求,查询符合导出条件的多条目标记录;获取预设导出条数、***当前已使用内存和***总内存;根据预设导出条数确定分页导出预计要占用的内存;根据预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数;从多条目标记录中导出分页导出条数的目标记录并存入目标文件中。
在一个实施例中,根据预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数,包括:确定分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比是否小于第一预设百分比;在确定分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比小于第一预设百分比的情况下,将预设导出条数确定为分页导出条数。
在一个实施例中,在确定分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比是否小于第一预设百分比之后,还包括:在确定分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比不小于第一预设百分比的情况下,根据第一预设百分比、预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数。
在一个实施例中,根据第一预设百分比、预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数,包括:按照以下公式确定分页导出条数:
其中,N 1为分页导出条数,N 0为预设导出条数,FM为第一预设百分比,M2为***当前已使用内存,M1为分页导出预计要占用的内存,MA为***总内存。
在一个实施例中,在从多条目标记录中导出分页导出条数的目标记录并存入目标文件中之后,还包括:重复以下步骤直至已导出的目标记录的总条数不小于查询到的多条目标记录的总条数:确定已导出的目标记录的总条数;确定已导出的目标记录的总条数是否小于查询到的多条目标记录的总条数;在确定已导出的目标记录的总条数小于查询到的多条目标记录的总条数的情况下,获取***当前已使用内存;根据上一轮分页导出条数确定本轮分页导出预计要占用的内存;根据***当前已使用内存、本轮分页导出预计要占用的内存和***总内存,确定本轮分页导出条数;从多条目标记录中导出本轮分页导出条数的目标记录并存入目标文件中。
在一个实施例中,根据上一轮分页导出条数确定本轮分页导出预计要占用的内存,包括:获取上一轮分页导出实际使用的内存;确定上一轮分页导出实际使用的内存占***总内存的百分比是否小于第二预设百分比;在确定上一轮分页导出实际使用的内存占***总内存的百分比小于第二预设百分比的情况下,确定上一轮分页导出条数与预设最大导出条数的比值是否小于预设比值;在确定上一轮分页导出条数与预设最大导出条数的比值小于预设比值的情况下,计算按照上一轮分页导出条数除以预设比值得到的条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。
在一个实施例中,根据***当前已使用内存、本轮分页导出预计要占用的内存和***总内存,确定本轮分页导出条数,包括:确定本轮分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比是否小于第一预设百分比,其中,第一预设百分比大于第二预设百分比;在确定本轮分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比小于第一预设百分比的情况下,将上一轮分页导出条数除以预设比值得到的条数确定为本轮分页导出条数。
在一个实施例中,在确定本轮分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比是否小于第一预设百分比之后,还包括:在确定本轮分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比不小于第一预设百分比的情况下,按照以下公式确定本轮分页导出条数:
其中,N i 为本轮分页导出条数,N i-1为上一轮分页导出条数,k为预设比值,FM为第一预设百分比,M2为***当前已使用内存,M1为本轮分页导出预计要占用的内存,MA为***总内存,其中,i为大于1的整数。
在一个实施例中,在确定上一轮分页导出实际使用的内存占***总内存的百分比是否小于第二预设百分比之后,还包括:在确定上一轮分页导出实际使用的内存占***总内存的百分比不小于第二预设百分比的情况下,计算按照上一轮分页导出条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。
在一个实施例中,在确定上一轮分页导出条数与预设最大导出条数的比值是否小于预设比值之后,还包括:在确定上一轮分页导出条数与预设最大导出条数的比值不小于预设比值的情况下,计算按照上一轮分页导出条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。
本申请实施例还提供了一种数据分页导出装置,包括:接收模块,用于接收数据导出请求,其中,数据导出请求中携带有导出条件;查询模块,用于响应于数据导出请求,查询符合导出条件的多条目标记录;获取模块,用于获取预设导出条数、***当前已使用内存和***总内存;第一确定模块,用于根据预设导出条数确定分页导出预计要占用的内存;第二确定模块,用于根据预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数;导出模块,用于从多条目标记录中导出分页导出条数的目标记录并存入目标文件中。
本申请实施例还提供一种计算机设备,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现上述任意实施例中所述的数据分页导出方法的步骤。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机指令,所述指令被执行时实现上述任意实施例中所述的数据分页导出方法的步骤。
在本申请实施例中,提供了一种数据分页导出方法,在接收到数据导出请求后,查询符合导出条件的多条目标记录,获取预设导出条数、***当前已使用内存和***总内存,并根据预设导出条数确定分页导出预计要占用的内存,并根据预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数,从查询到的多条目标记录中导出分页导出条数的目标记录并存入目标文件。上述方案中,根据预设导出条数确定预计要占用的内存,并结合预设导出条数和预计要占用的内存、***已使用内存以及***总内存确定最终的分页导出条数,实现基于可用内存对分页导出的记录数进行动态调整,不仅能有效规避***内存溢出,还可以最大化***资源的利用率,极大地提升了数据导出的效率并有效改善用户体验。通过上述方案解决了现有技术中的数据导出方法不能有效防止内存溢出事件的技术问题,达到了有效规避***内存溢出、最大化利用***资源、提高导出效率及改善用户体验的技术效果。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,并不构成对本申请的限定。在附图中:
图1示出了本申请一实施例中的数据分页导出方法的应用场景的示意图;
图2示出了本申请一实施例中的数据分页导出方法的流程图;
图3示出了本申请一实施例中的数据分页导出方法中确定分页导出条数的流程图;
图4示出了本申请一实施例中的数据分页导出方法的流程图;
图5示出了本申请一实施例中的数据分页导出装置的示意图;
图6示出了本申请一实施例中的计算机设备的示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请,而并非以任何方式限制本申请的范围。相反,提供这些实施方式是为了使本申请公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域的技术人员知道,本申请的实施方式可以实现为一种***、装置设备、方法或计算机程序产品。因此,本申请公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
考虑到现有的数据导出方法不能有效防止内存溢出事件,通过研究发现,通过基于可用内存对分页导出的记录的条数进行动态调整,可以有效规避***内存溢出,同时提高***资源的利用率,进而提升数据导出的效率,改善用户体验。
基于此,本申请实施例提供了一种数据分页导出方法。图1示出了本申请一实施例中的数据分页导出方法的一种应用场景的示意图。如图1所示,用户通过用户端向服务器发送数据导出请求。其中,数据导出请求中携带有导出条件。服务器响应于数据导出请求,查询符合导出条件的目标记录。服务器基于可用内存动态调整每轮分页导出条数。服务器按照确定的分页导出条数进行数据分页导出,并将导出的目标记录存入用户端的目标文件中,直至导出所有符合条件的目标记录。
其中,上述用户端可以是台式电脑、笔记本、手机终端、PDA等,只要是可以向用户或者业务人员进行内容展示和接收操作指令的设备都可以,对于用户端的呈现形成,本申请不作限定。上述服务器可以是单一的服务器,也可以是服务器集群,或者是云服务器等都可以,具体的组成形成本申请也不作限定。
请参考图2,图2示出了本申请一实施例中数据分页导出方法的流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤或装置结构,但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中,这些步骤的执行顺序或装置的模块结构不限于本申请实施例描述及附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时,可以按照实施例或者附图所示的方法或模块结构连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至分布式处理环境)。
具体地,如图2所示,本申请一种实施例提供的数据分页导出方法可以包括以下步骤:
步骤S201,接收数据导出请求,其中,数据导出请求中携带有导出条件。
步骤S202,响应于数据导出请求,查询符合导出条件的多条目标记录。
接收用户发起的数据导出请求,其中,数据导出请求中携带有导出条件。例如,用户可以通过点击导出按钮来发送数据导出请求。其中,导出条件由用户根据实际需求进行设置。在接收到数据导出请求后,响应于该请求,从数据库查询符合导出条件的多条目标记录。在查询到符合导出条件的多条目标记录之后,可以记录多条目标记录的总条数。
步骤S203,获取预设导出条数、***当前已使用内存和***总内存。
步骤S204,根据预设导出条数确定分页导出预计要占用的内存。
其中,预设导出条数可以是***默认的分页导出条数。根据预设导出条数确定分页导出预计要占用的内存,即,计算按照预设导出条数进行分页导出时预计要占用的内存。
步骤S205,根据预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数。
步骤S206,从多条目标记录中导出分页导出条数的目标记录并存入目标文件中。
在确定分页导出预计要占用的内存之后,可以根据预设导出条数结合分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数,使得基于***可用内存确定分页导出条数。在确定分页导出条数之后,从查询到的多条目标目录中导出分页导出条数的目标记录,并将导出的目标记录存入目标文件中。
上述方案中,根据预设导出条数确定预计要占用的内存,并结合预设导出条数和预计要占用的内存、***已使用内存以及***总内存确定最终的分页导出条数,实现基于可用内存对分页导出的记录数进行动态调整,不仅能有效规避***内存溢出,还可以最大化***资源的利用率,极大地提升了数据导出的效率并有效改善用户体验。通过上述方案解决了现有技术中的数据导出方法不能有效防止内存溢出事件的技术问题,达到了有效规避***内存溢出、最大化利用***资源、提高导出效率及改善用户体验的技术效果。
在本申请一些实施例中,根据预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数,可以包括:确定分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比是否小于第一预设百分比;在确定分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比小于第一预设百分比的情况下,将预设导出条数确定为分页导出条数。
其中,第一预设百分比可以根据实际需求和***性能来设置。例如,第一预设百分比可以为70%、75%、80%等。在确定分页导出预计要占用的内存之后,可以计算分页导出预计要占用的内存和***当前已使用内存之和占***内存的百分比。然后,确定计算得到的百分比是否小于第一预设百分比。若计算得到的百分比小于第一预设百分比,表明按照预设导出条数进行分页导出不会发生内存溢出的情况。因此,可以将预设导出条数确定为分页导出条数。通过上述方式确定出分页导出条数,可以有效防止***出现内存溢出,增大***资源利用率。
进一步地,在本申请一些实施例中,在确定分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比是否小于第一预设百分比之后,还可以包括:在确定分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比不小于第一预设百分比的情况下,根据第一预设百分比、预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数。
可以理解的是,在确定分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比不小于第一预设百分比的情况下,表明***有发生内存溢出的风险。因此,可以根据第一预设百分比、预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数。通过上述方式,可以进一步防止数据导出引发内存溢出。
进一步地,在本申请一些实施例中,根据第一预设百分比、预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数,可以包括:按照以下公式确定分页导出条数:
其中,N 1为分页导出条数,N 0为预设导出条数,FM为第一预设百分比,M2为***当前已使用内存,M1为分页导出预计要占用的内存,MA为***总内存。通过上述方式,可以根据预设导出条数、第一预设百分比、***当前已使用内存、分页导出预计要占用的内存和***总内存定量确定分页导出条数,有效防止***发生内存溢出事件。
请参考图3,图3示出了根据预设导出条数、***总内存、***当前已使用内存和分页导出预计要占用的内存确定分页导出条数的流程图。如图3所示,确定分页导出条数可以包括以下步骤:
步骤1,获取预设导出条数N0
步骤2,计算分页导出条数为N0时预计要占用的内存M1;
步骤3,获取***当前已使用内存M2和***总内存MA;
步骤4,计算预计单用的内存大小M1和***已使用内存M2之和占***总内存MA的百分比F;
步骤5,确定百分比F是否小于第一预设百分比FM,若是,则执行步骤6,否则执行步骤7;
步骤6,将预设导出条数N0确定为分页导出条数;
步骤7,计算N1=N0×(FM-M2/MA)×MA/M1,并将N1确定为分页导出条数。
上述实施例中的确定分页导出条数的方法,可以基于可用内存动态调整分页导出条数,可以有效防止***发生内存溢出事件,提高***资源利用率,改善用户体验。
在本申请一些实施例中,在从多条目标记录中导出分页导出条数的目标记录并存入目标文件中之后,还可以包括:重复以下步骤直至已导出的目标记录的总条数不小于查询到的多条目标记录的总条数:确定已导出的目标记录的总条数;确定已导出的目标记录的总条数是否小于查询到的多条目标记录的总条数;在确定已导出的目标记录的总条数小于查询到的多条目标记录的总条数的情况下,获取***当前已使用内存;根据上一轮分页导出条数确定本轮分页导出预计要占用的内存;根据***当前已使用内存、本轮分页导出预计要占用的内存和***总内存,确定本轮分页导出条数;从多条目标记录中导出本轮分页导出条数的目标记录并存入目标文件中。
一般地,查询到的多条目标记录可以通过多次分页导出来导出。在从多条目标记录中导出分页导出条数的目标记录并存入目标文件之后,需要判断是否进行下一轮的分页导出,直至已导出的目标记录的总条数大于或等于查询到的多条目标记录的总条数。在接下来的每一轮分页导出的过程中,首先确定已导出的目标记录的总条数。例如,对于第二轮分页导出,已导出的目标记录的总条数为第一轮分页导出过程中确定的分页导出条数;对于第三轮分页导出,已导出的目标记录的总条数为第二轮分页导出过程中确定的分页导出条数加上第一轮分页导出过程中确定的分页导出条数;以此类推。在确定已导出的目标记录的总条数之后,确定已导出的目标记录的总条数是否小于查询到的多条目标记录的总条数。若是,则获取当前时刻***已使用的内存,即***当前已使用内存;否则,结束本轮导出。在确定需要进行本轮分页导出的情况下,获取上一轮分页导出条数,并根据上一轮分页导出条数确定本轮分页导出预计要占用的内存。之后,根据***当前已使用内存、本轮分页导出预计要占用的内存和***总内存,确定本轮分页导出条数。最后,按顺序从多条目标记录中导出本轮分页导出条数的目标记录并存入目标文件中,从而完成本轮分页导出。相比于基于***默认的预设导出条数及可用内存来确定本轮分页导出条数,通过上述方法,可以根据上轮分页导出条数及可用内存定本轮分页导出条数,由于上轮分页导出与本轮分页导出在时间上更接近,可用内存情况更接近,因此基于上轮分页导出条数进行确定可以提高确定的效率,同时还可以提高***资源利用率。
在本申请的一些实施例中,根据上一轮分页导出条数确定本轮分页导出预计要占用的内存,可以包括:计算按照上一轮分页导出条数进行分页导出预计要占用的内存。
在本申请另一些实施例中,根据上一轮分页导出条数确定本轮分页导出预计要占用的内存,可以包括:获取上一轮分页导出实际使用的内存;确定上一轮分页导出实际使用的内存占***总内存的百分比是否小于第二预设百分比;在确定上一轮分页导出实际使用的内存占***总内存的百分比小于第二预设百分比的情况下,确定上一轮分页导出条数与预设最大导出条数的比值是否小于预设比值;在确定上一轮分页导出条数与预设最大导出条数的比值小于预设比值的情况下,计算按照上一轮分页导出条数除以预设比值得到的条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。
具体地,获取上一轮分页导出实际使用的内存,并计算上一轮分页导出实际使用的内存占***总内存的百分比。确定计算得到的百分比是否小于第二预设百分比。其中,第二预设百分比可以根据实际需求和***性能来确定。例如,第二预设百分比可以设置为10%、20%或30%等。在确定计算得到的百分比小于第二预设百分比的情况下,表明***资源比较充足,可以考虑增加分页导出条数。之后,确定上一轮分页导出条数与预设最大导出条数的比值是否小于预设比值。其中,预设比值可以设置为1/2、1/3或2/5等。上述取值仅是示例性的,预设比值的具体取值可以根据实际需求进行设置,本申请对此不作限定。在确定上一轮分页导出条数与预设最大导出条数的比值小于预设比值的情况下,计算按照上一轮分页导出条数除以预设比值得到的条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。例如,在预设比值为1/2时,可以计算按照上一轮分页导出条数的两倍进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。通过上述方式,在上一轮分页导出使用的内存以及上一轮分页导出的条数同时满足上述条件时,可以适当提高分页导出条数,从而在防止内存溢出的同时,进一步提高***资源的利用率。
进一步地,在本申请一些实施例中,根据***当前已使用内存、本轮分页导出预计要占用的内存和***总内存,确定本轮分页导出条数,可以包括:确定本轮分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比是否小于第一预设百分比,其中,第一预设百分比大于第二预设百分比;在确定本轮分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比小于第一预设百分比的情况下,将上一轮分页导出条数除以预设比值得到的条数确定为本轮分页导出条数。
在计算按照上一轮分页导出条数除以预设比值得到的条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存之后,确定本轮分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比是否小于第一预设百分比。其中,第一预设百分比可以根据实际需求和***性能来设置。例如,第一预设百分比可以为70%、75%、80%等。在确定的百分比小于第一预设百分比的情况下,表明按照上一轮分页导出条数除以预设比值得到的条数进行分页导出不会发生内存溢出的情况。因此,可以将上一轮分页导出条数除以预设比值得到的条数确定为分页导出条数。例如,在预设比值为1/2的情况下,将上一轮分页导出条数的两倍确定为分页导出条数。通过上述方式确定出分页导出条数,可以在有效防止***出现内存溢出的情况下,进一步提高***资源利用率。
进一步地,在本申请一些实施例中,在确定本轮分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比是否小于第一预设百分比之后,还可以包括:在确定本轮分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比不小于第一预设百分比的情况下,按照以下公式确定本轮分页导出条数:
其中,N i 为本轮分页导出条数,N i-1为上一轮分页导出条数,k为预设比值,FM为第一预设百分比,M2为***当前已使用内存,M1为本轮分页导出预计要占用的内存,MA为***总内存,其中,i为大于1的整数。其中,k可以设置为1/2、1/3或2/5等。通过上述方式,可以定量确定本轮分页导出条数。
进一步地,在本申请一些实施例中,在确定上一轮分页导出实际使用的内存占***总内存的百分比是否小于第二预设百分比之后,还可以包括:在确定上一轮分页导出实际使用的内存占***总内存的百分比不小于第二预设百分比的情况下,计算按照上一轮分页导出条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。通过上述方式,在上一轮分页导出使用的内存不满足预设条件时,不提高分页导出条数,可以有效防止内存溢出。
进一步地,在本申请一些实施例中,在确定上一轮分页导出条数与预设最大导出条数的比值是否小于预设比值之后,还可以包括:在确定上一轮分页导出条数与预设最大导出条数的比值不小于预设比值的情况下,计算按照上一轮分页导出条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。通过上述方式,在上一轮分页导出的条数不满足预设条件时,不提高分页导出条数,可以有效防止内存溢出。
下面结合一个具体实施例对上述方法进行说明,然而,值得注意的是,该具体实施例仅是为了更好地说明本申请,并不构成对本申请的不当限定。
请参考图4,示出了本申请一实施例中的数据分页导出方法的流程图。如图4所示,该方法包括以下步骤:
步骤1,获取数据导出请求,其中,所述数据导出请求中携带有导出条件;
步骤2,查询符合导出条件的带导出的多条目标记录,并获取多条目标记录的总条数T;
步骤3,读取***默认分页导出条数和单次最大导出条数L;
步骤4,将所述***默认分页导出条数确定为初始导出条数N;
步骤5,计算按照初始导出条数N进行分页导出时预计占用的内存M1;
步骤6,获取***当前已使用内存M2和***总内存MA;
步骤7,计算内存M1与内存M2之和占总内存MA的百分比F;
步骤8,判断百分比F是否小于第一预设百分比FM,若是,则执行步骤9,否则,执行步骤10;
步骤9,将初始导出条数N确定为本轮导出条数NE,跳到步骤11;
步骤10,计算N’=N×(FM-M2/MA)×MA/M1,并将N’确定为本轮导出条数NE;
步骤11,按照本轮导出条数NE进行分页导出并将导出的目标记录存入目标文件中;
步骤12,确定目前已导出的目标记录的总条数P;
步骤13,判断总条数P是否小于待导出的目标记录的总条数T,若是,则执行步骤14,否则,跳到步骤18;
步骤14,获取本轮分页导出实际使用的内存;
步骤15,判断是否同时满足本轮分页导出实际使用的内存占***总内存MA的百分比小于20%并且本轮分页导出条数NE小于单次最大导出条数L的一半,若是,则执行步骤16,否则,执行步骤17;
步骤16,将本轮分页导出条数NE的两倍确定为初始导出条数N,返回步骤5;
步骤17,将本轮分页导出条数NE确定为初始导出条数N,返回步骤5;
步骤18,结束。
上述实施例中的分页导出方法,在每轮分页导出之前,根据***可用内存动态调整本轮分页导出条数,可以有效防止数据导出引发内存溢出,同时,在从第二轮分页导出开始,每轮分页导出的分页导出条数根据上轮分页导出条数以及上轮分页导出实际使用的内存来确定,在上轮分页导出条数较少且使用内存较低的情况下,适当调高本轮分页导出条数,使得在防止内存溢出的同时,有效提高***资源利用率,提高数据导出效率,并改善用户进行数据导出时的用户体验。
基于同一发明构思,本申请实施例中还提供了一种数据分页导出装置,如下面的实施例所述。由于数据分页导出装置解决问题的原理与数据分页导出方法相似,因此数据分页导出装置的实施可以参见数据分页导出方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。图5是本申请实施例的数据分页导出装置的一种结构框图,如图5所示,包括:接收模块501、查询模块502、获取模块503、第一确定模块504、第二确定模块505和导出模块506,下面对该结构进行说明。
接收模块501用于接收数据导出请求,其中,数据导出请求中携带有导出条件;
查询模块502用于响应于数据导出请求,查询符合导出条件的多条目标记录;
获取模块503用于获取预设导出条数、***当前已使用内存和***总内存;
第一确定模块504用于根据预设导出条数确定分页导出预计要占用的内存;
第二确定模块505用于根据预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数;
导出模块506用于从多条目标记录中导出分页导出条数的目标记录并存入目标文件中。
在本申请一些实施例中,第二确定模块可以具体用于:确定分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比是否小于第一预设百分比;在确定分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比小于第一预设百分比的情况下,将预设导出条数确定为分页导出条数。
在本申请一些实施例中,在确定分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比是否小于第一预设百分比之后,还可以包括:在确定分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比不小于第一预设百分比的情况下,根据第一预设百分比、预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数。
在本申请一些实施例中,根据第一预设百分比、预设导出条数、分页导出预计要占用的内存、***当前已使用内存和***总内存确定分页导出条数,可以包括:按照以下公式确定分页导出条数:
其中,N 1为分页导出条数,N 0为预设导出条数,FM为第一预设百分比,M2为***当前已使用内存,M1为分页导出预计要占用的内存,MA为***总内存。
在本申请一些实施例中,在从多条目标记录中导出分页导出条数的目标记录并存入目标文件中之后,还可以包括:重复以下步骤直至已导出的目标记录的总条数不小于查询到的多条目标记录的总条数:确定已导出的目标记录的总条数;确定已导出的目标记录的总条数是否小于查询到的多条目标记录的总条数;在确定已导出的目标记录的总条数小于查询到的多条目标记录的总条数的情况下,获取***当前已使用内存;根据上一轮分页导出条数确定本轮分页导出预计要占用的内存;根据***当前已使用内存、本轮分页导出预计要占用的内存和***总内存,确定本轮分页导出条数;从多条目标记录中导出本轮分页导出条数的目标记录并存入目标文件中。
在本申请一些实施例中,根据上一轮分页导出条数确定本轮分页导出预计要占用的内存,可以包括:获取上一轮分页导出实际使用的内存;确定上一轮分页导出实际使用的内存占***总内存的百分比是否小于第二预设百分比;在确定上一轮分页导出实际使用的内存占***总内存的百分比小于第二预设百分比的情况下,确定上一轮分页导出条数与预设最大导出条数的比值是否小于预设比值;在确定上一轮分页导出条数与预设最大导出条数的比值小于预设比值的情况下,计算按照上一轮分页导出条数除以预设比值得到的条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。
在本申请一些实施例中,根据***当前已使用内存、本轮分页导出预计要占用的内存和***总内存,确定本轮分页导出条数,可以包括:确定本轮分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比是否小于第一预设百分比,其中,第一预设百分比大于第二预设百分比;在确定本轮分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比小于第一预设百分比的情况下,将上一轮分页导出条数除以预设比值得到的条数确定为本轮分页导出条数。
在本申请一些实施例中,在确定本轮分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比是否小于第一预设百分比之后,还可以包括:在确定本轮分页导出预计要占用的内存与***当前已使用内存之和占***总内存的百分比不小于第一预设百分比的情况下,按照以下公式确定本轮分页导出条数:
其中,N i 为本轮分页导出条数,N i-1为上一轮分页导出条数,k为预设比值,FM为第一预设百分比,M2为***当前已使用内存,M1为本轮分页导出预计要占用的内存,MA为***总内存,其中,i为大于1的整数。
在本申请一些实施例中,在确定上一轮分页导出实际使用的内存占***总内存的百分比是否小于第二预设百分比之后,还可以包括:在确定上一轮分页导出实际使用的内存占***总内存的百分比不小于第二预设百分比的情况下,计算按照上一轮分页导出条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。
在本申请一些实施例中,在确定上一轮分页导出条数与预设最大导出条数的比值是否小于预设比值之后,还可以包括:在确定上一轮分页导出条数与预设最大导出条数的比值不小于预设比值的情况下,计算按照上一轮分页导出条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。
从以上的描述中,可以看出,本申请实施例实现了如下技术效果:上述方案中,根据预设导出条数确定预计要占用的内存,并结合预设导出条数和预计要占用的内存、***已使用内存以及***总内存确定最终的分页导出条数,实现基于可用内存对分页导出的记录数进行动态调整,不仅能有效规避***内存溢出,还可以最大化***资源的利用率,极大地提升了数据导出的效率并有效改善用户体验。通过上述方案解决了现有技术中的数据导出方法不能有效防止内存溢出事件的技术问题,达到了有效规避***内存溢出、最大化利用***资源、提高导出效率及改善用户体验的技术效果。
本申请实施方式还提供了一种计算机设备,具体可以参阅图6所示的基于本申请实施例提供的数据分页导出方法的计算机设备组成结构示意图,所述计算机设备具体可以包括输入设备61、处理器62、存储器63。其中,所述存储器63用于存储处理器可执行指令。所述处理器62执行所述指令时实现上述任意实施例中所述的数据分页导出方法的步骤。
在本实施方式中,所述输入设备具体可以是用户和计算机***之间进行信息交换的主要装置之一。所述输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等;输入设备用于把原始数据和处理这些数的程序输入到计算机中。所述输入设备还可以获取接收其他模块、单元、设备传输过来的数据。所述处理器可以按任何适当的方式实现。例如,处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。所述存储器具体可以是现代信息技术中用于保存信息的记忆设备。所述存储器可以包括多个层次,在数字***中,只要能保存二进制数据的都可以是存储器;在集成电路中,一个没有实物形式的具有存储功能的电路也叫存储器,如RAM、FIFO等;在***中,具有实物形式的存储设备也叫存储器,如内存条、TF卡等。
在本实施方式中,该计算机设备具体实现的功能和效果,可以与其它实施方式对照解释,在此不再赘述。
本申请实施方式中还提供了一种基于数据分页导出方法的计算机存储介质,所述计算机存储介质存储有计算机程序指令,在所述计算机程序指令被执行时实现上述任意实施例中所述数据分页导出方法的步骤。
在本实施方式中,上述存储介质包括但不限于随机存取存储器(Random AccessMemory, RAM)、只读存储器(Read-Only Memory, ROM)、缓存(Cache)、硬盘(Hard DiskDrive, HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的,用于进行网络连接通信的接口。
在本实施方式中,该计算机存储介质存储的程序指令具体实现的功能和效果,可以与其它实施方式对照解释,在此不再赘述。
显然,本领域的技术人员应该明白,上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请实施例不限制于任何特定的硬件和软件结合。
应该理解,以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述,在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种基于可用JVM内存动态调整数据分页导出方法,其特征在于,包括:
接收数据导出请求,其中,所述数据导出请求中携带有导出条件;
响应于所述数据导出请求,查询符合所述导出条件的多条目标记录;
获取预设导出条数、***当前已使用内存和***总内存;
根据所述预设导出条数确定分页导出预计要占用的内存;
根据所述预设导出条数、所述分页导出预计要占用的内存、所述***当前已使用内存和所述***总内存确定分页导出条数;
从所述多条目标记录中导出所述分页导出条数的目标记录并存入目标文件中;
其中,根据所述预设导出条数、所述分页导出预计要占用的内存、所述***当前已使用内存和所述***总内存确定分页导出条数,包括:
确定所述分页导出预计要占用的内存与所述***当前已使用内存之和占所述***总内存的百分比是否小于第一预设百分比;
在确定所述分页导出预计要占用的内存与所述***当前已使用内存之和占所述***总内存的百分比不小于所述第一预设百分比的情况下,根据所述第一预设百分比、所述预设导出条数、所述分页导出预计要占用的内存、所述***当前已使用内存和所述***总内存确定所述分页导出条数。
2.根据权利要求1所述的方法,其特征在于,根据所述预设导出条数、所述分页导出预计要占用的内存、所述***当前已使用内存和所述***总内存确定分页导出条数,还包括:
在确定所述分页导出预计要占用的内存与所述***当前已使用内存之和占所述***总内存的百分比小于所述第一预设百分比的情况下,将所述预设导出条数确定为所述分页导出条数。
3.根据权利要求1所述的方法,其特征在于,根据所述第一预设百分比、所述预设导出条数、所述分页导出预计要占用的内存、所述***当前已使用内存和所述***总内存确定所述分页导出条数,包括:
按照以下公式确定分页导出条数:
其中,N1为所述分页导出条数,N0为所述预设导出条数,FM为所述第一预设百分比,M2为所述***当前已使用内存,M1为所述分页导出预计要占用的内存,MA为所述***总内存。
4.根据权利要求1所述的方法,其特征在于,在从所述多条目标记录中导出所述分页导出条数的目标记录并存入目标文件中之后,还包括:
重复以下步骤直至已导出的目标记录的总条数不小于查询到的多条目标记录的总条数:
确定已导出的目标记录的总条数;
确定所述已导出的目标记录的总条数是否小于查询到的多条目标记录的总条数;
在确定所述已导出的目标记录的总条数小于查询到的多条目标记录的总条数的情况下,获取***当前已使用内存;
根据上一轮分页导出条数确定本轮分页导出预计要占用的内存;
根据所述***当前已使用内存、所述本轮分页导出预计要占用的内存和所述***总内存,确定本轮分页导出条数;
从所述多条目标记录中导出所述本轮分页导出条数的目标记录并存入目标文件中。
5.根据权利要求4所述的方法,其特征在于,根据上一轮分页导出条数确定本轮分页导出预计要占用的内存,包括:
获取上一轮分页导出实际使用的内存;
确定所述上一轮分页导出实际使用的内存占所述***总内存的百分比是否小于第二预设百分比;
在确定所述上一轮分页导出实际使用的内存占所述***总内存的百分比小于所述第二预设百分比的情况下,确定所述上一轮分页导出条数与预设最大导出条数的比值是否小于预设比值;
在确定所述上一轮分页导出条数与预设最大导出条数的比值小于预设比值的情况下,计算按照所述上一轮分页导出条数除以所述预设比值得到的条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。
6.根据权利要求5所述的方法,其特征在于,根据所述***当前已使用内存、所述本轮分页导出预计要占用的内存和所述***总内存,确定本轮分页导出条数,包括:
确定所述本轮分页导出预计要占用的内存与所述***当前已使用内存之和占所述***总内存的百分比是否小于第一预设百分比,其中,所述第一预设百分比大于所述第二预设百分比;
在确定所述本轮分页导出预计要占用的内存与所述***当前已使用内存之和占所述***总内存的百分比小于所述第一预设百分比的情况下,将所述上一轮分页导出条数除以所述预设比值得到的条数确定为所述本轮分页导出条数。
7.根据权利要求6所述的方法,其特征在于,在确定所述本轮分页导出预计要占用的内存与所述***当前已使用内存之和占所述***总内存的百分比是否小于第一预设百分比之后,还包括:
在确定所述本轮分页导出预计要占用的内存与所述***当前已使用内存之和占所述***总内存的百分比不小于所述第一预设百分比的情况下,按照以下公式确定所述本轮分页导出条数:
其中,Ni为所述本轮分页导出条数,Ni-1为所述上一轮分页导出条数,k为所述预设比值,FM为所述第一预设百分比,M2为所述***当前已使用内存,M1为所述本轮分页导出预计要占用的内存,MA为所述***总内存,其中,i为大于1的整数。
8.根据权利要求5所述的方法,其特征在于,在确定所述上一轮分页导出实际使用的内存占所述***总内存的百分比是否小于第二预设百分比之后,还包括:
在确定所述上一轮分页导出实际使用的内存占所述***总内存的百分比不小于第二预设百分比的情况下,计算按照所述上一轮分页导出条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。
9.根据权利要求5所述的方法,其特征在于,在确定所述上一轮分页导出条数与预设最大导出条数的比值是否小于预设比值之后,还包括:
在确定所述上一轮分页导出条数与预设最大导出条数的比值不小于预设比值的情况下,计算按照所述上一轮分页导出条数进行分页导出时预计占用的内存,并将计算得到的内存确定为本轮分页导出预计要占用的内存。
10.一种数据分页导出装置,其特征在于,包括:
接收模块,用于接收数据导出请求,其中,所述数据导出请求中携带有导出条件;
查询模块,用于响应于所述数据导出请求,查询符合所述导出条件的多条目标记录;
获取模块,用于获取预设导出条数、***当前已使用内存和***总内存;
第一确定模块,用于根据所述预设导出条数确定分页导出预计要占用的内存;
第二确定模块,用于根据所述预设导出条数、所述分页导出预计要占用的内存、所述***当前已使用内存和所述***总内存确定分页导出条数;
导出模块,用于从所述多条目标记录中导出所述分页导出条数的目标记录并存入目标文件中;
其中,所述第二确定模块具体用于:
确定所述分页导出预计要占用的内存与所述***当前已使用内存之和占所述***总内存的百分比是否小于第一预设百分比;
在确定所述分页导出预计要占用的内存与所述***当前已使用内存之和占所述***总内存的百分比不小于所述第一预设百分比的情况下,根据所述第一预设百分比、所述预设导出条数、所述分页导出预计要占用的内存、所述***当前已使用内存和所述***总内存确定所述分页导出条数。
11.一种计算机设备,其特征在于,包括处理器以及用于存储处理器可执行指令的存储器,所述处理器执行所述指令时实现权利要求1至9中任一项所述方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,所述指令被执行时实现权利要求1至9中任一项所述方法的步骤。
CN201910710933.2A 2019-08-02 2019-08-02 数据分页导出方法、装置、计算机设备和存储介质 Active CN110413978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910710933.2A CN110413978B (zh) 2019-08-02 2019-08-02 数据分页导出方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910710933.2A CN110413978B (zh) 2019-08-02 2019-08-02 数据分页导出方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110413978A CN110413978A (zh) 2019-11-05
CN110413978B true CN110413978B (zh) 2023-12-12

Family

ID=68365424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910710933.2A Active CN110413978B (zh) 2019-08-02 2019-08-02 数据分页导出方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110413978B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143462B (zh) * 2019-12-31 2024-04-09 广州酷旅旅行社有限公司 数据导出的方法、装置、计算机设备和存储介质
CN111460021B (zh) * 2020-04-03 2024-01-19 中国建设银行股份有限公司 数据导出方法及装置
CN113779122B (zh) * 2021-02-19 2023-11-03 北京京东振世信息技术有限公司 导出数据的方法和装置
CN114217748A (zh) * 2021-12-17 2022-03-22 中国建设银行股份有限公司 数据导出方法、装置、设备、介质及产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102486772A (zh) * 2009-12-29 2012-06-06 北京方正阿帕比技术有限公司 一种数据的导出方法及装置
CN104765760A (zh) * 2015-01-04 2015-07-08 北京可思云海科技有限公司 一种基于json格式的页面生成和显示方法
CN107562705A (zh) * 2017-07-25 2018-01-09 努比亚技术有限公司 一种数据导出方法、服务端及计算机可读存储介质
CN110019437A (zh) * 2017-07-18 2019-07-16 北京京东尚科信息技术有限公司 一种导出数据的方法和***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105786717B (zh) * 2016-03-22 2018-11-16 华中科技大学 软硬件协同管理的dram-nvm层次化异构内存访问方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102486772A (zh) * 2009-12-29 2012-06-06 北京方正阿帕比技术有限公司 一种数据的导出方法及装置
CN104765760A (zh) * 2015-01-04 2015-07-08 北京可思云海科技有限公司 一种基于json格式的页面生成和显示方法
CN110019437A (zh) * 2017-07-18 2019-07-16 北京京东尚科信息技术有限公司 一种导出数据的方法和***
CN107562705A (zh) * 2017-07-25 2018-01-09 努比亚技术有限公司 一种数据导出方法、服务端及计算机可读存储介质

Also Published As

Publication number Publication date
CN110413978A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN110413978B (zh) 数据分页导出方法、装置、计算机设备和存储介质
US9575984B2 (en) Similarity analysis method, apparatus, and system
CN106933854B (zh) 短链接处理方法、装置及服务器
US20160259802A1 (en) Adaptive data striping and replication across multiple storage clouds for high availability and performance
CN110909025A (zh) 数据库的查询方法、查询装置及终端
CN112866136B (zh) 业务数据处理方法和装置
CN108228341B (zh) 内存回收方法及装置、终端设备及计算机可读存储介质
US10067719B1 (en) Methods and systems for storing and accessing data in a distributed data storage system
CN111722918A (zh) 业务标识码生成方法、装置、存储介质及电子设备
CN103631933A (zh) 一种面向分布式去重***的数据路由方法
CN113010334A (zh) 一种请求处理方法、装置和设备
CN112559386A (zh) 提升ssd性能的方法、装置、计算机设备及存储介质
CN111949681A (zh) 数据的聚合处理装置、方法和存储介质
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN111159131A (zh) 性能优化方法、装置、设备及计算机可读存储介质
CN108228340B (zh) 终端控制方法及装置、终端设备及计算机可读存储介质
CN114640706B (zh) 数据传输方法、电子设备及计算机可读存储介质
CN108241639B (zh) 一种数据去重方法
CN111158837B (zh) 银行软件功能界面生成方法和装置
CN106487653B (zh) 一种消息处理方法及服务器
CN116089477B (zh) 分布式训练方法及***
CN106446080B (zh) 数据查询的方法、查询服务设备、客户端设备和数据***
CN107689979B (zh) 一种下载请求处理方法和处理设备
CN116955271A (zh) 一种数据副本存储的方法、装置、电子设备及存储介质
CN110134547B (zh) 一种基于中间件的重复数据删除方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant