CN111343225A - 一种文件处理方法和装置 - Google Patents
一种文件处理方法和装置 Download PDFInfo
- Publication number
- CN111343225A CN111343225A CN201811558054.4A CN201811558054A CN111343225A CN 111343225 A CN111343225 A CN 111343225A CN 201811558054 A CN201811558054 A CN 201811558054A CN 111343225 A CN111343225 A CN 111343225A
- Authority
- CN
- China
- Prior art keywords
- file
- fragments
- complete
- source database
- acquisition request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 9
- 239000012634 fragment Substances 0.000 claims abstract description 147
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000005540 biological transmission Effects 0.000 claims abstract description 36
- 238000013467 fragmentation Methods 0.000 claims description 69
- 238000006062 fragmentation reaction Methods 0.000 claims description 69
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 239000002699 waste material Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/104—Peer-to-peer [P2P] networks
- H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
- H04L67/1078—Resource delivery mechanisms
- H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种文件处理方法、装置、电子设备和计算机可读存储介质。该方法包括:将从源数据库获取的完整文件分成若干个分片,并对各分片进行保存;接收前端服务器发送的完整或部分指定文件的获取请求;根据获取请求,将本地保存的指定文件的全部分片或者指定文件的与获取请求对应的分片返回给前端服务器。通过本技术方案,不管前端服务器接收到的是完整文件的获取请求还是部分文件的获取请求,存储服务器仅将相应的完整文件或部分文件返回,不会占用传输资源,合理使用传输资源,保证请求的相应速度,提高用户体验。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种文件处理方法、装置、电子设备和计算机可读存储介质。
背景技术
当前端服务器接收到文件获取请求时,会向存储该文件的存储服务器获取相应的文件。现有技术中,存储服务器中保存的文件是从源数据库获取的完整的文件,当存储服务器向前端服务器返回文件时,是将完整的文件返回,但是,如果前端服务器接收到的是对文件的部分的获取请求,将完整的文件返回会占用传输资源,造成传输资源的浪费,影响请求的响应速度,进而影响用户体验。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的文件处理方法、装置、电子设备和计算机可读存储介质。
根据本发明的一个方面,提供了一种文件处理方法,其中,该方法包括:
将从源数据库获取的完整文件分成若干个分片,并对各分片进行保存;
接收前端服务器发送的完整或部分指定文件的获取请求;
根据所述获取请求,将本地保存的所述指定文件的全部分片或者所述指定文件的与所述获取请求对应的分片返回给所述前端服务器。
可选地,所述将从源数据库获取的完整文件分成若干个分片包括:
从源数据库获取完整文件时,将获取的完整文件分成若干个分片;
和/或,
判断是否满足分片条件,若判断为是,则将从源数据库获取的且已保存在本地的完整文件分成若干个分片。
可选地,所述判断是否满足分片条件包括:
判断与前端服务器的传输资源的占用率是否达到预设上限值,若判断为是,则确定满足分片条件;
和/或,
判断接收到的前端服务器发送的部分指定文件的获取请求的个数是否达到预设阈值,若判断为是,则确定满足分片条件。
可选地,所述将从源数据库获取的完整文件分成若干个分片包括:
按照预设粒度,将从源数据库获取的完整文件分成若干个分片。
可选地,所述预设粒度是根据如下的一种或多种因素确定的:
从源数据库获取的文件的大小;
本地存储空间的大小。
可选地,所述按照预设粒度,将从源数据库获取的完整文件分成若干个分片包括:
设定预设周期;
按照预设周期,重新确定预设粒度;
根据重新确定的预设粒度,将从源数据库获取的完整文件分成若干个分片。
可选地,所述按照预设周期,重新确定预设粒度包括:
达到预设周期时,根据该周期内的完整或部分指定文件的获取请求,统计对指定文件的获取次数最多的部分,将该部分作为该指定文件的一个分片,并根据该部分文件的大小确定预设粒度。
可选地,在所述接收前端服务器发送的完整或部分指定文件的获取请求之后,该方法还包括:
判断本地是否保存有指定文件,若判断为否,向源数据库中发送指定文件的获取请求;
接收源数据库返回的指定文件;
将接收到的指定文件分成若干个分片,并对各分片进行保存。
可选地,所述接收前端服务器发送的完整指定文件的获取请求包括:
接收前端服务器发送的分别获取指定文件的各分片的获取请求;其中,所述分别获取指定文件的各分片的获取请求是所述前端服务器根据客户端发送的完整指定文件的获取请求生成的。
根据本发明的另一方面,提供了一种文件处理装置,其中,该装置包括:
分片单元,适于将从源数据库获取的完整文件分成若干个分片,并对各分片进行保存;
接收单元,适于接收前端服务器发送的完整或部分指定文件的获取请求;
发送单元,适于根据所述获取请求,将本地保存的所述指定文件的全部分片或者所述指定文件的与所述获取请求对应的分片返回给所述前端服务器。
可选地,
所述分片单元,适于从源数据库获取完整文件时,将获取的完整文件分成若干个分片;和/或,判断是否满足分片条件,若判断为是,则将从源数据库获取的且已保存在本地的完整文件分成若干个分片。
可选地,
所述分片单元,适于判断与前端服务器的传输资源的占用率是否达到预设上限值,若判断为是,则确定满足分片条件;和/或,判断接收到的前端服务器发送的部分指定文件的获取请求的个数是否达到预设阈值,若判断为是,则确定满足分片条件。
可选地,
所述分片单元,适于按照预设粒度,将从源数据库获取的完整文件分成若干个分片。
可选地,所述预设粒度是根据如下的一种或多种因素确定的:
从源数据库获取的文件的大小;
本地存储空间的大小。
可选地,
所述分片单元,适于设定预设周期;按照预设周期,重新确定预设粒度;根据重新确定的预设粒度,将从源数据库获取的完整文件分成若干个分片。
可选地,
所述分片单元,适于达到预设周期时,根据该周期内的完整或部分指定文件的获取请求,统计对指定文件的获取次数最多的部分,将该部分作为该指定文件的一个分片,并根据该部分文件的大小确定预设粒度。
可选地,在所述接收单元接收前端服务器发送的完整或部分指定文件的获取请求之后,该装置还包括:
判断单元,适于判断本地是否保存有指定文件,若判断为否,向源数据库中发送指定文件的获取请求;接收源数据库返回的指定文件;将接收到的指定文件分成若干个分片,并对各分片进行保存。
可选地,
所述接收单元,适于接收前端服务器发送的分别获取指定文件的各分片的获取请求;其中,所述分别获取指定文件的各分片的获取请求是所述前端服务器根据客户端发送的完整指定文件的获取请求生成的。
根据本发明的又一方面,提供了一种电子设备,其中,该电子设备包括:
处理器;以及,
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行根据前述的方法。
根据本发明的再一方面,提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现前述的方法。
根据本发明的技术方案,将从源数据库获取的完整文件分成若干个分片,并对各分片进行保存;接收前端服务器发送的完整或部分指定文件的获取请求;根据获取请求,将本地保存的指定文件的全部分片或者指定文件的与获取请求对应的分片返回给前端服务器。通过本技术方案,不管前端服务器接收到的是完整文件的获取请求还是部分文件的获取请求,存储服务器仅将相应的完整文件或部分文件返回,不会占用传输资源,合理使用传输资源,保证请求的相应速度,提高用户体验。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的文件处理方法的流程示意图;
图2示出了根据本发明一个实施例的文件处理装置的结构示意图;
图3示出了根据本发明一个实施例的电子设备的结构示意图;
图4示出了根据本发明一个实施例的计算机可读存储介质的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的文件处理方法的流程示意图。如图1所示,该方法包括:
步骤S110,将从源数据库获取的完整文件分成若干个分片,并对各分片进行保存。
存储服务器中的文件一般是从源数据库获取的,源数据库中的文件是完整文件,在存储服务器获取到完整文件时,对文件进行分片并储存。分片即是将文件分成小片段。例如,对10兆(M)文件进行分片,0-2M作为分片1、2M-4M作为分片2、4M-6M作为分片3、6M-8M作为分片4、8M-10M作为分片5,也就是说,将分片1、分片2、分片3、分片4和分片5合起来会得到完整的10M文件。
步骤S120,接收前端服务器发送的完整或部分指定文件的获取请求。
步骤S130,根据获取请求,将本地保存的指定文件的全部分片或者指定文件的与获取请求对应的分片返回给前端服务器。
当接收到前端服务器发送的获取请求时,就会根据获取请求将相应的指定文件的分片返回给前端服务器,例如,在上述例子的基础上,获取请求是获取完整文件,则将分片1、分片2、分片3、分片4和分片5全部返回;如果获取请求是获取指定文件的4M-6M的部分,则将指定文件的分片3返回。
可见,通过本实施例,不管前端服务器接收到的是完整文件的获取请求还是部分文件的获取请求,存储服务器仅将相应的完整文件或部分文件返回,不会占用传输资源,合理使用传输资源,保证请求的相应速度,提高用户体验。
优选地,图1所示的方法适用于内容分发网络(Content Delivery Network,CDN)。
在本发明的一个实施例中,图1所示的方法的步骤S110中的将从源数据库获取的完整文件分成若干个分片包括:从源数据库获取完整文件时,将获取的完整文件分成若干个分片;和/或,判断是否满足分片条件,若判断为是,则将从源数据库获取的且已保存在本地的完整文件分成若干个分片。
在本发明的一个具体实施例中,进行分片的时机可以是从源数据库获取到完整文件的时候,或者满足分片条件时对完整文件进行分片。或者,从源数据库获取到完整文件并分片后,如果满足分片条件,也会对分片后的文件进行重新分片。
具体地,上述的判断是否满足分片条件包括:判断与前端服务器的传输资源的占用率是否达到预设上限值,若判断为是,则确定满足分片条件;和/或,判断接收到的前端服务器发送的部分指定文件的获取请求的个数是否达到预设阈值,若判断为是,则确定满足分片条件。
在前述说明中,如果存储服务器返回的指定文件是完整文件,但如果是部分指定文件的请求则会造成传输资源的浪费。考虑到如果是在传输资源的占用率较小的情况下,传输完整文件则不会带来严重影响,如果传输资源的占用率较大,则需要针对获取请求进行指定文件的传输,因此,本实施例中,预设传输资源的占用率的上限值,例如80%,达到预设上限值时,再对完整文件进行分片。
如果获取请求全部是获取完整文件的请求,则必须要返回完整文件,这时则不需要进行分片处理,如果获取请求中只有少量的部分文件的请求,则也不会对传输资源造成太大的浪费,这时也可以不进行分片处理。只有当部分指定文件的获取请求达到一定量的时候,如果不进行分片,则会造成传输资源的很大浪费,因此,本实施例中,预设一个阈值,当部分指定文件的获取请求的个数达到预设阈值时,再对完整文件进行分片。
在本发明的一个实施例中,图1所示的方法的步骤S110中的将从源数据库获取的完整文件分成若干个分片包括:按照预设粒度,将从源数据库获取的完整文件分成若干个分片。
这里在对完整文件进行分片时,是按照预设粒度分片的,例如2M,则在对完整文件进行分片时,每个分片包括2M。例如,对10兆(M)文件进行分片,0-2M作为分片1、2M-4M作为分片2、4M-6M作为分片3、6M-8M作为分片4、8M-10M作为分片5。
具体地,上述的预设粒度是根据如下的一种或多种因素确定的:从源数据库获取的文件的大小;本地存储空间的大小。
预设粒度会受到文件的大小和本地存储空间的大小的影响。例如,文件是9M,如果想要保证每个分片的大小一致,但是预设粒度是2M则无法保证每个分片的大小是一致的,这时预设粒度可以定为3M。另外,存储空间一般会有最小存储单元,如果预设粒度小于最小存储单元是不可以的。例如,最小存储单元是2M,则预设粒度要大于或等于2M。
进一步地,上述的按照预设粒度,将从源数据库获取的完整文件分成若干个分片包括:设定预设周期;按照预设周期,重新确定预设粒度;根据重新确定的预设粒度,将从源数据库获取的完整文件分成若干个分片。
预设粒度并非是固定不变的,即设定周期,例如每周,重新确定预设粒度,以便对完整文件的分片进行优化。
具体地,上述的按照预设周期,重新确定预设粒度包括:达到预设周期时,根据该周期内的完整或部分指定文件的获取请求,统计对指定文件的获取次数最多的部分,将该部分作为该指定文件的一个分片,并根据该部分文件的大小确定预设粒度。
本实施例中,可以根据对指定文件的热门部分进行重新分片,例如,对指定文件进行分片后,得到0-2M作为分片1、2M-4M作为分片2、4M-6M作为分片3、6M-8M作为分片4、8M-10M作为分片5,但是统计后确定对该文件的1M-4M的部分获取的次数最多,那么就可以对指定文件进行重新分片,将1M-4M的部分作为一个分片,确定预设粒度是3M,最终分片结果为:0M-1M作为分片1,1M-4M作为分片2、4M-7M作为分片3、7M-10M作为分片4。
在本发明的一个实施例中,在步骤S120中的接收前端服务器发送的完整或部分指定文件的获取请求之后,图1所示的方法还包括:判断本地是否保存有指定文件,若判断为否,向源数据库中发送指定文件的获取请求;接收源数据库返回的指定文件;将接收到的指定文件分成若干个分片,并对各分片进行保存。
如果接收到的指定文件的获取请求是对指定文件的额首次获取请求,存储服务器中可能并没有保存该指定文件,那么就需要对该获取请求进行回源处理,即向源数据库发送指定文件的获取请求,当源数据库返回该指定文件后,将接收到的指定文件分成若干个分片,并对各分片进行保存,并根据获取请求,将相应的分片返回给前端服务器。
需要说明的是,这里对接收到的指定文件进行分片,也适用于上述各实施例中的分片处理情况。
在本发明的一个实施例中,图1所示的方法的步骤S120中的接收前端服务器发送的完整指定文件的获取请求包括:接收前端服务器发送的分别获取指定文件的各分片的获取请求;其中,分别获取指定文件的各分片的获取请求是前端服务器根据客户端发送的完整指定文件的获取请求生成的。
考虑到如果存储服务器对指定文件进行分片。那么每个分片是作为独立文件保存的,如果前端服务器在接收到完整指定文件的获取请求后,直接将该获取请求发送给存储服务器,则存储服务器无法获取到完整文件。这时,就需要前端服务器根据分片情况,生成指定文件的各分片的获取请求,分片对存储服务器的各分片进行获取。例如,对指定文件进行分片后,得到分片1、分片2、分片3、分片4、分片5。那么前端服务器根据完整指定文件的获取请求生成对分片1的获取请求、对分片2的获取请求、对分片3的获取请求、对分片4的获取请求、对分片5的获取请求,并将这5个请求发送给存储服务器,存储服务器根据请求,分别将分片1-分片5的文件返回。
图2示出了根据本发明一个实施例的文件处理装置的结构示意图,从存储服务器侧对本技术方案进行说明。如图2所示,该文件处理装置200包括:
分片单元210,适于将从源数据库获取的完整文件分成若干个分片,并对各分片进行保存。
存储服务器中的文件一般是从源数据库获取的,源数据库中的文件是完整文件,在存储服务器获取到完整文件时,对文件进行分片并储存。分片即是将文件分成小片段。例如,对10兆(M)文件进行分片,0-2M作为分片1、2M-4M作为分片2、4M-6M作为分片3、6M-8M作为分片4、8M-10M作为分片5,也就是说,将分片1、分片2、分片3、分片4和分片5合起来会得到完整的10M文件。
接收单元220,适于接收前端服务器发送的完整或部分指定文件的获取请求。
发送单元230,适于根据获取请求,将本地保存的指定文件的全部分片或者指定文件的与获取请求对应的分片返回给前端服务器。
当接收到前端服务器发送的获取请求时,就会根据获取请求将相应的指定文件的分片返回给前端服务器,例如,在上述例子的基础上,获取请求是获取完整文件,则将分片1、分片2、分片3、分片4和分片5全部返回;如果获取请求是获取指定文件的4M-6M的部分,则将指定文件的分片3返回。
可见,通过本实施例,不管前端服务器接收到的是完整文件的获取请求还是部分文件的获取请求,存储服务器仅将相应的完整文件或部分文件返回,不会占用传输资源,合理使用传输资源,保证请求的相应速度,提高用户体验。
在本发明的一个实施例中,图2所示的分片单元210,适于从源数据库获取完整文件时,将获取的完整文件分成若干个分片;和/或,判断是否满足分片条件,若判断为是,则将从源数据库获取的且已保存在本地的完整文件分成若干个分片。
在本发明的一个具体实施例中,进行分片的时机可以是从源数据库获取到完整文件的时候,或者满足分片条件时对完整文件进行分片。或者,从源数据库获取到完整文件并分片后,如果满足分片条件,也会对分片后的文件进行重新分片。
具体地,上述的分片单元210,适于判断与前端服务器的传输资源的占用率是否达到预设上限值,若判断为是,则确定满足分片条件;和/或,判断接收到的前端服务器发送的部分指定文件的获取请求的个数是否达到预设阈值,若判断为是,则确定满足分片条件。
在前述说明中,如果存储服务器返回的指定文件是完整文件,但如果是部分指定文件的请求则会造成传输资源的浪费。考虑到如果是在传输资源的占用率较小的情况下,传输完整文件则不会带来严重影响,如果传输资源的占用率较大,则需要针对获取请求进行指定文件的传输,因此,本实施例中,预设传输资源的占用率的上限值,例如80%,达到预设上限值时,再对完整文件进行分片。
如果获取请求全部是获取完整文件的请求,则必须要返回完整文件,这时则不需要进行分片处理,如果获取请求中只有少量的部分文件的请求,则也不会对传输资源造成太大的浪费,这时也可以不进行分片处理。只有当部分指定文件的获取请求达到一定量的时候,如果不进行分片,则会造成传输资源的很大浪费,因此,本实施例中,预设一个阈值,当部分指定文件的获取请求的个数达到预设阈值时,再对完整文件进行分片。
在本发明的一个实施例中,图2所示的分片单元210,适于按照预设粒度,将从源数据库获取的完整文件分成若干个分片。
这里在对完整文件进行分片时,是按照预设粒度分片的,例如2M,则在对完整文件进行分片时,每个分片包括2M。例如,对10兆(M)文件进行分片,0-2M作为分片1、2M-4M作为分片2、4M-6M作为分片3、6M-8M作为分片4、8M-10M作为分片5。
具体地,上述的预设粒度是根据如下的一种或多种因素确定的:从源数据库获取的文件的大小;本地存储空间的大小。
预设粒度会受到文件的大小和本地存储空间的大小的影响。例如,文件是9M,如果想要保证每个分片的大小一致,但是预设粒度是2M则无法保证每个分片的大小是一致的,这时预设粒度可以定为3M。另外,存储空间一般会有最小存储单元,如果预设粒度小于最小存储单元是不可以的。例如,最小存储单元是2M,则预设粒度要大于或等于2M。
进一步地,上述的分片单元210,适于设定预设周期;按照预设周期,重新确定预设粒度;根据重新确定的预设粒度,将从源数据库获取的完整文件分成若干个分片。
预设粒度并非是固定不变的,即设定周期,例如每周,重新确定预设粒度,以便对完整文件的分片进行优化。
具体地,上述的分片单元210,适于达到预设周期时,根据该周期内的完整或部分指定文件的获取请求,统计对指定文件的获取次数最多的部分,将该部分作为该指定文件的一个分片,并根据该部分文件的大小确定预设粒度。
本实施例中,可以根据对指定文件的热门部分进行重新分片,例如,对指定文件进行分片后,得到0-2M作为分片1、2M-4M作为分片2、4M-6M作为分片3、6M-8M作为分片4、8M-10M作为分片5,但是统计后确定对该文件的1M-4M的部分获取的次数最多,那么就可以对指定文件进行重新分片,将1M-4M的部分作为一个分片,确定预设粒度是3M,最终分片结果为:0M-1M作为分片1,1M-4M作为分片2、4M-7M作为分片3、7M-10M作为分片4。
在本发明的一个实施例中,在图2所示的接收单元220接收前端服务器发送的完整或部分指定文件的获取请求之后,图2所示的装置还包括:
判断单元,适于判断本地是否保存有指定文件,若判断为否,向源数据库中发送指定文件的获取请求;接收源数据库返回的指定文件;将接收到的指定文件分成若干个分片,并对各分片进行保存。
如果接收到的指定文件的获取请求是对指定文件的额首次获取请求,存储服务器中可能并没有保存该指定文件,那么就需要对该获取请求进行回源处理,即向源数据库发送指定文件的获取请求,当源数据库返回该指定文件后,将接收到的指定文件分成若干个分片,并对各分片进行保存,并根据获取请求,将相应的分片返回给前端服务器。
需要说明的是,这里对接收到的指定文件进行分片,也适用于上述各实施例中的分片处理情况。
在本发明的一个实施例中,图2所示的接收单元220,适于接收前端服务器发送的分别获取指定文件的各分片的获取请求;其中,分别获取指定文件的各分片的获取请求是前端服务器根据客户端发送的完整指定文件的获取请求生成的。
考虑到如果存储服务器对指定文件进行分片。那么每个分片是作为独立文件保存的,如果前端服务器在接收到完整指定文件的获取请求后,直接将该获取请求发送给存储服务器,则存储服务器无法获取到完整文件。这时,就需要前端服务器根据分片情况,生成指定文件的各分片的获取请求,分片对存储服务器的各分片进行获取。例如,对指定文件进行分片后,得到分片1、分片2、分片3、分片4、分片5。那么前端服务器根据完整指定文件的获取请求生成对分片1的获取请求、对分片2的获取请求、对分片3的获取请求、对分片4的获取请求、对分片5的获取请求,并将这5个请求发送给存储服务器,存储服务器根据请求,分别将分片1-分片5的文件返回。
综上所述,根据本发明的技术方案,将从源数据库获取的完整文件分成若干个分片,并对各分片进行保存;接收前端服务器发送的完整或部分指定文件的获取请求;根据获取请求,将本地保存的指定文件的全部分片或者指定文件的与获取请求对应的分片返回给前端服务器。通过本技术方案,不管前端服务器接收到的是完整文件的获取请求还是部分文件的获取请求,存储服务器仅将相应的完整文件或部分文件返回,不会占用传输资源,合理使用传输资源,保证请求的相应速度,提高用户体验。
需要说明的是:
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述,构造这类装置所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的文件处理装置、电子设备和计算机可读存储介质中的一些或者完整部件的一些或者完整功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者完整的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
例如,图3示出了根据本发明一个实施例的电子设备的结构示意图。该电子设备300传统上包括处理器310和被安排成存储计算机可执行指令(程序代码)的存储器320。存储器320可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器320具有存储用于执行图1所示的以及各实施例中的任何方法步骤的程序代码340的存储空间330。例如,用于程序代码的存储空间330可以包括分别用于实现上面的方法中的各种步骤的各个程序代码340。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘,紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图4所述的计算机可读存储介质400。该计算机可读存储介质400可以具有与图3的电子设备中的存储器320类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常,存储单元存储有用于执行根据本发明的方法步骤的程序代码410,即可以由诸如310之类的处理器读取的程序代码,当这些程序代码由电子设备运行时,导致该电子设备执行上面所描述的方法中的各个步骤。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第一、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明的实施例公开了A1、一种文件处理方法,其中,该方法包括:
将从源数据库获取的完整文件分成若干个分片,并对各分片进行保存;
接收前端服务器发送的完整或部分指定文件的获取请求;
根据所述获取请求,将本地保存的所述指定文件的全部分片或者所述指定文件的与所述获取请求对应的分片返回给所述前端服务器。
A2、如A1所述的方法,其中,所述将从源数据库获取的完整文件分成若干个分片包括:
从源数据库获取完整文件时,将获取的完整文件分成若干个分片;
和/或,
判断是否满足分片条件,若判断为是,则将从源数据库获取的且已保存在本地的完整文件分成若干个分片。
A3、如A2所述的方法,其中,所述判断是否满足分片条件包括:
判断与前端服务器的传输资源的占用率是否达到预设上限值,若判断为是,则确定满足分片条件;
和/或,
判断接收到的前端服务器发送的部分指定文件的获取请求的个数是否达到预设阈值,若判断为是,则确定满足分片条件。
A4、如A1所述的方法,其中,所述将从源数据库获取的完整文件分成若干个分片包括:
按照预设粒度,将从源数据库获取的完整文件分成若干个分片。
A5、如A4所述的方法,其中,所述预设粒度是根据如下的一种或多种因素确定的:
从源数据库获取的文件的大小;
本地存储空间的大小。
A6、如A4所述的方法,其中,所述按照预设粒度,将从源数据库获取的完整文件分成若干个分片包括:
设定预设周期;
按照预设周期,重新确定预设粒度;
根据重新确定的预设粒度,将从源数据库获取的完整文件分成若干个分片。
A7、如A6所述的方法,其中,所述按照预设周期,重新确定预设粒度包括:
达到预设周期时,根据该周期内的完整或部分指定文件的获取请求,统计对指定文件的获取次数最多的部分,将该部分作为该指定文件的一个分片,并根据该部分文件的大小确定预设粒度。
A8、如A1所述的方法,其中,在所述接收前端服务器发送的完整或部分指定文件的获取请求之后,该方法还包括:
判断本地是否保存有指定文件,若判断为否,向源数据库中发送指定文件的获取请求;
接收源数据库返回的指定文件;
将接收到的指定文件分成若干个分片,并对各分片进行保存。
A9、如A1所述的方法,其中,所述接收前端服务器发送的完整指定文件的获取请求包括:
接收前端服务器发送的分别获取指定文件的各分片的获取请求;其中,所述分别获取指定文件的各分片的获取请求是所述前端服务器根据客户端发送的完整指定文件的获取请求生成的。
本发明的实施例还公开了B10、一种文件处理装置,其中,该装置包括:
分片单元,适于将从源数据库获取的完整文件分成若干个分片,并对各分片进行保存;
接收单元,适于接收前端服务器发送的完整或部分指定文件的获取请求;
发送单元,适于根据所述获取请求,将本地保存的所述指定文件的全部分片或者所述指定文件的与所述获取请求对应的分片返回给所述前端服务器。
B11、如B10所述的装置,其中,
所述分片单元,适于从源数据库获取完整文件时,将获取的完整文件分成若干个分片;和/或,判断是否满足分片条件,若判断为是,则将从源数据库获取的且已保存在本地的完整文件分成若干个分片。
B12、如B11所述的装置,其中,
所述分片单元,适于判断与前端服务器的传输资源的占用率是否达到预设上限值,若判断为是,则确定满足分片条件;和/或,判断接收到的前端服务器发送的部分指定文件的获取请求的个数是否达到预设阈值,若判断为是,则确定满足分片条件。
B13、如B10所述的装置,其中,
所述分片单元,适于按照预设粒度,将从源数据库获取的完整文件分成若干个分片。
B14、如B13所述的装置,其中,所述预设粒度是根据如下的一种或多种因素确定的:
从源数据库获取的文件的大小;
本地存储空间的大小。
B15、如B13所述的装置,其中,
所述分片单元,适于设定预设周期;按照预设周期,重新确定预设粒度;根据重新确定的预设粒度,将从源数据库获取的完整文件分成若干个分片。
B16、如B15所述的装置,其中,
所述分片单元,适于达到预设周期时,根据该周期内的完整或部分指定文件的获取请求,统计对指定文件的获取次数最多的部分,将该部分作为该指定文件的一个分片,并根据该部分文件的大小确定预设粒度。
B17、如B10所述的装置,其中,在所述接收单元接收前端服务器发送的完整或部分指定文件的获取请求之后,该装置还包括:
判断单元,适于判断本地是否保存有指定文件,若判断为否,向源数据库中发送指定文件的获取请求;接收源数据库返回的指定文件;将接收到的指定文件分成若干个分片,并对各分片进行保存。
B18、如B10所述的装置,其中,
所述接收单元,适于接收前端服务器发送的分别获取指定文件的各分片的获取请求;其中,所述分别获取指定文件的各分片的获取请求是所述前端服务器根据客户端发送的完整指定文件的获取请求生成的。
本发明的实施例还公开了C19、一种电子设备,其中,该电子设备包括:
处理器;以及,
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行根据A1~A9中任一项所述的方法。
本发明的实施例还公开了D20、一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现A1~A9中任一项所述的方法。
Claims (10)
1.一种文件处理方法,其中,该方法包括:
将从源数据库获取的完整文件分成若干个分片,并对各分片进行保存;
接收前端服务器发送的完整或部分指定文件的获取请求;
根据所述获取请求,将本地保存的所述指定文件的全部分片或者所述指定文件的与所述获取请求对应的分片返回给所述前端服务器。
2.如权利要求1所述的方法,其中,所述将从源数据库获取的完整文件分成若干个分片包括:
从源数据库获取完整文件时,将获取的完整文件分成若干个分片;
和/或,
判断是否满足分片条件,若判断为是,则将从源数据库获取的且已保存在本地的完整文件分成若干个分片。
3.如权利要求2所述的方法,其中,所述判断是否满足分片条件包括:
判断与前端服务器的传输资源的占用率是否达到预设上限值,若判断为是,则确定满足分片条件;
和/或,
判断接收到的前端服务器发送的部分指定文件的获取请求的个数是否达到预设阈值,若判断为是,则确定满足分片条件。
4.如权利要求1所述的方法,其中,所述将从源数据库获取的完整文件分成若干个分片包括:
按照预设粒度,将从源数据库获取的完整文件分成若干个分片。
5.一种文件处理装置,其中,该装置包括:
分片单元,适于将从源数据库获取的完整文件分成若干个分片,并对各分片进行保存;
接收单元,适于接收前端服务器发送的完整或部分指定文件的获取请求;
发送单元,适于根据所述获取请求,将本地保存的所述指定文件的全部分片或者所述指定文件的与所述获取请求对应的分片返回给所述前端服务器。
6.如权利要求5所述的装置,其中,
所述分片单元,适于从源数据库获取完整文件时,将获取的完整文件分成若干个分片;和/或,判断是否满足分片条件,若判断为是,则将从源数据库获取的且已保存在本地的完整文件分成若干个分片。
7.如权利要求6所述的装置,其中,
所述分片单元,适于判断与前端服务器的传输资源的占用率是否达到预设上限值,若判断为是,则确定满足分片条件;和/或,判断接收到的前端服务器发送的部分指定文件的获取请求的个数是否达到预设阈值,若判断为是,则确定满足分片条件。
8.如权利要求5所述的装置,其中,
所述分片单元,适于按照预设粒度,将从源数据库获取的完整文件分成若干个分片。
9.一种电子设备,其中,该电子设备包括:
处理器;以及,
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行根据权利要求1~4中任一项所述的方法。
10.一种计算机可读存储介质,其中,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被处理器执行时,实现权利要求1~4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811558054.4A CN111343225B (zh) | 2018-12-19 | 2018-12-19 | 一种文件处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811558054.4A CN111343225B (zh) | 2018-12-19 | 2018-12-19 | 一种文件处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111343225A true CN111343225A (zh) | 2020-06-26 |
CN111343225B CN111343225B (zh) | 2024-04-09 |
Family
ID=71186808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811558054.4A Active CN111343225B (zh) | 2018-12-19 | 2018-12-19 | 一种文件处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111343225B (zh) |
Citations (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0214313A2 (en) * | 1984-08-22 | 1987-03-18 | Hitachi, Ltd. | Method and apparatus for data merging/sorting |
CN1710857A (zh) * | 2004-06-18 | 2005-12-21 | 千橡寰宇科技发展(北京)有限公司 | 一种实现文件加速下载的***及方法 |
CN1925403A (zh) * | 2005-09-02 | 2007-03-07 | 腾讯科技(深圳)有限公司 | 实现文件下载的网络通信***及方法 |
CN101030873A (zh) * | 2007-02-15 | 2007-09-05 | 深圳市迅雷网络技术有限公司 | 一种下载数据的方法及*** |
CN101141627A (zh) * | 2007-10-23 | 2008-03-12 | 深圳市迅雷网络技术有限公司 | 一种流媒体文件的存储***及方法 |
CN101198016A (zh) * | 2007-12-05 | 2008-06-11 | 中兴通讯股份有限公司 | 交互式个人电视媒体交付***的内容发布和存储方法 |
CN101316232A (zh) * | 2008-07-09 | 2008-12-03 | 南京邮电大学 | 基于网络协议版本6的分片重组方法 |
CN101420603A (zh) * | 2008-09-05 | 2009-04-29 | 中兴通讯股份有限公司 | 一种分片存储实现媒体分发、定位的方法及其流媒体*** |
CN101420457A (zh) * | 2008-12-03 | 2009-04-29 | 腾讯科技(深圳)有限公司 | 对等体下载数据分片的方法、装置及对等体 |
CN101478556A (zh) * | 2007-12-31 | 2009-07-08 | 突触计算机***(上海)有限公司 | 用于下载点对点传输数据分片的方法和装置 |
CN101520793A (zh) * | 2008-12-30 | 2009-09-02 | 深圳市同洲电子股份有限公司 | 一种流媒体文件存储和读取方法、***及流媒体服务器 |
CN101534204A (zh) * | 2008-03-10 | 2009-09-16 | ***集团宽带业务应用国家工程实验室有限公司 | 流媒体信息分发***和方法及客户端 |
CN101534322A (zh) * | 2009-04-13 | 2009-09-16 | 腾讯科技(深圳)有限公司 | 文件上传***和文件上传方法 |
CN101741730A (zh) * | 2009-12-02 | 2010-06-16 | 成都市华为赛门铁克科技有限公司 | 文件下载方法及设备、提供文件下载服务的方法及*** |
CN102238434A (zh) * | 2011-07-22 | 2011-11-09 | 中兴通讯股份有限公司 | 一种iptv流媒体文件虚拟分段和使用的方法及*** |
CN103608785A (zh) * | 2013-06-21 | 2014-02-26 | 华为技术有限公司 | 一种文件读取方法、存储设备及读取*** |
CN103986976A (zh) * | 2014-06-05 | 2014-08-13 | 北京赛维安讯科技发展有限公司 | 基于cdn网络的传输***及方法 |
CN104349176A (zh) * | 2013-07-30 | 2015-02-11 | 中国电信股份有限公司 | 自适应流媒体***、下载方法及流媒体服务器、用户终端 |
CN104935648A (zh) * | 2015-06-03 | 2015-09-23 | 北京快网科技有限公司 | 一种高性价比的cdn***及文件预推、分片缓存的方法 |
CN105025391A (zh) * | 2014-04-30 | 2015-11-04 | 腾讯科技(深圳)有限公司 | 视频播放方法和装置 |
CN106412137A (zh) * | 2016-12-20 | 2017-02-15 | 北京并行科技股份有限公司 | 一种文件下载***及文件下载方法 |
CN106527981A (zh) * | 2016-10-31 | 2017-03-22 | 华中科技大学 | 一种基于配置的自适应分布式存储***的数据分片方法 |
CN106559677A (zh) * | 2015-09-30 | 2017-04-05 | 华为技术有限公司 | 终端、缓存服务器及获取视频分片的方法及装置 |
CN107562757A (zh) * | 2016-07-01 | 2018-01-09 | 阿里巴巴集团控股有限公司 | 基于分布式文件***的查询、访问方法、装置及*** |
CN107690093A (zh) * | 2016-08-03 | 2018-02-13 | 杭州海康威视数字技术股份有限公司 | 一种视频播放方法及装置 |
CN108111555A (zh) * | 2016-11-25 | 2018-06-01 | 阿里巴巴集团控股有限公司 | 用于控制安装包下载过程的方法及*** |
CN108664803A (zh) * | 2018-04-04 | 2018-10-16 | 中国电子科技集团公司第三十研究所 | 一种基于密码的文档内容细粒度访问控制*** |
CN108712454A (zh) * | 2018-02-13 | 2018-10-26 | 阿里巴巴集团控股有限公司 | 一种文件处理方法、装置及设备 |
-
2018
- 2018-12-19 CN CN201811558054.4A patent/CN111343225B/zh active Active
Patent Citations (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0214313A2 (en) * | 1984-08-22 | 1987-03-18 | Hitachi, Ltd. | Method and apparatus for data merging/sorting |
CN1710857A (zh) * | 2004-06-18 | 2005-12-21 | 千橡寰宇科技发展(北京)有限公司 | 一种实现文件加速下载的***及方法 |
CN1925403A (zh) * | 2005-09-02 | 2007-03-07 | 腾讯科技(深圳)有限公司 | 实现文件下载的网络通信***及方法 |
CN101030873A (zh) * | 2007-02-15 | 2007-09-05 | 深圳市迅雷网络技术有限公司 | 一种下载数据的方法及*** |
CN101141627A (zh) * | 2007-10-23 | 2008-03-12 | 深圳市迅雷网络技术有限公司 | 一种流媒体文件的存储***及方法 |
CN101198016A (zh) * | 2007-12-05 | 2008-06-11 | 中兴通讯股份有限公司 | 交互式个人电视媒体交付***的内容发布和存储方法 |
CN101478556A (zh) * | 2007-12-31 | 2009-07-08 | 突触计算机***(上海)有限公司 | 用于下载点对点传输数据分片的方法和装置 |
CN101534204A (zh) * | 2008-03-10 | 2009-09-16 | ***集团宽带业务应用国家工程实验室有限公司 | 流媒体信息分发***和方法及客户端 |
CN101316232A (zh) * | 2008-07-09 | 2008-12-03 | 南京邮电大学 | 基于网络协议版本6的分片重组方法 |
CN101420603A (zh) * | 2008-09-05 | 2009-04-29 | 中兴通讯股份有限公司 | 一种分片存储实现媒体分发、定位的方法及其流媒体*** |
CN101420457A (zh) * | 2008-12-03 | 2009-04-29 | 腾讯科技(深圳)有限公司 | 对等体下载数据分片的方法、装置及对等体 |
CN101520793A (zh) * | 2008-12-30 | 2009-09-02 | 深圳市同洲电子股份有限公司 | 一种流媒体文件存储和读取方法、***及流媒体服务器 |
CN101534322A (zh) * | 2009-04-13 | 2009-09-16 | 腾讯科技(深圳)有限公司 | 文件上传***和文件上传方法 |
CN101741730A (zh) * | 2009-12-02 | 2010-06-16 | 成都市华为赛门铁克科技有限公司 | 文件下载方法及设备、提供文件下载服务的方法及*** |
CN102238434A (zh) * | 2011-07-22 | 2011-11-09 | 中兴通讯股份有限公司 | 一种iptv流媒体文件虚拟分段和使用的方法及*** |
CN103608785A (zh) * | 2013-06-21 | 2014-02-26 | 华为技术有限公司 | 一种文件读取方法、存储设备及读取*** |
CN104349176A (zh) * | 2013-07-30 | 2015-02-11 | 中国电信股份有限公司 | 自适应流媒体***、下载方法及流媒体服务器、用户终端 |
CN105025391A (zh) * | 2014-04-30 | 2015-11-04 | 腾讯科技(深圳)有限公司 | 视频播放方法和装置 |
CN103986976A (zh) * | 2014-06-05 | 2014-08-13 | 北京赛维安讯科技发展有限公司 | 基于cdn网络的传输***及方法 |
CN104935648A (zh) * | 2015-06-03 | 2015-09-23 | 北京快网科技有限公司 | 一种高性价比的cdn***及文件预推、分片缓存的方法 |
CN106559677A (zh) * | 2015-09-30 | 2017-04-05 | 华为技术有限公司 | 终端、缓存服务器及获取视频分片的方法及装置 |
CN107562757A (zh) * | 2016-07-01 | 2018-01-09 | 阿里巴巴集团控股有限公司 | 基于分布式文件***的查询、访问方法、装置及*** |
CN107690093A (zh) * | 2016-08-03 | 2018-02-13 | 杭州海康威视数字技术股份有限公司 | 一种视频播放方法及装置 |
CN106527981A (zh) * | 2016-10-31 | 2017-03-22 | 华中科技大学 | 一种基于配置的自适应分布式存储***的数据分片方法 |
CN108111555A (zh) * | 2016-11-25 | 2018-06-01 | 阿里巴巴集团控股有限公司 | 用于控制安装包下载过程的方法及*** |
CN106412137A (zh) * | 2016-12-20 | 2017-02-15 | 北京并行科技股份有限公司 | 一种文件下载***及文件下载方法 |
CN108712454A (zh) * | 2018-02-13 | 2018-10-26 | 阿里巴巴集团控股有限公司 | 一种文件处理方法、装置及设备 |
CN108664803A (zh) * | 2018-04-04 | 2018-10-16 | 中国电子科技集团公司第三十研究所 | 一种基于密码的文档内容细粒度访问控制*** |
Non-Patent Citations (4)
Title |
---|
LEYKUN BIRHANU: "Native XML Document Fragmentation Model", 《2010 SIXTH INTERNATIONAL CONFERENCE ON SIGNAL-IMAGE TECHNOLOGY AND INTERNET BASED SYSTEMS》 * |
姚云潇: "基于REST服务的文件分片保存方法及其实现", 《武汉工程大学学报》 * |
张洪;路松峰;赵友桥;胥永康;胡和平;: "数据安全存储的分片策略模型研究", 计算机工程与应用, no. 18 * |
李昕;屈喜龙;: "基于Open edX的慕课教学资源存储优化", 黄山学院学报, no. 03 * |
Also Published As
Publication number | Publication date |
---|---|
CN111343225B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108345642B (zh) | 采用代理ip爬取网站数据的方法、存储介质和服务器 | |
CN110046137B (zh) | 将数据流分组并存储至云端存储文件中的***和方法 | |
US20150350045A1 (en) | Method and system for processing browser crash information | |
CN110781372B (zh) | 一种优化网站的方法、装置、计算机设备及存储介质 | |
CN105138371B (zh) | 软件升级方法及装置 | |
CN106570025B (zh) | 一种数据过滤的方法及装置 | |
CN111105066B (zh) | 资源受限项目调度方法、装置、计算机设备、及存储介质 | |
KR20180125009A (ko) | 데이터 캐싱 방법 및 장치 | |
CN103324713B (zh) | 多级服务器中的数据处理方法、装置和数据处理*** | |
CN113411404A (zh) | 一种文件下载方法、装置、服务器及存储介质 | |
CN109359060B (zh) | 数据抽取方法、装置、计算设备及计算机存储介质 | |
CN110708360A (zh) | 一种信息处理方法、***和电子设备 | |
CN106570060B (zh) | 一种信息流中数据的随机抽取方法及装置 | |
CN107256233B (zh) | 一种数据存储方法和装置 | |
CN113609226A (zh) | 一种数据导出方法、装置、计算机设备及存储介质 | |
CN108897858B (zh) | 分布式集群索引分片的评估方法及装置、电子设备 | |
CN107329832B (zh) | 一种数据接收方法及装置 | |
CN111343225B (zh) | 一种文件处理方法和装置 | |
CN112528125A (zh) | 避免内容重复推荐的方法、装置、电子设备及存储介质 | |
CN111382380A (zh) | 一种页面访问时长的统计方法和装置 | |
CN109643307B (zh) | 流处理***和方法 | |
CN109344119B (zh) | 文件合并处理方法、装置、计算设备及计算机存储介质 | |
CN111367868A (zh) | 一种文件获取请求的处理方法和装置 | |
CN109889608B (zh) | 一种动态资源加载方法、装置、电子设备及存储介质 | |
CN106341480B (zh) | 数据包的上传方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240314 Address after: 300450 No. 9-3-401, No. 39, Gaoxin 6th Road, Binhai Science Park, Binhai New Area, Tianjin Applicant after: 3600 Technology Group Co.,Ltd. Country or region after: China Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park) Applicant before: BEIJING QIHOO TECHNOLOGY Co.,Ltd. Country or region before: China |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |