CN109766316A - 文件获取方法、装置、计算机设备和存储介质 - Google Patents
文件获取方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109766316A CN109766316A CN201811553802.XA CN201811553802A CN109766316A CN 109766316 A CN109766316 A CN 109766316A CN 201811553802 A CN201811553802 A CN 201811553802A CN 109766316 A CN109766316 A CN 109766316A
- Authority
- CN
- China
- Prior art keywords
- file
- task
- information
- file acquisition
- acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012795 verification Methods 0.000 claims abstract description 36
- 238000004590 computer program Methods 0.000 claims description 28
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000007726 management method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及运维领域,特别涉及一种文件获取方法、装置、计算机设备和存储介质。所述方法包括:获取当前时间,当当前时间到达任务池中文件获取任务对应的执行时间时,从任务池中获取文件获取任务,识别文件获取任务对应的目标用户;根据目标用户获取对应的存储地址和验证信息;根据文件获取任务生成文件读取请求;向存储地址对应的终端发送文件读取请求,当存储地址对应的终端对验证信息验证通过时,从存储地址对应的终端获取与读取请求对应的文件,并将文件获取任务从任务池移除。采用本方法能够为不同渠道自动识别文件获取方式,提高了文件获取的效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种文件获取方法、装置、计算机设备和存储介质。
背景技术
随着现代科技的发展,在当前的大数据时代,人们现在每天都面对数据文件,因而对数据的加工与管理方法越来越变得十分必要,很多时候,我们需要处理分散在不同***的不同格式的数据;所以需要先从不同的***和数据库中获取用户提供的文件。
传统文件获取方法中,通常采用在需要获取一个文件时,根据需求调取时间由单个终端执行文件获取操作;但是如果需要获取的文件分散在不同的数据库中,且存储介质较为多样化时,在获取这些文件需要花费大量的时间,文件获取的效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高文件获取效率的文件获取方法、装置、计算机设备和存储介质。
一种文件获取方法,所述方法包括:
获取当前时间,当所述当前时间到达任务池中文件获取任务对应的执行时间时,从所述任务池中获取所述文件获取任务,识别所述文件获取任务对应的目标用户;
根据所述目标用户获取对应的存储地址和验证信息;
根据所述文件获取任务生成文件读取请求;
向所述存储地址对应的终端发送所述文件读取请求,当所述存储地址对应的终端对所述验证信息验证通过时,从所述存储地址对应的终端获取与所述读取请求对应的文件,并将所述文件获取任务从所述任务池移除。
在其中一个实施例中,所述从所述存储地址对应的终端获取与所述读取请求对应的文件之后,还包括:
接收业务终端发送的信息获取请求,所述信息获取请求中携带有目标用户标识和信息类别;
根据所述目标用户标识获取所述目标用户的目标文件;
从所述目标文件中读取与所述信息获取请求对应的信息,并将所述信息根据所述信息类别归档;
将归档后的所述信息返回至所述业务终端。
在其中一个实施例中,所述从所述存储地址对应的终端获取与所述读取请求对应的文件之后,还包括:
将与所述读取请求对应的文件存储到预设位置;
则所述根据所述文件获取任务生成文件读取请求之后,还包括:
检查所述预设位置中是否存在与所述读取请求对应的文件,若存在,继续所述将所述文件获取任务从所述任务池移除。
在其中一个实施例中,所述获取当前时间之前,还包括:
接收所述文件获取任务,所述文件获取任务携带有执行时间;
将所述文件获取任务按照执行时间存入所述任务池中。
在其中一个实施例中,所述向所述存储地址发送所述文件读取请求之后,还包括:
当接收到与所述文件读取请求对应的获取失败消息时,为所述任务池中的所述文件获取任务重新设定执行时间。
在其中一个实施例中,所述方法还包括:
当同一执行时间对于文件获取任务的数量超过预设值时,则只执行所述预设值数量的文件获取任务;
重新设定超出所述预设值部分的文件获取任务对应的执行时间。
一种文件获取装置,所述装置包括:
任务定时模块,用于获取当前时间,当所述当前时间到达任务池中文件获取任务对应的执行时间时,从所述任务池中获取所述文件获取任务,识别所述文件获取任务对应的目标用户;
地址获取模块,用于根据所述目标用户获取对应的存储地址和验证信息;
请求生成模块,用于根据所述文件获取任务生成文件读取请求;
文件获取模块,用于向所述存储地址对应的终端发送所述文件读取请求,当所述存储地址对应的终端对所述验证信息验证通过时,从所述存储地址对应的终端获取与所述读取请求对应的文件,并将所述文件获取任务从所述任务池移除。
在其中一个实施例中,所述装置还包括:
信息获取请求接收模块,用于接收业务终端发送的信息获取请求,所述信息获取请求中携带有目标用户标识和信息类别;
目标文件获取模块,用于根据所述目标用户标识获取所述目标用户的目标文件;
信息归档模块,用于从所述目标文件中读取与所述信息获取请求对应的信息,并将所述信息根据所述信息类别归档;
信息返回模块,用于将归档后的所述信息返回至所述业务终端。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
上述文件获取方法、装置、计算机设备和存储介质,当服务器的下属终端需要从其他终端或者网站等存储地址上获取文件时,将文件获取任务发送至服务器,服务器通过任务池根据每个文件获取任务的执行时间管理所有终端发送的文件获取任务,当任务池中有到达执行时间的文件获取任务时,服务器获取此任务,识别对应的目标用户,并获取目标用户对应的存储地址和验证信息,向存储地址发送获取文件的文件读取请求,并根据验证信息获取此存储地址的文件获取权限,当权限验证通过时,即可从存储地址获取对应的文件,然后将任务池中的此任务移除,完成此文件获取任务。上述文件获取方法通过任务池管理多个终端的文件获取任务,统一管理终端的文件获取任务,并在服务器上存储用于目标用户存放文件的存储地址和对应的验证信息,允许服务器根据目标用户的不同,获取存储地址和验证信息,为不同渠道自动识别文件获取方式,提高了文件获取的效率。
附图说明
图1为一个实施例中文件获取方法的应用场景图;
图2为一个实施例中文件获取方法的流程示意图;
图3为一个实施例中信息获取步骤的流程示意图;
图4为一个实施例中文件获取装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的文件获取方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。当服务器104的下属终端102需要从其他终端或者网站等存储地址上获取文件时,将文件获取任务发送至服务器104,服务器104通过任务池根据每个文件获取任务的执行时间管理所有终端发送的文件获取任务,当任务池中有到达执行时间的文件获取任务时,服务器获取此任务,识别对应的目标用户,并获取目标用户对应的存储地址和验证信息,向存储地址发送获取文件的文件读取请求,并根据验证信息获取此存储地址的文件获取权限,当权限验证通过时,即可从存储地址获取对应的文件,然后将任务池中的此任务移除,完成此文件获取任务。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种文件获取方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
S202,获取当前时间,当当前时间到达任务池中文件获取任务对应的执行时间时,从任务池中获取文件获取任务,识别文件获取任务对应的目标用户。
其中,当前时间是此时服务器上显示的时间,是用于判断启动执行任务池中的文件获取任务的依据,可以是当前的自然时间。
文件获取任务是服务器的下属终端向其他终端或者网址、数据库获取文件的任务,通常有一个开始获取的执行时间;如规定每天早上6点从一个下属银行的数据库中读取一次前一天接收的贷款数据。
目标用户是文件获取任务中要获取的文件对应的用户,可以是合作的公司名称、也可以是本公司的部门名称或者服务器名称等等可以代表唯一性获取地址的代号。
具体地,任务池是用于管理所有下属终端发送的文件获取任务的数据库;终端上有待执行的文件获取任务时,终端将此任务的执行时间和文件获取任务一起发送给服务器,服务器将所有接收到的文件获取任务都放置在任务池中,当服务器检测到当前时间到达任务池中某一文件获取任务对应的执行时间的时,服务器从任务池中获取这一文件获取任务开始执行,每一文件获取任务都应有对应的用户,使得服务器可以查询该用户存储文件的地址,并继续下述从该地址获取文件的步骤。
S204,根据目标用户获取对应的存储地址和验证信息。
其中,存储地址是目标用户存储文件的地址,可以是数据库的IP地址、MAC地址或者网址等等;验证信息是目标用户提供给服务器用于访问存储地址的信息,可以是用户名和密码等验证方式。
具体地,服务器根据步骤S202中识别出待执行的文件获取任务对应的目标用户后,从存储目标用户对应的存储地址和验证信息的位置获取此目标用户对应的存储地址和验证信息。可选地,技术人员可以将每个目标用户对应的存储地址和验证信息对应存储,服务器可以通过目标用户作为查询索引获取对应的存储地址和验证信息。
S206,根据文件获取任务生成文件读取请求。
具体地,文件读取请求是服务器根据文件获取任务生成的从存储地址获取对应的文件的请求;服务器根据文件获取任务生成文件读取请求,此文件读取请求不需要设定执行时间,服务器生成后即可执行,应包括需获取的文件的信息。
可选地,由于每个目标用户存储文件的介质不同,服务器识别文件获取任务对应的文件是由哪个目标用户提供之后,可获取目标用户与服务器约定的存储的介质种类,根据介质种类获取对应的代码模板,并将对应的存储地址和验证信息填入代码模板中,生成从存储地址获取对应的文件读取请求。例如,目标用户可以是使用介质sftp(一般指银行或其他金融机构的服务器)的资金方A,则服务器可以将主机IP(Internet Protocol网络互连协议)、端口(存储地址)、用户名和密码(验证信息)填入代码模板,生成文件读取请求的代码,由服务器执行此代码;目标用户也可以是使用iobs(一种存储方式)的资金方B,服务器需要配置ak、sk(验证信息)、bucket(相当于存储地址)等填入代码模板生成文件读取请求。上述步骤,通过模板化的代码配置,能够允许服务器根据目标用户的介质种类不同,选择配置模板、获取存储地址和验证信息,为不同渠道自动识别文件获取方式,提高了文件获取的效率。
S208,向存储地址对应的终端发送文件读取请求,当存储地址对应的终端对验证信息验证通过时,接收存储地址对应的终端根据文件读取请求返回的文件,并将文件获取任务从任务池移除。
其中,存储地址对应的终端即目标用户存储文件的地址的终端,可以是网络数据库或者合作的等等。
具体地,服务器将生成的文件读取请求发送至存储地址对应的终端,对应的终端发送获取文件的文件读取请求,并根据验证信息获取此存储地址的文件获取权限,当权限验证通过时,即可从存储地址获取对应的文件,然后将任务池中的此任务移除,完成此文件获取任务。
上述文件获取方法,当服务器的下属终端需要从其他终端或者网站等存储地址上获取文件时,将文件获取任务发送至服务器,服务器通过任务池根据每个文件获取任务的执行时间管理所有终端发送的文件获取任务,当任务池中有到达执行时间的文件获取任务时,服务器获取此任务,识别对应的目标用户,并获取目标用户对应的存储地址和验证信息,向存储地址对应的终端发送获取文件的文件读取请求,并根据验证信息获取此存储地址的文件获取权限,当权限验证通过时,即可从存储地址获取对应的文件,然后将任务池中的此任务移除,完成此文件获取任务。上述文件获取方法通过任务池管理多个终端的文件获取任务,统一管理终端的文件获取任务,并在服务器上存储用于目标用户存放文件的存储地址和对应的验证信息,允许服务器根据目标用户的不同,获取存储地址和验证信息,为不同渠道自动识别文件获取方式,提高了文件获取的效率。
在一个实施例中,上述文件获取方法中的步骤S208接收存储地址对应的终端根据文件读取请求返回的文件之后,还可以包括信息获取步骤,具体包括:
S302,接收业务终端发送的信息获取请求,信息获取请求中携带有目标用户标识和信息类别。
其中,业务终端是需要从服务器获取对应业务信息的终端,可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。信息获取请求是业务终端向服务器请求从服务器获取的文件中提取对应信息的请求,业务终端可以通过邮件或者消息等方式发送至服务器。
目标用户标识是业务终端发送的信息获取请求中用于识别要获取的信息的目标用户的标识,其可以采用与上述目标用户的名称,也可以是其他唯一性关联的代号等等。
信息类别是用于将目标用户的信息进行分类的依据,业务终端可以根据分类需要设立一个模板,并将其放入信息获取请求中一起发送给服务器。
具体地,服务器按照执行时间完成多个终端发送的文件获取任务,并将文件获取任务存储于服务器本地,当服务器接收到业务终端发送的信息获取请求时,即按照信息获取请求返回对应的信息,此信息获取请求中应包含业务终端需要的信息属于的目标用户标识和用于将获取的信息对应分类的信息类别。
S304,根据目标用户标识获取目标用户的目标文件。
具体地,服务器根据目标用户标识从存储目标用户文件的位置获取目标文件,目标文件即为信息获取请求对应的信息所在的文件。
S306,从目标文件中读取与信息获取请求对应的信息,并将信息根据信息类别归档。
具体地,服务器获取目标文件后,根据信息获取请求从目标文件中获取对应的信息,然后按照信息类别将获取的信息对应存储。如贷款的贷款额度、还款日期、费率等等信息,按照统一的模板进行归档,形成分类的文件或者表格。
S308,将归档后的信息返回至业务终端。
具体地,服务器将归档后的信息反馈给发送信息获取请求的业务中终端,完成此次的信息获取。
上述实施例中,允许业务终端通过信息获取请求从服务器存储的文件中获取对应的信息。
在一个实施例中上述文件获取方法中的步骤S208接收存储地址对应的终端根据文件读取请求返回的文件之后,还可以包括:将与读取请求对应的文件存储到预设位置;则根据文件获取任务生成文件读取请求之后,还包括:检查预设位置中是否存在与读取请求对应的文件,若存在,继续将文件获取任务从任务池移除。
其中,预设位置是用于存储服务器根据文件获取任务从其他终端或者数据库获取的文件的位置,可以是服务器指定的一个文件夹或者磁盘。
具体地,服务器在根据文件获取任务获取对应的文件之前,需要先检查预设位置是否已经存在对应的文件,如果存在,则不执行这样文件获取任务,执行将此文件获取任务从任务池中移除。
上述实施例中,由于一个文件获取请求可能被执行不止一次,通过本步骤避免已获取的文件被多次获取,减少资源浪费。
在一个实施例中,上述文件获取方法中的步骤S202获取当前时间之前,还可以包括:接收文件获取任务,文件获取任务携带有执行时间;将文件获取任务按照执行时间存入任务池中。
具体地,若下属终端有需要执行的文件获取任务时,都先不作执行,发送给服务器集中执行;服务器接收到终端发送的文件获取任务时,即存储于任务池,按照其对应的执行时间执行。
上述实施例中,服务器接收终端发送的文件获取任务,并通过任务池管理。
在一个实施例中,上述文件获取方法中的步骤S208向存储地址发送文件读取请求之后,还包括:当接收到与文件读取请求对应的获取失败消息时,为任务池中的文件获取任务重新设定执行时间。
其中,获取失败消息是存储地址对应的终端接收到服务器发送的文件读取请求后,若存储地址对应的终端对验证信息验证失败,或未在本地查询到对应的文件时,向服务器返回的消息。
具体地,当服务器接收到存储地址对应的终端发送的获取失败消息时,即证明本次文件获取任务执行失败,其原因可能为目标用户还未上传文件或者线路出错等,服务器可以为任务池中对应的文件获取任务重新设定一个新的执行时间,等新的执行时间到达后,再去储地址对应的终端获取一次文件。
上述实施例中,为执行失败的文件获取任务设定新的执行时间重新执行。
在一个实施例中,上述文件获取方法还可以包括:当同一执行时间对于文件获取任务的数量超过预设值时,则只执行预设值数量的文件获取任务;重新设定超出预设值部分的文件获取任务对应的执行时间。
其中,预设值是用于限制服务器在同一时间执行的文件获取任务的数量的阈值;可以是技术人员根据服务器的总线承压能力或者服务器运行速率设定的一个数值,例如一次只能执行50条文件获取任务。
具体地,当同一批需要执行的文件获取任务的量过大时,可能会影响服务器的运行,因此需要控制每一批次同时执行的文件获取任务量,超出的部分可以等下一批次再执行;当服务器检测到任务池中同一执行时间对应的文件获取任务超出预设值数量时,则预设值数量内的文件获取任务仍按照此执行时间执行,超出预设值部分的文件获取任务则重新分配执行时间。
上述实施例中,为服务器中在同一时间执行的文件获取任务的数量设置一个预设值,避免服务器因为任务执行数量过大而造成***卡顿甚至瘫痪的问题。
应该理解的是,虽然图2至图3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2至图3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种文件获取装置,包括:任务定时模块100、地址获取模块200、请求生成模块300和文件获取模块400,其中:
任务定时模块100,用于获取当前时间,当当前时间到达任务池中文件获取任务对应的执行时间时,从任务池中获取文件获取任务,识别文件获取任务对应的目标用户。
地址获取模块200,用于根据目标用户获取对应的存储地址和验证信息。
请求生成模块300,用于根据文件获取任务生成文件读取请求。
文件获取模块400,用于向存储地址对应的终端发送文件读取请求,当存储地址对应的终端对验证信息验证通过时,从存储地址对应的终端获取与读取请求对应的文件,并将文件获取任务从任务池移除。
在一个实施例中,上述文件获取装置还可以包括:
信息获取请求接收模块,用于接收业务终端发送的信息获取请求,信息获取请求中携带有目标用户标识和信息类别。
目标文件获取模块,用于根据目标用户标识获取目标用户的目标文件。
信息归档模块,用于从目标文件中读取与信息获取请求对应的信息,并将信息根据信息类别归档。
信息返回模块,用于将归档后的信息返回至业务终端。
在一个实施例中,上述文件获取装置中的还可以包括:
存储模块,用于将与读取请求对应的文件存储到预设位置。
重复性检查模块,用于检查预设位置中是否存在与读取请求对应的文件,若存在,继续将文件获取任务从任务池移除。
在一个实施例中,上述文件获取装置还可以包括:
任务接收模块,用于接收文件获取任务,文件获取任务携带有执行时间。
入池模块,用于将文件获取任务按照执行时间存入任务池中。
在一个实施例中,上述文件获取装置还可以包括:
时间更新模块,用于当接收到与文件读取请求对应的获取失败消息时,为任务池中的文件获取任务重新设定执行时间。
在一个实施例中,上述文件获取装置还可以包括:
阈值设定模块,用于当同一执行时间对于文件获取任务的数量超过预设值时,则只执行预设值数量的文件获取任务。
超额时间设定模块,用于重新设定超出预设值部分的文件获取任务对应的执行时间。
关于文件获取装置的具体限定可以参见上文中对于文件获取方法的限定,在此不再赘述。上述文件获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储文件获取数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种文件获取方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取当前时间,当当前时间到达任务池中文件获取任务对应的执行时间时,从任务池中获取文件获取任务,识别文件获取任务对应的目标用户;根据目标用户获取对应的存储地址和验证信息;根据文件获取任务生成文件读取请求;向存储地址对应的终端发送文件读取请求,当存储地址对应的终端对验证信息验证通过时,从存储地址对应的终端获取与读取请求对应的文件,并将文件获取任务从任务池移除。
在一个实施例中,处理器执行计算机程序时实现的从存储地址对应的终端获取与读取请求对应的文件之后,还包括:接收业务终端发送的信息获取请求,信息获取请求中携带有目标用户标识和信息类别;根据目标用户标识获取目标用户的目标文件;从目标文件中读取与信息获取请求对应的信息,并将信息根据信息类别归档;将归档后的信息返回至业务终端。
在一个实施例中,处理器执行计算机程序时实现的从存储地址对应的终端获取与读取请求对应的文件之后,还包括:将与读取请求对应的文件存储到预设位置;处理器执行计算机程序时实现的根据文件获取任务生成文件读取请求之后,还包括:检查预设位置中是否存在与读取请求对应的文件,若存在,继续将文件获取任务从任务池移除。
在一个实施例中,处理器执行计算机程序时实现的获取当前时间之前,还包括:接收文件获取任务,文件获取任务携带有执行时间;将文件获取任务按照执行时间存入任务池中。
在一个实施例中,处理器执行计算机程序时实现的向存储地址发送文件读取请求之后,还包括:当接收到与文件读取请求对应的获取失败消息时,为任务池中的文件获取任务重新设定执行时间。
在一个实施例中,处理器执行计算机程序时还可以实现以下步骤:当同一执行时间对于文件获取任务的数量超过预设值时,则只执行预设值数量的文件获取任务;重新设定超出预设值部分的文件获取任务对应的执行时间。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取当前时间,当当前时间到达任务池中文件获取任务对应的执行时间时,从任务池中获取文件获取任务,识别文件获取任务对应的目标用户;根据目标用户获取对应的存储地址和验证信息;根据文件获取任务生成文件读取请求;向存储地址对应的终端发送文件读取请求,当存储地址对应的终端对验证信息验证通过时,从存储地址对应的终端获取与读取请求对应的文件,并将文件获取任务从任务池移除。
在一个实施例中,计算机程序被处理器执行时实现的从存储地址对应的终端获取与读取请求对应的文件之后,还包括:接收业务终端发送的信息获取请求,信息获取请求中携带有目标用户标识和信息类别;根据目标用户标识获取目标用户的目标文件;从目标文件中读取与信息获取请求对应的信息,并将信息根据信息类别归档;将归档后的信息返回至业务终端。
在一个实施例中,计算机程序被处理器执行时实现的从存储地址对应的终端获取与读取请求对应的文件之后,还包括:将与读取请求对应的文件存储到预设位置;计算机程序被处理器执行时实现的根据文件获取任务生成文件读取请求之后,还包括:检查预设位置中是否存在与读取请求对应的文件,若存在,继续将文件获取任务从任务池移除。
在一个实施例中,计算机程序被处理器执行时实现的获取当前时间之前,还包括:接收文件获取任务,文件获取任务携带有执行时间;将文件获取任务按照执行时间存入任务池中。
在一个实施例中,计算机程序被处理器执行时实现的向存储地址发送文件读取请求之后,还包括:当接收到与文件读取请求对应的获取失败消息时,为任务池中的文件获取任务重新设定执行时间。
在一个实施例中,计算机程序被处理器执行时还可以实现以下步骤:当同一执行时间对于文件获取任务的数量超过预设值时,则只执行预设值数量的文件获取任务;重新设定超出预设值部分的文件获取任务对应的执行时间。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种文件获取方法,所述方法包括:
获取当前时间,当所述当前时间到达任务池中文件获取任务对应的执行时间时,从所述任务池中获取所述文件获取任务,识别所述文件获取任务对应的目标用户;
根据所述目标用户获取对应的存储地址和验证信息;
根据所述文件获取任务生成文件读取请求;
向所述存储地址对应的终端发送所述文件读取请求,当所述存储地址对应的终端对所述验证信息验证通过时,从所述存储地址对应的终端获取与所述读取请求对应的文件,并将所述文件获取任务从所述任务池移除。
2.根据权利要求1所述的方法,其特征在于,所述从所述存储地址对应的终端获取与所述读取请求对应的文件之后,还包括:
接收业务终端发送的信息获取请求,所述信息获取请求中携带有目标用户标识和信息类别;
根据所述目标用户标识获取所述目标用户的目标文件;
从所述目标文件中读取与所述信息获取请求对应的信息,并将所述信息根据所述信息类别归档;
将归档后的所述信息返回至所述业务终端。
3.根据权利要求1所述的方法,其特征在于,所述从所述存储地址对应的终端获取与所述读取请求对应的文件之后,还包括:
将与所述读取请求对应的文件存储到预设位置;
则所述根据所述文件获取任务生成文件读取请求之后,还包括:
检查所述预设位置中是否存在与所述读取请求对应的文件,若存在,继续所述将所述文件获取任务从所述任务池移除。
4.根据权利要求1所述的方法,其特征在于,所述获取当前时间之前,还包括:
接收所述文件获取任务,所述文件获取任务携带有执行时间;
将所述文件获取任务按照执行时间存入所述任务池中。
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述向所述存储地址发送所述文件读取请求之后,还包括:
当接收到与所述文件读取请求对应的获取失败消息时,为所述任务池中的所述文件获取任务重新设定执行时间。
6.根据权利要求1至4任意一项所述的方法,其特征在于,所述方法还包括:
当同一执行时间对于文件获取任务的数量超过预设值时,则只执行所述预设值数量的文件获取任务;
重新设定超出所述预设值部分的文件获取任务对应的执行时间。
7.一种文件获取装置,其特征在于,所述装置包括:
任务定时模块,用于获取当前时间,当所述当前时间到达任务池中文件获取任务对应的执行时间时,从所述任务池中获取所述文件获取任务,识别所述文件获取任务对应的目标用户;
地址获取模块,用于根据所述目标用户获取对应的存储地址和验证信息;
请求生成模块,用于根据所述文件获取任务生成文件读取请求;
文件获取模块,用于向所述存储地址对应的终端发送所述文件读取请求,当所述存储地址对应的终端对所述验证信息验证通过时,从所述存储地址对应的终端获取与所述读取请求对应的文件,并将所述文件获取任务从所述任务池移除。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
信息获取请求接收模块,用于接收业务终端发送的信息获取请求,所述信息获取请求中携带有目标用户标识和信息类别;
目标文件获取模块,用于根据所述目标用户标识获取所述目标用户的目标文件;
信息归档模块,用于从所述目标文件中读取与所述信息获取请求对应的信息,并将所述信息根据所述信息类别归档;
信息返回模块,用于将归档后的所述信息返回至所述业务终端。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811553802.XA CN109766316A (zh) | 2018-12-18 | 2018-12-18 | 文件获取方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811553802.XA CN109766316A (zh) | 2018-12-18 | 2018-12-18 | 文件获取方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109766316A true CN109766316A (zh) | 2019-05-17 |
Family
ID=66451536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811553802.XA Pending CN109766316A (zh) | 2018-12-18 | 2018-12-18 | 文件获取方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109766316A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110515712A (zh) * | 2019-08-09 | 2019-11-29 | 精硕科技(北京)股份有限公司 | 任务管理方法和计算机存储介质 |
CN113254389A (zh) * | 2021-06-07 | 2021-08-13 | 深圳华云信息***有限公司 | 基于fpga的数据处理方法、装置、电子设备及存储介质 |
CN114662074A (zh) * | 2022-05-24 | 2022-06-24 | 国网浙江省电力有限公司 | 无纸化电子档案的数据处理方法及中台 |
CN115186854A (zh) * | 2022-09-07 | 2022-10-14 | 艾斯特国际安全技术(深圳)有限公司 | 证件领取的管控方法、装置、***及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CH354282A (de) * | 1955-01-27 | 1961-05-15 | Emi Ltd | Daten-Verarbeitungseinrichtung |
CN101119283A (zh) * | 2006-07-31 | 2008-02-06 | 北京华旗资讯数码科技有限公司 | 以电子装置获取网络信息的***和方法 |
CN104408068A (zh) * | 2014-10-29 | 2015-03-11 | 中国建设银行股份有限公司 | 一种报表数据处理方法及相关设备 |
CN106254467A (zh) * | 2016-08-05 | 2016-12-21 | 北京小米移动软件有限公司 | 文件分享方法及装置 |
CN107612842A (zh) * | 2017-09-07 | 2018-01-19 | 携程商旅信息服务(上海)有限公司 | 基于令牌管理的数据采集方法、***、设备及存储介质 |
CN107818407A (zh) * | 2017-10-20 | 2018-03-20 | 平安科技(深圳)有限公司 | 任务分配方法、装置、存储介质和计算机设备 |
CN108733811A (zh) * | 2018-05-21 | 2018-11-02 | 努比亚技术有限公司 | 一种文件访问方法、终端及计算机可读存储介质 |
CN108810894A (zh) * | 2018-05-31 | 2018-11-13 | 康键信息技术(深圳)有限公司 | 终端授权方法、装置、计算机设备和存储介质 |
CN108833497A (zh) * | 2018-05-25 | 2018-11-16 | 徐工集团工程机械有限公司 | 分布式发布方法和***、用户终端、服务器和发布设备 |
US20210086089A1 (en) * | 2019-09-25 | 2021-03-25 | Nvidia Corporation | Player analysis using one or more neural networks |
-
2018
- 2018-12-18 CN CN201811553802.XA patent/CN109766316A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CH354282A (de) * | 1955-01-27 | 1961-05-15 | Emi Ltd | Daten-Verarbeitungseinrichtung |
CN101119283A (zh) * | 2006-07-31 | 2008-02-06 | 北京华旗资讯数码科技有限公司 | 以电子装置获取网络信息的***和方法 |
CN104408068A (zh) * | 2014-10-29 | 2015-03-11 | 中国建设银行股份有限公司 | 一种报表数据处理方法及相关设备 |
CN106254467A (zh) * | 2016-08-05 | 2016-12-21 | 北京小米移动软件有限公司 | 文件分享方法及装置 |
CN107612842A (zh) * | 2017-09-07 | 2018-01-19 | 携程商旅信息服务(上海)有限公司 | 基于令牌管理的数据采集方法、***、设备及存储介质 |
CN107818407A (zh) * | 2017-10-20 | 2018-03-20 | 平安科技(深圳)有限公司 | 任务分配方法、装置、存储介质和计算机设备 |
CN108733811A (zh) * | 2018-05-21 | 2018-11-02 | 努比亚技术有限公司 | 一种文件访问方法、终端及计算机可读存储介质 |
CN108833497A (zh) * | 2018-05-25 | 2018-11-16 | 徐工集团工程机械有限公司 | 分布式发布方法和***、用户终端、服务器和发布设备 |
CN108810894A (zh) * | 2018-05-31 | 2018-11-13 | 康键信息技术(深圳)有限公司 | 终端授权方法、装置、计算机设备和存储介质 |
US20210086089A1 (en) * | 2019-09-25 | 2021-03-25 | Nvidia Corporation | Player analysis using one or more neural networks |
Non-Patent Citations (2)
Title |
---|
WU, H (WU, HAO) [1] ; ZHAO, JS (ZHAO, JINSONG) [1] , [2]: "Deep convolutional neural network model based chemical process fault diagnosis", COMPUTERS & CHEMICAL ENGINEERING, vol. 115, pages 185 - 197, XP085406050, DOI: 10.1016/j.compchemeng.2018.04.009 * |
王丽娟;蔡晓东;王迪;赵勤鲁;: "基于集中式管理的缓存优化方案", 电视技术, no. 05, pages 101 - 104 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110515712A (zh) * | 2019-08-09 | 2019-11-29 | 精硕科技(北京)股份有限公司 | 任务管理方法和计算机存储介质 |
CN113254389A (zh) * | 2021-06-07 | 2021-08-13 | 深圳华云信息***有限公司 | 基于fpga的数据处理方法、装置、电子设备及存储介质 |
CN113254389B (zh) * | 2021-06-07 | 2021-10-29 | 深圳华云信息***有限公司 | 基于fpga的数据处理方法、装置、电子设备及存储介质 |
CN114662074A (zh) * | 2022-05-24 | 2022-06-24 | 国网浙江省电力有限公司 | 无纸化电子档案的数据处理方法及中台 |
CN114662074B (zh) * | 2022-05-24 | 2022-08-16 | 国网浙江省电力有限公司 | 无纸化电子档案的数据处理方法及中台 |
CN115186854A (zh) * | 2022-09-07 | 2022-10-14 | 艾斯特国际安全技术(深圳)有限公司 | 证件领取的管控方法、装置、***及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766316A (zh) | 文件获取方法、装置、计算机设备和存储介质 | |
CN109474578B (zh) | 报文消息校验方法、装置、计算机设备和存储介质 | |
CN108595157B (zh) | 区块链数据的处理方法、装置、设备和存储介质 | |
CN108573371A (zh) | 数据审批方法、装置、计算机设备和存储介质 | |
CN111181975B (zh) | 一种账号管理方法、装置、设备及存储介质 | |
CN110008665B (zh) | 一种区块链的权限控制方法及装置 | |
JP6209626B2 (ja) | データスクレイピングシステム、方法及びコンピュータプログラム | |
KR101876674B1 (ko) | 블록 체인을 이용한 공동 계좌 관리 방법 및 이를 실행하는 시스템 | |
WO2020000720A1 (zh) | 服务器、报文处理方法、程序和计算机可读存储介质 | |
CN110532025B (zh) | 基于微服务架构的数据处理方法、装置、设备及存储介质 | |
CN108280761A (zh) | 增信方分配方法、装置、计算机设备和存储介质 | |
CN110209681A (zh) | 区块链数据入链方法、装置、计算机设备和存储介质 | |
CN110213392B (zh) | 数据分发方法、装置、计算机设备和存储介质 | |
CN108492005A (zh) | 项目数据处理方法、装置、计算机设备和存储介质 | |
CN109542635A (zh) | 配置信息更新方法、装置、计算机设备和存储介质 | |
CN110677453A (zh) | 基于ZooKeeper的分布式锁服务实现方法、装置、设备及存储介质 | |
CN109492856A (zh) | 业务请求处理方法、装置、计算机设备以及存储介质 | |
CN109377383A (zh) | 产品数据同步方法、装置、计算机设备及存储介质 | |
CN109358874A (zh) | 业务规则更新方法、装置、计算机设备和存储介质 | |
WO2020233310A1 (zh) | 实时处理数据的异步补偿方法、装置、设备及存储介质 | |
CN112288400A (zh) | 多***数据交互方法、装置、计算机设备及存储介质 | |
CN105224541B (zh) | 数据的唯一性控制方法、信息存储方法及装置 | |
CN111488626A (zh) | 基于区块链的数据处理方法、装置、设备及介质 | |
CN111260475A (zh) | 一种数据处理方法、区块链节点设备及存储介质 | |
CN111260253A (zh) | 信息发送方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |