CN110597772A - 一种多实例文件处理方法及终端 - Google Patents

Abstract

本发明公开了一种多实例文件处理方法及终端，获取第一文件下载请求，第一文件下载请求包括已转码文件ID和实例ID；判断实例ID是否为本机ID，若是，则根据已转码文件ID和实例ID从本机中的实例缓存下载并返回已转码第一文件，否则根据已转码文件ID和实例ID向其他主机中的实例缓存中读取已转码第一文件，并返回已转码第一文件。本发明直接存储在实例缓存中，无需CS服务器，故而减少了缓存服务的硬件成本开销；同时，文件调度是两个实例间的调度，而实例间的访问速度，远远大于引入一台新的CS文件服务器，故而减少文件读取时间；对于用户来说，由于始终是访问一个主机，从而能提高客户端和主机之间的数据传输性能。

Description

一种多实例文件处理方法及终端

技术领域

本发明涉及文件处理技术领域，特别涉及一种多实例文件处理方法及终端。

背景技术

现在随着技术的发展，互联网的服务架构越发成熟，但在运算资源紧缺和对性能有极高要求的情况下，利用越少的资源实现更快的更高效的架构显得尤为重要。

现有的一个***框架需要将文件先上传到CS文件存储服务器，返回文件ID，然后将文件ID发送给实例服务器。由其中实例服务器A处理此次请求，实例服务器A通过该文件ID到文件服务器拉取文件，然后进行转码处理，处理完成后，将文件发回到CS文件存储服务器，然后用户才可以去CS文件存储服务器下载该文件。

上述的现有框架存在以下问题：

1、引入CS文件存储服务器，增加硬件成本和开销。

2、引入CS文件存储服务器，实例服务器处理数据的时候需要去拉取数据，新增开销。

3、引入CS文件存储服务器，实例服务器完成后需要去上传转码结果文件，新增开销。

发明内容

本发明所要解决的技术问题是：提供一种多实例文件处理方法及终端，减少文件读取时间和缓存成本。

为了解决上述技术问题，本发明采用的技术方案为：

一种多实例文件处理方法，包括步骤：

S1、获取第一文件下载请求，所述第一文件下载请求包括已转码文件ID和实例ID；

S2、判断所述实例ID是否为本机ID，若是，则根据所述已转码文件ID和所述实例ID从本机中的实例缓存下载并返回已转码第一文件，否则根据所述已转码文件ID和所述实例ID向其他主机中的实例缓存中读取已转码第一文件，并返回所述已转码第一文件。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种多实例文件处理终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、获取第一文件下载请求，所述第一文件下载请求包括已转码文件ID和实例ID；

S2、判断所述实例ID是否为本机ID，若是，则根据所述已转码文件ID和所述实例ID从本机中的实例缓存下载并返回已转码第一文件，否则根据所述已转码文件ID和所述实例ID向其他主机中的实例缓存中读取已转码第一文件，并返回所述已转码第一文件。

本发明的有益效果在于：一种多实例文件处理方法及终端，在获取第一文件下载请求时，被请求到的主机通过实例ID判断是否是本机命中，若是，则直接读取本机中的实例缓存内的第一文件，否则通过文件调度获取已转码第一文件，同样可以完成文件下载任务；即本发明直接存储在实例缓存中，无需CS服务器，故而减少了缓存服务的硬件成本开销；同时，文件调度是两个实例间的调度，而实例间的访问速度，远远大于引入一台新的CS文件存储服务器，故而减少文件读取时间；对于用户来说，由于始终是访问一个主机，从而能提高客户端和主机之间的数据传输性能。

附图说明

图1为本发明实施例的一种多实例文件处理方法的流程示意图；

图2为本发明实施例的一种多实例文件处理方法的简易流程示意图；

图3为本发明实施例涉及的文件上传的流程示意图；

图4为本发明实施例涉及的文件查询的流程示意图；

图5为本发明实施例涉及的文件下载的流程示意图；

图6为本发明实施例的一种多实例文件处理终端的结构示意图。

标号说明：

1、一种多实例文件处理终端；2、处理器；3、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1至图5，一种多实例文件处理方法，包括步骤：

S1、获取第一文件下载请求，所述第一文件下载请求包括已转码文件ID和实例ID；

S2、判断所述实例ID是否为本机ID，若是，则根据所述已转码文件ID和所述实例ID从本机中的实例缓存下载并返回已转码第一文件，否则根据所述已转码文件ID和所述实例ID向其他主机中的实例缓存中读取已转码第一文件，并返回所述已转码第一文件。

从上述描述可知，本发明的有益效果在于：在获取第一文件下载请求时，被请求到的主机通过实例ID判断是否是本机命中，若是，则直接读取本机中的实例缓存内的第一文件，否则通过文件调度获取已转码第一文件，同样可以完成文件下载任务；即本发明直接存储在实例缓存中，无需CS服务器，故而减少了缓存服务的硬件成本开销；同时，文件调度是两个实例间的调度，而实例间的访问速度，远远大于引入一台新的CS文件服务器，故而减少文件读取时间；对于用户来说，由于始终是访问一个主机，从而能提高客户端和主机之间的数据传输性能。

进一步地，所述步骤S1之前还包括：

获取第一文件上传请求，存储未转码第一文件至实例缓存，对所述未转码第一文件进行异步转码处理，并且保存所述未转码第一文件ID以及转码状态至缓存服务器；

若所述转码状态为转码成功，则更新所述未转码第一文件为已转码第一文件，同时保存所述已转码第一文件ID以及所存储的实例缓存的实例ID至缓存服务器。

从上述描述可知，对于文件上传请求，采用异步转码和异步存储，并将文件状态信息保存到缓存服务器，使得用户可以在第一时间通过缓存服务器来查询当前上传文件的实时状态。

进一步地，所述步骤S1之前还包括：

获取第一文件查询请求，根据所述未转码第一文件ID从缓存服务器中查询所述未转码第一文件ID所对应的转码状态，若所述转码状态为转码成功，则从缓存服务器获取并返回已转码第一文件ID以及所存储的实例缓存的实例ID。

从上述描述可知，在进行文件查询时，可通过缓存服务器进行查询状态，从而使得用户可以随时获得文件状态信息。

进一步地，从缓存服务器获取并返回已转码第一文件ID以及所存储的实例缓存的实例ID还包括：

返回所述已转码第一文件。

从上述描述可知，将查询和下载接口进行合并，如果查询到任务是已转码成功，则可以直接向客户端输出文件。即免去用户再去调用下载的步骤，相对于返回给客户端成功状态后由客户端再向CS文件存储服务器发起下载请求或者是服务端进行302页面跳转到下载服务器后触发客户端的跳转到新服务器下载的现有技术来说，能减少服务器的资源损耗。

进一步地，若实例缓存所在的docker中只包括第一实例和第二实例，则所述步骤S2中具体为：

判断所述实例ID是否为本机上第一实例的实例ID，若是，则根据所述已转码文件ID从所述第一实例的实例缓存中下载并返回已转码第一文件，否则向第二实例的实例缓存中读取已转码第一文件，并返回所述已转码第一文件。

从上述描述可知，即为双实例文件存储时，由于负载均衡服务器分配时必然分配到这两个实例中，故而在查询不是本机命中时，可以直接向另一个实例的实例缓存来读取文件，从而减少文件读取时间。

请参照图6，一种多实例文件处理终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

S1、获取第一文件下载请求，所述第一文件下载请求包括已转码文件ID和实例ID；

S2、判断所述实例ID是否为本机ID，若是，则根据所述已转码文件ID和所述实例ID从本机中的实例缓存下载并返回已转码第一文件，否则根据所述已转码文件ID和所述实例ID向其他主机中的实例缓存中读取已转码第一文件，并返回所述已转码第一文件。

从上述描述可知，本发明的有益效果在于：在获取第一文件下载请求时，被请求到的主机通过实例ID判断是否是本机命中，若是，则直接读取本机中的实例缓存内的第一文件，否则通过文件调度获取已转码第一文件，同样可以完成文件下载任务；即本发明直接存储在实例缓存中，无需CS服务器，故而减少了缓存服务的硬件成本开销；同时，文件调度是两个实例间的调度，而实例间的访问速度，远远大于引入一台新的CS文件服务器，故而减少文件读取时间；对于用户来说，由于始终是访问一个主机，从而能提高客户端和主机之间的数据传输性能。

进一步地，所述步骤S1之前，所述处理器执行所述计算机程序时还实现以下步骤：

获取第一文件上传请求，存储未转码第一文件至实例缓存，对所述未转码第一文件进行异步转码处理，并且保存所述未转码第一文件ID以及转码状态至缓存服务器；

若所述转码状态为转码成功，则更新所述未转码第一文件为已转码第一文件，同时保存所述已转码第一文件ID以及所存储的实例缓存的实例ID至缓存服务器。

从上述描述可知，对于文件上传请求，采用异步转码和异步存储，并将文件状态信息保存到缓存服务器，使得用户可以在第一时间通过缓存服务器来查询当前上传文件的实时状态。

进一步地，所述步骤S1之前，所述处理器执行所述计算机程序时还实现以下步骤：

获取第一文件上传请求，存储未转码第一文件至实例缓存，对所述未转码第一文件进行异步转码处理，并且保存所述未转码第一文件ID以及转码状态至缓存服务器；

若所述转码状态为转码成功，则更新所述未转码第一文件为已转码第一文件，同时保存所述已转码第一文件ID以及所存储的实例缓存的实例ID至缓存服务器。

从上述描述可知，在进行文件查询时，可通过缓存服务器进行查询状态，从而使得用户可以随时获得文件状态信息。

进一步地，所述步骤S1之前，所述处理器执行所述计算机程序时还实现以下步骤：

获取第一文件查询请求，根据所述未转码第一文件ID从缓存服务器中查询所述未转码第一文件ID所对应的转码状态，若所述转码状态为转码成功，则从缓存服务器获取并返回已转码第一文件ID以及所存储的实例缓存的实例ID。

从上述描述可知，将查询和下载接口进行合并，如果查询到任务是已转码成功，则可以直接向客户端输出文件。即免去用户再去调用下载的步骤，相对于返回给客户端成功状态后由客户端再向CS文件存储服务器发起下载请求或者是服务端进行302页面跳转到下载服务器后触发客户端的跳转到新服务器下载的现有技术来说，能减少服务器的资源损耗。

进一步地，若实例缓存所在的docker中只包括第一实例和第二实例，则所述步骤S2中具体为：

判断所述实例ID是否为本机上第一实例的实例ID，若是，则根据所述已转码文件ID从所述第一实例的实例缓存中下载并返回已转码第一文件，否则向第二实例的实例缓存中读取已转码第一文件，并返回所述已转码第一文件。

从上述描述可知，即为双实例文件存储时，由于负载均衡服务器分配时必然分配到这两个实例中，故而在查询不是本机命中时，可以直接向另一个实例的实例缓存来读取文件，从而减少文件读取时间。

请参照图1至图5，本发明的实施例一为：

一种多实例文件处理方法，如图2所示，通过引入实例缓存调度机制，同时实例对外提供upload(上传)、down(下载)以及query(查询)这三个功能；客户端在发送请求后，通过域名解析服务将请求中的域名转换为IP地址，之后由负责均衡服务进行请求的分配；具体的，在第一主机在进行文件上传、文件查询和文件下载时的步骤分别说明如下：

如图3所示，第一主机进行文件上传的步骤为：

获取第一文件上传请求，存储未转码第一文件至实例缓存，对未转码第一文件进行异步转码处理，并且保存未转码第一文件ID以及转码状态至缓存服务器，在本实施例中，缓存服务器即为图3中的Redis缓存；

若转码状态为转码成功，则更新未转码第一文件为已转码第一文件，同时保存已转码第一文件ID以及所存储的实例缓存的实例ID至缓存服务器。

如图4所示，第一主机进行文件查询时的步骤为：

获取第一文件查询请求，根据未转码第一文件ID从缓存服务器中查询未转码第一文件ID所对应的转码状态，若转码状态为转码成功，则从缓存服务器获取并返回已转码第一文件ID以及所存储的实例缓存的实例ID，即本步骤对应图4中的读取查询信息，其中已转码第一文件ID即对应图4中的新文件ID。

如图5所示，第一主机进行文件下载时的步骤为：

S1、获取第一文件下载请求，第一文件下载请求包括已转码文件ID和实例ID；

S2、判断实例ID是否为本机ID，若是，则根据已转码文件ID和实例ID从本机中的实例缓存下载并返回已转码第一文件，否则根据已转码文件ID和实例ID向其他主机中的实例缓存中读取已转码第一文件，并返回已转码第一文件。

在本实施例中，实例缓存所在的docker中只包括第一实例和第二实例，则步骤S2中具体为：

判断实例ID是否为本机上第一实例的实例ID，若是，则根据已转码文件ID从第一实例的实例缓存中下载并返回已转码第一文件，否则向第二实例的实例缓存中读取已转码第一文件，并返回已转码第一文件。

请参照图1至图5，本发明的实施例二为：

一种多实例文件处理方法，在上述实施例一的基础上，从缓存服务器获取并返回已转码第一文件ID以及所存储的实例缓存的实例ID还包括：

返回已转码第一文件。

即在查询文件已转码成功，则直接返回文件至客户端，以免去客户端再次调用下载所造成的资源损耗。

请参照图6，本发明的实施例三为：

一种多实例文件处理终端1，包括存储器3、处理器2及存储在存储器3上并可在处理器2上运行的计算机程序，处理器3执行计算机程序时实现上述实施例一的步骤。

其中，在本实施例中，一种多实例文件处理终端1为其中一个实例所在的终端，假设为第一主机，文件在上传下载时，会通过一个负载均衡服务器来分配此次请求，即有可能分配给第一主机，也有可能分配到第二主机。而所请求的文件只存储在其中一个主机上的实例缓存中，故而本发明通过实例ID判断是否被本机命中，在非命中时向其他主机的实例缓存去请求，从而在任意一个处理节点上，都能命中到这个文件缓存，并且节约了把文件放到一台公共的CS服务器上带来的硬件和传输消耗上。

请参照图6，本发明的实施例四为：

一种多实例文件处理终端1，在上述实施例三的基础上，处理器2执行计算机程序时实现上述实施例二的步骤。

综上所述，本发明提供的一种多实例文件处理方法及终端，在获取第一文件下载请求时，被请求到的主机通过实例ID判断是否是本机命中，若是，则直接读取本机中的实例缓存内的第一文件，否则通过文件调度获取已转码第一文件，同样可以完成文件下载任务；即本发明直接存储在实例缓存中，无需CS服务器，故而减少了缓存服务的硬件成本开销；同时，文件调度是两个实例间的调度，而实例间的访问速度，远远大于引入一台新的CS文件服务器，故而减少文件读取时间；对于用户来说，由于始终是访问一个主机，从而能提高客户端和主机之间的数据传输性能；另外，将查询和下载接口进行合并，如果查询到任务是已转码成功，则可以直接向客户端输出文件，能减少服务器的资源损耗。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多实例文件处理方法，其特征在于，包括步骤：

S1、获取第一文件下载请求，所述第一文件下载请求包括已转码文件ID和实例ID；

S2、判断所述实例ID是否为本机ID，若是，则根据所述已转码文件ID和所述实例ID从本机中的实例缓存下载并返回已转码第一文件，否则根据所述已转码文件ID和所述实例ID向其他主机中的实例缓存中读取已转码第一文件，并返回所述已转码第一文件。

2.根据权利要求1所述的一种多实例文件处理方法，其特征在于，所述步骤S1之前还包括：

获取第一文件上传请求，存储未转码第一文件至实例缓存，对所述未转码第一文件进行异步转码处理，并且保存所述未转码第一文件ID以及转码状态至缓存服务器；

若所述转码状态为转码成功，则更新所述未转码第一文件为已转码第一文件，同时保存所述已转码第一文件ID以及所存储的实例缓存的实例ID至缓存服务器。

3.根据权利要求2所述的一种多实例文件处理方法，其特征在于，所述步骤S1之前还包括：

获取第一文件查询请求，根据所述未转码第一文件ID从缓存服务器中查询所述未转码第一文件ID所对应的转码状态，若所述转码状态为转码成功，则从缓存服务器获取并返回已转码第一文件ID以及所存储的实例缓存的实例ID。

4.根据权利要求3所述的一种多实例文件处理方法，其特征在于，从缓存服务器获取并返回已转码第一文件ID以及所存储的实例缓存的实例ID还包括：

返回所述已转码第一文件。

5.根据权利要求1至3任一所述的一种多实例文件处理方法，其特征在于，若实例缓存所在的docker中只包括第一实例和第二实例，则所述步骤S2中具体为：

判断所述实例ID是否为本机上第一实例的实例ID，若是，则根据所述已转码文件ID从所述第一实例的实例缓存中下载并返回已转码第一文件，否则向第二实例的实例缓存中读取已转码第一文件，并返回所述已转码第一文件。

6.一种多实例文件处理终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

S1、获取第一文件下载请求，所述第一文件下载请求包括已转码文件ID和实例ID；

S2、判断所述实例ID是否为本机ID，若是，则根据所述已转码文件ID和所述实例ID从本机中的实例缓存下载并返回已转码第一文件，否则根据所述已转码文件ID和所述实例ID向其他主机中的实例缓存中读取已转码第一文件，并返回所述已转码第一文件。

7.根据权利要求6所述的一种多实例文件处理终端，其特征在于，所述步骤S1之前，所述处理器执行所述计算机程序时还实现以下步骤：

获取第一文件上传请求，存储未转码第一文件至实例缓存，对所述未转码第一文件进行异步转码处理，并且保存所述未转码第一文件ID以及转码状态至缓存服务器；

若所述转码状态为转码成功，则更新所述未转码第一文件为已转码第一文件，同时保存所述已转码第一文件ID以及所存储的实例缓存的实例ID至缓存服务器。

8.根据权利要求7所述的一种多实例文件处理终端，其特征在于，所述步骤S1之前，所述处理器执行所述计算机程序时还实现以下步骤：

获取第一文件上传请求，存储未转码第一文件至实例缓存，对所述未转码第一文件进行异步转码处理，并且保存所述未转码第一文件ID以及转码状态至缓存服务器；

若所述转码状态为转码成功，则更新所述未转码第一文件为已转码第一文件，同时保存所述已转码第一文件ID以及所存储的实例缓存的实例ID至缓存服务器。

9.根据权利要求8所述的一种多实例文件处理终端，其特征在于，所述步骤S1之前，所述处理器执行所述计算机程序时还实现以下步骤：

获取第一文件查询请求，根据所述未转码第一文件ID从缓存服务器中查询所述未转码第一文件ID所对应的转码状态，若所述转码状态为转码成功，则从缓存服务器获取并返回已转码第一文件ID以及所存储的实例缓存的实例ID。

10.根据权利要求6至9任一所述的一种多实例文件处理终端，其特征在于，若实例缓存所在的docker中只包括第一实例和第二实例，则所述步骤S2中具体为：

判断所述实例ID是否为本机上第一实例的实例ID，若是，则根据所述已转码文件ID从所述第一实例的实例缓存中下载并返回已转码第一文件，否则向第二实例的实例缓存中读取已转码第一文件，并返回所述已转码第一文件。