CN110198333B - 数据获取方法和装置、存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种数据获取方法和装置、存储介质及电子装置。该方法包括：接收携带有第一URL地址的数据请求，数据请求用于请求获取目标数据，第一URL地址包括第一地址参数，第一地址参数用于指示存储目标数据的内容服务器的地址；在缓存服务器中未缓存目标数据的情况下，将第一URL地址中替换成第一地址参数所指示的内容服务器的地址，得到第二URL地址；根据第二URL地址从内容服务器中获取目标数据。本发明解决了相关技术中varnish反向代理需要预先配置内容服务器的地址列表，导致配置列表的运维成本较大的技术问题。

Description

数据获取方法和装置、存储介质及电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种数据获取方法和装置、存储介质及电子装置。

背景技术

目前，基于varnish的反向代理需要预先配置后端内容服务器的地址列表。当前端的http请求到达后，varnish可以根据负载均衡算法或者其他匹配规则到预先配置的地址列表中选取一个并把请求转发到该内容服务器。因为varnish以URL为标识缓存数据，所以基本不会对请求URL做变更，最多只是去除一些不必要的参数。从应用者的角度看反向代理的内容服务器需要事先定义在地址列表里，并且客户请求URL就是真实的请求地址，varnish只是把请求URL转发到选中的内容服务器。

但是，由于使用视频云服务的客户很多，不同客户的后端域名和参数各不相同，如果使用上述varnish反向代理方法，会存在如下两个问题：

(1)需要全量配置所有客户的后端内容服务器域名。当客户很多或者域名更新时需要修改所有缓存节点全量的varnish配置，因此带来的运维成本和风险极大。

(2)客户端请求点播内容时，需要根据请求信息确定唯一的客户后端域名，而不能使用默认的负载均衡算法。如果所有后端都配置不同组，在varnish配置文件中解析请求并选择相应的内容服务器理论上可行，但会带来配置文件很庞大且难以维护的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据获取方法和装置、存储介质及电子装置，以至少解决相关技术中varnish反向代理需要预先配置内容服务器的地址列表，导致配置列表的运维成本较大的技术问题。

根据本发明实施例的一个方面，提供了一种数据获取方法，包括：接收携带有第一URL地址的数据请求，其中，所述数据请求用于请求获取目标数据，所述第一URL地址包括第一地址和第一地址参数，所述第一地址用于指示缓存所述目标数据的缓存服务器，所述第一地址参数用于指示存储所述目标数据的内容服务器的地址；在所述缓存服务器中未缓存所述目标数据的情况下，将所述第一URL地址中替换成所述第一地址参数所指示的所述内容服务器的地址，得到第二URL地址；根据所述第二URL地址从所述内容服务器中获取所述目标数据。

根据本发明实施例的另一方面，还提供了一种数据获取装置，包括：接收单元，用于接收携带有第一URL地址的数据请求，其中，所述数据请求用于请求获取目标数据，所述第一URL地址包括第一地址和第一地址参数，所述第一地址用于指示缓存所述目标数据的缓存服务器，所述第一地址参数用于指示存储所述目标数据的内容服务器的地址；替换单元，用于在所述缓存服务器中未缓存所述目标数据的情况下，将所述第一URL地址中替换成所述第一地址参数所指示的所述内容服务器的地址，得到第二URL地址；获取单元，用于根据所述第二URL地址从所述内容服务器中获取所述目标数据。

根据本发明实施例的另一方面，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行本发明实施例中任意一种数据获取方法。

根据本发明实施例的另一方面，还提供了一种电子装置，包括存储器和处理器，其中，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行本发明实施例中任意一种数据获取方法。

在本发明实施例中，在接收到携带有第一URL地址的数据请求之后，其中，数据请求用于请求获取目标数据，第一URL地址包括第一地址和第一地址参数，第一地址用于指示缓存目标数据的缓存服务器，第一地址参数用于指示存储目标数据的内容服务器的地址；在缓存服务器中未缓存目标数据的情况下，将第一URL地址中替换成第一地址参数所指示的内容服务器的地址，得到第二URL地址；根据第二URL地址从内容服务器中获取目标数据。本发明实施例通过将数据请求中携带的第一URL地址进行替换成第一地址参数所指示的内容服务器的地址，得到第二URL地址，然后根据第二URL地址从内容服务器中获取目标数据，达到了无需预先配置内容服务器的地址列表即可以实现获取所请求的目标数据的目的，进而解决了相关技术中varnish反向代理需要预先配置内容服务器的地址列表，导致配置列表的运维成本较大的技术问题，从而实现了缩小了反向代理时的运维成本，提高了反向代理的效率的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的数据获取方法的硬件环境的示意图；

图2是根据本发明实施例的一种可选的数据获取方法的流程图；

图3是根据本发明实施例的一种可选的一次varnish请求的完整过程的示意图；

图4是根据本发明实施例的一种可选的基于varnish的动态反向代理的流程图；

图5是根据本发明实施例的一种可选的基于varnish的动态反向代理实现代码的示意图；

图6是根据本发明实施例的一种可选的ngnix反向代理，varnish缓存的架构图；

图7是根据本发明实施例的一种可选的数据获取装置的示意图；

图8是根据本发明实施例的另一种可选的数据获取装置的示意图；

图9是根据本发明实施例的另一种可选的数据获取装置的示意图；

图10是根据本发明实施例的另一种可选的数据获取装置的示意图；

图11是根据本发明实施例的另一种可选的数据获取装置的示意图；

图12是根据本发明实施例的另一种可选的数据获取装置的示意图；以及

图13是根据本发明实施例的一种电子装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种数据获取方法。

可选地，在本实施例中，上述数据获取方法可以应用于如图1所示的由服务器102和终端104所构成的硬件环境中。如图1所示，服务器102通过网络与终端104进行连接，上述网络包括但不限于：广域网、城域网或局域网。终端104并不限定于PC、手机、平板电脑等。服务器102可以为varnish。本发明实施例的数据获取方法可以由服务器102来执行，还可以是由服务器102和终端104共同执行。其中，终端104执行本发明实施例的数据获取方法也可以是由安装在其上的客户端来执行。

可选地，服务器102执行本发明实施例的数据获取方法的过程可以描述为：服务器102接收携带有第一URL地址的数据请求，其中，数据请求用于请求获取目标数据，第一URL地址包括第一地址和第一地址参数，第一地址用于指示缓存目标数据的缓存服务器，第一地址参数用于指示存储目标数据的内容服务器的地址；服务器102在缓存服务器中未缓存目标数据的情况下，将第一URL地址中替换成第一地址参数所指示的内容服务器的地址，得到第二URL地址；服务器102根据第二URL地址从内容服务器中获取目标数据。

可选地，服务器102和终端104共同执行本发明实施例的数据获取方法的过程可以描述为：服务器102接收终端104发送的携带有第一URL地址的数据请求，其中，数据请求用于请求获取目标数据，第一URL地址包括第一地址和第一地址参数，第一地址用于指示缓存目标数据的缓存服务器，第一地址参数用于指示存储目标数据的内容服务器的地址；服务器102在缓存服务器中未缓存目标数据的情况下，将第一URL地址中替换成第一地址参数所指示的内容服务器的地址，得到第二URL地址；服务器102根据第二URL地址从内容服务器中获取目标数据；服务器102将获取到的目标数据发送给终端104。

下面以服务器102为执行主体为例对本发明实施例的数据获取方法进行详细说明。

图2是根据本发明实施例的一种可选的数据获取方法的流程图，如图2所示，该方法可以包括以下步骤：

步骤S202，接收携带有第一URL地址的数据请求，其中，数据请求用于请求获取目标数据，第一URL地址包括第一地址和第一地址参数，第一地址用于指示缓存目标数据的缓存服务器，第一地址参数用于指示存储目标数据的内容服务器的地址；

步骤S204，在缓存服务器中未缓存目标数据的情况下，将第一URL地址中替换成第一地址参数所指示的内容服务器的地址，得到第二URL地址；

步骤S206，根据第二URL地址从内容服务器中获取目标数据。

通过上述步骤S202至步骤S206，通过将数据请求中携带的第一URL地址进行替换成第一地址参数所指示的内容服务器的地址，得到第二URL地址，然后根据第二URL地址从内容服务器中获取目标数据，达到了无需预先配置内容服务器的地址列表即可以实现获取所请求的目标数据的目的，进而解决了相关技术中varnish反向代理需要预先配置内容服务器的地址列表，导致配置列表的运维成本较大的技术问题，从而实现了缩小了反向代理时的运维成本，提高了反向代理的效率的技术效果。

在步骤S202提供的技术方案中，本发明实施例中的数据请求可以用于请求目标数据，其中，本发明实施例对目标数据的类型不做具体限定，例如，目标数据可以是视频、音频、图片、文本等。

可选地，本发明实施例对数据请求的触发方式不做具体限定，例如，数据请求可以由用户在客户端上执行的触控操作触发生成，其中，用户在客户端上执行的触控操作可以包括但并不限于点击、长按、滑动、手势等。当客户端检测到上述触控操作之后，可以触发生成数据请求，然后将该数据请求发送给服务器。

可选地，数据请求可以携带有第一URL地址，其中，第一URL地址可以包括第一地址以及第一地址参数，其中，第一地址可以用于指示缓存目标数据的缓存服务器，第一地址参数可以用于指示存储目标数据的内容服务器的地址。此处需要说明的是，在反向代理过程中，如果缓存服务器中存储有目标数据，则在接收到数据请求之后可以直接将缓存服务器中的目标数据发送给客户端；如果缓存服务器中未缓存有目标数据，则在接收到数据请求之后需要将该数据请求转发到相应的内容服务器中，从该内容服务器中获取到所请求的目标数据，然后再返回给客户端。

作为一种可选的示例，数据请求中携带的第一URL地址可以为：http://test.vodflowproxy.myqcloud.com/live/test.mp4？sourceUrl＝http://6000.liveplay.myqcloud.com/live/68l6U8ck8Hg.mp4，其中，第一地址可以为http://test.vodflowproxy.myqcloud.com/live/test.mp4，第一地址参数可以为sourceUrl＝http://6000.liveplay.myqcloud.com/live/68l6U8ck8Hg.mp4。

可选地，第一地址中可以包括缓存服务器的域名以及目标数据在缓存服务器中缓存的标识信息。在上述示例中，http://test.vodflowproxy.myqcloud.com为缓存服务器的域名，/live/test.mp4为目标数据在缓存服务器中缓存的标识信息。

可选地，第一地址参数中可以包括内容服务器的域名以及目标数据在内容服务器中的地址。在上述示例中，http://6000.liveplay.myqcloud.com为内容服务器的域名，/live/68l6U8ck8Hg.mp4为目标数据在缓存服务器中缓存的标识信息。

此处需要说明的是，缓存服务器可以为执行本发明实施例的数据获取方法的服务器。

在步骤S204提供的技术方案中，缓存服务器在接收到数据请求之后，如果缓存服务器中存在所请求的目标数据，则可以直接将该目标数据返回给客户端；如果缓存服务器中不存在所请求的目标数据，则缓存服务器需要获取存储有目标数据的内容服务器的地址，然后将该数据请求转发至该内容服务器中，以获取所请求的目标数据，然后将获取到的目标数据返回给客户端。

可选地，缓存服务器获取存储目标数据的内容服务器的地址可以通过将第一URL地址替换成第一地址参数所指示的内容服务器的地址，得到第二URL地址，其中，该第二URL地址可以指示存储有目标数据的内容服务器。

在上述示例中，将第一URL地址替换成第一地址参数所指示的内容服务器的地址，所得到第二URL地址为：http://6000.liveplay.myqcloud.com/live/68l6U8ck8Hg.mp4。

可选地，步骤S204将第一URL地址中替换成第一地址参数所指示的内容服务器的地址，得到第二URL地址可以包括以下步骤：

步骤S2042，从第一地址参数中获取内容服务器的域名以及端口号；

步骤S2044，获取与内容服务器的域名对应的内容服务器的IP地址；

步骤S2046，将第一URL地址替换成内容服务器的IP地址及端口号，得到第二URL地址。

需要说明的是，在将第一URL地址替换成第一地址参数所指示的内容服务器的地址时，可以是将第一URL地址替换成上述示例所示的URL地址格式，也可以是将第一URL地址替换成IP地址以及端口号的格式，无论是哪种格式，替换后得到的第二URL地址都可以指示存储目标数据的内容服务器。

可选地，步骤S2046将第一URL地址替换成内容服务器的IP地址及端口号，得到第二URL地址可以包括以下步骤：

步骤S20462，利用内容服务器的IP地址以及端口号生成目标结构体，其中，目标结构体中存储有内容服务器的IP地址以及端口号；

步骤S20464，将第一URL地址替换成目标结构体中存储的内容服务器的IP地址以及端口号，得到第二URL地址。

需要说明的是，由于varnish反向代理的过程是在接收到数据请求之后，根据配置好的地址列表从后端内容服务器中请求数据，其中，地址列表以结构体形式存在。因此，为了实现反向代理，本发明实施例可以利用内容服务器的IP地址以及端口号生成目标结构体，并将目标结构体赋值给用于存储varnish反向代理的后端内容服务器的地址列表的结构体，然后再用该结构体中的内容服务器的IP地址以及端口号去替换第一URL地址，以得到存储目标数据的内容服务器的地址，进而实现请求目标数据的目的。

在步骤S206提供的技术方案中，在得到第二URL地址之后，本发明实施例可以根据第二URL地址从内容服务器中获取目标数据，并将获取到的目标数据返回给客户端。

可选地，在根据第二URL地址从内容服务器中获取目标数据之后，本发明实施例还可以包括以下步骤：

步骤S208，释放目标结构体存储内容服务器的IP地址以及端口号所占用的内存。

需要说明的是，利用本发明实施例的数据获取方法可以达到无需预先配置内容服务器的地址列表就可以实现反向代理的目的，通过在接收到数据请求之后，创建目标结构体存储内容服务器的IP地址以及端口号，然后用内容服务器的IP地址以及端口号替换第一URL地址，以得到第二URL地址，进而实现根据第二URL地址从内容服务器中获取目标数据。在本发明实施例中，获取到目标数据之后，可以将目标结构体所占用的内存进行释放，以达到防止内存泄露的目的。

作为一种可选的实施例，在根据第二URL地址从内容服务器中获取目标数据之后，本发明实施例还可以包括：缓存目标数据，并将目标数据发送给客户端；或者将目标数据发送给目标服务器进行缓存，并利用目标服务器将目标数据发送给客户端。

需要说明的是，本发明实施例可以利用一个服务器(例如varnish)实现获取目标数据以及缓存目标数据，也可以利用一个服务器(例如nginx)实现获取目标数据，利用另一个服务器(例如varnish)实现缓存目标数据。上述两种方式均可以实现反向代理，在实际应用场景中可以根据实际需求选择其中一种。

作为一种可选的实施例，本发明实施例中的数据请求可以用于请求免流量数据，也即请求数据不会消耗流浪。相应地，步骤S202接收携带有第一URL地址的数据请求可以包括：接收携带有第一URL地址的数据请求，其中，数据请求用于请求获取免流量数据；步骤S206根据第二URL地址从内容服务器中获取目标数据可以包括：根据第二URL地址从内容服务器中获取免流量数据。

需要说明的是，本发明实施例除了可以请求免流量数据，例如免流量视频，还可以请求其他类型的数据，例如点播视频、VIP视频等。

本发明实施例的数据获取方法可以应用多个领域，例如视频领域用于请求播放视频，游戏领域请求游戏装备、理财领域请求金融产品说明信息等。

下面优选实施例将以本发明应用于视频领域为例进行详细说明。

本发明还提供了一种优选实施例，该优选实施例提供了一种基于varnish的动态反向代理方法。

在对本优选实施例进行介绍之前，首先对其中涉及到的技术术语进行以下解释说明：

varnish：一个开源http缓存服务器，本方案中用于实现动态方向代理和缓存数据。

backend_hint：varnish配置文件中用于表示后端内容服务器的一个结构体，包括IP和端口。

backend：表示varnish反向代理的后端内容服务器。

struct director：varnish模块中和backend_hint对应的C语言结构体。

免流：用户使用移动蜂窝网络请求特定流量，运营商不收取流量费。

回源：反向代理服务器在本地没有用户所请求的数据时，把用户请求转发到后端内容服务器拉回所请求数据并转发给用户的过程。

本方法基于开源varnish项目实现一种动态反向代理服务。通常varnish用于代理固定的一个或一批内容服务器，当用户请求到达时，转发请求到后端相应的内容服务器并缓存后端返回的数据。

在视频点播免流项目中，开通免流业务的客户的请求首先到达varnish，varnish主要作为点播文件的缓存服务器，如果缓存中不存在请求的数据varnish需要回源，这里varnish充当了反向代理的角色。反向代理的内容是视频云上不同客户的点播内容，其访问URL及参数等都因为不同客户而各不相同。

本方法基于开源varnish项目，提出一种优化的反向代理实现，可以动态代理不同的后端内容服务器，避免在配置文件中大量预先定义后端列表，当后端内容服务器有变更时，无需更改配置文件。可以有效简化varnish配置和运维风险，方便第三方客户端接入。

本方法可以用于视频云点播免流项目，varnish部署IP为合作运营商免流的白名单IP，通过这些IP的流量运营商不对用户收取流量费。本方法使varnish能动态反向代理前端到达的不同请求，根据用户请求信息动态解析URL并找到相应内容服务器拉取数据到本地，从而极大简化varnish的配置以及运维。

如图3所示，一次varnish请求的完整过程可以包括：

(1)客户端clinet向varnish发送请求req。

(2)varnish构造请求bereq访问后端内容服务器backend并拉回数据beresp。

(3)varnish缓存数据beresp到本地内存。

(4)varnish向客户端clinet响应请求内容resp。

本方案总体思路是定义好第三方客户请求的URL格式，使请求URL中携带后端内容服务器的URL。然后在varnish配置脚本中实现相应的解析功能，使配置脚本能够从请求URL中解析后端内容服务器的信息并构造varnish特有的后端数据格式。最后把请求URL替换成后端真实的内容服务器URL并转发请求，请求结束则释放内存资源。

本方法的具体实现流程如图4所示，可以包括以下步骤：

步骤S401，查找真实域名和端口。

步骤S402，域名解析得到IP和端口。

步骤S403，使用varnish结构构造结构体struct director。

步骤S404，判断结构体是否构造成功，如果成功则执行步骤S405；否则结束。

步骤S405，将结构体struct director赋值给backend_hint。

步骤S406，使用真实URL替换请求URL。

步骤S407，使用backend_hint到后端请求数据。

步骤S408，判断请求数据是否成功，如果成功，则执行步骤S409，释放结构体struct director，然后执行步骤S410，缓存并向客户端client返回数据；如果失败，则执行步骤S409，释放结构体struct director。

针对上述步骤需要说明的是：

定义用户请求URL的格式，使到达varnish的请求URL中携带后端内容服务器的地址信息。URL举例：

http://test.vodflowproxy.myqcloud.com/live/test.mp4？sourceUrl＝http://6000.liveplay.myqcloud.com/live/68l6U8ck8Hg.mp4

需要说明的是这个URL里省去了权限校验等本方案不相关的信息，只保留和本方案相关的反向代理及URL信息。其中，“test.vodflowproxy.myqcloud.com”为免流域名，第三方客户端请求通过这个域名请求免流服务，请求会送达varnish服务器；“/live/test.mp4”为该文件缓存在varnish时使用的索引key；sourceUrl所带的URL为真实的后端请求URL。

varnish收到上述URL后，默认处理方式是把后端请求URL置为“/live/test.mp4？sourceUrl＝http://6000.liveplay.myqcloud.com/live/68l6U8ck8Hg.mp4”，然后在配置文件中查找到合适的backend并转发请求。因此需要扩展varnish的默认处理能力，即把“/live/test.mp4？sourceUrl＝http://6000.liveplay.myqcloud.com/live/68l6U8ck8Hg.mp4”进行解析，分别得出缓存时的key(/live/test.mp4)、后端backend(6000.liveplay.myqcloud.com)、后端请求URL(/live/68l6U8ck8Hg.mp4)，然后改写对应的字段，再进行回源。

缓存的key、后端请求URL在默认的配置文件中已经有对应的变量表示并且都是字符串类型，所以直接改写即可。而后端backend默认的方式是预先定义在配置文件的一个结构体并表示为backend_hint，而且在配置脚本中无法对这个结构体的字段直接赋值。所以接下来需要根据请求URL来构造backend_hint.

配置文件中backend_hint实际上对应的是C语言代码的struct director。因此本方案通过扩展varnish底层接口能力的方式来动态构造以及释放struct director。具体地，把sourceUrl参数值传入自定义接口；自定义接口解析出传进来的域名(或IP)及端口；如果解析出来的是域名则进行域名解析从而得到IP；使用IP和端口基于varnish内部接口构造struct director并返回其指针。

struct director的指针返回到配置脚本后就可以在配置脚本中自由使用，但是由于struct director是动态申请内存，所以还需要实现一个释放struct director的接口。实现方式是在配置脚本中把struct director传入自定义释放接口，自定义释放接口基于varnish内部接口来删除structdirector对应的内存，从而防止内存泄漏。

本方案相当于把静态配置转换为动态解析，从而简化了配置文件的复杂度。

从方案本身来看，原来需要配置成千上万个backend以及if-else分支的配置可以简化为如图5所示的代码块。后续即使增加客户或者客户后端配置有改变，都无需varnish做配置变更，只需要客户端请求中上述URL规则修改请求URL即可，从而极大降低了项目维护成本和运维风险。

基于此方案可以快速实现点播免流以及加速功能，便于第三方客户端的推广以及吸引***。从而帮助第三方客户端快速占据市场有利地位。

需要说明的是，本方案中varnish同时充当了反向代理和缓存服务器的角色。反向代理的开源实现有很多，如nginx，但nginx在实现本地缓存的能力上不如varnish灵活和专业。所以也可以结合nginx和varnish来实现本方案，即varnish用于缓存，nginx用于反向代理，架构图如图6所示。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

根据本发明实施例的另一个方面，还提供了一种用于实施上述数据获取方法的数据获取装置。图7是根据本发明实施例的一种可选的数据获取装置的示意图，如图7所示，该装置可以包括：

接收单元22，用于接收携带有第一URL地址的数据请求，其中，数据请求用于请求获取目标数据，第一URL地址包括第一地址和第一地址参数，第一地址用于指示缓存目标数据的缓存服务器，第一地址参数用于指示存储目标数据的内容服务器的地址；替换单元24，用于在缓存服务器中未缓存目标数据的情况下，将第一URL地址中替换成第一地址参数所指示的内容服务器的地址，得到第二URL地址；获取单元26，用于根据第二URL地址从内容服务器中获取目标数据。

需要说明的是，该实施例中的接收单元22可以用于执行本申请实施例中的步骤S202，该实施例中的替换单元24可以用于执行本申请实施例中的步骤S204，该实施例中的获取单元26可以用于执行本申请实施例中的步骤S206。

此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。

作为一种可选的实施例，如图8所示，替换单元24可以包括：第一获取模块242，用于从第一地址参数中获取内容服务器的域名以及端口号；第二获取模块244，用于获取与内容服务器的域名对应的内容服务器的IP地址；替换模块246，用于将第一URL地址替换成内容服务器的IP地址及端口号，得到第二URL地址。

作为一种可选的实施例，如图9所示，替换模块246可以包括：生成子模块2462，用于利用内容服务器的IP地址以及端口号生成目标结构体，其中，目标结构体中存储有内容服务器的IP地址以及端口号；替换子模块2464，用于将第一URL地址替换成目标结构体中存储的内容服务器的IP地址以及端口号，得到第二URL地址。

作为一种可选的实施例，如图10所示，该装置还可以包括：释放单元28，用于在根据第二URL地址从内容服务器中获取目标数据之后，释放目标结构体存储内容服务器的IP地址以及端口号所占用的内存。

作为一种可选的实施例，如图11所示，接收单元22可以包括：接收模块222，用于接收携带有第一URL地址的数据请求，其中，数据请求用于请求获取免流量数据；获取单元26可以包括：第三获取模块262，用于根据第二URL地址从内容服务器中获取免流量数据。

作为一种可选的实施例，如图12所示，该装置还可以包括：第一缓存单元210，用于在根据第二URL地址从内容服务器中获取目标数据之后，缓存目标数据，并将目标数据发送给客户端；或者第二缓存单元212，用于将目标数据发送给目标服务器进行缓存，并利用目标服务器将目标数据发送给客户端。

此处需要说明的是，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在如图1所示的硬件环境中，可以通过软件实现，也可以通过硬件实现。

通过上述模块，达到了无需预先配置内容服务器的地址列表即可以实现获取所请求的目标数据的目的，进而解决了相关技术中varnish反向代理需要预先配置内容服务器的地址列表，导致配置列表的运维成本较大的技术问题，从而实现了缩小了反向代理时的运维成本，提高了反向代理的效率的技术效果。

根据本发明实施例的又一个方面，还提供了一种用于实施上述数据获取方法的电子装置。

图13是根据本发明实施例的一种电子装置的结构框图，如图13所示，该电子装置可以包括：一个或多个(图中仅示出一个)处理器201、存储器203，其中，存储器203中可以存储有计算机程序，处理器201可以被设置为运行所述计算机程序以执行本发明实施例的数据获取方法。

其中，存储器203可用于存储计算机程序以及模块，如本发明实施例中的数据获取方法和装置对应的程序指令/模块，处理器201通过运行存储在存储器203内的计算机程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的数据获取方法。存储器203可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器203可进一步包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

可选地，如图13所示，该电子装置还可以包括：传输装置205以及输入输出设备207。其中，传输装置205用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置205包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置205为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图13所示的结构仅为示意，电子装置可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图13其并不对上述电子装置的结构造成限定。例如，电子装置还可以包括比图13中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图13所示不同的配置。

可选地，在本实施例中，上述存储器203可以用于存储计算机程序。

可选地，在本实施例中，上述处理器可以被设置为运行计算机程序，以执行以下步骤：接收携带有第一URL地址的数据请求，其中，数据请求用于请求获取目标数据，第一URL地址包括第一地址和第一地址参数，第一地址用于指示缓存目标数据的缓存服务器，第一地址参数用于指示存储目标数据的内容服务器的地址；在缓存服务器中未缓存目标数据的情况下，将第一URL地址中替换成第一地址参数所指示的内容服务器的地址，得到第二URL地址；根据第二URL地址从内容服务器中获取目标数据。

处理器201还用于执行下述步骤：从第一地址参数中获取内容服务器的域名以及端口号；获取与内容服务器的域名对应的内容服务器的IP地址；将第一URL地址替换成内容服务器的IP地址及端口号，得到第二URL地址。

处理器201还用于执行下述步骤：利用内容服务器的IP地址以及端口号生成目标结构体，其中，目标结构体中存储有内容服务器的IP地址以及端口号；将第一URL地址替换成目标结构体中存储的内容服务器的IP地址以及端口号，得到第二URL地址。

处理器201还用于执行下述步骤：在根据第二URL地址从内容服务器中获取目标数据之后，释放目标结构体存储内容服务器的IP地址以及端口号所占用的内存。

处理器201还用于执行下述步骤：接收携带有第一URL地址的数据请求，其中，数据请求用于请求获取免流量数据；根据第二URL地址从内容服务器中获取目标数据包括：根据第二URL地址从内容服务器中获取免流量数据。

处理器201还用于执行下述步骤：在根据第二URL地址从内容服务器中获取目标数据之后，缓存目标数据，并将目标数据发送给客户端；或者将目标数据发送给目标服务器进行缓存，并利用目标服务器将目标数据发送给客户端。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。

采用本发明实施例，提供了一种数据获取的方案，通过将数据请求中携带的第一URL地址进行替换成第一地址参数所指示的内容服务器的地址，得到第二URL地址，然后根据第二URL地址从内容服务器中获取目标数据，达到了无需预先配置内容服务器的地址列表即可以实现获取所请求的目标数据的目的，进而解决了相关技术中varnish反向代理需要预先配置内容服务器的地址列表，导致配置列表的运维成本较大的技术问题，从而实现了缩小了反向代理时的运维成本，提高了反向代理的效率的技术效果。

根据本发明实施例的又一个方面，还提供了一种存储介质。该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述实施例中数据获取方法的步骤。

可选地，在本实施例中，存储介质可以位于上述实施例所示的网络中的多个网络设备中的至少一个网络设备上。

可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的计算机程序：

S1，接收携带有第一URL地址的数据请求，其中，数据请求用于请求获取目标数据，第一URL地址包括第一地址和第一地址参数，第一地址用于指示缓存目标数据的缓存服务器，第一地址参数用于指示存储目标数据的内容服务器的地址；

S2，在缓存服务器中未缓存目标数据的情况下，将第一URL地址中替换成第一地址参数所指示的内容服务器的地址，得到第二URL地址；

S3，根据第二URL地址从内容服务器中获取目标数据。

可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：从第一地址参数中获取内容服务器的域名以及端口号；获取与内容服务器的域名对应的内容服务器的IP地址；将第一URL地址替换成内容服务器的IP地址及端口号，得到第二URL地址。

可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：利用内容服务器的IP地址以及端口号生成目标结构体，其中，目标结构体中存储有内容服务器的IP地址以及端口号；将第一URL地址替换成目标结构体中存储的内容服务器的IP地址以及端口号，得到第二URL地址。

可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：在根据第二URL地址从内容服务器中获取目标数据之后，释放目标结构体存储内容服务器的IP地址以及端口号所占用的内存。

可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：接收携带有第一URL地址的数据请求，其中，数据请求用于请求获取免流量数据；根据第二URL地址从内容服务器中获取目标数据包括：根据第二URL地址从内容服务器中获取免流量数据。

可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：在根据第二URL地址从内容服务器中获取目标数据之后，缓存目标数据，并将目标数据发送给客户端；或者将目标数据发送给目标服务器进行缓存，并利用目标服务器将目标数据发送给客户端。

可选地，本实施例中的具体示例可以参考上述实施例中所描述的示例，本实施例在此不再赘述。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种数据获取方法，其特征在于，应用于反向代理服务器，包括：

接收携带有第一URL地址的数据请求，其中，所述数据请求用于请求获取目标数据，所述第一URL地址包括第一地址和第一地址参数，所述第一地址用于指示缓存所述目标数据的缓存服务器，所述第一地址参数用于指示存储所述目标数据的内容服务器的地址；所述第一地址包括缓存服务器的域名和目标数据在缓存服务器中缓存的标识信息；所述缓存服务器与所述反向代理服务器通信连接；

在所述缓存服务器中未缓存所述目标数据的情况下，将所述第一URL地址替换成所述第一地址参数所指示的所述内容服务器的地址，得到第二URL地址；

根据所述第二URL地址从所述内容服务器中获取所述目标数据；

所述接收携带有第一URL地址的数据请求包括：接收携带有所述第一URL地址的数据请求，其中，所述数据请求用于请求获取免流量数据；

所述根据所述第二URL地址从所述内容服务器中获取所述目标数据包括：根据所述第二URL地址从所述内容服务器中获取所述免流量数据；

所述将所述第一URL地址替换成所述第一地址参数所指示的所述内容服务器的地址，得到第二URL地址包括：

从所述第一地址参数中获取所述内容服务器的域名以及端口号；

获取与所述内容服务器的域名对应的所述内容服务器的IP地址；

将所述第一URL地址替换成所述内容服务器的IP地址及端口号，得到所述第二URL地址；

在所述根据所述第二URL地址从所述内容服务器中获取所述目标数据之后，所述方法还包括：

释放所述内容服务器的IP地址以及端口号所占用的内存。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一URL地址替换成所述内容服务器的IP地址及端口号，得到所述第二URL地址包括：

利用所述内容服务器的IP地址以及端口号生成目标结构体，其中，所述目标结构体中存储有所述内容服务器的IP地址以及端口号；

将所述第一URL地址替换成所述目标结构体中存储的所述内容服务器的IP地址以及端口号，得到所述第二URL地址。

3.根据权利要求1或者2所述的方法，其特征在于，在所述根据所述第二URL地址从所述内容服务器中获取所述目标数据之后，所述方法还包括：

缓存所述目标数据，并将所述目标数据发送给客户端；或者

将所述目标数据发送给目标服务器进行缓存，并利用所述目标服务器将所述目标数据发送给所述客户端。

4.一种数据获取装置，其特征在于，所述装置设置于反向代理服务器，包括：

接收单元，用于接收携带有第一URL地址的数据请求，其中，所述数据请求用于请求获取目标数据，所述第一URL地址包括第一地址和第一地址参数，所述第一地址用于指示缓存所述目标数据的缓存服务器，所述第一地址参数用于指示存储所述目标数据的内容服务器的地址；所述第一地址包括缓存服务器的域名和目标数据在缓存服务器中缓存的标识信息；所述缓存服务器与所述反向代理服务器通信连接；

替换单元，用于在所述缓存服务器中未缓存所述目标数据的情况下，将所述第一URL地址替换成所述第一地址参数所指示的所述内容服务器的地址，得到第二URL地址；

获取单元，用于根据所述第二URL地址从所述内容服务器中获取所述目标数据；

所述接收单元包括：接收模块，用于接收携带有所述第一URL地址的数据请求，其中，所述数据请求用于请求获取免流量数据；

所述获取单元包括：第三获取模块，用于根据所述第二URL地址从所述内容服务器中获取所述免流量数据；

所述替换单元包括：

第一获取模块，用于从所述第一地址参数中获取所述内容服务器的域名以及端口号；

第二获取模块，用于获取与所述内容服务器的域名对应的所述内容服务器的IP地址；

替换模块，用于将所述第一URL地址替换成所述内容服务器的IP地址及端口号，得到所述第二URL地址；

释放单元，用于在所述根据所述第二URL地址从所述内容服务器中获取所述目标数据之后，释放所述内容服务器的IP地址以及端口号所占用的内存。

5.根据权利要求4所述的装置，其特征在于，所述替换模块包括：

生成子模块，用于利用所述内容服务器的IP地址以及端口号生成目标结构体，其中，所述目标结构体中存储有所述内容服务器的IP地址以及端口号；

替换子模块，用于将所述第一URL地址替换成所述目标结构体中存储的所述内容服务器的IP地址以及端口号，得到所述第二URL地址。

6.根据权利要求4或者5所述的装置，其特征在于，所述装置还包括：

第一缓存单元，用于在所述根据所述第二URL地址从所述内容服务器中获取所述目标数据之后，缓存所述目标数据，并将所述目标数据发送给客户端；或者

第二缓存单元，用于将所述目标数据发送给目标服务器进行缓存，并利用所述目标服务器将所述目标数据发送给所述客户端。

7.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被处理器运行时执行所述权利要求1至3任一项中所述的方法。

8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至3任一项中所述的方法。

Images