CN109948087A - 网页资源的获取方法、装置及终端 - Google Patents

网页资源的获取方法、装置及终端 Download PDF

Info

Publication number
CN109948087A
CN109948087A CN201711270485.6A CN201711270485A CN109948087A CN 109948087 A CN109948087 A CN 109948087A CN 201711270485 A CN201711270485 A CN 201711270485A CN 109948087 A CN109948087 A CN 109948087A
Authority
CN
China
Prior art keywords
web page
address
history
page address
resources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711270485.6A
Other languages
English (en)
Other versions
CN109948087B (zh
Inventor
陈岩
刘耀勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711270485.6A priority Critical patent/CN109948087B/zh
Priority to PCT/CN2018/116224 priority patent/WO2019109797A1/zh
Publication of CN109948087A publication Critical patent/CN109948087A/zh
Application granted granted Critical
Publication of CN109948087B publication Critical patent/CN109948087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种网页资源的获取方法、装置及终端。所述方法包括:获取至少一个历史网页地址;从历史网页地址中选取常用网页地址,常用网页地址是指在历史周期内访问频率大于预设频率的历史网页地址;下载常用网页地址对应的网页资源;根据常用网页地址对应的网页资源,爬取至少一个目标网页地址对应的网页资源;存储预加载网页地址对应的网页资源,预加载网页地址包括常用网页地址和目标网页地址。在本申请实施例中,通过将预加载网页地址对应的网页资源预先下载存储,以使得后续接收到网页访问请求时,能够从上述预先存储的网页资源中获取所请求的网页资源,不必从网络中请求下载网页资源,减少了获取网页资源的耗时,提高了显示网页的效率。

Description

网页资源的获取方法、装置及终端
技术领域
本申请实施例涉及互联网技术领域,特别涉及一种网页资源的获取方法、装置及终端。
背景技术
随着网络技术的发展,上网浏览网页已经成为人们生活中必不可少的一部分。
在相关技术中,用户在终端上浏览网页时,例如用户在手机的应用程序中浏览新闻,用户选取一个网页,则终端显示该网页。而在显示网页前,终端需要先获取该网页的网页资源,才能显示该网页。因此,终端在用户选取一个网页后,根据该网页的统一资源定位符(Uniform Resource Locator,URL)下载该网页的网页资源,而终端根据该URL下载网页资源需要一定的耗时。其中,URL又称为网页地址。
上述相关技术提供的获取网页资源的方式,终端需要在用户选取网页后,再根据该网页的网页地址去下载网页资源,导致终端在用户选取网页后需要一段时间下载网页资源,从而使得显示网页前的等待时间较长,导致显示网页的效率较低。
发明内容
本申请实施例提供了一种网页资源的获取方法、装置及终端,可用于解决终端在用户选取网页后才下载网页资源,导致显示网页前的等待时间较长,显示网页的效率较低的问题。所述技术方案如下:
第一方面,提供了一种网页资源的获取方法,所述方法包括:
获取至少一个历史网页地址,所述历史网页地址是指在历史周期内访问过的网页地址;
从所述历史网页地址中选取常用网页地址,所述常用网页地址是指在所述历史周期内访问频率大于预设频率的历史网页地址;
下载所述常用网页地址对应的网页资源;
根据所述常用网页地址对应的网页资源,爬取至少一个目标网页地址对应的网页资源;
存储预加载网页地址对应的网页资源,所述预加载网页地址包括所述常用网页地址和所述目标网页地址。
第二方面,提供了一种网页资源的获取装置,所述装置包括:
地址获取模块,用于获取至少一个历史网页地址,所述历史网页地址是指在历史周期内访问过的网页地址;
地址选取模块,用于从所述历史网页地址中选取常用网页地址,所述常用网页地址是指在所述历史周期内访问频率大于预设频率的历史网页地址;
资源获取模块,用于下载所述常用网页地址对应的网页资源;
所述资源获取模块,还用于根据所述常用网页地址对应的网页资源,爬取至少一个目标网页地址对应的网页资源;
资源存储模块,用于存储预加载网页地址对应的网页资源,所述预加载网页地址包括所述常用网页地址和所述目标网页地址。
第三方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器存储有至少一条指令,所述指令由所述处理器加载并执行以实现如上述第一方面所述的网页资源的获取方法。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如上述第一方面所述的网页资源的获取方法。
第五方面,提供了一种计算机程序产品,当该计算机程序产品被执行时,其用于实现如上述第一方面所述的网页资源的获取方法。
本申请实施例提供的技术方案可以带来如下有益效果:
通过将常用网页地址对应的网页资源和从常用网页地址对应的网页资源中爬取的目标网页地址对应的网页资源预先下载存储,以使得后续接收到网页访问请求时,能够从上述预先存储的网页资源中获取所请求的网页资源,不必从网络中请求下载网页资源,减少了获取网页资源的耗时,提高了显示网页的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种网页资源的获取方法的流程图;
图2是根据一示例性实施例示出的一种网页爬取的示意图;
图3是根据另一示例性实施例示出的一种网页资源的获取方法的流程图;
图4是根据一示例性实施例示出的一种网页资源的获取装置的框图;
图5是根据一示例性实施例示出的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例提供的方法,各步骤的执行主体可以是终端。可选地,各步骤的执行主体可以是终端中运行的应用程序。该应用程序是指能够显示网页的应用程序,例如浏览器、新闻应用程序、即时通信软件、社交应用软件和视频播放软件等等。上述终端可以是手机、平板电脑、电子书阅读器、多媒体播放设备、膝上型便携计算机等电子设备。
图1是根据一示例性实施例示出的一种网页资源的获取方法的流程图。该方法可以包括如下几个步骤:
步骤101,获取至少一个历史网页地址。
终端获取至少一个历史网页地址,该历史网页地址是指该终端在历史周期内访问过的网页地址。
可选地,本步骤包括如下几个子步骤:
1、获取历史访问数据,历史访问数据包括至少一条访问记录;
每一条访问记录包括一次网页访问操作对应的网页地址;可选地,每一条访问记录还包括一次网页访问操作对应的时间戳、应用程序、网络类型中的至少一种。
时间戳表示该次访问记录所记录的访问发生的具体时间。例如,在用户浏览网页的记录中,一历史网页地址在历史周期中有2次访问记录,2次访问记录的时间戳表示的时间分别是2017/6/16 13:24:25和2017/6/17 8:29:30。用户分别在2017/6/16 13:24:25和2017/6/17 8:29:30访问了该历史网页地址。
应用程序表示进行该次访问记录所记录的访问的应用程序。
网络类型表示进行该次访问记录所记录的访问时,终端所使用的网络类型,例如,无线局域网(Wireless Local Area Networks,WLAN)、***移动通信技术(The 4thGeneration Mobile Communication,4G)和局域网(Local Area Network,LAN)等等。
示例性地,终端获取的历史访问数据如下表-1所示:
网络类型 应用程序 网页地址 时间戳
4G XX浏览器 www.baid.com 2017/6/16 13:24:25
WLAN XX新闻 www.XXnews.com 2017/6/17 8:29:30
表-1
如表-1所示,用户在2017/6/16 13:24:25使用了XX浏览器通过4G网络访问了网页地址为www.baid.com的网页。
2、获取历史周期内的访问记录。
终端从历史访问数据中获取历史周期内的访问记录。其中,历史周期可以根据实际经验设定,例如设定为历史周期为7天,则终端从历史访问数据中获取7天内访问记录。
3、根据历史周期内的访问记录,确定至少一个历史网页地址。
终端将获取历史周期内的访问记录中的网页地址确定为历史网页地址,每一个历史网页地址在历史周期内可以有多次访问记录。
步骤102,从历史网页地址中选取常用网页地址。
在获取历史网页地址之后,终端根据历史网页地址在历史周期内的访问频率选取常用网页地址。一个历史网页地址的访问频率用于表示终端使用该历史网页地址访问相应网页的频繁程度。终端选取在历史周期内的访问频率大于预设频率的历史网页地址作为常用网页地址。其中,预设频率可以根据实际经验设定。例如,设定平均每天10次为预设频率,则选取的常用网页地址为访问频率大于平均每天10次的历史网页地址。通过上述方式,终端在历史网页地址中选出用户经常访问的网页地址。可选地,历史网页地址的访问频率可以是平均每天的访问次数,平均每小时的访问次数,在历史周期内的访问总次数,平均每次访问的时间间隔和每天最少访问次数中的任意一种,本发明实施例对此不作限定。
步骤103,下载常用网页地址对应的网页资源。
终端在选取常用网页地址后,根据常用网页地址下载对应的网页资源。网页地址包括了网页资源的资源类型、存放资源的主机域名和资源文件名,终端根据网页地址能够确定对应的网页资源在网络中的位置,从而下载该网页资源。可选地,上述网页地址可以是URL。下载的网页资源包括视频、音频、图片和其它网页的网页地址等等。终端根据网页资源即可显示该网页资源对应的网页。
步骤104,根据常用网页地址对应的网页资源,爬取至少一个目标网页地址对应的网页资源。
终端根据已下载的网页资源中包括的网页地址下载该网页地址对应的网页资源,又根据新下载的网页资源中包括的网页地址再下载新下载的网页资源中包括的网页地址对应的网页资源,如此反复,直至已下载的网页资源符合预设条件时停止下载,例如已下载的网页资源的数据量达到了存储容量的上限。上述下载网页资源的过程称为网页爬取。通过上述网页爬取,终端在下载常用网页地址对应的网页资源后,爬取至少一个目标网页地址对应的网页资源。示例性地,常用网页地址A对应的网页资源中包括网页地址B,网页地址B对应的网页资源中包括网页地址C,网页地址C对应的网页资源中包括网页地址D,则网页地址B、网页地址C和网页地址D为根据常用网页地址A爬取到的目标网页地址。
可选地,终端在爬取至少一个目标网页地址对应的网页资源的过程中,先提取常用网页地址对应的网页资源中包含的网页地址,将该网页地址作为第1轮提取的目标网页地址。终端下载第1轮提取的目标网页地址对应的网页资源,提取该网页资源中包含的网页地址,将该网页地址作为第2轮提取的目标网页地址。终端再下载第2轮提取的目标网页地址对应的网页资源。接下来终端再根据第2轮提取的目标网页地址对应的网页资源,进行第3轮目标网页地址的提取,以此类推,直至已存储的网页资源的数据量大于预设数据量时停止下载。此时,每一轮提取的目标网页地址对应的网页资源即终端爬取的至少一个目标网页地址对应的网页资源。示例性地,如图2所示,网页地址A为常用网页地址,终端先下载网页地址A对应的网页资源,网页地址A对应的网页资源中包含网页地址B和网页地址C。网页地址B和网页地址C为第1轮提取的目标网页地址。终端再下载网页地址B对应的网页资源和网页地址C对应的网页资源,网页地址B对应的网页资源中包含网页地址D和网页地址E,网页地址C对应的网页资源中包含网页地址F和网页地址G。网页地址D、网页地址E、网页地址F和网页地址G为第2轮提取的目标网页地址。终端再下载网页地址D、网页地址E、网页地址F和网页地址G分别对应的网页资源。以此类推,直至已存储的网页资源的数据量大于预设数据量,终端停止网页爬取。最终,终端爬取的目标网页地址对应的网页资源为网页地址B、网页地址C网页地址D、网页地址E、网页地址F和网页地址G分别对应的网页资源。
需要说明的是,终端可以在下载完一轮目标网页地址对应的网页资源后停止网页爬取,也可以在下载一轮目标网页地址对应的网页资源过程中停止网页爬取。
另外,上述停止下载的条件“已存储的网页资源的数据量大于预设数据量时”仅是示例性的,在其它可能的实施方式中,停止下载的条件还可以是已下载的目标网页地址的数量大于预设数量、爬取的轮数大于预设轮数、终端下载完一轮目标网页地址对应的网页资源,且终端剩余的存储容量小于预设容量等,本发明实施例对此不作限定。
步骤105,存储预加载网页地址对应的网页资源。
预加载网页地址包括常用网页地址和目标网页地址。终端将下载的常用网页地址对应的网页资源和爬取过程中下载的目标网页地址对应的网页资源进行存储,将其存储至终端的非易失性存储器中,作为预加载网页地址对应的网页资源。例如,将目标网页地址对应的网页资源存储至硬盘中。终端在存储预加载网页地址对应的网页资源的同时,并记录预加载网页地址。此外,终端还记录的预加载网页地址与存储的网页资源的对应关系。
可选地,上述步骤105之后还包括如下步骤(图1中未示出):
步骤106,获取携带有请求网页地址的网页访问请求。
用户请求显示一个网页时,终端获取到一网页访问请求。该网页访问请求中携带的请求网页地址即用户所打开的网页的网页地址。示例性地,用户使用浏览器浏览网页,在地址输入栏中输入一网页地址,网页访问请求中携带的请求网页地址即用户输入的网页地址。
步骤107,检测预加载网页地址中是否包含请求网页地址。
终端根据记录的预加载网页地址,检测其中是否包含请求网页地址。
步骤108,若预加载网页地址中包含请求网页地址,则根据已存储的请求网页地址对应的网页资源,显示请求网页地址对应的网页。
若终端检测到预加载网页地址中包含请求网页地址,则表示终端已经下载并存储该请求网页地址对应的网页资源。终端直接根据已存储在非易失性存储器中的请求网页地址对应的网页资源,显示请求网页地址的网页,无需再次下载请求网页地址对应的网页资源。
步骤109,若预加载网页地址中不包含请求网页地址,则下载请求网页地址对应的网页资源,以及显示请求网页地址对应的网页。
综上所述,本申请实施例提供的方法,通过将常用网页地址对应的网页资源和从常用网页地址对应的网页资源中爬取的目标网页地址对应的网页资源预先下载存储,以使得后续接收到网页访问请求时,能够从上述预先存储的网页资源中获取所请求的网页资源,不必从网络中请求下载网页资源,减少了获取网页资源的耗时,提高了显示网页的效率。
另外,还通过从常用网页地址对应的网页资源中爬取的目标网页地址对应的网页资源,能够丰富预先存储的网页资源的内容,且符合用户实际浏览网页时的操作习惯,以尽可能地将用户最有可能浏览的网页的网页资源先下载下来,确保预先存储的网页资源的利用率和有效性。
图3是根据另一示例性实施例示出的一种网页资源的获取方法的流程图。该方法可以包括如下几个步骤:
步骤301,获取至少一个历史网页地址。
上述步骤301与图1提供的实施例中步骤101相同,详细介绍请参照图1实施例,本实施例对此不再进行赘述。
步骤302,对于每一个历史网页地址,获取历史网页地址在历史周期内的第一次访问时间戳和最后一次访问时间戳。
终端获取的历史网页地址在历史周期内的第一次访问时间戳,表示用户在历史周期内第一次访问该历史网页地址的时间。终端获取的历史网页地址在历史周期内的最后一次访问时间戳,表示用户在历史周期内最后一次访问该历史网页地址的时间。
步骤303,计算第一次访问时间戳和最后一次访问时间戳之间的间隔时长。
终端根据第一次访问时间戳表示的时间和最后一次访问时间戳表示的时间,计算用户在历史周期中第一次访问上述历史网页地址和最后一次访问上述历史网页地址的间隔时长。例如,第一次访问时间戳表示的时间和最后一次访问时间戳表示的时间分别是2017/6/16 13:24:25和2017/6/17 13:24:25,则计算得到的间隔时长为1天。
步骤304,根据历史网页地址在历史周期内的访问总次数和间隔时长,计算历史网页地址的访问频率。
终端在计算出间隔时长后,用历史网页地址在历史周期内的访问总次数除以间隔时长,即可计算出访问频率。示例性地,一历史网页地址在历史周期内的访问总次数和间隔时长分别为10次和2天,则该历史网页地址的访问频率为每天5次。
步骤305,若历史网页地址的访问频率大于预设频率,则选取该历史网页地址作为常用网页地址。
终端选取在历史周期内的访问频率大于预设频率的历史网页地址作为常用网页地址。示例性地,终端获取两个历史网页地址:历史网页地址A和历史网页地址B。历史网页地址A的访问频率为每天5次,历史网页地址B的访问频率为每天3次,而预设频率为每天4次,则终端选取历史网页地址A为常用网页地址。
可选地,在上述步骤302之前,终端还可以先检测历史网页地址在历史周期内的访问总次数是否大于预设次数;若历史网页地址在历史周期内的访问总次数大于预设次数,则执行步骤302;若历史网页地址在历史周期内的访问总次数不大于预设次数,则不执行步骤302,且不选取该历史网页地址作为常用网页地址。由于访问频率是由访问总次数除以间隔时长得到,若一历史网页地址的间隔时长过短,即使访问总次数较少,计算得到的访问频率也会较高。但该历史网页地址在历史周期内的访问总次数较少,并不是用户经常访问的网页地址。终端若选取该历史网页地址为常用网页地址就意味着选取的常用网页地址出现了误差。通过上述先检测访问总次数是否大于预设次数的方式,能够避免出现上述误差,保证选取的常用网页地址的准确性。
步骤306,下载常用网页地址对应的网页资源。
步骤307,根据常用网页地址对应的网页资源,爬取至少一个目标网页地址对应的网页资源。
步骤308,存储预加载网页地址对应的网页资源。
上述步骤306至步骤308与图1提供的实施例中步骤103至步骤105相同,详细介绍请参照图1实施例。本实施例对此不再进行赘述。
可选地,对于每一个预加载网页地址,终端获取预加载网页地址对应的历史访问速度。预加载网页地址对应的历史访问速度用于指示下载预加载网页地址对应的网页资源的快慢程度。若预加载网页地址对应的历史访问速度小于预设速度,表明下载预加载网页地址对应的网页资源的速度较慢,导致显示网页前的等待时间过长,则终端存储预加载网页地址对应的网页资源;若预加载网页地址对应的历史访问速度大于预设速度,表明下载预加载网页地址对应的网页资源的速度较块,不会导致显示网页前的等待时间过长,则终端不存储预加载网页地址对应的网页资源。通过上述方式,能够有选择性地存储下载较慢的网页地址对应的网页资源。对于下载较快的网页地址对应的网页资源,则终端不进行存储,节省了存储空间。可选地,终端只针对常用网页地址使用上述方式。终端存有常用网页地址的访问记录,该访问记录包括常用网页地址对应的历史访问速度,从而终端能够直接获取常用网页地址对应的历史访问速度。
可选地,在存储预加载网页地址对应的网页资源之后,终端启动重启计时器。当重启计时器计时达到预设时长后。终端删除已存储的预加载网页地址对应的网页资源,再次从步骤301开始执行。其中,预设时长可以根据实际经验或用户需求设定。通过上述方式,终端能够周期性根据用户最新的历史网页地址确定预加载网页地址,并下载、存储预加载网页地址对应的网页资源,保证预加载网页地址对应的网页资源的时效性。
综上所述,本申请实施例提供的方法,通过将常用网页地址对应的网页资源和从常用网页地址对应的网页资源中爬取的目标网页地址对应的网页资源预先下载存储,以使得后续接收到网页访问请求时,能够从上述预先存储的网页资源中获取所请求的网页资源,不必从网络中请求下载网页资源,减少了获取网页资源的耗时,提高了显示网页的效率。
另外,还通过第一次访问时间戳和最后一次访问时间戳之间的间隔时长确定访问频率,从而确定常用网页地址,尽可能的确保选取的常用网页地址是用户经常访问的地址,进一步地确保预先存储的网页资源的利用率和有效性。
上文实施例介绍了预先下载和存储预加载网页地址对应的网页资源的过程。可选地,对于每一个预加载网页地址,终端对其对应的网页资源进行周期性地更新。本申请实施例提供的网页资源的获取方法还可以包括如下步骤:
1、对于每一个预加载网页地址,获取预加载网页地址对应的资源更新时长。
网页的内容可能随时间发生变化,当网页的内容发生变化时,网页资源也会发生变化。终端为了确保能够显示网页最新的内容,需要对已存储的网页资源进行更新。终端对于每一个预加载网页地址,在存储其对应的网页资源后,都会获取预加载网页地址对应的资源更新时长。在进行存储后,终端根据资源更新时长对预加载网页地址对应的网页资源进行更新。
可选地,终端通过如下方式获取预加载网页地址对应的资源更新时长:
步骤a,当预加载网页地址对应的网页资源的已存储时长达到预加载网页地址对应的第i次资源更新时长时,重新下载预加载网页地址对应的网页资源,其中,i的初始值为1,第1次资源更新时长为预先设定的值。
网页资源的已存储时长是指终端上一次下载该网页资源的时刻,到当前时刻的时间间隔。在终端第i次下载预加载网页地址对应的网页资源之后,经过第i次资源更新时长,终端重新下载预加载网页地址对应的网页资源。示例性地,第1次资源更新时长为预先设定为10分钟,则在第1次下载预加载网页地址对应的网页资源之后,经过10分钟,终端重新下载预加载网页地址对应的网页资源。
步骤b,检测重新下载的预加载网页地址对应的网页资源相对于已存储的预加载网页地址对应的网页资源是否发生变化。
步骤c,若未发生变化,则确定预加载网页地址对应的第i+1次资源更新时长,第i+1次资源更新时长大于第i次资源更新时长。
终端在确定第i+1次资源更新时长后,令i=i+1,并再次从步骤a开始执行。直至重新下载的预加载网页地址对应的网页资源相对于已存储的预加载网页地址对应的网页资源发生变化时,将第1次至第i-1次资源更新时长相加,得到预加载网页地址对应的资源更新时长。
可选地,第i次的资源更新时长为Ti,则终端确定第i+1次的资源更新时长Ti+1=a×Ti,a为大于1的常数,例如a=2。
示例性地,终端第1次下载预加载网页地址对应的网页资源,预先设定的第1次资源更新时长为10分钟。10分钟后,终端重新下载预加载网页地址对应的网页资源。重新下载的预加载网页地址对应的网页资源相对于已存储的预加载网页地址对应的网页资源未发生变化,则终端确定第2次资源更新时长为20分钟。20分钟后,终端重新下载预加载网页地址对应的网页资源。重新下载的预加载网页地址对应的网页资源相对于已存储的预加载网页地址对应的网页资源未发生变化,则终端确定第3次资源更新时长为40分钟。40分钟后,终端重新下载预加载网页地址对应的网页资源。重新下载的预加载网页地址对应的网页资源相对于已存储的预加载网页地址对应的网页资源发生变化,此时i的值为3。终端将第1次资源更新时长和第2次资源更新时长相加,得到预加载网页地址对应的资源更新时长为30分钟。
步骤d、若已发生变化,则确定预加载网页地址对应的第i+1次资源更新时长,第i+1次资源更新时长小于第i次资源更新时长。
终端在确定第i+1次资源更新时长后,令i=i+1,并再次从步骤a开始执行。直至重新下载的预加载网页地址对应的网页资源相对于已存储的预加载网页地址对应的网页资源未发生变化时,将第i次资源更新时长确定为预加载网页地址对应的资源更新时长。
可选地,第i次的资源更新时长为Ti,则终端确定第i+1次的资源更新时长Ti+1=b×Ti,b为下于1且大于0的常数,例如a=0.5。
示例性地,终端第1次下载预加载网页地址对应的网页资源,预先设定的第1次资源更新时长为10分钟。10分钟后,终端重新下载预加载网页地址对应的网页资源。重新下载的预加载网页地址对应的网页资源相对于已存储的预加载网页地址对应的网页资源发生变化,则终端确定第2次资源更新时长为5分钟。5分钟后,终端重新下载预加载网页地址对应的网页资源。重新下载的预加载网页地址对应的网页资源相对于已存储的预加载网页地址对应的网页资源发生变化,则终端确定第3次资源更新时长为2.5分钟。2.5分钟后,终端重新下载预加载网页地址对应的网页资源。重新下载的预加载网页地址对应的网页资源相对于已存储的预加载网页地址对应的网页资源未发生变化,此时i的值为3。终端将第3次资源更新时长作为预加载网页地址对应的资源更新时长:2.5分钟。
通过上述方式,终端能够为每一个预加载网页地址单独确定资源更新时长,确保资源更新时长的准确性,既能保证预加载网页地址对应的网页资源及时得到更新,又能节省更新网页资源的处理开销。
2、当预加载网页地址对应的网页资源的已存储时长达到预加载网页地址对应的资源更新时长时,重新下载预加载网页地址对应的网页资源。
3、采用重新下载的预加载网页地址对应的网页资源,对已存储的预加载网页地址对应的网页资源进行更新。
在确定预加载网页地址对应的资源更新时长后,终端按照资源更新时长对已存储的预加载网页地址对应的网页资源进行更新。对于发生变化的网页资源,终端删除上一次下载的网页资源,存储重新下载的网页资源。对于未发生变化的网页资源,终端可以有删除上一次下载的网页资源,存储重新下载的网页资源,也可以仍存储上一次下载的网页资源。
通过上述方式,能够根据每一个预加载网页地址的资源更新时长更新对应的网页资源,尽可能地让存储的预加载网页地址对应的网页资源为最新的网页资源,确保网页资源的时效性。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图4是根据一示例性实施例示出的一种网页资源的获取装置的框图。该装置具有实现上述方法示例的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。该装置可以包括:地址获取模块401,地址选取模块402,资源获取模块403和资源存储模块404。
地址获取模块401,用于获取至少一个历史网页地址,所述历史网页地址是指在历史周期内访问过的网页地址。
地址选取模块402,用于从所述历史网页地址中选取常用网页地址,所述常用网页地址是指在所述历史周期内访问频率大于预设频率的历史网页地址。
资源获取模块403,用于下载所述常用网页地址对应的网页资源。
所述资源获取模块403,还用于根据所述常用网页地址对应的网页资源,爬取至少一个目标网页地址对应的网页资源。
资源存储模块404,用于存储预加载网页地址对应的网页资源,所述预加载网页地址包括所述常用网页地址和所述目标网页地址。
综上所述,本申请实施例提供的装置,通过将常用网页地址对应的网页资源和从常用网页地址对应的网页资源中爬取的目标网页地址对应的网页资源预先下载存储,以使得后续接收到网页访问请求时,能够从上述预先存储的网页资源中获取所请求的网页资源,不必从网络中请求下载网页资源,减少了获取网页资源的耗时,提高了显示网页的效率。
在基于图4实施例提供的一个可选实施例中,资源获取模块403,用于:提取所述常用网页地址对应的网页资源中包含的目标网页地址;下载第1轮提取的目标网页地址对应的网页资源;提取所述第1轮提取的目标网页地址对应的网页资源中包含的目标网页地址;下载第2轮提取的目标网页地址对应的网页资源,以此类推,直至已存储的网页资源的数据量大于预设数据量时停止下载。
在基于图4实施例提供的一个可选实施例中,地址选取模块402,用于:对于每一个历史网页地址,获取所述历史网页地址在所述历史周期内的第一次访问时间戳和最后一次访问时间戳;计算所述第一次访问时间戳和所述最后一次访问时间戳之间的间隔时长;根据所述历史网页地址在所述历史周期内的访问总次数和所述间隔时长,计算所述历史网页地址的访问频率;当所述历史网页地址的访问频率大于所述预设频率时,选取所述历史网页地址作为所述常用网页地址。
在本申请的一些实施例中,地址选取模块402,还用于:检测所述历史网页地址在所述历史周期内的访问总次数是否大于预设次数;当所述历史网页地址在所述历史周期内的访问总次数大于所述预设次数时,从所述获取所述历史网页地址在所述历史周期内的第一次访问时间戳和最后一次访问时间戳的步骤开始执行。
在基于图4实施例提供的一个可选实施例中,所述装置还包括:时长获取模块。
时长获取模块,用于对于每一个预加载网页地址,获取所述预加载网页地址对应的资源更新时长。
资源获取模块403,还用于当所述预加载网页地址对应的网页资源的已存储时长达到所述预加载网页地址对应的资源更新时长时,重新下载所述预加载网页地址对应的网页资源。
资源存储模块404,还用于采用重新下载的所述预加载网页地址对应的网页资源,对已存储的所述预加载网页地址对应的网页资源进行更新。
在本申请的一些实施例中,所述时长获取模块,用于:当所述预加载网页地址对应的网页资源的已存储时长达到所述预加载网页地址对应的第i次资源更新时长时,重新下载所述预加载网页地址对应的网页资源,其中,所述i的初始值为1,第1次资源更新时长为预先设定的值;
检测重新下载的所述预加载网页地址对应的网页资源相对于已存储的所述预加载网页地址对应的网页资源是否发生变化;
若未发生变化,则确定所述预加载网页地址对应的第i+1次资源更新时长,所述第i+1次资源更新时长大于所述第i次资源更新时长;令i=i+1,并再次从所述当所述预加载网页地址对应的网页资源的已存储时长达到所述预加载网页地址对应的第i次资源更新时长时,重新下载所述预加载网页地址对应的网页资源的步骤开始执行,直至重新下载的所述预加载网页地址对应的网页资源相对于已存储的所述预加载网页地址对应的网页资源发生变化时,将第1次至第i-1次资源更新时长相加,得到所述预加载网页地址对应的资源更新时长;
若已发生变化,则确定所述预加载网页地址对应的第i+1次资源更新时长,所述第i+1次资源更新时长小于所述第i次资源更新时长;令i=i+1,再次从所述当所述预加载网页地址对应的网页资源的已存储时长达到所述预加载网页地址对应的第i次资源更新时长时,重新下载所述预加载网页地址对应的网页资源的步骤开始执行,直至重新下载的所述预加载网页地址对应的网页资源相对于已存储的所述预加载网页地址对应的网页资源未发生变化时,将第i次资源更新时长确定为所述预加载网页地址对应的资源更新时长。
在基于图4实施例提供的另一个可选实施例中,资源存储模块404,还用于:对于每一个预加载网页地址,获取所述预加载网页地址对应的历史访问速度,所述预加载网页地址对应的历史访问速度用于指示下载所述预加载网页地址对应的网页资源的快慢;若所述预加载网页地址对应的历史访问速度小于预设速度,则存储所述预加载网页地址对应的网页资源;若所述预加载网页地址对应的历史访问速度大于所述预设速度,则不存储所述预加载网页地址对应的网页资源。
在基于图4实施例提供的另一个可选实施例中,所述装置还包括:网页显示模块。
网页显示模块,用于:获取携带有请求网页地址的网页访问请求;检测所述预加载网页地址中是否包含所述请求网页地址;若所述预加载网页地址中包含所述请求网页地址,则根据已存储的所述请求网页地址对应的网页资源,显示所述请求网页地址对应的网页。
需要说明的是,上述实施例提供的装置在实现其功能时,仅以上述各个功能模块的划分进行举例说明,实际应用中,可以根据实际需要而将上述功能分配由不同的功能模块完成,即将设备的内容结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图5示出了本发明一个示例性实施例提供的终端500的结构框图。该终端500可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端500包括有:处理器501和存储器502。
处理器501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器501可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器501还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的网页资源的获取方法。
在一些实施例中,终端500还可选包括有:***设备接口503和至少一个***设备。处理器501、存储器502和***设备接口503之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口503相连。具体地,***设备包括:射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
***设备接口503可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器501和存储器502。在一些实施例中,处理器501、存储器502和***设备接口503被集成在同一芯片或电路板上;在一些其他实施例中,处理器501、存储器502和***设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路504包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路504还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏505用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时,显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时,显示屏505还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏505可以为一个,设置终端500的前面板;在另一些实施例中,显示屏505可以为至少两个,分别设置在终端500的不同表面或呈折叠设计;在再一些实施例中,显示屏505可以是柔性显示屏,设置在终端500的弯曲表面上或折叠面上。甚至,显示屏505还可以设置成非矩形的不规则图形,也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地,摄像头组件506包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器501进行处理,或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路507还可以包括耳机插孔。
定位组件508用于定位终端500的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于:加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号,控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测终端500的机体方向及转动角度,陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时,可以检测用户对终端500的握持信号,由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时,由处理器501根据用户对触摸显示屏505的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹,由处理器501根据指纹传感器514采集到的指纹识别用户的身份,或者,由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器501授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时,指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中,处理器501可以根据光学传感器515采集的环境光强度,控制触摸显示屏505的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏505的显示亮度;当环境光强度较低时,调低触摸显示屏505的显示亮度。在另一个实施例中,处理器501还可以根据光学传感器515采集的环境光强度,动态调整摄像头组件506的拍摄参数。
接近传感器516,也称距离传感器,通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中,当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时,由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态;当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时,由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图5中示出的结构并不构成对终端500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令在被终端的处理器执行时以实现上述实施例提供的网页资源的获取方法。可选地,上述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,当该计算机程序产品被执行时,其用于实现上述实施例中提供的网页资源的获取方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (11)

1.一种网页资源的获取方法,其特征在于,所述方法包括:
获取至少一个历史网页地址,所述历史网页地址是指在历史周期内访问过的网页地址;
从所述历史网页地址中选取常用网页地址,所述常用网页地址是指在所述历史周期内访问频率大于预设频率的历史网页地址;
下载所述常用网页地址对应的网页资源;
根据所述常用网页地址对应的网页资源,爬取至少一个目标网页地址对应的网页资源;
存储预加载网页地址对应的网页资源,所述预加载网页地址包括所述常用网页地址和所述目标网页地址。
2.根据权利要求1所述的方法,其特征在于,所述根据所述常用网页地址对应的网页资源,爬取至少一个目标网页地址对应的网页资源,包括:
提取所述常用网页地址对应的网页资源中包含的目标网页地址;
下载第1轮提取的目标网页地址对应的网页资源;
提取所述第1轮提取的目标网页地址对应的网页资源中包含的目标网页地址;
下载第2轮提取的目标网页地址对应的网页资源,以此类推,直至已存储的网页资源的数据量大于预设数据量时停止下载。
3.根据权利要求1所述的方法,其特征在于,所述从所述历史网页地址中选取常用网页地址,包括:
对于每一个历史网页地址,获取所述历史网页地址在所述历史周期内的第一次访问时间戳和最后一次访问时间戳;
计算所述第一次访问时间戳和所述最后一次访问时间戳之间的间隔时长;
根据所述历史网页地址在所述历史周期内的访问总次数和所述间隔时长,计算所述历史网页地址的访问频率;
若所述历史网页地址的访问频率大于所述预设频率,则选取所述历史网页地址作为所述常用网页地址。
4.根据权利要求3所述的方法,其特征在于,所述获取所述历史网页地址在所述历史周期内的第一次访问时间戳和最后一次访问时间戳之前,还包括:
检测所述历史网页地址在所述历史周期内的访问总次数是否大于预设次数;
若所述历史网页地址在所述历史周期内的访问总次数大于所述预设次数,则从所述获取所述历史网页地址在所述历史周期内的第一次访问时间戳和最后一次访问时间戳的步骤开始执行。
5.根据权利要求1所述的方法,其特征在于,所述存储预加载网页地址对应的网页资源之后,还包括:
对于每一个预加载网页地址,获取所述预加载网页地址对应的资源更新时长;
当所述预加载网页地址对应的网页资源的已存储时长达到所述预加载网页地址对应的资源更新时长时,重新下载所述预加载网页地址对应的网页资源;
采用重新下载的所述预加载网页地址对应的网页资源,对已存储的所述预加载网页地址对应的网页资源进行更新。
6.根据权利要求5所述的方法,其特征在于,所述获取所述预加载网页地址对应的资源更新时长,包括:
当所述预加载网页地址对应的网页资源的已存储时长达到所述预加载网页地址对应的第i次资源更新时长时,重新下载所述预加载网页地址对应的网页资源,其中,所述i的初始值为1,第1次资源更新时长为预先设定的值;
检测重新下载的所述预加载网页地址对应的网页资源相对于已存储的所述预加载网页地址对应的网页资源是否发生变化;
若未发生变化,则确定所述预加载网页地址对应的第i+1次资源更新时长,所述第i+1次资源更新时长大于所述第i次资源更新时长;令i=i+1,并再次从所述当所述预加载网页地址对应的网页资源的已存储时长达到所述预加载网页地址对应的第i次资源更新时长时,重新下载所述预加载网页地址对应的网页资源的步骤开始执行,直至重新下载的所述预加载网页地址对应的网页资源相对于已存储的所述预加载网页地址对应的网页资源发生变化时,将第1次至第i-1次资源更新时长相加,得到所述预加载网页地址对应的资源更新时长;
若已发生变化,则确定所述预加载网页地址对应的第i+1次资源更新时长,所述第i+1次资源更新时长小于所述第i次资源更新时长;令i=i+1,再次从所述当所述预加载网页地址对应的网页资源的已存储时长达到所述预加载网页地址对应的第i次资源更新时长时,重新下载所述预加载网页地址对应的网页资源的步骤开始执行,直至重新下载的所述预加载网页地址对应的网页资源相对于已存储的所述预加载网页地址对应的网页资源未发生变化时,将第i次资源更新时长确定为所述预加载网页地址对应的资源更新时长。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述方法还包括:
对于每一个预加载网页地址,获取所述预加载网页地址对应的历史访问速度,所述预加载网页地址对应的历史访问速度用于指示下载所述预加载网页地址对应的网页资源的快慢;
若所述预加载网页地址对应的历史访问速度小于预设速度,则存储所述预加载网页地址对应的网页资源;
若所述预加载网页地址对应的历史访问速度大于所述预设速度,则不存储所述预加载网页地址对应的网页资源。
8.根据权利要求1至6任一项所述的方法,其特征在于,所述存储预加载网页地址对应的网页资源之后,还包括:
获取携带有请求网页地址的网页访问请求;
检测所述预加载网页地址中是否包含所述请求网页地址;
若所述预加载网页地址中包含所述请求网页地址,则根据已存储的所述请求网页地址对应的网页资源,显示所述请求网页地址对应的网页。
9.一种网页资源的获取装置,其特征在于,所述装置包括:
地址获取模块,用于获取至少一个历史网页地址,所述历史网页地址是指在历史周期内访问过的网页地址;
地址选取模块,用于从所述历史网页地址中选取常用网页地址,所述常用网页地址是指在所述历史周期内访问频率大于预设频率的历史网页地址;
资源获取模块,用于下载所述常用网页地址对应的网页资源;
所述资源获取模块,还用于根据所述常用网页地址对应的网页资源,爬取至少一个目标网页地址对应的网页资源;
资源存储模块,用于存储预加载网页地址对应的网页资源,所述预加载网页地址包括所述常用网页地址和所述目标网页地址。
10.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至8任一项所述的网页资源的获取方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至8任一项所述的网页资源的获取方法。
CN201711270485.6A 2017-12-05 2017-12-05 网页资源的获取方法、装置及终端 Active CN109948087B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711270485.6A CN109948087B (zh) 2017-12-05 2017-12-05 网页资源的获取方法、装置及终端
PCT/CN2018/116224 WO2019109797A1 (zh) 2017-12-05 2018-11-19 网页资源的获取方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711270485.6A CN109948087B (zh) 2017-12-05 2017-12-05 网页资源的获取方法、装置及终端

Publications (2)

Publication Number Publication Date
CN109948087A true CN109948087A (zh) 2019-06-28
CN109948087B CN109948087B (zh) 2021-11-16

Family

ID=66750775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711270485.6A Active CN109948087B (zh) 2017-12-05 2017-12-05 网页资源的获取方法、装置及终端

Country Status (2)

Country Link
CN (1) CN109948087B (zh)
WO (1) WO2019109797A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968815A (zh) * 2019-12-04 2020-04-07 北京达佳互联信息技术有限公司 页面刷新方法、装置、终端及存储介质
CN114896542A (zh) * 2022-05-31 2022-08-12 北京字节跳动网络技术有限公司 页面资源预取方法、装置、介质及电子设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112889236A (zh) 2018-07-31 2021-06-01 瑞典爱立信有限公司 用于供应多载波开关键控信号的方法、发射机、结构、收发机和接入点
CN112148395A (zh) * 2019-06-26 2020-12-29 杭州萤石软件有限公司 页面显示方法、装置、设备及存储介质
CN110458360B (zh) * 2019-08-13 2023-07-18 腾讯科技(深圳)有限公司 热门资源的预测方法、装置、设备及存储介质
CN111030936B (zh) * 2019-11-18 2023-04-07 腾讯云计算(北京)有限责任公司 网络访问的限流控制方法、装置及计算机可读存储介质
CN115329179B (zh) * 2022-10-14 2023-04-28 卡奥斯工业智能研究院(青岛)有限公司 数据采集资源量控制方法、装置、设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329674A (zh) * 2007-06-18 2008-12-24 北京搜狗科技发展有限公司 一种提供个性化搜索的***和方法
CN101369284A (zh) * 2008-09-28 2009-02-18 北京搜狗科技发展有限公司 一种加载网页的方法及装置
CN101882162A (zh) * 2010-06-29 2010-11-10 北京搜狗科技发展有限公司 一种网络信息推送方法及***
CN101996193A (zh) * 2009-08-21 2011-03-30 北京搜狗科技发展有限公司 一种展现网络资源链接的处理方法、***及互联网终端
CN102402518A (zh) * 2010-09-09 2012-04-04 ***通信有限公司 一种访问网页的方法及装置
CN102567521A (zh) * 2011-12-29 2012-07-11 维构(上海)文化传媒有限公司 网页数据抓取过滤方法
CN102591963A (zh) * 2011-12-30 2012-07-18 奇智软件(北京)有限公司 网页内容加载控制方法及装置
CN102737116A (zh) * 2012-05-29 2012-10-17 深圳市同洲电子股份有限公司 一种网页资源保存方法和装置
CN102752288A (zh) * 2012-06-06 2012-10-24 华为技术有限公司 网络访问行为识别方法和装置
CN103281303A (zh) * 2013-04-28 2013-09-04 乐视网信息技术(北京)股份有限公司 一种获取数据的方法和设备
US20140325680A1 (en) * 2013-03-07 2014-10-30 Tencent Technology (Shenzhen) Company Limited Method and browser for browsing web page, and storage medium
CN104753922A (zh) * 2015-03-10 2015-07-01 百度在线网络技术(北京)有限公司 用于预加载的方法、服务端、客户端及***
WO2015161658A1 (zh) * 2014-04-25 2015-10-29 广州市动景计算机科技有限公司 网页资源加载方法及装置
CN105955766A (zh) * 2016-04-22 2016-09-21 北京小米移动软件有限公司 应用预加载方法及装置
CN106294609A (zh) * 2016-07-29 2017-01-04 北京小米移动软件有限公司 页面加载方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880618A (zh) * 2011-07-15 2013-01-16 国际商业机器公司 用于网页文档搜索的方法及***
CN103544320A (zh) * 2013-11-05 2014-01-29 从兴技术有限公司 一种网页生成方法及装置
CN104794165B (zh) * 2015-03-26 2018-08-10 百度在线网络技术(北京)有限公司 一种页面展现方法、装置及***
CN105956152A (zh) * 2016-05-13 2016-09-21 北京金山安全软件有限公司 一种加载网页的方法、装置及电子设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101329674A (zh) * 2007-06-18 2008-12-24 北京搜狗科技发展有限公司 一种提供个性化搜索的***和方法
CN101369284A (zh) * 2008-09-28 2009-02-18 北京搜狗科技发展有限公司 一种加载网页的方法及装置
CN101996193A (zh) * 2009-08-21 2011-03-30 北京搜狗科技发展有限公司 一种展现网络资源链接的处理方法、***及互联网终端
CN101882162A (zh) * 2010-06-29 2010-11-10 北京搜狗科技发展有限公司 一种网络信息推送方法及***
CN102402518A (zh) * 2010-09-09 2012-04-04 ***通信有限公司 一种访问网页的方法及装置
CN102567521A (zh) * 2011-12-29 2012-07-11 维构(上海)文化传媒有限公司 网页数据抓取过滤方法
CN102591963A (zh) * 2011-12-30 2012-07-18 奇智软件(北京)有限公司 网页内容加载控制方法及装置
CN102737116A (zh) * 2012-05-29 2012-10-17 深圳市同洲电子股份有限公司 一种网页资源保存方法和装置
CN102752288A (zh) * 2012-06-06 2012-10-24 华为技术有限公司 网络访问行为识别方法和装置
US20140325680A1 (en) * 2013-03-07 2014-10-30 Tencent Technology (Shenzhen) Company Limited Method and browser for browsing web page, and storage medium
CN103281303A (zh) * 2013-04-28 2013-09-04 乐视网信息技术(北京)股份有限公司 一种获取数据的方法和设备
WO2015161658A1 (zh) * 2014-04-25 2015-10-29 广州市动景计算机科技有限公司 网页资源加载方法及装置
CN105095226A (zh) * 2014-04-25 2015-11-25 广州市动景计算机科技有限公司 网页资源加载方法及装置
CN104753922A (zh) * 2015-03-10 2015-07-01 百度在线网络技术(北京)有限公司 用于预加载的方法、服务端、客户端及***
CN105955766A (zh) * 2016-04-22 2016-09-21 北京小米移动软件有限公司 应用预加载方法及装置
CN106294609A (zh) * 2016-07-29 2017-01-04 北京小米移动软件有限公司 页面加载方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
戴支荣: "基于Lucene的面向主题信息搜索***的关键技术分析及应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968815A (zh) * 2019-12-04 2020-04-07 北京达佳互联信息技术有限公司 页面刷新方法、装置、终端及存储介质
CN114896542A (zh) * 2022-05-31 2022-08-12 北京字节跳动网络技术有限公司 页面资源预取方法、装置、介质及电子设备

Also Published As

Publication number Publication date
WO2019109797A1 (zh) 2019-06-13
CN109948087B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN109948087A (zh) 网页资源的获取方法、装置及终端
CN110110263B (zh) 网页显示方法、装置、终端及存储介质
CN108710496A (zh) 应用程序的配置更新方法、装置、设备及存储介质
CN109977333A (zh) 网页显示方法、装置、计算机设备及存储介质
CN110502308A (zh) 页面样式切换方法、装置、计算机设备及存储介质
CN107888968A (zh) 直播视频的播放方法、装置及计算机存储介质
CN109828802A (zh) 列表视图显示方法、装置及可读介质
CN110309243A (zh) 获取实景电子地图的方法、装置、设备和存储介质
CN108737897A (zh) 视频播放方法、装置、设备及存储介质
CN109168073A (zh) 直播间封面显示的方法和装置
CN109634489A (zh) 发表评论的方法、装置、设备及可读存储介质
CN110362762A (zh) 内容数据展示方法、装置、电子设备及存储介质
CN110515688A (zh) 页面显示方法、装置、终端及存储介质
CN109144346A (zh) 歌曲分享方法、装置及存储介质
CN110248236A (zh) 视频播放方法、装置、终端及存储介质
CN109814930A (zh) 一种应用加载方法、装置及移动终端
CN110276034A (zh) 内容项展示方法、装置、计算机设备及存储介质
CN110032702A (zh) 网页显示方法、装置、设备及存储介质
CN110032384A (zh) 资源更新的方法、装置、设备及存储介质
CN109218751A (zh) 推荐音频的方法、装置及***
CN110244999A (zh) 控制目标应用程序运行的方法、装置、设备及存储介质
CN109189290A (zh) 点击区域识别方法、装置和计算机可读存储介质
CN110457082A (zh) 控制应用程序签到的方法、装置及存储介质
CN110166275A (zh) 信息处理方法、装置及存储介质
CN108922533A (zh) 确定是否是真唱的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

GR01 Patent grant
GR01 Patent grant