CN109684575A - 网页数据的处理方法及装置、存储介质、计算机设备 - Google Patents
网页数据的处理方法及装置、存储介质、计算机设备 Download PDFInfo
- Publication number
- CN109684575A CN109684575A CN201811280590.2A CN201811280590A CN109684575A CN 109684575 A CN109684575 A CN 109684575A CN 201811280590 A CN201811280590 A CN 201811280590A CN 109684575 A CN109684575 A CN 109684575A
- Authority
- CN
- China
- Prior art keywords
- data
- web
- web data
- rendered
- website
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 30
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000009877 rendering Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 5
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种网页数据的处理方法及装置、存储介质、计算机设备,涉及网络技术领域,可以有效解决先向网站服务器请求网页数据,再对接收到的网页数据进行渲染时,容易造成网页数据展示速度慢的问题。其中方法包括:接收网页浏览器发送的网页数据的获取请求,所述获取请求中携带有网址信息;从预设缓存位置中查询与所述网址信息对应的已渲染网页数据,其中,所述预设缓存位置中缓存有不同网址信息分别对应的已渲染网页数据,缓存的所述已渲染网页数据根据所述网页浏览器实时的网页访问记录信息预估得到;将查询到的所述已渲染网页数据发送给所述网页浏览器。本申请适用于网页数据的处理。
Description
技术领域
本申请涉及网络技术领域,尤其是涉及到一种网页数据的处理方法及装置、存储介质、计算机设备。
背景技术
网页是构成网站的基本元素,是承载各种网站应用的平台。网页是一个包含HTML标签的纯文本文件,可以存放在世界某个角落的某一台计算机中,是万维网中的一个“页”,是超文本标记语言格式(标准通过标记语言的一个应用,文件扩展名为.html或.htm)。网页通常用图像档来提供图画。网页要通过网页浏览器来阅读。
目前网页浏览器在展示网页数据时,首先向网站服务器请求网页数据,然后由网页浏览器对接收到的网页数据进行渲染,以便实现网页数据展示。然而,网页浏览器渲染网页数据会耗费一定时长,进而会影响网页数据展示的速度,造成网页打开延迟严重,从而会影响用户的使用体验。
发明内容
有鉴于此,本申请提供了一种网页数据的处理方法及装置、存储介质、计算机设备,主要目的在于解决先向网站服务器请求网页数据,再对接收到的网页数据进行渲染时,容易造成时间的浪费,进而影响网页数据展示的速度,造成网页打开延迟严重的问题。
根据本申请的一个方面,提供了一种网页数据的处理方法,该方法包括:
接收网页浏览器发送的网页数据的获取请求,所述获取请求中携带有网址信息;
从预设缓存位置中查询与所述网址信息对应的已渲染网页数据,其中,所述预设缓存位置中缓存有不同网址信息分别对应的已渲染网页数据,缓存的所述已渲染网页数据根据所述网页浏览器实时的网页访问记录信息预估得到;
将查询到的所述已渲染网页数据发送给所述网页浏览器。
根据本申请的另一个方面,提供了一种网页数据的处理装置,该装置包括:
接收单元,用于接收网页浏览器发送的网页数据的获取请求,所述获取请求中携带有网址信息;
查询单元,用于从预设缓存位置中查询与所述网址信息对应的已渲染网页数据,其中,所述预设缓存位置中缓存有不同网址信息分别对应的已渲染网页数据,缓存的所述已渲染网页数据根据所述网页浏览器实时的网页访问记录信息预估得到;
发送单元,用于将查询到的所述已渲染网页数据发送给所述网页浏览器。
根据本申请的又一个方面,提供了一种非易失性可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述网页数据的处理方法。
根据本申请的再一个方面,提供了一种计算机设备,包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序,所述处理器执行所属程序时实现上述网页数据的处理方法。
借由上述技术方案,本申请提供的一种网页数据的处理方法、装置及设备,与目前现有网页数据处理方法相比,本申请提前做好了页面数据渲染工作,在接收到网页浏览器发送的网页数据的获取请求后,不需要再对页面数据进行渲染,而是直接从预设缓存位置中查询预估得到的且与网址信息对应的已渲染网页数据,不需要再请求接口和拼装页面,减少了网页浏览器渲染数据造成的网页数据显示延迟,加快了网页的展示速度,缩短了页面打开时间,从而能营造良好的用户体验。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了本申请的上述和其他目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本地申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种网页数据的处理方法的流程示意图;
图2示出了本申请实施例提供的另一种网页数据的处理方法的流程示意图;
图3示出了本申请实施例提供的一种网页数据的处理装置的结构示意图;
图4示出了本申请实施例提供的另一种网页数据的处理装置的结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合。
针对目前网页浏览器在展示网页数据时,先向网站服务器请求网页数据,然后再对接收到的网页数据进行渲染,会导致响应时长过长,造成网页数据显示延迟的问题,本实施例提供了一种网页数据的处理方法,如图1所示,该方法包括:
101、接收网页浏览器发送的网页数据的获取请求。
其中,获取请求中携带有网页浏览器需要获取的网页数据的网址信息。网址信息指因特网上各种网页数据对应的网页地址,多用所属互联网类型(如最常见的万维网(www)等)+访问协议+域名的形式表达。
对于本实施例的执行主体可以为网页数据处理的服务端,用于提高网页浏览器的网页数据打开效率。
102、从预设缓存位置中查询与网址信息对应的已渲染网页数据。
其中,预设缓存位置中缓存有不同网址信息分别对应的已渲染网页数据,缓存的已渲染网页数据根据网页浏览器实时的网页访问记录信息预估得到;已渲染页面数据为经过服务端预先渲染过的页面数据。网页访问记录信息中包含用户最新的网页浏览记录内容情况。对于本实施例,服务端可获取网页浏览器实时的网页访问记录信息,然后通过该网页访问记录信息,对该用户将要访问的网页进行预判,然后将预判的该网页提前获取并渲染,再存储在预设缓存位置中,以便网页浏览器后续请求该网页的数据时能够及时获取并反馈。
例如,服务端具体可以为Node服务端,Node服务端可使用Node.JS框架进行搭建,首先利用Koa搭建Node层,它的主要功能有Node服务端渲染,错误监控,全局异常定位等,前端部分代码为pug前端模板,使用gulp构建,配合Node服务端渲染;其中,JS(JavaScript)是脚本语言,脚本语言都需要一个解析器才能运行。对于写在超文本标记语言(HyperTextMarkup Language,HTML)页面里的JS,浏览器充当了解析器的角色。而对于需要独立运行的JS,NodeJS就是一个解析器。每一种解析器都是一个运行环境,不但允许JS定义各种数据结构,进行各种计算,还允许JS使用运行环境提供的内置对象和方法做一些事情。例如运行在浏览器中的JS的用途是操作文档对象模型(Document Object Model,DOM),浏览器就提供了文件(Document)之类的内置对象。而运行在Node.JS中的JS的用途是操作磁盘文件或搭建HTTP服务器,Node.JS就相应提供了fs、http等内置对象。
在搭建完成Node服务端后,可获取网页浏览器实时的网页访问记录信息,然后通过该网页访问记录信息,对相应用户将要访问的网页进行预判,然后将预判的该网页的数据提前获取并渲染,再存储在预设缓存位置中。若后续该网页浏览器发送网址A对应网页数据的获取请求,可通过网址A查询该网页对应的已渲染数据是否存在于预设存储位置中。
103、将查询到的已渲染网页数据发送给网页浏览器。
例如,基于步骤102的实例,若在预设存储位置中查询到与网址A对应、且经过渲染的网页数据,则将查询到的网页数据发送给网页浏览器,在网页浏览器中实现对应网页数据的显示。
通过本实施例中的网页数据的处理方法,与现有技术中先请求网页数据然后再进行渲染的方式相比,本方案是对网页数据提前进行渲染,有效的避免了数据获取过程中因数据渲染造成的延迟现象,可以根据实时的网页访问记录信息预估出将要被搜索的网页数据,并对网页数据提前进行渲染,进而网页浏览器可从预设缓存位置中直接查询出与所述网址信息对应的已渲染网页数据,非常的方便高效,提高了页面的打开时间,方便用户浏览。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施里中的具体实施过程,提供了另一种网页数据的处理方法,如图2所示,该方法包括:
201、对目标网站对应的不同网页数据进行分类。
步骤201具体可以包括:将目标网站对应的不同网页数据进行树形结构分类,其中,同一分支的下一层级节点分类为上一层级节点分类的子分类;分析不同分类的网页数据之间的关联关系信息。
其中,关联关系信息为用户对各个分类的网页数据之间的浏览相关性,若用户在浏览一项网页数据后会导致在一定时间范围内继续浏览另一项网页数据,即可说明这两项网页数据具有关联关系。
例如,将金融公司对应的不同数据进行树形结构分类,根节点对应金融公司官网主平台页面数据,下一节点为各个地域的金融公司官网数据(如北京、上海等),再下一节点为各地域官网中的金融类页面数据、广告类页面数据、活动类页面数据等;再下一节点为如金融类页面数据中包含的理财、贷款、保险、***等业务的页面数据,广告类页面数据包含的电商类广告、实体店类广告;子节点为如理财类页面数据中包含的基金类页面数据、股票类页面数据等。
再例如,若根据历史页面数据请求的记录,经常出现用户浏览基金a页面后在一定时间范围内浏览广告b页面,或者活动c页面后在一定时间范围内浏览基金d页面的行为,那么则可以确定基金a页面和广告b页面之间具有强关联关系,且活动c页面和基金d页面之间具有强关联关系。
在具体的实施方式中,对目标网站对应的不同网页数据还可以根据具体情况按其他方式分类。例如,可按照地域分类,可分为北京官网页面数据、深圳官网页面数据、上海官网页面数据等;可按照内容分类,例如金融类页面数据、广告类页面数据、活动类页面数据等。
202、若根据网页访问记录信息确定网页浏览器当前正在访问目标网站的网页,则按照目标网站的网页数据分类结果,预估网页浏览器将要请求的目标网页数据。
步骤202具体可以包括:从网页访问记录信息中获取网页浏览器上一次请求网页数据对应的历史网址信息;确定与历史网址信息对应的网页数据在树形结构分类中所在的第一节点;查询第一节点所在分支节点位置以下预设层级数量的各个第二节点各自对应的第一目标网址信息,以及与第一节点对应网页数据之间具有强关联关系信息的网页数据的第二目标网址信息;将第一目标网址信息和第二目标网址信息分别对应的网页数据,确定为网页浏览器将要请求的目标网页数据。
其中,第一目标网址信息为历史浏览的网页数据在树状结构中对应的所有下属子节点的网址信息;第二目标网址信息为在整个树状结构中与历史浏览的网页数据具有强关联关系的节点对应的网址信息;目标网页数据为根据历史浏览的网址信息预先判断出来的可能将要被浏览的数据。
例如,基于步骤201的实例,若从网页访问记录信息中获取网页浏览器上一次请求的历史网址信息对应的网页数据为金融公司北京区域的官网数据,则将金融公司北京区域的官网数据对应的下属子节点,即金融类页面数据、广告类页面数据、活动类页面数据等对应的网址信息确定为第一目标网址信息;假设确定所有与金融公司北京区域的官网数据具有强关联关系的网页数据分别为:金融类a页面数据、贷款b页面数据、广告c页面数据。则将金融类a页面数据、贷款b页面数据、广告c页面数据对应的网址信息确定为第二目标网址信息;进而将金融类页面数据、广告类页面数据、活动类页面数据、金融类a页面数据、贷款b页面数据、广告c页面数据均确定为网页浏览器将要请求的目标网页数据。
203、提前获取目标网页数据并进行渲染处理。
例如,在渲染处理之前,首先要在终端terminal安装一下koa-router,这是Koa提供的一个路由的工具。然后在server文件夹下面新建一个routers文件夹,紧接着在里面新建两个文件,一个是dev-ssr.js,另一个是ssr.js。前者是处理开发时服务端渲染的情况,后者是处理正式环境下的情况。在dev-ssr.js文件中,首先要引入koa-router。并且为了避免渲染处理过程中出现错误,还可安装Koa软件,同时在项目根目录下新建一个服务端server文件夹,接着在此文件夹下新建一个server.js文件,在server.js文件里引入Koa,在server.js里面还写入一个中间件来记录所有的请求和抓取的错误,这样就可以很好的了解到在服务端渲染的过程中是否出现了一些错误,并及时排除。在Node服务端渲染期间,可使用ejs模板引擎生成HTML。
例如,获取到目标网页数据为金融类a页面数据、广告类b页面数据、活动类c页面数据,则提前对它们进行渲染处理。
204、将渲染处理后的目标网页数据,作为已渲染网页数据缓存在预设缓存位置中。
其中,在目标网页数据进行渲染处理后,所有的页面上产品配置及部分页面配置都会移交由后台管理***负责配置,提高了页面的变化灵活性;让运营人员能更及时的发布页面内容,也节省了开发的工作时间。
例如,获取到的目标网页数据为金融类a页面数据、广告类b页面数据、活动类c页面数据,则在对它们进行渲染处理后,将它们作为已渲染网页数据缓存在预设缓存位置中,可随时被浏览器查询获取。
通过上述对不同网页数据进行提前分类渲染的方法,可根据网页访问记录信息确定网页浏览器当前访问的目标网页,并预估将要请求的目标网页数据,进而提前对目标网页数据进行渲染处理,并将已渲染的网页数据缓存在预设缓存位置中,同时所有页面上产品配置及部分页面配置都会移交由后台管理***负责配置,提高了页面的变化灵活性,让运营人员能更及时的发布页面内容,也节省了开发的工作时间。这样可以在确定浏览的网页数据时,能直接提取预设缓存位置中预先存储的已渲染网页数据,简化了网页数据的获取步骤,有效的避免了数据获取过程中因数据渲染造成的延迟现象,提高了网页数据的展示速度。
目前在搜索引擎方面由于现有技术中是由网页浏览器客户端请求网页数据然后再渲染,会导致容易出现搜索引擎对于搜索到的未被渲染的页面数据无法识别的情况,为了解决这一问题,作为一种可选方式,本实施例还可以包括:接收搜索引擎服务器发送的已渲染网页数据的获取请求。将预设缓存位置中缓存的与目标网站对应的已渲染网页数据发送给搜索引擎服务器。进一步的,以使得搜索引擎服务器根据接收到的已渲染网页数据,对目标网站的网页搜索排名进行更新处理。
其中,搜索引擎中前端部分代码为使用gulp构建的pug前端模板,pug前端模板是为了使用户界面与业务数据(内容)分离而产生的,它可以生成特定格式的文档,用于网站的模板引擎就会生成一个标准的HTML文档。pug模板引擎可以让(网站)程序实现界面与数据分离,业务代码与逻辑代码的分离,提升开发效率的同时,也使得代码重用变得更加容易,gulp是前端开发过程中对代码进行构建的工具,是自动化项目的构建利器;它不仅能对网站资源进行优化,而且在开发过程中很多重复的任务能够使用正确的工具自动完成。
例如,目标网站为A,则将与目标网站A对应的已渲染网页数据都发送给搜索引擎服务器,当用户进行数据检索时,搜素引擎可提供相关的已渲染数据给用户的***,并根据记录的已渲染数据的搜索次数,更新目标网站的网页搜索量。
通过上述方法可解决搜索引擎对于搜索到的未被渲染的页面数据无法识别的问题,并对目标网站的网页搜索排名进行更新。可将预设缓存位置中缓存的与目标网站对应的已渲染网页数据发送给搜索引擎服务器,利用搜索引擎提供相关的已渲染数据给用户的***,并记录浏览器对目标网站中已渲染数据的所有搜索记录,进而可以准确统计出目标网站的点击率,令搜索引擎服务器对目标网站的网页搜索排名进行更新处理,使能够根据网页搜索排名判断出被频繁访问的热数据,进而对***不断优化,使其更能满足消费者的需求。
205、当接收网页浏览器发送的网页数据的获取请求时,从预设缓存位置中查询与获取请求中携带的网址信息对应的已渲染网页数据。
例如,接收到网页浏览器发送的网页数据的获取请求为B网首页官网,从获取请求中获取到网址信息为https://uland.B.com,则在预设缓存位置中查询出与https://uland.B.com这一网址信息对应的已渲染网页数据。
206、将查询到的已渲染网页数据发送给网页浏览器。
其中,网页浏览器的数据显示是通过pug前端模板的搭建,首先应安装pug软件,然后使用gulp工具编译pug文件,使得接收Node服务端发送的已渲染后的HTML文件并进行前端展示。
例如,若在预设缓存位置查询出与获取请求中网址信息对应的已渲染网页数据为B网首页官网,则将B网首页官网的已渲染网页数据发送给网页浏览器。
通过上述网页数据的处理方法,可以根据接收到的网页数据获取请求中携带的网址信息,在预设存储位置中查询与网址信息对应的已渲染网页数据,并将已渲染网页数据发送给网页浏览器,这样减少了网页数据获取过程中的数据渲染环节,极大的减少了线上不可用时间,提高了版本的可用性。
在具体的应用场景中,如果某些网页数据处于热数据状态,会在短时间内接收到多个不同网页浏览器发送的该网页数据的获取请求,而后续的一段时间段内该网页数据也会被其他网页浏览器请求获取,因此为了该网页数据能够在其他网页浏览器迅速打开,进一步的,作为一种优选方式,本实施例还可包括:根据不同网页浏览器实时发送的网页数据的获取请求,确定当前处于热数据状态的网页数据;提前获取当前处于热数据状态的网页数据并进行渲染处理;将渲染处理后的当前处于热数据状态的网页数据,作为已渲染网页数据缓存在预设缓存位置中。
例如,根据不同网页浏览器实时发送的网页数据的获取请求,可以判断出被频繁访问的网页数据,若预先设定用来评判热数据状态的点击量预设阈值为100,则可判定在预定时间5分钟内点击量超过预设阈值100的网页数据a为热数据,并提前对网页数据a进行渲染处理,将渲染后的处于热数据状态的网页数据a缓存在预设缓存位置中,作为已渲染网页数据,为后续各个浏览器持续的访问做好准备。
通过上述对热数据提前进行渲染的方法,可以提前确定处于热数据状态的网页数据,并提前热数据进行渲染,将渲染后的网页数据缓存在预设缓存位置中,为不同网页浏览器的网页数据搜索做好准备,可以提高网页的加载速度,避免热数据被集中搜索再进行渲染时容易造成的延迟卡顿现象,从而进一步提升用户的网页浏览体验。
进一步的,为了节省预设缓存位置的缓存空间,作为一种可选方式,本实施例还可包括:定时或不定时对预设缓存位置中缓存时长大于预设时长阈值的已渲染网页数据进行清除。
例如,可根据实际情况设定预设时长阈值,若设定预设时长阈值为30分钟,即已渲染数据可在预设缓存位置中存储30分钟,在已渲染数据被存储的后续30分钟内,各个客户端发送的页面请求,都会直接在预设缓存位置中查询并将查询到的页面进行返回,不需要再请求接口和拼装页面。若已渲染数据在预设缓存位置中缓存时间超过预设时长阈值且无持续访问记录,则将此已渲染数据进行清除。
通过上述将缓存时长超过预设时长的网页数据进行清除方法,令一些后续不会有客户端请求的页面数据不存储在缓存中,能很好的避免缓存空间不足,可以有效的循环更新缓存空间资源,提升预设存储空间的利用率。
进一步的,作为图1和图2所示方法的具体实现,本申请实施例提供了一种网页数据的处理装置,如图3所示,该装置包括:接收单元31、查询单元32、发送单元33。
接收单元31,可用于接收网页浏览器发送的网页数据的获取请求,获取请求中携带有网址信息;
查询单元32,可用于从预设缓存位置中查询与网址信息对应的已渲染网页数据,其中,预设缓存位置中缓存有不同网址信息分别对应的已渲染网页数据,缓存的已渲染网页数据根据网页浏览器实时的网页访问记录信息预估得到;
发送单元33,可用于将查询到的已渲染网页数据发送给网页浏览器。
在具体的应用场景中,为了预估将要请求的目标网页数据,并对目标网页数据进行渲染处理,从而将已渲染的网页数据缓存在预设缓存位置中方便满足浏览器的获取请求,如图4所示,本装置还包括:分类单元34、预估单元35、渲染单元36、缓存单元37。
分类单元34,可用于对目标网站对应的不同网页数据进行分类;
预估单元35,可用于若根据网页访问记录信息确定网页浏览器当前正在访问目标网站的网页,则按照目标网站的网页数据分类结果,预估网页浏览器将要请求的目标网页数据;
渲染单元36,可用于提前获取目标网页数据并进行渲染处理;
缓存单元37,可用于将渲染处理后的目标网页数据,作为已渲染网页数据缓存在预设缓存位置中。
其中,分类单元34,具体可用于将目标网站对应的不同网页数据进行树形结构分类,其中,同一分支的下一层级节点分类为上一层级节点分类的子分类;分析不同分类的网页数据之间的关联关系信息。
在具体的应用场景中,预估单元35,具体可用于从网页访问记录信息中获取网页浏览器上一次请求网页数据对应的历史网址信息;确定与历史网址信息对应的网页数据在树形结构分类中所在的第一节点;查询第一节点所在分支节点位置以下预设层级数量的各个第二节点各自对应的第一目标网址信息,以及与第一节点对应网页数据之间具有强关联关系信息的网页数据的第二目标网址信息;将第一目标网址信息和第二目标网址信息分别对应的网页数据,确定为网页浏览器将要请求的目标网页数据。
在具体的应用场景中,为了解决搜索引擎对于搜索到的未被渲染的页面数据无法识别的问题,如图4所示,本装置还包括:接收单元38、发送单元39。
接收单元38,可用于接收搜索引擎服务器发送的已渲染网页数据的获取请求;
发送单元39,可用于将预设缓存位置中缓存的与目标网站对应的已渲染网页数据发送给搜索引擎服务器,以使得搜索引擎服务器根据接收到的已渲染网页数据,对目标网站的网页搜索排名进行更新处理。
在具体的应用场景中,为了提前对处于热数据状态的网页数据进行渲染,避免热数据被集中搜索再进行渲染时容易造成的延迟卡顿现象,如图4所示,本装置还包括:确定单元310。
确定单元310,可用于根据不同网页浏览器实时发送的网页数据的获取请求,确定当前处于热数据状态的网页数据;
渲染单元36,还可用于提前获取当前处于热数据状态的网页数据并进行渲染处理;
缓存单元37,还可用于将渲染处理后的当前处于热数据状态的网页数据,作为已渲染网页数据缓存在预设缓存位置中。
在具体实施方式中,为了节省预设缓存位置的缓存空间,作为一种可选方式,如图4所示,本装置还可包括:清除单元311。
清除单元311,可用于定时或不定时对预设缓存位置中缓存时长大于预设时长阈值的已渲染网页数据进行清除。
需要说明的是,本实施例提供的一种网页数据的处理所涉及各功能单元的其他相应描述,可以参考图1至图2的对应描述,在此不再赘述。
基于上述如图1至图2所示方法,相应的,本实施例还提供了一种非易失性可读存储介质,其上存储有计算机可读指令,该可读指令被处理器执行时实现上述如图1至图2所示的网页数据的处理方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
基于上述如图1至图2所示的方法和图3、图4所示的虚拟装置实施例,为了实现上述目的,本实施例还提供了一种计算机设备,该计算机设备包括非易失性可读存储介质和处理器;非易失性可读存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1至图2所示的网页数据的处理方法。
可选的,该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种计算机设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
非易失性存储介质中还可以包括操作***、网络通信模块。操作***是管理上述计算机设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现非易失性存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。通过应用本申请的技术方案,与目前现有技术相比,本申请提前做好了页面数据渲染工作,在接收到网页浏览器发送的网页数据的获取请求后,不需要再对页面数据进行渲染,而是直接从预设缓存位置中查询预估得到的且与网址信息对应的已渲染网页数据,不需要再请求接口和拼装页面,减少了渲染数据造成的显示延迟,加快了页面的展示速度,缩短了页面打开时间,从而能营造良好的用户体验。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (10)
1.一种网页数据的处理方法,其特征在于,包括:
接收网页浏览器发送的网页数据的获取请求,所述获取请求中携带有网址信息;
从预设缓存位置中查询与所述网址信息对应的已渲染网页数据,其中,所述预设缓存位置中缓存有不同网址信息分别对应的已渲染网页数据,缓存的所述已渲染网页数据根据所述网页浏览器实时的网页访问记录信息预估得到;
将查询到的所述已渲染网页数据发送给所述网页浏览器。
2.根据权利要求1所述的方法,其特征在于,在所述接收网页浏览器发送的网页数据获取请求之前,所述方法还包括:
对目标网站对应的不同网页数据进行分类;
若根据所述网页访问记录信息确定网页浏览器当前正在访问所述目标网站的网页,则按照所述目标网站的网页数据分类结果,预估所述网页浏览器将要请求的目标网页数据;
提前获取所述目标网页数据并进行渲染处理;
将渲染处理后的所述目标网页数据,作为已渲染网页数据缓存在所述预设缓存位置中。
3.根据权利要求2所述的方法,其特征在于,所述对目标网站对应的不同网页数据进行分类,具体包括:
将所述目标网站对应的不同网页数据进行树形结构分类,其中,同一分支的下一层级节点分类为上一层级节点分类的子分类;
分析不同分类的所述网页数据之间的关联关系信息。
4.根据权利要求3所述的方法,其特征在于,所述按照所述目标网站的网页数据分类结果,预估所述网页浏览器将要请求的目标网页数据,具体包括:
从所述网页访问记录信息中获取所述网页浏览器上一次请求网页数据对应的历史网址信息;
确定与所述历史网址信息对应的网页数据在树形结构分类中所在的第一节点;
查询所述第一节点所在分支节点位置以下预设层级数量的各个第二节点各自对应的第一目标网址信息,以及与所述第一节点对应网页数据之间具有强关联关系信息的网页数据的第二目标网址信息;
将所述第一目标网址信息和所述第二目标网址信息分别对应的网页数据,确定为所述网页浏览器将要请求的目标网页数据。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
接收搜索引擎服务器发送的已渲染网页数据的获取请求;
将所述预设缓存位置中缓存的与所述目标网站对应的已渲染网页数据发送给所述搜索引擎服务器,以使得所述搜索引擎服务器根据接收到的所述已渲染网页数据,对所述目标网站的网页搜索排名进行更新处理。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据不同网页浏览器实时发送的网页数据的获取请求,确定当前处于热数据状态的网页数据;
提前获取所述当前处于热数据状态的网页数据并进行渲染处理;
将渲染处理后的所述当前处于热数据状态的网页数据,作为已渲染网页数据缓存在所述预设缓存位置中。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
定时或不定时对所述预设缓存位置中缓存时长大于预设时长阈值的已渲染网页数据进行清除。
8.一种网页数据的处理装置,其特征在于,包括:
接收单元,用于接收网页浏览器发送的网页数据的获取请求,所述获取请求中携带有网址信息;
查询单元,用于从预设缓存位置中查询与所述网址信息对应的已渲染网页数据,其中,所述预设缓存位置中缓存有不同网址信息分别对应的已渲染网页数据,缓存的所述已渲染网页数据根据所述网页浏览器实时的网页访问记录信息预估得到;
发送单元,用于将查询到的所述已渲染网页数据发送给所述网页浏览器。
9.一种非易失性可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至7中任一项所述的网页数据的处理方法。
10.一种计算机设备,包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至7中任一项所述的网页数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811280590.2A CN109684575A (zh) | 2018-10-30 | 2018-10-30 | 网页数据的处理方法及装置、存储介质、计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811280590.2A CN109684575A (zh) | 2018-10-30 | 2018-10-30 | 网页数据的处理方法及装置、存储介质、计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109684575A true CN109684575A (zh) | 2019-04-26 |
Family
ID=66185699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811280590.2A Pending CN109684575A (zh) | 2018-10-30 | 2018-10-30 | 网页数据的处理方法及装置、存储介质、计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109684575A (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222288A (zh) * | 2019-06-10 | 2019-09-10 | 腾讯科技(深圳)有限公司 | 页面展示方法、装置及存储介质 |
CN110442808A (zh) * | 2019-06-28 | 2019-11-12 | 苏宁云计算有限公司 | 页面渲染加速方法和装置 |
CN111143828A (zh) * | 2019-12-11 | 2020-05-12 | 中盈优创资讯科技有限公司 | Web页面及服务的安全控制方法及装置 |
CN111191168A (zh) * | 2019-12-25 | 2020-05-22 | 北京永洪商智科技有限公司 | 一种基于ssr的bi可视化展示性能优化方法 |
CN111274331A (zh) * | 2020-01-15 | 2020-06-12 | 中国建设银行股份有限公司 | 关系数据管理维护***及方法 |
CN111310005A (zh) * | 2020-02-07 | 2020-06-19 | 北京达佳互联信息技术有限公司 | 网络请求的处理方法及装置、服务器和存储介质 |
CN112149017A (zh) * | 2020-09-14 | 2020-12-29 | 京东数字科技控股股份有限公司 | 一种网页访问方法、装置、***、电子设备及存储介质 |
CN112163173A (zh) * | 2020-09-22 | 2021-01-01 | Oppo(重庆)智能科技有限公司 | 网页加载方法、装置、电子设备和计算机可读存储介质 |
CN112784201A (zh) * | 2021-01-29 | 2021-05-11 | 游艺星际(北京)科技有限公司 | 网页显示方法、装置、终端及存储介质 |
CN112836152A (zh) * | 2019-11-22 | 2021-05-25 | 上海哔哩哔哩科技有限公司 | 页面渲染方法、***、计算机设备及计算机可读存储介质 |
CN113190612A (zh) * | 2021-07-01 | 2021-07-30 | 武汉华信数据***有限公司 | 用于人机交互***的数据管理方法及数据管理装置 |
CN113347276A (zh) * | 2021-07-07 | 2021-09-03 | 南京大学城市规划设计研究院有限公司深圳分公司 | 一种基于gis的移动式访问*** |
CN113420249A (zh) * | 2021-06-30 | 2021-09-21 | 北京达佳互联信息技术有限公司 | 网页显示方法、装置、电子设备及存储介质 |
CN113626742A (zh) * | 2021-08-02 | 2021-11-09 | 维沃移动通信有限公司 | 网页生成方法、装置、电子设备及可读存储介质 |
CN115190347A (zh) * | 2022-05-31 | 2022-10-14 | 北京达佳互联信息技术有限公司 | 消息处理方法、消息处理装置、电子设备和存储介质 |
CN115858987A (zh) * | 2023-02-21 | 2023-03-28 | 成都萌想科技有限责任公司 | 一种h5题库网页的渲染方法、装置、电子设备及存储介质 |
CN116521119A (zh) * | 2023-06-30 | 2023-08-01 | 南京中卫信软件科技股份有限公司 | 一种用于信息***中的硬件设备与浏览器通信方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102446222A (zh) * | 2011-12-22 | 2012-05-09 | 华为技术有限公司 | 一种网页内容预加载方法、装置及*** |
US20150154313A1 (en) * | 2011-09-19 | 2015-06-04 | Beijing Qihoo Technology Company Limited | A method, device, browser and program for accessing web page |
US20150370912A1 (en) * | 2013-03-04 | 2015-12-24 | Uc Mobile Limited | Method and system for displaying customized webpage on double webview |
CN108241703A (zh) * | 2016-12-27 | 2018-07-03 | 腾讯科技(深圳)有限公司 | 网页数据传输方法和装置 |
-
2018
- 2018-10-30 CN CN201811280590.2A patent/CN109684575A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150154313A1 (en) * | 2011-09-19 | 2015-06-04 | Beijing Qihoo Technology Company Limited | A method, device, browser and program for accessing web page |
CN102446222A (zh) * | 2011-12-22 | 2012-05-09 | 华为技术有限公司 | 一种网页内容预加载方法、装置及*** |
US20150370912A1 (en) * | 2013-03-04 | 2015-12-24 | Uc Mobile Limited | Method and system for displaying customized webpage on double webview |
CN108241703A (zh) * | 2016-12-27 | 2018-07-03 | 腾讯科技(深圳)有限公司 | 网页数据传输方法和装置 |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110222288B (zh) * | 2019-06-10 | 2023-08-04 | 腾讯科技(深圳)有限公司 | 页面展示方法、装置及存储介质 |
CN110222288A (zh) * | 2019-06-10 | 2019-09-10 | 腾讯科技(深圳)有限公司 | 页面展示方法、装置及存储介质 |
CN110442808A (zh) * | 2019-06-28 | 2019-11-12 | 苏宁云计算有限公司 | 页面渲染加速方法和装置 |
CN112836152A (zh) * | 2019-11-22 | 2021-05-25 | 上海哔哩哔哩科技有限公司 | 页面渲染方法、***、计算机设备及计算机可读存储介质 |
CN112836152B (zh) * | 2019-11-22 | 2023-03-10 | 上海哔哩哔哩科技有限公司 | 页面渲染方法、***、计算机设备及计算机可读存储介质 |
CN111143828A (zh) * | 2019-12-11 | 2020-05-12 | 中盈优创资讯科技有限公司 | Web页面及服务的安全控制方法及装置 |
CN111191168A (zh) * | 2019-12-25 | 2020-05-22 | 北京永洪商智科技有限公司 | 一种基于ssr的bi可视化展示性能优化方法 |
CN111274331A (zh) * | 2020-01-15 | 2020-06-12 | 中国建设银行股份有限公司 | 关系数据管理维护***及方法 |
CN111310005A (zh) * | 2020-02-07 | 2020-06-19 | 北京达佳互联信息技术有限公司 | 网络请求的处理方法及装置、服务器和存储介质 |
CN112149017A (zh) * | 2020-09-14 | 2020-12-29 | 京东数字科技控股股份有限公司 | 一种网页访问方法、装置、***、电子设备及存储介质 |
CN112163173A (zh) * | 2020-09-22 | 2021-01-01 | Oppo(重庆)智能科技有限公司 | 网页加载方法、装置、电子设备和计算机可读存储介质 |
CN112163173B (zh) * | 2020-09-22 | 2024-05-03 | Oppo(重庆)智能科技有限公司 | 网页加载方法、装置、电子设备和计算机可读存储介质 |
CN112784201A (zh) * | 2021-01-29 | 2021-05-11 | 游艺星际(北京)科技有限公司 | 网页显示方法、装置、终端及存储介质 |
CN112784201B (zh) * | 2021-01-29 | 2024-05-14 | 游艺星际(北京)科技有限公司 | 网页显示方法、装置、终端及存储介质 |
CN113420249A (zh) * | 2021-06-30 | 2021-09-21 | 北京达佳互联信息技术有限公司 | 网页显示方法、装置、电子设备及存储介质 |
CN113190612B (zh) * | 2021-07-01 | 2021-10-26 | 武汉华信数据***有限公司 | 用于人机交互***的数据管理方法及数据管理装置 |
CN113190612A (zh) * | 2021-07-01 | 2021-07-30 | 武汉华信数据***有限公司 | 用于人机交互***的数据管理方法及数据管理装置 |
CN113347276A (zh) * | 2021-07-07 | 2021-09-03 | 南京大学城市规划设计研究院有限公司深圳分公司 | 一种基于gis的移动式访问*** |
CN113626742A (zh) * | 2021-08-02 | 2021-11-09 | 维沃移动通信有限公司 | 网页生成方法、装置、电子设备及可读存储介质 |
CN115190347A (zh) * | 2022-05-31 | 2022-10-14 | 北京达佳互联信息技术有限公司 | 消息处理方法、消息处理装置、电子设备和存储介质 |
CN115190347B (zh) * | 2022-05-31 | 2024-01-02 | 北京达佳互联信息技术有限公司 | 消息处理方法、消息处理装置、电子设备和存储介质 |
CN115858987A (zh) * | 2023-02-21 | 2023-03-28 | 成都萌想科技有限责任公司 | 一种h5题库网页的渲染方法、装置、电子设备及存储介质 |
CN115858987B (zh) * | 2023-02-21 | 2023-04-25 | 成都萌想科技有限责任公司 | 一种h5题库网页的渲染方法、装置、电子设备及存储介质 |
CN116521119A (zh) * | 2023-06-30 | 2023-08-01 | 南京中卫信软件科技股份有限公司 | 一种用于信息***中的硬件设备与浏览器通信方法 |
CN116521119B (zh) * | 2023-06-30 | 2023-09-12 | 中卫信软件股份有限公司 | 一种用于信息***中的硬件设备与浏览器通信方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109684575A (zh) | 网页数据的处理方法及装置、存储介质、计算机设备 | |
US11328114B2 (en) | Batch-optimized render and fetch architecture | |
US10783211B2 (en) | Page processing method and device thereof | |
CN106484383B (zh) | 页面渲染方法、装置及设备 | |
CN105589914B (zh) | 一种网页页面的预读取方法、装置及智能终端设备 | |
CN108334517A (zh) | 一种网页渲染方法及相关设备 | |
EP3146698B1 (en) | Method and system for acquiring web pages | |
JP5786105B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、表示制御装置、および表示制御プログラム | |
CN107463641A (zh) | 用于改进对搜索结果的访问的***和方法 | |
EP3161610B1 (en) | Optimized browser rendering process | |
US10713330B2 (en) | Optimized browser render process | |
CN112861050B (zh) | 页面数据回溯方法、装置及设备 | |
CN102857369A (zh) | 一种网站日志保存***及方法和装置 | |
CN112613938B (zh) | 模型训练方法、装置及计算机设备 | |
CN105550179A (zh) | 一种网页收藏方法和浏览器插件 | |
CN101188521A (zh) | 一种挖掘用户行为数据的方法和网站服务器 | |
JP6568985B2 (ja) | バッチ最適化レンダリング及びフェッチアーキテクチャ | |
US9396259B1 (en) | Capture of web application state | |
CN100553250C (zh) | 标记网页的方法和设备 | |
CN108268488A (zh) | 网页主图识别方法和装置 | |
EP3642727B1 (en) | Resource pre-fetch using age threshold | |
CN110362776A (zh) | 浏览器前端数据存储方法、装置、设备及可读存储介质 | |
CN102694802B (zh) | 网络访问信息记录方法和装置 | |
CN203039704U (zh) | 一种网站日志保存*** | |
JP2007157003A (ja) | ホームページ閲覧経路解析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190426 |