CN110020236B

CN110020236B - 网页解析方法、装置、存储介质、处理器和设备

Info

Publication number: CN110020236B
Application number: CN201710758003.5A
Authority: CN
Inventors: 袁园
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2017-08-29
Filing date: 2017-08-29
Publication date: 2021-11-30
Anticipated expiration: 2037-08-29
Also published as: CN110020236A

Abstract

本发明公开了网页解析方法、装置、存储介质、处理器和设备，该网页解析方法包括：获取网页解析请求，其中所述网页解析请求中携带有待解析网页的统一资源***URL以及解析所述待解析网页时所在的业务场景；从预先配置好的各模版中查找同时与所述业务场景和所述URL相匹配的模版，其中所述模版的模版内容包括解析规则，且不同模版具有不同的解析规则；利用查找到的模版中的解析规则对所述待解析网页进行解析，得到解析结果。本发明不需要重新启动线上程序即可完成解析规则的配置，因而提高了工作效率。

Description

网页解析方法、装置、存储介质、处理器和设备

技术领域

本发明涉及计算机技术领域，更具体地说，涉及一种网页解析方法、装置、存储介质、处理器和设备。

背景技术

网页解析是指从网页源代码中分析提取出真正想要的信息。在搜索引擎开发中网页解析技术是非常重要的一环。

不同网站、不同版面的各个网页通常对应着不同的解析规则。要实现不同网站、不同版面的各个网页在同一平台上解析，目前采取的网页解析方法是：在对每一个网页进行解析时，首先要完成对该网页所对应的解析规则的配置，然后才能利用该解析规则对该网页进行解析，对该网页解析完成后再开始对下一个网页进行解析。其中，每配置一个新的解析规则时，都要先写入这一新的配置规则，然后重新启动线上程序才能让新写入的这一解析规则生效。

但是，由于每次都要重新启动线上程序才能完成新的解析规则的配置，而当需要新配置的解析规则个数较多时，一次次的重启线上程序必然会影响工作效率。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的网页解析方法、装置、存储介质、处理器和设备，方案如下：

一种网页解析方法，包括：

获取网页解析请求，其中所述网页解析请求中携带有待解析网页的统一资源***URL以及解析所述待解析网页时所在的业务场景；

从预先配置好的各模版中查找同时与所述业务场景和所述URL相匹配的模版，其中所述模版的模版内容包括解析规则，且不同模版具有不同的解析规则；

利用查找到的模版中的解析规则对所述待解析网页进行解析，得到解析结果。

可选的，在从预先配置好的各模版中查找同时与所述业务场景和所述URL相匹配的模版之前，所述网页解析方法还包括：预先将各模版以预设存储格式统一配置在数据库中，其中，所述数据库中各模版的存储格式采用支持嵌套结构的列式存储格式，其存储列分为域名、业务场景和模版对象，所述模版对象具体包括模版的URL正则匹配规则和模版内容。

其中，所述从预先配置好的各模版中查找同时与所述业务场景和所述URL相匹配的模版，包括：

以所述URL中的域名作为关键词，对所述数据库中的模版进行检索，从中筛选出所述URL中的域名所对应的模版；

以所述业务场景作为关键词，对筛选出的所述URL中的域名所对应的模版进行二次检索，从中筛选出所述业务场景所对应的模版；

将所述URL与筛选出的所述业务场景所对应的模版的URL正则匹配规则进行匹配，查找出匹配成功的模版。

可选的，所述预先将各模版以预设存储格式统一配置在数据库中之后，所述网页解析方法还包括：

预先在本地创建一个缓存池，同时在后端开启一个后台线程；所述后台线程用于周期性的将所述数据库中的模版更新到所述缓存池中。

可选的，所述模版内容还包括调用指令；

对应的，所述利用查找到的模版中的解析规则对所述待解析网页进行解析，得到解析结果后，所述网页解析方法还包括：

根据查找到的模版中的调用指令调用预先配置好的公共解析组件，利用所述公共解析组件对所述解析结果中需要二次解析的字段进行处理，得到二次解析结果；

其中，所述公共解析组件是指解析器，不同的公共解析组件具有不同的解析能力。

一种网页解析装置，包括：

预处理单元，用于预先配置好各模版，其中所述模版的模版内容包括解析规则，且不同模版具有不同的解析规则；

获取单元，用于获取网页解析请求，其中所述网页解析请求中携带有待解析网页的URL以及解析所述待解析网页时所在的业务场景；

查找单元，用于从预先配置好的各模版中查找同时与所述业务场景和所述URL相匹配的模版；

第一解析单元，用于利用所述查找单元查找到的模版中的解析规则对所述待解析网页进行解析，得到解析结果。

可选的，所述模版内容还包括调用指令；

对应的，所述网页解析装置还包括：第二解析单元，用于根据查找到的模版中的调用指令调用预先配置好的公共解析组件，利用所述公共解析组件对所述解析结果中需要二次解析的字段进行处理，得到二次解析结果；

一种存储介质，其上存储有程序，该程序被处理器执行时实现上述公开的任一种网页解析方法。

一种处理器，所述处理器用于运行程序，所述程序运行时执行上述公开的任一种网页解析方法。

一种设备，所述设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现上述公开的任一种网页解析方法。

借由上述技术方案，本发明提供的网页解析方法、装置、存储介质、处理器和设备，可以预先配置好各解析规则，那么在实现不同网站、不同版面的各个网页在同一平台上解析时，对于每一网页，都可以直接从预先配置好的各解析规则中去调取出与之匹配的解析规则来对该网页进行解析。由于本发明不需要重新启动线上程序即可完成与之匹配的解析规则的配置，因而提高了工作效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种网页解析方法流程图；

图2示出了本发明实施例提供的又一种网页解析方法流程图；

图3示出了本发明实施例提供的又一种网页解析方法流程图；

图4示出了本发明实施例提供的一种网页解析装置结构示意图；

图5示出了本发明实施例提供的又一种网页解析装置结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明实施例提供的一种网页解析方法，包括：

步骤S01：获取网页解析请求，其中所述网页解析请求中携带有待解析网页的URL(Uniform Resoure Locator，统一资源***)以及解析所述待解析网页时所在的业务场景。

具体的，URL是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址，俗称“网址”。URL中包含域名等信息。

对于同一网页在不同的业务场景下所需要解析的内容是不同的。比如说，要解析一个百度搜索页面，在业务场景A下，是需要解析百度推荐的所有广告内容，而在业务场景B下，则是需要解析正常搜索出来的内容。在所述网页解析请求中，其携带的业务场景可以用与该业务场景唯一对应的标识表示。

步骤S02：从预先配置好的各模版中查找同时与所述业务场景和所述URL相匹配的模版，其中所述模版的模版内容包括解析规则，且不同模版具有不同的解析规则。

具体的，依据待解析网页的URL和解析所述待解析网页时所在的业务场景，能够唯一确定所述待解析网页对应的解析规则。基于此，本实施例预先配置好不同网站、不同版面的各个网页所对应的解析规则(例如，预先将不同网站、不同版面的各个网页对应的解析规则统一配置在数据库中)，各解析规则分别保存在不同的模版中，当需要对当前网页进行解析时，依据当前网页的URL和解析当前网页时所在的业务场景，可以直接从预先配置好的各模版中查找到当前网页所对应的模版，获得该模版中的解析规则。

在预处理过程中，为了实现将各模版统一配置在所述数据库中，需要定义模版的解析规则以及确定各节点名称含义，举例如下：模版的解析规则可以定义为Json(JavaScript Object Notation，JS对象标记)形式的Key-Value形式的字符串规则，Key表示字段类型，Value是在进行网页解析时所用到的Xpath(Xml Path Language，可扩展标记语言路径语言)值。其中，Json形式的各节点Key主要包括两种表示类型，其一为节点属性值类型，其二为业务字段类型，节点属性值类型主要表示的范围有当前节点的层级、解析出的内容需要特殊处理的标识，业务字段类型则是与每个待解析网页具体的字段表示息息相关，节点属性值类型与业务字段类型是相辅相成，缺一不可的。

下面，给出运用上述例子定义模版的解析规则和确定各节点名称含义时的一个应用实例。

以待解析网页为视频网页为例，其对应的模版中的解析规则可以采用如下示例1-1。

示例1-1

示例1-1中，各节点名称含义为：xpath字段为节点属性值类型，Video、Title和ViewCount为具体的业务字段类型，Videos匹配的属性结果值是符合Xpath的数组形式的内容。

另外，在将各模版配置在数据库中时，还需要确定各模版在数据库中的存储格式。为方便对所述数据库中的各模版进行快速管理和达到快速查找模版的目的，所述数据库中各模版的存储格式可以采用支持嵌套结构的列式存储格式，其存储列分为域名、业务场景和模版对象三列，其中所述模版对象具体包括模版的URL正则匹配规则和模版内容。也就是说，所述数据库中各模版的存储格式具体为Dictionary<string,Dictionary<string,List<Template>>>，解释：Dictionary<域名,Dictionary<场景,List<模版对象>>>，其中模版对象具体包括模版的URL正则匹配规则和模版内容。

基于这一存储格式，在从数据库中查找同时与所述业务场景和所述URL相匹配的模版时，为达到快速查询模版的目的，如图2所示，所述步骤S02具体包括：

步骤S021：以解析网页请求中携带的所述URL中的域名作为关键词，对数据库中的模版进行检索，从中筛选出所述URL中的域名所对应的模版；

步骤S022：以解析网页请求中携带的所述业务场景作为关键词，对筛选出的所述URL中的域名所对应的模版进行二次检索，从中筛选出所述业务场景所对应的模版；

步骤S023：将所述URL与筛选出的所述业务场景所对应的模版的URL正则匹配规则进行匹配，查找出匹配成功的模版。

简而言之，图2所示查找方式就是依次以待解析网页的域名、URL以及进行解析时所在的业务场景作为关键词，先从数据库中筛选出该域名下的模版集合，再从该模版集合中筛选出该业务场景下的模版集合，再根据该URL从二次筛选得到的模版集合中筛选出唯一匹配的模版，此查找方式可以减小URL正则匹配的计算量，达到快速查询模版的目的。

在图2所示查找方式的基础上，为进一步提高查询模版的速度，还可以预先在本地创建一个缓存池，同时在后端开启一个后台线程，所述后台线程用于周期性的(例如每隔一分钟)将所述数据库中的模版更新到所述缓存池中。缓存池的好处是本地存储，查找速度快。后端开启一个后台线程是为了达到实时更新所述缓存池中的模版的目的，具体的：模版是存储在数据库中的，外部调用的模版是缓存池中的模版，如果对数据库中的模版进行了修改，那么也要动态实时的更新到缓存池中，对应的操作就是后端开启一个后台线程，然后周期性的(例如每隔一分钟)将数据库中的模版更新到缓存池中。所述缓存池中各模版的存储格式同样为Dictionary<string,Dictionary<string,List<Template>>>。

步骤S03：利用查找到的模版中的解析规则对所述待解析网页进行解析，得到解析结果。

以示例1-1为例，利用示例1-1对某一现有的体育节目类视频网页进行解析，输出的解析结果如示例1-2所示。

示例1-2

在利用查找到的模版中的解析规则对所述待解析网页进行解析后，解析结果直接反馈给调用方即可。本实施例公开的网页解析方法为无状态服务，也就是说，本实施例公开的网页解析方法不依据调用方的改变而改变。

由上述对本实施例的相关描述可知，本实施例提供的网页解析方法可以预先配置好各解析规则，那么在实现不同网站、不同版面的各个网页在同一平台上解析时，对于每一网页，都可以直接从预先配置好的各解析规则中去调取出与之匹配的解析规则来对该网页进行解析，而不需要重新启动线上程序去完成与之匹配的解析规则的配置，因而提高了工作效率。

另外需要说明的是，无论是现有技术采用的网页解析方法还是本发明实施例公开的上述网页解析方法，在应用时都会遇到一个问题，就是在利用解析规则对网页进行解析后，解析出来的某些字段可能并不是最终想要的内容，必须经过特殊处理，才能得到最终想要的解析结果。为实现这一目标，现有技术采取的处理措施是，在每次利用解析规则对一网页进行解析后，对解析结果中需要特殊处理的字段进行程序的硬编码，也就是说，对解析结果中每个需要特殊处理的字段都需要专门编写一个解析器才能得到最终想要的解析结果，编译程序工作量太大。而本发明实施例为了得到最终想要的解析结果并避免带来太大的编译程序工作量，在前述公开的网页解析方法的基础上，提出了又一种网页解析方法，如图3所示，具体包括：

步骤S01：获取网页解析请求，其中所述网页解析请求中携带有待解析网页的统一资源***URL以及解析所述待解析网页时所在的业务场景。

步骤S02：从预先配置好的各模版中查找同时与所述业务场景和所述URL相匹配的模版，其中所述模版的模版内容包括解析规则和调用指令，且不同模版具有不同的解析规则。

步骤S04：根据查找到的模版中的调用指令调用预先配置好的公共解析组件，利用所述公共解析组件对所述解析结果中需要二次解析的字段进行处理，得到二次解析结果。其中，所述公共解析组件是指解析器，不同的公共解析组件具有不同的解析能力。所述公共解析组件可以与各模版配置在同一数据库中。

图3所示网页解析方法基于前述公开的网页解析方法提出，其改进点在于：模版内容还包括调用指令，在每次利用解析规则对一网页进行解析后，还调用相应的公共解析组件对解析结果中每个需要特殊处理的字段进行处理，以得到最终想要的解析结果。这些公共解析组件是本实施例预先配置好的，任一公共解析组件都可供多个模版调用，而不是某一网页的解析结果中的某一字段的专用，因此大大降低了编译程序工作量。

举例说明，前述示例1-2所示解析结果中的“NBA全明星赛”和“羽毛球世锦赛”中有空格，而想要的解析结果是不含空格的字段，对此本实施例预先定义一个公共解析组件，其公共能力是TrimeTransfomation，即对解析后的字段进行去空格的操作。再比如说，对于示例1-2所示解析结果中的“23次”和“45次”，预先定义一个公共解析组件，其公共能力是IntegerExtractTransformation，即对于数字类型进行正则匹配，从而选取出“23”和“45”作为最后的输出结果。此时，新得到的模版内容和最终输出结果如下1-3所示。

新得到的模版内容：

最终输出结果：

示例1-3

很明显，示例1-3中的输出结果就是最终想要的解析结果。

与上述方法实施例相对应，本发明还提供了一种网页解析装置。

如图4所示，本发明实施例提供的一种网页解析装置，包括：

预处理单元100，用于预先配置好各模版，其中所述模版的模版内容包括解析规则，且不同模版具有不同的解析规则；

获取单元200，用于获取网页解析请求，其中所述网页解析请求中携带有待解析网页的URL以及解析所述待解析网页时所在的业务场景；

查找单元300，用于从预先配置好的各模版中查找同时与所述业务场景和所述URL相匹配的模版；

第一解析单元400，用于利用查找单元200查找到的模版中的解析规则对所述待解析网页进行解析，得到解析结果。

可选的，预处理单元100具体用于预先将各模版按照预设存储格式统一配置在数据库中，其中，所述数据库中各模版的存储格式采用支持嵌套结构的列式存储格式，其存储列分为域名、业务场景和模版对象，所述模版对象具体包括模版的URL正则匹配规则和模版内容。

可选的，查找单元300具体用于以所述URL中的域名作为关键词，对所述数据库中的模版进行检索，从中筛选出所述URL中的域名所对应的模版；再以所述业务场景作为关键词，对筛选出的所述URL中的域名所对应的模版进行二次检索，从中筛选出所述业务场景所对应的模版；再将所述URL与筛选出的所述业务场景所对应的模版的URL正则匹配规则进行匹配，查找出匹配成功的模版。

可选的，预处理单元300还用于预先在本地创建一个缓存池，同时在后端开启一个后台线程；所述后台线程用于周期性的将所述数据库中的模版更新到所述缓存池中。

可选的，所述模版内容还包括调用指令；对应的，如图5所示，所述网页解析装置还包括：第二解析单元500，用于根据查找到的模版中的调用指令调用预先配置好的公共解析组件，利用所述公共解析组件对所述解析结果中需要二次解析的字段进行处理，得到二次解析结果。其中，所述公共解析组件是指解析器，不同的公共解析组件具有不同的解析能力。

所述网页解析装置包括处理器和存储器，上述预处理单元100、获取单元200、查找单元300、第一解析单元400和第二解析单元500等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现网页解析。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

对于上述装置实施例而言，由于其基本相应于方法实施例，所以描述得比较简单，相关之处参见方法实施例的相关说明即可。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现上述公开的任一种网页解析方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述公开的任一种网页解析方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

可选的，所述从预先配置好的各模版中查找同时与所述业务场景和所述URL相匹配的模版，具体包括：

可选的，所述预先将各模版以预设存储格式统一配置在数据库中之后，还包括：预先在本地创建一个缓存池，同时在后端开启一个后台线程；所述后台线程用于周期性的将所述数据库中的模版更新到所述缓存池中。

可选的，所述模版内容还包括调用指令；

对应的，所述利用查找到的模版中的解析规则对所述待解析网页进行解析，得到解析结果后，还包括：

本文中的设备可以是服务器、PC、PAD、手机等。

本发明实施例还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

可选的，所述模版内容还包括调用指令；

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种网页解析方法，其特征在于，包括：

从预先配置好的各模版中查找同时与所述业务场景和所述URL相匹配的模版，其中所述模版的模版内容包括解析规则，且不同模版具有不同的解析规则；基于预先配置好的各解析规则，在不同网页在同一平台上解析时，对于其中每一个网页，都直接从预先配置好的各解析规则中去调取出与之匹配的解析规则来对本网页进行解析，而无需重新启动线上程序去完成与之匹配的解析规则的配置；

利用查找到的模版中的解析规则对所述待解析网页进行解析，得到解析结果；

其中，在从预先配置好的各模版中查找同时与所述业务场景和所述URL相匹配的模版之前，所述网页解析方法还包括：预先将各模版以预设存储格式统一配置在数据库中，其中，所述数据库中各模版的存储格式采用支持嵌套结构的列式存储格式，其存储列分为域名、业务场景和模版对象，所述模版对象具体包括模版的URL正则匹配规则和模版内容；

2.根据权利要求1所述的网页解析方法，其特征在于，所述预先将各模版以预设存储格式统一配置在数据库中之后，所述网页解析方法还包括：

3.根据权利要求1-2中任一项所述的网页解析方法，其特征在于，所述模版内容还包括调用指令；

4.一种网页解析装置，其特征在于，包括：

预处理单元，用于预先配置好各模版，其中所述模版的模版内容包括解析规则，且不同模版具有不同的解析规则；基于预先配置好的各解析规则，在不同网页在同一平台上解析时，对于其中每一个网页，都直接从预先配置好的各解析规则中去调取出与之匹配的解析规则来对本网页进行解析，而无需重新启动线上程序去完成与之匹配的解析规则的配置；

第一解析单元，用于利用所述查找单元查找到的模版中的解析规则对所述待解析网页进行解析，得到解析结果；

其中，在从预先配置好的各模版中查找同时与所述业务场景和所述URL相匹配的模版之前，所述网页解析装置还包括：预先将各模版以预设存储格式统一配置在数据库中，其中，所述数据库中各模版的存储格式采用支持嵌套结构的列式存储格式，其存储列分为域名、业务场景和模版对象，所述模版对象具体包括模版的URL正则匹配规则和模版内容；

5.根据权利要求4所述的网页解析装置，其特征在于，所述模版内容还包括调用指令；

6.一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现权利要求1至3任一项所述的网页解析方法。

7.一种处理器，所述处理器用于运行程序，其特征在于，所述程序运行时执行权利要求1至3任一项所述的网页解析方法。

8.一种电子设备，所述电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，其特征在于，处理器执行程序时实现权利要求1 至3任一项所述的网页解析方法。