CN107257390A - 一种url地址的解析方法和*** - Google Patents

一种url地址的解析方法和*** Download PDF

Info

Publication number
CN107257390A
CN107257390A CN201710389709.9A CN201710389709A CN107257390A CN 107257390 A CN107257390 A CN 107257390A CN 201710389709 A CN201710389709 A CN 201710389709A CN 107257390 A CN107257390 A CN 107257390A
Authority
CN
China
Prior art keywords
app
url
url addresses
classification
classifying rules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710389709.9A
Other languages
English (en)
Other versions
CN107257390B (zh
Inventor
姜艳春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN201710389709.9A priority Critical patent/CN107257390B/zh
Publication of CN107257390A publication Critical patent/CN107257390A/zh
Application granted granted Critical
Publication of CN107257390B publication Critical patent/CN107257390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L61/00—Network arrangements, protocols or services for addressing or naming
    • H04L61/09—Mapping addresses
    • H04L61/10—Mapping addresses of different types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明特别涉及一种URL地址的解析方法和***。方法包括以下步骤：建立规则库，所述规则库中包括预设的至少一个分类规则；获取上网日志数据包含的URL地址；读取至少一个分类规则；采用并行处理方法调用至少一个分类规则对所述URL地址进行解析，生成URL地址对应的分类结果；输出所述分类结果。本实施例提出了一种URL地址的解析方法和***，可以根据解析类型自动形成对应的分类规则并建立规则库，然后采用并行处理方式调用规则库中的至少一个分类规则对URL地址进行解析，从而生成分类结果，不仅提升了解析检测的覆盖范围、提高了解析的精准程度，而且完善了深度解析的能力、大大降低了规则库拨测的成本，具有高效、低成本的优势。

Description

一种URL地址的解析方法和***
技术领域
本发明涉及数据处理领域,特别涉及一种URL地址的解析方法和***。
背景技术
在移动互联网迅猛发展，每天都有海量的上网日志产生，其中蕴含着海量的知识和用户行为信息，越来越多的数据需要进行分析、挖掘和学***衡用户的各种业务体验，发挥出现有网络的最大效益。传统DPI技术是对报文内容和协议特征进行检测的，通过常用的特征识别、关联识别、行为识别等技术来实现应用分析、用户分析、网元分析、流量管控、安全保障等功能。传统DPI技术面对***式数据增长的压力，具有以下的问题：
1、海量的上网日志日积月累，导致解析覆盖范围能力不足；加之现有对报文内容和协议特征进行检测机制也会影响解析的精准程度。
2、由于检测机制的限制，使得解析深度不足，无法识别用户的具体行为，例如浏览的具体内容、电商的具体内容操作行为、内容搜索的具体行为等。
3、当前DPI技术的检测对比规则库是采用人工拨测的方式收集，人工成本高，自动化程度很低，工作效率低，规则库的不足也影响了解析的覆盖范围。
发明内容
本发明提供了一种URL地址的解析方法和***,解决了当前DPI技术解析覆盖范围少，深度不足，生产效率低等问题。
第一方面，本发明实施例提供了一种URL地址的解析方法，方法包括以下步骤：
步骤1，建立规则库，所述规则库中包括预设的至少一个分类规则；
步骤2，获取上网日志数据包含的URL地址；
步骤3，读取所述至少一个分类规则；
步骤4，采用并行处理方法调用所述至少一个分类规则对所述URL地址进行解析，生成所述URL地址对应的分类结果；
步骤5，输出所述分类结果。
本发明提出了一种URL地址的解析方法，可以根据解析类型自动形成对应的分类规则并建立规则库，然后采用并行处理方式调用规则库中的至少一个分类规则对URL地址进行解析，从而生成分类结果，不仅提升了解析检测的覆盖范围、提高了解析的精准程度，而且完善了深度解析的能力、大大降低了规则库拨测的成本，具有高效、低成本的优势。
进一步，所述分类规则包括噪音匹配规则、App分类规则、URL分类规则、搜索引擎匹配规则、动作匹配规则和自定义规则。
上述优选实施例通过建立包括多个分类规则的规则库，可以对各种类型的URL地址进行解析，并生成对应的分类结果，从而提高本发明的应用范围，也提高了解析的成功率。
第二方面，本发明提供了一种URL地址的解析***，包括建立模块、获取模块、读取模块、解析模块和输出模块，
所述建立模块用于建立规则库，所述规则库中包括预设的至少一个分类规则；
所述获取模块用于获取上网日志数据包含的URL地址；
所述读取模块用于读取所述至少一个分类规则；
所述解析模块用于采用并行处理方法调用所述至少一个分类规则对所述URL地址进行解析，生成所述URL地址对应的分类结果；
所述输出模块用于输出所述分类结果。
本发明提出了一种基于上网日志数据中URL地址的解析***，可以根据解析类型自动形成对应的分类规则并建立规则库，然后采用并行处理方式调用规则库中的至少一个分类规则对URL地址进行解析，从而生成分类结果，不仅提升了解析检测的覆盖范围、提高了解析的精准程度，而且完善了深度解析的能力、大大降低了规则库拨测的成本，具有高效、低成本的优势。
进一步，所述分类规则包括噪音匹配规则、App分类规则、URL分类规则、搜索引擎匹配规则、动作匹配规则和自定义规则。
上述优选实施例通过建立包括多个分类规则的规则库，可以对各种类型的URL地址进行解析，并生成对应的分类结果，从而提高本发明的应用范围，也提高了解析的成功率。
本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
图1为实施例1提供的一种URL地址的解析方法的流程性示意图；
图2为实施例2提供的一种URL地址的解析方法中建立包含App分类规则的规则库的流程性示意图；
图3为实施例3提供的一种URL地址的解析方法中步骤3的流程性示意图；
图4为实施例4提供的一种URL地址的解析***的结构性示意图；
图5为实施例5提供的一种URL地址的解析***中规则更新模块的结构性示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、接口、技术之类的具体细节，以便透切理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
图1为实施例1提供的一种URL地址的解析方法的流程性示意图，如图1所示，方法包括以下步骤：
步骤1，建立规则库，所述规则库中包括预设的至少一个分类规则；
步骤2，获取上网日志数据包含的URL地址；
步骤3，读取所述至少一个分类规则；
步骤4，采用并行处理方法调用所述至少一个分类规则对所述URL地址进行解析，生成所述URL地址对应的分类结果；
步骤5，输出所述分类结果。
本实施例提出了一种基于上网日志数据中URL地址的解析方法，可以根据解析类型自动形成对应的分类规则并建立规则库，然后采用并行处理方式调用规则库中的至少一个分类规则对URL地址进行解析，从而生成分类结果，不仅提升了解析检测的覆盖范围、提高了解析的精准程度，而且完善了深度解析的能力、大大降低了规则库拨测的成本，具有高效、低成本的优势。
优选实施例中，所述分类规则包括噪音匹配规则、App分类规则、URL分类规则、搜索引擎匹配规则、动作匹配规则和自定义规则等等。所述噪音匹配规则用于判断所述URL地址是否为噪音；所述App分类规则用于判断所述URL地址是否是App对应的URL地址，若是，则对URL地址对应的App进行分类；所述URL分类规则用于判断所述URL地址是否是网页对应的URL地址，若是，则对URL地址按照网页域名或者网页的栏目信息进行分类；所述搜索引擎匹配规则用于对URL地址进行分析，生成产生URL地址的具体搜索引擎信息；所述动作匹配规则用于对所述URL地址进行分析，获取用户的行为信息，比如用户收藏商品行为、放入购物车行为、支付行为等等；所述自定义规则为根据用户需要获取的分类结果自定义的规则，比如通过自定义规则对所述URL地址进行解析，可以生成端口号、公众号名称等等。通过建立包括多个分类规则的规则库，可以对各种类型的URL地址进行解析，并生成对应的分类结果，从而提高本发明的应用范围，也提高了解析的成功率。
具体实施例中，可以设置爬取任务和具体的爬取策略，然后通过网络爬虫服务自动爬取建立每个分类规则所需要的数据，从而建立分类规则和规则库，大大降低了人工拨测的成本，提高了生产效率。具体的，比如通过网络爬虫服务从互联网***中爬取网页的内容信息，通过内容信息对URL进行分类形成URL分类规则；或者通过网络爬虫服务抓取App的特征URL，结合从App商店中爬取的App分类，形成App分类规则；或者通过网络爬虫服务抓取搜索引擎的特征关键词，形成搜索引擎匹配规则；或者通过网络爬虫服务抓取电商数据，形成动作匹配规则等等。优选实施例中，还可以对网络爬虫的数据爬取服务进行监控管理，监控爬虫的运行状态及集群资源情况，进一步提高数据爬取效果。以下通过一个具体的实施例进行说明。
图2为实施例2提供的一种URL地址的解析方法中建立包含App分类规则的规则库的流程性示意图，如图2所示，包括以下步骤：
S001，获取App名称，根据所述App名称检索预设App商店中对应的App分类信息和App地址信息；
S002，爬取所述App分类信息，并将所述App分类信息和所述App名称统一，然后将所述App分类信息和所述App名称归并到现有App分类体系；
S003，解析所述App地址信息，获取所述App的下载地址，并将下载后App安装到虚拟机上；
S004，利用模拟器模拟所述App的点击动作，通过网卡监听并获取所述App的动作请求；
S005，判断是否成功获取所述动作请求，若是，则获取所述动作请求产生的URL，并将所述URL与所述App分类信息、所述App名称关联后形成第一App分类规则，然后向预设客户端发送审核请求，并执行S006；若否，则执行S007；
S006，判断是否获取审核通过指令，若是，则将所述第一App分类规则加入到当前规则库，若否，则执行S007；
S007，生成手工梳理指令，并获取手工梳理完成的第二App分类规则，然后将所述第二App分类规则加入到当前规则库。
上述优选实施例将自动生成App分类规则和手动生成App分类规则相结合，不仅提高了规则库的建立速度，从而提高了解析效率，同时丰富了App分类规则的内容和完整性，进一步提高了解析的成功率。
图3为实施例3提供的一种URL地址的解析方法中步骤3的流程性示意图，如图3所示，所述步骤3具体包括以下步骤：
S301，从所述规则库中读取预设的至少一个分类规则，并将所述至少一个分类规则中每个分类规则均加载到数据缓存模块中；
S302，建立与每个分类规则对应的字典树，并将所述字典树保存在所述数据缓存模块中。
上述优选实施例中，数据缓存模块接收到分类规则时会在内存中开辟一定的空间，建立对应的字典树来动态存储所述分类规则，字典树可以利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，从而进一步提高步骤4的解析效率。
所述实施例3中，步骤4具体为：采用Map/Reduce并行方式依次遍历每个分类规则对应的字典树，直到生成所述URL地址对应的分类结果或者所有的字典树都遍历完毕。比如当所述分类规则包括噪音匹配规则、App分类规则、URL分类规则、搜索引擎匹配规则、动作匹配规则和自定义规则时，可以按照任意顺序依次采用上述规则对所述URL地址进行解析，直到解析成功生成分类结果，或者全部分类规则都解析完毕。
上述优选实施例采用一种基于hadoop map/reduce并行算法的解析引擎，解析引擎利用字典树存储分类规则，并利用hadoop并行运算的能力实现了字典树的并行遍历。使用这种解析引擎即节省了内存资源的消耗，又具有很高匹配效率，使得解析速度更快，解析效率更高。
优选实施例中，步骤4中，当与规则库中的任何分类规则都没有匹配成功时，还会生成解析错误或者无法识别等解析结果，步骤5中还会输出解析错误信息、无法识别信息以及分类结果信息，并将上述信息写入HDFS的文件中。
优选实施例中，若遍历所有的字典树后没有获取到分类结果，则将所述URL地址设定为未识别URL地址，并输出所述未识别URL地址。然后可以采用所述未识别URL地址对URL分类规则进行更新，具体包括以下步骤：
S501，获取所述未识别URL地址，并采用爬虫对所述未识别URL地址进行爬取生成目标URL地址；
S502，获取所述目标URL地址中的域名信息，查询预设样本规则判断能否获取与所述域名信息对应的第一URL分类结果，若可以，则将所述目标URL地址和所述第一URL分类结果加入到当前URL分类规则，若不可以，则执行S503；
S503，获取所述目标URL地址中的栏目类别信息，查询预设样本规则判断能否获取与所述栏目类别信息对应的第二URL分类结果，若可以，则将所述目标URL地址和所述第二URL分类结果加入到当前URL分类规则，若不可以，则执行S504；
S504，提取所述目标URL地址的预设目标信息，比如提取所述目标URL地址的head、meta及正文内容,然后对所述预设目标信息进行分词处理，并提取特征词,比如采用TF-IDF算法提取特征词；然后计算所述特征词与所述预设样本规则中每个URL分类结果的相似度，并获取所述特征词对应的相似度最高的第三URL分类结果，将所述目标URL地址和所述第三URL分类结果加入到当前URL分类规则。
上述优选实施例利用机器学习算法，使得规则库具有不断学习，自动更新的能力，从而进一步减少人工拨测的工作成本，提高了生产效率。
图4为实施例4提供的一种URL地址的解析***的结构性示意图，如图4所示，包括建立模块、获取模块、读取模块、解析模块和输出模块，
所述建立模块用于建立规则库，所述规则库中包括预设的至少一个分类规则；
所述获取模块用于获取上网日志数据包含的URL地址；
所述读取模块用于读取所述至少一个分类规则；
所述解析模块用于采用并行处理方法调用所述至少一个分类规则对所述URL地址进行解析，生成所述URL地址对应的分类结果；
所述输出模块用于输出所述分类结果。
本实施例提出了一种基于上网日志数据中URL地址的解析***，可以根据解析类型自动形成对应的分类规则并建立规则库，然后采用并行处理方式调用规则库中的至少一个分类规则对URL地址进行解析，从而生成分类结果，不仅提升了解析检测的覆盖范围、提高了解析的精准程度，而且完善了深度解析的能力、大大降低了规则库拨测的成本，具有高效、低成本的优势。
优选实施例中，所述读取模块具体包括：
加载单元，用于从所述规则库中读取预设的至少一个分类规则，并将所述至少一个分类规则中每个分类规则均加载到数据缓存模块中；
字典树建立单元，用于建立与每个分类规则对应的字典树，并将所述字典树保存在所述数据缓存模块中。
上述优选实施例中，数据缓存模块接收到分类规则时会在内存中开辟一定的空间，建立对应的字典树来动态存储所述分类规则，字典树可以利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，从而进一步提高了解析效率。
上述优选实施例中，所述解析模块具体用于采用Map/Reduce并行方式依次遍历每个分类规则对应的字典树，直到生成所述URL地址对应的分类结果或者所有的字典树都遍历完毕。上述优选实施例采用一种基于hadoop map/reduce并行算法的解析引擎，解析引擎利用字典树存储分类规则，并利用hadoop并行运算的能力实现了字典树的并行遍历。使用这种解析引擎即节省了内存资源的消耗，又具有很高匹配效率，使得解析速度更快，解析效率更高。
优选实施例中，所述解析模块还用于若遍历所有的字典树后没有获取到分类结果，则将所述URL地址设定为未识别URL地址，并输出所述未识别URL地址。此时，所述解析***还包括规则更新模块，所述规则更新模块用于采用所述未识别URL地址对URL分类规则进行更新。图5为实施例5提供的一种URL地址的解析***中规则更新模块的结构性示意图，如图5所示，所述规则更新模块具体包括：
第一爬虫单元，用于获取所述未识别URL地址，并采用爬虫对所述未识别URL地址进行爬取生成目标URL地址；
第一分类单元，用于获取所述目标URL地址中的域名信息，查询预设样本规则判断能否获取与所述域名信息对应的第一URL分类结果，若可以，则将所述目标URL地址和所述第一URL分类结果加入到当前URL分类规则，若不可以，则驱动第二分类单元；
第二分类单元，用于获取所述目标URL地址中的栏目类别信息，查询预设样本规则判断能否获取与所述栏目类别信息对应的第二URL分类结果，若可以，则将所述目标URL地址和所述第二URL分类结果加入到当前URL分类规则，若不可以，则驱动第三分类单元；
所述第三分类单元，用于提取所述目标URL地址的预设目标信息，对所述预设目标信息进行分词处理，并提取特征词；然后计算所述特征词与所述预设样本规则中每个URL分类结果的相似度，并获取所述特征词对应的相似度最高的第三URL分类结果，将所述目标URL地址和所述第三URL分类结果加入到当前URL分类规则。
上述优选实施例利用机器学习算法，使得规则库具有不断学习，自动更新的能力，从而进一步减少人工拨测的工作成本，提高了生产效率。
优选实施例中，所述规则库中包括App分类规则，此时，所述建立模块包括建立单元，所述建立单元用于建立包含所述App分类规则的规则库，所述建立单元具体包括：
第一获取单元，用于获取App名称，根据所述App名称检索预设App商店中对应的App分类信息和App地址信息；
第二爬虫单元，用于爬取所述App分类信息，并将所述App分类信息和所述App名称统一，然后将所述App分类信息和所述App名称归并到现有App分类体系；
下载单元，用于解析所述App地址信息，获取所述App的下载地址，并将下载后App安装到虚拟机上；
第二获取单元，用于利用模拟器模拟所述App的点击动作，通过网卡监听并获取所述App的动作请求；
控制单元，用于判断是否成功获取所述动作请求，若是，则获取所述动作请求产生的URL，并将所述URL与所述App分类信息、所述App名称关联后形成第一App分类规则，然后向预设客户端发送审核请求，并驱动自动加入单元；若否，则驱动手动加入单元；
自动加入单元，用于获取审核通过指令后，将所述第一App分类规则加入到当前规则库；
手动加入单元，用于生成手工梳理指令，并获取手工梳理完成的第二App分类规则，然后将所述第二App分类规则加入到当前规则库。
上述优选实施例将自动生成App分类规则和手动生成App分类规则相结合，不仅提高了规则库的建立速度，从而提高了解析效率，同时丰富了App分类规则的内容和完整性，进一步提高了解析的成功率。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种URL地址的解析方法，其特征在于，方法包括以下步骤：
步骤1，建立规则库，所述规则库中包括预设的至少一个分类规则；
步骤2，获取上网日志数据包含的URL地址；
步骤3，读取所述至少一个分类规则；
步骤4，采用并行处理方法调用所述至少一个分类规则对所述URL地址进行解析，生成所述URL地址对应的分类结果；
步骤5，输出所述分类结果。
2.根据权利要求1所述的URL地址的解析方法，其特征在于，所述步骤3具体包括以下步骤：
S301，从所述规则库中读取预设的至少一个分类规则，并将所述至少一个分类规则中每个分类规则均加载到数据缓存模块中；
S302，建立与每个分类规则对应的字典树，并将所述字典树保存在所述数据缓存模块中。
3.根据权利要求2所述的URL地址的解析方法，其特征在于，所述步骤4具体为：采用Map/Reduce并行方式依次遍历每个分类规则对应的字典树，直到生成所述URL地址对应的分类结果或者所有的字典树都遍历完毕；若遍历所有的字典树后没有获取到分类结果，则将所述URL地址设定为未识别URL地址，并输出所述未识别URL地址。
4.根据权利要求3所述的URL地址的解析方法，其特征在于，当分类规则包括URL分类规则时，所述方法还包括URL分类规则更新步骤，具体为：
S501，获取所述未识别URL地址，并采用爬虫对所述未识别URL地址进行爬取生成目标URL地址；
S502，获取所述目标URL地址中的域名信息，查询预设样本规则判断能否获取与所述域名信息对应的第一URL分类结果，若可以，则将所述目标URL地址和所述第一URL分类结果加入到当前URL分类规则，若不可以，则执行S503；
S503，获取所述目标URL地址中的栏目类别信息，查询预设样本规则判断能否获取与所述栏目类别信息对应的第二URL分类结果，若可以，则将所述目标URL地址和所述第二URL分类结果加入到当前URL分类规则，若不可以，则执行S504；
S504，提取所述目标URL地址的预设目标信息，对所述预设目标信息进行分词处理，并提取特征词；然后计算所述特征词与所述预设样本规则中每个URL分类结果的相似度，并获取所述特征词对应的相似度最高的第三URL分类结果，将所述目标URL地址和所述第三URL分类结果加入到当前URL分类规则。
5.根据权利要求1～4任一所述的URL地址的解析方法，其特征在于，步骤1的规则库中包括App分类规则，建立包含所述App分类规则的规则库包括以下步骤：
S001，获取App名称，根据所述App名称检索预设App商店中对应的App分类信息和App地址信息；
S002，爬取所述App分类信息，并将所述App分类信息和所述App名称统一，然后将所述App分类信息和所述App名称归并到现有App分类体系；
S003，解析所述App地址信息，获取所述App的下载地址，并将下载后App安装到虚拟机上；
S004，利用模拟器模拟所述App的点击动作，通过网卡监听并获取所述App的动作请求；
S005，判断是否成功获取所述动作请求，若是，则获取所述动作请求产生的URL，并将所述URL与所述App分类信息、所述App名称关联后形成第一App分类规则，然后向预设客户端发送审核请求，并执行S006；若否，则执行S007；
S006，判断是否获取审核通过指令，若是，则将所述第一App分类规则加入到当前规则库，若否，则执行S007；
S007，生成手工梳理指令，并获取手工梳理完成的第二App分类规则，然后将所述第二App分类规则加入到当前规则库。
6.一种URL地址的解析***，其特征在于，包括建立模块、获取模块、读取模块、解析模块和输出模块，
所述建立模块用于建立规则库，所述规则库中包括预设的至少一个分类规则；
所述获取模块用于获取上网日志数据包含的URL地址；
所述读取模块用于读取所述至少一个分类规则；
所述解析模块用于采用并行处理方法调用所述至少一个分类规则对所述URL地址进行解析，生成所述URL地址对应的分类结果；
所述输出模块用于输出所述分类结果。
7.根据权利要求6所述的URL地址的解析***，其特征在于，所述读取模块具体包括：
加载单元，用于从所述规则库中读取预设的至少一个分类规则，并将所述至少一个分类规则中每个分类规则均加载到数据缓存模块中；
字典树建立单元，用于建立与每个分类规则对应的字典树，并将所述字典树保存在所述数据缓存模块中。
8.根据权利要求7所述的URL地址的解析***，其特征在于，所述解析模块具体用于采用Map/Reduce并行方式依次遍历每个分类规则对应的字典树，直到生成所述URL地址对应的分类结果或者所有的字典树都遍历完毕；若遍历所有的字典树后没有获取到分类结果，则将所述URL地址设定为未识别URL地址，并输出所述未识别URL地址。
9.根据权利要求8所述的URL地址的解析***，其特征在于，当分类规则包括URL分类规则时，所述***还包括规则更新模块，所述规则更新模块具体包括：
第一爬虫单元，用于获取所述未识别URL地址，并采用爬虫对所述未识别URL地址进行爬取生成目标URL地址；
第一分类单元，用于获取所述目标URL地址中的域名信息，查询预设样本规则判断能否获取与所述域名信息对应的第一URL分类结果，若可以，则将所述目标URL地址和所述第一URL分类结果加入到当前URL分类规则，若不可以，则驱动第二分类单元；
第二分类单元，用于获取所述目标URL地址中的栏目类别信息，查询预设样本规则判断能否获取与所述栏目类别信息对应的第二URL分类结果，若可以，则将所述目标URL地址和所述第二URL分类结果加入到当前URL分类规则，若不可以，则驱动第三分类单元；
所述第三分类单元，用于提取所述目标URL地址的预设目标信息，对所述预设目标信息进行分词处理，并提取特征词；然后计算所述特征词与所述预设样本规则中每个URL分类结果的相似度，并获取所述特征词对应的相似度最高的第三URL分类结果，将所述目标URL地址和所述第三URL分类结果加入到当前URL分类规则。
10.根据权利要求6～9任一所述的URL地址的解析***，其特征在于，所述建立模块包括建立单元，所述建立单元用于建立包含所述App分类规则的规则库，所述建立单元具体包括：
第一获取单元，用于获取App名称，根据所述App名称检索预设App商店中对应的App分类信息和App地址信息；
第二爬虫单元，用于爬取所述App分类信息，并将所述App分类信息和所述App名称统一，然后将所述App分类信息和所述App名称归并到现有App分类体系；
下载单元，用于解析所述App地址信息，获取所述App的下载地址，并将下载后App安装到虚拟机上；
第二获取单元，用于利用模拟器模拟所述App的点击动作，通过网卡监听并获取所述App的动作请求；
控制单元，用于判断是否成功获取所述动作请求，若是，则获取所述动作请求产生的URL，并将所述URL与所述App分类信息、所述App名称关联后形成第一App分类规则，然后向预设客户端发送审核请求，并驱动自动加入单元；若否，则驱动手动加入单元；
自动加入单元，用于获取审核通过指令后，将所述第一App分类规则加入到当前规则库；
手动加入单元，用于生成手工梳理指令，并获取手工梳理完成的第二App分类规则，然后将所述第二App分类规则加入到当前规则库。
CN201710389709.9A 2017-05-27 2017-05-27 一种url地址的解析方法和*** Active CN107257390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710389709.9A CN107257390B (zh) 2017-05-27 2017-05-27 一种url地址的解析方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710389709.9A CN107257390B (zh) 2017-05-27 2017-05-27 一种url地址的解析方法和***

Publications (2)

Publication Number Publication Date
CN107257390A true CN107257390A (zh) 2017-10-17
CN107257390B CN107257390B (zh) 2020-10-09

Family

ID=60027994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710389709.9A Active CN107257390B (zh) 2017-05-27 2017-05-27 一种url地址的解析方法和***

Country Status (1)

Country Link
CN (1) CN107257390B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145220A (zh) * 2018-09-10 2019-01-04 北京知道创宇信息技术有限公司 数据处理方法、装置及电子设备
CN110322877A (zh) * 2019-05-06 2019-10-11 百度在线网络技术（北京）有限公司 语音解析方法和装置、计算机可读介质
CN110516174A (zh) * 2019-08-29 2019-11-29 百度在线网络技术（北京）有限公司 基于简易信息聚合获取正文的方法、装置及存储介质
CN110737813A (zh) * 2019-09-26 2020-01-31 苏州浪潮智能科技有限公司 一种提高爬虫效率的方法、设备及介质
CN111191103A (zh) * 2019-12-30 2020-05-22 河南拓普计算机网络工程有限公司 从互联网中识别分析企业主体信息方法、装置及存储介质
CN111258969A (zh) * 2018-11-30 2020-06-09 ***通信集团浙江有限公司 一种互联网访问日志解析方法及装置
CN111460337A (zh) * 2020-03-23 2020-07-28 武汉思普崚技术有限公司 一种url识别率的分析方法及装置
CN111953659A (zh) * 2020-07-21 2020-11-17 北京思特奇信息技术股份有限公司 一种http请求模拟处理的方法及***
CN117932175A (zh) * 2024-03-18 2024-04-26 广州番禺职业技术学院 数据解析方法、设备以及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872347A (zh) * 2009-04-22 2010-10-27 富士通株式会社 判断网页类型的方法和装置
CN103761330A (zh) * 2014-02-10 2014-04-30 赛特斯信息科技股份有限公司 基于模版配置实现互联网信息自动提取的***及方法
CN103914534A (zh) * 2014-03-31 2014-07-09 辽宁四维科技发展有限公司 基于专家***url分类知识库的文本内容分类方法
CN103970788A (zh) * 2013-02-01 2014-08-06 北京英富森信息技术有限公司 一种基于网页爬取的爬虫技术
CN104391917A (zh) * 2014-11-19 2015-03-04 四川长虹电器股份有限公司 一种增量抓取网页内容的方法
US20150286737A1 (en) * 2014-04-04 2015-10-08 Ebay Inc. System and method to share content utilizing universal link format
US9166945B1 (en) * 2010-09-16 2015-10-20 Google Inc. Content provided DNS resolution validation and use
CN106161669A (zh) * 2015-04-28 2016-11-23 阿里巴巴集团控股有限公司 一种快速域名解析方法和***、及其终端和服务器
CN106446113A (zh) * 2016-09-18 2017-02-22 成都九鼎瑞信科技股份有限公司 移动大数据解析方法及装置
WO2017052953A1 (en) * 2015-09-24 2017-03-30 Intel Corporation Client-side web usage data collection
CN106599160A (zh) * 2016-12-08 2017-04-26 网帅科技（北京）有限公司 一种内容规则库管理***及其编码方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872347A (zh) * 2009-04-22 2010-10-27 富士通株式会社 判断网页类型的方法和装置
US9166945B1 (en) * 2010-09-16 2015-10-20 Google Inc. Content provided DNS resolution validation and use
CN103970788A (zh) * 2013-02-01 2014-08-06 北京英富森信息技术有限公司 一种基于网页爬取的爬虫技术
CN103761330A (zh) * 2014-02-10 2014-04-30 赛特斯信息科技股份有限公司 基于模版配置实现互联网信息自动提取的***及方法
CN103914534A (zh) * 2014-03-31 2014-07-09 辽宁四维科技发展有限公司 基于专家***url分类知识库的文本内容分类方法
US20150286737A1 (en) * 2014-04-04 2015-10-08 Ebay Inc. System and method to share content utilizing universal link format
CN104391917A (zh) * 2014-11-19 2015-03-04 四川长虹电器股份有限公司 一种增量抓取网页内容的方法
CN106161669A (zh) * 2015-04-28 2016-11-23 阿里巴巴集团控股有限公司 一种快速域名解析方法和***、及其终端和服务器
WO2017052953A1 (en) * 2015-09-24 2017-03-30 Intel Corporation Client-side web usage data collection
CN106446113A (zh) * 2016-09-18 2017-02-22 成都九鼎瑞信科技股份有限公司 移动大数据解析方法及装置
CN106599160A (zh) * 2016-12-08 2017-04-26 网帅科技（北京）有限公司 一种内容规则库管理***及其编码方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145220B (zh) * 2018-09-10 2022-03-29 北京知道创宇信息技术股份有限公司 数据处理方法、装置及电子设备
CN109145220A (zh) * 2018-09-10 2019-01-04 北京知道创宇信息技术有限公司 数据处理方法、装置及电子设备
CN111258969B (zh) * 2018-11-30 2023-08-15 ***通信集团浙江有限公司 一种互联网访问日志解析方法及装置
CN111258969A (zh) * 2018-11-30 2020-06-09 ***通信集团浙江有限公司 一种互联网访问日志解析方法及装置
CN110322877B (zh) * 2019-05-06 2021-11-19 阿波罗智联(北京)科技有限公司 语音解析方法和装置、计算机可读介质
CN110322877A (zh) * 2019-05-06 2019-10-11 百度在线网络技术（北京）有限公司 语音解析方法和装置、计算机可读介质
CN110516174A (zh) * 2019-08-29 2019-11-29 百度在线网络技术（北京）有限公司 基于简易信息聚合获取正文的方法、装置及存储介质
CN110737813A (zh) * 2019-09-26 2020-01-31 苏州浪潮智能科技有限公司 一种提高爬虫效率的方法、设备及介质
CN110737813B (zh) * 2019-09-26 2022-07-29 苏州浪潮智能科技有限公司 一种提高爬虫效率的方法、设备及介质
CN111191103B (zh) * 2019-12-30 2021-08-24 河南拓普计算机网络工程有限公司 从互联网中识别分析企业主体信息方法、装置及存储介质
CN111191103A (zh) * 2019-12-30 2020-05-22 河南拓普计算机网络工程有限公司 从互联网中识别分析企业主体信息方法、装置及存储介质
CN111460337A (zh) * 2020-03-23 2020-07-28 武汉思普崚技术有限公司 一种url识别率的分析方法及装置
CN111460337B (zh) * 2020-03-23 2023-04-11 武汉思普崚技术有限公司 一种url识别率的分析方法及装置
CN111953659A (zh) * 2020-07-21 2020-11-17 北京思特奇信息技术股份有限公司 一种http请求模拟处理的方法及***
CN111953659B (zh) * 2020-07-21 2023-02-07 北京思特奇信息技术股份有限公司 一种http请求模拟处理的方法及***
CN117932175A (zh) * 2024-03-18 2024-04-26 广州番禺职业技术学院 数据解析方法、设备以及存储介质

Also Published As

Publication number Publication date
CN107257390B (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
CN107257390A (zh) 一种url地址的解析方法和***
US11463476B2 (en) Character string classification method and system, and character string classification device
CN110020422B (zh) 特征词的确定方法、装置和服务器
JP6860070B2 (ja) 分析装置、ログの分析方法及び分析プログラム
CN106599686A (zh) 一种基于tlsh特征表示的恶意软件聚类方法
CN107423613B (zh) 依据相似度确定设备指纹的方法、装置及服务器
CN108595583A (zh) 动态图表类页面数据爬取方法、装置、终端及存储介质
CN102148805B (zh) 特征匹配方法和装置
CN108134784A (zh) 网页分类方法及装置、存储介质及电子设备
CN107590169A (zh) 一种运营商网关数据的预处理方法及***
CN113268768B (zh) 一种敏感数据的脱敏方法、装置、设备及介质
US11836331B2 (en) Mathematical models of graphical user interfaces
CN109829302A (zh) Android恶意应用家族分类方法、装置与电子设备
CN110990563A (zh) 一种基于人工智能的传统文化素材库构建方法及***
CN113011889A (zh) 账号异常识别方法、***、装置、设备及介质
CN110675252A (zh) 风险评估方法、装置、电子设备及存储介质
CN113486664A (zh) 文本数据可视化分析方法、装置、设备及存储介质
CN103324886A (zh) 一种网络攻击检测中指纹库的提取方法和***
CN112822121A (zh) 流量识别方法、流量确定方法、知识图谱建立方法
CN109672586A (zh) 一种dpi业务流量识别方法、装置与计算机可读存储介质
CN108985052A (zh) 一种恶意程序识别方法、装置和存储介质
CN111783088A (zh) 一种恶意代码家族聚类方法、装置和计算机设备
CN106982147A (zh) 一种Web通讯应用的通讯监控方法和装置
CN109471920A (zh) 一种文本标识的方法、装置、电子设备及存储介质
CN114662109A (zh) 一种Webshell检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant