CN102833258A - 网址访问方法及*** - Google Patents

网址访问方法及*** Download PDF

Info

Publication number
CN102833258A
CN102833258A CN2012103207071A CN201210320707A CN102833258A CN 102833258 A CN102833258 A CN 102833258A CN 2012103207071 A CN2012103207071 A CN 2012103207071A CN 201210320707 A CN201210320707 A CN 201210320707A CN 102833258 A CN102833258 A CN 102833258A
Authority
CN
China
Prior art keywords
url
network address
ciphertext
characteristic value
malice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103207071A
Other languages
English (en)
Other versions
CN102833258B (zh
Inventor
肖鹏
李晓波
宋申雷
刘起
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qizhi Business Consulting Co ltd
Beijing Qihoo Technology Co Ltd
360 Digital Security Technology Group Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201210320707.1A priority Critical patent/CN102833258B/zh
Publication of CN102833258A publication Critical patent/CN102833258A/zh
Priority to PCT/CN2013/082729 priority patent/WO2014032619A1/zh
Application granted granted Critical
Publication of CN102833258B publication Critical patent/CN102833258B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566URL specific, e.g. using aliases, detecting broken or misspelled links
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441Countermeasures against malicious traffic
    • H04L63/1483Countermeasures against malicious traffic service impersonation, e.g. phishing, pharming or web spoofing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种网址访问方法及***,其中方法包括:客户端获取请求访问的网址对应的网址信息;所述客户端根据所述网址信息,提取网址密文;所述客户端将所述网址密文提交给服务器;所述服务器将网址密文与数据库中存储的密文进行匹配;若网址密文与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;所述客户端根据所述恶意网址查询结果,阻断对所述网址的访问行为;若网址密文不与数据库中标记为恶意网址的密文匹配,则向所述客户端返回正常网址查询结果;所述客户端根据所述正常网址查询结果,继续进行对所述网址的访问行为。根据本实施例提供的网址访问方法及***,从而能够快速有效地拦截恶意网站。

Description

网址访问方法及***
技术领域
本发明涉及网络技术领域,具体涉及一种网址访问方法及***。
背景技术
统一资源定位符(Uniform Resource Locator,以下简称:URL)是用于完整地描述互联网上网页和其他资源的地址的一种标识方法。在互联网中,每一个网页都具有一个唯一URL,这种地址可以是本地磁盘,也可以是局域网上的某一台计算机,更多的是互联网上的站点。简单地说,URL就是网页地址,俗称“网址”。
在所有木马、恶意软件传播的途径中,有70%以上的安全威胁来源于网络浏览,主要的方式包括网页挂马、网络钓鱼、恶意下载等,各式各样的恶意网站已经严重威胁到用户个人信息安全、国家信息安全和互联网健康发展,因此针对恶意网站的实时拦截是信息安全厂商必备的核心功能。
现有技术通过构建包含恶意URL的恶意网址库来维护网页的安全浏览,该恶意网址库都存在于本地客户端,而互联网上的恶意网站却在不断更新变化,恶意网址库的生成也需要不断更新,现有技术需要依靠本地客户端不断升级新的本地恶意网址库才能保证恶意网址的拦截效果,然而本地恶意网址的升级时间周期过长,往往存在滞后性,无法及时更新互联网上层出不穷的各类恶意网址,导致无法快速有效地拦截恶意网站。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的网址访问方法和相应的网址访问***。
根据本发明的一个方面,提供了一种网址访问方法,包括:
客户端获取请求访问的网址对应的网址信息;
所述客户端根据所述网址信息,提取网址密文;
所述客户端将所述网址密文提交给服务器;
所述服务器将网址密文与数据库中存储的密文进行匹配;
若网址密文与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;所述客户端根据所述恶意网址查询结果,阻断对所述网址的访问行为;
若网址密文不与数据库中标记为恶意网址的密文匹配,则向所述客户端返回正常网址查询结果;所述客户端根据所述正常网址查询结果,继续进行对所述网址的访问行为。
可选地,所述网址信息具体为至少一个第一URL。
可选地,所述数据库中标记为恶意网址的密文包括以下信息的一种或多种:恶意URL的特征值、恶意URL的主机名的特征值和恶意URL的子域名的特征值。
可选地,所述至少一个第一URL包括:所述请求访问的网址对应的网页的URL或所述请求访问的网址对应的网页内容中链接的URL或下载文件的URL或以上信息的任一组合。
可选地,所述客户端获取请求访问的网址对应的网址信息包括:
通过指定响应事件接口,获取所述客户端请求访问的网址对应的网页的URL。
可选地,所述客户端获取请求访问的网址对应的网址信息包括:
获得客户端的浏览器内部的页面对象;
通过调用所述页面对象的方法,获取所述客户端请求访问的网址对应的网页内容中链接的URL。
可选地,所述客户端获取请求访问的网址对应的网址信息包括:
监控所述客户端的浏览器内部与下载有关的函数;
当所述浏览器发生下载行为时,获取所述下载文件的URL。
可选地,在所述客户端根据所述网址信息,提取网址密文之前还包括:所述客户端对所述至少一个第一URL进行规范化处理。
可选地,所述客户端对所述至少一个第一URL进行规范化处理包括:
将所述第一URL中的字母大小写进行统一;
去除所述第一URL中重复多余的路径符和参数。
可选地,所述客户端根据所述网址信息,提取网址密文包括:
获取所述第一URL的主机名和所述第一URL的第一域名段;
分别计算所述第一URL的特征值、所述第一URL的主机名的特征值和所述第一URL的第一域名段的特征值;
所述第一URL的特征值、所述第一URL的主机名的特征值和所述第一URL的第一域名段的特征值即为所述网址密文。
可选地,若所述第一URL的主机名从右至左的第一级根域名为国际顶级域名,则所述第一URL的第一域名段为所述第一URL的主机名的第一级子域名;若所述第一URL的主机名从右至左的第一级根域名为国家地区顶级域名,第一级子域名包括国际顶级域名,则所述第一URL的第一域名段为所述第一URL的主机名的第二级子域名;若所述第一URL的主机名使用了动态域名,则所述第一URL的第一域名段为第一URL的主机名从动态域名开始,向右提取的下一级子域名。
可选地,所述若网址密文与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果具体为:若所述至少一个第一URL中任一第一URL的特征值、所述至少一个第一URL中任一第一URL的主机名的特征值和所述至少一个第一URL中任一第一URL的第一域名段的特征值中的任一个与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果。
可选地,所述服务器将网址密文与数据库中存储的密文进行匹配包括:
将所述至少一个第一URL中任一第一URL的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;
若所述至少一个第一URL中任一第一URL的特征值不与数据库中标记为恶意网址的密文匹配,则将所述至少一个第一URL中任一第一URL的主机名的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的主机名的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;
若所述至少一个第一URL中任一第一URL的主机名的特征值不与数据库中标记为恶意网址的密文匹配,则将所述至少一个第一URL中任一第一URL的第一域名段的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的第一域名段的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;若所述至少一个第一URL中任一第一URL的第一域名段的特征值不与数据库中标记为恶意网址的密文匹配,则向所述客户端返回正常网址查询结果。
可选地,还包括构建所述数据库的步骤;
所述构建数据库的步骤包括:
获取已知为恶意网址且第一域名段相同的至少一个第二URL;
获取所述至少一个第二URL中包含子域名级数最高的第三URL,从右至左逐级追溯第三URL所包含的子域名,提取至少一级子域名;
若所述第二URL的第一域名段属于预设的可信名单,将所述每个第二URL的特征值和每个第二URL的主机名的特征值标记为恶意网址的密文,存储在数据库中;
若所述第二URL的第一域名段属于预设的不可信名单,获取至少一个第二URL中包含子域名级数最低的第四URL,将所述每个第二URL的特征值、每个第二URL的主机名的特征值以及除了各个第二URL的主机名以外的追溯提取的至少一级子域名中级数高于第四URL的子域名的特征值标记为恶意网址的密文,存储在数据库中。
可选地,所述追溯提取的至少一级子域名的级数为设定阈值。
根据本发明的另一方面,提供了一种网址访问***,包括:客户端和服务器;
所述客户端包括:
监控模块,用于获取请求访问的网址对应的网址信息;
提取模块,用于根据所述网址信息,提取网址密文;
通信模块,用于将所述网址密文提交给服务器;
保护模块,用于根据服务器返回的恶意网址查询结果,阻断对所述网址的访问行为;
访问模块,用于根据服务器返回的正常网址查询结果,继续进行对所述网址的访问行为。
所述服务器包括:
数据库,用于存储密文;
查询模块,用于将网址密文与数据库中存储的密文进行匹配;若网址密文与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;若网址密文不与数据库中标记为恶意网址的密文匹配,则向所述客户端返回正常网址查询结果。
可选地,所述监控模块具体用于获取请求访问的网址对应的至少一个第一URL,所述至少一个第一URL包括:所述请求访问的网址对应的网页的URL或所述请求访问的网址对应的网页内容中链接的URL或下载文件的URL或以上信息的任一组合;
所述数据库中标记为恶意网址的密文包括以下信息的一种或多种:恶意URL的特征值、恶意URL的主机名的特征值和恶意URL的子域名的特征值。
可选地,所述监控模块包括:
第一监控单元,用于通过指定响应事件接口,获取所述客户端请求访问的网址对应的网页的URL。
可选地,所述监控模块包括:
第二监控单元,用于获得客户端的浏览器内部的页面对象;通过调用所述页面对象的方法,获取所述客户端请求访问的网址对应的网页内容中链接的URL。
可选地,所述监控模块包括:
第三监控单元,用于监控所述客户端的浏览器内部与下载有关的函数;当所述浏览器发生下载行为时,获取所述下载文件的URL。
可选地,所述客户端还包括:处理模块,用于对所述至少一个第一URL进行规范化处理。
可选地,所述处理模块包括:
统一单元,用于将所述第一URL中的字母大小写进行统一;
去除单元,用于去除所述第一URL中重复多余的路径符和参数。
可选地,所述提取模块包括:
获取单元,用于获取所述第一URL的主机名和所述第一URL的第一域名段;
计算单元,用于分别计算所述第一URL的特征值、所述第一URL的主机名的特征值和所述第一URL的第一域名段的特征值;
所述第一URL的特征值、所述第一URL的主机名的特征值和所述第一URL的第一域名段的特征值即为所述网址密文。
可选地,若所述第一URL的主机名从右至左的第一级根域名为国际顶级域名,则所述获取单元具体用于获取所述第一URL的主机名的第一级子域名为所述第一URL的第一域名段;若所述第一URL的主机名从右至左的第一级根域名为国家地区顶级域名,第一级子域名包括国际顶级域名,则所述获取单元具体用于获取所述第一URL的主机名的第二级子域名为所述第一URL的第一域名段;若所述第一URL使用了动态域名,则所述获取单元具体用于获取从动态域名开始,向右提取的下一级子域名为所述第一URL的第一域名段。
可选地,所述查询模块具体用于将网址密文与数据库中存储的密文进行匹配;若所述至少一个第一URL中任一第一URL的特征值、所述至少一个第一URL中任一第一URL的主机名的特征值和所述至少一个第一URL中任一第一URL的第一域名段的特征值中的任一个与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果。
可选地,所述查询模块具体用于:
将所述至少一个第一URL中任一第一URL的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;
若所述至少一个第一URL中任一第一URL的特征值不与数据库中标记为恶意网址的密文匹配,则将所述至少一个第一URL中任一第一URL的主机名的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的主机名的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;
若所述至少一个第一URL中任一第一URL的主机名的特征值不与数据库中标记为恶意网址的密文匹配,则将所述至少一个第一URL中任一第一URL的第一域名段的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的第一域名段的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;若所述至少一个第一URL中任一第一URL的第一域名段的特征值不与数据库中标记为恶意网址的密文匹配,则向所述客户端返回正常网址查询结果。
可选地,所述服务器还包括:构建模块,用于构建所述数据库;
所述构建模块包括:
第一获取单元,用于获取已知为恶意网址且第一域名段相同的至少一个第二URL;
第二获取单元,用于获取所述至少一个第二URL中包含子域名级数最高的第三URL,从右至左逐级追溯第三URL所包含的子域名,提取至少一级子域名;
第一标记单元,用于若所述第二URL的第一域名段属于预设的可信名单,将所述每个第二URL的特征值和每个第二URL的主机名的特征值标记为恶意网址的密文,存储在数据库中;
第二标记单元,用于若所述第二URL的第一域名段属于预设的不可信名单,获取至少一个第二URL中包含子域名级数最低的第四URL,将所述每个第二URL的特征值、每个第二URL的主机名的特征值以及除了各个第二URL的主机名以外的追溯提取的至少一级子域名中级数高于第四URL的子域名的特征值标记为恶意网址的密文,存储在数据库中。
根据本实施例提供的网址访问方法及***,当客户端请求访问网址时,从网址信息中提取网址密文,将网址密文提交给服务器,服务器将网址密文与数据库中存储的密文匹配,完成网址的安全查询和验证,客户端根据服务器的验证结果决定是否继续对网址的访问行为。该方法不依赖客户端本地的数据库,将网址的安全查询和验证放在服务器侧完成。由于服务器侧的数据库可以及时的更新互联网上的各类恶意网址,它的升级周期远远短于客户端本地的数据库,而且服务器侧的数据库中恶意网址的信息存储量很大,覆盖面很广,从而能够快速有效地拦截恶意网站。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的网址访问方法的流程图;
图2示出了根据本发明一个实施例的网址访问方法的流程图;
图3示出了本发明实施例中网址密文匹配过程的流程图;
图4示出了根据本发明一个实施例的网址访问***的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的网址访问方法的流程图。本实施例中,以客户端访问的网址为统一资源定位符(Universal Resource Locator,以下简称:URL)为例进行介绍。如图1所示,该方法包括如下步骤:
步骤101、客户端获取请求访问的网址对应的网址信息。
监控客户端各种类型的浏览器的网页访问行为,所请求访问的网址信息称为第一URL。该第一URL可以包括如下几种:
i.请求访问的网址对应的网页的URL;
例如,客户端请求访问“新浪”主页,该网页的URL即为:http://www.sina.com.cn/。
ii.请求访问的网址对应的网页内容中链接的URL;
在客户端请求访问的网页的内容中有可能存在一些链接网址,这些链接网址的URL也属于监控的范围。
iii.下载文件的URL。
客户端请求下载文件,该下载文件的URL也属于监控的范围。
客户端的某一网页访问行为可能涉及到以上三种URL中的一种或多种,即第一URL包括以上三种URL中的任一种或任意几种的组合。
步骤102、客户端根据网址信息,提取网址密文。
客户端根据第一URL所包含的信息,提取第一URL对应的网址密文。
步骤103、客户端将网址密文提交给服务器。
步骤104、服务器将网址密文与数据库中存储的密文进行匹配,数据库中存储的密文包括被标记为恶意网址的密文;若网址密文与数据库中标记为恶意网址的密文匹配,执行步骤105;否则,执行步骤107。
本实施例在服务器侧预先构建了数据库,该数据库中至少存储了被标记为恶意网址的密文。这些密文都是根据大量已知为恶意网址的URL而获得的。
步骤105、服务器向客户端返回恶意网址查询结果,执行步骤106。
客户端提交的网址密文与数据库中标记为恶意网址的密文匹配表明客户端要访问的第一URL为恶意网址,在此种情况下,服务器向客户端返回恶意网址查询结果。
步骤106、客户端根据恶意网址查询结果,阻断对网址的访问行为,结束。
步骤107、服务器向客户端返回正常网址查询结果,执行步骤108。
客户端提交的网址密文与数据库中标记为恶意网址的密文不匹配表明客户端要访问的第一URL为正常网址,在此种情况下,服务器向客户端返回正常网址查询结果。
步骤108、客户端根据正常网址查询结果,继续进行对网址的访问行为,结束。
根据本实施例提供的网址访问方法,当客户端请求访问网址时,从网址信息中提取网址密文,将网址密文提交给服务器,服务器将网址密文与数据库中存储的密文匹配,完成网址的安全查询和验证,客户端根据服务器的验证结果决定是否继续对网址的访问行为。该方法不依赖客户端本地的数据库,将网址的安全查询和验证放在服务器侧完成。由于服务器侧的数据库可以及时的更新互联网上的各类恶意网址,它的升级周期远远短于客户端本地的数据库,而且服务器侧的数据库中恶意网址的信息存储量很大,覆盖面很广,从而能够快速有效地拦截恶意网站。
图2示出了根据本发明一个实施例的网址访问方法的流程图。本实施例提供了一种基于云安全的网址访问方法,不依赖客户端本地的网址数据库,将网址的安全查询和验证放在服务器侧完成。如图2所示,该方法包括如下步骤:
步骤201、客户端获取请求访问的至少一个第一URL。
本实施例的至少一个第一URL可以包括上述实施例所述的三种URL中的任一种或任意几种的组合。
上述三种URL的获取方法分别描述如下:
通过指定响应事件接口,例如通过实现标准插件机制的指定响应事件接口,获取客户端请求访问的网址对应的网页的URL。例如,在IE(InternetExplorer)浏览器中使用浏览器辅助对象(Browser Helper Object,简称:BHO)插件机制,通过响应“BeforeNavigate2”事件可以获取IE当前加载的URL。在火狐(Firefox)浏览器中使用火狐扩展机制提供的指定响应事件接口,获取火狐浏览器当前加载的URL。在谷歌(chrome)浏览器中使用网景插件应用程序编程接口(Netscape Plugin Application Programming Interface,简称:NPAPI)插件机制,获取谷歌浏览器当前加载的URL。
从浏览器环境中获得浏览器访问的网页内容中的链接URL,包括但不限于页面内的超级链接地址。具体方法是,获得浏览器内部的页面对象,再通过调用页面对象的方法,获取网页内容中的链接URL。其中,可以通过浏览器提供的标准插件机制获得浏览器内部的页面对象。
从浏览器环境中获得浏览器正在下载文件的URL。具体方法是,监控浏览器内部与下载有关的函数,当发现浏览器发生下载行为时,能够分析获得下载文件的URL。其中,可以使用钩子(HOOK)机制监控浏览器内部与下载有关的函数。
步骤202、客户端对至少一个第一URL进行规范化处理。
该规范化处理过程可以包括:将第一URL中的字母大小写进行统一,包括协议、主机名、路径名、文件名和参数等信息;去除第一URL中重复多余的路径符和参数。
例如,第一URL为:HTTp://www.A.com//aBc/abc.Php?A=1。
将其中的大小写字母统一为小写:http://www.a.com//abc/abc.php?a=1;
去除其中重复多余的路径符:http://www.a.com/abc/abc.php?a=1。
步骤203、客户端根据第一URL,提取网址密文。
对于第一URL来说,第一URL本身(url)、第一URL的主机名(host)和第一URL的第一域名段(domain)是三段关键信息。在得到第一URL之后,获取第一URL的主机名和第一URL的第一域名段。其中,第一URL的主机名是去除掉第一URL中的路径符、协议头和端口号等信息之后的主机部分;第一URL的第一域名段是根据第一URL的主机名从右至左逐级追溯得到的。优选地,在获取第一URL的第一域名段时,从右至左最高追溯7级。
若第一URL的主机名从右至左的第一级根域名为国际顶级域名,则第一URL的第一域名段为第一URL的主机名的第一级子域名。其中国际顶级域名是指“com”、“net”、“org”、“edu”、“gov”等常见顶级域名。例如,第一URL的主机名为www.a.com,它从右至左的第一级根域名为“com”,那么提取它的第一级子域名“a.com”为第一URL的第一域名段。
若第一URL的主机名从右至左的第一级根域名为国家地区顶级域名,第一级子域名包括国际顶级域名,则第一URL的第一域名段为第一URL的主机名的第二级子域名。其中国家地区顶级域名是指“cn”、“hk”等特殊顶级域名。例如,第一URL的主机名为www.a.com.cn,它从右至左的第一级根域名为“cn”,第一级子域名为“com.cn”,那么提取它的第二级子域名“a.com.cn”为第一URL的第一域名段。
若第一URL的主机名使用了动态域名,则第一URL的第一域名段为第一URL的主机名从动态域名开始,向右提取的下一级子域名。其中动态域名是指一些二级或三级动态域名,如“3322.org”、“s.3322.org”、“s.3322.net”等动态域名。例如,第一URL的主机名为www.a.3322.org,它使用了动态域名“3322.org”,那么从动态域名开始,向右提取下一级子域名“a.3322.org”为第一URL的第一域名段。
本实施例分别计算上述三段关键信息的特征值作为网址密文。所述特征值可以具体为哈希值,优选地,所述特征值可以为根据消息摘要算法第五版(Message Digest Algorithm,以下简称:md5)计算得到的哈希值,或SHA1码,或CRC  (Cyclic Redundancy Check,循环冗余校验)码等可唯一标识原程序的特征码。在下面的例子中,以特征值为32位md5哈希值为例进行说明。
例如,第一URL为:http://www.a.com/abc/abc.php?a=1;根据上述方法,获取第一URL的主机名为:www.a.com;获取第一URL的第一域名段为:a.com。
计算第一URL本身的32位md5哈希值为:
md5(http://www.a.com/abc/abc.php?a=1,32)=e2a6b69ff15c6a8e276f089250ab3f7d
计算第一URL的主机名的32位md5哈希值为:
md5(www.a.com,32)=30f4a7bbefe70d75616707c80921a7e8
计算第一URL的第一域名段的32位md5哈希值为:
md5(a.com,32)=b3655bd7aad56513fcdacbd4254ed6b7
对于具有一个第一URL的情况,上述计算得到的第一URL的32位md5哈希值、第一URL的主机名的32位md5哈希值和第一URL的第一域名段的32位md5哈希值即为第一URL的网址密文。对于多个第一URL的情况,分别计算每个第一URL的上述三段关键信息的32位md5哈希值,将每个第一URL的上述三段关键信息的32位md5哈希值形成一组,从而得到包括但不限于一组32位md5哈希值的网址密文。
在上述第一URL为:http://www.a.com/abc/abc.php?a=1的例子中,得到的第一URL的一组网址密文如下:
domain|host|url
a.com|www.a.com|http://www.a.com/abc/abc.php?a=1
b3655bd7aad56513fcdacbd4254ed6b7|30f4a7bbefe70d75616707c80921a7e8|e2a6b69ff15c6a8e276f089250ab3f7d
步骤204、客户端将网址密文提交给服务器。
步骤205、服务器将网址密文与数据库中存储的密文进行匹配,数据库中存储的密文至少包括被标记为恶意网址的密文;若网址密文与数据库中标记为恶意网址的密文匹配,执行步骤206;否则,执行步骤208。
本实施例在服务器侧预先构建了网址数据库,该网址数据库中至少存储了被标记为恶意网址的密文。具体地,网址数据库中的数据键值按照网址url、网址host和网址domain三种关键信息的特征值进行存储,三种关键信息的键值可以分别按照正常网址和恶意网址进行标记。具体地,标记为恶意网址的密文包括以下信息的一种或多种:恶意URL的特征值、恶意URL的主机名的特征值和恶意URL的子域名的特征值。
网址数据库中的密文都是根据大量已知为恶意网址的URL而获得的。
本实施例中,构建网址数据库可以包括以下步骤:
(a)获取已知为恶意网址且第一域名段相同的至少一个第二URL。
在获取到大量已知为恶意网址的URL之后,按照客户端提取主机名和第一域名段的方法,获取这些恶意网址的URL的主机名和第一域名段。在这些恶意网址的URL中,经常会出现第一域名段相同的URL。例如,对于以下恶意网址的URL:
http://a.b.c.d.e.f.g.com/abc/abc1.php?a=1
http://b.c.d.e.f.g.com/abc/abc.php?a=1
http://d.e.f.g.com/abc/abc.php?a=1
其第一域名段均为g.com。在这里,以上三个URL被称为第二URL。
(b)获取至少一个第二URL中包含子域名级数最高的第三URL,从右至左逐级追溯第三URL所包含的子域名,提取至少一级子域名;
在上述例子中,三个第二URL中包含子域名级数最高的第三URL是:http://a.b.c.d.e.f.g.com/abc/abc1.php?a=1,它共包含7级子域名。从右至左逐级追溯第三URL所包含的子域名,提取到如下7级子域名:
第一级子域名:g.com
第二级子域名:f.g.com
第三级子域名:e.f.g.com
第四级子域名:d.e.f.g.com
第五级子域名:c.d.ef.g.com
第六级子域名:b.c.d.e.f.g.com
第七级子域名:a.b.c.d.e.f.g.com
优选地,本步骤追溯提取的至少一级子域名的级数为设定阈值N。由于一个域名中的多个子域名中既有恶意网址也有正常网址,一般6级以下都会出现这种情况,所以优选地,N大于或等于6。
(c)若第二URL的第一域名段属于预设的可信名单,例如,白名单,则将每个第二URL的特征值、每个第二URL的主机名的特征值标记为恶意网址的密文,存储在数据库中。
对于一些访问量较大的正常网站,例如:sina.com.cn,sohu.com等网站,可将它们写入预设的可信名单。如果第二URL的第一域名段属于这样的可信名单,那么将每个第二URL的特征值和每个第二URL的主机名的特征值标记为恶意网址的密文,存储在数据库中。
在上述例子中,如果g.com属于预设的可信名单,那么被标记为恶意网址的密文包括以下信息的特征值:
各个第二URL:
http://a.b.c.d.e.f.g.com/abc/abc1.php?a=1
http://b.c.d.e.f.g.com/abc/abc.php?a=1
http://d.e.f.g.com/abc/abc.php?a=1
各个第二URL的主机名:
a.b.c.d.e.f.g.com
b.c.d.e.f.g.com
d.e.f.g.com
将上述信息的特征值存储在云端网址数据库中,且被标记为恶意网址的密文。然而,未出现恶意网址的其他子域名的特征值,可以被标记为正常网址也存储在云端网址数据库中,包括:
g.com
f.g.com
e.f.g.com
c.d.e.f.g.com
(d)若第二URL的第一域名段属于预设的不可信名单,例如,黑名单,则获取至少一个第二URL中包含子域名级数最低的第四URL,将每个第二URL的特征值、每个第二URL的主机名的特征值以及除了各个第二URL的主机名以外的追溯提取的至少一级子域名中级数高于第四URL的子域名的特征值标记为恶意网址的密文,存储在数据库中。
对于一些访问量很小的网站,可以将它们写入不可信名单。如果第二URL的第一域名段属于这样的不可信名单,那么获取至少一个第二URL中包含子域名级数最低的第四URL,将每个第二URL的特征值、每个第二URL的主机名的特征值以及除了各个第二URL的主机名以外的追溯提取的至少一级子域名中级数高于第四URL的子域名的特征值标记为恶意网址的密文,存储在数据库中。
在上述例子中,如果g.com属于预设的不可信名单,获取其中包含子域名级数最低的第四URL为:http://www.d.e.f.g.com/abc/abc.php?a=1,它共包含4级子域名,那么被标记为恶意网址的密文包括以下信息的特征值:
各个第二URL:
http://a.b.c.d.e.f.g.com/abc/abc1.php?a=1
http://b.c.d.e.f.g.com/abc/abc.php?a=1
http://d.e.f.g.com/abc/abc.php?a=1
各个第二URL的主机名:
a.b.c.d.e.f.g.com
b.c.d.e.f.g.com
d.e.f.g.com
所述追溯提取的至少一级子域名中级数高于第四URL的子域名包括:a.b.c.d.e.f.g.com,b.c.d.e.f.g.com,c.d.e.f.g.com,其中a.b.c.d.e.f.g.com和b.c.d.e.f.g.com是第二URL的主机名,那么除了各个第二URL的主机名以外的追溯提取的至少一级子域名中级数高于第四URL的子域名就是:
c.d.e.f.g.com
将上述信息的特征值存储在云端网址数据库中,且被标记为恶意网址的密文。然而,未出现恶意网址的其他子域名的特征值,可以被标记为正常网址也存储在云端网址数据库中,包括:
g.com
f.g.com
e.f.g.com
本步骤所提到的特征值应该是与客户端所提交的特征值是相同类型的。该特征值可以具体为哈希值,优选地,该特征值可以为根据md5算法计算得到的哈希值。
服务器将客户端提交的网址密文与云端网址数据库中标记为恶意网址的密文匹配,具体匹配过程如下:
若至少一个第一URL中任一第一URL的特征值、至少一个第一URL中任一第一URL的主机名的特征值和至少一个第一URL中任一第一URL的第一域名段的特征值中的任一个与云端网址数据库中标记为恶意网址的密文匹配,则执行步骤206;否则,执行步骤208。
图3示出了本发明实施例中网址密文匹配过程的流程图。图3所示的匹配过程是本发明实施例一种优选的实施方式,但本发明不仅限于此。如图3所示,服务器将客户端提交的网址密文与数据库中存储的密文进行匹配的过程还可以包括如下步骤:
步骤301、将至少一个第一URL中任一第一URL的特征值与数据库中标记为恶意网址的密文进行匹配;若匹配,执行步骤206;否则,执行步骤302;
步骤302、将至少一个第一URL中任一第一URL的主机名的特征值与数据库中标记为恶意网址的密文进行匹配;若匹配,执行步骤206;否则,执行步骤303;
步骤303、将至少一个第一URL中任一第一URL的第一域名段的特征值与数据库中标记为恶意网址的密文进行匹配;若匹配,执行步骤206;否则,执行步骤208。
综上所述,上述匹配过程包括如下三种情况:
(1)至少一个第一URL的三段关键信息的特征值中的任一特征值与云端网址数据库中标记为恶意网址的密文匹配,执行步骤206;
(2)至少一个第一URL的三段关键信息的特征值都不与云端网址数据库中标记为恶意网址的密文匹配,执行步骤208;
(3)至少一个第一URL的三段关键信息的其中一特征值与云端网址数据库中标记为正常网址的密文匹配,且其他特征值都不与云端网址数据库中标记为恶意网址的密文匹配,执行步骤208。
步骤206、服务器向客户端返回恶意网址查询结果,执行步骤207。
客户端提交的网址密文与数据库中标记为恶意网址的密文匹配表明客户端要访问的第一URL为恶意网址,在此种情况下,服务器向客户端返回恶意网址查询结果。
步骤207、客户端根据恶意网址查询结果,阻断对网址的访问行为,结束。
客户端根据恶意网址查询结果,阻断对网址的访问行为,并提示用户。
步骤208、服务器向客户端返回正常网址查询结果,执行步骤209。
客户端提交的网址密文与数据库中标记为恶意网址的密文不匹配表明客户端要访问的第一URL为正常网址,在此种情况下,服务器向客户端返回正常网址查询结果。
步骤209、客户端根据正常网址查询结果,继续进行对网址的访问行为,结束。
根据本实施例提供的网址访问方法,当客户端请求访问网址时,从网址信息中提取网址密文,将网址密文提交给服务器,服务器将网址密文与数据库中存储的密文匹配,完成网址的安全查询和验证,客户端根据服务器的验证结果决定是否继续对网址的访问行为。该方法不依赖客户端本地的数据库,将网址的安全查询和验证放在服务器侧完成。由于服务器侧的数据库可以及时的更新互联网上的各类恶意网址,它的升级周期远远短于客户端本地的数据库,而且服务器侧的数据库中恶意网址的信息存储量很大,覆盖面很广,从而能够快速有效地拦截恶意网站。
图4示出了根据本发明一个实施例的网址访问***的结构示意图。如图4所示,该网址访问***包括:客户端1和服务器2。
客户端1包括:监控模块10、提取模块11、通信模块12、保护模块13和访问模块14。其中,监控模块10用于获取请求访问的网址对应的网址信息;提取模块11用于根据网址信息,提取网址密文;通信模块12用于将网址密文提交给服务器2;保护模块13用于根据服务器2返回的恶意网址查询结果,阻断对网址的访问行为;访问模块14用于根据服务器2返回的正常网址查询结果,继续进行对网址的访问行为。
服务器2包括:数据库20和查询模块21。其中,数据库20用于存储密文;查询模块21用于将网址密文与数据库20中存储的密文进行匹配;若网址密文与数据库20中标记为恶意网址的密文匹配,则向客户端1返回恶意网址查询结果;若网址密文不与数据库20中标记为恶意网址的密文匹配,则向客户端1返回正常网址查询结果。
进一步的,监控模块10具体用于获取请求访问的网址对应的至少一个第一URL,所述至少一个第一URL包括:请求访问的网址对应的网页的URL或请求访问的网址对应的网页内容中链接的URL或下载文件的URL或以上信息的任一组合。所述数据库中标记为恶意网址的密文包括以下信息的一种或多种:恶意URL的特征值、恶意URL的主机名的特征值和恶意URL的子域名的特征值。
监控模块10可以包括:第一监控单元10a,用于通过指定响应事件接口,获取客户端1请求访问的网址对应的网页的URL。
监控模块10也可以包括:第二监控单元10b,用于获得客户端1的浏览器内部的页面对象;通过调用页面对象的方法,获取客户端1请求访问的网址对应的网页内容中链接的URL。
监控模块10还可以包括:第三监控单元10c,用于监控客户端1的浏览器内部与下载有关的函数;当浏览器发生下载行为时,获取下载文件的URL。
客户端1还可以包括:处理模块15,用于对至少一个第一URL进行规范化处理。进一步的,处理模块15可以包括:统一单元15a和去除单元15b,统一单元15a用于将第一URL中的字母大小写进行统一;去除单元15b用于去除第一URL中重复多余的路径符和参数。
提取模块11可以包括:获取单元11a和计算单元11b。其中,获取单元11a用于获取第一URL的主机名和第一URL的第一域名段;计算单元11b,用于分别计算第一URL的特征值、第一URL的主机名的特征值和第一URL的第一域名段的特征值;所述第一URL的特征值、所述第一URL的主机名的特征值和所述第一URL的第一域名段的特征值即为所述网址密文。
若第一URL的主机名从右至左的第一级根域名为国际顶级域名,则获取单元11a具体用于获取第一URL的主机名的第一级子域名为第一URL的第一域名段;
若第一URL的主机名从右至左的第一级根域名为国家地区顶级域名,第一级子域名包括国际顶级域名,则获取单元11a具体用于获取第一URL的主机名的第二级子域名为第一URL的第一域名段;
若第一URL使用了动态域名,则获取单元11a具体用于获取从动态域名开始,向右提取的下一级子域名为第一URL的第一域名段。
查询模块21具体用于将网址密文与数据库20中存储的密文进行匹配;若至少一个第一URL中任一第一URL的特征值、至少一个第一URL中任一第一URL的主机名的特征值和至少一个第一URL中任一第一URL的第一域名段的特征值中的任一个与数据库20中标记为恶意网址的密文匹配,则向客户端1返回恶意网址查询结果。
作为一种优选的实施方式,该查询模块21可以具体用于:
将所述至少一个第一URL中任一第一URL的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;
若所述至少一个第一URL中任一第一URL的特征值不与数据库中标记为恶意网址的密文匹配,则将所述至少一个第一URL中任一第一URL的主机名的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的主机名的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;
若所述至少一个第一URL中任一第一URL的主机名的特征值不与数据库中标记为恶意网址的密文匹配,则将所述至少一个第一URL中任一第一URL的第一域名段的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的第一域名段的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;若所述至少一个第一URL中任一第一URL的第一域名段的特征值不与数据库中标记为恶意网址的密文匹配,则向所述客户端返回正常网址查询结果。
服务器2还包括构建模块22,该构建模块22可以包括:第一获取单元22a、第二获取单元22b、第一标记单元22c和第二标记单元22d。其中,第一获取单元22a用于获取已知为恶意网址且第一域名段相同的至少一个第二URL;第二获取单元22b用于获取至少一个第二URL中包含子域名级数最高的第三URL,从右至左逐级追溯第三URL所包含的子域名,提取至少一级子域名;第一标记单元22c用于若第二URL的第一域名段属于预设的可信名单,将每个第二URL的特征值和每个第二URL的主机名的特征值标记为恶意网址的密文,存储在数据库20中;第二标记单元22d,用于若第二URL的第一域名段属于预设的不可信名单,获取至少一个第二URL中包含子域名级数最低的第四URL,将每个第二URL的特征值、每个第二URL的主机名的特征值以及除了各个第二URL的主机名以外的追溯提取的至少一级子域名中级数高于第四URL的子域名的特征值标记为恶意网址的密文,存储在数据库20中。
根据本实施例提供的网址访问***,当客户端请求访问网址时,从网址信息中提取网址密文,将网址密文提交给服务器,服务器将网址密文与数据库中存储的密文匹配,完成网址的安全查询和验证,客户端根据服务器的验证结果决定是否继续对网址的访问行为。该方法不依赖客户端本地的数据库,将网址的安全查询和验证放在服务器侧完成。由于服务器侧的数据库可以及时的更新互联网上的各类恶意网址,它的升级周期远远短于客户端本地的数据库,而且服务器侧的数据库中恶意网址的信息存储量很大,覆盖面很广,从而能够快速有效地拦截恶意网站。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述,构造这类***所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的网址访问***中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (27)

1.一种网址访问方法,包括:
客户端获取请求访问的网址对应的网址信息;
所述客户端根据所述网址信息,提取网址密文;
所述客户端将所述网址密文提交给服务器;
所述服务器将网址密文与数据库中存储的密文进行匹配;
若网址密文与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;所述客户端根据所述恶意网址查询结果,阻断对所述网址的访问行为;
若网址密文不与数据库中标记为恶意网址的密文匹配,则向所述客户端返回正常网址查询结果;所述客户端根据所述正常网址查询结果,继续进行对所述网址的访问行为。
2.根据权利要求1所述的方法,所述网址信息具体为至少一个第一URL。
3.根据权利要求2所述的方法,所述数据库中标记为恶意网址的密文包括以下信息的一种或多种:恶意URL的特征值、恶意URL的主机名的特征值和恶意URL的子域名的特征值。
4.根据权利要求2所述的方法,所述至少一个第一URL包括:所述请求访问的网址对应的网页的URL或所述请求访问的网址对应的网页内容中链接的URL或下载文件的URL或以上信息的任一组合。
5.根据权利要求4所述的方法,所述客户端获取请求访问的网址对应的网址信息包括:
通过指定响应事件接口,获取所述客户端请求访问的网址对应的网页的URL。
6.根据权利要求4所述的方法,所述客户端获取请求访问的网址对应的网址信息包括:
获得客户端的浏览器内部的页面对象;
通过调用所述页面对象的方法,获取所述客户端请求访问的网址对应的网页内容中链接的URL。
7.根据权利要求4所述的方法,所述客户端获取请求访问的网址对应的网址信息包括:
监控所述客户端的浏览器内部与下载有关的函数;
当所述浏览器发生下载行为时,获取所述下载文件的URL。
8.根据权利要求2至7任一项所述的方法,在所述客户端根据所述网址信息,提取网址密文之前还包括:所述客户端对所述至少一个第一URL进行规范化处理。
9.根据权利要求8所述的方法,所述客户端对所述至少一个第一URL进行规范化处理包括:
将所述第一URL中的字母大小写进行统一;
去除所述第一URL中重复多余的路径符和参数。
10.根据权利要求2至7任一项所述的方法,所述客户端根据所述网址信息,提取网址密文包括:
获取所述第一URL的主机名和所述第一URL的第一域名段;
分别计算所述第一URL的特征值、所述第一URL的主机名的特征值和所述第一URL的第一域名段的特征值;
所述第一URL的特征值、所述第一URL的主机名的特征值和所述第一URL的第一域名段的特征值即为所述网址密文。
11.根据权利要求10所述的方法,若所述第一URL的主机名从右至左的第一级根域名为国际顶级域名,则所述第一URL的第一域名段为所述第一URL的主机名的第一级子域名;
若所述第一URL的主机名从右至左的第一级根域名为国家地区顶级域名,第一级子域名包括国际顶级域名,则所述第一URL的第一域名段为所述第一URL的主机名的第二级子域名;
若所述第一URL的主机名使用了动态域名,则所述第一URL的第一域名段为第一URL的主机名从动态域名开始,向右提取的下一级子域名。
12.根据权利要求10所述的方法,所述若网址密文与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果具体为:若所述至少一个第一URL中任一第一URL的特征值、所述至少一个第一URL中任一第一URL的主机名的特征值和所述至少一个第一URL中任一第一URL的第一域名段的特征值中的任一个与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果。
13.根据权利要求12所述的方法,所述服务器将网址密文与数据库中存储的密文进行匹配包括:
将所述至少一个第一URL中任一第一URL的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;
若所述至少一个第一URL中任一第一URL的特征值不与数据库中标记为恶意网址的密文匹配,则将所述至少一个第一URL中任一第一URL的主机名的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的主机名的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;
若所述至少一个第一URL中任一第一URL的主机名的特征值不与数据库中标记为恶意网址的密文匹配,则将所述至少一个第一URL中任一第一URL的第一域名段的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的第一域名段的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;若所述至少一个第一URL中任一第一URL的第一域名段的特征值不与数据库中标记为恶意网址的密文匹配,则向所述客户端返回正常网址查询结果。
14.根据权利要求3所述的方法,还包括构建所述数据库的步骤;
所述构建数据库的步骤包括:
获取已知为恶意网址且第一域名段相同的至少一个第二URL;
获取所述至少一个第二URL中包含子域名级数最高的第三URL,从右至左逐级追溯第三URL所包含的子域名,提取至少一级子域名;
若所述第二URL的第一域名段属于预设的可信名单,将所述每个第二URL的特征值和每个第二URL的主机名的特征值标记为恶意网址的密文,存储在数据库中;
若所述第二URL的第一域名段属于预设的不可信名单,获取至少一个第二URL中包含子域名级数最低的第四URL,将所述每个第二URL的特征值、每个第二URL的主机名的特征值以及除了各个第二URL的主机名以外的追溯提取的至少一级子域名中级数高于第四URL的子域名的特征值标记为恶意网址的密文,存储在数据库中。
15.根据权利要求14所述的方法,所述追溯提取的至少一级子域名的级数为设定阈值。
16.一种网址访问***,包括:客户端和服务器;
所述客户端包括:
监控模块,用于获取请求访问的网址对应的网址信息;
提取模块,用于根据所述网址信息,提取网址密文;
通信模块,用于将所述网址密文提交给服务器;
保护模块,用于根据服务器返回的恶意网址查询结果,阻断对所述网址的访问行为;
访问模块,用于根据服务器返回的正常网址查询结果,继续进行对所述网址的访问行为。
所述服务器包括:
数据库,用于存储密文;
查询模块,用于将网址密文与数据库中存储的密文进行匹配;若网址密文与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;若网址密文不与数据库中标记为恶意网址的密文匹配,则向所述客户端返回正常网址查询结果。
17.根据权利要求16所述的***,所述监控模块具体用于获取请求访问的网址对应的至少一个第一URL,所述至少一个第一URL包括:所述请求访问的网址对应的网页的URL或所述请求访问的网址对应的网页内容中链接的URL或下载文件的URL或以上信息的任一组合;
所述数据库中标记为恶意网址的密文包括以下信息的一种或多种:恶意URL的特征值、恶意URL的主机名的特征值和恶意URL的子域名的特征值。
18.根据权利要求17所述的***,所述监控模块包括:
第一监控单元,用于通过指定响应事件接口,获取所述客户端请求访问的网址对应的网页的URL。
19.根据权利要求17所述的***,所述监控模块包括:
第二监控单元,用于获得客户端的浏览器内部的页面对象;通过调用所述页面对象的方法,获取所述客户端请求访问的网址对应的网页内容中链接的URL。
20.根据权利要求17所述的***,所述监控模块包括:
第三监控单元,用于监控所述客户端的浏览器内部与下载有关的函数;当所述浏览器发生下载行为时,获取所述下载文件的URL。
21.根据权利要求17至20任一项所述的***,所述客户端还包括:处理模块,用于对所述至少一个第一URL进行规范化处理。
22.根据权利要求21所述的***,所述处理模块包括:
统一单元,用于将所述第一URL中的字母大小写进行统一;
去除单元,用于去除所述第一URL中重复多余的路径符和参数。
23.根据权利要求17至20任一项所述的***,所述提取模块包括:
获取单元,用于获取所述第一URL的主机名和所述第一URL的第一域名段;
计算单元,用于分别计算所述第一URL的特征值、所述第一URL的主机名的特征值和所述第一URL的第一域名段的特征值;
所述第一URL的特征值、所述第一URL的主机名的特征值和所述第一URL的第一域名段的特征值即为所述网址密文。
24.根据权利要求23所述的***,若所述第一URL的主机名从右至左的第一级根域名为国际顶级域名,则所述获取单元具体用于获取所述第一URL的主机名的第一级子域名为所述第一URL的第一域名段;
若所述第一URL的主机名从右至左的第一级根域名为国家地区顶级域名,第一级子域名包括国际顶级域名,则所述获取单元具体用于获取所述第一URL的主机名的第二级子域名为所述第一URL的第一域名段;
若所述第一URL使用了动态域名,则所述获取单元具体用于获取从动态域名开始,向右提取的下一级子域名为所述第一URL的第一域名段。
25.根据权利要求23所述的***,所述查询模块具体用于将网址密文与数据库中存储的密文进行匹配;若所述至少一个第一URL中任一第一URL的特征值、所述至少一个第一URL中任一第一URL的主机名的特征值和所述至少一个第一URL中任一第一URL的第一域名段的特征值中的任一个与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果。
26.根据权利要求25所述的***,所述查询模块具体用于:
将所述至少一个第一URL中任一第一URL的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;
若所述至少一个第一URL中任一第一URL的特征值不与数据库中标记为恶意网址的密文匹配,则将所述至少一个第一URL中任一第一URL的主机名的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的主机名的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;
若所述至少一个第一URL中任一第一URL的主机名的特征值不与数据库中标记为恶意网址的密文匹配,则将所述至少一个第一URL中任一第一URL的第一域名段的特征值与数据库中标记为恶意网址的密文进行匹配;若所述至少一个第一URL中任一第一URL的第一域名段的特征值与数据库中标记为恶意网址的密文匹配,则向所述客户端返回恶意网址查询结果;若所述至少一个第一URL中任一第一URL的第一域名段的特征值不与数据库中标记为恶意网址的密文匹配,则向所述客户端返回正常网址查询结果。
27.根据权利要求17所述的***,所述服务器还包括:构建模块,用于构建所述数据库;
所述构建模块包括:
第一获取单元,用于获取已知为恶意网址且第一域名段相同的至少一个第二URL;
第二获取单元,用于获取所述至少一个第二URL中包含子域名级数最高的第三URL,从右至左逐级追溯第三URL所包含的子域名,提取至少一级子域名;
第一标记单元,用于若所述第二URL的第一域名段属于预设的可信名单,将所述每个第二URL的特征值和每个第二URL的主机名的特征值标记为恶意网址的密文,存储在数据库中;
第二标记单元,用于若所述第二URL的第一域名段属于预设的不可信名单,获取至少一个第二URL中包含子域名级数最低的第四URL,将所述每个第二URL的特征值、每个第二URL的主机名的特征值以及除了各个第二URL的主机名以外的追溯提取的至少一级子域名中级数高于第四URL的子域名的特征值标记为恶意网址的密文,存储在数据库中。
CN201210320707.1A 2012-08-31 2012-08-31 网址访问方法及*** Expired - Fee Related CN102833258B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201210320707.1A CN102833258B (zh) 2012-08-31 2012-08-31 网址访问方法及***
PCT/CN2013/082729 WO2014032619A1 (zh) 2012-08-31 2013-08-30 网址访问方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210320707.1A CN102833258B (zh) 2012-08-31 2012-08-31 网址访问方法及***

Publications (2)

Publication Number Publication Date
CN102833258A true CN102833258A (zh) 2012-12-19
CN102833258B CN102833258B (zh) 2015-09-23

Family

ID=47336228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210320707.1A Expired - Fee Related CN102833258B (zh) 2012-08-31 2012-08-31 网址访问方法及***

Country Status (2)

Country Link
CN (1) CN102833258B (zh)
WO (1) WO2014032619A1 (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102984177A (zh) * 2012-12-24 2013-03-20 珠海市君天电子科技有限公司 一种识别远控木马的方法及其装置
CN103116723A (zh) * 2013-02-06 2013-05-22 北京奇虎科技有限公司 一种网址拦截处理的方法、装置和***
CN103117893A (zh) * 2013-01-22 2013-05-22 北京奇虎科技有限公司 一种网络访问行为的监控方法、装置和一种客户端设备
CN103561076A (zh) * 2013-10-28 2014-02-05 中国科学院信息工程研究所 一种基于云的网页挂马实时防护方法及***
CN103617390A (zh) * 2013-11-06 2014-03-05 北京奇虎科技有限公司 一种恶意网页判断方法、装置和***
WO2014032619A1 (zh) * 2012-08-31 2014-03-06 北京奇虎科技有限公司 网址访问方法及***
CN104021143A (zh) * 2014-05-14 2014-09-03 北京网康科技有限公司 一种记录网页访问行为的方法及装置
CN104125258A (zh) * 2013-04-28 2014-10-29 腾讯科技(深圳)有限公司 页面跳转方法、终端、服务器和***
CN105653686A (zh) * 2015-12-30 2016-06-08 赛尔网络有限公司 一种域名网址活跃度统计方法及***
WO2016101531A1 (zh) * 2014-12-24 2016-06-30 中兴通讯股份有限公司 一种域名识别方法、装置和计算机存储介质
CN103179125B (zh) * 2013-03-25 2016-08-31 北京奇虎科技有限公司 网站认证信息的显示方法及浏览器
CN106407341A (zh) * 2016-09-05 2017-02-15 努比亚技术有限公司 页面处理的方法、装置及***
CN106576058A (zh) * 2014-08-22 2017-04-19 迈克菲股份有限公司 用于检测域生成算法恶意软件和被此类恶意软件感染的***的***和方法
CN106936791A (zh) * 2015-12-31 2017-07-07 阿里巴巴集团控股有限公司 拦截恶意网址访问的方法和装置
CN107231285A (zh) * 2016-03-23 2017-10-03 北京搜狗科技发展有限公司 一种通信内容处理方法、装置及处理设备
WO2017167208A1 (zh) * 2016-03-29 2017-10-05 腾讯科技(深圳)有限公司 识别恶意网站的方法、装置及计算机存储介质
CN109194621A (zh) * 2018-08-08 2019-01-11 北京奇虎科技有限公司 流量劫持的检测方法、装置及***
CN115208677A (zh) * 2022-07-19 2022-10-18 光大科技有限公司 一种恶意网址识别方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737327B (zh) 2017-04-14 2021-11-16 阿里巴巴集团控股有限公司 拦截恶意网站的方法、装置、***和存储器

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030005157A1 (en) * 1999-11-26 2003-01-02 Edmon Chung Network address server
CN1588879A (zh) * 2004-08-12 2005-03-02 复旦大学 一种互联网内容过滤***及过滤方法
CN101692639A (zh) * 2009-09-15 2010-04-07 西安交通大学 一种基于url的不良网页识别方法
CN101958896A (zh) * 2010-09-25 2011-01-26 浙江大学 一种安全的移动widget访问网络资源方法
US20110083180A1 (en) * 2009-10-01 2011-04-07 Kaspersky Lab, Zao Method and system for detection of previously unknown malware
CN102054030A (zh) * 2010-12-17 2011-05-11 惠州Tcl移动通信有限公司 一种移动终端网页显示控制方法和装置
CN102110132A (zh) * 2010-12-08 2011-06-29 北京星网锐捷网络技术有限公司 统一资源定位符匹配查找方法、装置和网络侧设备
CN102467633A (zh) * 2010-11-19 2012-05-23 奇智软件(北京)有限公司 一种安全浏览网页的方法及其***
CN102594825A (zh) * 2012-02-22 2012-07-18 北京百度网讯科技有限公司 一种内网木马的检测方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526810B2 (en) * 2004-06-21 2009-04-28 Ebay Inc. Method and system to verify data received, at a server system, for access and/or publication via the server system
CN102571770B (zh) * 2011-12-27 2015-02-04 北京神州绿盟信息安全科技股份有限公司 中间人攻击检测方法、装置、服务器及***
CN102647417B (zh) * 2012-03-31 2017-03-29 北京奇虎科技有限公司 网络访问的实现方法、装置和***、以及网络***
CN102833258B (zh) * 2012-08-31 2015-09-23 北京奇虎科技有限公司 网址访问方法及***

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030005157A1 (en) * 1999-11-26 2003-01-02 Edmon Chung Network address server
CN1588879A (zh) * 2004-08-12 2005-03-02 复旦大学 一种互联网内容过滤***及过滤方法
CN101692639A (zh) * 2009-09-15 2010-04-07 西安交通大学 一种基于url的不良网页识别方法
US20110083180A1 (en) * 2009-10-01 2011-04-07 Kaspersky Lab, Zao Method and system for detection of previously unknown malware
CN101958896A (zh) * 2010-09-25 2011-01-26 浙江大学 一种安全的移动widget访问网络资源方法
CN102467633A (zh) * 2010-11-19 2012-05-23 奇智软件(北京)有限公司 一种安全浏览网页的方法及其***
CN102110132A (zh) * 2010-12-08 2011-06-29 北京星网锐捷网络技术有限公司 统一资源定位符匹配查找方法、装置和网络侧设备
CN102054030A (zh) * 2010-12-17 2011-05-11 惠州Tcl移动通信有限公司 一种移动终端网页显示控制方法和装置
CN102594825A (zh) * 2012-02-22 2012-07-18 北京百度网讯科技有限公司 一种内网木马的检测方法和装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014032619A1 (zh) * 2012-08-31 2014-03-06 北京奇虎科技有限公司 网址访问方法及***
CN102984177A (zh) * 2012-12-24 2013-03-20 珠海市君天电子科技有限公司 一种识别远控木马的方法及其装置
CN102984177B (zh) * 2012-12-24 2016-01-27 珠海市君天电子科技有限公司 一种识别远控木马的方法及其装置
CN103117893A (zh) * 2013-01-22 2013-05-22 北京奇虎科技有限公司 一种网络访问行为的监控方法、装置和一种客户端设备
CN103117893B (zh) * 2013-01-22 2018-06-29 北京奇虎科技有限公司 一种网络访问行为的监控方法、装置和一种客户端设备
CN103116723A (zh) * 2013-02-06 2013-05-22 北京奇虎科技有限公司 一种网址拦截处理的方法、装置和***
US9742789B2 (en) 2013-02-06 2017-08-22 Beijing Qihoo Technology Company Limited Method, device and system for intercepting web address
CN103179125B (zh) * 2013-03-25 2016-08-31 北京奇虎科技有限公司 网站认证信息的显示方法及浏览器
CN104125258A (zh) * 2013-04-28 2014-10-29 腾讯科技(深圳)有限公司 页面跳转方法、终端、服务器和***
CN103561076A (zh) * 2013-10-28 2014-02-05 中国科学院信息工程研究所 一种基于云的网页挂马实时防护方法及***
CN103561076B (zh) * 2013-10-28 2017-05-17 中国科学院信息工程研究所 一种基于云的网页挂马实时防护方法及***
CN103617390A (zh) * 2013-11-06 2014-03-05 北京奇虎科技有限公司 一种恶意网页判断方法、装置和***
CN104021143A (zh) * 2014-05-14 2014-09-03 北京网康科技有限公司 一种记录网页访问行为的方法及装置
CN106576058A (zh) * 2014-08-22 2017-04-19 迈克菲股份有限公司 用于检测域生成算法恶意软件和被此类恶意软件感染的***的***和方法
WO2016101531A1 (zh) * 2014-12-24 2016-06-30 中兴通讯股份有限公司 一种域名识别方法、装置和计算机存储介质
CN105653686A (zh) * 2015-12-30 2016-06-08 赛尔网络有限公司 一种域名网址活跃度统计方法及***
CN106936791B (zh) * 2015-12-31 2021-02-19 阿里巴巴集团控股有限公司 拦截恶意网址访问的方法和装置
CN106936791A (zh) * 2015-12-31 2017-07-07 阿里巴巴集团控股有限公司 拦截恶意网址访问的方法和装置
CN107231285A (zh) * 2016-03-23 2017-10-03 北京搜狗科技发展有限公司 一种通信内容处理方法、装置及处理设备
WO2017167208A1 (zh) * 2016-03-29 2017-10-05 腾讯科技(深圳)有限公司 识别恶意网站的方法、装置及计算机存储介质
US10834105B2 (en) 2016-03-29 2020-11-10 Tencent Technology (Shenzhen) Company Limited Method and apparatus for identifying malicious website, and computer storage medium
CN106407341A (zh) * 2016-09-05 2017-02-15 努比亚技术有限公司 页面处理的方法、装置及***
CN109194621A (zh) * 2018-08-08 2019-01-11 北京奇虎科技有限公司 流量劫持的检测方法、装置及***
CN115208677A (zh) * 2022-07-19 2022-10-18 光大科技有限公司 一种恶意网址识别方法及装置
CN115208677B (zh) * 2022-07-19 2024-01-30 光大科技有限公司 一种恶意网址识别方法及装置

Also Published As

Publication number Publication date
WO2014032619A1 (zh) 2014-03-06
CN102833258B (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
CN102833258B (zh) 网址访问方法及***
CN103607385B (zh) 基于浏览器进行安全检测的方法和装置
US9405910B2 (en) Automatic library detection
CN101964025B (zh) Xss检测方法和设备
CN102663000B (zh) 恶意网址数据库的建立方法、恶意网址的识别方法和装置
CN102663319B (zh) 下载链接安全提示方法及装置
CN102915363B (zh) 网址收藏方法和***
CN104243214B (zh) 一种数据处理的方法、装置及***
CN102970284A (zh) 用户信息处理方法和服务器
CN103647767A (zh) 一种网站信息的展示方法和装置
CN103647678A (zh) 一种网站漏洞在线验证方法及装置
CN104767747A (zh) 点击劫持安全检测方法和装置
CN109617977B (zh) 一种网页请求处理方法及装置
CN103117893A (zh) 一种网络访问行为的监控方法、装置和一种客户端设备
CN103986731A (zh) 通过图片匹配来检测钓鱼网页的方法及装置
CN103152355A (zh) 对危险网站进行提示的方法、***及客户端设备
CN105354337A (zh) 一种网络爬虫实现方法和网络爬虫***
CN103023905A (zh) 一种用于检测恶意链接的设备、方法及***
CN107276986B (zh) 一种通过机器学习保护网站的方法、装置和***
CN103152354A (zh) 对危险网站进行提示的方法、***及客户端设备
CN104468790A (zh) cookie数据的处理方法与客户端
RU2701040C1 (ru) Способ и вычислительное устройство для информирования о вредоносных веб-ресурсах
CN103617390A (zh) 一种恶意网页判断方法、装置和***
CN103036896A (zh) 用于检测恶意链接的方法及***
CN104065736A (zh) 一种url重定向方法、装置及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee after: Beijing Qizhi Business Consulting Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220324

Address after: 100016 1773, 15 / F, 17 / F, building 3, No.10, Jiuxianqiao Road, Chaoyang District, Beijing

Patentee after: Sanliu0 Digital Security Technology Group Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Beijing Qizhi Business Consulting Co.,Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150923