CN105447204A - 网址识别方法和装置 - Google Patents

网址识别方法和装置 Download PDF

Info

Publication number
CN105447204A
CN105447204A CN201610003891.5A CN201610003891A CN105447204A CN 105447204 A CN105447204 A CN 105447204A CN 201610003891 A CN201610003891 A CN 201610003891A CN 105447204 A CN105447204 A CN 105447204A
Authority
CN
China
Prior art keywords
network address
identified
junk
hidden markov
markov model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610003891.5A
Other languages
English (en)
Other versions
CN105447204B (zh
Inventor
秦铎浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201610003891.5A priority Critical patent/CN105447204B/zh
Publication of CN105447204A publication Critical patent/CN105447204A/zh
Priority to JP2016163010A priority patent/JP6216422B2/ja
Priority to US15/246,261 priority patent/US10915828B2/en
Priority to KR1020160107818A priority patent/KR101791798B1/ko
Application granted granted Critical
Publication of CN105447204B publication Critical patent/CN105447204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558—Details of hyperlinks; Management of linked annotations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Small-Scale Networks (AREA)

Abstract

本申请公开了网址识别方法和装置。所述方法的一具体实施方式包括：获取待识别网址；根据预设规则对所述待识别网址进行切分处理，并将切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识；根据所述待识别网址所对应的类型标识序列，确定所述待识别网址为非垃圾网址的概率值；根据所述概率值，生成网址识别信息。该实施方式扩大了网址识别的识别范围。

Description

网址识别方法和装置
技术领域
本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及网址识别方法和装置。
背景技术
在网络上存在着大量的垃圾网站，虚假的垃圾网站经常会诱导人们点击，以骗取点击流量，甚至是骗取用户名和密码等隐私信息。因此，需要对这些垃圾网址进行主动识别，对用户做出相应的提醒。
现有技术中，对垃圾网址的识别主要通过设置网页白名单、设置网页黑名单或者识别从网站抓取的网页内容等方式。然而，白名单方式无法列举所有正常网站的网址，黑名单方式则无法对新产生的垃圾网址进行识别，对抓取的网页内容进行识别则可能因为网站设置了禁止抓取或者克隆正常站点骗取用户密码的伪造网站等情形而无法准确识别垃圾网址。因此，需要扩大垃圾网址识别的识别范围。
发明内容
本申请的目的在于提出一种改进的网址识别方法和装置，来解决以上背景技术部分提到的技术问题。
第一方面，本申请提供了一种网址识别方法，所述方法包括：获取待识别网址；根据预设规则对所述待识别网址进行切分处理，并将切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识；根据所述待识别网址所对应的类型标识序列，确定所述待识别网址为非垃圾网址的概率值；根据所述概率值，生成网址识别信息。
在一些实施例中，所述根据所述待识别网址所对应的类型标识序列，确定所述待识别网址为非垃圾网址的概率值，包括：将所述类型标识序列作为隐马尔可夫模型的观测序列，并根据前向算法以及预先训练的隐马尔可夫模型参数计算所述观测序列对应的概率值；将计算出的概率值作为所述待识别网址为非垃圾网址的概率值。
在一些实施例中，在所述获取待识别网址之前，所述方法还包括：从日志服务器中获取非垃圾网址集合；根据预设规则对所述非垃圾网址集合中的每个网址进行切分处理，并将每个网址切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识，以生成包含每个网址对应的类型标识序列的类型标识序列集合；将所述类型标识序列集合作为隐马尔可夫模型的待训练观测序列集合，并根据最大期望算法确定隐马尔可夫模型参数；将确定的隐马尔模型参数作为预先训练的隐马尔科夫模型参数，或者根据确定的隐马尔科夫模型参数对预先训练的隐马尔科夫模型参数进行更新。
在一些实施例中，所述最大期望算法为前向后向算法。
在一些实施例中，所述根据所述概率值，生成网址识别信息，包括：响应于所述概率值大于预设概率阈值，生成非垃圾网址提醒信息。
在一些实施例中，所述根据所述概率值，生成网址识别信息，包括：响应于所述概率值小于预设概率阈值，生成垃圾网址提醒信息。
在一些实施例中，在所述响应于所述概率值小于预设概率阈值，生成垃圾网址提醒信息之后，所述方法还包括：接收用户对所述待识别网址是垃圾网址或非垃圾网址的确认信息；将确认为非垃圾网址的待识别网址对应的类型标识序列作为隐马尔可夫模型的待训练观测序列，并通过最大期望算法对预先训练的隐马尔可夫模型参数进行更新。
第二方面，本申请提供了一种网址识别装置，所述装置包括：获取单元，配置用于获取待识别网址；切分转换单元，配置用于根据预设规则对所述待识别网址进行切分处理，并将切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识；概率确定单元，配置用于根据所述待识别网址所对应的类型标识序列，确定所述待识别网址为非垃圾网址的概率值；生成单元，配置用于根据所述概率值，生成网址识别信息。
在一些实施例中，所述概率确定单元包括：计算子单元，配置用于将所述类型标识序列作为隐马尔可夫模型的观测序列，并根据前向算法以及预先训练的隐马尔可夫模型参数计算所述观测序列对应的概率值；概率确定子单元，配置用于将计算出的概率值作为所述待识别网址为非垃圾网址的概率值。
在一些实施例中，所述装置还包括：非垃圾网址集合获取单元，配置用于从日志服务器中获取非垃圾网址集合；非垃圾网址集合切分转换单元，配置用于根据预设规则对所述非垃圾网址集合中的每个网址进行切分处理，并将每个网址切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识，以生成包含每个网址对应的类型标识序列的类型标识序列集合；模型参数计算单元，配置用于将所述类型标识序列集合作为隐马尔可夫模型的待训练观测序列集合，并根据最大期望算法确定隐马尔可夫模型参数；模型参数确定与更新单元，配置用于将确定的隐马尔模型参数作为预先训练的隐马尔科夫模型参数，或者根据确定的隐马尔科夫模型参数对预先训练的隐马尔科夫模型参数进行更新。
在一些实施例中，所述最大期望算法为前向后向算法。
在一些实施例中，所述生成单元进一步配置用于响应于所述概率值大于预设概率阈值，生成非垃圾网址提醒信息。
在一些实施例中，所述生成单元进一步配置用于响应于所述概率值小于预设概率阈值，生成垃圾网址提醒信息。
在一些实施例中，所述装置还包括：确认信息接收单元，配置用于接收用户对所述待识别网址是垃圾网址或非垃圾网址的确认信息；参数调整单元，配置用于将确认为非垃圾网址的待识别网址对应的类型标识序列作为隐马尔可夫模型的待训练观测序列，并通过最大期望算法对预先训练的隐马尔可夫模型参数进行更新。
本申请提供的网址识别方法和装置，将待识别网址转换成对应的类型标识序列并根据该类型标识序列计算待识别网址为非垃圾网址的概率以生成网址识别信息，将待识别网址转换为对应的类型标识序列再进行识别，只需根据类型标识序列即可进行识别，不需要预先存储与待识别网址完全对应的历史网址，从而扩大了网址识别的识别范围。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性***架构图；
图2是根据本申请的网址识别方法的一个实施例的流程图；
图3是根据本申请的网址识别方法的一个应用场景的示意图；
图4是根据本申请的网址识别方法的又一个实施例的流程图；
图5是根据本申请的网址识别装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的终端设备或服务器的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的网址识别方法或网址识别装置的实施例的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、安全类应用等。
终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(MovingPictureExpertsGroupAudioLayerIII，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExpertsGroupAudioLayerIV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的网页或其他应用数据提供支持的后台服务器。后台服务器可以对接收到的网址等数据进行分析等处理，并将处理结果(例如网址识别信息)反馈给终端设备。
需要说明的是，本申请实施例所提供的网址识别方法一般由服务器105执行，部分步骤也可以由终端设备实现；相应地，网址识别装置一般设置于服务器105中，部分单元也可以设置在终端设备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的网址识别方法的一个实施例的流程200。所述的网址识别方法，包括以下步骤：
步骤201，获取待识别网址。
在本实施例中，网址识别方法运行于其上的电子设备(例如图1所示的服务器)可以通过各种方式获取待识别网址。例如，电子设备可以通过有线连接方式或者无线连接方式从用户利用其进行网页浏览或网址检测的终端接收待识别的网址。实践中，网址一般由统一资源定位符(UniformResourceLocator，URL)来表示。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。
通常，用户可以利用终端上安装的网页浏览器来浏览网页，这时，用户可以通过直接输入网址或者点击网页浏览器中呈现的网页中的链接来向网页服务器发起网页浏览请求，网页服务器就可以获取到对应的网址，该网址可以作为待识别网址。在本实施例中，上述网页可以包括html格式、xhtml格式、asp格式、php格式、jsp格式、shtml格式、nsp格式、xml格式的网页或者其它未来将开发的格式的网页(只要这种格式的网页文件可以用浏览器打开并浏览其包含的图片、动画、文字等内容)。本领域技术人员可以想到，网页服务器可以将待识别网址发送给上述电子设备从而使上述电子设备获取到待识别网址，或者网页服务器本身也可以作为上述电子设备执行本实施例所描述的方法。
用户也可以通过终端设备上带有垃圾网址识别功能的安全类应用输入网址，安全类应用在接收到网址后可以将待识别的网址发送给对应的应用服务器。该应用服务器可以作为上述电子设备执行本实施例所描述方法。
需要说明的是，待识别网址也可以预先存储在电子设备中或是电子设备从其他服务器处获取的。
步骤202，根据预设规则对待识别网址进行切分处理，并将切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识。
在本实施例中，基于步骤201中得到的待识别网址，上述电子设备(例如图1所示的服务器105)可以首先对待识别网址进行切分处理。切分的方法可以依据预先设定的规则进行。预先设定的规则可以包括分割符切分规则以及其他切分规则。实际切分时，单子设备可以调用切分函数进行切分处理，例如使用Python语言时可以调用***提供的urlparse函数进行切分。切分处理后，网址切分后的各部分通常可以包括主机名、路径、请求参数的键名(key)和键值(value)，也可以包含其他参数。
然后，电子设备将切换后的各部分转换成与各网址部分的内容类型对应的类型标识。可选的，各部分的内容类型可以包括网址(URI)类型、非ASCII码类型、word类型、空格类型、控制字符类型、保留字符类型以及other类型。各种内容类型的含义以及对应的类型标识可以如下表所示。
其中，保留字符是指有特定含义的字符，例如/是网址分隔符，不需要转换成对应的类型标识；other类型是不同于以上类型的其他内容类型，若除other类型以外的其他类型已对所有的内容进行类型划分，other类型可以为空。
需要说明的是，以上对内容类型的划分以及对应的类型标识仅为一种示例，本领域技术人员可以想到，还可以通过其他规则对网址的各部分划分类型并转化成对应的类型标识。
通过以上过程，电子设备可以通过步骤202获得待识别网址所对应的类型标识序列。
步骤203，根据待识别网址所对应的类型标识序列，确定待识别网址为非垃圾网址的概率值。
在本实施例中，基于步骤202的切分和转换操作，可以获得待识别网址对应的类型标识序列，电子设备可以在步骤203进一步根据该类型标识序列计算待识别网址为垃圾网址的概率。可选的，电子设备可以通过对大量的垃圾网址和非垃圾网址进行统计，获得每一种类型标识序列为非垃圾网址的概率值。
步骤204，根据上述概率值，生成网址识别信息。
在本实施例中，上述电子设备在根据步骤203获得待识别网址为非垃圾网址对应的概率值后，可以根据该概率值生成对应的网址识别信息。通常，概率值越高，则该网址为垃圾网址的可能性越低；概率值越低，则该网址为垃圾网址的可能性越高。电子设备可以设置一个或多个概率阈值，并根据上述概率值与概率阈值之间的大小关系确定生成何种网址识别信息。该网址识别信息用于显示识别结果的信息，例如可以是垃圾网址提醒信息或者是安全网址提醒信息。
继续参见图3，图3是根据本实施例的网址识别方法的应用场景的一个示意图。如图3所示，用户可以在终端设备上通过网址识别应用界面上的网址输入区域301输入待识别网址，在点击界面上的“检测”按钮后，就可以将待识别网址发送给后台服务器，后台服务器可以后台获取该待识别网址；接着，后台服务器可以将待识别网址转化成对应的类型标识序列，再根据类型标识序列计算待识别网址为垃圾网址的概率；然后，后台服务器可以根据该概率生成网址识别信息；最后，后台服务器可以将该网址识别信息返回到终端设备，终端设备即可在显示区域302处显示对应的网址识别信息。
本申请的上述实施例提供的方法通过将网址转换成对应的类型标识序列再进行识别，使得识别过程所处理的数据量明显减少，提高网址识别的效率。同时，这种方式只需根据类型标识序列即可进行识别，无需事先存储有与待识别网址完全对应的网址，从而扩大了网址识别的识别范围。
进一步参考图4，其示出了网址识别方法的又一个实施例的流程400。该网址识别方法的流程400，包括以下步骤：
步骤401，获取待识别网址。
在本实施例中，步骤401与图2对应实施例的步骤201基本相同，这里不再赘述。
步骤402，根据预设规则对待识别网址进行切分处理，并将切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识。
在本实施例中，步骤402与图2对应实施例的步骤202基本相同，这里不再赘述。
步骤403，将类型标识序列作为隐马尔可夫模型的观测序列，并根据前向算法以及预先训练的隐马尔可夫模型参数计算观测序列对应的概率值。
在本实施例中，基于步骤402的切分与转换操作，可以获得待识别网址对应的类型标识序列，步骤403使用隐马尔可夫模型对其进行进一步处理。首先，将上述类型标识序列作为隐马尔可夫模型的观测序列，隐马尔可夫模型的模型参数则可以是通过预先训练获得的。模型参数可以包括隐马尔可夫模型的初始状态概率矩阵、隐含状态转移概率矩阵和观测状态转移概率矩阵。之后，在确定隐马尔可夫模型的模型参数以及观测序列后，电子设备可以通过适用于隐马尔可夫模型的前向算法以及上述模型参数计算该观测序列所对应的概率值。在给定隐马尔可夫模型的模型参数以及观测序列的情况下，使用前向算法计算观测序列对应的概率值属于本领域现有技术，这里不再赘述。
在本实施例的一些可选实现方式中，电子设备可以通过模型训练步骤以获取上述预先训练的隐马尔可夫模型参数，具体步骤包括：
首先，从日志服务器中获取非垃圾网址集合。其中，日志服务器中存储有大量的网址，该网址可以是日志服务器预先从其他分散的服务器中获取的。日志服务器中可以设定标志对垃圾网址与非垃圾网址进行区分。电子设备根据非垃圾网址对应的标志即可获取非垃圾网址集合。
其次，电子设备可以根据预设规则对非垃圾网址集合中的每个网址进行切分处理，并将每个网址切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识，以生成包含每个网址对应的类型标识序列的类型标识序列集合。其中，对非垃圾网址集合中单个网址的切分以及网址各部分的转换可以与图2对应实施例中步骤202相同，这里不再赘述。
然后，电子设备可以将上述类型标识序列集合作为隐马尔模型中待训练的观测序列，并采用最大期望算法确定这些待训练的观测序列对应的隐马尔可夫模型参数。通过最大期望算法计算隐马尔可夫模型参数是本领域的现有技术，这里不再赘述。
最后，将确定的隐马尔模型参数作为预先训练的隐马尔科夫模型参数，或者根据确定的隐马尔科夫模型参数对预先训练的隐马尔科夫模型参数进行更新。在对预先训练的隐马尔科夫模型参数进行更新时，可以对当前确定的隐马尔可夫模型参数的权重设置较大的值，以提高更新后隐马尔可夫模型参数的实时性。
可选的，上述最大期望算法可以采用前向后向算法，以提高模型参数的计算速度，从而减少通过训练获取隐马尔可夫模型参数的时间。
步骤404，将计算出的概率值作为待识别网址为非垃圾网址的概率值。
在本实施例中，基于步骤403计算出的概率值，电子设备可以将该概率值作为待识别网址为非垃圾网址的概率值。通常上述模型的参数可以是通过对正常网址的统计或训练获得的，因此获得的概率值可以作为待识别网址为非垃圾网址的概率。
步骤405，根据所述概率值，生成网址识别信息。
在本实施例中，上述电子设备在获得待识别网址为非垃圾网址对应的概率值后，可以根据该概率值生成对应的网址识别信息。
在本实施例的一些可选实现方式中，步骤405可以包括：响应于概率值大于预设概率阈值，生成非垃圾网址提醒信息。
从图4中可以看出，与图2对应的实施例相比，本实施例中的网址识别方法的流程400突出了根据使用隐马尔可夫模型将类型标识序列作为观测序列以计算待识别网址为非垃圾网址的概率。由此，本实施例描述的方案可以进一步提高识别的准确性与速度。
在本实施例的一些可选实现方式中，步骤405可以包括：响应于概率值大于预设概率阈值，生成非垃圾网址提醒信息。可选的，该实现方式在生成非垃圾网址提醒信息后，还可以包括以下步骤：
接收用户对待识别网址是垃圾网址或非垃圾网址的确认信息；将确认为非垃圾网址的待识别网址对应的类型标识序列作为隐马尔可夫模型的待训练观测序列，并通过最大期望算法对预先训练的隐马尔可夫模型参数进行更新。
其中，电子设备可以通过控件或其他交互方式接收用户对待识别网址是垃圾网址或非垃圾网址的确认信息。例如，电子设备可以提供显示有“垃圾网址”与“非垃圾网址”两个按钮控件供用户点击。当用户点击“非垃圾网址时”，对应的确认信息为非垃圾网址确认信息；当用户点击“垃圾网址时”，对应的确认信息为垃圾网址确认信息。当确认信息将待识别网址确认为非垃圾网址时，说明将正常网址误识为别垃圾网址，因此可以将该误识别为垃圾网址的待识别网址所对应的类型标识序列作为训练数据对预先训练的隐马尔可夫模型参数进行更新，相应的方法是将该类型标识序列作为隐马尔可夫模型的待训练观测序列并通过最大期望算法对预先训练的隐马尔可夫模型参数进行更新。根据最大期望算法以及待训练观测序列对模型参数进行更新属于现有技术，这里不再赘述。可选的，这里的最大期望算法也可以采用前向后向算法。这种方式使用误识别为垃圾网址的网址对隐马尔可夫模型参数进行更新，提高了隐马尔可夫模型参数的准确性与实时性，使得后续采用隐马尔可夫模型识别垃圾网址的准确性更高。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种网址识别装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例所述的网址识别装置500包括：获取单元501、切分转换单元502、概率确定单元503和生成单元504。其中，获取单元501配置用于获取待识别网址；切分转换单元502配置用于根据预设规则对待识别网址进行切分处理，并将切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识；概率确定单元503配置用于根据所述待识别网址所对应的类型标识序列，确定所述待识别网址为非垃圾网址的概率值；而生成单元504配置用于基于上述概率值生成网址识别信息的内容。
在本实施例中，网址识别装置500的获取单元501可以通过有线连接方式或者无线连接方式从用户利用其进行网页浏览或网址检测的终端接收待识别的网址。实践中，网址一般由统一资源定位符(UniformResourceLocator，URL)来表示。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。
在本实施例中，基于获取单元501得到的网址，上述切分转换单元502可以首先对待识别网址进行切分处理。切分的方法可以依据预先设定的规则进行。通常，电子设备可以通过分隔符对网址进行切分处理，切分后的各部分通常可以包括主机名、路径、请求参数的键名(key)和键值(value)。然后，切分转换单元502将切换后的各部分转换成与各网址部分的内容类型对应的类型标识。可选的，各部分的内容类型可以包括网址(URI)类型、非ASCII码类型、word类型、空格类型、控制字符类型、保留字符类型以及other类型。
在本实施例中，概率确定单元503可以基于待识别网址所对应的类型标识序列，进一步根据该类型标识序列计算待识别网址为垃圾网址的概率。可选的，电子设备可以通过对大量的垃圾网址和非垃圾网址进行统计，获得每一种类型标识序列为非垃圾网址的概率值。
在本实施例中，生成单元504可以基于概率确定单元503获得的概率值生成对应的网址识别信息。
本领域技术人员可以理解，上述网址识别装置500还包括一些其他公知结构，例如处理器、存储器等，为了不必要地模糊本公开的实施例，这些公知的结构在图5中未示出。
下面参考图6，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机***600的结构示意图。
如图6所示，计算机***600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有***600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、切分转换单元、概率确定单元和生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取待识别网址的单元”。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：获取待识别网址；根据预设规则对所述待识别网址进行切分处理，并将切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识；根据所述待识别网址所对应的类型标识序列，确定所述待识别网址为非垃圾网址的概率值；根据所述概率值，生成网址识别信息。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种网址识别方法，其特征在于，所述方法包括：
获取待识别网址；
根据预设规则对所述待识别网址进行切分处理，并将切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识；
根据所述待识别网址所对应的类型标识序列，确定所述待识别网址为非垃圾网址的概率值；
根据所述概率值，生成网址识别信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述待识别网址所对应的类型标识序列，确定所述待识别网址为非垃圾网址的概率值，包括：
将所述类型标识序列作为隐马尔可夫模型的观测序列，并根据前向算法以及预先训练的隐马尔可夫模型参数计算所述观测序列对应的概率值；
将计算出的概率值作为所述待识别网址为非垃圾网址的概率值。
3.根据权利要求2所述的方法，其特征在于，在所述获取待识别网址之前，所述方法还包括：
从日志服务器中获取非垃圾网址集合；
根据预设规则对所述非垃圾网址集合中的每个网址进行切分处理，并将每个网址切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识，以生成包含每个网址对应的类型标识序列的类型标识序列集合；
将所述类型标识序列集合作为隐马尔可夫模型的待训练观测序列集合，并根据最大期望算法确定隐马尔可夫模型参数；
将确定的隐马尔模型参数作为预先训练的隐马尔科夫模型参数，或者根据确定的隐马尔科夫模型参数对预先训练的隐马尔科夫模型参数进行更新。
4.根据权利要求3所述的方法，其特征在于，所述最大期望算法为前向后向算法。
5.根据权利要求2所述的方法，其特征在于，所述根据所述概率值，生成网址识别信息，包括：
响应于所述概率值大于预设概率阈值，生成非垃圾网址提醒信息。
6.根据权利要求2所述的方法，其特征在于，所述根据所述概率值，生成网址识别信息，包括：
响应于所述概率值小于预设概率阈值，生成垃圾网址提醒信息。
7.根据权利要求6所述的方法，其特征在于，在所述响应于所述概率值小于预设概率阈值，生成垃圾网址提醒信息之后，所述方法还包括：
接收用户对所述待识别网址是垃圾网址或非垃圾网址的确认信息；
将确认为非垃圾网址的待识别网址对应的类型标识序列作为隐马尔可夫模型的待训练观测序列，并通过最大期望算法对预先训练的隐马尔可夫模型参数进行更新。
8.一种网址识别装置，其特征在于，所述装置包括：
获取单元，配置用于获取待识别网址；
切分转换单元，配置用于根据预设规则对所述待识别网址进行切分处理，并将切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识；
概率确定单元，配置用于根据所述待识别网址所对应的类型标识序列，确定所述待识别网址为非垃圾网址的概率值；
生成单元，配置用于根据所述概率值，生成网址识别信息。
9.根据权利要求8所述的装置，其特征在于，所述概率确定单元包括：
计算子单元，配置用于将所述类型标识序列作为隐马尔可夫模型的观测序列，并根据前向算法以及预先训练的隐马尔可夫模型参数计算所述观测序列对应的概率值；
概率确定子单元，配置用于将计算出的概率值作为所述待识别网址为非垃圾网址的概率值。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
非垃圾网址集合获取单元，配置用于从日志服务器中获取非垃圾网址集合；
非垃圾网址集合切分转换单元，配置用于根据预设规则对所述非垃圾网址集合中的每个网址进行切分处理，并将每个网址切分后的各个网址部分转换为与各网址部分的内容类型对应的类型标识，以生成包含每个网址对应的类型标识序列的类型标识序列集合；
模型参数计算单元，配置用于将所述类型标识序列集合作为隐马尔可夫模型的待训练观测序列集合，并根据最大期望算法确定隐马尔可夫模型参数；
模型参数确定与更新单元，配置用于将确定的隐马尔模型参数作为预先训练的隐马尔科夫模型参数，或者根据确定的隐马尔科夫模型参数对预先训练的隐马尔科夫模型参数进行更新。
11.根据权利要求10所述的装置，其特征在于，所述最大期望算法为前向后向算法。
12.根据权利要求9所述的装置，其特征在于，所述生成单元进一步配置用于响应于所述概率值大于预设概率阈值，生成非垃圾网址提醒信息。
13.根据权利要求9所述的装置，其特征在于，所述生成单元进一步配置用于响应于所述概率值小于预设概率阈值，生成垃圾网址提醒信息。
14.根据权利要求13所述的装置，其特征在于，所述装置还包括：
确认信息接收单元，配置用于接收用户对所述待识别网址是垃圾网址或非垃圾网址的确认信息；
参数调整单元，配置用于将确认为非垃圾网址的待识别网址对应的类型标识序列作为隐马尔可夫模型的待训练观测序列，并通过最大期望算法对预先训练的隐马尔可夫模型参数进行更新。
CN201610003891.5A 2016-01-04 2016-01-04 网址识别方法和装置 Active CN105447204B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610003891.5A CN105447204B (zh) 2016-01-04 2016-01-04 网址识别方法和装置
JP2016163010A JP6216422B2 (ja) 2016-01-04 2016-08-23 ウェブアドレス識別方法及び装置
US15/246,261 US10915828B2 (en) 2016-01-04 2016-08-24 Website address identification method and apparatus
KR1020160107818A KR101791798B1 (ko) 2016-01-04 2016-08-24 인터넷 주소 식별 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610003891.5A CN105447204B (zh) 2016-01-04 2016-01-04 网址识别方法和装置

Publications (2)

Publication Number Publication Date
CN105447204A true CN105447204A (zh) 2016-03-30
CN105447204B CN105447204B (zh) 2017-12-12

Family

ID=55557380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610003891.5A Active CN105447204B (zh) 2016-01-04 2016-01-04 网址识别方法和装置

Country Status (4)

Country Link
US (1) US10915828B2 (zh)
JP (1) JP6216422B2 (zh)
KR (1) KR101791798B1 (zh)
CN (1) CN105447204B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107526967A (zh) * 2017-07-05 2017-12-29 阿里巴巴集团控股有限公司 一种风险地址识别方法、装置以及电子设备
CN108509441A (zh) * 2017-02-24 2018-09-07 菜鸟智能物流控股有限公司 一种地址有效性分类器的训练及其验证方法和相关装置
CN112507336A (zh) * 2020-12-15 2021-03-16 四川长虹电器股份有限公司 基于代码特征和流量行为的服务端恶意程序检测方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100061B (zh) * 2015-06-19 2018-09-04 小米科技有限责任公司 网址劫持检测的方法及装置
US10855714B2 (en) 2016-10-31 2020-12-01 KnowBe4, Inc. Systems and methods for an artificial intelligence driven agent
US10841337B2 (en) 2016-11-28 2020-11-17 Secureworks Corp. Computer implemented system and method, and computer program product for reversibly remediating a security risk
US10735470B2 (en) 2017-11-06 2020-08-04 Secureworks Corp. Systems and methods for sharing, distributing, or accessing security data and/or security applications, models, or analytics
US10523706B1 (en) * 2019-03-07 2019-12-31 Lookout, Inc. Phishing protection using cloning detection
US11368486B2 (en) * 2019-03-12 2022-06-21 Fortinet, Inc. Determining a risk probability of a URL using machine learning of URL segments
US11310268B2 (en) * 2019-05-06 2022-04-19 Secureworks Corp. Systems and methods using computer vision and machine learning for detection of malicious actions
US11418524B2 (en) 2019-05-07 2022-08-16 SecureworksCorp. Systems and methods of hierarchical behavior activity modeling and detection for systems-level security
US11144668B2 (en) * 2019-08-15 2021-10-12 International Business Machines Corporation Cognitively hiding sensitive content on a computing device
US11381589B2 (en) 2019-10-11 2022-07-05 Secureworks Corp. Systems and methods for distributed extended common vulnerabilities and exposures data management
CN110928971B (zh) * 2019-11-21 2023-05-09 深圳无域科技技术有限公司 一种提高地址识别精确度的方法及装置
US11522877B2 (en) 2019-12-16 2022-12-06 Secureworks Corp. Systems and methods for identifying malicious actors or activities
US11588834B2 (en) 2020-09-03 2023-02-21 Secureworks Corp. Systems and methods for identifying attack patterns or suspicious activity in client networks
US11528294B2 (en) 2021-02-18 2022-12-13 SecureworksCorp. Systems and methods for automated threat detection
US12034751B2 (en) 2021-10-01 2024-07-09 Secureworks Corp. Systems and methods for detecting malicious hands-on-keyboard activity via machine learning
CN114218893B (zh) * 2022-02-21 2022-05-13 湖南星汉数智科技有限公司 层次有序列表识别方法、装置、计算机设备和存储介质
US12015623B2 (en) 2022-06-24 2024-06-18 Secureworks Corp. Systems and methods for consensus driven threat intelligence
CN115665286B (zh) * 2022-12-26 2023-03-28 深圳红途科技有限公司 接口聚类方法、装置、计算机设备及存储介质
CN116016416B (zh) * 2023-03-24 2023-08-04 深圳市明源云科技有限公司 垃圾邮件识别方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080034073A1 (en) * 2006-08-07 2008-02-07 Mccloy Harry Murphey Method and system for identifying network addresses associated with suspect network destinations
US20090240670A1 (en) * 2008-03-20 2009-09-24 Yahoo! Inc. Uniform resource identifier alignment
CN104253785A (zh) * 2013-06-25 2014-12-31 腾讯科技（深圳）有限公司 危险网址识别方法、装置及***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8533270B2 (en) * 2003-06-23 2013-09-10 Microsoft Corporation Advanced spam detection techniques
US8448245B2 (en) * 2009-01-17 2013-05-21 Stopthehacker.com, Jaal LLC Automated identification of phishing, phony and malicious web sites
CN101504673B (zh) * 2009-03-24 2011-09-07 阿里巴巴集团控股有限公司 一种识别疑似仿冒网站的方法与***
JP5824429B2 (ja) * 2012-08-10 2015-11-25 日本電信電話株式会社 スパムアカウントスコア算出装置、スパムアカウントスコア算出方法、及びプログラム
US9477836B1 (en) * 2014-04-23 2016-10-25 Shape Security, Inc. Content modification in served code
US9954880B2 (en) * 2015-10-30 2018-04-24 Salesforce.Com, Inc. Protection via webpage manipulation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080034073A1 (en) * 2006-08-07 2008-02-07 Mccloy Harry Murphey Method and system for identifying network addresses associated with suspect network destinations
US20090240670A1 (en) * 2008-03-20 2009-09-24 Yahoo! Inc. Uniform resource identifier alignment
CN104253785A (zh) * 2013-06-25 2014-12-31 腾讯科技（深圳）有限公司 危险网址识别方法、装置及***

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509441A (zh) * 2017-02-24 2018-09-07 菜鸟智能物流控股有限公司 一种地址有效性分类器的训练及其验证方法和相关装置
CN107526967A (zh) * 2017-07-05 2017-12-29 阿里巴巴集团控股有限公司 一种风险地址识别方法、装置以及电子设备
WO2019007288A1 (zh) * 2017-07-05 2019-01-10 阿里巴巴集团控股有限公司 一种风险地址识别方法、装置以及电子设备
TWI682302B (zh) * 2017-07-05 2020-01-11 香港商阿里巴巴集團服務有限公司 風險地址識別方法、裝置以及電子設備
KR20200015444A (ko) * 2017-07-05 2020-02-12 알리바바 그룹 홀딩 리미티드 위험 주소 식별 방법, 장치 및 전자 디바이스
EP3637295A4 (en) * 2017-07-05 2020-04-29 Alibaba Group Holding Limited METHOD AND DEVICE FOR IDENTIFYING RISKANT ADDRESSES AND ELECTRONIC DEVICE
CN107526967B (zh) * 2017-07-05 2020-06-02 阿里巴巴集团控股有限公司 一种风险地址识别方法、装置以及电子设备
US10699076B2 (en) 2017-07-05 2020-06-30 Alibaba Group Holding Limited Risk address identification method and apparatus, and electronic device
US10762296B2 (en) 2017-07-05 2020-09-01 Alibaba Group Holding Limited Risk address identification method and apparatus, and electronic device
KR102244417B1 (ko) * 2017-07-05 2021-04-28 어드밴스드 뉴 테크놀로지스 씨오., 엘티디. 위험 주소 식별 방법, 장치 및 전자 디바이스
CN112507336A (zh) * 2020-12-15 2021-03-16 四川长虹电器股份有限公司 基于代码特征和流量行为的服务端恶意程序检测方法

Also Published As

Publication number Publication date
US20170193386A1 (en) 2017-07-06
US10915828B2 (en) 2021-02-09
KR20170081558A (ko) 2017-07-12
JP6216422B2 (ja) 2017-10-18
JP2017123141A (ja) 2017-07-13
CN105447204B (zh) 2017-12-12
KR101791798B1 (ko) 2017-10-30

Similar Documents

Publication Publication Date Title
CN105447204A (zh) 网址识别方法和装置
US10635735B2 (en) Method and apparatus for displaying information
US20190166216A1 (en) Information pushing method and device
CN105721462A (zh) 信息推送的方法和装置
AU2013289837A1 (en) Method and system for secured communication of personal information
EP4105848A1 (en) Method and apparatus for evaluating joint training model
CN105101122A (zh) 验证码输入方法和装置
CN107153716B (zh) 网页内容提取方法和装置
KR102087807B1 (ko) 문자 입력 방법 및 장치
US11244153B2 (en) Method and apparatus for processing information
CN105786207A (zh) 信息输入方法和装置
CN115564000A (zh) 二维码生成方法、装置、计算机设备及存储介质
CN111651749A (zh) 基于密码找回账号的方法、装置、计算机设备及存储介质
CN107451163B (zh) 一种动画显示方法和装置
CN107437088B (zh) 文件识别方法和装置
CN108573053B (zh) 信息推送方法、装置和***
CN105959383A (zh) 内容订阅方法和装置
CN108667915B (zh) 信息推送***、方法和装置
CN105224870A (zh) 可疑病毒应用上传的方法和装置
CN105743890B (zh) 权限信息生成方法和装置
CN112840305B (zh) 字体切换方法及相关产品
CN105739717A (zh) 信息输入方法和装置
KR102244668B1 (ko) 코드를 이용한 개인정보 자동입력 시스템 및 그 방법
CN112907360B (zh) 风险评估方法、设备、存储介质及程序产品
CN112990890B (zh) 通知消息的发送方法、服务器及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant