CN106104550A - 网站信息提取装置、***、网站信息提取方法以及网站信息提取程序 - Google Patents

网站信息提取装置、***、网站信息提取方法以及网站信息提取程序 Download PDF

Info

Publication number
CN106104550A
CN106104550A CN201580013640.9A CN201580013640A CN106104550A CN 106104550 A CN106104550 A CN 106104550A CN 201580013640 A CN201580013640 A CN 201580013640A CN 106104550 A CN106104550 A CN 106104550A
Authority
CN
China
Prior art keywords
url
pernicious
website
list
access log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580013640.9A
Other languages
English (en)
Inventor
佐藤徹
神谷和宪
八木毅
中田健介
千叶大纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN106104550A publication Critical patent/CN106104550A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/64—Hybrid switching systems
    • H04L12/6418—Hybrid transport
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101—Access control lists [ACL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2119—Authenticating web pages, e.g. with suspicious links

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)

Abstract

恶性URL候选提取装置(40)从包含从管理对象网络访问的访问目的地URL的访问日志中提取出排除对已知的恶性URL的访问日志而得到的已知恶性URL排除完毕访问日志。而且，恶性URL候选提取装置(40)创建从已知恶性URL排除完毕访问日志所示出的URL中优先提取源自管理对象网络的访问数少的URL而得到的少用URL列表。另外，恶性URL候选提取装置(40)创建从规定期间内的源自管理对象网络的访问数多的URL开始优先排除的常用URL排除完毕列表。而且，恶性URL候选提取装置(40)输出这些列表作为恶性URL候选列表。

Description

网站信息提取装置、***、网站信息提取方法以及网站信息提 取程序
技术领域
本发明涉及网站信息提取装置、***、网站信息提取方法以及网站信息提取程序。
背景技术
以往，有瞄准特定的组织或其管理对象网络的被称为“目标型攻击”的类型的攻击。多次报告如下情况：在该目标型攻击中，为了躲避基于一般公开的恶性URL(UniformResource Locator：统一资源定位符)列表的对策，攻击者准备未登记在该列表中的恶性URL。作为针对这样的目标型攻击的对策，需要“按照组织的恶性URL列表”。为了创建该“按照组织的恶性URL列表”，需要按照组织准备恶性URL候选列表，且由恶性URL检查***等进行检查。
现有技术文献
专利文献
专利文献1：日本特开2012-118713号公报
发明内容
发明要解决的课题
在此，由恶性URL检查***能够检查的URL的数量有限。因此，该***的管理员等需要在某种程度上缩减恶性URL候选的数量。另外，在以往技术(例如参照专利文献1)中生成的恶性URL候选列表因为一般仅基于公开的恶性URL列表，因此未反映按照组织的特征。因而，目标型攻击等对特定组织使用的恶性URL有可能从恶性URL检查***的检查中遗漏。
因此，本发明的课题在于解决上述的问题且提取在特定组织中被怀疑是恶性URL的恶性URL候选的列表。
用于解决课题的手段
为了解决上述的课题并达成目的，本发明的特征在于，具有：访问日志储存部，其储存访问日志，其中所述访问日志包含从管理对象网络访问的访问目的地网站的信息；已知恶性网站排除部，其从所述访问日志中提取已知恶性网站排除完毕访问日志，其中所述已知恶性网站排除完毕访问日志是排除将已知的恶性网站作为访问目的地的访问日志而得到的；恶性网站候选列表创建部，其创建少用网站列表，其中所述少用网站列表是在所述已知恶性网站排除完毕访问日志所示出的网站的信息中，从源自所述管理对象网络的访问数少的网站的信息开始依次提取规定数量的网站的信息而得到的；以及输出部，其输出所述创建的少用网站列表。
发明效果
根据本发明，能够提取在特定组织中被怀疑是恶性URL的恶性URL候选的列表。
附图说明
图1是示出***的结构例的图。
图2是示出在***内的服务器、装置、终端间交换的信息的概要的图。
图3是示意性地示出图1的恶性URL候选提取装置进行的恶性URL候选列表的创建处理的图。
图4是示出专有常用(popular)URL列表和已知恶性URL排除完毕访问日志的创建中使用的访问日志的期间的一例的图。
图5是示出恶性URL候选提取装置的处理步骤的流程图。
图6是示出图5的S1的已知恶性URL排除完毕访问日志的提取处理的流程图。
图7是示意性地示出访问日志的从接收到输出为止的处理的图。
图8是示出已知恶性URL排除完毕访问日志的一例的图。
图9是示出图5的S2的少用(minor)URL列表的创建处理的流程图。
图10A是示出在少用URL列表创建部中被视为访问相同URL的条件的一例的图。
图10B是示出在少用URL列表创建部中被视为访问相同URL的条件的一例的图。
图11是示出图5的S3的专有常用URL列表的创建处理的流程图。
图12是示出图5的S4的常用URL排除完毕列表的创建处理的流程图。
图13是示出恶性URL候选提取装置的处理步骤的流程图。
图14是示出恶性URL候选提取装置的处理步骤的流程图。
图15是示出执行网站信息提取程序的计算机的图。
具体实施方式
以下，参照附图说明本发明的实施方式(本实施方式)。本发明不限于本实施方式。另外，在以下的说明中，作为本***的管理对象网络的客户终端20(参照图1)的访问目的地的网站的信息(网站信息)，使用URL(Uniform Resource Locator：统一资源定位符)的情况为例进行说明，但也可以是FQDN(Fully Qualified Domain Name：完全合格的域名)或者分配给该FQDN的IP(Internet Protocol：互联网协议)地址。
如图1所示，本实施方式的***具有：公开恶性URL列表提供服务器10、客户终端20、代理服务器30、恶性URL候选提取装置(网站信息提取装置)40以及恶性URL检查装置50。对于由虚线表示的常用URL列表(常用网站列表)提供服务器60来说，存在***配备的情况和不配备的情况，关于配备的情况后面将会说明。各服务器、终端、装置的台数不限于图1所示的台数。
首先，使用图2说明在***的服务器、装置、终端间交换的信息的概要。
公开恶性URL列表提供服务器10通过互联网等网络公开有可能造成恶意软件的感染等的网站的URL的列表(恶性URL列表)。该恶性URL列表是通过研究机关、研究者、专家、信息安全相关企业等的收集/调查来创建的列表。以后，将公开恶性URL列表提供服务器10提供的恶性URL列表称为公开恶性URL列表。
客户终端20是在本***的管理对象网络中设置的终端，例如是个人计算机等。代理服务器30中继该客户终端20对外部网站的访问，且记录表示访问目的地网站的URL、访问时刻、客户终端20的IP地址等的信息(访问日志)。
恶性URL候选提取装置40使用从公开恶性URL列表提供服务器10接收到的公开恶性URL列表、从代理服务器30接收到的访问日志以及专有恶性URL列表(专有恶性网站列表。后面说明)，从管理对象网络内的客户终端20的访问目的地的URL中创建有可能是恶性URL的恶性URL候选列表。恶性URL候选提取装置40向恶性URL检查装置50输出所创建的恶性URL候选列表。后面说明恶性URL候选提取装置40的详细情况。
恶性URL检查装置50进行恶性URL候选列表所示出的URL是否是恶性URL的检查。该恶性URL检查装置50可以通过硬件、软件、在互联网上提供的Web服务等任意一个来实现。此外，将该恶性URL检查装置50的检查结果发送给恶性URL候选提取装置40、公开恶性URL列表提供服务器10等。另外，当检查结果发送到了公开恶性URL列表提供服务器10的情况下，将检查结果所示出的恶性URL追加到公开恶性URL列表中而也提供给其他用户。
通常，可通过恶性URL检查装置50的用户进行的设定等来控制是否向公开恶性URL列表提供服务器10等发送恶性URL检查装置50的检查结果。当检查结果并没有发送到公开恶性URL列表提供服务器10的情况下，成为仅由该用户所属的组织可利用的固有的恶性URL列表。以后，将上述恶性URL列表称为专有恶性URL列表。
接着，使用图3说明恶性URL候选提取装置40进行的恶性URL候选列表的输出处理的概要。首先，恶性URL候选提取装置40接收到管理对象网络的客户终端20的访问日志时，从其中排除将公开恶性URL列表所示出的URL和专有恶性URL列表所示出的URL作为访问目的地的访问日志，获得已知恶性URL排除完毕访问日志(已知恶性网站排除完毕访问日志)(参照图3的标号301)。
之后，恶性URL候选提取装置40排除从已知恶性URL排除完毕访问日志所示出的URL中从源自管理对象网络的客户终端20的访问数多的URL开始依次提取而得到的列表(专有常用URL列表)所包含的URL。将通过这样的方式获得的URL的列表称为常用URL排除完毕列表(常用网站排除完毕列表)(参照图3的标号302)。
另外，恶性URL候选提取装置40创建从已知恶性URL排除完毕访问日志所示出的URL中从源自管理对象网络的客户终端20的访问数少的URL开始依次提取的列表(少用URL列表)(参照图3的标号303)。
而且，恶性URL候选提取装置40输出该少用URL列表(少用网站列表)和常用URL排除完毕列表作为恶性URL候选列表。
即，恶性URL候选提取装置40输出从管理对象网络的客户终端20访问的访问目的地的URL中的除了已知是恶性URL的URL以外的在规定期间的访问数比较低的URL组作为恶性URL候选列表。即，因为这样的URL与访问数少的URL相比能够被视为安全性相对高的URL，因此恶性URL候选提取装置40从恶性URL候选列表中排除。另外，恶性URL候选提取装置40从恶性URL候选列表中也排除已知是恶性URL的URL。即，恶性URL候选提取装置40提取至今为止不知道是恶性URL且不怎么被访问的URL作为恶性URL候选列表。通过这样的方式，恶性URL候选提取装置40能够提取有可能用于目标型攻击等向特定组织的攻击中的URL作为恶性URL候选列表。
此外，在恶性URL候选提取装置40中，用于创建专有常用URL列表的访问日志优选使用经历某种程度的期间的访问日志。
例如，如图4所示，恶性URL候选提取装置40在创建已知恶性URL排除完毕访问日志时，使用创建恶性URL候选列表的当天的访问日志，但在创建专有常用URL列表时，使用创建恶性URL候选列表的那天的n天前～1天前的访问日志。这样，恶性URL候选提取装置40使用某种程度的期间内的访问日志来创建专有常用URL列表，由此，即使是访问数暂时低的站点，在某种程度的期间内进行观察时访问数比较多的站点的URL也能够被记载于专有常用URL列表中。
接着，返回图1，详细地说明恶性URL候选提取装置40。恶性URL候选提取装置40具有：访问日志储存部41、已知恶性URL排除部(已知恶性网站排除部)42、专有恶性URL列表储存部(专有恶性网站列表储存部)43、常用URL列表创建部(常用网站列表创建部)44以及恶性URL候选列表创建部(恶性网站候选列表创建部)45。
访问日志储存部41储存客户终端20的访问日志。具体而言，该访问日志储存部41每隔规定期间与代理服务器30进行通信，来接收代理服务器30中记录的访问日志。另外，该访问日志储存部41根据来自已知恶性URL排除部42的请求，输出指定期间内的访问日志。
已知恶性URL排除部42从访问日志中提取对除了已知的恶性URL以外的URL的访问日志(已知恶性URL排除完毕访问日志)。具体而言，已知恶性URL排除部42从访问日志储存部41获取指定期间(检查对象期间)的访问日志。另外，从公开恶性URL列表提供服务器10获取公开恶性URL列表，从专有恶性URL列表储存部43获取专有恶性URL列表。而且，已知恶性URL排除部42对所获取的访问日志所示出的访问目的地的URL与已知的恶性URL列表(公开恶性URL列表和专有恶性URL列表)所示出的URL进行对照，且从所获取的访问日志中提取出排除将已知的恶性URL列表的URL作为访问目的地的访问日志而得到的已知恶性URL排除完毕访问日志。该已知恶性URL排除完毕访问日志未包含对已知的恶性URL的访问日志。即，有可能包含对未知的恶性URL的访问日志。
专有恶性URL列表储存部43储存专有恶性URL列表，该专有恶性URL列表是通过恶性URL检查装置50中的检查而判断为恶性URL的URL的列表。
常用URL列表创建部44参照访问日志，创建源自管理对象网络的客户终端20的访问数比较多的URL的列表(专有常用URL列表)。具体而言，常用URL列表创建部44针对访问日志储存部41所储存的访问日志中的检查对象期间之前的规定期间的访问日志中记录的URL进行统计处理，且创建源自管理对象网络的客户终端20的访问数(或者访问频率)多的URL的列表(专有常用URL列表)。在此的统计处理例如是对该URL的访问数或访问该URL的客户终端20的数量的计数等。该专有常用URL列表所示出的URL是源自管理对象网络的日常的访问数多的站点的URL，因此可认为是可靠性比较高的站点的URL。
恶性URL候选列表创建部45基于已知恶性URL排除完毕访问日志，创建恶性URL候选列表。该恶性URL候选列表创建部45具有常用URL列表排除部451、少用URL列表创建部452以及恶性URL候选列表输出部453。
常用URL列表排除部451创建从已知恶性URL排除完毕访问日志所示出的访问目的地的URL中排除专有常用URL列表所包含的URL而得到的URL的列表(常用URL排除完毕列表)。具体而言，常用URL列表排除部451从已知恶性URL排除部42中获取已知恶性URL排除完毕访问日志，另外，从常用URL列表创建部44中获取专有常用URL列表。而且，常用URL列表排除部451创建从所获取的已知恶性URL排除完毕访问日志所示出的URL中排除专有常用URL列表所示出的URL而得到的URL的列表(常用URL排除完毕列表)。常用URL列表排除部451向恶性URL候选列表输出部453输出所创建的常用URL排除完毕列表。该常用URL排除完毕列表所示出的URL是在过去的检查中未被判明为恶性且源自管理对象网络的日常的访问数不高的站点的URL，因此有可能包含未知的恶性URL。
少用URL列表创建部452针对已知恶性URL排除完毕访问日志中记录的URL进行统计处理，且创建源自管理对象网络的客户终端20的访问数(或者访问频率)少的URL的列表(少用URL列表)。少用URL列表创建部452向恶性URL候选列表输出部453输出所创建的少用URL列表。该少用URL列表所示出的URL是在过去的检查中未被判明为恶性且源自管理对象网络的访问数少的站点的URL，因此有可能包含未知的恶性URL。
恶性URL候选列表输出部453输出常用URL排除完毕列表和少用URL列表作为恶性URL候选列表。该恶性URL候选列表例如输出到恶性URL检查装置50。而且，收取了该恶性URL候选列表的恶性URL检查装置50进行针对该恶性URL候选列表所示出的站点的检查。此外，恶性URL候选列表输出部453输出恶性URL候选列表时，也可以转换成能够在恶性URL检查装置50中处理的文件形式进行输出。
(处理步骤)
接着，说明恶性URL候选提取装置40的处理步骤。首先，使用图5说明恶性URL候选提取装置40的处理的概要。
(处理的概要)
恶性URL候选提取装置40从访问日志储存部41所储存的访问日志中提取已知恶性URL排除完毕访问日志(S1)。之后，恶性URL候选提取装置40根据已知恶性URL排除完毕访问日志，创建少用URL列表(S2)。具体而言，恶性URL候选提取装置40针对已知恶性URL排除完毕访问日志所示出的各访问目的地的URL优先提取源自管理对象网络的访问数少的URL，且创建少用URL列表。另外，恶性URL候选提取装置40根据访问日志储存部41所储存的访问日志，创建专有常用URL列表(S3)。具体而言，恶性URL候选提取装置40创建针对访问日志所示出的各访问目的地的URL优先提取源自管理对象网络的访问数多的URL而得到的少用URL列表。
之后，恶性URL候选提取装置40创建从已知恶性URL排除完毕访问日志所示出的URL中排除专有常用URL列表的URL而得到的常用URL排除完毕列表(S4)。而且，恶性URL候选提取装置40输出少用URL列表和常用URL排除完毕列表作为恶性URL候选列表(S5)。
通过这样的方式，恶性URL候选提取装置40能够输出除了已知的恶性URL以外的源自管理对象网络的客户终端20的访问数比较低的站点的URL的列表作为恶性URL候选列表。
此外，恶性URL候选提取装置40既可以进行少用URL列表的创建(S2)之后进行常用URL排除完毕列表的创建(S3、S4)，也可以进行常用URL排除完毕列表的创建(S3、S4)之后进行少用URL列表的创建(S2)。
(已知恶性URL排除完毕访问日志的提取)
接着，使用图6详细地说明图5的S1的已知恶性URL排除完毕访问日志的提取处理。首先，恶性URL候选提取装置40的访问日志储存部41从代理服务器30接收管理对象网络的客户终端20的访问日志(S11)，且储存所接收的访问日志(S12)。之后，访问日志储存部41基于来自已知恶性URL排除部42的请求，向已知恶性URL排除部42输出指定期间的访问日志(S13)。
例如，如图7所示，访问日志储存部41进行从代理服务器30接收访问日志的接收处理，且进行该接收到的访问日志的储存处理。由此，在访问日志储存部41的存储部(省略图示)中储存由访问时刻、客户终端IP地址、访问目的地URL等项目组成的访问日志。此外，该访问时刻是客户终端20经由代理服务器30访问互联网上的站点的时刻，客户终端IP地址是客户终端20的IP地址，访问目的地URL是客户终端20经由代理服务器30访问的互联网上的站点的URL。而且，访问日志储存部41基于来自已知恶性URL排除部42的请求，进行指定期间的访问日志的输出处理。此外，该指定期间既可以是由已知恶性URL排除部42预先设定的期间，也可以是每当使恶性URL候选提取装置40进行工作时由用户指定的期间。
此外，作为访问日志储存部41进行的访问日志的接收方法，例如既可以由Syslog等日志转发单元每当客户终端20访问互联网上的任意的站点时从代理服务器30逐行接收访问日志，也可以由FTP(File Transfer Protocol：文件传输协议)、SMB(Server MessageBlock：服务器消息块)等文件转发单元每隔规定期间从代理服务器30接收汇总了某种程度的数量的访问日志的文件。
返回图6的说明。在S13之后，已知恶性URL排除部42从公开恶性URL列表提供服务器10接收公开恶性URL列表(S14)。另外，已知恶性URL排除部42从专有恶性URL列表储存部43获取专有恶性URL列表(S15)。之后，从在S13中发送的指定期间的访问日志中排除对公开恶性URL列表所包含的URL的访问日志(S16)，还排除对专有恶性URL列表所包含的URL的访问日志(S17)。通过这样的方式，已知恶性URL排除部42获得已知恶性URL排除完毕访问日志。
举出具体例详细地说明该S16和S17的处理。首先说明S16。已知恶性URL排除部42例如对在图6的S13中输出的指定期间的访问日志的各行的URL字段的值与在S14中接收到的公开恶性URL列表的URL进行比较。而且，在公开恶性URL列表的URL与访问日志的URL字段的值一致的情况下，已知恶性URL排除部42丢弃所保持的访问日志的相应行。另一方面，在公开恶性URL列表的URL与访问日志的URL字段的值不一致的情况下，已知恶性URL排除部42记录所保持的访问日志的相应行。已知恶性URL排除部42对从访问日志储存部41发送的指定期间的访问日志的所有行进行上述的处理，且从该访问日志中提取出排除具有公开恶性URL列表的URL的行而得到的访问日志。
接着，详细地说明S17。已知恶性URL排除部42对通过S16的处理获得的访问日志与在S15中接收到的专有恶性URL列表的URL进行比较。而且，在专有恶性URL列表的URL与该访问日志的URL字段的值一致的情况下，已知恶性URL排除部42丢弃所保持的访问日志的相应行。另一方面，在专有恶性URL列表的URL与该访问日志的URL字段的值不一致的情况下，已知恶性URL排除部42记录所保持的访问日志的相应行。已知恶性URL排除部42对通过S16的处理获得的访问日志的所有行进行上述的处理。由此，已知恶性URL排除部42获得从通过S16的处理获得的访问日志中排除具有专有恶性URL列表的URL的行而得到的访问日志。即，已知恶性URL排除部42获得从在S13中发送的指定期间的访问日志中排除公开恶性URL列表和专有恶性URL列表的URL的访问日志而得到的访问日志(已知恶性URL排除完毕访问日志)。
通过这样的方式，已知恶性URL排除部42能够获得未包含对已知的恶性URL的访问日志的、即有可能包含对未知的恶性URL的访问日志的访问日志(已知恶性URL排除完毕访问日志)。
在图8中示出通过上述的处理获得的已知恶性URL排除完毕访问日志的一例。例如，已知恶性URL排除完毕访问日志是按照每个客户终端20的IP地址表示该IP地址的客户终端20的访问目的地的URL的信息。
(少用URL列表的创建)
接着，使用图9详细地说明图5的S2的少用URL列表的创建处理。例如，恶性URL候选提取装置40的少用URL列表创建部452从已知恶性URL排除部42获取已知恶性URL排除完毕访问日志(S21)，针对访问日志中记录的各URL，对访问相同的URL的站点的客户终端20的数量进行计数(S22)。
举出具体例，在S22中，少用URL列表创建部452针对已知恶性URL排除完毕访问日志的各URL，对访问相同的URL的客户终端20的IP地址的唯一数进行计数。在此，被视为访问相同URL的条件例如既可以设为如图10A所例示那样一致到URL的路径部分为止，也可以设为如图10B所例示那样URL的FQDN部分一致。
返回图9的说明。在图9的S22之后，已知恶性URL排除部42针对已知恶性URL排除完毕访问日志的各URL，从访问的客户终端20的数量少的URL开始依次提取(S23)。将通过这样的方式提取的URL作为少用URL列表。
此外，在S23中提取的URL的数量或比例例如是根据在恶性URL检查装置50中能够调查的URL的数量而设定的值。
少用URL列表创建部452执行上述的处理直到能够提取例如恶性URL候选提取装置40的用户预先设定的数量的URL为止，且获得少用URL列表。
通过这样的方式，少用URL列表创建部452能够获得在过去的检查中未被判明为恶性且源自管理对象网络的访问数少的站点的URL(少用URL列表)。
(专有常用URL列表的创建)
接着，使用图11详细地说明图5的S3的专有常用URL列表的创建处理。例如，常用URL列表创建部44从访问日志储存部41获取指定期间的访问日志(S31)，针对访问日志中记录的各URL，对访问相同的URL的站点的客户终端20的数量进行计数(S32)。此外，该指定期间既可以是预先对常用URL列表创建部44设定的期间，也可以是每当使恶性URL候选提取装置40进行工作时由用户输入的期间。
例如，在S32中，常用URL列表创建部44针对从访问日志储存部41获取的访问日志的各URL，对访问相同的URL的客户终端20的IP地址的唯一数进行计数。在此，被视为访问相同URL的条件与上述的少用URL列表创建的情况相同，既可以设为一致到URL的路径部分为止，也可以设为URL的FQDN部分一致。
另外，在S32之后，常用URL列表创建部44针对从访问日志储存部41获取的访问日志的各URL，从访问的客户终端20的数量多的URL开始依次提取(S33)。将通过这样的方式提取的URL作为专有常用URL列表。
此外，在S32中提取的URL的数量或比例例如是根据从管理对象网络的客户终端20日常发生访问的站点的种类而设定的值。
常用URL列表创建部44执行上述的处理直到能够提取例如恶性URL候选提取装置40的用户预先设定的数量的URL为止，且获得专有常用URL列表。
由此，常用URL列表创建部44能够获得源自管理对象网络的访问数多的站点的URL的列表(专有常用URL列表)。
(常用URL排除完毕列表的创建)
接着，使用图12详细地说明图5的S4的常用URL排除完毕列表的创建处理。例如，常用URL列表排除部451从已知恶性URL排除部42获取已知恶性URL排除完毕访问日志(S41)，且从常用URL列表创建部44获取专有常用URL列表(S42)。
之后，常用URL列表排除部451从已知恶性URL排除完毕访问日志中排除对专有常用URL列表所包含的URL的访问日志(S43)，且提取该排除后的访问日志所包含的URL(S44)。
例如，常用URL列表排除部451对已知恶性URL排除完毕访问日志的各行的URL字段的值与专有常用URL列表的URL进行比较。而且，在专有常用URL列表所包含的URL与已知恶性URL排除完毕访问日志的URL字段的值一致的情况下，常用URL列表排除部451丢弃所保持的已知恶性URL排除完毕访问日志的相应行。另一方面，在专有常用URL列表所包含的URL与已知恶性URL排除完毕访问日志的URL字段的值不一致的情况下，常用URL列表排除部451记录所保持的已知恶性URL排除完毕访问日志的相应行。常用URL列表排除部451对已知恶性URL排除完毕访问日志的所有行进行上述的处理，且获得从已知恶性URL排除完毕访问日志中排除具有专有常用URL列表所示出的URL的行而得到的访问日志。而且，常用URL列表排除部451提取该访问日志的各行的URL字段的值，且获得常用URL排除完毕列表。
通过这样的方式，常用URL列表排除部451能够获得在过去的检查中未被判明为恶性且从管理对象网络访问的日常的访问数不多的站点的URL的列表(常用URL排除完毕列表)。
根据以上说明的恶性URL候选提取装置40，能够输出除了已知的恶性URL以外的源自管理对象网络的客户终端20的访问数比较低的站点的URL的列表作为恶性URL候选列表。即，恶性URL候选提取装置40能够输出有可能用于目标型攻击等向特定组织的攻击中的URL作为恶性URL候选列表。
(其他实施方式)
此外，在上述的实施方式中，常用URL列表排除部451也可以除了专有常用URL列表之外还使用外部机关所创建的常用URL列表来创建常用URL排除完毕列表。即，常用URL列表排除部451从已知恶性URL排除完毕访问日志中提取出在专有常用URL列表和常用URL列表中都未记载的URL的访问日志来创建常用URL排除完毕列表。此外，该常用URL列表是例如由研究机关、研究者、专家、信息相关企业等创建的世界性访问多(换言之，很多用户日常访问且可靠性高)的站点的URL的列表。该常用URL列表例如使用由图1所示的常用URL列表提供服务器60提供的公开常用URL列表。
另外，在上述的实施方式中，恶性URL候选提取装置40的恶性URL候选列表创建部45具有少用URL列表创建部452和常用URL列表排除部451的双方，也可以具有它们中的任意方。即，恶性URL候选列表输出部453也可以输出少用URL列表和常用URL排除完毕列表中的任意列表作为恶性URL候选列表。
例如，如图13所示，恶性URL候选提取装置40的已知恶性URL排除部42从访问日志储存部41所储存的访问日志中提取已知恶性URL排除完毕访问日志(S1)后，恶性URL候选列表创建部45利用少用URL列表创建部452根据已知恶性URL排除完毕访问日志来创建少用URL列表(S2)。之后，恶性URL候选列表输出部453也可以输出在S2中创建的少用URL列表作为恶性URL候选列表(S6)。
另外，例如，图14所示，恶性URL候选提取装置40的已知恶性URL排除部42从访问日志储存部41所储存的访问日志中提取已知恶性URL排除完毕访问日志(S1)后，常用URL列表创建部44根据访问日志储存部41所储存的访问日志，创建专有常用URL列表(S3)。之后，恶性URL候选列表创建部45创建利用常用URL列表排除部451从已知恶性URL排除完毕访问日志所示出的URL中排除专有常用URL列表的URL而得到的常用URL排除完毕列表(S4)。而且，恶性URL候选提取装置40也可以输出在S4中创建的常用URL排除完毕列表作为恶性URL候选列表(S7)。
由此，恶性URL候选提取装置40能够从已知恶性URL排除完毕访问日志中输出访问数比较少的URL作为恶性URL候选列表。
(程序)
另外，也可以创建利用计算机可执行的语言来描述了上述实施方式的恶性URL候选提取装置40执行的处理的程序。在该情况下，计算机执行程序，由此能够获得与上述实施方式相同的效果。另外，也可以将该程序记录在计算机可读取的记录介质中，使计算机读入并执行该记录介质中记录的程序，由此实现与上述实施方式相同的处理。以下，对执行用于实现与恶性URL候选提取装置40相同的功能的网站信息提取程序的计算机的一例进行说明。
图15是示出执行网站信息提取程序的计算机的图。如图15所示，计算机1000例如具有存储器1010、CPU 1020、硬盘驱动器接口1030、盘驱动器接口1040、串行接口1050、视频适配器1060以及网络接口1070。这些各部分通过总线1080连接。
存储器1010包含ROM(Read Only Memory：只读存储器)1011和RAM(Random AccessMemory：随机存取存储器)1012。ROM1011例如存储BIOS(Basic Input Output System：基本输入输出***)等引导程序。硬盘驱动器接口1030与硬盘驱动器1090连接。盘驱动器接口1040与盘驱动器1100连接。在盘驱动器1100中***例如磁盘或光盘等可装卸的存储介质。在串行接口1050连接有例如鼠标1110和键盘1120。在视频适配器1060连接有例如显示器1130。
在此，如图15所示，硬盘驱动器1090例如存储OS 1091、应用程序1092、程序模块1093以及程序数据1094。在上述实施方式中说明的各列表存储于例如硬盘驱动器1090或存储器1010中。
另外，网站信息提取程序例如作为描述有由计算机1000执行的命令的程序模块存储于硬盘驱动器1090中。具体而言，描述有在上述实施方式中说明的恶性URL候选提取装置40执行的各处理的程序模块存储于硬盘驱动器1090中。
另外，在网站信息提取程序的信息处理中使用的数据作为程序数据存储于例如硬盘驱动器1090中。而且，CPU 1020根据需要而将硬盘驱动器1090中存储的程序模块1093或程序数据1094读出到RAM 1012，来执行上述的各步骤。
此外，网站信息提取程序的程序模块1093或程序数据1094并不限于存储于硬盘驱动器1090中的情况，例如也可以存储于可装卸的存储介质中而经由盘驱动器1100等由CPU1020读出。或者，网站信息提取程序的程序模块1093或程序数据1094也可以存储于经由LAN(Local Area Network：局域网)或WAN(Wide Area Network：广域网)等网络连接的其他计算机中而经由网络接口1070由CPU 1020读出。
标号说明
10：公开恶性URL列表提供服务器；20：客户终端；30：代理服务器；40：恶性URL候选提取装置；41：访问日志储存部；42：已知恶性URL排除部；43：专有恶性URL列表储存部；44：常用URL列表创建部；45：恶性URL候选列表创建部；50：恶性URL检查装置；60：常用URL列表提供服务器；451：常用URL列表排除部；452：少用URL列表创建部；453：恶性URL候选列表输出部。

Claims (8)

1.一种网站信息提取装置，其特征在于，所述网站信息提取装置具有：
访问日志储存部，其储存访问日志，其中所述访问日志包含从管理对象网络访问的访问目的地网站的信息；
已知恶性网站排除部，其从所述访问日志中提取已知恶性网站排除完毕访问日志，其中所述已知恶性网站排除完毕访问日志是排除将已知的恶性网站作为访问目的地的访问日志而得到的；
恶性网站候选列表创建部，其创建少用网站列表，其中所述少用网站列表是在所述已知恶性网站排除完毕访问日志所示出的网站的信息中，从源自所述管理对象网络的访问数少的网站的信息开始依次提取规定数量的网站的信息而得到的；以及
输出部，其输出所述创建的少用网站列表。
2.根据权利要求1所述的网站信息提取装置，其特征在于，
所述网站信息提取装置还具有：
常用网站列表创建部，其参照所述访问日志，创建常用网站列表，其中所述常用网站列表从规定期间内的源自所述管理对象网络的访问数多的网站的信息开始依次示出规定数量的网站的信息，
所述恶性网站候选列表创建部还创建常用网站排除完毕列表，其中所述常用网站排除完毕列表是从所述已知恶性网站排除完毕访问日志所示出的网站的信息中排除所述常用网站列表所示出的网站的信息而得到的，
所述输出部还输出所述常用网站排除完毕列表。
3.根据权利要求1或2所述的网站信息提取装置，其特征在于，
所述网站信息提取装置还具有：
专有恶性网站列表储存部，其储存专有恶性网站列表，其中所述专有恶性网站列表表示过去从所述管理对象网络访问的网站中的通过规定的检查判定为恶性网站的网站的信息，
所述已知恶性网站排除部在提取所述已知恶性网站排除完毕访问日志时，还从所述访问日志中排除对所述专有恶性网站列表所示出的网站的访问日志。
4.根据权利要求2所述的网站信息提取装置，其特征在于，
所述恶性网站候选列表创建部在创建所述常用网站排除完毕列表时，还从所述已知恶性网站排除完毕访问日志所示出的网站的信息中排除通过事先调查判定为是恶性网站的可能性低的网站的信息。
5.根据权利要求4所述的网站信息提取装置，其特征在于，
所述网站的信息是URL(Uniform Resource Locator)、FQDN(Fully Qualified DomainName)或者分配给该FQDN的IP(Internet Protocol)地址。
6.一种具有检查装置和网站信息提取装置的***，其中所述检查装置进行网站是否是恶性网站的检查，所述网站信息提取装置提取在所述检查装置中作为检查对象的网站的列表，所述***的特征在于，
所述网站信息提取装置具有：
访问日志储存部，其储存访问日志，其中所述访问日志包含从管理对象网络访问的访问目的地网站的信息；
已知恶性网站排除部，其从所述访问日志中提取已知恶性网站排除完毕访问日志，其中所述已知恶性网站排除完毕访问日志是排除将已知的恶性网站作为访问目的地的访问日志而得到的；
恶性网站候选列表创建部，其创建少用网站列表，其中所述少用网站列表是在所述已知恶性网站排除完毕访问日志所示出的网站的信息中，从源自所述管理对象网络的访问数少的网站的信息开始依次提取规定数量的网站的信息而得到的；以及
输出部，其向所述检查装置输出所述创建的少用网站列表。
7.一种网站信息提取方法，其特征在于，包括：
储存访问日志的步骤，其中所述访问日志包含从管理对象网络访问的访问目的地网站的信息；
从所述访问日志中提取已知恶性网站排除完毕访问日志的步骤，其中所述已知恶性网站排除完毕访问日志是排除将已知的恶性网站作为访问目的地的访问日志而得到的；
创建少用网站列表的步骤，其中所述少用网站列表是在所述已知恶性网站排除完毕访问日志所示出的网站的信息中，从源自所述管理对象网络的访问数少的网站的信息开始依次提取规定数量的网站的信息而得到的；以及
输出所述创建的少用网站列表的步骤。
8.一种网站信息提取程序，其特征在于，使计算机执行如下步骤：
储存访问日志的步骤，其中所述访问日志包含从管理对象网络访问的访问目的地网站的信息；
从所述访问日志中提取已知恶性网站排除完毕访问日志的步骤，其中所述已知恶性网站排除完毕访问日志是排除将已知的恶性网站作为访问目的地的访问日志而得到的；
创建少用网站列表的步骤，其中所述少用网站列表是在所述已知恶性网站排除完毕访问日志所示出的网站的信息中，从源自所述管理对象网络的访问数少的网站的信息开始依次提取规定数量的网站的信息而得到的；以及
输出所述创建的少用网站列表的步骤。
CN201580013640.9A 2014-03-19 2015-03-17 网站信息提取装置、***、网站信息提取方法以及网站信息提取程序 Pending CN106104550A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014056661 2014-03-19
JP2014-056661 2014-03-19
PCT/JP2015/057875 WO2015141665A1 (ja) 2014-03-19 2015-03-17 ウェブサイト情報抽出装置、システム、ウェブサイト情報抽出方法、および、ウェブサイト情報抽出プログラム

Publications (1)

Publication Number Publication Date
CN106104550A true CN106104550A (zh) 2016-11-09

Family

ID=54144630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580013640.9A Pending CN106104550A (zh) 2014-03-19 2015-03-17 网站信息提取装置、***、网站信息提取方法以及网站信息提取程序

Country Status (5)

Country Link
US (1) US10511618B2 (zh)
EP (1) EP3101580B1 (zh)
JP (1) JP6030272B2 (zh)
CN (1) CN106104550A (zh)
WO (1) WO2015141665A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109802919A (zh) * 2017-11-16 2019-05-24 中移（杭州）信息技术有限公司 一种web网页访问拦截方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3287909B1 (en) * 2015-06-02 2019-07-03 Nippon Telegraph and Telephone Corporation Access classification device, access classification method, and access classification program
WO2017140710A1 (en) * 2016-02-16 2017-08-24 Nokia Solutions And Networks Oy Detection of malware in communications
US11146576B1 (en) 2016-06-08 2021-10-12 SlashNext, Inc. Method and system for detecting credential stealing attacks
US10404723B1 (en) * 2016-06-08 2019-09-03 SlashNext, Inc. Method and system for detecting credential stealing attacks
JP6716051B2 (ja) * 2018-07-26 2020-07-01 デジタルア−ツ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
CN112671747B (zh) * 2020-12-17 2022-08-30 赛尔网络有限公司 境外恶意url的统计方法、装置、电子设备和存储介质
WO2022264366A1 (ja) * 2021-06-17 2022-12-22 日本電信電話株式会社 探索装置、探索範囲決定方法及び探索範囲決定プログラム
CN114679306B (zh) * 2022-03-17 2024-03-12 新华三信息安全技术有限公司 一种攻击检测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070016951A1 (en) * 2005-07-13 2007-01-18 Piccard Paul L Systems and methods for identifying sources of malware
CN102546618A (zh) * 2011-12-29 2012-07-04 北京神州绿盟信息安全科技股份有限公司 钓鱼网站检测方法、装置及***、网络站点
CN103428186A (zh) * 2012-05-24 2013-12-04 ***通信集团公司 一种检测钓鱼网站的方法及装置
CN103455758A (zh) * 2013-08-22 2013-12-18 北京奇虎科技有限公司 恶意网站的识别方法及装置
CN103532944A (zh) * 2013-10-08 2014-01-22 百度在线网络技术（北京）有限公司 一种捕获未知攻击的方法和装置
US9756063B1 (en) * 2014-11-25 2017-09-05 Trend Micro Inc. Identification of host names generated by a domain generation algorithm

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1970001A (en) 1999-11-05 2001-05-14 Surfmonkey.Com, Inc. System and method of filtering adult content on the internet
US20080189408A1 (en) * 2002-10-09 2008-08-07 David Cancel Presenting web site analytics
US7890451B2 (en) * 2002-10-09 2011-02-15 Compete, Inc. Computer program product and method for refining an estimate of internet traffic
US8316446B1 (en) * 2005-04-22 2012-11-20 Blue Coat Systems, Inc. Methods and apparatus for blocking unwanted software downloads
US20070204345A1 (en) 2006-02-28 2007-08-30 Elton Pereira Method of detecting computer security threats
US8239668B1 (en) * 2009-04-15 2012-08-07 Trend Micro Incorporated Computer security threat data collection and aggregation with user privacy protection
JP5003742B2 (ja) * 2009-10-15 2012-08-15 Ｎｅｃアクセステクニカ株式会社 コンテンツフィルタリングシステム、コンテンツフィルタリング方法及びゲートウェイ
US8595843B1 (en) 2010-08-12 2013-11-26 Amazon Technologies, Inc. Techniques for identifying sources of unauthorized code
JP5465651B2 (ja) 2010-11-30 2014-04-09 日本電信電話株式会社 リスト生成方法、リスト生成装置及びリスト生成プログラム
CN102082792A (zh) * 2010-12-31 2011-06-01 成都市华为赛门铁克科技有限公司 钓鱼网页检测方法及设备
US8997220B2 (en) 2011-05-26 2015-03-31 Microsoft Technology Licensing, Llc Automatic detection of search results poisoning attacks
US20130212680A1 (en) 2012-01-12 2013-08-15 Arxceo Corporation Methods and systems for protecting network devices from intrusion
US8910254B2 (en) * 2012-02-11 2014-12-09 Aol Inc. System and methods for profiling client devices
GB2512837A (en) * 2013-04-08 2014-10-15 F Secure Corp Controlling access to a website
US9300686B2 (en) 2013-06-28 2016-03-29 Fireeye, Inc. System and method for detecting malicious links in electronic messages
WO2015195093A1 (en) * 2014-06-17 2015-12-23 Hewlett-Packard Development Company, L. P. Dns based infection scores

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070016951A1 (en) * 2005-07-13 2007-01-18 Piccard Paul L Systems and methods for identifying sources of malware
CN102546618A (zh) * 2011-12-29 2012-07-04 北京神州绿盟信息安全科技股份有限公司 钓鱼网站检测方法、装置及***、网络站点
CN103428186A (zh) * 2012-05-24 2013-12-04 ***通信集团公司 一种检测钓鱼网站的方法及装置
CN103455758A (zh) * 2013-08-22 2013-12-18 北京奇虎科技有限公司 恶意网站的识别方法及装置
CN103532944A (zh) * 2013-10-08 2014-01-22 百度在线网络技术（北京）有限公司 一种捕获未知攻击的方法和装置
US9756063B1 (en) * 2014-11-25 2017-09-05 Trend Micro Inc. Identification of host names generated by a domain generation algorithm

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄国耀: "《就该这样入手 黑客攻防》", 31 March 2013, 电脑报电子音像出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109802919A (zh) * 2017-11-16 2019-05-24 中移（杭州）信息技术有限公司 一种web网页访问拦截方法及装置
CN109802919B (zh) * 2017-11-16 2021-06-29 中移（杭州）信息技术有限公司 一种web网页访问拦截方法及装置

Also Published As

Publication number Publication date
EP3101580A4 (en) 2017-07-19
JP6030272B2 (ja) 2016-11-24
US10511618B2 (en) 2019-12-17
WO2015141665A1 (ja) 2015-09-24
JPWO2015141665A1 (ja) 2017-04-13
EP3101580B1 (en) 2019-02-27
US20170070520A1 (en) 2017-03-09
EP3101580A1 (en) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106104550A (zh) 网站信息提取装置、***、网站信息提取方法以及网站信息提取程序
US20210021419A1 (en) Method and apparatus for electing representative node device, computer device, and storage medium
US9954886B2 (en) Method and apparatus for detecting website security
CN106941493B (zh) 一种网络安全态势感知结果输出方法及装置
US20140310691A1 (en) Method and device for testing multiple versions
CN110099059A (zh) 一种域名识别方法、装置及存储介质
WO2008127608A2 (en) A system and method for creating a list of shared information on a peer-to-peer network
CN105659245A (zh) 上下文感知的网络取证
US10037316B2 (en) Selective capture of incoming email messages for diagnostic analysis
CN111770106A (zh) 数据威胁分析的方法、装置、***、电子装置和存储介质
CN112769838B (zh) 访问用户过滤方法、装置、设备和存储介质
CN104320488A (zh) 代理服务器***及代理服务方法
US8910281B1 (en) Identifying malware sources using phishing kit templates
CN110677396A (zh) 一种安全策略配置方法和装置
Pretorius et al. Attributing users based on web browser history
CN106067879A (zh) 信息的检测方法及装置
Simmons et al. Designing and implementing cloud-based digital forensics hands-on labs
CN103647774A (zh) 基于云计算的web内容信息过滤方法
CN110737645A (zh) 一种不同***间数据迁移方法、数据迁移***及相关设备
CN103888481B (zh) 一种局域网dhcp数据包过滤方法
CN105184559A (zh) 一种支付***及方法
CN105512020B (zh) 测试方法及装置
CN107332824A (zh) 一种云应用的识别方法和装置
CN106789979B (zh) 一种idc机房内活跃域名的有效性诊断方法和装置
EP3361405B1 (en) Enhancement of intrusion detection systems

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161109

RJ01 Rejection of invention patent application after publication