CN111010456B

CN111010456B - 一种主域名获取和验证方法

Info

Publication number: CN111010456B
Application number: CN201911153077.1A
Authority: CN
Inventors: 张兆心; 侯锐杰; 郭长勇; 陈若璇; 刘英豪
Original assignee: Harbin Institute of Technology Weihai
Current assignee: Harbin Institute of Technology Weihai
Priority date: 2019-11-22
Filing date: 2019-11-22
Publication date: 2022-03-11
Anticipated expiration: 2039-11-22
Also published as: CN111010456A

Abstract

本发明涉及一种主域名获取和验证方法，本发明的目的在于解决根据目标单位的基本信息对该单位名下的主域名进行尽可能全面地搜集的问题，提出了以第三方网站获取的目标单位的种子主域名为基础的目标单位主域名发现、扩展、验证技术和方法，该发明主要是通过第三方网站域名的获取构建域名种子；基于域名种子，通过域名前缀与通用域名后缀组合、目标单位的可访问网站获取到的页面中的链接提取域名这两种方式进行主域名的扩展；通过查询whois信息、DNS信息两种手段对扩展域名进行验证，判断扩展域名是否属于目标单位。

Description

一种主域名获取和验证方法

技术领域

本发明涉及计算机领域，特别是涉及一种主域名获取和验证方法。

背景技术

IP地址由于是纯数字，比较难记，所以在Internet上一般用域名来代替IP地址。域名由若干个英文字母、数字或减号“-”组成，再用小数点“.”分隔成几部分。域名***采用层次结构，按地理域或机构域进行分层，用小数点将各个层次隔开，从右到左依次为最高域名段、次高域名段等，最左的一个字段为主域名。主域名，简称域名、网域，是由一串用点分隔的名字组成的Internet上某一台计算机或计算机组的名称，用于在数据传输时标识计算机的电子方位。但是，现有技术根据目标单位的基本信息对该单位名下的域名进行检索时，常常受到限制，无法全面地搜集完整全部主域名。

发明内容

本发明目的在于解决根据目标单位的基本信息对该单位名下的主域名进行尽可能全面地搜集的问题，提供一种以第三方网站获取的目标单位的种子主域名为基础的目标单位主域名发现、扩展、验证技术和方法。

本发明提供一种主域名获取和验证方法，包括如下步骤：

步骤1：通过第三方网站建立目标单位的主域名种子；

步骤2：通过获取主域名种子的次级域名建立域名种子集合，主域名种子集合和次级域名种子集合构成域名种子集合；

步骤3：获取域名种子的whois信息，构建whois信息白名单，包括注册信息；

步骤4：获取域名种子的DNS记录，构建DNS信息白名单；CNAME记录作为新发现的主域名添加到主域名种子中；SOA记录中的源主机、联系邮箱添加到白名单中；

步骤5：基于域名种子通过访问域名网站获得HTML文档，获得可访问网站中的网页链接，提取链接中的域名，进一步获得待验证主域名集合，扩展主域名；如果获得的待验证主域名集合不为空，则执行步骤6，否则执行步骤9；

步骤6：获得步骤5中待验证主域名集合中的域名的whois信息，并对待验证域名的注册信息与步骤3中建立的域名whois信息白名单中的信息比对，验证待验证域名是否属于目标单位；验证成功，是目标单位的主域名，将域名添加到主域名种子集合中，执行步骤9；否则，执行步骤7；

步骤7：获得步骤5中的待验证主域名集合中的域名的DNS信息，通过判断CNAME记录是否是目标单位的域名种子中的域名，NS、MX记录主机名的后缀是否是目标单位主域名种子中的域名，SOA记录与步骤4中建立的DNS信息白名单进行比对，验证是否属于目标单位；验证成功，是目标单位的主域名，将域名添加到主域名种子集合中，执行步骤9；否则，执行步骤8；

步骤8：获得步骤5中的待验证主域名的备案信息，验证主域名是不是目标单位的主域名；验证成功，执行步骤9；验证失败，将主域名、域名和链接入库备查，执行步骤9；

步骤9：构建域名前缀字典P，执行步骤10；

步骤10：构建域名后缀字典L，执行步骤11；

步骤11：构建待测主域名，通过域名前缀字典P和域名后缀字典L创建出新的主域名；新的主域名构成待测主域名集合DS1；

步骤12：通过对种子域名进行DNS查询，获取对应的IP集合，对每个IP的443端口请求获得对应的证书，通过证书服务的域名，获得待测主域名集合DS2；执行步骤13；

步骤13：待测主域名集合DS = DS1+DS2，对待测主域名集合中的域名进行验证，执行步骤14；

步骤14：获得步骤13中的待验证主域名集合中的域名的whois信息，并对待验证域名的注册信息与步骤3中建立的域名whois信息白名单中的信息比对，验证是否属于目标单位；验证成功，是目标单位的主域名，将域名添加到主域名种子集合中，对新增域名执行步骤16；否则，执行步骤15；

步骤15：获得步骤13中的待验证主域名集合中的域名的DNS信息，如果CNAME是主域名种子中的域名，或者NS、MX记录的主机名的后缀是主域名种子中的域名，或者SOA记录与步骤4中建立的DNS信息白名单能够匹配，则认为是目标单位的主域名，将域名添加到主域名种子集合中；执行步骤16；

步骤16，如果主域名种子集合中存在着新增主域名，则执行步骤2；否则，扩展过程结束。

优选地，域名前缀字典P=P1+P2，包括：

i、前缀字典P1为提取主域名种子前缀；

ii、前缀字典P2为收集目标单位的全简称的汉语拼音，繁体和英文写法。

优选地，域名后缀字典L=L1+L2+L3，包括：

a、通过IANA发布的顶级域构建顶级域字典L1；

b、通过种子域名集合构建域名后缀字典L2；

c、二级域构建域名后缀字典L3。

优选地，注册信息包括注册人、注册电话、注册邮箱、注册组织名称。

本发明的有益效果是：首先通过第三方网站实现主域名种子的获取，其次在主域名种子的基础上通过目标单位的可访问网站获取到的页面提取链接、域名前缀与通用域名后缀组合等途径实现域名的扩展，然后通过whois信息对比验证、DNS信息分析验证等途径完成对扩展主域名和目标单位所属关系的准确判断；本发明通过多种途径完成了目标单位主域名的发现、扩展和验证，为研究目标单位域名资产提供了保障，同时利用计算技术实现自动化，提高了获得目标单位的主域名的效率与可行性，节省了人力资源。

附图说明

图1是本发明实施的***工作流程图示意图；

图2是本发明的***架构图。

图中符号说明

1.数据库；2.域名扩展子模块；21.基于互联网基础资源关系获取域名模块；22.基于网页链接获取域名子模块；23.主域名构建子模块；3.域名验证子模块；31.whois信息验证；32.DNS信息验证；4.DNS信息获取子模块；5.whois信息获取子模块；6.次级域名获取子***。

具体实施方式

下面结合附图和实施例对可本发明做进一步说明，以使本发明所属技术领域的技术人员能够容易实施本发明。

如图1所示，本发明***工作时，开始后输入目标单位名称，通过第三方网站如icp备案、站长之家、搜索引擎等，建立目标单位的主域名种子。通过获取主域名种子的次级域名模块建立次级域名种子集合，构建域名种子集合。通过域名种子的whois信息，构建whois信息白名单，包括注册人、注册电话、注册邮箱、注册组织名称。通过域名种子的DNS信息构建DNS白名单。访问域名对应的网站，获取网站的链接，提取链接中的域名，进一步获取待验证主域名。whois信息判断是否属于目标单位，如属于，则添加到新增主域名种子集合。whois信息判断不属于目标单位，则验证DNS信息是否属于目标单位，如属于，则添加到新增主域名种子集合，如不属于，需判断备案信息验证目标单位的关系，其中备案信息包括ICP备案、公安备案。判断备案信息验证目标单位的关系，若不成功，则将未确认的域名及相关链接入库，待查，然后构建前缀字典P；若成功，则直接构建前缀字典P。

前缀字典P=P1+P2,包括以下几个方面：

i、提取主域名种子前缀，作为前缀字典P1；

ii、收集目标单位的全简称的汉语拼音，繁体、和英文写法，作为域名前缀字典P2。

完成构建前缀字典P后，构建后缀字典L=L1+L2+L3，其中包括

a、通过IANA(The Internet Assigned Numbers Authority,互联网数字分配机构）发布在其网站https://www.iana.org/domains/root/db/的顶级域构建顶级域字典L1；

b、通过种子域名集合构建域名后缀字典L2；

c、二级域构建域名后缀字典L3；例如.com.cn、.net.cn、.gov.cn 、

.org.cn等。

通过域名构建的域名前缀字典P和域名后缀字典L，通过前后缀组合，能够创建出新的主域名，新的主域名构建待测主域名集合DS1，通过域名解析，获得域名集合对应的IP集合，通过向IP的443端口发送请求，获取证书服务的域名集合CDS（即Certificate DomainSet），对CDS中的域名集合，获得对应的主域名集合DS2，待测域名集合DS=DS1+DS2，对待测域名集合中的每一个域名进行验证。对待测域名验证时，whois信息判断是否属于目标单位，如属于，则添加到新增主域名种子集合；如不属于，则判断DNS信息验证是否属于目标单位，DNS信息验证通过，添加到新增主域名种子集合，如DNS信息验证不通过，判断新增主域名集合是否为空。同时判断前述的新增主域名种子集合是否为空，如新增主域名集合为空，则结束***；如不为空，则将新增主域名集合加入到主域名种子中，再次通过次级域名模块构建次级域名集合，重复操作。

如图2所示，本发明***架构图，包括数据库1、域名扩展子模块2、域名验证子模块3、DNS信息获取子模块4、whois信息获取子模块5和次级域名获取子***6。数据库1包括主域名种子、域名种子、DNS记录库、whois注册信息白名单、whois注册信息黑名单、目标单位信息字典、域名前缀字典、域名后缀字典、顶级域字典、二级域字典和域名黑名单。域名扩展子模块2包括基于互联网基础资源关系获取域名模块21、基于网页链接获取域名子模块22和主域名构建子模块23；域名验证子模块3包括whois信息验证31和DNS信息验证32。

基于互联网基础资源关系获取域名模块21包括获取主域名的IP集合、通过向IP的443端口请求获得证书、进一步获取证书服务域名集合作为待测主域名集合。基于网页链接获取域名子模块22包括获取域名网站的HTML文档、提取网页链接、提取主域名、进而构建待测主域名集合。主域名构建子模块23包括前缀、后缀和前后缀组合构建待测主域名集合。

whois信息验证31包括注册人验证、注册电话验证、注册邮箱验证和注册组织验证。DNS信息验证32包括CNAME记录验证、NS记录验证、MX记录验证和SOA中的源主机、邮箱验证；CNAME是直接验证结果是否是一个主域名，MX、NS记录验证是结果后缀是否是一个主域名，SOA记录中的源主机验证实际上就是一个NS的验证，SOA记录中联系邮箱验证是根据历史白名单来进行验证。

实施例：

以工商银行为例：

步骤1：在ICP备案网站中查询中国工商银行股份有限公司获取主域名种子，将获取到的主域名种子在站长之家中进行whois反查扩展主域名种子，并将反查选项中的无效信息存入黑名单中。

步骤2：通过次级域名获取***对主域名种子求次级域名，主域名种子集合和次级域名种子集合构成域名种子集合。

步骤3：获取域名种子的whois信息白名单。白名单构建如下：

1、通过种子域名的whois信息中暴露的注册信息构建，包括注册人、注册邮箱、注册电话、注册组织名称；

2、通过目标单位的全称、简称、英文、拼音、繁体构建。

因此，我们为工行注册人建立的whois白名单中有Industrial and CommercialBank of China、中国工商银行股份有限公司等，注册邮箱中包含icbc.com.cn字符串等。

步骤4：获取域名种子的DNS记录的白名单，其中包括域名的SOA、CNAME记录等信息。SOA记录中的邮箱、DNS放入白名单，CNAME记录放入域名种子集合。

步骤5：基于工行的域名种子，使用selenium自动化测试工具获取工行已知域名对应网站的HTML文本。从HTML中提取所有的网页链接，从网页链接获取域名，进一步获得主域名。如果获得新的主域名，则执行步骤6，否则执行步骤9。

步骤6：获取需要验证的域名的whois信息，验证主域名是否存在，是否是工商银行的主域名，验证过程如下：

1、验证主域名是否被注册过，需要查询域名的whois信息中是否有注册时间信息。如果有，则域名注册过。

2、验证是否是中国工商银行股份有限公司的主域名，可通过以下三种方法：

1）通过whois信息中的注册邮箱判断。如果注册邮箱后缀是中国工商银行股份有限公司域名，则证明在使用中国工商银行股份有限公司邮件服务器资产，则认为是中国工商银行股份有限公司主域名。认证成功，标记为中国工商银行股份有限公司主域名，添加到工行的主域名种子集合中；

2）通过whois信息中的注册电话进行验证。认证成功，标记为中国工商银行股份有限公司主域名，添加到工行的主域名种子集合中，注册电话白名单来源如下：

i、通过主域名种子集合的whois信息构建注册电话白名单；

ii、通过种子域名集合的网页内容提取的联系电话信息构建的电话白名单。

3）通过whois注册信息中的注册人和注册组织来进行验证。如果验证成功，标记为中国工商银行股份有限公司主域名，添加到工行的主域名种子集合中。具体过程如下：

i、注册人验证。注册人字段是否含有：工行的全称、简称、繁体、中文拼音、英文以及工行种子域名whois查询获得的注册人姓名信息；

ii、注册组织验证。注册组织字段是否含有：工行的全称、简体、繁体、中文拼音、英文。

步骤7：获取需要验证的域名的DNS记录，通过以下四个方面进行验证：

1、获取待测域名的CNAME记录，如果CNAME记录是目标单位的域名，则认为该域名的是中国工商银行股份有限公司的主域名；

2、获取待测域名的NS记录，如果获取到的权威DNS的主机名后缀是工行的主域名种子集合中的主域名，则认为该域名的是中国工商银行股份有限公司的主域名；

3、获取待测域名的MX记录，如果获取到的邮箱服务器的主机名后缀是工行的主域名种子集合中的主域名，则认为该域名的是中国工商银行股份有限公司的主域名；

4、获取待测域名的SOA记录，查看邮箱和DNS是否在白名单中，如果在，则证明主机和管理员是工行的人员，则认为该域名的是中国工商银行股份有限公司的主域名；

满足以上四个方面之一，验证成功，将域名加入到主域名种子中，执行步骤9；否则执行步骤8，通过备案信息进行验证。

步骤8：获得步骤5中的待验证主域名的备案信息（ICP备案、公安备案），验证主域名是不是目标单位的主域名。验证成功，执行步骤9；验证失败，将主域名、域名和链接入库备查，再执行步骤9。

步骤9：构建前缀字典P。前缀字典P包括以下几个方面：

i、提取主域名种子前缀，作为前缀字典P1，例如icbc.com.cn中的icbc加入前缀字典；

ii、收集中国工商银行股份有限公司的全简称的汉语拼音，繁体和英文大小写法，作为域名前缀字典P2，例如中国工商银行股份有限公司也可简称ICBC,工行,工商银行，英文INDUSTRIAL AND COMMERCIAL BANK OF CHINA,Industrial and Commercial Bank ofChina,INDUSTRIAL AND COMMERCIAL BANK OF CHINA CO.,LTD,Industrial andCommercial Bank of China Co.,Ltd.；

iii、前缀字典P=P1+P2。

步骤10：构建后缀字典L。后缀字典L包括以下几个方面。

a、顶级域作为后缀字典。通过IANA(The Internet Assigned NumbersAuthority,互联网数字分配机构）发布在其网站https://www.iana.org/domains/root/db/的顶级域构建顶级域字典L1，其中一共包括1581个后缀；

b、通过种子域名集合构建域名域名后缀字典L2，例如icbc.com.cn的后缀.com.cn；

c、二级域构建域名后缀字典L3；

.com.cn、.net.cn、.gov.cn、.org.cn

d、则L=L1+L2+L3；

步骤11：构建主域名。通过域名构建的域名前缀字典P和域名后缀字典L，可以创建出新的主域名，例如已知icbc.com.cn是中国工商银行股份有限公司的域名，我们提取出该域名中的icbc这个前缀与任意后缀如.asia进行组合创建新的主域名icbc.asia。创造出新的主域名构成待测主域名集合DS1；

步骤12：通过对中国工商银行股份有限公司的种子域名进行DNS查询，获取对应的IP集合，对每个IP的443端口请求获得对应的证书，通过证书服务的域名，获得待测主域名集合DS2；执行步骤13。

步骤13：对待测主域名集合S=DS1+DS2中的域名，通过whois验证、DNS验证判断是否属于目标单位，验证过程类似步骤6、7.验证成功，加入主域名种子集合；验证失败，舍弃。执行步骤14。

以上所述仅对本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡是在本发明的权利要求限定范围内，所做的任何修改、等同替换、改进等，均应在本发明的保护范围之内。

Claims

1.一种主域名获取和验证方法，其特征是，包括如下步骤：

步骤1：通过第三方网站建立目标单位的主域名种子；

步骤4：获取域名种子的DNS记录，构建DNS信息白名单：SOA记录中的源主机、联系邮箱添加到白名单中；CNAME记录作为新发现的主域名添加到主域名种子中；

步骤9：构建域名前缀字典P，执行步骤10；

步骤10：构建域名后缀字典L，执行步骤11；

步骤13：待测主域名集合DS=DS1+DS2，对待测主域名集合中的域名进行验证，执行步骤14；

2.根据权利要求1所述主域名获取和验证方法，其特征在于，所述前缀字典P=P1+P2，包括：

i、前缀字典P1为提取主域名种子前缀；

3.根据权利要求2所述主域名获取和验证方法，其特征在于，所述后缀字典L=L1+L2+L3，包括：

a、通过IANA发布的顶级域构建顶级域字典L1；

b、通过种子域名集合构建域名后缀字典L2；

c、二级域构建域名后缀字典L3。

4.根据权利要求3所述主域名获取和验证方法，其特征在于，所述注册信息包括注册人、注册电话、注册邮箱和注册组织名称。