CN105763667A - 一种实现Hadoop主机自动发现的方法及装置 - Google Patents
一种实现Hadoop主机自动发现的方法及装置 Download PDFInfo
- Publication number
- CN105763667A CN105763667A CN201610020551.3A CN201610020551A CN105763667A CN 105763667 A CN105763667 A CN 105763667A CN 201610020551 A CN201610020551 A CN 201610020551A CN 105763667 A CN105763667 A CN 105763667A
- Authority
- CN
- China
- Prior art keywords
- client
- hadoop cluster
- message
- hadoop
- service end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/50—Address allocation
- H04L61/5007—Internet protocol [IP] addresses
- H04L61/5014—Internet protocol [IP] addresses using dynamic host configuration protocol [DHCP] or bootstrap protocol [BOOTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供一种实现Hadoop主机自动发现的方法及装置,该方法包括:接收客户端广播的携带有私有标识的DHCP DISCOVER报文;向所述客户端发送携带有所述私有标识的DHCP OFFER报文;接收所述客户端广播的DHCP REQUEST报文,所述DHCP REQUEST报文携带有所述私有标识以及所述客户端的标识信息;向所述客户端发送DHCP ACK报文,所述DHCP ACK报文携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息,以使所述客户端根据所述Hadoop集群配置信息加入Hadoop集群。应用本发明实施例实现了Hadoop主机自动发现,提高了Hadoop集群运维管理的效率。
Description
技术领域
本发明涉及网络通信技术领域,尤其涉及一种实现Hadoop主机自动发现的方法及装置。
背景技术
随着Hadoop(一种分布式***基础架构)越来越普及,为应对快速部署、监控和管理的需求,需要有专门的管理平台,如ClouderaEnterpriseManager(Cloudera管理平台),Ambari(一种管理平台)等。为了方便管理集群中的众多节点,管理平台通常采用C/S(Client/Server,客户端/服务器)架构,即在所有集群节点中安装管理软件的客户端,并接受服务器的统一管理。
然而实践发现,现有Hadoop主机发现方案中,当新的节点加入时,需首先在新节点上手动配置好环境,如FQDN(FullyQualifiedDomainName,完全合格域名)、SSH(SecureShell,安全外壳协议)免密钥登陆等,再在管理平台中添加此主机,当添加主机较多时,此种方法耗时耗力,运维管理的效率较低。
发明内容
本发明提供一种实现Hadoop主机自动发现的方法及装置,以解决现有Hadoop主机发现方案中运维管理的效率较低的问题。
根据本发明实施例的第一方面,提供一种实现Hadoop主机自动发现的方法,该方法应用于Hadoop集群的服务端,该方法包括:
接收客户端广播的携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文;
向所述客户端发送携带有所述私有标识的DHCP提供OFFER报文;
接收所述客户端广播的DHCP请求REQUEST报文,所述DHCPREQUEST报文携带有所述私有标识以及所述客户端的标识信息;
向所述客户端发送DHCP确认ACK报文,所述DHCPACK报文携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息,以使所述客户端根据所述Hadoop集群配置信息加入Hadoop集群。
根据本发明实施例的第二方面,提供一种实现Hadoop主机自动发现的方法,该方法应用于Hadoop集群的客户端,该方法包括:
广播携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文;
接收服务端返回的携带有所述私有标识的DHCP提供OFFER报文;
广播DHCP请求REQUEST报文,所述DHCPREQUEST报文中携带有所述私有标识以及客户端的标识信息;
接收所述服务端发送的DHCP确认ACK报文,所述DHCPACK报文中携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息;
根据所述Hadoop集群配置信息加入Hadoop集群。
根据本发明实施例的第三方面,提供一种实现Hadoop主机自动发现的装置,该装置应用于Hadoop集群的服务端,该装置包括:
接收单元,用于接收客户端广播的携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文;
发送单元,用于向所述客户端发送携带有所述私有标识的DHCP提供OFFER报文;
所述接收单元,还用于接收所述客户端广播的DHCP请求REQUEST报文,所述DHCPREQUEST报文携带有所述私有标识以及所述客户端的标识信息;
所述发送单元,还用于向所述客户端发送DHCP确认ACK报文,所述DHCPACK报文携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息,以使所述客户端根据所述Hadoop集群配置信息加入Hadoop集群。
根据本发明实施例的第四方面,提供一种实现Hadoop主机自动发现的装置,该装置应用于Hadoop集群的客户端,该装置包括:
发送单元,用于广播携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文;
接收单元,用于接收服务端返回的携带有所述私有标识的DHCP提供OFFER报文;
所述发送单元,还用于广播DHCP请求REQUEST报文,所述DHCPREQUEST报文中携带有所述私有标识以及客户端的标识信息;
所述接收单元,还用于接收所述服务端发送的DHCP确认ACK报文,所述DHCPACK报文中携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息;
集群加入单元,用于根据所述Hadoop集群配置信息加入Hadoop集群。
应用本发明实施例,通过在接收到客户端广播的携带有私有标识的DHCPDISCOVER报文时,向客户端发送携带有该私有标识的DHCPOFFER报文,并当接收客户端广播的携带有私有标识以及客户端的标识信息的DHCPREQUEST报文时,向客户端发送携带有私有标识以及客户端的标识信息对应的Hadoop集群配置信息的DHCPACK报文,以使客户端根据该Hadoop集群配置信息加入Hadoop集群,实现了Hadoop主机自动发现,提高了Hadoop集群运维管理的效率。
附图说明
图1是一种实现Hadoop主机自动发现的网络架构示意图;
图2是本发明实施例提供的一种实现Hadoop主机自动发现的方法的流程示意图;
图3是本发明实施例提供的另一种实现Hadoop主机自动发现的方法的流程示意图;
图4是本发明实施例提供的一种具体应用场景的架构示意图;
图5是本发明实施例提供的一种实现Hadoop主机自动发现的装置的结构示意图;
图6是本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图;
图7是本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图;
图8是本发明实施例提供的一种实现Hadoop主机自动发现的装置的结构示意图;
图9是本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图;
图10是本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例中技术方案作进一步详细的说明。
请参见图1,为本发明实施例提供的一种实现Hadoop主机自动发现的网络架构示意图。如图1所示,该网络架构示意图可以包括客户端(即主机)和服务端;服务端可以包括DHCP(DynamicHostConfigurationProtocol,动态主机配置协议)服务器以及Hadoop集群管理服务器(以下简称为集群管理服务器)。其中,DHCP服务器和集群管理服务器可以部署在同一物理服务器中,即可以在同一物理服务器中使能DHCP服务器功能以及集群管理服务器功能;或者,DHCP服务器和集群管理服务器可以部署在不同的物理服务器中。
在网络架构中,客户端可以通过与服务端进行DHCP报文的方式获取相应的Hadoop集群配置信息,并根据获取到的Hadoop集群配置信息进行加入Hadoop集群前的预配置,进而向服务端进行注册,以加入Hadoop集群,实现了Hadoop主机自动发现,提高了Hadoop集群运维管理效率。
基于图1所示的网络架构,本发明实施例提供了一种Hadoop主机自动发现的方法。请参见图2,为本发明实施例提供的一种Hadoop主机自动发现的方法的流程示意图,如图2所示,该方法可以包括:
需要说明的是,步骤201~步骤204的执行主体可以为图1所示网络架构中的服务端或服务端的处理器,如CPU(CenterProcessUnit,中央处理单元),为便于描述,以下以步骤201~步骤204的执行主体为服务端为例进行说明。
步骤201、接收客户端广播的携带有私有标识的DHCPDISCOVER报文。
本发明实施例中,当客户端想要加入Hadoop集群时,客户端可以广播DHCPDISCOVER报文,该DHCPDISCOVER(发现)报文的源地址可以为0.0.0.0,目的地址可以为255.255.255.255。
本发明实施例中,客户端广播的该DHCPDISCOVER报文除了可以携带DHCP协议规定的相关信息内容之外,还需要携带有一个私有标识,该私有标识用于标识该客户端为请求加入Hadoop集群的客户端,携带有该私有标识的DHCPDISCOVER报文,仅有上述图1所示网络架构中的服务端会进行响应。
可选地,该私有标识可以为UNI(UserNetworksinterface,用户网络侧接口)ID(标识),该UNIID可以携带在DHCP报文的可选字段中,如新增可选字段Option(可选)201。
步骤202、向客户端发送携带有该私有标识的DHCPOFFER报文。
本发明实施例中,当服务端接收到DHCPDISCOVER报文时,可以对该DHCPDISCOVER报文进行解析,确定该DHCPDISCOVER报文中是否携带有私有标识,若是,则服务端可以对该DHCPDISCOVER报文进行响应,向客户端返回DHCPOFFER(提供)报文,该DHCPOFFER报文中除了携带DHCP协议规定的相关信息内容(该内容可以包括DHCP服务器的IP地址以及DHCP服务器为客户端提供的IP地址,其中,在本发明实施例中,DHCP服务器的IP地址可以为服务端的IP地址)之外,还携带有上述私有标识;否则,服务端可以不对该DHCPDISCOVER报文进行响应,或按照其它策略进行处理,本发明实施例对此不做限定。
步骤203、接收客户端广播的DHCPREQUEST报文,该DHCPREQUEST报文携带有该私有标识信息,以及客户端的标识信息。
本发明实施例中,客户端接收到服务端返回的DHCPOFFER报文,并确定该DHCPOFFER报文中携带有私有标识后,可以广播DISCOVERREQUEST(请求)报文,该DISCOVERREQUEST报文中除了携带DHCP协议规定的相关信息内容(该内容中包括客户端选中的DHCP服务器的IP地址,在该实施例中可以为服务端的IP地址)之外,还需要携带该私有标识,以及客户端的标识信息。其中,该客户端的标识信息至少包括客户端的IP地址和MAC地址。
步骤204、向客户端发送DHCPACK报文,该DHCPACK报文携带有该私有标识以及客户端的标识信息对应的Hadoop集群配置信息,以使客户端根据该Hadoop集群配置信息加入Hadoop集群。
本发明实施例中,当服务端接收到客户端广播的DHCPREQUEST报文时,若确定该DHCPREQUEST报文携带的服务端的IP地址为自身的IP地址,则服务端可以确定自身需要响应该DHCPREQUEST报文(即确定自身为客户端选中的为其分配IP地址的服务端),进而,若服务端确定该DHCPREQUEST报文中携带有上述私有标识时,服务端可以向该客户端响应DHCPACK(确认)报文,该DHCPACK确认报文中除了可以携带DHCP协议规定的相关信息内容之外,还可以携带上述私有标识以及客户端的标识信息对应的Hadoop集群配置信息。客户端接收到DHCPACK报文后,可以根据该DHCPACK报文中携带的Hadoop集群配置信息加入Hadoop集群,其具体实现在图3所示的方法流程中描述,本发明实施例在此不再赘述。
具体的,在本发明实施例中,可以预先在服务端中配置客户端标识信息与Hadoop集群配置信息的对应关系,其中,该Hadoop集群配置信息可以包括服务端IP地址以及文件下载路径,该文件下载路径可以用于客户端获取对应的安装程序、主机名以及SSH免密钥登陆公钥信息;或,该Hadoop集群配置信息可以包括服务端IP地址、客户端对应的主机名、SSH免密码登陆需要的公钥信息以及文件下载路径,该文件下载路径用于客户端获取对应的安装程序。当服务端接收到客户端发送的DHCPREQUEST报文,且确定该DHCPREQUEST报文中携带有上述私有标识时,服务端可以根据该DHCPREQUEST报文中携带的客户端的标识信息,查询预先配置的客户端标识信息与Hadoop集群配置信息的对应关系,以确定该客户端的标识信息对应的Hadoop集群配置信息,并将Hadoop集群配置信息携带在发送给客户端的DHCPACK报文中。
作为一种可选的实施方式,上述步骤203中,DHCPREQUEST报文中还可以携带客户端的操作***版本;
相应地,在本发明实施例中,向客户端发送DHCPACK报文之前,还可以包括以下步骤:
11)、根据客户端的操作***版本对客户端进行校验;
12)、若校验通过,则确定执行向客户端发送DHCPACK报文的步骤。
在该实施方式中,服务端中可以预先配置允许加入Hadoop集群的主机的要求。例如,配置允许加入Hadoop集群的主机的操作***版本。
相应地,当服务端接收到客户端广播的DHCPREQUEST报文,并确定该DHCPREQUEST报文中携带有上述私有标识时,DHCP在响应DHCPACK报文之前,还可以获取该报文中携带的客户端的操作***版本,对客户端进行校验,以确定该客户端是否被允许加入Hadoop集群。若是,则服务端可以向该客户端返回DHCPACK报文;否则,服务端可以认为该客户端不允许加入Hadoop集群,不对该DHCPREQUEST报文进行响应,或者返回集群加入失败响应。
可见,在图2所描述的方法流程中,通过客户端与服务端之间进行携带有私有标识的DHCP报文交互,向需要加入Hadoop集群的客户端下发Hadoop集群配置信息,以使该客户端根据该Hadoop集群配置信息加入Hadoop集群,实现了Hadoop主机自动发现,提高了Hadoop集群运维管理的效率。
基于图1所示的网络架构,本发明实施例还提供了另一种实现Hadoop主机自动发现方法,请参见图3,图3为本发明实施例提供的另一种实现Hadoop主机自动发现方法的流程示意图。如图3所示,该方法可以包括:
需要说明的是,步骤301~步骤305的执行主体可以为图1所示网络架构中的客户端或客户端的处理器,如CPU,为便于描述,以下以步骤301~步骤305的执行主体为客户端为例进行说明。
步骤301、广播携带有私有标识的DHCPDISCOVER报文。
当客户端想要加入Hadoop集群时,客户端可以广播DHCPDISCOVER报文,该DHCPDISCOVER报文的源地址可以为0.0.0.0,目的地址可以为255.255.255.255。
本发明实施例中,客户端广播的该DHCPDISCOVER报文除了可以携带DHCP协议规定的相关信息内容之外,还需要携带有一个私有标识,该私有标识用于标识该客户端为请求加入Hadoop集群的客户端,携带有该私有标识的DHCPDISCOVER报文,仅有上述图1所示网络架构中的服务端会进行响应。
步骤302、接收服务端返回的携带有该私有标识的DHCPOFFER报文。
本发明实施例中,当服务端接收到DHCPDISCOVER报文时,可以对该DHCPDISCOVER报文进行解析,确定该DHCPDISCOVER报文中是否携带有私有标识,若是,则服务端可以对该DHCPDISCOVER报文进行响应,向客户端返回DHCPOFFER报文,该DHCPOFFER报文中除了携带DHCP协议规定的相关信息内容(该内容可以包括DHCP服务器的IP地址以及DHCP服务器为客户端提供的IP地址,其中,在本发明实施例中,DHCP服务器的IP地址可以为服务端的IP地址)之外,还携带有上述私有标识;否则,服务端可以不对该DHCPDISCOVER报文进行响应,或按照其它策略进行处理,本发明实施例对此不做限定。
步骤303、广播DHCPREQUEST报文,该DHCPREQUEST报文中携带有该私有标识以及客户端的标识信息。
本发明实施例中,客户端接收到服务端返回的DHCPOFFER报文,并确定该DHCPOFFER报文中携带有私有标识后,可以广播DISCOVERREQUEST报文,该DISCOVERREQUEST报文中除了携带DHCP协议规定的相关信息内容(该内容中包括客户端选中的服务端的IP地址,在该实施例中可以为服务端的IP地址)之外,需要携带该私有标识,以及客户端的标识信息。其中,该客户端的标识信息至少包括客户端的IP地址和MAC地址。
步骤304、接收服务端发送的DHCPACK报文,该DHCPACK报文中携带有该私有标识以及客户端的标识信息对应的Hadoop集群配置信息。
本发明实施例中,当服务端接收到客户端广播的DHCPREQUEST报文时,若确定该DHCPREQUEST报文携带的服务端的IP地址为自身的IP地址,则服务端可以确定自身需要响应该DHCPREQUEST报文(即确定自身为客户端选中的为其分配IP地址的服务端),进而,若服务端确定该DHCPREQUEST报文中携带有上述私有标识时,服务端可以向该客户端响应DHCPACK报文,该DHCPACK确认报文中除了可以携带DHCP协议规定的相关信息内容之外,还可以携带上述私有标识以及客户端的标识信息对应的Hadoop集群配置信息。
305、根据该Hadoop集群配置信息加入Hadoop集群。
本发明实施例中,客户端接收到服务端返回的DHCPACK报文后,可以根据该DHCPACK报文中携带的Hadoop集群配置信息加入Hadoop集群。
作为一种可选的实施方式,在本发明实施例中,Hadoop集群配置信息可以包括服务端IP地址,以及文件下载路径;
相应地,上述步骤305中,根据Hadoop集群配置信息加入Hadoop集群之前,可以包括:
根据文件下载路径获取对应的安装程序、主机名以及SSH(SecureShell,安全外壳协议)免密钥登陆公钥信息。
进而,根据Hadoop集群配置信息加入Hadoop集群,可以包括以下步骤:
21)、根据该主机名进行主机名设置,并根据该SSH免密钥登陆公钥信息配置免密钥登陆;
22)、根据安装程序配置客户端加入Hadoop集群前所需的预配置;
23)、根据服务端IP地址进行注册。
在该实施方式中,客户端接收到DHCPACK报文之后,可以获取该报文中携带的服务端IP地址,以及文件下载地址,并根据该文件下载地址获取对应的安装程序、主机名以及SSH免密钥登陆公钥信息。
客户端获取到上述信息后,可以根据该主机名进行主机名设置,并根据该SSH免密钥登陆公钥信息配置免密钥登陆,进而,客户端还可以执行所下载的安装程序,配置客户端加入Hadoop集群前所需的预配置,如升级特定软件版本,安装JRE(JavaRuntimeEnvironment,Java(一种可以撰写跨平台应用程序的面向对象的程序设计语言)运行环境)、Python(一种面向对象、解释型计算机程序设计语言)等程序运行环境,安装集群运维管理客户端等,之后根据规划策略安装Hadoop服务或组件,修改相应配置文件。
客户端完成上述配置后,可以根据服务端IP地址向服务端请求注册,以实现Hadoop集群加入。
作为另一种可选的实施方式,在本发明实施例中,Hadoop集群配置信息可以包括服务端IP地址、客户端对应的主机名、SSH免密码登陆需要的公钥信息以及文件下载路径;
相应地,上述步骤305中,根据Hadoop集群配置信息加入Hadoop集群之前,可以包括:
根据文件下载路径获取对应的安装程序。
进而,根据Hadoop集群配置信息加入Hadoop集群,可以包括以下步骤:
31)、根据客户端对应的主机名进行主机名设置,并根据SSH免密钥登陆公钥信息配置免密钥登陆;
32)、根据该安装程序配置客户端加入Hadoop集群前所需的预配置;
33)、根据服务端IP地址进行注册。
在该实施方式中,可以将服务端IP地址、主机名、SSH免密码登陆需要的公钥信息以及文件下载路径均作为集群配置信息携带在DHCPACK报文中下发给客户端;客户端接收到该DHCPACK报文后,可以根据文件下载路径下载对应的安装程序,以及根据该报文中携带的主机名进行主机名设置,并根据该报文中携带的SSH免密码登陆需要的公钥信息进行免密码登陆配置,进而,执行所下载的安装程序,配置客户端加入集群前所需的预配置,
客户端完成上述配置后,可以根据服务端IP地址向服务端请求注册,以实现Hadoop集群加入。
可见,在图3所描述的方法流程中,通过客户端与服务端之间进行携带有私有标识的DHCP报文交互,向需要加入Hadoop集群的客户端下发Hadoop集群配置信息,以使该客户端根据该Hadoop集群配置信息加入Hadoop集群,实现了Hadoop主机自动发现,提高了Hadoop集群运维管理的效率。
为了使本领域技术人员更好地理解本发明实施例提供的技术方案,下面结合具体的应用场景对本发明实施例提供的技术方案进行描述。
请参见图4,图4为本发明实施例提供的一种具体应用场景的架构示意图,如图4所示,可以包括服务端(同时使能了DHCP服务器功能和Hadoop集群管理服务器功能)和客户端。该实施例中,Hadoop主机自动发现的具体实现可以包括:
一、服务端提前指定好Hadoop集群配置策略,包括:
1、地址分配范围、掩码、网关、IP地址与主机名对应关系等网络分配信息;
2、Hadoop集群可接受的客户端操作***版本。
3、由于不同客户端加入Hadoop集群可能需要安装不同的服务或组件,因此需要根据Hadoop集群规划,提前制作好不同客户端所需的安装程序,安装程序中包括基础环境安装(如安装Java运行环境、安装集群运维管理客户端、升级特定软件版本等),Hadoop服务或组件的安装,以及其它自定义的安装,如常用软件(如邮件服务器)的安装等。
客户端加入Hadoop集群的过程可以包括:
1、客户端广播DHCPDISCOVER报文,源地址会为0.0.0.0﹐而目的地址则为255.255.255.255,该DHCPDISCOVER报文携带有私有标识Option201:UNIID。
2、服务端接收到携带有私有标识Option201的DHCPDISCOVER报文后,回应带有私有标识Option201的DHCPOFFER报文;
3、客户端收到DHCPOFFER报文后,回应DHCPREQUEST报文,该DHCPREQUEST报文在DHCP协议规定的信息内容的基础上,新增如下Option信息:Option201:UNIID;Option202-客户端IP地址;Option203-客户端MAC地址;Option204-客户端操作***版本。
4、服务端接收到DHCPREQUEST报文后,先根据报文的Option信息校验该客户端是否符合集群主机要求,验证通过后,记录报文的Option信息,并根据客户端信息的不同回应给客户端包含不同信息的DHCPACK报文,DHCPACK报文在DHCP协议规定的信息内容的基础上,新增Option信息:Option201:UNIID;Option210-服务端IP地址;Option211-客户端对应的主机名;Option212-SSH免密码登陆需要的公钥信息;Option213-文件下载路径。
5、客户端接收到DHCPACK报文后,根据收到的信息,设置主机名,配置免密码登陆。
6、根据文件下载路径获取对应的安装程序,配置客户端加入集群前所需的预配置,如升级特定软件版本,安装JRE、Python等程序运行环境,安装集群运维管理客户端等,之后根据规划策略安装Hadoop服务或组件,修改相应配置文件。
7、根据集群服务器IP地址进行注册。
需要注意的是,在本发明实施例中,客户端根据服务端的IP地址注册完成后,服务端可以向客户端下发集群加入提示消息;客户端接收到该集群加入提示消息后,可以将其展示给用户(如运维人员),并根据用户的操作指令完成Hadoop集群的加入,其具体实现在此不再赘述。
通过以上描述可以看出,在本发明实施例提供的技术方案中,通过在接收到客户端广播的携带有私有标识的DHCPDISCOVER报文时,向客户端发送携带有该私有标识的DHCPOFFER报文,并当接收客户端广播的携带有私有标识以及客户端的标识信息的DHCPREQUEST报文时,向客户端发送携带有私有标识以及客户端的标识信息对应的Hadoop集群配置信息的DHCPACK报文,以使客户端根据该Hadoop集群配置信息加入Hadoop集群,实现了Hadoop主机自动发现,提高了Hadoop集群运维管理的效率。
请参见图5,为本发明实施例提供的一种实现Hadoop主机自动发现的装置的结构示意图,其中,该装置可以应用图1所示网络架构中的服务端,如图5所示,该装置可以包括:
接收单元510,用于接收客户端广播的携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文;
发送单元520,用于向所述客户端发送携带有所述私有标识的DHCP提供OFFER报文;
所述接收单元510,还用于接收所述客户端广播的DHCP请求REQUEST报文,所述DHCPREQUEST报文携带有所述私有标识以及所述客户端的标识信息;
所述发送单元520,还用于向所述客户端发送DHCP确认ACK报文,所述DHCPACK报文携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息,以使所述客户端根据所述Hadoop集群配置信息加入Hadoop集群。
在可选实施例中,所述DHCPREQUEST报文中还携带有所述客户端的操作***版本;
相应地,请一并参阅图6,为本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图,该实施例在前述图5所示实施例的基础上,所述装置还可以包括:
检验单元530,用于根据所述客户端的操作***版本对所述客户端进行校验;
所述发送单元520,可以具体用于若所述校验单元校验通过,则向所述客户端发送DHCPACK报文。
请一并参阅图7,为本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图,该实施例在前述图5所示实施例的基础上,所述装置还可以包括:
查询单元540,用于根据所述客户端的标识信息查询预先配置的客户端标识信息与Hadoop集群配置信息的对应关系,以确定与所述客户端的标识信息对应的Hadoop集群配置信息;
其中,所述客户端的标识信息包括客户端的互联网协议IP地址和媒体访问控制MAC地址;所述Hadoop集群配置信息包括服务端IP地址以及文件下载路径,所述文件下载路径用于所述客户端获取对应的安装程序、主机名以及安全外壳协议SSH免密钥登陆公钥信息;或,服务端IP地址、客户端对应的主机名、安全外壳协议SSH免密码登陆需要的公钥信息以及文件下载路径,所述文件下载路径用于所述客户端获取对应的安装程序。
请参见图8,为本发明实施例提供的一种实现Hadoop主机自动发现的装置的结构示意图,其中,该装置可以应用图1所示网络架构中的客户端,如图8所示,该装置可以包括:
发送单元810,用于广播携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文;
接收单元820,用于接收服务端返回的携带有所述私有标识的DHCP提供OFFER报文;
所述发送单元810,还用于广播DHCP请求REQUEST报文,所述DHCPREQUEST报文中携带有所述私有标识以及所述客户端的标识信息;
所述接收单元820,还用于接收所述服务端发送的DHCP确认ACK报文,所述DHCPACK报文中携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息;
集群加入单元830,用于根据所述Hadoop集群配置信息加入Hadoop集群。
在可选实施例中,所述Hadoop集群配置信息包括服务端IP地址,以及文件下载路径;
相应地,请一并参阅图9,为本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图,该实施例在前述图8所示实施例的基础上,所述装置还可以包括:
第一获取单元,用于根据所述文件下载路径获取对应的安装程序、主机名以及安全外壳协议SSH免密钥登陆公钥信息;
或者,
所述Hadoop集群配置信息包括服务端IP地址、客户端对应的主机名、SSH免密码登陆需要的公钥信息以及文件下载路径;
相应地,在前述图8所示实施例的基础上,图9所示的装置还可以包括:
第二获取单元,用于根据所述文件下载路径获取对应的安装程序。
其中,图9所示的实施例中,第一获取单元和第二获取单元在图中均以获取单元840为例示出。
请一并参阅图10,为本发明实施例提供的另一种实现Hadoop主机自动发现的装置的结构示意图,该实施例在前述图9所示实施例的基础上,所述集群加入单元830可以包括:
设置子单元831,用于根据所述主机名进行主机名设置;
配置子单元832,用于根据所述SSH免密钥登陆公钥信息配置免密钥登陆;
所述配置子单元832,还用于根据所述安装程序配置客户端加入Hadoop集群前所需的预配置;
注册子单元833,用于根据所述服务端的IP地址进行注册。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
由上述实施例可见,通过在接收到客户端广播的携带有私有标识的DHCPDISCOVER报文时,向客户端发送携带有该私有标识的DHCPOFFER报文,并当接收客户端广播的携带有私有标识以及客户端的标识信息的DHCPREQUEST报文时,向客户端发送携带有私有标识以及客户端的标识信息对应的Hadoop集群配置信息的DHCPACK报文,以使客户端根据该Hadoop集群配置信息加入Hadoop集群,实现了Hadoop主机自动发现,提高了Hadoop集群运维管理的效率。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (12)
1.一种实现Hadoop主机自动发现的方法,其特征在于,该方法应用于Hadoop集群的服务端,该方法包括:
接收客户端广播的携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文;
向所述客户端发送携带有所述私有标识的DHCP提供OFFER报文;
接收所述客户端广播的DHCP请求REQUEST报文,所述DHCPREQUEST报文携带有所述私有标识以及所述客户端的标识信息;
向所述客户端发送DHCP确认ACK报文,所述DHCPACK报文携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息,以使所述客户端根据所述Hadoop集群配置信息加入Hadoop集群。
2.根据权利要求1所述的方法,其特征在于,所述DHCPREQUEST报文中还携带有所述客户端的操作***版本;
所述向所述客户端发送DHCPACK报文之前,还包括:
根据所述客户端的操作***版本对所述客户端进行校验;
若校验通过,则确定执行所述向所述客户端发送DHCPACK报文的步骤。
3.根据权利要求1所述的方法,其特征在于,所述向所述客户端发送DHCPACK报文之前,还包括:
根据所述客户端的标识信息查询预先配置的客户端标识信息与Hadoop集群配置信息的对应关系,以确定与所述客户端的标识信息对应的Hadoop集群配置信息;
其中,所述客户端的标识信息包括客户端的互联网协议IP地址和媒体访问控制MAC地址;所述Hadoop集群配置信息包括服务端IP地址以及文件下载路径,所述文件下载路径用于所述客户端获取对应的安装程序、主机名以及安全外壳协议SSH免密钥登陆公钥信息;或,所述Hadoop集群配置信息包括服务端IP地址、客户端对应的主机名、安全外壳协议SSH免密码登陆需要的公钥信息以及文件下载路径,所述文件下载路径用于所述客户端获取对应的安装程序。
4.一种实现Hadoop主机自动发现的方法,其特征在于,该方法应用于Hadoop集群的客户端,该方法包括:
广播携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文;
接收服务端返回的携带有所述私有标识的DHCP提供OFFER报文;
广播DHCP请求REQUEST报文,所述DHCPREQUEST报文中携带有所述私有标识以及客户端的标识信息;
接收所述服务端发送的DHCP确认ACK报文,所述DHCPACK报文中携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息;
根据所述Hadoop集群配置信息加入Hadoop集群。
5.根据权利要求4所述的方法,其特征在于,所述Hadoop集群配置信息包括服务端IP地址,以及文件下载路径;
所述根据所述Hadoop集群配置信息加入Hadoop集群之前,还包括:
根据所述文件下载路径获取对应的安装程序、主机名以及安全外壳协议SSH免密钥登陆公钥信息;
或者,
所述Hadoop集群配置信息包括服务端IP地址、客户端对应的主机名、SSH免密码登陆需要的公钥信息以及文件下载路径;
所述根据所述Hadoop集群配置信息加入Hadoop集群之前,还包括:
根据所述文件下载路径获取对应的安装程序。
6.根据权利要求5所述的方法,其特征在于,所述根据所述Hadoop集群配置信息加入Hadoop集群,包括:
根据所述主机名进行主机名设置,并根据所述SSH免密钥登陆公钥信息配置免密钥登陆;
根据所述安装程序配置客户端加入Hadoop集群前所需的预配置;
根据所述服务端的IP地址进行注册。
7.一种实现Hadoop主机自动发现的装置,其特征在于,该装置应用于Hadoop集群的服务端,该装置包括:
接收单元,用于接收客户端广播的携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文;
发送单元,用于向所述客户端发送携带有所述私有标识的DHCP提供OFFER报文;
所述接收单元,还用于接收所述客户端广播的DHCP请求REQUEST报文,所述DHCPREQUEST报文携带有所述私有标识以及所述客户端的标识信息;
所述发送单元,还用于向所述客户端发送DHCP确认ACK报文,所述DHCPACK报文携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息,以使所述客户端根据所述Hadoop集群配置信息加入Hadoop集群。
8.根据权利要求7所述的装置,其特征在于,所述DHCPREQUEST报文中还携带有所述客户端的操作***版本;
所述装置还包括:
检验单元,用于根据所述客户端的操作***版本对所述客户端进行校验;
所述发送单元,具体用于若所述校验单元校验通过,则向所述客户端发送DHCPACK报文。
9.根据权利要求7所述的装置,其特征在于,所述装置还包括:
查询单元,用于根据所述客户端的标识信息查询预先配置的客户端标识信息与Hadoop集群配置信息的对应关系,以确定与所述客户端的标识信息对应的Hadoop集群配置信息;
其中,所述客户端的标识信息包括客户端的互联网协议IP地址和媒体访问控制MAC地址;所述Hadoop集群配置信息包括服务端IP地址以及文件下载路径,所述文件下载路径用于所述客户端获取对应的安装程序、主机名以及安全外壳协议SSH免密钥登陆公钥信息;或,所述Hadoop集群配置信息包括服务端IP地址、客户端对应的主机名、安全外壳协议SSH免密码登陆需要的公钥信息以及文件下载路径,所述文件下载路径用于所述客户端获取对应的安装程序。
10.一种实现Hadoop主机自动发现的装置,其特征在于,该装置应用于Hadoop集群的客户端,该装置包括:
发送单元,用于广播携带有私有标识的动态主机配置协议DHCP发现DISCOVER报文;
接收单元,用于接收服务端返回的携带有所述私有标识的DHCP提供OFFER报文;
所述发送单元,还用于广播DHCP请求REQUEST报文,所述DHCPREQUEST报文中携带有所述私有标识以及客户端的标识信息;
所述接收单元,还用于接收所述服务端发送的DHCP确认ACK报文,所述DHCPACK报文中携带有所述私有标识以及所述客户端的标识信息对应的Hadoop集群配置信息;
集群加入单元,用于根据所述Hadoop集群配置信息加入Hadoop集群。
11.根据权利要求10所述的装置,其特征在于,所述Hadoop集群配置信息包括服务端IP地址,以及文件下载路径;
所述装置还包括:
第一获取单元,用于根据所述文件下载路径获取对应的安装程序、主机名以及安全外壳协议SSH免密钥登陆公钥信息;
或者,
所述Hadoop集群配置信息包括服务端IP地址、客户端对应的主机名、SSH免密码登陆需要的公钥信息以及文件下载路径;
所述装置还包括:
第二获取单元,用于根据所述文件下载路径获取对应的安装程序。
12.根据权利要求11所述的装置,其特征在于,所述集群加入单元包括:
设置子单元,用于根据所述主机名进行主机名设置;
配置子单元,用于根据所述SSH免密钥登陆公钥信息配置免密钥登陆;
所述配置子单元,还用于根据所述安装程序配置客户端加入Hadoop集群前所需的预配置;
注册子单元,用于根据所述服务端的IP地址进行注册。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610020551.3A CN105763667B (zh) | 2016-01-13 | 2016-01-13 | 一种实现Hadoop主机自动发现的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610020551.3A CN105763667B (zh) | 2016-01-13 | 2016-01-13 | 一种实现Hadoop主机自动发现的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105763667A true CN105763667A (zh) | 2016-07-13 |
CN105763667B CN105763667B (zh) | 2019-04-09 |
Family
ID=56342378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610020551.3A Active CN105763667B (zh) | 2016-01-13 | 2016-01-13 | 一种实现Hadoop主机自动发现的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105763667B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109471837A (zh) * | 2018-10-08 | 2019-03-15 | 国网经济技术研究院有限公司 | 电力基础设施数据的分布式存储方法 |
CN115002077A (zh) * | 2021-03-01 | 2022-09-02 | 炬芯科技股份有限公司 | 一种dhcp客户端获取ip地址的方法及相关设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008122146A1 (en) * | 2007-04-06 | 2008-10-16 | Thomson Licensing | Enhanced method and apparatus for reducing congestion in dhcp network system |
CN102780790A (zh) * | 2012-07-13 | 2012-11-14 | 深圳市龙视传媒有限公司 | 一种动态分配ip地址的方法和*** |
CN103618634A (zh) * | 2013-12-11 | 2014-03-05 | 上海爱数软件有限公司 | 集群中自动发现节点的方法 |
CN104335554A (zh) * | 2014-06-27 | 2015-02-04 | 华为技术有限公司 | 无线接入网配置自动同步方法及装置 |
-
2016
- 2016-01-13 CN CN201610020551.3A patent/CN105763667B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008122146A1 (en) * | 2007-04-06 | 2008-10-16 | Thomson Licensing | Enhanced method and apparatus for reducing congestion in dhcp network system |
CN102780790A (zh) * | 2012-07-13 | 2012-11-14 | 深圳市龙视传媒有限公司 | 一种动态分配ip地址的方法和*** |
CN103618634A (zh) * | 2013-12-11 | 2014-03-05 | 上海爱数软件有限公司 | 集群中自动发现节点的方法 |
CN104335554A (zh) * | 2014-06-27 | 2015-02-04 | 华为技术有限公司 | 无线接入网配置自动同步方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109471837A (zh) * | 2018-10-08 | 2019-03-15 | 国网经济技术研究院有限公司 | 电力基础设施数据的分布式存储方法 |
CN115002077A (zh) * | 2021-03-01 | 2022-09-02 | 炬芯科技股份有限公司 | 一种dhcp客户端获取ip地址的方法及相关设备 |
CN115002077B (zh) * | 2021-03-01 | 2024-03-22 | 炬芯科技股份有限公司 | 一种dhcp客户端获取ip地址的方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105763667B (zh) | 2019-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7035257B2 (en) | System and method to discover and configure remotely located network devices | |
EP2866389B1 (en) | Method and device thereof for automatically finding and configuring virtual network | |
US8250184B2 (en) | System, network entities and computer programs for configuration management of a dynamic host configuration protocol framework | |
US8626921B2 (en) | Device and service management based on layer 2 through layer 7 device attributes | |
US12010091B2 (en) | Topic handling in MQTT networks | |
Guttman | Service location protocol: Automatic discovery of IP network services | |
JP4142960B2 (ja) | ローカルエリアネットワーク上の装置を探索するシステム及び方法 | |
US9860207B2 (en) | Methods of using beacon messages to discover devices across subnets | |
CN102271050B (zh) | 一种IPv6网络中网络设备自动配置的方法、网络设备和*** | |
US10965640B2 (en) | Configuration of an M2M device | |
JP2007036374A (ja) | パケット転送装置、通信網及びパケット転送方法 | |
US7990943B2 (en) | Establishing channels between a domain manager and managed nodes | |
US20120036545A1 (en) | Method and apparatus for obtaining address of video transmission management server | |
CN103581353A (zh) | 网关设备的自动配置方法及*** | |
CN107968725B (zh) | 家庭网关单元型终端设备配置信息返回及配置方法、设备 | |
CN105763667A (zh) | 一种实现Hadoop主机自动发现的方法及装置 | |
CN112953764A (zh) | 组网终端配置方法、装置、组网终端以及计算机存储介质 | |
US20080201477A1 (en) | Client side replacement of DNS addresses | |
CN108418700B (zh) | 通信方法和设备 | |
WO2015143824A1 (zh) | IPv6过渡技术类型处理方法、装置及*** | |
US20170019406A1 (en) | Method, Device and System for Processing IPv6 Network Parameter, and AAA server | |
CN102710803B (zh) | 在IPv4网络中下发IPv6 DNS信息的方法及*** | |
WO2016201854A1 (zh) | 互联网协议ip地址更新方法、装置及网关 | |
Headquarters | IP Addressing: DHCP Configuration Guide, Cisco IOS Release 12.4 | |
Jadia | Establishing IPv6 connectivity for a cable modem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No. Applicant after: Xinhua three Technology Co., Ltd. Address before: 310052 Binjiang District Changhe Road, Zhejiang, China, No. 466, No. Applicant before: Huasan Communication Technology Co., Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |