CN110138779B - 一种基于多协议反向代理的Hadoop平台安全管控方法 - Google Patents

一种基于多协议反向代理的Hadoop平台安全管控方法 Download PDF

Info

Publication number
CN110138779B
CN110138779B CN201910406644.3A CN201910406644A CN110138779B CN 110138779 B CN110138779 B CN 110138779B CN 201910406644 A CN201910406644 A CN 201910406644A CN 110138779 B CN110138779 B CN 110138779B
Authority
CN
China
Prior art keywords
request
reverse proxy
client
information
proxy server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910406644.3A
Other languages
English (en)
Other versions
CN110138779A (zh
Inventor
吴平杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhi Technology Hangzhou Co ltd
Original Assignee
Quanzhi Technology Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhi Technology Hangzhou Co ltd filed Critical Quanzhi Technology Hangzhou Co ltd
Priority to CN201910406644.3A priority Critical patent/CN110138779B/zh
Publication of CN110138779A publication Critical patent/CN110138779A/zh
Application granted granted Critical
Publication of CN110138779B publication Critical patent/CN110138779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0884—Network architectures or network communication protocols for network security for authentication of entities by delegation of authentication, e.g. a proxy authenticates an entity to be authenticated on behalf of this entity vis-à-vis an authentication entity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/306—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information intercepting packet switched data communications, e.g. Web, Internet or IMS communications

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Technology Law (AREA)
  • Computer And Data Communications (AREA)
  • Storage Device Security (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于多协议反向代理的Hadoop平台安全管控方法，包括如下步骤：一、构建反向代理服务器，并开始监听用户请求；二、接收到客户端发送的请求，并进行拦截；三、验证请求中的账号信息，并进行安全认证，若不符合预定规则，则拒绝访问；四、根据请求的详细信息，将该请求转发到目标服务，并获取响应信息；五、将响应信息返回给客户端。本发明基于实现多种网络协议的反向代理，为hadoop平台提供统一的账号认证及权限管控方案，在兼容多种hadoop版本的同时对hadoop平台本身没有业务侵入性。

Description

一种基于多协议反向代理的Hadoop平台安全管控方法
技术领域
本发明属于平台安全管控领域，具体涉及拦截hadoop平台的网络流量，并按照用户设定的规则进行安全控制方法；及导出hadoop平台的网络流量，用于数据分析与安全审计方法。
背景技术
开源的apache hadoop平台包含hdfs、yarn、hive、hbase等各类型的服务组件，目前欠缺统一且全面的安全管控措施。常用于hadoop平台的安全管控方案仅支持基于kerberos进行身份认证，与常见的账号***集成度较差。而权限则由每种服务自身进行管控，其中某些组件(如hive等)会提供插件式的扩展接口，用户可基于该接口定制符合自身需求的权限校验逻辑。目前已有的apache ranger、apache sentry等***即是基于插件的管控方案。而由于hadoop平台的开源属性，插件式的接口出现时间较晚，很多早期版本不支持此类接口，同时由于插件的方式对hadoop平台有极强的侵入性，容易引发各类安全问题。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提供了一种基于多协议反向代理的Hadoop平台安全管控方法，包括如下步骤：
一、构建反向代理服务器，并开始监听用户请求；
二、接收到客户端发送的请求，并进行拦截；
三、验证请求中的账号信息，并进行安全认证，若不符合预定规则，则拒绝访问；
四、根据请求的详细信息，将该请求转发到目标服务，并获取响应信息；
五、将响应信息返回给客户端。
进一步的，每种类型的Hadoop服务以类似的流程单独构建代理服务，并使用相同的账号***与权限控制规则。
进一步的，所述Hadoop平台的hdfs服务具体如下：
1.客户端根据配置构建本地访问代理，并初始化账号等信息；
2.客户端开始与NameNode的反向代理服务建立tcp连接，并发送用于身份认证的加密串；
3.代理服务端接收到建立连接的请求，并获取身份认证信息，根据预定义的规则对用户身份进行认证；
4.若认证通过，则通过tcp通道写入成功的响应，正式建立连接；
5.客户端开始构造并发送MKDIRS的rpc请求包，其中序列化部分由protobuf框架完成；
6.服务端接收到rpc请求之后，用protobuf框架对请求进行反序列化，并解析调用对应的rpc方法：mkdirs；
7.mkdirs方法中对请求信息进行解析，并根据预先定义的规则判断该请求是否被允许；
8.根据要创建的目录名以及相应的属性，通过客户端向真实的hdfs NameNode发起目录创建的请求并得到响应；
9.若远程服务创建目录成功，则返回成功；若真实服务创建失败，则返回失败；若发生异常，则对异常进行捕获之后返回相应的错误说明；
10. 构造rpc响应，经过protobuf序列化之后写入tcp通道；
11. 客户端接收到rpc响应，请求完成。
本发明基于实现多种网络协议的反向代理，为hadoop平台提供统一的账号认证及权限管控方案，在兼容多种hadoop版本的同时对hadoop平台本身没有业务侵入性。
附图说明
图1是hdfs/yarn反向代理服务示意图；
图2是hiveswrver2反向代理服务示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
本发明的基于多协议反向代理的Hadoop平台安全管控方法，包括如下步骤：
一、构建反向代理服务器，并开始监听用户请求；
二、接收到客户端发送的请求，并进行拦截；
三、验证请求中的账号信息，并进行安全认证，若不符合预定规则，则拒绝访问；
四、根据请求的详细信息，将该请求转发到目标服务，并获取响应信息；
五、将响应信息返回给客户端。
实施例
如图1和2所示，下面针对hadoop平台中的hdfs服务，一次典型文件操作(创建目录)的详细流程如下：
1.客户端根据配置构建本地访问代理，并初始化账号等信息；
2.客户端开始与NameNode的反向代理服务建立tcp连接，并发送用于身份认证的加密串；
3.代理服务端接收到建立连接的请求，并获取身份认证信息，根据预定义的规则对用户身份进行认证；
4.若认证通过，则通过tcp通道写入成功的响应，正式建立连接；
5.客户端开始构造并发送MKDIRS的rpc请求包，其中序列化部分由protobuf框架完成；
6.服务端接收到rpc请求之后，用protobuf框架对请求进行反序列化，并解析调用对应的rpc方法：mkdirs；
7.mkdirs方法中对请求信息进行解析，并根据预先定义的规则判断该请求是否被允许；
8.根据要创建的目录名以及相应的属性，通过客户端向真实的hdfs NameNode发起目录创建的请求并得到响应；
9.若远程服务创建目录成功，则返回成功；若真实服务创建失败，则返回失败；若发生异常，则对异常进行捕获之后返回相应的错误说明；
10. 构造rpc响应，经过protobuf序列化之后写入tcp通道；
11. 客户端接收到rpc响应，请求完成。
通常来说，每种类型的hadoop服务都需要以类似的流程单独构建代理服务，并使用相同的账号***与权限控制规则。

Claims (1)

1.一种基于多协议反向代理的Hadoop平台安全管控方法，所述多协议包括hdfs、yarn、hive或hbase服务，包括如下步骤：
一、构建反向代理服务器，并开始监听用户请求；
二、接收到客户端发送的请求，并进行拦截；
三、验证请求中的账号信息，并进行安全认证，若不符合预定规则，则拒绝访问；
四、根据请求的详细信息，将该请求转发到目标服务器，并获取响应信息；
五、将响应信息返回给客户端；
每种类型的Hadoop服务以类似的流程单独构建反向代理服务器，并使用相同的账号***与权限控制规则；
所述Hadoop平台的hdfs服务具体如下：
一.客户端根据配置构建本地访问代理服务器，并初始化账号信息；
二.客户端开始与NameNode的反向代理服务器建立tcp连接，并发送用于身份认证的加密串；
三.反向代理服务器接收到建立连接的请求，并获取身份认证信息，根据预定义的规则对用户身份进行认证；
四.若认证通过，则通过tcp通道写入成功的响应，正式建立连接；
五.客户端开始构造并发送MKDIRS的rpc请求包，其中序列化部分由protobuf框架完成；
六. 反向代理服务器接收到rpc请求之后，用protobuf框架对请求进行反序列化，并解析调用对应的rpc方法：mkdirs；
七.mkdirs方法中对请求信息进行解析，并根据预先定义的规则判断该请求是否被允许；
八.根据要创建的目录名以及相应的属性，通过客户端向真实的hdfs NameNode发起目录创建的请求并得到响应；
九.若远程服务创建目录成功，则返回成功；若远程服务创建失败，则返回失败；若发生异常，则对异常进行捕获之后返回相应的错误说明；
十.构造rpc响应，经过protobuf序列化之后写入tcp通道；
十一.客户端接收到rpc响应，请求完成。
CN201910406644.3A 2019-05-16 2019-05-16 一种基于多协议反向代理的Hadoop平台安全管控方法 Active CN110138779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910406644.3A CN110138779B (zh) 2019-05-16 2019-05-16 一种基于多协议反向代理的Hadoop平台安全管控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910406644.3A CN110138779B (zh) 2019-05-16 2019-05-16 一种基于多协议反向代理的Hadoop平台安全管控方法

Publications (2)

Publication Number Publication Date
CN110138779A CN110138779A (zh) 2019-08-16
CN110138779B true CN110138779B (zh) 2021-07-30

Family

ID=67574501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910406644.3A Active CN110138779B (zh) 2019-05-16 2019-05-16 一种基于多协议反向代理的Hadoop平台安全管控方法

Country Status (1)

Country Link
CN (1) CN110138779B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114726652B (zh) * 2022-05-20 2022-08-30 北京网藤科技有限公司 一种基于l7代理的安全设备管理方法及***
CN115134395B (zh) * 2022-05-31 2024-05-17 阿里巴巴（中国）有限公司 数据处理方法以及装置
CN114978743B (zh) * 2022-06-08 2023-07-18 杭州指令集智能科技有限公司 一种跨网络段的服务通信***
CN114896584B (zh) * 2022-07-13 2022-10-11 杭州比智科技有限公司 一种Hive数据权限控制代理层方法及***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IN2013MU03094A (zh) * 2013-09-27 2015-07-17 Tata Consultancy Services Ltd
CN104504013A (zh) * 2014-12-10 2015-04-08 无锡城市云计算中心有限公司 大数据软件的管理方法和装置
CN105119750B (zh) * 2015-09-08 2019-04-19 南京联成科技发展股份有限公司 一种基于大数据的分布式信息安全运维管理平台***
US10291602B1 (en) * 2017-04-12 2019-05-14 BlueTalon, Inc. Yarn rest API protection
CN109218368B (zh) * 2017-07-05 2021-09-07 北京京东尚科信息技术有限公司 实现Http反向代理的方法、装置、电子设备和可读介质
CN109150908A (zh) * 2018-10-08 2019-01-04 四川大学 一种部署于网关处的大数据平台保护装置及其保护方法

Also Published As

Publication number Publication date
CN110138779A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110138779B (zh) 一种基于多协议反向代理的Hadoop平台安全管控方法
US11757944B2 (en) Network intermediary with network request-response mechanism
WO2018095416A1 (zh) 信息处理方法、装置及***
US9021570B2 (en) System, control method therefor, service providing apparatus, relay apparatus and computer-readable medium
US11831683B2 (en) Cloud object security posture management
US11831685B2 (en) Application-specific data flow for synthetic request injection
US11985168B2 (en) Synthetic request injection for secure access service edge (SASE) cloud architecture
US11336698B1 (en) Synthetic request injection for cloud policy enforcement
US11271973B1 (en) Synthetic request injection to retrieve object metadata for cloud policy enforcement
CN112468481B (zh) 一种基于CAS的单页和多页web应用身份集成认证方法
US11647052B2 (en) Synthetic request injection to retrieve expired metadata for cloud policy enforcement
CN105049427B (zh) 应用***登录账号的管理方法及装置
CN104135389A (zh) 一种基于代理技术的ssh协议运维审计***及方法
CN103986584A (zh) 基于智能设备的双因子身份验证方法
TW200818834A (en) Secured communication channel between it administrators using network management software as the basis to manage networks
WO2015131524A1 (zh) 远程访问服务器的方法及web服务器
CN103475491A (zh) 一种无密码安全登录的远程维护***和实现方法
CN109672744A (zh) 一种用户无感知的图像堡垒机方法及***
CN109246212A (zh) 一种基于长连接的多银行数据交互实现方法
CN111245791B (zh) 一种通过反向代理实现管理和it服务的单点登录方法
US10735399B2 (en) System, service providing apparatus, control method for system, and storage medium
WO2022226202A1 (en) Synthetic request injection to retrieve object metadata for cloud policy enforcement
WO2022226208A1 (en) Synthetic request injection to improve object security posture for cloud security enforcement
US10623396B2 (en) System and method for controlling system
JP5302665B2 (ja) 認証サーバ提示方法、サービス提供システム、サービス提供装置、およびサービス提供プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant