CN108647323B - 一种职业能力的数据汇总方法 - Google Patents

一种职业能力的数据汇总方法 Download PDF

Info

Publication number
CN108647323B
CN108647323B CN201810447297.4A CN201810447297A CN108647323B CN 108647323 B CN108647323 B CN 108647323B CN 201810447297 A CN201810447297 A CN 201810447297A CN 108647323 B CN108647323 B CN 108647323B
Authority
CN
China
Prior art keywords
data
user
employment
authentication
integration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810447297.4A
Other languages
English (en)
Other versions
CN108647323A (zh
Inventor
孙康明
曾春
马军政
田兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Hwadee Information Technology Co ltd
Chongqing Technology and Business Institute
Original Assignee
Sichuan Hwadee Information Technology Co ltd
Chongqing Technology and Business Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Hwadee Information Technology Co ltd, Chongqing Technology and Business Institute filed Critical Sichuan Hwadee Information Technology Co ltd
Priority to CN201810447297.4A priority Critical patent/CN108647323B/zh
Publication of CN108647323A publication Critical patent/CN108647323A/zh
Application granted granted Critical
Publication of CN108647323B publication Critical patent/CN108647323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0815—Network architectures or network communication protocols for network security for authentication of entities providing single-sign-on or federations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876—Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开一种职业能力的数据汇总方法，分别从传输层、计算层和存储层对所采集的就业数据进行整合，包括身份整合和数据整合；在传输层中将网络链路出口进行压力分载，且对用户请求进行压力分载；在计算层中对数据通过分布式分配、分层缓存和分层中转进行整合，对用户进行身份整合；在存储层中进行散列式存储。本发明适用于大规模并发数据的传输、计算和存储，从而实现大量且各个端口的就业数据的高效汇总。

Description

一种职业能力的数据汇总方法
技术领域
本发明属于数据处理技术领域，特别是涉及一种职业能力的数据汇总方法。
背景技术
随着互联网的迅猛发展，信息的互通性也越来越广泛。就业数据具有分散广、数据信息量大等特征，通常就业数据需要从各种端口进行采集后再进行汇总；在进行就业大数据汇总时，需要面对数据并发量高的问题。
现有的数据汇总方式中，在面对大量用户对***请求后，将会造成网络带宽和WEB服务器的I/O瓶颈；在接收大量用户请求进行计算，将会造成业务服务器和业务支撑服务器的瓶颈；传输层和计算层将会产生大量的数据，数据量暴增，将会导致数据库和储存上的瓶颈；在面对大量用户访问、高并发请求方面，无法进行高效的数据传输、计算和存储。
发明内容
为了解决上述问题，本发明提出了一种职业能力的数据汇总方法，适用于大规模并发数据的传输、计算和存储，从而实现大量且各个端口的就业数据的高效汇总。
为达到上述目的，本发明采用的技术方案是：一种职业能力的数据汇总方法，分别从传输层、计算层和存储层对所采集的就业数据进行整合，包括身份整合和数据整合；在传输层中将网络链路出口进行压力分载，且对用户请求进行压力分载；在计算层中对数据通过分布式分配、分层缓存和分层中转进行整合，对用户进行身份整合；在存储层中进行散列式存储；
包括步骤：
S100，获取来自不同终端的就业数据，对所述就业数据进行传输分析，就业数据在网络链路出口分类进入传输通道，对用户请求进行压力分载；
S200，将接收到的就业数据在计算层中分别对就业数据进行身份整合和数据整合；
S300，将整合后的就业数据存储在数据库的就业数据区域，所述就业数据区域包括身份认证区域和数据存储区域。
进一步的是，所述步骤S100包括步骤：
S101，从各个终端获取就业数据；
S102，将不同终端的就业数据进行数据分析，得到数据的分类属性；
S103，根据分类属性，将同一类别的数据分配到相应的传输通道；
S104，对用户请求进行压力分载，将用户请求分发到不同的网络服务器上。
进一步的是，将就业数据中的图片数据与页面数据进行分离，建立页面访问请求服务器和独立的图片服务器，来降低提供页面访问请求服务器的压力。
进一步的是，在数据库的身份认证区域中设置有用户基础数据数据库，为就业数据进行身份认证提供基础认证数据；用户基础数据统一存储在用户基础数据数据库中，能够为身份认证提供基础数据，保证用户认证高效运行。
进一步的是，在身份整合过程中，使用认证协议进行用户身份认证和单点登录；能够满足大量用户的统一运行和管理，提高了操作效率。
进一步的是，所述认证协议从结构上包括用户端和认证中心，所述认证中心进行认证工作，所述用户端处理对用户端访问受限资源的访问请求；当用户端检测到用户登录访问后，将用户信息进入认证中心进行用户认证。
进一步的是，为保证大量并行数据在计算层的高效运行，所述数据整合，对数据进行分布式分配、分层缓存和分层中转；
通过分布式算法对海量的就业数据进行处理，将计算进行分载；
将计算的部分结果进行缓存，缓解对存储层读取的请求；
通过中间服务器进行数据中转，将大量的请求分发给内部的服务器进行计算。
进一步的是，为满足大量并发数据的存储和调取在存储层的高效运行，在数据库的数据存储区域中使用库表散列存储就业数据，将数据库中的数据进行分散存储；
通过设置各种分类模块将数据库进行分离，不同的分类模块对应不同的数据库表；在分类模块中，对就业数据按照用户ID建立用户表散列；根据用户表散列进行就业数据存储和调取。
采用本技术方案的有益效果：
本发明能够应对大量用户访问和高并发请求方面的数据汇总；适用于大规模并发数据的传输、计算和存储，从而实现大量且各个端口的就业数据的高效汇总；
本发明建设提供统一身份认证和单点登录，满足职业能力分析大数据服务平台的需求；
本发明通过对并发数据的传输、计算和存储分布式模块化处理，可以降低开发的复杂性，提高***的可伸缩性；
本发明能够降低成本、提升***性能、并且有很好的扩展性，能够随时增加服务器进来补充***性能。
附图说明
图1为本发明的一种职业能力的数据汇总方法流程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。
在本实施例中，参见图1所示，本发明提出了一种职业能力的数据汇总方法，分别从传输层、计算层和存储层对所采集的就业数据进行整合，包括身份整合和数据整合；在传输层中将网络链路出口进行压力分载，且对用户请求进行压力分载；在计算层中对数据通过分布式分配、分层缓存和分层中转进行整合，对用户进行身份整合；在存储层中进行散列式存储；
包括步骤：
S100，获取来自不同终端的就业数据，对所述就业数据进行传输分析，就业数据在网络链路出口分类进入传输通道，对用户请求进行压力分载；
S200，将接收到的就业数据在计算层中分别对就业数据进行身份整合和数据整合；
S300，将整合后的就业数据存储在数据库的就业数据区域，所述就业数据区域包括身份认证区域和数据存储区域。
作为上述实施例的优化方案，所述步骤S100包括步骤：
S101，从各个终端获取就业数据；
S102，将不同终端的就业数据进行数据分析，得到数据的分类属性；
S103，根据分类属性，将同一类别的数据分配到相应的传输通道；
S104，对用户请求进行压力分载，将用户请求分发到不同的网络服务器上。
其中，将就业数据中的图片数据与页面数据进行分离，建立页面访问请求服务器和独立的图片服务器，来降低提供页面访问请求服务器的压力。
作为上述实施例的优化方案，在数据库的身份认证区域中设置有用户基础数据数据库，为就业数据进行身份认证提供基础认证数据；用户基础数据统一存储在用户基础数据数据库中，能够为身份认证提供基础数据，保证用户认证高效运行。
在身份整合过程中，使用认证协议进行用户身份认证和单点登录；能够满足大量用户的统一运行和管理，提高了操作效率。
所述认证协议从结构上包括用户端和认证中心，所述认证中心进行认证工作，所述用户端处理对用户端访问受限资源的访问请求；当用户端检测到用户登录访问后，将用户信息进入认证中心进行用户认证。
为保证大量并行数据在计算层的高效运行，所述数据整合，对数据进行分布式分配、分层缓存和分层中转；
通过分布式算法对海量的就业数据进行处理，将计算进行分载；
将计算的部分结果进行缓存，缓解对存储层读取的请求；
通过中间服务器进行数据中转，将大量的请求分发给内部的服务器进行计算。
作为上述实施例的优化方案，为满足大量并发数据的存储和调取在存储层的高效运行，在数据库的数据存储区域中使用库表散列存储就业数据，将数据库中的数据进行分散存储；
通过设置各种分类模块将数据库进行分离，不同的分类模块对应不同的数据库表；在分类模块中，对就业数据按照用户ID建立用户表散列；根据用户表散列进行就业数据存储和调取。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种职业能力的数据汇总方法，其特征在于，分别从传输层、计算层和存储层对所采集的就业数据进行整合，包括身份整合和数据整合；在传输层中将网络链路出口进行压力分载，且对用户请求进行压力分载；在计算层中对数据通过分布式分配、分层缓存和分层中转进行整合，对用户进行身份整合；在存储层中进行散列式存储；
包括步骤：
S100，获取来自不同终端的就业数据，对所述就业数据进行传输分析，就业数据在网络链路出口分类进入传输通道，对用户请求进行压力分载；
所述步骤S100包括步骤：
S101，从各个终端获取就业数据；
S102，将不同终端的就业数据进行数据分析，得到数据的分类属性；
S103，根据分类属性，将同一类别的数据分配到相应的传输通道；
S104，对用户请求进行压力分载，将用户请求分发到不同的网络服务器上；
S200，将接收到的就业数据在计算层中分别对就业数据进行身份整合和数据整合；
S300，将整合后的就业数据存储在数据库的就业数据区域，所述就业数据区域包括身份认证区域和数据存储区域。
2.根据权利要求1所述的一种职业能力的数据汇总方法，其特征在于，将就业数据中的图片数据与页面数据进行分离，建立页面访问请求服务器和独立的图片服务器。
3.根据权利要求1所述的一种职业能力的数据汇总方法，其特征在于，在数据库的身份认证区域中设置有用户基础数据数据库，为就业数据进行身份认证提供基础认证数据。
4.根据权利要求3所述的一种职业能力的数据汇总方法，其特征在于，在身份整合过程中，使用认证协议进行用户身份认证和单点登录。
5.根据权利要求4所述的一种职业能力的数据汇总方法，其特征在于，所述认证协议从结构上包括用户端和认证中心，所述认证中心进行认证工作，所述用户端处理对用户端访问受限资源的访问请求；当用户端检测到用户登录访问后，将用户信息进入认证中心进行用户认证。
6.根据权利要求5所述的一种职业能力的数据汇总方法，其特征在于，所述数据整合，对数据进行分布式分配、分层缓存和分层中转；
通过分布式算法对海量的就业数据进行处理，将计算进行分载；
将计算的部分结果进行缓存，缓解对存储层读取的请求；
通过中间服务器进行数据中转，将大量的请求分发给内部的服务器进行计算。
7.根据权利要求1所述的一种职业能力的数据汇总方法，其特征在于，在数据库的数据存储区域中使用库表散列存储就业数据，将数据库中的数据进行分散存储；
通过设置各种分类模块将数据库进行分离，不同的分类模块对应不同的数据库表；在分类模块中，对就业数据按照用户ID建立用户表散列；根据用户表散列进行就业数据存储和调取。
CN201810447297.4A 2018-05-11 2018-05-11 一种职业能力的数据汇总方法 Active CN108647323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810447297.4A CN108647323B (zh) 2018-05-11 2018-05-11 一种职业能力的数据汇总方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810447297.4A CN108647323B (zh) 2018-05-11 2018-05-11 一种职业能力的数据汇总方法

Publications (2)

Publication Number Publication Date
CN108647323A CN108647323A (zh) 2018-10-12
CN108647323B true CN108647323B (zh) 2021-03-16

Family

ID=63754510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810447297.4A Active CN108647323B (zh) 2018-05-11 2018-05-11 一种职业能力的数据汇总方法

Country Status (1)

Country Link
CN (1) CN108647323B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102420872A (zh) * 2011-12-06 2012-04-18 公安部交通管理科学研究所 一种基于http数据流的传输管理框架
CN104468697A (zh) * 2014-10-10 2015-03-25 浙江广播电视集团 一种电台数据传输负载分配方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011007365A2 (en) * 2009-07-13 2011-01-20 Hewlett-Packard Development Company, L.P. Method and system for verifying data accuracy
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集***
CN107343041B (zh) * 2017-06-29 2020-05-19 三峡大学 一种基于云计算的精准扶贫管理***与方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102420872A (zh) * 2011-12-06 2012-04-18 公安部交通管理科学研究所 一种基于http数据流的传输管理框架
CN104468697A (zh) * 2014-10-10 2015-03-25 浙江广播电视集团 一种电台数据传输负载分配方法

Also Published As

Publication number Publication date
CN108647323A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
CN106131213B (zh) 一种服务管理方法和***
CN109831524B (zh) 一种负载均衡处理方法及装置
US20110040771A1 (en) Distributed hardware-based data querying
CN100440891C (zh) 均衡网格负载的方法
US11431827B2 (en) Data center management system
WO2020186807A1 (zh) 一种基于区块链技术的电力数据链接***及方法
CN102209087A (zh) 在具有存储网络的数据中心进行MapReduce数据传输的方法和***
CN102024008A (zh) 一种Web服务器的并发数限制方法
US20230017300A1 (en) Query method and device suitable for olap query engine
CN107193898A (zh) 基于分级复用的日志数据流的查询共享方法和***
CN103561078A (zh) 电信运营***及业务服务方法
CN110708256A (zh) Cdn调度方法、装置、网络设备及存储介质
WO2022156542A1 (zh) 数据访问方法、***和存储介质
CN112100227A (zh) 一种基于多级异构数据存储的大数据处理方法
Zhao et al. Dynamic replica creation strategy based on file heat and node load in hybrid cloud
CN101751297A (zh) 一种可承受大量用户登录的信息***及实现方法
CN105282045B (zh) 一种基于一致性哈希算法的分布式计算和储存方法
CN108647323B (zh) 一种职业能力的数据汇总方法
CN102902593A (zh) 基于缓存机制的协议分发处理***
CN113553199B (zh) 一种使用异步非阻塞模式处理多客户端接入的方法及装置
CN111813542B (zh) 一种并行处理大规模图分析任务的负载均衡方法及其装置
CN103647712A (zh) 分布式路由处理业务的方法及***
CN111294383B (zh) 物联网服务管理***
CN112597173A (zh) 一种分布式数据库集群***对等处理***及处理方法
CN102497431B (zh) 一种tcp连接缓存应用数据的内存申请方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant