CN102880832A - 一种集群下的数据海量管理的***的实现方法 - Google Patents
一种集群下的数据海量管理的***的实现方法 Download PDFInfo
- Publication number
- CN102880832A CN102880832A CN201210309450XA CN201210309450A CN102880832A CN 102880832 A CN102880832 A CN 102880832A CN 201210309450X A CN201210309450X A CN 201210309450XA CN 201210309450 A CN201210309450 A CN 201210309450A CN 102880832 A CN102880832 A CN 102880832A
- Authority
- CN
- China
- Prior art keywords
- data
- implementation method
- node
- copy
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于计算机领域，公开了一种集群下的数据海量管理的***的实现方法，是在计算应用程序计算作业完成后，将计算节点计算完成的数据通过作业的脚本处理过程拷贝到管理节点，当拷贝出错时，通过***线程管理过程进行辅助拷贝，并修改数据状态。本发明能够保证数据的实时性，安全性，正确性，高效性。本发明处理了计算孤岛、不均应的处理、设计周期泄漏和延迟的结果普遍存在问题的对应解决方法。并且本发明提升了***的稳定性，可靠性。
Description
技术领域
本发明涉及计算机领域，具体涉及一种集群下的数据海量管理的***的实现方法。
背景技术
管理是IT***良性运行的重要保障，不同的IT设备都有自己的管理***。特别是大规模计算数据中心，必须通过集中的管理***来运行管理计算、存储、网络等设备，以能够快速响应和处理数据中心的业务变更、异常事件、持续优化。在云计算环境下的数据中心，人们对计算机性能的要求越来越高,在工程设计，航空，生物科学，医学，军事等诸多领域的计算也越来越复杂，规模也在成级数的增长，如此庞大的计算任务，对于单个计算机是没有办法完成的，因此很多都使用超大规模的集群来进行计算，在进行大规模并行计算中，计算任务的调度是一个比较热门的话题，同样，计算完成如何管理数据同样也是一个很重要的话题，如何才能使得计算产生的数据，实时呈现在用户面前，并且数据不发生混乱，很多科学计算中产生的数据都是保密性很高的数据，如何管理这些数据才能保证数据的安全性是个引人深思的问题。
在云计算环境下，各自独立分离的运行模式不能支持云服务的展开，新的IT运行模式对传统的管理架构提出了挑战,对虚拟化，动态性，关联性，自动化，实时性，高效性，安全性等的要求不断提高，现有***的问题：
实时性不强，用户计算完成不能在计算任务真正完成以后就获取到计算数据，总有一定延时；
安全性不高，很多数据其实放入存储中是没有意义，以及对数据安全方面也有很多问题；
正确性不高，在科学计算中如果有比较大的误差产生，以至于可能影响生产的安全性；
高效性不强，资源整体的利用率不高。
发明内容
针对现有技术的不足，本发明提供一种集群下的数据海量管理的***的实现方法，能够保证数据的实时性，安全性，正确性，高效性。
本发明提供的一种集群下的数据海量管理的***的实现方法，其改进之处在于，计算应用程序计算作业完成后，将计算节点计算完成的数据通过作业的脚本处理过程拷贝到管理节点，当拷贝出错时，通过***线程管理过程进行辅助拷贝，并修改数据状态。
其中，所述脚本处理过程为作业运行完成后就自动拷贝到共享存储。
其中，所述***线程管理过程进行辅助拷贝的步骤包括：
（1）PBS查询计算节点；
（2）java进程查询数据库中通过作业的脚本处理过程失败的数据记录；
（3）脚本打包，将通过作业的脚本处理过程失败的数据拷贝到共享磁盘的共享目录；
（4）***线程更新数据库成功标记；
（5）线程睡眠。若有需要，设定睡眠时间并进行下一轮的辅助拷贝过程。
其中，步骤（1）PBS查询计算节点，并将作业的运行状态生成一个记账文件。
其中，通过java进程监控所述记账文件的变换，并将所述记账文件的变换实时写入到mysql数据库中，形成数据库中对作业的历史记录信息；至少一个的历史记录信息构成数据报表。
其中，数据报表中设有索引功能，并且使用数据库连接池存放n个数量的连接数。
其中，数据拷贝时进行加密设置。
与现有技术比，本发明的有益效果为：
本发明能够保证数据的实时性，安全性，正确性，高效性，避免用户的数据被窃取，泄露。
本发明处理了计算孤岛、不均应的问题、并设计了周期泄漏和延迟的结果普遍存在问题的对应解法。
本发明提升了用户的云计算服务的体验。
本发明提升了***的稳定性，可靠性。
附图说明
图1为本发明提供的多个刀片或者PC机节点之间通信示意图。
图2为本发明提供的***线程管理过程进行辅助拷贝的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
本实施例基于集群的分布式计算时多个刀片或者PC机节点之间通信示意图如图1所示，其通过高速局域网连接起来，并且配备一定的并行支持软件，形成一个松散耦合的并行计算***，使用PBS来进行集群管理，作业调度。图中分布式计算结构包含三类节点，提交节点，管理节点，计算节点。
提交节点负责将作业提交给PBS管理节点，管理节点对集群***的资源进行统一的监控和合理调度，使集群各节点充分共享计算机的CPU，内存，磁盘等资源，计算节点负责任务的计算工作，计算完成以后将结算结果返回给管理节点的存储上，并且在集群***的管理节点挂载NFS，所有计算节点都可以挂载访问，管理节点是计算的核心，但它并不参数数据的计算，而只是对集群***进行管理，分别为：任务管理，节点管理，通信管理，数据库管理。
本实施例在计算应用程序计算作业完成后，进行数据回收，即将计算节点计算完成的数据拷贝回管理节点，本实施例通过两种方式来保证数据的实时性，高效性，正确性；
1)通过作业的脚本来处理，即作业运行完成就自动拷贝回共享存储，本实施例是共享存储，即本地磁盘的拷贝，不存在磁盘IO的问题，因此作业的计算和数据回收几乎是同一个过程，可忽略其延时时间；
2)通过***线程来管理，其为辅助拷贝过程，流程图如图2所示。PBS查询计算节点，对作业进行管理，对每个作业的运行状态进行记录，会生成一个记账文件来记录作业的详细信息。本发明使用一个java的进程来监控记账文件的变化，并且实时写入到mysql数据库中，以形成数据库中对作业的历史记录信息，将来可生成数据报表使用，随着时间的不断变化，数据库中的数据会不断增加，查询的压力也就不断的增大，因此本实施例在历史数据表中新建了索引，同时也使用了数据库连接池来存放n个数量（n为正整数）的连接数，使得数据库的查询效率更高，如第一种方式发生错误没有将计算结果拷贝回存储，第二种方式会有一个java线程不断来监控是否有数据自动回收失败，若失败将以脚本（即可以认为是计算程序本身自己算完）打包，将通过作业的脚本处理过程失败的数据拷贝到共享磁盘的共享目录，然后再将记录的状态修改。此过程完成后线程进入睡眠，若有需要，设定睡眠时间并进行下一轮的辅助拷贝过程。
用户数据通过网络传输到云计算服务商时，通过严格的加密方式不让用户的数据被窃取，在云计算中产生的数据保证存储数据的安全，存储上的数据也是加密的。同样给用户的传输的结果数据也是加密的。
通过以上的方式能很好的保证数据的安全性，高效性，正确性，和实时性。让用户感觉不到计算和数据的管理是分开的。极大的提升的用户体验，同时也强化了基础架构。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。
Claims (7)
1.一种集群下的数据海量管理的***的实现方法，其特征在于，计算应用程序计算作业完成后，将计算节点计算完成的数据通过作业的脚本处理过程拷贝到管理节点，当拷贝出错时，通过***线程管理过程进行辅助拷贝，并修改数据状态。
2.如权利要求1所述的实现方法，其特征在于，所述脚本处理过程为作业运行完成后就自动拷贝到共享存储。
3.如权利要求1所述的实现方法，其特征在于，所述***线程管理过程进行辅助拷贝的步骤包括：
（1）PBS查询计算节点；
（2）java进程查询数据库中通过作业的脚本处理过程失败的数据记录；
（3）脚本打包，将通过作业的脚本处理过程失败的数据拷贝到共享目录；
（4）***线程更新数据库成功标记；
（5）线程睡眠。
4.如权利要求3所述的实现方法，其特征在于，步骤（1）PBS查询计算节点，并将作业的运行状态生成一个记账文件。
5.如权利要求4所述的实现方法，其特征在于，通过java进程监控所述记账文件的变换，并将所述记账文件的变换实时写入到mysql数据库中，形成数据库中对作业的历史记录信息；至少一个的历史记录信息构成数据报表。
6.如权利要求5所述的实现方法，其特征在于，数据报表中设有索引功能，并且使用数据库连接池存放n个数量的连接数。
7.如权利要求1所述的实现方法，其特征在于，数据拷贝时进行加密设置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210309450.XA CN102880832B (zh) | 2012-08-28 | 2012-08-28 | 一种集群下的数据海量管理的***的实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210309450.XA CN102880832B (zh) | 2012-08-28 | 2012-08-28 | 一种集群下的数据海量管理的***的实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102880832A true CN102880832A (zh) | 2013-01-16 |
| CN102880832B CN102880832B (zh) | 2016-08-31 |
Family
ID=47482153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210309450.XA Active CN102880832B (zh) | 2012-08-28 | 2012-08-28 | 一种集群下的数据海量管理的***的实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102880832B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198097A (zh) * | 2013-03-11 | 2013-07-10 | 中国科学院计算机网络信息中心 | 一种基于分布式文件***的海量地学数据并行处理方法 |
| CN108958892A (zh) * | 2018-08-14 | 2018-12-07 | 郑州云海信息技术有限公司 | 一种创建用于深度学习作业的容器的方法和装置 |
| CN109086134A (zh) * | 2018-07-19 | 2018-12-25 | 郑州云海信息技术有限公司 | 一种深度学习作业的运行方法和装置 |
| CN110781189A (zh) * | 2019-10-25 | 2020-02-11 | 北京达佳互联信息技术有限公司 | 文档平台构建方法、装置、电子设备及存储介质 |
| CN112528456A (zh) * | 2019-09-18 | 2021-03-19 | 曙光信息产业(北京)有限公司 | 一种异构节点计算***及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100153482A1 (en) * | 2008-12-10 | 2010-06-17 | Full Armor Corporation | Cloud-Based Automation of Resources |
| CN101951411A (zh) * | 2010-10-13 | 2011-01-19 | 戴元顺 | 云调度***及方法以及多级云调度*** |
| US20110126197A1 (en) * | 2009-11-25 | 2011-05-26 | Novell, Inc. | System and method for controlling cloud and virtualized data centers in an intelligent workload management system |
-
2012
- 2012-08-28 CN CN201210309450.XA patent/CN102880832B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100153482A1 (en) * | 2008-12-10 | 2010-06-17 | Full Armor Corporation | Cloud-Based Automation of Resources |
| US20110126197A1 (en) * | 2009-11-25 | 2011-05-26 | Novell, Inc. | System and method for controlling cloud and virtualized data centers in an intelligent workload management system |
| CN101951411A (zh) * | 2010-10-13 | 2011-01-19 | 戴元顺 | 云调度***及方法以及多级云调度*** |
Non-Patent Citations (1)
| Title |
|---|
| 李全枝等: "《集群资源管理***PBS及其应用》", 《微机发展》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198097A (zh) * | 2013-03-11 | 2013-07-10 | 中国科学院计算机网络信息中心 | 一种基于分布式文件***的海量地学数据并行处理方法 |
| CN103198097B (zh) * | 2013-03-11 | 2016-02-10 | 中国科学院计算机网络信息中心 | 一种基于分布式文件***的海量地学数据并行处理方法 |
| CN109086134A (zh) * | 2018-07-19 | 2018-12-25 | 郑州云海信息技术有限公司 | 一种深度学习作业的运行方法和装置 |
| CN108958892A (zh) * | 2018-08-14 | 2018-12-07 | 郑州云海信息技术有限公司 | 一种创建用于深度学习作业的容器的方法和装置 |
| CN112528456A (zh) * | 2019-09-18 | 2021-03-19 | 曙光信息产业(北京)有限公司 | 一种异构节点计算***及方法 |
| CN112528456B (zh) * | 2019-09-18 | 2024-05-07 | 曙光信息产业(北京)有限公司 | 一种异构节点计算***及方法 |
| CN110781189A (zh) * | 2019-10-25 | 2020-02-11 | 北京达佳互联信息技术有限公司 | 文档平台构建方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102880832B (zh) | 2016-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bao et al. | Massive sensor data management framework in cloud manufacturing based on Hadoop | |
| CN103365929B (zh) | 一种数据库连接的管理方法及*** | |
| CN102103518B (zh) | 一种在虚拟化环境中管理资源的***及其实现方法 | |
| CN102521063B (zh) | 一种适用于虚拟机迁移和容错的共享存储方法 | |
| CN102843418B (zh) | 一种资源调度*** | |
| Lu et al. | Research on Hadoop cloud computing model and its applications | |
| CN103595799B (zh) | 一种实现分布式共享数据库的方法 | |
| CN107330056A (zh) | 基于大数据云计算平台的风电场scada***及其运行方法 | |
| CN103049482B (zh) | 一种分布式异构***中数据融合存储的实现方法 | |
| CN102880832A (zh) | 一种集群下的数据海量管理的***的实现方法 | |
| CN102917064B (zh) | 基于私有云计算平台的双机热备方法 | |
| CN103955510A (zh) | 基于etl云平台上传的海量电力营销数据整合方法 | |
| Labouseur et al. | Scalable and Robust Management of Dynamic Graph Data. | |
| CN103491155A (zh) | 一种实现移动计算和获取移动数据的云计算方法及*** | |
| CN102279891A (zh) | 一种并行搜索it日志的检索方法、装置及*** | |
| CN103235811A (zh) | 一种数据存储方法及装置 | |
| Zhang et al. | Oceanrt: Real-time analytics over large temporal data | |
| CN103944964A (zh) | 一种分布式***及根据该***进行逐步扩容的方法 | |
| Feng et al. | Review of hadoop performance optimization | |
| Mao et al. | An optimal distributed K-Means clustering algorithm based on cloudstack | |
| CN103034647A (zh) | 一种基于多线程技术的excel数据导入 | |
| Gong | Workflow scheduling based on mobile cloud computing machine learning | |
| CN111737655A (zh) | 一种云管理平台的用户权限管理方法、***及存储介质 | |
| Li et al. | Hadoop-Based University Ideological and Political Big Data Platform Design and Behavior Pattern Mining | |
| CN106227465A (zh) | 一种环结构的数据放置方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211022 Address after: 100089 zone A-1, floor 2, building 36, yard 8, Dongbeiwang West Road, Haidian District, Beijing Patentee after: Shuguang zhisuan Information Technology Co.,Ltd. Address before: 100193 No.36 Zhongguancun Software Park, No.8 Dongbeiwang West Road, Haidian District, Beijing Patentee before: Dawning Information Industry (Beijing) Co.,Ltd. |