CN102637200B - 一种使多级关联数据分配到集群相同节点的方法 - Google Patents
一种使多级关联数据分配到集群相同节点的方法 Download PDFInfo
- Publication number
- CN102637200B CN102637200B CN201210058008.4A CN201210058008A CN102637200B CN 102637200 B CN102637200 B CN 102637200B CN 201210058008 A CN201210058008 A CN 201210058008A CN 102637200 B CN102637200 B CN 102637200B
- Authority
- CN
- China
- Prior art keywords
- data
- node
- distributed
- dbms
- associated data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 238000013075 data extraction Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明的目的是提供一种数据分发方法，通过理解多级关联数据之间的关系，来进行数据分发，将相关数据分发至同一节点，从而提升数据提取、合并、搜索和分析的效率，降低分布式集群的网络传输时间并节约网络带宽，提升***整体性能和吞吐量。
Description
技术领域
本发明涉及集群分布式计算领域。
背景技术
在信息技术高速发展的今天，无论是互联网还是企业内部的数据量，都呈指数速度的发展和增加。海量数据的计算和处理日趋重要，其中大规模集群分布式数据处理和分布式计算两项技术成为海量数据处理的关键性技术。
为了使数据的处理更加透明和更有效率，发明了多级关系数据分发方法，该方法会通过关联性分析，将需要处理的无限层级关联数据分发至同一节点，使得关联数据的提取、合并、搜索和分析都集中在单一集群节点，这样不仅能够充分利用单一节点的运算能力，同时还能够很大程度上节约网络传输的时间和带宽，提升***整体吞吐量。
发明内容
本发明的目的是提供一种数据分发方法，通过理解多级关联数据之间的关系，来进行数据分发，将相关数据分发至同一节点，从而提升数据提取、合并、搜索和分析，降低分布式集群的网络传输时间并节约网络带宽。
为达到上述目的，本发明设定了一种分发策略。
1.对数据进行关联关系设置，用于了解数据之间的多级主从关系。
2.对关联数据设置分发算法，用来计算数据分发到节点。
3.对主数据进行分发，写入主数据时，通过分发算法，计算出分发结点，并把该数据写入到这个节点。
4.对二级关联数据进行分发，写入主数据关联的二级数据时，写入相同节点，同时标识二级数据节点位置，通过该标识，进行下级数据的分发。
5.对三级至N级数据进行分发，通过关联至N-1级数据，取得N-1级数据的标识，通过该标识，即可将N级数据分发至同一节点。
6.关联数据的提取、合并、搜索和分析，相关数据的操作即可在同一节点完成。
附图说明
图1、图2为本发明的工作流程示意图，即集群数据分发流程，为写入两套关联数据的流程，两套关联数据会分别写入至两个数据节点，但关联的数据之间，会写入同一数据节点，达到充分利用计算和存储资源又能够节省计算的目的。
具体实施方式
下面结合附图1对本发明所述的技术方案做进一步详细描述。
图1为使多级关联数据分发到集群相同节点所涉及的各个模块的方框图，其中包括数据分发中心节点和集群节点。
数据分发的步骤如下：
1)用户进行***设置，标识数据之间关联的字段
2)对关联数据设置分发算法
3)主节点数据分发
4)二级节点数据根据主节点标识进行分发，同时生成二级节点标识
5)三级至N级节点数据根据N-1级的节点标识进行分发至相同节点 。
Claims (1)
1.一种使多级关联数据分配到集群相同节点的方法，其特征在于：
1)集群环境下数据分发至集群节点，
2)无限层级的关联数据分发至相同节点，
3)关联数据的提取、合并、搜索和分析不通过网络，只需要在节点内部即可完成，
其中，数据分发的步骤如下：
a.对数据进行关联关系设置，用于了解数据之间的多级主从关系；
b.对关联数据设置分发算法，用来计算数据分发到节点；
c.对主数据进行分发，写入主数据时，通过分发算法，计算出分发结点，并把该数据写入到这个节点；
d.对二级关联数据进行分发，写入主数据关联的二级数据时，写入相同节点，同时标识二级数据节点位置，通过该标识，进行下级数据的分发；
e.对三级至N级数据进行分发，通过关联至N-1级数据，取得N-1级数据的标识，通过该标识，即可将N级数据分发至同一节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210058008.4A CN102637200B (zh) | 2012-03-07 | 2012-03-07 | 一种使多级关联数据分配到集群相同节点的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210058008.4A CN102637200B (zh) | 2012-03-07 | 2012-03-07 | 一种使多级关联数据分配到集群相同节点的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102637200A CN102637200A (zh) | 2012-08-15 |
| CN102637200B true CN102637200B (zh) | 2014-05-14 |
Family
ID=46621594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210058008.4A Active CN102637200B (zh) | 2012-03-07 | 2012-03-07 | 一种使多级关联数据分配到集群相同节点的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102637200B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107391541A (zh) * | 2017-05-16 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 一种实时数据合并方法和装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106846021A (zh) * | 2015-12-04 | 2017-06-13 | 阿里巴巴集团控股有限公司 | 一种指标统计方法和装置 |
| TWI726041B (zh) * | 2017-01-23 | 2021-05-01 | 香港商阿里巴巴集團服務有限公司 | 指標統計方法和裝置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005057427A1 (en) * | 2003-12-12 | 2005-06-23 | British Telecommunications Public Limited Company | Distributed computer system |
| CN1768519A (zh) * | 2003-09-25 | 2006-05-03 | 英国电讯有限公司 | 用于识别与相同标签匹配的多个节点的计算机网络 |
| CN102082832A (zh) * | 2011-01-24 | 2011-06-01 | 中国人民解放军国防科学技术大学 | 一种分布式文件***中的数据存储方法和装置 |
| CN202058147U (zh) * | 2011-05-23 | 2011-11-30 | 北京六所和瑞科技发展有限公司 | 分布式实时数据库管理*** |
-
2012
- 2012-03-07 CN CN201210058008.4A patent/CN102637200B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1768519A (zh) * | 2003-09-25 | 2006-05-03 | 英国电讯有限公司 | 用于识别与相同标签匹配的多个节点的计算机网络 |
| WO2005057427A1 (en) * | 2003-12-12 | 2005-06-23 | British Telecommunications Public Limited Company | Distributed computer system |
| CN102082832A (zh) * | 2011-01-24 | 2011-06-01 | 中国人民解放军国防科学技术大学 | 一种分布式文件***中的数据存储方法和装置 |
| CN202058147U (zh) * | 2011-05-23 | 2011-11-30 | 北京六所和瑞科技发展有限公司 | 分布式实时数据库管理*** |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107391541A (zh) * | 2017-05-16 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 一种实时数据合并方法和装置 |
| CN107391541B (zh) * | 2017-05-16 | 2020-10-20 | 创新先进技术有限公司 | 一种实时数据合并方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102637200A (zh) | 2012-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103365726B (zh) | 一种面向gpu集群的资源管理方法和*** | |
| CN106126601A (zh) | 一种社保大数据分布式预处理方法及*** | |
| Peruzzi et al. | A proposal for a multivariate quantitative approach to infer karyological relationships among taxa | |
| CN103399887A (zh) | 一种海量日志的查询与统计分析*** | |
| CN103116599A (zh) | 一种基于改进Bloom Filter结构的城市海量数据流快速冗余消除方法 | |
| CN104317970A (zh) | 一种基于数据加工中心的数据流式处理方法 | |
| CN104317899A (zh) | 一种大数据分析与处理***及访问方法 | |
| CN104123504A (zh) | 一种基于频繁项检索的云平台隐私保护方法 | |
| KR20170012019A (ko) | 복수의 cpu 및 복수의 gpu를 지원하는 컴퓨팅 환경에서의 연산 방법 | |
| CN102637200B (zh) | 一种使多级关联数据分配到集群相同节点的方法 | |
| CN102073706A (zh) | 分布式文件存储***和关系数据库的结合应用方法 | |
| CN104809246A (zh) | 充电数据的处理方法及装置 | |
| CN104199889A (zh) | 基于CEP技术的RTLogic大数据处理***及方法 | |
| WO2015143985A1 (zh) | 一种确定结果向量的方法和装置 | |
| CN106202152B (zh) | 一种云平台的数据处理方法及*** | |
| CN103838985A (zh) | 基于多核cpu和gpgpu硬件的高通量测序数据质量控制*** | |
| CN110880015B (zh) | 一种基于模糊c均值的分布式集成聚类分析方法 | |
| CN104615437A (zh) | 一种基于gpu的软件体系架构及uml和adl结合描述的方法 | |
| CN104090813A (zh) | 一种云数据中心的虚拟机cpu使用率的分析建模方法 | |
| CN204129738U (zh) | 测序数据分析工作站*** | |
| CN202364244U (zh) | 分布式日志分析***处理装置 | |
| CN103488853A (zh) | 一种超效率dea模型无可行解单元超效率值的计算方法 | |
| CN102769662A (zh) | 使一类实体的数据同时分布在与之关联的多种实体所在的集群节点中的方法 | |
| CN105117393A (zh) | 一种行业应用中基于大数据的一种应用方式 | |
| Stojanovic et al. | A hybrid MPI+ OpenMP application for processing big trajectory data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Method of Allocating Multilevel Associated Data to the Same Node of a Cluster Effective date of registration: 20221014 Granted publication date: 20140514 Pledgee: Bank of China Limited by Share Ltd. Nanjing Jiangning branch Pledgor: JIANGSU YINPAO NETWORK TECHNOLOGY CO.,LTD. Registration number: Y2022980018313 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20140514 Pledgee: Bank of China Limited by Share Ltd. Nanjing Jiangning branch Pledgor: JIANGSU YINPAO NETWORK TECHNOLOGY CO.,LTD. Registration number: Y2022980018313 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |