CN112163986A - 一种用于金属矿山井下地测采三维数据的分布式处理方法 - Google Patents
一种用于金属矿山井下地测采三维数据的分布式处理方法 Download PDFInfo
- Publication number
- CN112163986A CN112163986A CN202011040169.1A CN202011040169A CN112163986A CN 112163986 A CN112163986 A CN 112163986A CN 202011040169 A CN202011040169 A CN 202011040169A CN 112163986 A CN112163986 A CN 112163986A
- Authority
- CN
- China
- Prior art keywords
- node
- data
- dimensional data
- gpu
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 239000002184 metal Substances 0.000 title claims abstract description 12
- 238000005065 mining Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000009877 rendering Methods 0.000 claims abstract description 15
- 238000003860 storage Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 5
- 238000012805 post-processing Methods 0.000 claims abstract description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种用于金属矿山井下地测采三维数据的分布式处理方法，基于：主节点、CPU节点、GPU节点、存储节点以及RDMA高速网络，步骤包括数据载入、任务分解、预处理、三维数据处理、三维数据渲染、后处理以及结果提交与保存。本发明采用普通的计算节点，组成一个可扩展的计算集群，不仅能够应对更大的数据量，而且可以提供更好的性能，具有更低的成本。
Description
技术领域
本发明涉及一种分布式处理方法，尤其是一种针对矿山海量三维数据的分布式处理方法，主要用于矿山生产进行三维建模、可视化管控过程中地质、测量、采矿各专业产生的海量业务数据的处理。
背景技术
随着矿山行业的数字化技术的发展，三维矿业软件的应用逐渐成为趋势，进而产生了越来越多的地质、测量和采矿三维数据。这些数据有些直接来自三维激光扫描仪，有些来自钻孔数据，有些则来自其他数据源的转换。相对于传统的二维数据以及关系数据，三维地测采数据的特点是数据量大、处理难度大，需要将各种数据源抽取、转换、加载到平台上，以提高数据处理效率。
在解决了多源异构数据的集成、解决了数据标准化之后，传统的数据管理、处理解决方案已经无法处理巨大的数据。
当前主流的处理方法仍然是在高性能计算机上进行串行或者数据流的三维数据处理，随着数据量的增大，这种处理架构在未来的技术发展上已经呈现出了一定的局限性，对于需要实时处理的三维数据以及巨量的非结构三维数据的分析处理，亟需一种更高性能的三维数据处理方法。
发明内容
本发明提出了一种用于金属矿山井下地测采三维数据的分布式处理方法，其目的是：应对更大的数据量，提供更好的性能，降低成本。
本发明技术方案如下：
一种用于金属矿山井下地测采三维数据的分布式处理方法，步骤为：
步骤1、数据载入：载入地测采三维原始数据；
步骤2、任务分解：主节点根据任务特征，将任务分解到多个CPU节点和GPU节点分别进行处理；
步骤3、预处理：由CPU节点对三维数据进行预处理；
步骤4、三维数据处理：由GPU节点对三维数据进行主体处理；
步骤5、三维数据渲染：由GPU节点对三维数据完成渲染；
步骤6、后处理：由CPU节点对三维数据进行后处理；
步骤7、结果提交与保存：主节点汇总所有处理结果，并保存或提交。
作为本发明的进一步改进：所述CPU节点及GPU节点分别与主节点通过以太网分别相连接，实现三维数据处理的控制命令的传输；
所述CPU节点和GPU节点通过RDMA数据交换网络通讯连接，实现三维数据成果数据的传输。
作为本发明的进一步改进：还包括接入RDMA数据交换网络的存储节点，所述存储节点用于保存三维地测采数据。
作为本发明的进一步改进：所述主节点用来管理计算集群，具备集群组网、任务调度及***功能。
作为本发明的进一步改进：主节点的数据来源为三维设计数据。
作为本发明的进一步改进：GPU节点包括主GPU节点和分布GPU节点，主GPU节点仅作为渲染结果的显示，分布GPU节点用于渲染处理。
相对于现有技术，本发明具有以下有益效果：采用普通的计算节点，组成一个可扩展的计算集群，不仅能够应对更大的数据量，而且可以提供更好的性能，具有更低的成本。
附图说明
图1为本发明的架构示意图；
图2为本方法的流程图。
具体实施方式
下面结合附图详细说明本发明的技术方案：
如图1，一种用于金属矿山井下地测采三维数据的分布式处理架构，包括：主节点、CPU节点、GPU节点、存储节点以及RDMA高速网络。
1、主节点：主要功能一是用于管理整个计算集群，包括集群组网，计算节点的加入和退出等等；二是管理计算任务的调度，包括新任务的接收、任务的分解、任务的调度、任务的结果提交等等；三是一些其它***功能，例如日志、性能监控等等。
采矿、测量、地质（简称地测采）等各专业的异构数据，经过数据的抽取和清洗，整合成能够进行实时计算的结构化数据，作为主节点的数据来源，注入到分布式处理***中。
2、CPU计算节点：CPU计算节点是通用的CPU计算型服务器，它主要用来对三维地测采数据进行预处理和后处理，如钻孔数据的预计算、块体数据的预处理等，这些预处理和后处理任务，在CPU上进行计算，相比在GPU上进行运算，具有更好的性能和性价比。
结合三维处理的特点，大量不涉及绘图的预处理数据在CPU计算节点上进行处理，如大量绘图无关的数值计算、处理计算分布在各个CPU计算节点进行分布式处理，解决传统串行数据的数据处理瓶颈问题，大大加快预处理的速度。
3、GPU计算节点：GPU计算节点的计算能力主要由专用的GPU提供，在海量三维地测采数据的运算中，GPU在处理点云数据、网格定点数据、三维可视化渲染等方面，具有CPU不可比拟的优势。因此这些任务会被拆解，发送到GPU节点进行处理。
GPU节点处理三维绘图数据，进行数据可视化渲染，通常GPU的性能是三维显示性能和效果的关键，采用分布式处理后，主GPU仅作为渲染结果的显示，大量渲染处理在分布式GPU上处理，在处理大型矿山的数据时，能够比传统提高10倍以上的性能。
4、存储节点：存储节点用于保存三维地测采数据。
同样，对于大量的三维数据，需要同步提供分布式存储的机制来保证数据的高效和一致性，同时在展示以及设计层面，还需要提供实时数据共享的功能。
5、RDMA高速网络：在本***中，主节点和计算节点之间，通过普通的以太网进行连接，管理数据通过以太网进行传输。而由于三维地测采数据的数据量非常庞大，动辄达到几百G甚至几个T的规模，在以太网上传输此类数据，效率将非常低下。因此，在计算节点和存储节点之间使用RDMA高速网络进行连接，在CPU和GPU节点之间，也使用高速RDMA网络进行连接，用于两类节点之间的快速数据交换
分布式处理方法的步骤为：
步骤1、数据载入：载入地测采三维原始数据；
步骤2、任务分解：主节点根据任务特征，将任务分解到多个CPU节点和GPU节点分别进行处理；
步骤3、预处理：由CPU节点对三维数据进行预处理；
步骤4、三维数据处理：由GPU节点对三维数据进行主体处理；
步骤5、三维数据渲染：由GPU节点对三维数据完成渲染；
步骤6、后处理：由CPU节点对三维数据进行后处理；
步骤7、结果提交与保存：主节点汇总所有处理结果，并保存或提交。
Claims (6)
1.一种用于金属矿山井下地测采三维数据的分布式处理方法，其特征在于步骤为：
步骤1、数据载入：载入地测采三维原始数据；
步骤2、任务分解：主节点根据任务特征，将任务分解到多个CPU节点和GPU节点分别进行处理；
步骤3、预处理：由CPU节点对三维数据进行预处理；
步骤4、三维数据处理：由GPU节点对三维数据进行主体处理；
步骤5、三维数据渲染：由GPU节点对三维数据完成渲染；
步骤6、后处理：由CPU节点对三维数据进行后处理；
步骤7、结果提交与保存：主节点汇总所有处理结果，并保存或提交。
2.如权利要求1所述的用于金属矿山井下地测采三维数据的分布式处理方法，其特征在于：所述CPU节点及GPU节点分别与主节点通过以太网分别相连接，实现三维数据处理的控制命令的传输；
所述CPU节点和GPU节点通过RDMA数据交换网络通讯连接，实现三维数据成果数据的传输。
3.如权利要求2所述的用于金属矿山井下地测采三维数据的分布式处理方法，其特征在于：还包括接入RDMA数据交换网络的存储节点，所述存储节点用于保存三维地测采数据。
4.如权利要求1所述的用于金属矿山井下地测采三维数据的分布式处理方法，其特征在于：所述主节点用来管理计算集群，具备集群组网、任务调度及***功能。
5.如权利要求1所述的用于金属矿山井下地测采三维数据的分布式处理方法，其特征在于：主节点的数据来源为三维设计数据。
6.如权利要求1至5任一所述的用于金属矿山井下地测采三维数据的分布式处理方法，其特征在于：GPU节点包括主GPU节点和分布GPU节点，主GPU节点仅作为渲染结果的显示，分布GPU节点用于渲染处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011040169.1A CN112163986A (zh) | 2020-09-28 | 2020-09-28 | 一种用于金属矿山井下地测采三维数据的分布式处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011040169.1A CN112163986A (zh) | 2020-09-28 | 2020-09-28 | 一种用于金属矿山井下地测采三维数据的分布式处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112163986A true CN112163986A (zh) | 2021-01-01 |
Family
ID=73861902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011040169.1A Pending CN112163986A (zh) | 2020-09-28 | 2020-09-28 | 一种用于金属矿山井下地测采三维数据的分布式处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112163986A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587583A (zh) * | 2009-06-23 | 2009-11-25 | 长春理工大学 | 基于gpu集群的渲染农场 |
| CN102592315A (zh) * | 2011-01-12 | 2012-07-18 | 上海库达数字信息技术有限公司 | 基于gpu云集群的3d渲染平台 |
| CN102609971A (zh) * | 2012-01-11 | 2012-07-25 | 南京大学 | 嵌入式gpu实现3d-gis的快速渲染*** |
| CN103049926A (zh) * | 2012-12-24 | 2013-04-17 | 广东威创视讯科技股份有限公司 | 分布式三维渲染*** |
| US20140168230A1 (en) * | 2012-12-19 | 2014-06-19 | Nvidia Corporation | Asynchronous compute integrated into large-scale data rendering using dedicated, separate computing and rendering clusters |
| CN104952096A (zh) * | 2014-03-31 | 2015-09-30 | 中国电信股份有限公司 | Cpu和gpu混合云渲染方法、装置和*** |
| CN105263050A (zh) * | 2015-11-04 | 2016-01-20 | 山东大学 | 基于云平台的移动终端实时渲染***及其方法 |
| CN106209997A (zh) * | 2016-06-30 | 2016-12-07 | 上海上大海润信息***有限公司 | 一种面向云渲染的异构集群管理***及方法 |
| CN106910234A (zh) * | 2015-12-18 | 2017-06-30 | 普联软件股份有限公司 | 一种基于改进的三维渲染引擎分布式渲染方法及*** |
-
2020
- 2020-09-28 CN CN202011040169.1A patent/CN112163986A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587583A (zh) * | 2009-06-23 | 2009-11-25 | 长春理工大学 | 基于gpu集群的渲染农场 |
| CN102592315A (zh) * | 2011-01-12 | 2012-07-18 | 上海库达数字信息技术有限公司 | 基于gpu云集群的3d渲染平台 |
| CN102609971A (zh) * | 2012-01-11 | 2012-07-25 | 南京大学 | 嵌入式gpu实现3d-gis的快速渲染*** |
| US20140168230A1 (en) * | 2012-12-19 | 2014-06-19 | Nvidia Corporation | Asynchronous compute integrated into large-scale data rendering using dedicated, separate computing and rendering clusters |
| CN103049926A (zh) * | 2012-12-24 | 2013-04-17 | 广东威创视讯科技股份有限公司 | 分布式三维渲染*** |
| CN104952096A (zh) * | 2014-03-31 | 2015-09-30 | 中国电信股份有限公司 | Cpu和gpu混合云渲染方法、装置和*** |
| CN105263050A (zh) * | 2015-11-04 | 2016-01-20 | 山东大学 | 基于云平台的移动终端实时渲染***及其方法 |
| CN106910234A (zh) * | 2015-12-18 | 2017-06-30 | 普联软件股份有限公司 | 一种基于改进的三维渲染引擎分布式渲染方法及*** |
| CN106209997A (zh) * | 2016-06-30 | 2016-12-07 | 上海上大海润信息***有限公司 | 一种面向云渲染的异构集群管理***及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107704608A (zh) | 一种olap多维分析和数据挖掘*** | |
| CN104205039A (zh) | 使用兴趣驱动数据管线进行数据分析的兴趣驱动商业智能***和方法 | |
| CN108718345A (zh) | 一种数字化车间工业数据网络化传输*** | |
| CN111126873A (zh) | 一种基于Hadoop集群架构的盾构TBM大数据平台***及建设方法 | |
| CN110990467B (zh) | 一种bim模型格式转换方法及转换*** | |
| CN104504047A (zh) | 一种基于双层数据库的固体矿产资源储量估算*** | |
| CN113570275A (zh) | 基于bim和数字高程模型的水资源实时监测*** | |
| CN111753034A (zh) | 一种一站式地理大数据平台 | |
| CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
| CN111078094A (zh) | 分布式机器学习可视化装置 | |
| CN110059138A (zh) | 一种基于大数据平台数据分析域构架方法 | |
| CN103440114B (zh) | 一种基于Web架构的三维井身轨迹显示*** | |
| CN114707651A (zh) | 一种规约运算的拓扑选择方法、装置、设备及介质 | |
| CN112163986A (zh) | 一种用于金属矿山井下地测采三维数据的分布式处理方法 | |
| CN115984503B (zh) | 一种地质剖面图生成方法、***、电子设备及介质 | |
| CN112667704A (zh) | 煤矿工业互联网数据中台体系结构 | |
| CN111914014A (zh) | 一种大数据平台及其应用 | |
| CN106327153A (zh) | 基于事件直接先于关系的云间科学工作流挖掘方法 | |
| CN116523328A (zh) | 一种航空装备协同制造产业链协作智能决策方法 | |
| CN115047833A (zh) | 一种矿山数字孪生工厂及其构建方法 | |
| Jiang | Research and practice of big data analysis process based on hadoop framework | |
| Bo et al. | A frequent pattern parallel mining algorithm based on distributed sliding window. | |
| CN116433857B (zh) | 一种桥梁工程地质的三维数据可视化方法及*** | |
| Garcia et al. | An incremental approach for real-time Big Data visual analytics | |
| CN106708838A (zh) | 用于流数据查询的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210101 |