CN110135289A - 一种基于深度学***台 - Google Patents
一种基于深度学***台 Download PDFInfo
- Publication number
- CN110135289A CN110135289A CN201910350893.5A CN201910350893A CN110135289A CN 110135289 A CN110135289 A CN 110135289A CN 201910350893 A CN201910350893 A CN 201910350893A CN 110135289 A CN110135289 A CN 110135289A
- Authority
- CN
- China
- Prior art keywords
- sample
- data
- dimensional
- deep learning
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 80
- 239000003245 coal Substances 0.000 title claims abstract description 77
- 238000012549 training Methods 0.000 claims abstract description 86
- 230000003252 repetitive effect Effects 0.000 claims abstract description 14
- 238000012546 transfer Methods 0.000 claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims description 92
- 230000008447 perception Effects 0.000 claims description 64
- 238000012360 testing method Methods 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 230000004438 eyesight Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000016776 visual perception Effects 0.000 claims description 4
- 239000012141 concentrate Substances 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000011160 research Methods 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 241001269238 Data Species 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Animal Husbandry (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Agronomy & Crop Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供的基于深度学***台,为用户提供智能感知模型训练所需的样本数据库集,尤其是三维样本数据库集。云服务平台还集成有深度学***台中调取训练样本数据和深度学习框架执行迭代训练并获得满足用户需求的智能感知模型,通过数据下载接口将训练得到的符合需求的感知模型下载到客户端本地,供用户技术研究开发使用。以上方案,对于客户端配置要求大大降低的同时,能够为用户提供煤矿井下所涉及到的三维空间样本数据和深度学习框架供用户训练学习得到所需要的智能感知模型,满足煤矿井下基于深度学习的智能感知应用技术开发需求。
Description
技术领域
本发明涉及煤矿自动化、智能化开采技术领域,具体涉及一种基于深度学***台。
背景技术
随着人工智能的快速发展,为了实现煤矿智能化、无人化开采,需要对煤矿井下设备、工作人员及环境状况建立起智能化感知、认知模型。由于机器学习特别是深度学习技术的广泛推广应用,现有技术中推出多种能够对样本数据进行训练学习的机器学习方法模型和框架。在具体实现过程中,用户可以获取某一场景下的海量数据作为样本数据,选择某一机器学习框架和模型对样本数据进行迭代训练。在迭代训练过程中,计算每次训练结果与期望值之间的误差,利用误差反向传播来调整优化算法模型中的权重参数,直至误差趋于零或者训练次数达到设定阈值。最终训练得到的模型可供用户实际应用开发使用,作为具体场景智能感知、认知的算法模型。
目前在解决煤矿井下智能感知难题,实现煤矿智能化、无人化开采的进程中,诸如上述方案的现有技术,还难以推广应用到煤矿井下实际场景中,归结其主要原因在于煤炭领域行业相对专业,作业场景环境复杂,外界获取机器学习的样本数据途径有限,数量远远达不到技术本身要求的规模。即使网络上获取的训练样本数据,其规模数量极其有限,类别丰富程度也比较单一。同时,由于煤矿井下场景的复杂性和特殊性,迫切需要解决井下三维空间的智能感知问题,而对于井下三维空间的智能感知模型训练所需的三维空间样本数据更是缺乏,甚至匮乏。同时,目前用户可以获得的公开样本数据也无法满足煤矿井下基于深度学习的智能感知应用需求。
发明内容
本发明实施例旨在提供一种基于深度学***台,以解决现有技术中的服务平台无法满足煤矿井下基于深度学习的智能感知应用技术开发的样本数据需求。
为解决上述技术问题,本发明提供一种基于深度学***台,包括:
样本数据库集,其包括用于煤矿井下三维空间感知的三维点云样本数据库集;所述三维点云样本数据库集包括三维空间感知训练样本子集和三维空间感知验证样本子集;
深度学习框架集合,包括至少一种深度学习框架模型;
功能接口,供客户端调用;所述功能接口包括与所述样本数据库集连接的信息获取接口、与所述深度学习框架集合连接的框架调度接口以及数据下载接口;
响应于客户端发送的三维空间感知模型训练指令,所述框架调度接口从所述深度学习框架集合中调取深度学习框架模型,所述信息获取接口从所述样本数据库集中调取所述三维空间感知训练样本子集和所述三维空间感知验证样本子集,所述深度学习框架模型根据所述三维空间感知训练样本子集和所述三维空间感知验证样本子集执行迭代训练对所述深度学习框架模型的权重参数进行调整优化以得到符合需求的三维空间感知模型;
响应于客户端发送的模型下载指令,所述数据下载接口将所述符合需求的三维空间感知模型下载至客户端本地。
可选地,上述的基于深度学***台中,所述三维点云样本数据库集中还包括三维空间感知测试样本子集;
响应于客户端发送的三维空间感知模型测试指令,所述信息获取接口从所述样本数据库集中调取所述三维空间感知测试样本子集,将所述三维空间感知测试样本子集中的数据输入至所述符合需求的三维空间感知模型中测试所述符合需求的三维空间感知模型的性能。
可选地,上述的基于深度学***台中,所述样本数据库集中还包括用于煤矿井下视觉感知的二维视觉图像样本数据库集;所述二维视觉图像样本数据库集包括二维视觉图像训练样本子集和二维视觉图像验证样本子集;
响应于客户端发送的视觉感知模型训练指令,所述框架调度接口从所述深度学习框架集合中调取深度学习框架模型,所述信息获取接口从所述样本数据库集中调取所述二维视觉图像训练样本子集和所述二维视觉图像验证样本子集,所述深度学习框架模型根据所述二维视觉图像训练样本子集和所述二维视觉图像验证样本子集执行迭代训练,根据迭代训练对所述深度学习框架模型的权重参数进行调整优化以得到符合需求的视觉感知模型;
响应于客户端发送的模型下载指令,通过所述数据下载接口将所述符合需求的视觉感知模型下载至客户端本地。
可选地,上述的基于深度学***台中,所述二维视觉图像样本数据库集中还包括二维视觉图像测试样本子集;
响应于客户端发送的视觉感知模型测试指令后,所述信息获取接口从所述二维视觉图像样本数据库集中调取所述二维视觉图像测试样本子集,将所述二维视觉图像测试样本子集中的数据输入至所述符合需求的视觉感知模型中测试所述符合需求的视觉感知模型的性能。
可选地,上述的基于深度学***台中,所述功能接口还包括样本数据上传接口;
响应于客户端发送的样本数据上传指令后,所述样本数据上传接口将客户端本地的二维视觉图像训练样本数据上传至所述二维视觉图像训练样本子集中,或者将客户端本地的二维视觉图像验证样本数据上传至所述二维视觉图像验证样本子集中,或者将客户端本地的二维视觉图像测试样本数据上传至所述二维视觉图像测试样本子集中,或者将客户端本地的三维空间感知训练样本数据上传至三维空间感知训练样本子集中,或者将客户端本地的三维空间感知验证样本数据上传至所述三维空间感知验证样本子集中,或者将客户端本地的三维空间感知测试样本数据上传至所述三维空间感知测试样本子集中。
可选地,上述的基于深度学***台中,所述功能接口还包括:
格式转换接口,与所述样本数据上传接口连接;响应于客户端发送的格式转换指令后,所述格式转换接口将所述样本数据上传接口上传的样本数据转换至目标格式后再将其上传至相应子集中;
个性化标注接口,与所述样本数据库集和所述样本数据上传接口连接;
响应于客户端发送的个性化标注指令后,所述个性化标注接口对客户端上传的样本数据进行标注操作,并分别将样本数据、样本数据标注结果通过样本数据上传接口上传至样本数据库集的对应数据库集中,同时存储于客户端本地。
可选地,上述的基于深度学***台中,所述三维点云样本数据库集中还包括标定数据子集;所述标定数据子集包括用于对可见光摄像仪进行标定的摄像仪标定数据和用于对三维激光雷达扫描仪进行标定的扫描仪标定数据;
所述摄像仪标定数据用于表征可见光摄像仪之间的旋转及平移位置关系,视觉图像的畸变矫正以及矫正后视觉图像在三维空间的转换;所述扫描仪标定数据用于表征三维激光雷达扫描仪坐标系到可见光摄像仪坐标系的旋转及平移位置关系。
可选地,上述的基于深度学***台中,所述二维视觉图像样本数据库集中:
所述二维视觉图像训练样本子集中存储的二维视觉图像训练样本数据包括一一对应的视觉图像数据和标注数据;
所述二维视觉图像验证样本子集中存储的二维视觉图像验证样本数据包括一一对应的视觉图像数据和标注数据;
所述二维视觉图像测试样本子集中存储的二维视觉图像测试样本数据。
可选地,上述的基于深度学***台中,所述三维点云样本数据库集中:
所述三维点云样本数据库集中的三维空间感知训练样本子集包括一一对应的视觉图像数据、点云数据和标注数据;
所述三维点云样本数据库集中的三维空间感知验证样本子集包括一一对应的视觉图像数据、点云数据和标注数据;
所述三维点云样本数据库集中的三维空间感知测试样本子集包括一一对应的视觉图像数据和点云数据。
可选地,上述的基于深度学***台中,还包括:
至少一个图形处理器,所述图形处理器用于对输入至样本数据库集中的初始二维视觉图像样本数据或三维点云样本数据进行处理分析,其满足基于所述二维视觉图像样本数据库集或所述三维点云样本数据库集的训练学习需求。
与现有技术相比,本发明实施例提供的上述技术方案至少具有以下有益效果:
本发明实施例提供的基于深度学***台,为用户提供智能感知模型训练所需的样本数据库集,尤其是三维样本数据库集。同时,云服务平台还集成有深度学***台中调取训练样本数据(包括二维视觉图像样本数据和三维空间样本数据)和深度学***台能够满足煤矿井下基于深度学习的智能感知应用技术开发需求。
附图说明
图1为本发明一个实施例所述基于深度学***台的原理框图;
图2为本发明一个实施例所述用于三维样本数据采集的数据采集平台的结构框图;
图3为本发明一个实施例所述三维点云样本数据库集中的数据文件组织结构图;
图4为本发明另一个实施例所述基于深度学***台的原理框图;
图5为本发明一个实施例所述二维视觉图像样本数据库集中的数据文件组织结构图。
具体实施方式
下面将结合附图进一步说明本发明实施例。在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明的简化描述,而不是指示或暗示所指的装置或组件必需具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。其中,术语“第一位置”和“第二位置”为两个不同的位置。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个组件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
实施例1
本实施例提供一种基于深度学***台,如图1所示,包括样本数据库集100,功能接口200,深度学***台,从而实现对功能接口200的调用。所述功能接口200包括与所述样本数据库集连接的信息获取接口201、与所述深度学***台后,可以向云服务平台发送三维空间感知模型训练指令。而云服务平台在收到三维空间感知模型训练指令后,所述框架调度接口202从所述深度学***台发送模型下载指令,云服务平台收到模型下载指令后,所述数据下载接口203将所述符合需求的三维空间感知模型下载至客户端500本地。
对于以上方案中的三维点云样本数据,可以通过以下方式获取:
一是由自制的采集平台在煤矿井下进行采集,之后将采集的样本数据上传至云服务平台中。为了实现井下设备目标关键部位在井下三维空间中的检测、识别、视觉测量,以及井下无人工作面的三维重建等智能化应用需求,需要获取井下场景的三维空间点云数据。本实施例中采用图2所示的三维点云数据采集平台实现三维样本数据的采集。如图所示,煤矿井下空间及目标对象的三维点云数据采集平台主要由两个可见光摄像仪,一个三维激光雷达扫描仪组成。为了方便传感器标定,规定各传感器坐标系方向为:可见光摄像仪:x=右,y=下,z=前方;三维激光雷达:x=前方,y=左,z=上。三维点云数据是由三维激光雷达扫描空间后获取的结果数据。而两个可见光摄像仪可采集二维可视化视觉图像。三维点云数据表征场景空间的三维信息,二维视觉图像表征目标对象的可视化颜色、纹理特征。由于增加了三维空间信息,对于场景中的目标对象来说,不但能够获取包括场景目标对象可视化视觉特征,还能够获取到目标对象在三维空间中的位置信息,以及目标对象与另一目标对象之间的距离等。
二是由用户通过客户端上传,不同的用户可能在工作过程中均采集收集到一些样本数据,当用户在使用云服务平台时,可以将自己的客户端本地的样本数据上传至云服务平台中,用于扩充丰富样本数据库集。
三是从互联网中收集,有些机构或者工作人员可能获取到过一定量的煤矿井下的三维点云样本数据,但是对于他们来说并没有将这些样本数据用于到智能感知模型构建的过程中而是用作其他用途。如果这些样本数据在网络上公开且可以被公众所使用,则云服务平台亦可以从网络上获取收集这些样本数据,用于扩充平台的三维点云样本数据。
另外,对于深度学***台中可见光摄像仪、三维激光雷达扫描仪传感器的标定数据都,其采用txt格式存储。可见光摄像仪标定数据用于表征可见光摄像仪之间的旋转、平移位置关系,可见光摄像仪的标定,视觉图像的畸变矫正,以及矫正后视觉图像的在三维空间的转换;三维激光雷达扫描仪标定数据用于表征三维激光雷达扫描仪坐标系到可见光摄像仪坐标系的旋转、平移位置关系。相应的,对于三维空间感知训练样本子集、验证样本子集和测试样本子集中的数据格式要求是相同的。例如图2中的数据采集平台采集的数据包括可见光摄像仪产生的二维视觉图像数据,以及三维激光雷达扫描产生的3D点云数据,通过二维视觉图像数据表征目标对象的可视化信息特征,利用3D点云数据表征映目标对象在三维空间三维立体信息特征。
当选定了深度学习框架模型之后,采用三维空间感知训练样本子集和三维空间感知验证样本子集中的样本数据进行迭代训练,不同深度学习框架模型的训练机理可能略有不同,但是基本上都遵循如下的规律:三维空间感知训练样本子集在模型训练过程时使用;三维空间感知验证样本子集是在迭代训练过程中,用三维空间感知训练样本子集做训练,三维空间感知验证样本子集用来初步验证结果,这里的验证结果是单一某一评估指标,该评估指标可以选择对于用户需求来说最重要的一个指标。因此,三维空间感知验证样本子集和三维空间感知训练样本子集一起被输入到深度学习框架中但实际上三维空间感知验证样本子集不参与模型训练,只是用来快速计算模型的某一评估指标。在每次迭代训练过程中,将三维空间感知验证样本子集数据输入三维空间感知训练样本子集训练的模型获得计算结果与期望值之间的误差,利用误差反向传播来调整优化算法模型中的权重参数,直至误差趋于零或者训练次数达到设定阈值。最后将最终确定了权重参数的深度学习框架模型作为最后的智能感知模型。
如图3所示,所述三维点云样本数据库集中还包括三维空间感知测试样本子集;用户可以通过客户端发送三维感知模型测试指令给云服务平台,云服务平台接收到测试指令后,所述信息获取接口200从所述样本数据库集100中调取所述三维点云测试子集,将所述三维点云测试子集中的数据输入至所述三维感知模型中测试所述三维感知模型性能。实际上三维点云测试子集中的数据输入到最终的三维感知模型中,得到的感知识别结果的准确程度提示给用户,供用户了解。也就是说,测试子集的作用并不是快速查看结果的,它是在模型训练结束后提供一个模型的完整评估报告,使用户可以更好的从多个维度评价模型的性能。
另外,云服务平台中集成有高配置的底层硬件基础400,其中包括至少一个图形处理器GPUs401,至少一个处理器CPUs402,存储模组403和网络模块404,用户完全可以远程登录到云服务平台中利用平台中的硬件基础结合软件方法来实现自己所需要感知模型训练,当得到最终的训练结果时直接下载到本地存储即可,这样用户所使用的客户端500的配置要求代价就大大降低,给客户带来极大的便利。
三维样本数据还包括三维数据采集平台中可见光摄像仪、三维激光雷达扫描仪传感器的标定数据都采用txt格式存储。可见光摄像仪标定数据用于表征可见光摄像仪之间的旋转、平移位置关系,用于可见光摄像仪的标定,视觉图像的畸变矫正,以及矫正后视觉图像的在三维空间的转换;三维激光雷达扫描仪标定数据用于表征三维激光雷达扫描仪坐标系到可见光摄像仪坐标系的旋转、平移位置关系。
实施例2
本实施例提供的基于深度学***台,所述样本数据库集100中还包括用于存储煤矿井下的二维视觉图像样本数据库集,所述二维视觉图像样本数据库集包括二维视觉图像训练子集和二维视觉图像验证子集;响应于客户端500发送的视觉感知模型训练指令,所述框架调度接口202从所述深度学习框架集合300中调取深度学习框架模型,所述信息获取接口201从所述样本数据库集100中调取所述二维视觉图像训练子集和所述二维视觉图像验证子集,所述深度学习框架利用所述二维视觉图像训练子集和所述二维视觉图像验证子集执行迭代训练,根据迭代训练对所述深度学习框架模型的权重参数进行调整优化以得到符合需求的视觉感知模型;收到模型下载指令后,通过所述数据下载接口203将所述符合需求的视觉感知模型下载至客户端500本地。
其中二维视觉图像样本数据是根据煤矿领域的不同作业场景,针对现场设备环境目标对象需要智能化检测、识别的需求进行分析,类别进行归纳,总结不同的数据样本种类,可以实现由多渠道多方式获取和采集。其大致种类和来源可以归纳如下:
1、煤矿工作人员(矿工)目标对象
煤矿工人作为一种在煤矿特殊场景工作的工作人员,其视觉特征既具有一定的特殊性,也具有一般的共性特征。通过分析可以分为井上工人,井下矿工两大类。针对井上作业现场煤矿工人的安全保障和智能化应用需求,可以实现基于监控视频的煤矿工人厂况检测、识别考勤签到(大多情况为入井前)、行为分析等等。针对这类二维视觉图像数据一种途径可以通过矿厂监控视频直接采集,其视觉画面质量相对高。同时可以通过网络爬虫方式来获取整理,从而可以丰富样本数据的多样性。而有关煤矿井下环境的矿工,根据安全规章制度要求,以及智能化应用需求考虑,基于井下可视化远程监控视频的危险区域矿工出现的异常检测、井下矿工的人数统计、出井前的识别考勤等需求,往往可以通过井下可视化远程监控视频采集。
(2)煤矿设备环境的目标对象
针对煤矿设备环境的目标对象,同样可以根据作业场景分为井上和井下两类。井上需要检测、识别、监控的目标对象主要为车辆。车辆相关的二维视频图像数据主要可以通过公共数据集进行挑选收集,以及网站零星爬虫获取。而对于井下场景的目标对象,大致可以归纳为采煤机机器部件、运输机机器部件、液压支架及其部件、井下交通车、大块煤等。此类目标对象的二维视觉图像数据可通过远程可视化井下的煤机视频、煤壁视频、支架视频进行采集整理,同时可以通过各设备厂商网站及公共网络爬虫获取。
二维视觉图像数据样本训练库集主要组成部分包括煤矿工作人员(矿工)目标对象样本数据,煤矿设备环境目标对象样本数据。涵盖煤矿井下设备围岩环境的全部目标对象类别,如采煤机摇臂、采煤机滚筒、采煤机拖拽电缆、支架护帮板、支架顶梁、井下交通车、大块煤等类别目标,各个目标对象存在不同程度的遮挡与截断。同三维图像样本数据的处理方式类似,二维视觉图像样本也需要进行标注,每一图像均唯一对应于一个标注文件。参考图5,图像样本数据的格式为JPG,标注数据文件格式为XML或者TXT。根据目标对象类别的类间平衡原则,数据集中各类目标对象被包含图像样本数目应该相同,如此以来可以保证在后续训练过程中,各个被送入深度学习框架中的机会就相同。因此考虑到同一样本数据包含多个目标对象的实际情况,其图像样本的最少数目应该在8000到10000之间,分为训练子集、验证子集和测试子集。而训练子集、验证子集和测试子集的调用方式可参考实施例1中对于三维点云样本数据库中三个子集的数据调用方式。
用户通过客户端远程登录到云服务平台,根据自己的需求选择三维样本训练或者二维样本训练,深度学***台还为用户提供了其他方便快捷的数据集使用接口。参考图4,云服务平台的功能接口200中还可以包括:
数据上传接口204,云服务平台收到上传指令后,所述样本数据上传接口204将客户端本地的二维视觉图像训练样本数据上传至所述二维视觉图像训练样本子集中,或者将客户端本地的二维视觉图像验证样本数据上传至所述二维视觉图像验证样本子集中,或者将客户端本地的二维视觉图像测试样本数据上传至所述二维视觉图像测试样本子集中,或者将客户端本地的三维空间感知训练样本数据上传至三维空间感知训练样本子集中,或者将客户端本地的三维空间感知验证样本数据上传至所述三维空间感知验证样本子集中,或者将客户端本地的三维空间感知测试样本数据上传至所述三维空间感知测试样本子集中。也即,样本数据库集100是除了由开发人员在前期获得的样本数据之外,还接收来自后期用户自发上传的样本数据,从而进一步保证了样本数据多样性和全面性。
所述功能接口200还包括格式转换接口,与所述样本数据上传接口连接;响应于客户端发送的格式转换指令后,所述格式转换接口将所述样本数据上传接口上传的样本数据转换至目标格式后再将其上传至相应子集中;
所述功能接口200还包括个性化标注接口,所述个性化标注接口与所述样本数据库集、验证样本数据库集和所述数据上传接口连接;收到个性化标注指令后,将调用云端样本数据标注脚本程序,对用户的训练样本数据和验证样本数据进行标注操作,并分别将样本数据、样本数据标注结果通过数据上传接口上传至云服务平台的相关各自样本数据库集中,同时留存客户端本地。样本数据库集功能接口可帮助用户实现样本数据和与之对应标注数据的完整加载,以及解析,最终生成训练学习所需的样本数据序列,以及与之对应的标注数据序列。
所述功能接口还包括日志信息显示接口205,当用户样本数据与平台样本数据上传合并后,为了验证合并后样本数据集的有效性,用户可以可视化预览带有标注数据信息的样本数据缩略图。同时可以将模型训练日志进行显示。
以上各个接口可采用主流程序语言Python实现,通俗易懂,适用于Ubuntu和windows两种开发***环境,方便安装、调用,以及个性差异化修改调试。
通过本实施例提供的以上技术方案,按照深度学***台,面向煤矿领域开放,无论是学术研究还是工程应用开发方面都能够实现便捷快速调用,资源共享,以及模型训练迭代,为有关煤矿的智能化应用开发提供基础数据和基础技术支持的***解决方案。其至少可产生如下技术效果:
1、为煤矿领域基于深度学习的智能化应用研发提供有关煤矿场景的具有一定规模的样本数据库集,解决目前有关煤矿领域场景的智能应用开发时所需训练样本数据缺乏现状问题。
2、面向煤矿领域开放,为煤矿领域智能化应用技术研发,提供一种基于云端服务的***性的技术研发平台,方便用户、快捷调用围绕机器学***台。
3、用户无需浪费大量人力,财力资源进行数据准备、研发平台硬件购置,节约用户成本,实现快速、高效的技术研发。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于深度学***台,其特征在于,包括:
样本数据库集,其包括用于煤矿井下三维空间感知的三维点云样本数据库集;所述三维点云样本数据库集包括三维空间感知训练样本子集和三维空间感知验证样本子集;
深度学习框架集合,包括至少一种深度学习框架模型;
功能接口,供客户端调用;所述功能接口包括与所述样本数据库集连接的信息获取接口、与所述深度学习框架集合连接的框架调度接口以及数据下载接口;
响应于客户端发送的三维空间感知模型训练指令,所述框架调度接口从所述深度学习框架集合中调取深度学习框架模型,所述信息获取接口从所述样本数据库集中调取所述三维空间感知训练样本子集和所述三维空间感知验证样本子集,所述深度学习框架模型根据所述三维空间感知训练样本子集和所述三维空间感知验证样本子集执行迭代训练对所述深度学习框架模型的权重参数进行调整优化以得到符合需求的三维空间感知模型;
响应于客户端发送的模型下载指令,所述数据下载接口将所述符合需求的三维空间感知模型下载至客户端本地。
2.根据权利要求1所述的基于深度学***台,其特征在于:
所述三维点云样本数据库集中还包括三维空间感知测试样本子集;
响应于客户端发送的三维空间感知模型测试指令,所述信息获取接口从所述样本数据库集中调取所述三维空间感知测试样本子集,将所述三维空间感知测试样本子集中的数据输入至所述符合需求的三维空间感知模型中测试所述符合需求的三维空间感知模型的性能。
3.根据权利要求1所述的基于深度学***台,其特征在于:
所述样本数据库集中还包括用于煤矿井下视觉感知的二维视觉图像样本数据库集;所述二维视觉图像样本数据库集包括二维视觉图像训练样本子集和二维视觉图像验证样本子集;
响应于客户端发送的视觉感知模型训练指令,所述框架调度接口从所述深度学习框架集合中调取深度学习框架模型,所述信息获取接口从所述样本数据库集中调取所述二维视觉图像训练样本子集和所述二维视觉图像验证样本子集,所述深度学习框架模型根据所述二维视觉图像训练样本子集和所述二维视觉图像验证样本子集执行迭代训练,根据迭代训练对所述深度学习框架模型的权重参数进行调整优化以得到符合需求的视觉感知模型;
响应于客户端发送的模型下载指令,通过所述数据下载接口将所述符合需求的视觉感知模型下载至客户端本地。
4.根据权利要求3所述的基于深度学***台,其特征在于:
所述二维视觉图像样本数据库集中还包括二维视觉图像测试样本子集;
响应于客户端发送的视觉感知模型测试指令后,所述信息获取接口从所述二维视觉图像样本数据库集中调取所述二维视觉图像测试样本子集,将所述二维视觉图像测试样本子集中的数据输入至所述符合需求的视觉感知模型中测试所述符合需求的视觉感知模型的性能。
5.根据权利要求4所述的基于深度学***台,其特征在于:
所述功能接口还包括样本数据上传接口;
响应于客户端发送的样本数据上传指令后,所述样本数据上传接口将客户端本地的二维视觉图像训练样本数据上传至所述二维视觉图像训练样本子集中,或者将客户端本地的二维视觉图像验证样本数据上传至所述二维视觉图像验证样本子集中,或者将客户端本地的二维视觉图像测试样本数据上传至所述二维视觉图像测试样本子集中,或者将客户端本地的三维空间感知训练样本数据上传至三维空间感知训练样本子集中,或者将客户端本地的三维空间感知验证样本数据上传至所述三维空间感知验证样本子集中,或者将客户端本地的三维空间感知测试样本数据上传至所述三维空间感知测试样本子集中。
6.根据权利要求1-5任一项所述的基于深度学***台,其特征在于,所述功能接口还包括:
格式转换接口,与所述样本数据上传接口连接;响应于客户端发送的格式转换指令后,所述格式转换接口将所述样本数据上传接口上传的样本数据转换至目标格式后再将其上传至相应子集中;
个性化标注接口,与所述样本数据库集和所述样本数据上传接口连接;响应于客户端发送的个性化标注指令后,所述个性化标注接口对客户端上传的样本数据进行标注操作,并分别将样本数据、样本数据标注结果通过样本数据上传接口上传至样本数据库集的对应数据库集中,同时存储于客户端本地。
7.根据权利要求6所述的基于深度学***台,其特征在于:
所述三维点云样本数据库集中还包括标定数据子集;所述标定数据子集包括用于对可见光摄像仪进行标定的摄像仪标定数据和用于对三维激光雷达扫描仪进行标定的扫描仪标定数据;
所述摄像仪标定数据用于表征可见光摄像仪之间的旋转及平移位置关系,视觉图像的畸变矫正以及矫正后视觉图像在三维空间的转换;所述扫描仪标定数据用于表征三维激光雷达扫描仪坐标系到可见光摄像仪坐标系的旋转及平移位置关系。
8.根据权利要求7所述的基于深度学***台,其特征在于,所述二维视觉图像样本数据库集中:
所述二维视觉图像训练样本子集中存储的二维视觉图像训练样本数据包括一一对应的视觉图像数据和标注数据;
所述二维视觉图像验证样本子集中存储的二维视觉图像验证样本数据包括一一对应的视觉图像数据和标注数据;
所述二维视觉图像测试样本子集中存储的二维视觉图像测试样本数据。
9.根据权利要求8所述的基于深度学***台,其特征在于,所述三维点云样本数据库集中:
所述三维点云样本数据库集中的三维空间感知训练样本子集包括一一对应的视觉图像数据、点云数据和标注数据;
所述三维点云样本数据库集中的三维空间感知验证样本子集包括一一对应的视觉图像数据、点云数据和标注数据;
所述三维点云样本数据库集中的三维空间感知测试样本子集包括一一对应的视觉图像数据和点云数据。
10.根据权利要求9所述的基于深度学***台,其特征在于,还包括:
至少一个图形处理器,所述图形处理器用于对输入至样本数据库集中的初始二维视觉图像样本数据或三维点云样本数据进行处理分析,其满足基于所述二维视觉图像样本数据库集或所述三维点云样本数据库集的训练学习需求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910350893.5A CN110135289A (zh) | 2019-04-28 | 2019-04-28 | 一种基于深度学***台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910350893.5A CN110135289A (zh) | 2019-04-28 | 2019-04-28 | 一种基于深度学***台 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110135289A true CN110135289A (zh) | 2019-08-16 |
Family
ID=67575493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910350893.5A Pending CN110135289A (zh) | 2019-04-28 | 2019-04-28 | 一种基于深度学***台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110135289A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111126192A (zh) * | 2019-12-10 | 2020-05-08 | 枣庄矿业(集团)有限责任公司蒋庄煤矿 | 一种基于深度学习煤矿井下物体状态识别*** |
CN112153347A (zh) * | 2020-09-27 | 2020-12-29 | 北京天地玛珂电液控制***有限公司 | 煤矿井下智能视觉感知终端、感知方法、存储介质及电子设备 |
CN113591888A (zh) * | 2020-04-30 | 2021-11-02 | 上海禾赛科技有限公司 | 用于激光雷达的点云数据标注网络***及标注方法 |
CN115908948A (zh) * | 2023-01-05 | 2023-04-04 | 北京霍里思特科技有限公司 | 一种在线调整模型的智能分选***及其控制方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204009939U (zh) * | 2014-06-04 | 2014-12-10 | 中国矿业大学(北京) | 一种矿井图像中基于条件随机场的矿工检测*** |
CN107909060A (zh) * | 2017-12-05 | 2018-04-13 | 前海健匠智能科技(深圳)有限公司 | 基于深度学习的健身房健身动作识别方法及装置 |
CN108630303A (zh) * | 2018-04-28 | 2018-10-09 | 江苏医像信息技术有限公司 | 云标注*** |
CN108668109A (zh) * | 2018-02-14 | 2018-10-16 | 北京广天夏科技有限公司 | 基于计算机视觉的图像监控方法 |
CN109146880A (zh) * | 2018-09-30 | 2019-01-04 | 亿嘉和科技股份有限公司 | 一种基于深度学习的电力设备检测方法 |
CN109241513A (zh) * | 2018-08-27 | 2019-01-18 | 上海宝尊电子商务有限公司 | 一种基于大数据众包模式数据标注的方法及装置 |
CN109344853A (zh) * | 2018-08-06 | 2019-02-15 | 杭州雄迈集成电路技术有限公司 | 一种可定制目标检测算法的智能化云平台***及操作方法 |
CN109376844A (zh) * | 2018-10-30 | 2019-02-22 | 银河水滴科技(北京)有限公司 | 基于云平台和模型推荐的神经网络自动训练方法和装置 |
CN109523552A (zh) * | 2018-10-24 | 2019-03-26 | 青岛智能产业技术研究院 | 基于视锥点云的三维物体检测方法 |
CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
-
2019
- 2019-04-28 CN CN201910350893.5A patent/CN110135289A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204009939U (zh) * | 2014-06-04 | 2014-12-10 | 中国矿业大学(北京) | 一种矿井图像中基于条件随机场的矿工检测*** |
CN107909060A (zh) * | 2017-12-05 | 2018-04-13 | 前海健匠智能科技(深圳)有限公司 | 基于深度学习的健身房健身动作识别方法及装置 |
CN108668109A (zh) * | 2018-02-14 | 2018-10-16 | 北京广天夏科技有限公司 | 基于计算机视觉的图像监控方法 |
CN108630303A (zh) * | 2018-04-28 | 2018-10-09 | 江苏医像信息技术有限公司 | 云标注*** |
CN109344853A (zh) * | 2018-08-06 | 2019-02-15 | 杭州雄迈集成电路技术有限公司 | 一种可定制目标检测算法的智能化云平台***及操作方法 |
CN109241513A (zh) * | 2018-08-27 | 2019-01-18 | 上海宝尊电子商务有限公司 | 一种基于大数据众包模式数据标注的方法及装置 |
CN109146880A (zh) * | 2018-09-30 | 2019-01-04 | 亿嘉和科技股份有限公司 | 一种基于深度学习的电力设备检测方法 |
CN109523552A (zh) * | 2018-10-24 | 2019-03-26 | 青岛智能产业技术研究院 | 基于视锥点云的三维物体检测方法 |
CN109376844A (zh) * | 2018-10-30 | 2019-02-22 | 银河水滴科技(北京)有限公司 | 基于云平台和模型推荐的神经网络自动训练方法和装置 |
CN109685066A (zh) * | 2018-12-24 | 2019-04-26 | 中国矿业大学(北京) | 一种基于深度卷积神经网络的矿井目标检测与识别方法 |
Non-Patent Citations (3)
Title |
---|
AMAX中国: "AI Max深度学习平台手册", 《AMAX微信公众号》 * |
张谦益: "基于众包采集的表情识别训练***的研制", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
王国法等: "智慧煤矿与智能化开采关键核心技术分析", 《煤炭学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111126192A (zh) * | 2019-12-10 | 2020-05-08 | 枣庄矿业(集团)有限责任公司蒋庄煤矿 | 一种基于深度学习煤矿井下物体状态识别*** |
CN113591888A (zh) * | 2020-04-30 | 2021-11-02 | 上海禾赛科技有限公司 | 用于激光雷达的点云数据标注网络***及标注方法 |
CN112153347A (zh) * | 2020-09-27 | 2020-12-29 | 北京天地玛珂电液控制***有限公司 | 煤矿井下智能视觉感知终端、感知方法、存储介质及电子设备 |
CN115908948A (zh) * | 2023-01-05 | 2023-04-04 | 北京霍里思特科技有限公司 | 一种在线调整模型的智能分选***及其控制方法 |
CN115908948B (zh) * | 2023-01-05 | 2024-04-26 | 北京霍里思特科技有限公司 | 一种在线调整模型的智能分选***及其控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110135289A (zh) | 一种基于深度学***台 | |
CN104834595B (zh) | 一种可视化自动测试方法及*** | |
US6226783B1 (en) | Object oriented method of structuring a software step program | |
WO2017217185A1 (ja) | サーバ装置、画像処理システム及び画像処理方法 | |
CN110198247A (zh) | 接口测试方法及*** | |
KR102382419B1 (ko) | 3d 관절 점 회귀 모델의 생성 방법 및 장치 | |
KR20210115246A (ko) | 3d 모델링 기반 댐 안전 관리를 위한 통합 유지보수 관제 방법 및 시스템 | |
JP2021039625A (ja) | 物体数推定装置、物体数推定方法、および物体数推定プログラム | |
CN108831233A (zh) | 一种mri虚拟仿真训练***及方法 | |
KR102388777B1 (ko) | 360도 vr 카메라를 이용한 연도변 조사 서비스 제공 시스템 | |
WO2020010033A1 (en) | Building maintaining method and system | |
CN116737483B (zh) | 一种装配测试交互方法、装置、设备及存储介质 | |
Kim et al. | Real time building data collecting using IoT and BIM | |
CN113051637A (zh) | 一种关于公共医疗建筑的bim建模方法 | |
Scaradozzi et al. | DocuScooter: a novel robotics platform for marine citizen science. | |
Yan et al. | Intergrating UAV development technology with augmented reality toward landscape tele-simulation | |
JP7097207B2 (ja) | 建造物管理システム、学習装置、位置判定装置、及び位置判定方法 | |
CN111028339B (zh) | 一种行为动作建模方法、装置、电子设备和存储介质 | |
CN113568735A (zh) | 数据处理方法及*** | |
WO2021067234A1 (en) | Systems and methods for training image detection systems for augmented and mixed reality applications | |
Lenart et al. | Real-time monitoring and analyses of sensory data integrated into the BIM platform | |
JP7524386B2 (ja) | 画像処理装置、画像処理システム、画像処理装置の作動方法、及び画像処理プログラム | |
Jati | Uav-Based Photogrammetry Data Transformation as a Building Inspection Tool: Applicability in Mid-High-Rise Building | |
AU2021374990B2 (en) | Deriving insights into motion of an object through computer vision | |
KR102120999B1 (ko) | 이종포맷파일 간 호환성을 제공하는 건축물 안전진단 서비스 제공 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 101399 No.27, Linhe Development Zone, Shunyi District, Beijing Applicant after: CCTEG Beijing Tianma Intelligent Control Technology Co.,Ltd. Applicant after: BEIJING CCRI-TIANMA AUTOMATION TECHNOLOGY Co.,Ltd. Address before: No.131, ground floor, Tiandi building, No.5, qingniangou East Road, Hepingli, Chaoyang District, Beijing 100013 Applicant before: BEIJING TIANDI-MARCO ELECTRO-HYDRAULIC CONTROL SYSTEM Co.,Ltd. Applicant before: BEIJING CCRI-TIANMA AUTOMATION TECHNOLOGY Co.,Ltd. |