CN112153347B - 煤矿井下智能视觉终端感知方法、存储介质及电子设备 - Google Patents
煤矿井下智能视觉终端感知方法、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112153347B CN112153347B CN202011035175.8A CN202011035175A CN112153347B CN 112153347 B CN112153347 B CN 112153347B CN 202011035175 A CN202011035175 A CN 202011035175A CN 112153347 B CN112153347 B CN 112153347B
- Authority
- CN
- China
- Prior art keywords
- model
- network
- perception
- intelligent
- model network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003245 coal Substances 0.000 title claims abstract description 52
- 230000000007 visual effect Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003860 storage Methods 0.000 title claims description 14
- 230000008447 perception Effects 0.000 claims abstract description 40
- 230000016776 visual perception Effects 0.000 claims abstract description 28
- 238000012544 monitoring process Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 24
- 238000010276 construction Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 24
- 238000004364 calculation method Methods 0.000 abstract description 17
- 238000006243 chemical reaction Methods 0.000 abstract description 10
- 238000011176 pooling Methods 0.000 abstract description 6
- 238000013519 translation Methods 0.000 abstract description 5
- 230000006798 recombination Effects 0.000 abstract description 3
- 238000005215 recombination Methods 0.000 abstract description 3
- 238000003062 neural network model Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 238000005065 mining Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008521 reorganization Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010892 electric spark Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种煤矿井下智能视觉感知终端***及感知方法,其***包括摄像头和基于视觉内容智能感知计算处理单元,摄像头将拍摄到的视频图像发送至智能感知计算处理单元进行处理;其中,智能感知计算处理单元包括基于FPGA实现的模型推理加速器,加速器包括卷积运算单元,数据转换单元,池化操作单元,平移操作单元,随机重组操作单元和全连接单元。本发明提供的以上技术方案,基于处理硬件和算法模型协同的思想,设计智能计算处理单元架构,以及构建适合井上、井下不同场景硬件环境的神经网络模型,具有更高的自动化和智能化水平。
Description
技术领域
本发明涉及煤炭的智能化开采技术领域,具体地,涉及一种煤矿井下智能视觉感知终端、感知方法、存储介质及电子设备。
背景技术
为推动人工智能与煤炭产业融合发展,提升煤矿智能化无人开采水平,促进煤炭行业高质量发展,各煤矿企业与煤矿设备供应商都针对煤矿智能化技术投入大量人力与物力进行研究。
目前,有关企业基于矿井智能视频监控的相关技术进行了前期探索研究,形成远程可视化干预型智能采煤控制***,推进煤矿的智能无人化开采进程。在技术实现过程中,通常首先采集海量的煤矿井下视频图像样本数据,整理建立一定规模的机器学***。
但是,随着无人化开采进程的推进,井下智能化技术水平的提高,智能采煤控制***的实时性要求越来越高,目前这种基于地面数据中心的远程可视化智能监控视频***的实时远程管控短板日渐突出,将会严重制约井下智能化无人开采进程。因为受井下本质安全的电气硬性要求,地面数据处理中心架构思想的高功耗硬件设备难以进入井下部署,从而导致需求高功耗计算处理资源的相关智能感知算法模型难以在井下落地实现。同时,受矿井场景条件制约,地面数据处理中心思想架构的必备条件之一可靠快速响应的足够带宽数据通信网络短时间也难以在各大矿井工程化普及实现,因此目前这种基于地面数据中心架构思想的远程可视化智能监控视频***在煤矿生产管理自动化、智能化提升方面的不足之处日渐显现。
发明内容
本发明旨在提供一种煤矿井下智能视觉感知终端、感知方法、存储介质及电子设备,以解决现有技术中远程可视化智能监控视频***自动化、智能化程度低的技术问题。
为此,本发明一部分实施例提供一种煤矿井下智能视觉感知终端,包括摄像头和基于视觉内容智能感知计算处理单元,所述摄像头将拍摄到的监控视频图像发送至智能感知计算处理单元进行处理,其中,智能感知计算处理单元包括基于FPGA实现的模型推理加速器,其中,所述基于FPGA模型推理加速器包括:
卷积运算单元,对所述监控视频图像和模型网格权重核进行矩阵与矩阵的乘法运算,得到高位宽卷积运算特征图;
数据转换单元,转换所述高位宽卷积运算特征图数据,得到低位宽特征图数据;
池化操作单元,接收所述数据转换单元输出的所述低位宽特征图,在池化核范围内按某类型函数求取结果作为池化输出特征图;
平移操作单元,将所述池化输出特征图沿若干方向平移,以将邻域量直接拷贝到中心点位置,得到与移位方向相同数目个通道特征图;
随机重组操作单元,接收所述平移操作单元输出的若干个通道特征图,随机改变其回写内存地址,实现通道特征图的多样化组合,得到随机重组后的通道特征图;
全连接单元,接收所述随机重组操作单元输出的通道特征图,并映射至所述卷积运算单元运算得到所述感知信息对应的特征向量。
可选地,上述的煤矿井下智能视觉感知终端中,所述数据转换单元包括但不限于通过比较器实现。
可选地,上述的煤矿井下智能视觉感知终端中,还包括:
有线传输接口和无线传输接口,用于将所述监控视频图像输入和所述感知结果信息输出;其中,所述有线传输接口包括有线网络接口、HDMI 视频数据输出接口、2个USB接口、Mircro-SD卡插槽和SDRAM内存;所述无线传输接口包括双频无线网络接口和蓝牙接口。
可选地,上述的煤矿井下智能视觉感知终端中,还包括:
本质安全电源管理模块,所述本质安全电源管理模块用于为所述摄像头和所述基于视觉内容智能感知计算处理单元提供电能。
本发明还提供一种煤矿井下智能视觉终端感知方法,包括如下步骤:
构建模型网络结构空间,并利用样本数据对所述模型网络结构空间中的模型进行训练,训练后的模型集合作为待选模型的集合,所述样本数据包括监控视频图像和所述监控视频图像中的标注数据标签;
从所述待选模型的集合中选定与实际视觉感知应用硬件环境相适配的特定模型;
将实际应用监控视频图像输入至所述选定的模型网络中,根据所述选定模型网络的推理结果得到与所述实际应用监控视频图像对应的感知结果。
可选地,上述的煤矿井下智能视觉终端感知方法中,所述模型网络为卷积神经网络,其中:构建模型网络结构空间,并利用样本数据对所述模型网络结构空间中的模型进行训练,训练后的模型集合作为待选模型的集合的步骤包括:
定义模型网络结构样本空间:根据网络模型结构的卷积核大小集合、网络深度集合、通道数量集合以及不同视觉图像的分辨率大小集合定义网络样本空间;
初始训练最大规模的主模型网络:通过训练学习自动构建最大规模的模型网络,其卷积核大小为卷积核大小集合中的最大尺寸,网络深度为深度集合中的最大层数,通道数量为通道数量集合中的最大值,视觉图像的分辨率大小为分辨率集合中的最大数;
子模型网络集合的自适应训练构建:从最大规模的主模型网络结构开始渐进缩减网络结构规模,基于规避各网络模型之间关联性推理原则,应穷举模型网络结构空间,完成各子模型网络的自适应训练学***台感知的模型网络集合,以适配不同的硬件***部署。
可选地,上述的煤矿井下智能视觉终端感知方法中,模型网络集合中各子模型网络的自适应训练构建步骤中,所述主模型网络与所述子模型网络之间的权重共享。
可选地,上述的煤矿井下智能视觉终端感知方法中,还包括:
模型网络终端预部署阶段,通过预先完成训练的预测导向器从模型网络集合中最优化匹配选择所述特定模型,并将所述特定模型导入实际视觉智能感知应用所在的终端平台。
本发明还提供一种存储介质,所述存储介质中存储有程序信息,计算机读取所述程序信息后执行以上任一项所述的煤矿井下智能视觉感知方法。
本发明还提供一种电子设备,包括至少一个处理器和至少一个存储器,至少一个所述存储器中存储有程序信息,至少一个所述处理器读取所述程序信息后执行以上任一项所述的煤矿井下智能视觉感知方法。
与现有技术相比,本发明实施例提供的上述技术方案至少具有以下有益效果:
本发明实施例提供的煤矿井下智能视觉感知终端、感知方法、存储介质及电子设备,基于算法模型和硬件处理架构协同思想,设计构建适合井上、井下不同场景硬件环境的神经网络模型,提出了具有边缘计算、加速推理硬件架构的智能终端。解决了深度学习算法模型在深井无人工作面计算处理资源有限场景下设备终端上的有效部署和推理问题。实现了深井无人工作面环境状态空间位置的实时感知数字化、设备目标状况检测识别相关的就地感知、就地认知问题,为深井无人工作面环境三维空间井下实时构建,关键设备目标对象的井下原地智能监控,井下、井上双向智能决策管理,井下设备自动、自主执行的煤矿无人智能生产控制***构建提供了可靠的解决方案。
附图说明
图1为本发明一个实施例提供的煤矿井下智能视觉感知终端;
图2为本发明另一个实施例提供的煤矿井下智能视觉感知终端;
图3为本发明一个实施例提供的煤矿井下智能视觉感知方法流程图;
图4为本发明一个实施例提供的煤矿井下智能视觉感知算法的部署流程图;
图5为本发明一个实施例提供的执行煤矿井下智能视觉感知方法的电子设备的硬件连接关系示意图。
具体实施方式
下面将结合附图进一步说明本发明实施例。在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明的简化描述,而不是指示或暗示所指的装置或组件必需具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。其中,术语“第一位置”和“第二位置”为两个不同的位置。
在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个组件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。本申请中提供的以下实施例中的各个技术方案,除非彼此之间相互矛盾,否则不同技术方案之间可以相互组合,其中的技术特征可以相互替换。
本发明一部分实施例提供一种煤矿井下智能视觉感知终端,如图1 所示,包括摄像头101和基于视觉内容智能感知计算处理单元100,所述摄像头101将拍摄到的监控视频图像发送至智能感知计算处理单元100 进行处理,其中,智能感知计算处理单元100包括基于FPGA实现的模型推理加速器102,其中,所述基于FPGA模型推理加速器102包括:
卷积运算单元,对所述监控视频图像和模型网格权重核进行矩阵与矩阵的乘法运算,得到高位宽卷积运算特征图。
数据转换单元,转换所述高位宽卷积运算特征图数据,得到低位宽特征图数据。所述数据转换单元通过比较器实现,但是并不限于通过比较器实现,所述比较器对所述卷积运算单元中的每一次卷积运算结果进行字节宽度转换,减小所述卷积运算结果的字节宽度得到转换结果后将所述转换结果映射为二叉树结构,卷积运算特征图数据由高字节宽度转为低字节宽度,能够简化计算过程。
池化操作单元,该处理单元由线性缓存设计实现快速计算,接收所述数据转换单元输出的所述低位宽特征图,在池化核范围内按某类型函数求取结果作为池化输出特征图。
平移操作单元,将所述池化输出特征图沿若干方向平移,以将邻域量直接拷贝到中心点位置,得到与移位方向相同数目个通道特征图。该单元由线性缓存设计实现,将所述合并操作单元输出的视觉特征数据在横向增加一行数值为零的填补项,在纵向增加一列数值为零的填补项,进而得到带有填补项的视觉特征数据,即输入视觉特征数据将在width和height方向分别增加1列的数值为0的填补项,进而得到width+1和 height+1大小的视觉特征,移动方向根据通道索引值确定,不同通道的移动方向不同,移动后每次滑动窗口计算得到一个数值。
随机重组操作单元,接收所述平移操作单元输出的若干个通道特征图,随机改变其回写内存地址,实现通道特征图的多样化组合,得到随机重组后的通道特征图。具体地,将本次接收到的数据与前一次接收到的数据进行串联合并后作为本次串联合并后的视觉特征数据;该处理单元在神经网络计算过程中,需要将上一次计算结果与本次计算结果进行串联合并得到最终的结果,该模块通过控制串联合并过程中2次计算结果的偏移地址实现通道调整、信息交换。为提高效率,本处理单元保证在计算得到本次结果时,CPU能够同时完成上次计算结果的拷贝,再按照偏移地址进行连接存放。
全连接单元,接收所述随机重组操作单元输出的通道特征图,并映射至所述卷积运算单元运算得到所述感知信息对应的特征向量。
其中,所述基于视觉内容智能感知计算处理单元采用四核64位的ARM Cortex-A72架构CPU,主频达1.5GHz。进一步地,如图2所示,上述的煤矿井下智能视觉感知终端中配置有:有线传输接口和无线传输接口,用于将所述监控视频图像输入和所述感知结果信息输出;其中,所述有线传输接口包括有线网络接口、HDMI视频数据输出接口、2个USB 接口、Mircro-SD卡插槽和SDRAM内存;所述无线传输接口包括双频无线网络接口和蓝牙接口。因此,以上方案中的终端完全配备SDRAM内存,具备Mircro-SD卡插槽,用于加载操作***和数据存储,支持千兆以太网,拥有2.4GHz/5GHz双频802.11ac无线网络,支持蓝牙5.0,提供2个USB3.0接口,支持高清HDMI视频数据输出接口。
可选地,上述的煤矿井下智能视觉感知终端中,还包括:本质安全电源管理模块,所述本质安全电源管理模块用于为所述摄像头和所述基于视觉内容智能感知计算处理单元提供电能。本质安全电源管理模块,确保终端***电气特性满足煤矿井下工作的本质安全硬性要求,使得终端的电能及热能均低到不会使***性气体燃烧。其原理是:通过限制电路的各种参数或采取保护措施来限制电路的火花放电能量和热能,使其在正常工作和规定的故障状态下产生的电火花和热效应均不能点燃周围环境的***性混合物,从而实现电气本质安全。
本发明一部分实施例还提供一种煤矿井下智能视觉感知方法,如图3 所示,包括如下步骤:
S101:构建模型网络结构空间,并利用样本数据对所述模型网络结构空间中的模型进行训练,训练后的模型集合作为待选模型的集合,所述样本数据包括监控视频图像和所述监控视频图像中的标注数据标签。
S102:从所述待选模型的集合中选定与实际视觉感知应用硬件环境相适配的特定模型。
S103:将实际应用监控视频图像输入至所述选定的模型网络中,根据所述选定模型网络的推理结果得到与所述实际应用监控视频图像对应的感知结果。
具体地,如图4所示给出了终端感知算法模型构建及部署,如图4 的左半部分所示,其中K代表卷积核大小(Kmax为最大值),D代表网络深度(Dmax为最大值),W代表通道数量(Wmax为可取最大值)。在在终端感知算法模型构建过程中,输入视觉图像满足不同的分辨率大小。具体步骤描述如下:
①定义模型网络样本空间。根据网络模型结构的卷积核大小集合 {K1,K2,...,Kmax},例如{3,5,...,9},即卷积核的大小为 {3×3,5×5,7×7,9×9};网络深度集合{D1,D2,...,Dmax},例如{4,6,8};通道数量集合{W1,W2,…,Wmax},例如{3,4,6};以及不同视觉图像的分辨率大小集合{R1,R2,...,Rmax},例如{256,264,…,Resolution},定义网络样本空间,其中Resolution表示源图像分辨率大小。
②初始训练最大规模的主模型网络。通过训练学习自动构建最大规模的模型网络,其卷积核大小为卷积核集合中的最大尺寸Kmax,网络深度为深度数集合中的最大层数Dmax,通道数量为通道数集合中的最大值 Wmax,视觉图像的分辨率大小为分辨率集合中的最大数Rmax。
③子模型网络集合的自适应训练构建。从最大规模的主模型网络结构开始渐进缩减网络结构规模,基于规避各网络模型之间关联性推理原则,应穷举模型网络结构空间,完成各子模型网络的自适应训练学***台感知的模型网络集合,以适配不同的硬件***部署。其中,所述主模型网络与所述子模型网络之间的权重共享。
④经过上述自适应迭代机器学***台的感知子模型网络集合,可以满足适配不同硬件***的部署。
⑤在模型网络终端预部署阶段,通过预先完成训练的预测导向器从模型网络集合中最优化匹配选择所述特定模型,并将所述特定模型导入实际视觉智能感知应用所在的终端平台。
在完成模型网络集合构建以及模型网络终端预部署准备工作后,实施井下终端***平台上视觉感知算法模型的个性化部署,实现视觉智能就地感知应用。如上图4中所示右侧部分所示,主要步骤如下:
(1)应用程序的初始化,即检查确认当前程序运行所需的环境;
加载解析程序运行所需的配置参数,例如batch_size等推理过程中可选配置参数;
(2)读取加载终端所需的特定模型网络;
(3)根据加载的模型网络,创建推理引擎;
(4)根据推理引擎的要求,在终端***上进行边缘推理;
(5)输出视觉智能感知应用结果。
以上方案,基于现有地面数据中心架构思想的远程可视化智能监控视频***相关技术的客观不足变现,基于硬件结构与软件算法协同的思想,提出一种煤矿井下智能视觉感知终端及***方法。首先基于FPGA设计实现煤矿井下具有边缘计算推理能力的终端,赋予煤矿井下视觉就地智能感知能力,减少数据信息的传输延迟。其次在终端硬件***实现的基础上,通过自适应机器学***台部署及推理应用的需求。
以上提出的终端感知算法模型构建、部署、感知应用方法体系。通过自适应机器学***台部署。在部署推理应用阶段,***根据硬件平台及条件约束匹配选择特定模型网络进行部署推理,以及感知应用。
本发明一些实施例提供一种存储介质,可以为计算机可用存储介质 (包括但不限于磁盘存储器、CD-ROM、光学存储器等),所述存储介质中存储有程序指令,计算机读取所述程序指令后执行以上任一技术方案所述的煤矿井下智能视觉感知方法。
图5是本实施例提供的执行煤矿井下智能视觉感知方法的电子设备的硬件结构示意图,该设备包括:一个或多个处理器201以及存储器202,图5中以一个处理器201为例。执行煤矿井下智能视觉感知方法的设备还可以包括:输入装置203和输出装置204。处理器201、存储器202、输入装置203和输出装置204可以通过总线或者其他方式连接,图5中以通过总线连接为例。存储器202作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器201通过运行存储在存储器202中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例的煤矿井下智能视觉感知方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.一种煤矿井下智能视觉终端感知方法,其特征在于,包括如下步骤:
构建模型网络结构空间,并利用样本数据对所述模型网络结构空间中的模型进行训练,训练后的模型集合作为待选模型的集合,所述样本数据包括监控视频图像和所述监控视频图像中的标注数据标签;
从所述待选模型的集合中选定与实际视觉感知应用硬件环境相适配的特定模型;
将实际应用监控视频图像输入至所述选定的模型网络中,根据所述选定模型网络的推理结果得到与所述实际应用监控视频图像对应的感知结果;
所述模型网络为卷积神经网络,其中:构建模型网络结构空间,并利用样本数据对所述模型网络结构空间中的模型进行训练,训练后的模型集合作为待选模型的集合的步骤包括:
定义模型网络结构样本空间:根据网络模型结构的卷积核大小集合、网络深度集合、通道数量集合以及不同视觉图像的分辨率大小集合定义网络样本空间;
初始训练最大规模的主模型网络:通过训练学习自动构建最大规模的模型网络,其卷积核大小为卷积核大小集合中的最大尺寸,网络深度为深度集合中的最大层数,通道数量为通道数量集合中的最大值,视觉图像的分辨率大小为分辨率集合中的最大数;
子模型网络集合的自适应训练构建:从最大规模的主模型网络结构开始渐进缩减网络结构规模,基于规避各网络模型之间关联性推理原则,应穷举模型网络结构空间,完成各子模型网络的自适应训练学***台感知的模型网络集合,以适配不同的硬件***部署。
2.根据权利要求1所述的煤矿井下智能视觉终端感知方法,其特征在于:
模型网络集合中各子模型网络的自适应训练构建步骤中,所述主模型网络与所述子模型网络之间的权重共享。
3.根据权利要求1或2所述的煤矿井下智能视觉终端感知方法,其特征在于,还包括:
模型网络终端预部署阶段,通过预先完成训练的预测导向器从模型网络集合中最优化匹配选择所述特定模型,并将所述特定模型导入实际视觉智能感知应用所在的终端平台。
4.一种存储介质,其特征在于,所述存储介质中存储有程序信息,计算机读取所述程序信息后执行权利要求1-3任一项所述的煤矿井下智能视觉终端感知方法。
5.一种电子设备,其特征在于,包括至少一个处理器和至少一个存储器,至少一个所述存储器中存储有程序信息,至少一个所述处理器读取所述程序信息后执行权利要求1-3任一项所述的煤矿井下智能视觉终端感知方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211111792.0A CN115550607A (zh) | 2020-09-27 | 2020-09-27 | 基于fpga实现的模型推理加速器及智能视觉感知终端 |
CN202011035175.8A CN112153347B (zh) | 2020-09-27 | 2020-09-27 | 煤矿井下智能视觉终端感知方法、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011035175.8A CN112153347B (zh) | 2020-09-27 | 2020-09-27 | 煤矿井下智能视觉终端感知方法、存储介质及电子设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211111792.0A Division CN115550607A (zh) | 2020-09-27 | 2020-09-27 | 基于fpga实现的模型推理加速器及智能视觉感知终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112153347A CN112153347A (zh) | 2020-12-29 |
CN112153347B true CN112153347B (zh) | 2023-04-07 |
Family
ID=73895398
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211111792.0A Pending CN115550607A (zh) | 2020-09-27 | 2020-09-27 | 基于fpga实现的模型推理加速器及智能视觉感知终端 |
CN202011035175.8A Active CN112153347B (zh) | 2020-09-27 | 2020-09-27 | 煤矿井下智能视觉终端感知方法、存储介质及电子设备 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211111792.0A Pending CN115550607A (zh) | 2020-09-27 | 2020-09-27 | 基于fpga实现的模型推理加速器及智能视觉感知终端 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN115550607A (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113657228A (zh) * | 2021-08-06 | 2021-11-16 | 北京百度网讯科技有限公司 | 数据处理的方法、设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020092810A1 (en) * | 2018-10-31 | 2020-05-07 | Movidius Ltd. | Automated generation of neural networks |
CN111208759A (zh) * | 2019-12-30 | 2020-05-29 | 中国矿业大学(北京) | 矿井无人化综采工作面数字孪生智能监控*** |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203621B (zh) * | 2016-07-11 | 2019-04-30 | 北京深鉴智能科技有限公司 | 用于卷积神经网络计算的处理器 |
US20190279075A1 (en) * | 2018-03-09 | 2019-09-12 | Nvidia Corporation | Multi-modal image translation using neural networks |
CN109034371B (zh) * | 2018-06-27 | 2021-06-25 | 北京文安智能技术股份有限公司 | 一种深度学习模型推理期加速方法、装置及*** |
WO2020041237A1 (en) * | 2018-08-20 | 2020-02-27 | Newton Howard | Brain operating system |
CN110135289A (zh) * | 2019-04-28 | 2019-08-16 | 北京天地玛珂电液控制***有限公司 | 一种基于深度学***台 |
CN110209627A (zh) * | 2019-06-03 | 2019-09-06 | 山东浪潮人工智能研究院有限公司 | 一种面向智能终端的ssd硬件加速方法 |
CN110458279B (zh) * | 2019-07-15 | 2022-05-20 | 武汉魅瞳科技有限公司 | 一种基于fpga的二值神经网络加速方法及*** |
CN110910434B (zh) * | 2019-11-05 | 2023-05-12 | 东南大学 | 基于fpga高能效实现深度学习视差估计算法的方法 |
CN111709522B (zh) * | 2020-05-21 | 2022-08-02 | 哈尔滨工业大学 | 一种基于服务器-嵌入式协同的深度学习目标检测*** |
CN111626414B (zh) * | 2020-07-30 | 2020-10-27 | 电子科技大学 | 一种动态多精度神经网络加速单元 |
-
2020
- 2020-09-27 CN CN202211111792.0A patent/CN115550607A/zh active Pending
- 2020-09-27 CN CN202011035175.8A patent/CN112153347B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020092810A1 (en) * | 2018-10-31 | 2020-05-07 | Movidius Ltd. | Automated generation of neural networks |
CN111208759A (zh) * | 2019-12-30 | 2020-05-29 | 中国矿业大学(北京) | 矿井无人化综采工作面数字孪生智能监控*** |
Also Published As
Publication number | Publication date |
---|---|
CN112153347A (zh) | 2020-12-29 |
CN115550607A (zh) | 2022-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109785289B (zh) | 一种输电线路缺陷检测方法、***及电子设备 | |
CN115146883B (zh) | 一种建筑工程智慧建造的管控方法及*** | |
CN109934222A (zh) | 一种基于迁移学习的绝缘子串自爆识别方法 | |
CN112153347B (zh) | 煤矿井下智能视觉终端感知方法、存储介质及电子设备 | |
CN116825227B (zh) | 一种基于深度生成模型的钙钛矿组分比例分析方法及装置 | |
CN113436184A (zh) | 基于改进孪生网络的电力设备图像缺陷判别方法及*** | |
CN115527036A (zh) | 电网场景点云语义分割方法、装置、计算机设备和介质 | |
CN114491200A (zh) | 基于图神经网络的异源兴趣点匹配方法和装置 | |
CN115546116A (zh) | 全覆盖式岩体不连续面提取与间距计算方法及*** | |
CN116384020A (zh) | 一种融合多维语义信息的数字孪生变电站空间布局方法 | |
CN114339785B (zh) | 一种基于群体智能的原烟养护无线传感器布局优化方法 | |
CN116543191A (zh) | 一种多源遥感数据自适应融合地物分类方法 | |
CN116030365A (zh) | 模型训练方法、装置、计算机设备、存储介质和程序产品 | |
Yao et al. | Research on technology of autonomous inspection system for UAV based on improved YOLOv4 | |
Yang et al. | Real-time 3D Reconstruction of Aerial Transmission Lines | |
CN114626666B (zh) | 一种基于全时空监测的工程现场进度识别*** | |
Li et al. | Visual perception system design for rock breaking robot based on multi-sensor fusion | |
CN118212405B (zh) | 基于LiDAR点云和RGB图像的3D目标检测模型的构建方法及装置 | |
CN117892092B (zh) | 基于大数据实现矿山数据的智能采集方法及*** | |
CN117315617B (zh) | 基于师徒模式的网络优化方法、***、电子设备及介质 | |
Shen et al. | TTower-345: a multi-categories multi-perspectives benchmark for automatic naming of transmission line inspection photos | |
CN113093798B (zh) | 基于电场分布的无人机巡检避险方法、装置及存储介质 | |
CN116228994B (zh) | 三维模型获取方法、装置、设备及存储介质 | |
CN113759974B (zh) | 一种面向输电杆塔精细化巡检的航线生成方法 | |
Lin et al. | Measurement Optimization of Power Tower Based on Tilt Photography and Laser Scanning under Extreme Lighting Conditions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 101399 No.27, Linhe Development Zone, Shunyi District, Beijing Applicant after: CCTEG Beijing Tianma Intelligent Control Technology Co.,Ltd. Applicant after: BEIJING CCRI-TIANMA AUTOMATION TECHNOLOGY Co.,Ltd. Address before: No.131, ground floor, Tiandi building, No.5, qingniangou East Road, Hepingli, Chaoyang District, Beijing 100013 Applicant before: BEIJING TIANDI-MARCO ELECTRO-HYDRAULIC CONTROL SYSTEM Co.,Ltd. Applicant before: BEIJING CCRI-TIANMA AUTOMATION TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |