CN113159038A - 一种基于多模态融合的煤岩分割方法 - Google Patents
一种基于多模态融合的煤岩分割方法 Download PDFInfo
- Publication number
- CN113159038A CN113159038A CN202011609417.XA CN202011609417A CN113159038A CN 113159038 A CN113159038 A CN 113159038A CN 202011609417 A CN202011609417 A CN 202011609417A CN 113159038 A CN113159038 A CN 113159038A
- Authority
- CN
- China
- Prior art keywords
- characteristic diagram
- coal
- output
- response
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003245 coal Substances 0.000 title claims abstract description 103
- 239000011435 rock Substances 0.000 title claims abstract description 71
- 230000011218 segmentation Effects 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000004927 fusion Effects 0.000 title claims abstract description 30
- 230000004044 response Effects 0.000 claims abstract description 73
- 238000012952 Resampling Methods 0.000 claims abstract description 15
- 238000009826 distribution Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims description 139
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 27
- PNEYBMLMFCGWSK-UHFFFAOYSA-N aluminium oxide Inorganic materials [O-2].[O-2].[O-2].[Al+3].[Al+3] PNEYBMLMFCGWSK-UHFFFAOYSA-N 0.000 claims description 25
- 229910052681 coesite Inorganic materials 0.000 claims description 25
- 229910052593 corundum Inorganic materials 0.000 claims description 25
- 229910052906 cristobalite Inorganic materials 0.000 claims description 25
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 claims description 25
- 239000000377 silicon dioxide Substances 0.000 claims description 25
- 229910052682 stishovite Inorganic materials 0.000 claims description 25
- 229910052905 tridymite Inorganic materials 0.000 claims description 25
- 229910001845 yogo sapphire Inorganic materials 0.000 claims description 25
- 238000001228 spectrum Methods 0.000 claims description 19
- 238000005520 cutting process Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 13
- 238000002329 infrared spectrum Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 238000003709 image segmentation Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000004476 mid-IR spectroscopy Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000005065 mining Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 20
- 238000002834 transmittance Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 239000000126 substance Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000007635 classification algorithm Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004971 IR microspectroscopy Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Animal Husbandry (AREA)
- Probability & Statistics with Applications (AREA)
- Agronomy & Crop Science (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明涉及一种基于多模态融合的煤岩分割方法,本发明以煤岩图像分割为主干进行多传感器模式融合,符合采煤机滚筒高度调节的实际需求,明确煤岩边界,有效避免切割岩层;高级语义信息与低级特征提取是煤岩分割的核心,提出图像传感器与中红外光谱仪的多模态逐像素融合。图像传感器采集可见光图像,中红外光谱仪获取对应图像的响应图谱,以二维高斯分布进行重采样,再通过双线性插值改变尺寸与要融合的特征图一致。煤岩分割网络的特征金字塔结构融合可见光图像的多尺度特征,通过中红外响应图谱补偿实现多模态融合;含有边界权值的损失函数,进一步提升分割算法对煤和其他目标边界的刻画能力。
Description
技术领域
本发明涉及一种基于多模态融合的煤岩分割方法,属于图像分割 技术和传感器模式融合技术领域。
背景技术
煤炭实际生产过程中,煤炭与岩石识别技术主要运用在开采和选 煤阶段中,识别技术一方面包括射线、雷达、激光雷达和太赫兹等主 动探测手段,另一方面包括设备的功率检测、振动检测和声音检测等 被动检测方法。然而,由于传感器部署问题、结构复杂性问题、普适 性问题以及成本问题,机器视觉技术逐渐取代上述方法。
机器视觉技术主要包括特征提取,特征向量表征和分类。现有技术中, 主要包括如下的技术进行煤岩识别:
1、煤岩特征提取阶段包括基于小波变换识别方法提取煤岩图像 特征,(CN104732239A、CN102930253A);利用字典学习提取煤岩 图像特征,(CN106845560B);基于扩展局部二值模式和回归分析提 取特征,(CN107239783B);利用本质相似性提取煤岩特征, (CN104778461A)。
2、煤岩表征阶段煤岩的特征向量通过稀疏矩阵构建, (CN105320964B)。
3、煤岩识别算法包括机器学习的支持向量机,(CN108197630A)、 随机森林和卷积神经网络分类算法,(CN108596163A)。
在煤岩图像识别技术基础上,提出了图像与多传感器数据融合方 法,检测信息丰富,抗干扰能力提升和边界细节增强,具体包括一种 基于雷达波-图像复合式煤岩识别的采煤方法,(CN110685687A);一 种基于可见光和红外图像融合的煤岩识别装置及方法,(CN108711146A)。
以上技术在煤岩识别方向取得了突破,但是仍有可以优化的空间。 现有图像处理技术的相关专利的技术路线主要是通过提升煤样鲁棒 性表示和岩石鲁棒性表示,改进分类算法实现对未知标签的样品分类, 将煤岩识别转化成一个二分类问题(CN106845560B,CN107239783B)。 训练集中一幅图像的标签仅有0(岩石)或1(煤),最终输出结果也 只能为煤或岩石其中的一种情况。在实际生产中,煤岩共存是常态, 这与上述煤岩分割方法的训练集数据不是同分布,所以识别准确率和 识别结果置信度有提升空间。煤与岩检测应该是实例分割问题,即实 现视场中多个煤层(或煤块)、岩石层(或岩块)的识别,并且完成 煤岩边界绘制。
其次,现有融合识别技术通过特征分析提取边界特征点,利用曲 线拟合算法构建边界曲线模型,特征点选取缺少交叉验证存在随机误 差,因此图像融合技术仍有提升空间。
发明内容
为解决上述技术问题,本发明提供了一种基于多模态融合的煤岩 分割方法。
本发明提供了一种基于多模态融合的煤岩分割方法,包括:
采集多幅煤岩样本图像,图像尺寸设置为m×m×1,对应5类标签: 煤、Fe2O3、Al2O3、SiO2和未知类;通过中红外光谱仪采集多幅煤岩 样本图像对应的时域响应图谱,选取符合条件的响应点,利用二维高 斯分布三次重采样,再配合双线性插值尺寸分别为 (m-180)×(m-180)×1的响应图,保证融合时与相应 特征图像的尺寸一致;
对任意一幅煤岩样本图像进行有效卷积,卷积核3×3×64,步长 为1,输出特征图为(m-2)×(m-2)×64;再进行一次有效卷积,卷积核 3×3×64,步长为1,输出特征图为(m-4)×(m-4)×64;然后进行核为2×2 最大池化下采样,输出特征图为
对特征图(m-4)×(m-4)×64进行裁剪,使其与特征图 (m-180)×(m-180)×64有相同尺寸,再进行通道数堆叠,输出特征图为 (m-180)×(m-180)×128;
将输出的(m-180)×(m-180)×129特征图,进行两次卷积核为3×3×64、 步长为1的有效卷积,输出特征图分别为(m-182)×(m-182)×64和 (m-184)×(m-184)×64;对特征图(m-184)×(m-184)×64进行卷积核为 1×1×5、步长为1的同维卷积,输出特征图为(m-184)×(m-184)×5;
特征图(m-184)×(m-184)×5,对任意像素k进行softmax操作, 表示softmax后的概率值,c表示某一类别,像素k的分 割类别 取该像素在煤,Fe2O3,Al2O3,SiO2和未知类 5个类别的最大值,预测输出(m-184)×(m-184)×1;像素k的可见光图 像真值、中红外响应最高值均用Tk *表示,损失函数:
其中,对构建的神经网络模型进行优化的步骤包括:
将衡量图像分割效果的评价指标IOU直接作为优化目标,使用含 边界权值的Lovasz-Softmax损失函数;令煤的标签用C表示,Lc为 煤的分割结果与可见光标签或中红外响应不匹配的部分,其中表示 分割结果,真值均用T*表示,Lc错误分割集表示为
煤的Jaccard相似系数表示ΔJc作为优化 目标函数,ΔJc是Δ:{0,1}p→R的子模函数, 即当A,B∈{0,1}p时,ΔA+ΔB≥Δ(AUB)+Δ(A∩B);为求解损失函数ΔJc最小值, 使用Lovasz扩展对ΔJc子模函数进行光滑延拓,形成一个分段线性凸 函数gk(l)为的梯度;
通过损失函数保证煤岩分割准确率提升。
其中,在通过中红外光谱仪采集多幅煤岩样本图像对应的时域响 应图谱,选取符合条件的响应点,利用二维高斯分布三次重采样的步 骤中,包括步骤:
分别对Fe2O3、Al2O3和SiO2的响应值进行排序,按大小顺序选取 三种响应的前N个值及其可见光图像映射位置,如若不足N个按顺 序补齐;
对已选取的高响应点在规定偏移距离H范围内进行偏移,构建 高响应点(i,j)关于Fe2O3,Al2O3,和SiO2的参数为μ1,μ2,ρ,σ1,σ2二维 高斯分布G(x,y);
像素(i,j)的中红外响应输出数值为 且时,像素(i,j)不属于Fe2O3,Al2O3,SiO2,也不表示煤,属于未知类型; 其中,像素(i,j)的类别通过图像分割技术获得;高斯重采样后的中 红外响应光谱大小m×m,矩阵各个元素转化行 向量形式G={g11,g12,…g1m,g21,…gmm},重新采样的中红外响应图谱尺
其中,在Lovasz-Softmax损失函数基础上增加边界权值的步骤 中,包括步骤:
通过中红外光谱信息分析,gij<0.13时中红外光谱对应位置加大 权重,侧重改变煤层区域整体权值。
其中,在将图像尺寸设置为m×m×1的步骤中,包括:
对不同尺寸煤岩样本图像边缘进行镜像填充的步骤,保证输入尺 寸的一致性。
区别于现有技术,本发明的基于多模态融合的煤岩分割方法,以 煤岩图像识别为主干进行多传感器模式融合,符合采煤机滚筒高度调 节的实际需求,明确煤岩边界,有效避免切割岩层;使用中红外光谱 仪与图像传感器进行模式融合,通过成像仪捕捉物体反射的光子能量, 不同的光强形成中红外光谱,不同物体的光谱数据在不同波数范围的 透过率响应不同,通过中红外光谱的透过率分析实现不同物质检测。 如若煤岩视觉特征近似时,经过特征金字塔的多尺度特征融合,再结 合中红外光谱响应图谱进行补偿,提升分割算法对煤和其他目标边界 的刻画能力。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明提供的一种基于多模态融合的煤岩分割方法的流 程示意图。
图2是本发明提供的一种基于多模态融合的煤岩分割方法的多 模态融合的煤岩分割网络结构示意图。
图3是本发明提供的一种基于多模态融合的煤岩分割方法中红 外光谱透过率曲线图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现 对照附图详细说明本发明的具体实施方式。
参阅图1和图2,本发明提供了一种基于多模态融合的煤岩分割 方法,包括:
采集多幅煤岩样本图像,图像尺寸设置为m×m×1,对应5类标签: 煤、Fe2O3、Al2O3、SiO2和未知类;通过中红外光谱仪采集多幅煤岩 样本图像对应的时域响应图谱,选取符合条件的响应点,利用二维高 斯分布三次重采样,再配合双线性插值尺寸分别为 (m-180)×(m-180)×1的响应图,保证融合时与相应 特征图像的尺寸一致;
在将图像尺寸设置为m×m×1时,对煤岩样本图像边缘和对应的煤 岩中红外时域光谱进行镜像填充。
当可见光图像填充后,煤岩中红外时域光谱也进行对应的镜像填 充,同时配合双线性差值,保证融合尺寸匹配。中红外响应图谱有利 于煤碳位置的更精准定位。Fe2O3,Al2O3和SiO2的中红外图谱信息能丰 富图像分割技术的上下文信息,为分割提供先验信息。例如Fe2O3, Al2O3和SiO2中的某一物质在中红外图谱某处的响应为1或者局部区 域的响应最高值,映射到可见光图像对应位置像素,该像素的8邻域 位置出现煤炭的概率为0。
中红外光谱仪采集的响应图谱较为稀疏且数据样本相对较少,在 后续特征提取和训练时效果不佳。确定中红外光谱的局部最高响应点 位置并映射到可见光图像,基于可见光图像煤的真实框标签和像素的 点级标签,保证红外光谱的局部最高响应值不变在目标框内以高斯分 布重采样,使响应光谱具有平移不变性。具体操作:1、分别对Fe2O3, Al2O3和SiO2的响应值进行排序,按大小顺序选取三种响应的前N个 值及其可见光图像映射位置,如若不足N个按顺序补齐;2、对已选 取的高响应点在规定偏移距离H范围内进行偏移,构建高响应点(i,j) 关于Fe2O3,Al2O3,和SiO2的参数为μ1,μ2,ρ,σ1,σ2二维高斯分布 G(x,y)。
像素(i,j)的中红外响应输出数值为 且时,像素(i,j)不属于Fe2O3,Al2O3,SiO2,也不表示煤,属于未知类 型避免训练过拟合,像素(i,j)的类别通过图像分割技术获得。高 斯重采样后的中红外响应光谱大小m×m,矩阵各 个元素转化行向量形式G={g11,g12,…g1m,g21,…gmm},重新采样的中红 外响应图谱尺寸可以通过双线性插值进行调整,以满足匹配尺寸。
对任意一幅煤岩样本图像进行有效卷积,卷积核3×3×64,步长 为1,输出特征图为(m-2)×(m-2)×64;再进行一次有效卷积,卷积核 3×3×64,步长为1,输出特征图为(m-4)×(m-4)×64;然后进行核为2×2 最大池化下采样,输出特征图为
对特征图(m-4)×(m-4)×64进行裁剪,使其与特征图 (m-180)×(m-180)×64有相同尺寸,再进行通道数堆叠,输出特征图为 (m-180)×(m-180)×128;
将输出的(m-180)×(m-180)×129特征图,进行两次卷积核为3×3×64、 步长为1的有效卷积,输出特征图分别为(m-182)×(m-182)×64和 (m-184)×(m-184)×64;对特征图(m-184)×(m-184)×64进行卷积核为 1×1×5、步长为1的同维卷积,输出特征图为(m-184)×(m-184)×5;
特征图(m-184)×(m-184)×5,对任意像素k进行softmax操作, 表示softmax后的概率值,c表示某一类别,像素k的分 割类别 取该像素在煤,Fe2O3,Al2O3,SiO2和未知类 5个类别的最大值,预测输出(m-184)×(m-184)×1;像素k的可见光图 像真值、中红外响应最高值均用Tk *表示,损失函数:
其中,对构建的神经网络模型进行优化的步骤包括:
将衡量图像分割效果的评价指标IOU直接作为优化目标,使用含 边界权值的Lovasz-Softmax损失函数;令煤的标签用C表示,Lc为 煤的分割结果与可见光标签或中红外响应不匹配的部分,其中表示 分割结果,真值均用T*表示,Lc错误分割集表示为
煤的Jaccard相似系数表示ΔJc作为优化 目标函数,ΔJc是Δ:{0,1}p→R的子模函数, 即当A,B∈{0,1}p时,ΔA+ΔB≥Δ(AUB)+Δ(A∩B);为求解损失函数ΔJc最小值, 使用Lovasz扩展对ΔJc子模函数进行光滑延拓,形成一个分段线性凸 函数gk(l)为的梯度;
通过损失函数保证煤岩分割准确率提升。
其中,在Lovasz-Softmax损失函数基础上增加边界权值的步骤 中,包括步骤:
通过中红外光谱信息分析,gij<0.13时中红外光谱对应位置加大 权重,侧重改变煤层区域整体权值。
其中,在采集多幅煤岩样本图像,图像尺寸设置为m×m×1,对应 5类标签的步骤之后,还包括数据增强的步骤,通过对煤岩样本图像 和和中红外光谱仪采集的对应时域响应图谱进行几何变换、平移和旋 转操作,实现数据增强。
岩石成分包括Fe2O3,Al2O3和SiO2等化合物,三种化合物的红外光 谱透过率曲线如图3所示。其中SiO2的含量较大,以它响应范围调节 中红外成像仪的参数。透过率越低红外光谱响应程度越大相应物质容 易被捕捉,中红外波数为447±3cm-1时,三种物质透过率总和最小且 具有区分度,SiO2透过率约为23.6%,Fe2O3透过率约34%,Al2O3透 过率约57.7%。根据透过率不同形成的响应差异作为图像的灰度差异, 进而转换成伪彩色图像,通过颜色差异可视化不同物质。同时,使用 透过率作为数据集的像素标签,标记方式不是0,1构成的行向量,通 过矩阵标记对应区域的中红外光谱响应程度。最终输出结果包括识别 与分割,识别结果不是煤或岩石的单目标情况,而是煤和岩多个实例 的识别置信度;分割不再通过关键特征点拟合边界曲线,而是以像素 为单位的精确边界分割。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局 限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而 不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离 本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这 些均属于本发明的保护之内。
Claims (5)
1.一种基于多模态融合的煤岩分割方法,其特征在于,包括:
采集多幅煤岩样本图像,图像尺寸设置为m×m×1,对应5类标签:煤、Fe2O3、Al2O3、SiO2和未知类;通过中红外光谱仪采集多幅煤岩样本图像对应的时域响应图谱,选取符合条件的响应点,利用二维高斯分布三次重采样,再配合双线性插值尺寸分别为 (m-180)×(m-180)×1的响应图,保证融合时与相应特征图像的尺寸一致;
对任意一幅煤岩样本图像进行有效卷积,卷积核3×3×64,步长为1,输出特征图为(m-2)×(m-2)×64;再进行一次有效卷积,卷积核3×3×64,步长为1,输出特征图为(m-4)×(m-4)×64;然后进行核为2×2最大池化下采样,输出特征图为
对特征图(m-4)×(m-4)×64进行裁剪,使其与特征图(m-180)×(m-180)×64有相同尺寸,再进行通道数堆叠,输出特征图为(m-180)×(m-180)×128;
将输出的(m-180)×(m-180)×129特征图,进行两次卷积核为3×3×64、步长为1的有效卷积,输出特征图分别为(m-182)×(m-182)×64和(m-184)×(m-184)×64;对特征图(m-184)×(m-184)×64进行卷积核为1×1×5、步长为1的同维卷积,输出特征图为(m-184)×(m-184)×5;
2.根据权利要求1所述的基于多模态融合的煤岩分割方法,其特征在于,对构建的神经网络模型进行优化的步骤包括:
将衡量图像分割效果的评价指标IOU直接作为优化目标,使用含边界权值的Lovasz-Softmax损失函数;令煤的标签用C表示,Lc为煤的分割结果与可见光标签或中红外响应不匹配的部分,其中表示分割结果,真值均用T*表示,Lc错误分割集表示为
煤的Jaccard相似系数表示ΔJc作为优化目标函数,ΔJc是Δ:{0,1}p→R的子模函数,对于子模函数而言当A,B∈{0,1}p时,ΔA+ΔB≥Δ(A∪B)+Δ(A∩B);为求解损失函数ΔJc最小值,使用Lovasz扩展对ΔJc子模函数进行光滑延拓,形成一个分段线性凸函数gk(l)为的梯度;
通过损失函数保证煤岩分割准确率提升。
3.根据权利要求1所述的基于多模态融合的煤岩分割方法,其特征在于,在通过中红外光谱仪采集多幅煤岩样本图像对应的时域响应图谱,选取符合条件的响应点,利用二维高斯分布三次重采样的步骤中,包括步骤:
分别对Fe2O3、Al2O3和SiO2的响应值进行排序,按大小顺序选取三种响应的前N个值及其可见光图像映射位置,如若不足N个按顺序补齐;
对已选取的高响应点在规定偏移距离H范围内进行偏移,构建高响应点(i,j)关于Fe2O3,Al2O3,和SiO2的参数为μ1,μ2,ρ,σ1,σ2二维高斯分布G(x,y);
5.根据权利要求1所述的基于多模态融合的煤岩分割方法,其特征在于,在将图像尺寸设置为m×m×1的步骤中,包括:
对不同尺寸煤岩样本图像边缘进行镜像填充的步骤,保证输入尺寸的一致性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011609417.XA CN113159038B (zh) | 2020-12-30 | 2020-12-30 | 一种基于多模态融合的煤岩分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011609417.XA CN113159038B (zh) | 2020-12-30 | 2020-12-30 | 一种基于多模态融合的煤岩分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113159038A true CN113159038A (zh) | 2021-07-23 |
CN113159038B CN113159038B (zh) | 2022-05-27 |
Family
ID=76878098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011609417.XA Active CN113159038B (zh) | 2020-12-30 | 2020-12-30 | 一种基于多模态融合的煤岩分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113159038B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108062756A (zh) * | 2018-01-29 | 2018-05-22 | 重庆理工大学 | 基于深度全卷积网络和条件随机场的图像语义分割方法 |
CN108805874A (zh) * | 2018-06-11 | 2018-11-13 | 中国电子科技集团公司第三研究所 | 一种基于卷积神经网络的多光谱图像语义切割方法 |
CN109461157A (zh) * | 2018-10-19 | 2019-03-12 | 苏州大学 | 基于多级特征融合及高斯条件随机场的图像语义分割方法 |
CN109712150A (zh) * | 2018-12-26 | 2019-05-03 | 航天恒星科技有限公司 | 基于稀疏表示的光学微波图像融合重建方法和装置 |
CN110245635A (zh) * | 2019-06-20 | 2019-09-17 | 安徽理工大学 | 一种煤和矸石的红外图像识别方法 |
CN110264484A (zh) * | 2019-06-27 | 2019-09-20 | 上海海洋大学 | 一种面向遥感数据的改进海岛岸线分割***及分割方法 |
US20200134833A1 (en) * | 2018-10-26 | 2020-04-30 | Here Global B.V. | Deep neural network architecture for image segmentation |
CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
WO2020125806A1 (en) * | 2018-12-17 | 2020-06-25 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image segmentation |
CN111389763A (zh) * | 2020-04-26 | 2020-07-10 | 山西科泰自动化科技有限公司 | 一种基于图像数据处理的煤矸石分选***和方法 |
WO2020167314A1 (en) * | 2019-02-15 | 2020-08-20 | Google Llc | Detection of projected infrared patterns using difference of gaussian and blob identification |
CN111582280A (zh) * | 2020-05-11 | 2020-08-25 | 吉林省森祥科技有限公司 | 一种面向多光谱救援机器人的数据深层融合图像分割方法 |
-
2020
- 2020-12-30 CN CN202011609417.XA patent/CN113159038B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108062756A (zh) * | 2018-01-29 | 2018-05-22 | 重庆理工大学 | 基于深度全卷积网络和条件随机场的图像语义分割方法 |
CN108805874A (zh) * | 2018-06-11 | 2018-11-13 | 中国电子科技集团公司第三研究所 | 一种基于卷积神经网络的多光谱图像语义切割方法 |
CN109461157A (zh) * | 2018-10-19 | 2019-03-12 | 苏州大学 | 基于多级特征融合及高斯条件随机场的图像语义分割方法 |
US20200134833A1 (en) * | 2018-10-26 | 2020-04-30 | Here Global B.V. | Deep neural network architecture for image segmentation |
WO2020125806A1 (en) * | 2018-12-17 | 2020-06-25 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image segmentation |
CN109712150A (zh) * | 2018-12-26 | 2019-05-03 | 航天恒星科技有限公司 | 基于稀疏表示的光学微波图像融合重建方法和装置 |
WO2020167314A1 (en) * | 2019-02-15 | 2020-08-20 | Google Llc | Detection of projected infrared patterns using difference of gaussian and blob identification |
CN110245635A (zh) * | 2019-06-20 | 2019-09-17 | 安徽理工大学 | 一种煤和矸石的红外图像识别方法 |
CN110264484A (zh) * | 2019-06-27 | 2019-09-20 | 上海海洋大学 | 一种面向遥感数据的改进海岛岸线分割***及分割方法 |
CN111127493A (zh) * | 2019-11-12 | 2020-05-08 | 中国矿业大学 | 基于注意力多尺度特征融合的遥感图像语义分割方法 |
CN111389763A (zh) * | 2020-04-26 | 2020-07-10 | 山西科泰自动化科技有限公司 | 一种基于图像数据处理的煤矸石分选***和方法 |
CN111582280A (zh) * | 2020-05-11 | 2020-08-25 | 吉林省森祥科技有限公司 | 一种面向多光谱救援机器人的数据深层融合图像分割方法 |
Non-Patent Citations (4)
Title |
---|
ARTUR GRUDZIEN等: "Face re-identification in thermal infrared spectrum based on ThermalFaceNet neural network", 《2018 22ND INTERNATIONAL MICROWAVE AND RADAR CONFERENCE (MIKON)》 * |
ELIZABETH HOFER等: "Training a Neural Network for Lane Demarcation Detection in the Infrared Spectrum", 《2020 IEEE CANADIAN CONFERENCE ON ELECTRICAL AND COMPUTER ENGINEERING (CCECE)》 * |
宋德娟: "基于卷积神经网络提取冬小麦空间分布信息的方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
陈浜: "基于视觉计算的煤岩识别方法研究", 《中国博士学位论文全文数据库 工程科技Ⅰ辑》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113159038B (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107392925B (zh) | 基于超像素编码和卷积神经网络的遥感影像地物分类方法 | |
CN108154192B (zh) | 基于多尺度卷积与特征融合的高分辨sar地物分类方法 | |
CN111259828B (zh) | 基于高分辨率遥感图像多特征的识别方法 | |
CN107358260B (zh) | 一种基于表面波cnn的多光谱图像分类方法 | |
CN111753828B (zh) | 一种基于深度卷积神经网络的自然场景水平文字检测方法 | |
CN109472199B (zh) | 一种图像融合分类的方法及装置 | |
CN110728197B (zh) | 基于深度学习的单木级树种识别方法 | |
CN111274968B (zh) | 面向对象的道路信息提取方法、装置及电子设备 | |
Wang et al. | Multifocus image fusion using convolutional neural networks in the discrete wavelet transform domain | |
CN111126127B (zh) | 一种多级空间上下文特征指导的高分辨率遥感影像分类方法 | |
CN114581773A (zh) | 基于图卷积网络的多模态遥感数据分类方法 | |
CN113673556B (zh) | 一种基于多尺度密集卷积网络的高光谱图像分类方法 | |
Pan et al. | Simplified object-based deep neural network for very high resolution remote sensing image classification | |
CN109829507B (zh) | 航拍高压输电线路环境检测方法 | |
Kumar et al. | Road network extraction from high resolution multispectral satellite imagery based on object oriented techniques | |
CN111401380A (zh) | 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法 | |
CN116310459B (zh) | 基于多视图空谱联合的高光谱图像子空间聚类方法 | |
Cao et al. | Urban land use/land cover classification based on feature fusion fusing hyperspectral image and LiDAR data | |
Lone et al. | Object detection in hyperspectral images | |
CN114022786A (zh) | 基于图中图卷积网络的高光谱图像分类方法 | |
CN116664954A (zh) | 基于图卷积与卷积融合的高光谱地物分类方法 | |
CN111222576B (zh) | 一种高分辨率遥感图像分类方法 | |
CN113159038B (zh) | 一种基于多模态融合的煤岩分割方法 | |
CN110348311B (zh) | 一种基于深度学习的道路交叉口识别***及方法 | |
CN111798530A (zh) | 一种遥感图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |