CN117197148B - 一种基于热成像的木材钻蛀类害虫检测方法、***和介质 - Google Patents
一种基于热成像的木材钻蛀类害虫检测方法、***和介质 Download PDFInfo
- Publication number
- CN117197148B CN117197148B CN202311477169.1A CN202311477169A CN117197148B CN 117197148 B CN117197148 B CN 117197148B CN 202311477169 A CN202311477169 A CN 202311477169A CN 117197148 B CN117197148 B CN 117197148B
- Authority
- CN
- China
- Prior art keywords
- image data
- wood
- boring
- probability value
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002023 wood Substances 0.000 title claims abstract description 252
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 172
- 238000001931 thermography Methods 0.000 title claims abstract description 89
- 238000001514 detection method Methods 0.000 title claims description 244
- 241000238631 Hexapoda Species 0.000 claims abstract description 170
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000002159 abnormal effect Effects 0.000 claims description 107
- 230000000694 effects Effects 0.000 claims description 42
- 238000011156 evaluation Methods 0.000 claims description 23
- 238000012544 monitoring process Methods 0.000 claims description 16
- 238000004458 analytical method Methods 0.000 claims description 14
- 230000007547 defect Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 12
- 239000003550 marker Substances 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000003958 fumigation Methods 0.000 description 14
- 238000005553 drilling Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 210000001124 body fluid Anatomy 0.000 description 10
- 239000010839 body fluid Substances 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000002372 labelling Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000003631 expected effect Effects 0.000 description 5
- 238000010438 heat treatment Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000005520 cutting process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000001704 evaporation Methods 0.000 description 4
- 230000008020 evaporation Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000009193 crawling Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000002316 fumigant Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004060 metabolic process Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000002994 raw material Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000010875 treated wood Substances 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Catching Or Destruction (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于热成像的木材钻蛀类害虫检测方法、***和介质，本发明通过红外热成像原理对木材进行检测，通过预设钻蛀类害虫检测模型提取检测图像数据中的钻蛀类害虫热成像图像的图像特征，结合图像特征所在位置与蛀孔区域之间的相对距离等参数判断木材中是否存在钻蛀类害虫。在木材中存在害虫的情况下，对木材进行检疫处理，通过对比检疫处理前后的检测图像数据，判断标记为钻蛀类害虫的热成像图像是否发生变化，从而判断木材检疫处理的有效性，有效提高对木材中钻蛀类害虫的检疫效率。
Description
技术领域
本申请涉及数据处理和数据传输领域，更具体的，涉及一种基于热成像的木材钻蛀类害虫检测方法、***和介质。
背景技术
随着全球经济一体化的不断发展，世界贸易流动加速，加之人民对消费需求的增加和消费渠道的多样化（如国外代购、寄递）等影响，大量的货物产品进入我国速度加快，与此同时带来有害生物随进境货物进入国内的风险加大，这些有害生物一旦随货物入境，会很快在国内定植或者繁衍，对国内区域性生态环影响巨大，经济上会遭受重大损失。
近年来为了保护国内森林资源，维持生态平衡发展，我国许多林区逐渐被禁止商业性砍伐，导致我国木材产量连年大幅度下降。我国我国不仅国内对木制品的消费需求量大，并且还是木制品的出口大国，进一步拉大了木材原料的供需缺口。大量的木材进口不仅填补了产业原材料缺口，在推动我国经济建设、减少本地资源需求、间接保护生态环境上也发挥了巨大作用，但是随木材进境的有害生物种类众多，外来生物入侵的风险压力上行。
目前，口岸进境木材、木质包装及木产品现场检疫多以人工辅助切割取样检测为基础，从开箱验货到取样送检时间较长，效率较低。截至目前还没有一种技术，能够对其进行现场无损伤探测初筛，从而快速有效的实施现场检疫。
因此现有技术存在缺陷，急需改进。
发明内容
鉴于上述问题，本发明的目的是提供一种基于热成像的木材钻蛀类害虫检测方法、***和介质，本发明能够克服口岸人工取样破损切割费时费力的问题，不仅能够满足在口岸现场检疫无损检测的需求，且能够省时省力，提高检验检疫效率。对于防止有害生物随木材及其制品传入国境，保护我国农林业生产安全，保障国门生物安全，具有重大经济效益和社会效益，该发明一定的推广价值。
本发明第一方面提供了一种基于热成像的木材钻蛀类害虫检测方法，包括：
对待检测木材进行检测，得到第一检测图像数据；
将所述第一检测图像数据输入至预设钻蛀类害虫检测模型进行分析，对异常区域进行标记，得到标记图像数据，并根据所述标记图像数据的图像特征计算得到第一概率值；
根据蛀孔区域和所述标记图像数据的之间的位置关系进行分析，得到第二概率值；
根据所述第一概率值和第二概率值进行计算，得到第三概率值，并将所述第三概率值与第一预设阈值区间进行对比，得到标记图像数据内的钻蛀类害虫检测数据；
将所有标记图像数据内的钻蛀类害虫检测数据进行整合，得到木材钻蛀类害虫检测数据；
根据所述木材钻蛀类害虫检测数据对存在钻蛀类害虫的木材进行检疫处理，并对检疫处理后的木材进行检测，得到第三检测图像数据，并将所述第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据。
本方案中，还包括：
对所述第一检测图像数据进行图像预处理；
所述图像预处理包括非均匀校正、盲元补偿和图像增强。
本方案中，所述将所述第一检测图像数据输入至预设钻蛀类害虫检测模型进行分析，对异常区域进行标记，得到标记图像数据，并根据所述标记图像数据的图像特征计算得到第一概率值，包括：
通过注意力机制模块对所述第一检测图像数据进行分析，得到第一异常区域，对所述第一异常区域进行标记框选，得到标记图像数据；
根据所述标记图像数据进行分析，确定第一异常区域的中心坐标；
通过深度残差学习网络模块对所述标记图像数据进行特征提取，得到所述标记图像数据的图像特征；
将所述标记图像数据的图像特征与预设模型数据库内样本图像数据的图像特征进行对比计算，得到第一概率值。
本方案中，所述根据蛀孔区域和所述标记图像数据的之间的位置关系进行分析，得到第二概率值包括：
根据所述第一检测图像数据进行分析，对木材中的蛀孔区域进行标注，得到蛀孔区域坐标数据；
计算所述标记图像数据中第一异常区域的中心坐标和所述蛀孔区域坐标数据之间的最小距离；
将所述最小距离与第二预设阈值进行对比，若所述最小距离大于第二预设阈值，则表示所述标记物体为木材缺陷，所述第二概率值为0%；
反之，通过预设方法对所述最小距离进行计算，得到第二概率值；
若最小距离为0，则表示所述异常区域的中心坐标处于蛀孔区域中，所述第二概率值为100%。
本方案中，所述根据所述第一概率值和第二概率值进行计算，得到第三概率值，并将所述第三概率值与第一预设阈值区间进行对比，得到标记图像数据内的钻蛀类害虫检测数据，包括：
将所述第一概率值和第二概率值分别乘以相对应的影响权重，得到第一权重得分和第二权重得分；
对所述第一权重得分和第二权重得分进行相加，得到第三概率值；
判断所述第三概率值是否处于第一预设阈值区间；
若所述第三概率值小于第一预设阈值区间最小值，则表示所述标记图像数据内不存在钻蛀类害虫；
若所述第三概率值大于第一预设阈值区间最大值，则表示所述标记图像数据内存在钻蛀类害虫；
若所述第三概率值处于第一预设阈值区间，则在预设时间间隔后再次对所述待检测木材进行检测，得到第二检测图像数据；
将所述第二检测图像数据和第一检测图像数据进行对比，判断所述标记图像数据内是否存在钻蛀类害虫；
将所有标记图像数据的对比结果进行整合，得到木材钻蛀类害虫检测数据。
本方案中，所述将所述第二检测图像数据和第一检测图像数据进行对比，判断所述标记图像数据内是否存在钻蛀类害虫，包括：
根据所述第二检测图像数据进行分析，得到第二异常区域的中心坐标；
将所述第二异常区域的中心坐标与第一异常区域的中心坐标进行对比，判断二者是否一致；
若否，则判定所述标记图像数据内异常区域为钻蛀类害虫；
若是，则判定所述标记图像数据内异常区域为木材缺陷。
本方案中，所述根据所述木材钻蛀类害虫检测数据对存在钻蛀类害虫的木材进行检疫处理，并对检疫处理后的木材进行检测，得到第三检测图像数据，并将所述第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据，包括：
根据木材钻蛀类害虫检测数据进行分析，以钻蛀类害虫所在异常区域的中心坐标为圆心，通过预设半径进行画圆，得到重点监测区域；
基于所述重点监测区域对第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据。
本方案中，还包括：
根据钻蛀类害虫的样本图像数据建立钻蛀类害虫三维模型；
通过所述钻蛀类害虫三维模型对木材内钻蛀类害虫的热成像图像进行模拟，得到模拟样本图像数据；
将所述模拟样本图像数据添加至预设模型数据库。
本发明第二方面提供了一种基于热成像的木材钻蛀类害虫检测***，包括：
数据获取模块，用于对待检测木材进行检测，得到第一检测图像数据；
数据分析模块，用于将所述第一检测图像数据输入至预设钻蛀类害虫检测模型进行分析，对异常区域进行标记，得到标记图像数据，并根据所述标记图像数据的图像特征计算得到第一概率值；根据蛀孔区域和所述标记图像数据的之间的位置关系进行分析，得到第二概率值；根据所述第一概率值和第二概率值进行计算，得到第三概率值，并将所述第三概率值与第一预设阈值区间进行对比，得到标记图像数据内的钻蛀类害虫检测数据；将所有标记图像数据内的钻蛀类害虫检测数据进行整合，得到木材钻蛀类害虫检测数据；
检疫处理效果验证模块，用于根据所述木材钻蛀类害虫检测数据对存在钻蛀类害虫的木材进行检疫处理，并对检疫处理后的木材进行检测，得到第三检测图像数据，并将所述第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据。
本方案中，还包括：
对所述第一检测图像数据进行图像预处理；
所述图像预处理包括非均匀校正、盲元补偿和图像增强。
本方案中，所述将所述第一检测图像数据输入至预设钻蛀类害虫检测模型进行分析，对异常区域进行标记，得到标记图像数据，并根据所述标记图像数据的图像特征计算得到第一概率值，包括：
通过注意力机制模块对所述第一检测图像数据进行分析，得到第一异常区域，对所述第一异常区域进行标记框选，得到标记图像数据；
根据所述标记图像数据进行分析，确定第一异常区域的中心坐标；
通过深度残差学习网络模块对所述标记图像数据进行特征提取，得到所述标记图像数据的图像特征；
将所述标记图像数据的图像特征与预设模型数据库内样本图像数据的图像特征进行对比计算，得到第一概率值。
本方案中，所述根据蛀孔区域和所述标记图像数据的之间的位置关系进行分析，得到第二概率值包括：
根据所述第一检测图像数据进行分析，对木材中的蛀孔区域进行标注，得到蛀孔区域坐标数据；
计算所述标记图像数据中第一异常区域的中心坐标和所述蛀孔区域坐标数据之间的最小距离；
将所述最小距离与第二预设阈值进行对比，若所述最小距离大于第二预设阈值，则表示所述标记物体为木材缺陷，所述第二概率值为0%；
反之，通过预设方法对所述最小距离进行计算，得到第二概率值；
若最小距离为0，则表示所述异常区域的中心坐标处于蛀孔区域中，所述第二概率值为100%。
本方案中，所述根据所述第一概率值和第二概率值进行计算，得到第三概率值，并将所述第三概率值与第一预设阈值区间进行对比，得到标记图像数据内的钻蛀类害虫检测数据，包括：
将所述第一概率值和第二概率值分别乘以相对应的影响权重，得到第一权重得分和第二权重得分；
对所述第一权重得分和第二权重得分进行相加，得到第三概率值；
判断所述第三概率值是否处于第一预设阈值区间；
若所述第三概率值小于第一预设阈值区间最小值，则表示所述标记图像数据内不存在钻蛀类害虫；
若所述第三概率值大于第一预设阈值区间最大值，则表示所述标记图像数据内存在钻蛀类害虫；
若所述第三概率值处于第一预设阈值区间，则在预设时间间隔后再次对所述待检测木材进行检测，得到第二检测图像数据；
将所述第二检测图像数据和第一检测图像数据进行对比，判断所述标记图像数据内是否存在钻蛀类害虫；
将所有标记图像数据的对比结果进行整合，得到木材钻蛀类害虫检测数据。
本方案中，所述将所述第二检测图像数据和第一检测图像数据进行对比，判断所述标记图像数据内是否存在钻蛀类害虫，包括：
根据所述第二检测图像数据进行分析，得到第二异常区域的中心坐标；
将所述第二异常区域的中心坐标与第一异常区域的中心坐标进行对比，判断二者是否一致；
若否，则判定所述标记图像数据内异常区域为钻蛀类害虫；
若是，则判定所述标记图像数据内异常区域为木材缺陷。
本方案中，所述根据所述木材钻蛀类害虫检测数据对存在钻蛀类害虫的木材进行检疫处理，并对检疫处理后的木材进行检测，得到第三检测图像数据，并将所述第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据，包括：
根据木材钻蛀类害虫检测数据进行分析，以钻蛀类害虫所在异常区域的中心坐标为圆心，通过预设半径进行画圆，得到重点监测区域；
基于所述重点监测区域对第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据。
本方案中，还包括：
根据钻蛀类害虫的样本图像数据建立钻蛀类害虫三维模型；
通过所述钻蛀类害虫三维模型对木材内钻蛀类害虫的热成像图像进行模拟，得到模拟样本图像数据；
将所述模拟样本图像数据添加至预设模型数据库。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于热成像的木材钻蛀类害虫检测方法程序，所述一种基于热成像的木材钻蛀类害虫检测方法程序被处理器执行时，实现如上述任一项所述的一种基于热成像的木材钻蛀类害虫检测方法的步骤。
本发明公开了一种基于热成像的木材钻蛀类害虫检测方法、***和介质，本发明通过红外热成像原理对木材进行检测，通过预设钻蛀类害虫检测模型提取检测图像数据中的钻蛀类害虫热成像图像的图像特征，结合图像特征所在位置与蛀孔区域之间的相对距离等参数判断木材中是否存在钻蛀类害虫。在木材中存在害虫的情况下，对木材进行检疫处理，通过对比检疫处理前后的检测图像数据，判断标记为钻蛀类害虫的热成像图像是否发生变化，从而判断木材检疫处理的有效性，有效提高对木材中钻蛀类害虫的检疫效率。
附图说明
图1示出了本发明一种基于热成像的木材钻蛀类害虫检测方法的流程图；
图2示出了本发明一种第一概率值计算方法的流程图；
图3示出了本发明一种木材检疫处理以及处理效果验证方法的流程图；
图4示出了本发明一种基于热成像的木材钻蛀类害虫检测***的框图；
图5示出了本发明一种木材钻蛀类害虫检测流程示意图。
附图标记列表：
1：待检测木材；2：检疫处理后的木材；3：热成像检测设备；4：物联网云端服务器；5：预设模型数据库。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于热成像的木材钻蛀类害虫检测方法的流程图。
如图1所示，本发明公开了一种基于热成像的木材钻蛀类害虫检测方法，包括：
S102，对待检测木材进行检测，得到第一检测图像数据；
S104，将所述第一检测图像数据输入至预设钻蛀类害虫检测模型进行分析，对异常区域进行标记，得到标记图像数据，并根据所述标记图像数据的图像特征计算得到第一概率值；
S106，根据蛀孔区域和所述标记图像数据的之间的位置关系进行分析，得到第二概率值；
S108，根据所述第一概率值和第二概率值进行计算，得到第三概率值，并将所述第三概率值与第一预设阈值区间进行对比，得到标记图像数据内的钻蛀类害虫检测数据；
S110，将所有标记图像数据内的钻蛀类害虫检测数据进行整合，得到木材钻蛀类害虫检测数据；
S112，根据所述木材钻蛀类害虫检测数据对存在钻蛀类害虫的木材进行检疫处理，并对检疫处理后的木材进行检测，得到第三检测图像数据，并将所述第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据。
根据本发明实施例，如图5所示，通过热成像检测设备3对待检测木材1进行检测，将通过红外热成像所获得的检测图像数据通过通讯模块传输至物联网云端服务器4，通过物联网云端服务器4进行实时图像处理，通过预设钻蛀类害虫检测模型对检测图像数据中的异常区域进行标注，在标注过程中可能会存在一个或多个异常区域，因此通过区域标注会得到一个或多个标注图像数据。然后调取预设模型数据库5内钻蛀类害虫热成像的样本图像数据，将每一个标注图像数据与钻蛀类害虫热成像的样本图像数据进行对比计算，结合标记图像数据与蛀孔区域之间的最小距离，确定每个标记图像数据存在钻蛀类害虫的概率值，根据其概率值判断当前标记图像数据内是否存在钻蛀类害虫，得到标记图像数据内的钻蛀类害虫检测数据。在全部标记图像数据分析完成后，将所有标记图像数据内的钻蛀类害虫检测数据进行整合，得到木材钻蛀类害虫检测数据。木材钻蛀类害虫检测数据包括钻蛀类害虫的数量以及相对位置等。将木材钻蛀类害虫检测数据反馈至检测设备终端以及其他预设终端（如移动端或PC端等），同时将结果进行保存，方便数据查询下载和统计分析，同时对预设模型数据库5内的样本图像数据进行扩充。
另外，用户可以根据木材钻蛀类害虫检测数据选择对木材进行检疫处理（例如熏蒸处理、热处理等），并对检疫处理后的木材2再次进行检测，通过对比检疫处理前后的红外热成像图像判断木材检疫处理是否达到预期效果，得到木材检疫处理效果评价数据。
其中，预设钻蛀类害虫检测模型通过历史检测图像数据训练得到，首先通过人工标注的方式对历史检测图像数据中钻蛀类害虫的存在位置进行标注，得到样本图像数据，将得到的样本图像数据保存至预设模型数据库。然后通过对样本图像数据进行旋转、翻转等图像变换方式对样本图像数据进行数据增强。通过样本图像数据对初始的钻蛀类害虫检测模型进行训练，最终得到预设钻蛀类害虫检测模型。
本方案利用木材中的虫体温度与木材温度之间的温度差异，主要来源于活体的钻蛀类害虫在木材中会维持其新陈代谢和生命活动，通过细胞活动产生一定的热量，从而与木材温度和环境温度表现出差异。一旦木材内有活体的钻蛀类害虫存在，就会导致木材导热率变化，从而出现温度传导不均匀性，进而反映在热成像图像上，表出同其它正常木材内部区别，达到活体的钻蛀类害虫是否存在于木材中的有效检测。
根据本发明实施例，还包括：
对所述第一检测图像数据进行图像预处理；
所述图像预处理包括非均匀校正、盲元补偿和图像增强。
需要说明的是，由于受到研制工艺、水平和材料的限制，热成像检测设备在成像的过程中会出现非均匀性、盲元及图像模糊等问题，这些问题的存在严重影响了图像的视觉效果。使得热成像检测设备的像元响应率不一致而引起图像的非均匀性、盲元问题，并且热成像检测设备在采集过程中引入的噪声会导致图像细节模糊，因此需要对采集的图像信号进一步处理，通过与外置存储器之间数据的交互完成非均匀校正、盲元补偿、图像增强等一系列的处理过程在红外图像处理过程。采用两点校正算法，通过补偿焦平面阵列中各像元的增益校正系数和偏移校正系数，使之在均匀的辐射源下像元响应率一致。采用邻域平均法，对盲元位置处的信息进行推测和替换。
由于钻蛀类害虫体态极小，且热成像采集的数据没有可见光层次丰富，导致辨认目标难度较大，可以通过图像增强模块进行预处理，提高图像特征辨识度
根据灰度映射关系直接对图像中的像素作处理，这是空间域处理图像的核心；而以傅里叶变换为基础来修改图像，从而达到图像增强的目的，即频率域处理图像的关键，处理之后的图像更突出也容易识别。选用直方图均衡化算法对热成像图像进行增强处理，核心是针对图像的灰度级，灰度级里包含像素数量少的被压缩，而多的被扩展了，从而提高了图像的对比度。再利用CNN卷积网络对其训练，得到深度学习模型。
图2示出了本发明一种木材中存在害虫的概率值计算方法的流程图。
如图2所示，根据本发明实施例，所述将所述第一检测图像数据输入至预设钻蛀类害虫检测模型进行分析，对异常区域进行标记，得到标记图像数据，并根据所述标记图像数据的图像特征计算得到第一概率值，包括：
S202，通过注意力机制模块对所述第一检测图像数据进行分析，得到第一异常区域，对所述第一异常区域进行标记框选，得到标记图像数据；
S204，根据所述标记图像数据进行分析，确定第一异常区域的中心坐标；
S206，通过深度残差学习网络模块对所述标记图像数据进行特征提取，得到所述标记图像数据的图像特征；
S208，将所述标记图像数据的图像特征与预设模型数据库内样本图像数据的图像特征进行对比计算，得到第一概率值。
需要说明的是，预设钻蛀类害虫检测模型为CNN双线性模型，使用CNN双线性模型，引入深度残差学习网络模块和注意力机制模块，深度残差网络的改进能够改进特征提权网络，使改进模型达到更强的特征学习能力；引入视觉注意力机制，通道注意力和空间注意力模块融合至新的特征提取网络之中，进一步提升模型对图像识别的准确率。针对图像输入模块中用户上传的数据，图像识别模块将数据传入服务器端并调用已经训练好的双线性CNN识别模型计算标记图像数据与钻蛀类害虫热成像样本图像数据的相似度来判断木材中钻蛀类害虫存在情况，即图像识别模块的输出结果。
通过视觉注意力机制模块对输入的图像进行遍历，提取图像中感兴趣区域，得到一个或多个第一异常区域，即疑似存在害虫的区域，通过标记框对其进行框选，得到标记图像数据，将每个标记图像数据的中心点坐标作为相对应第一异常区域的中心坐标。然后通过深度残差学习网络模块对标记图像数据进行分析，提取标记图像数据的图像特征，将标记图像数据与预设模型数据库内的样本图像数据进行对比，基于标记图像数据的图像特征，选取相似度最高的样本图像数据作为对比标准，基于图像的颜色特征、纹理特征、形状特征等图像特征进行对比，计算标记图像数据内存在钻蛀类害虫的概率，输出第一概率值。
其中，由于木材在不同环境下的热成像效果不同，因此在对木材钻蛀类害虫检测的同时获取木材的种类以及内环境参数（含水率、温度等），通过模型进行特征对比时，优先选取相同种类木材以及木材内环境参数相似的样本图像数据进行对比，从而提高模型检测效率。
根据本发明实施例，还包括：
通过双线性插值算法对所述标记图像数据进行放大处理。
需要说明的是，钻蛀类害虫的体态较小，如蠹虫，大多在3-8mm左右，难以直接获取钻蛀类害虫的图像特征，因此在获取标记图像数据之后，对图像进行放大处理。本方案通过双线性插值算法对标记图像数据进行放大，实时性好，通过该算法对红外图像实现放大作用，提高图像分辨率的同时可以保证图像的清晰度。
根据本发明实施例，所述根据蛀孔区域和所述标记图像数据的之间的位置关系进行分析，得到第二概率值包括：
根据所述第一检测图像数据进行分析，对木材中的蛀孔区域进行标注，得到蛀孔区域坐标数据；
计算所述标记图像数据中第一异常区域的中心坐标和所述蛀孔区域坐标数据之间的最小距离；
将所述最小距离与第二预设阈值进行对比，若所述最小距离大于第二预设阈值，则表示所述标记物体为木材缺陷，所述第二概率值为0%；
反之，通过预设方法对所述最小距离进行计算，得到第二概率值；
若最小距离为0，则表示所述异常区域的中心坐标处于蛀孔区域中，所述第二概率值为100%。
需要说明的是，当钻蛀类害虫在目标中进行移动时，会产生蛀孔，通过计算标记图像数据中第一异常区域的中心坐标和蛀孔区域坐标数据之间的最小距离确定标记图像数据与蛀孔区域之间的位置关系。
当木材内存在蛀孔的情况下，其木材的导热性能会发生变化，通过对预处理图像数据进行分析，提取蛀孔的边缘特征，从而对蛀孔图像进行提取，得到蛀孔区域坐标数据。计算第一异常区域的中心坐标与蛀孔区域坐标数据中每一个坐标点的直线距离，选择直线距离最小值，将其作为标记图像数据与蛀孔区域之间的最小距离。
由于木材内部环境以及其他因素的影响，可能导致检测到的目标位置和目标实际位置之间存在偏差，使标记图像数据与蛀孔区域之间存在一定的距离差值。将标记图像数据与蛀孔区域之间的最小距离与第二预设阈值进行对比，若最小距离小于第二预设阈值，则表示当前标记图像数据内可能存在钻蛀类害虫，通过预设方法进行计算，得到标记图像中存在钻蛀类害虫的第二概率值，第二概率值表示根据标记图像数据和蛀孔区域之间的位置关系判断木材内是否存在钻蛀类害虫的可能值。其中，第二预设阈值通过***进行设定，并在***使用过程中根据历史检测图像数据的分析结果进行动态调整。
预设方法用公式表示为A=（B-C）/B，其中A表示第二概率值、B表示第二预设阈值、C表示标记图像数据中第一异常区域的中心坐标和蛀孔区域坐标数据之间的最小距离。
根据本发明实施例，所述根据所述第一概率值和第二概率值进行计算，得到第三概率值，并将所述第三概率值与第一预设阈值区间进行对比，得到标记图像数据内的钻蛀类害虫检测数据，包括：
将所述第一概率值和第二概率值分别乘以相对应的影响权重，得到第一权重得分和第二权重得分；
对所述第一权重得分和第二权重得分进行相加，得到第三概率值；
判断所述第三概率值是否处于第一预设阈值区间；
若所述第三概率值小于第一预设阈值区间最小值，则表示所述标记图像数据内不存在钻蛀类害虫；
若所述第三概率值大于第一预设阈值区间最大值，则表示所述标记图像数据内存在钻蛀类害虫；
若所述第三概率值处于第一预设阈值区间，则在预设时间间隔后再次对所述待检测木材进行检测，得到第二检测图像数据；
将所述第二检测图像数据和第一检测图像数据进行对比，判断所述标记图像数据内是否存在钻蛀类害虫；
将所有标记图像数据的对比结果进行整合，得到木材钻蛀类害虫检测数据。
需要说明的是，不同参数（钻蛀类热成像图像的图像特征、害虫行为习性等）对判断标记图像数据内是否存在钻蛀类害虫的影响权重不同，根据不同参数的影响权重进行计算，得到第三概率值。本发明主要基于钻蛀类害虫的热成像图像的图像特征判断木材内是否存在钻蛀类害虫，计算标记图像数据和木材中蛀孔图像数据之间的位置关系以及最小距离，对判断木材内是否存在钻蛀类害虫起到辅助作用。因此，第一概率值的影响权重大于第二概率值的影响权重。***基于第一概率值大小对第一概率值和第二概率值的影响权重进行动态调整，第一概率值越大，第一概率值和第二概率值的影响权重越大，但第一概率值和第二概率值的影响权重之和的最大值为1。结合第一预设阈值区间进行分析，对标记图像数据中是否存在钻蛀类害虫进行评判，第一预设阈值区间的初始值为30%-70%，***根据用户选择的检测精准等级以及历史检测数据中钻蛀类害虫的识别精准度对第一预设阈值进行动态调整。
当第三概率值小于第一预设阈值区间最小值时，表示标记图像数据中基本不存在钻蛀类害虫的图像特征，判定该标记图像数据内不存在钻蛀类害虫；第三概率值大于第一预设阈值区间最大值时，表示标记图像数据中存在大量钻蛀类害虫的图像特征，判断该标记图像数据内存在钻蛀类害虫；若第三概率值处于第一预设阈值之间，则表示标记图像中存在一定的钻蛀类害虫的图像特征，但不能作为判定为钻蛀类害虫的依据。在这种情况下，可以根据预设时间间隔（如一小时）再次对待检测木材进行检测，通过对比第二检测图像数据和第一检测图像数据的特征差异判断标记图像数据内是否存在钻蛀类害虫。
根据本发明实施例，所述将所述第二检测图像数据和第一检测图像数据进行对比，判断所述标记图像数据内是否存在钻蛀类害虫，包括：
根据所述第二检测图像数据进行分析，得到第二异常区域的中心坐标；
将所述第二异常区域的中心坐标与第一异常区域的中心坐标进行对比，判断二者是否一致；
若否，则判定所述标记图像数据内异常区域为钻蛀类害虫；
若是，则判定所述标记图像数据内异常区域为木材缺陷。
需要说明的是，在无法通过存在害虫的概率值确定木材中是否存在钻蛀类害虫的情况下，可以在***预设时间间隔后再次对待检测木材进行检测，通过预设钻蛀类害虫检测模型对第二检测图像数据进行分析，确定第二检测图像中的第二异常区域的中心坐标，通过对比两次检测图像数据中异常区域的中心坐标进行判断标记图像数据是否存在钻蛀类害虫。另外，为了提高识别精准度，可以在两次检测的基础上进行多次检测。若异常区域的中心坐标一致，则表示其异常区域为节子或其他木材缺陷；若标记物体的位置坐标发生改变，则表示其异常区域活体，同时在对第一检测图像数据进行分析时其异常区域存在一定的钻蛀类害虫的图像特征，因此可以判断标记图像数据内异常区域为钻蛀类害虫。
图3示出了本发明一种木材熏蒸效果验证方法的流程图。
如图3所示，根据本发明实施例，所述根据所述木材钻蛀类害虫检测数据对存在钻蛀类害虫的木材进行检疫处理，并对检疫处理后的木材进行检测，得到第三检测图像数据，并将所述第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据，包括：
S302，根据木材钻蛀类害虫检测数据进行分析，以钻蛀类害虫所在异常区域的中心坐标为圆心，通过预设半径进行画圆，得到重点监测区域；
S302，基于所述重点监测区域对第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据。
需要说明的是，检疫处理包括熏蒸处理、热处理等，以熏蒸处理为例，使用熏蒸剂对木材进行熏蒸处理后，于散气结束后间隔一段时间再次使用热成像检测设备对检疫处理后的木材进行图像采集，由于昆虫死后体液蒸发，用检测设备不能探测到虫体热成像图像，通过对比熏蒸前、后的检测图像数据，从而确定检疫处理效果。其中，由于检疫处理的时间较长，为了避免由于钻蛀类害虫在检疫过程中移动对检测结果产生影响，根据害虫数量以及每个害虫所在区域的中心坐标划定一个或多个重点监测区域，其中，预设半径为***模拟钻蛀类害虫在木材中的爬行速度结合检疫处理时间进行设定。
在对熏蒸后的检测图像数据进行检测时，将检测重点放在重点监测区域，通过判断重点监测区域内的害虫标记图像是否有变化来确定是否达到木材检疫处理的预期效果。
另外，昆虫体液蒸发需要一定的时间，对熏蒸后木材进行检测时，由于昆虫体液为蒸发完全，残体体液中存在一定的热量，导致熏蒸后的检测图像数据中出现新的热成像图像。将新出现的热成像图像与熏蒸前检测图像数据中的害虫标记图像进行对比，结合预设模型数据库内样本图像数据进行分析，根据新出现的热成像图像的图像属性（形状、大小、亮度等）、是否存在钻蛀类害虫热成像图像的图像特征等方面进行判断，确定新出现的热成像图像为钻蛀类害虫移动后的热成像图像或钻蛀类害虫死亡后残余体液生成的热成像图像。对存疑数据进行标注，可以通过间隔一段时间后再次进行检测或通过人工切割取样检测的方式进行验证，消除存疑，从而得到木材检疫处理效果评价数据。根据得到木材检疫处理效果评价数据对检疫处理效果较差的再次进行木材检疫处理，直至木材检疫处理效果满足预期需求。
根据本发明实施例，还包括：
根据钻蛀类害虫的样本图像数据建立钻蛀类害虫三维模型；
通过所述钻蛀类害虫三维模型对木材内害虫的热成像图像进行模拟，得到模拟样本图像数据；
将所述模拟样本图像数据添加至预设模型数据库。
需要说明的是，预设模型数据库中的木材中钻蛀类害虫的热成像样本图像较少，基本只能通过收集历史检测图像数据并通过人工标注对其进行标注方式收集样本图像数据，在此基础上，还可以通过互联网获取钻蛀类害虫的图像数据，并通过钻蛀类害虫的图像数据建立钻蛀类害虫三维模型，基于木材的含水率、温度、种类、害虫所处深度等参数，对木材内害虫的热成像效果进行模拟，得到模拟样本图像，并将其添加至预设模型数据库，提高模型的准确性和泛化能力。
图4示出了本发明一种基于热成像的木材钻蛀类害虫检测***的框图。
如图4所示，本发明第二方面提供了一种基于热成像的木材钻蛀类害虫检测***，包括：
数据获取模块，用于对待检测木材进行检测，得到第一检测图像数据；
数据分析模块，用于将所述第一检测图像数据输入至预设钻蛀类害虫检测模型进行分析，对异常区域进行标记，得到标记图像数据，并根据所述标记图像数据的图像特征计算得到第一概率值；根据蛀孔区域和所述标记图像数据的之间的位置关系进行分析，得到第二概率值；根据所述第一概率值和第二概率值进行计算，得到第三概率值，并将所述第三概率值与第一预设阈值区间进行对比，得到标记图像数据内的钻蛀类害虫检测数据；将所有标记图像数据内的钻蛀类害虫检测数据进行整合，得到木材钻蛀类害虫检测数据；
检疫处理效果验证模块，用于根据所述木材钻蛀类害虫检测数据对存在钻蛀类害虫的木材进行检疫处理，并对检疫处理后的木材进行检测，得到第三检测图像数据，并将所述第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据。
根据本发明实施例，如图5所示，通过热成像检测设备3对待检测木材1进行检测，将通过红外热成像所获得的检测图像数据通过通讯模块传输至物联网云端服务器4，通过物联网云端服务器4进行实时图像处理，通过预设钻蛀类害虫检测模型对检测图像数据中的异常区域进行标注，在标注过程中可能会存在一个或多个异常区域，因此通过区域标注会得到一个或多个标注图像数据。然后调取预设模型数据库5内钻蛀类害虫热成像的样本图像数据，将每一个标注图像数据与钻蛀类害虫热成像的样本图像数据进行对比计算，结合标记图像数据与蛀孔区域之间的最小距离，确定每个标记图像数据存在钻蛀类害虫的概率值，根据其概率值判断当前标记图像数据内是否存在钻蛀类害虫，得到标记图像数据内的钻蛀类害虫检测数据。在全部标记图像数据分析完成后，将所有标记图像数据内的钻蛀类害虫检测数据进行整合，得到木材钻蛀类害虫检测数据。木材钻蛀类害虫检测数据包括钻蛀类害虫的数量以及相对位置等。将木材钻蛀类害虫检测数据反馈至检测设备终端以及其他预设终端（如移动端或PC端等），同时将结果进行保存，方便数据查询下载和统计分析，同时对预设模型数据库5内的样本图像数据进行扩充。
另外，用户可以根据木材钻蛀类害虫检测数据选择对木材进行检疫处理（例如熏蒸处理、热处理等），并对检疫处理后的木材2再次进行检测，通过对比检疫处理前后的红外热成像图像判断木材检疫处理是否达到预期效果，得到木材检疫处理效果评价数据。
另外，用户可以根据木材钻蛀类害虫检测数据选择对木材进行检疫处理（例如熏蒸处理、热处理等），并对检疫处理后的木材再次进行检测，通过对比检疫处理前后的红外热成像图像判断木材检疫处理是否达到预期效果，得到木材检疫处理效果评价数据。
其中，预设钻蛀类害虫检测模型通过历史检测图像数据训练得到，首先通过人工标注的方式对历史检测图像数据中钻蛀类害虫的存在位置进行标注，得到样本图像数据，将得到的样本图像数据保存至预设模型数据库。然后通过对样本图像数据进行旋转、翻转等图像变换方式对样本图像数据进行数据增强。通过样本图像数据对初始的钻蛀类害虫检测模型进行训练，最终得到预设钻蛀类害虫检测模型。
本方案利用木材中的虫体温度与木材温度之间的温度差异，主要来源于活体的钻蛀类害虫在木材中会维持其新陈代谢和生命活动，通过细胞活动产生一定的热量，从而与木材温度和环境温度表现出差异。一旦木材内有活体的钻蛀类害虫存在，就会导致木材导热率变化，从而出现温度传导不均匀性，进而反映在热成像图像上，表出同其它正常木材内部区别，达到活体的钻蛀类害虫是否存在于木材中的有效检测。
根据本发明实施例，还包括：
对所述第一检测图像数据进行图像预处理；
所述图像预处理包括非均匀校正、盲元补偿和图像增强。
需要说明的是，由于受到研制工艺、水平和材料的限制，热成像检测设备在成像的过程中会出现非均匀性、盲元及图像模糊等问题，这些问题的存在严重影响了图像的视觉效果。使得热成像检测设备的像元响应率不一致而引起图像的非均匀性、盲元问题，并且热成像检测设备在采集过程中引入的噪声会导致图像细节模糊，因此需要对采集的图像信号进一步处理，通过与外置存储器之间数据的交互完成非均匀校正、盲元补偿、图像增强等一系列的处理过程在红外图像处理过程。采用两点校正算法，通过补偿焦平面阵列中各像元的增益校正系数和偏移校正系数，使之在均匀的辐射源下像元响应率一致。采用邻域平均法，对盲元位置处的信息进行推测和替换。
由于钻蛀类害虫体态极小，且热成像采集的数据没有可见光层次丰富，导致辨认目标难度较大，可以通过图像增强模块进行预处理，提高图像特征辨识度
根据灰度映射关系直接对图像中的像素作处理，这是空间域处理图像的核心；而以傅里叶变换为基础来修改图像，从而达到图像增强的目的，即频率域处理图像的关键，处理之后的图像更突出也容易识别。选用直方图均衡化算法对热成像图像进行增强处理，核心是针对图像的灰度级，灰度级里包含像素数量少的被压缩，而多的被扩展了，从而提高了图像的对比度。再利用CNN卷积网络对其训练，得到深度学习模型。
根据本发明实施例，所述将所述第一检测图像数据输入至预设钻蛀类害虫检测模型进行分析，对异常区域进行标记，得到标记图像数据，并根据所述标记图像数据的图像特征计算得到第一概率值，包括：
通过注意力机制模块对所述第一检测图像数据进行分析，得到第一异常区域，对所述第一异常区域进行标记框选，得到标记图像数据；
根据所述标记图像数据进行分析，确定第一异常区域的中心坐标；
通过深度残差学习网络模块对所述标记图像数据进行特征提取，得到所述标记图像数据的图像特征；
将所述标记图像数据的图像特征与预设模型数据库内样本图像数据的图像特征进行对比计算，得到第一概率值。
需要说明的是，预设钻蛀类害虫检测模型为CNN双线性模型，使用CNN双线性模型，引入深度残差学习网络模块和注意力机制模块，深度残差网络的改进能够改进特征提权网络，使改进模型达到更强的特征学习能力；引入视觉注意力机制，通道注意力和空间注意力模块融合至新的特征提取网络之中，进一步提升模型对图像识别的准确率。针对图像输入模块中用户上传的数据，图像识别模块将数据传入服务器端并调用已经训练好的双线性CNN识别模型计算标记图像数据与钻蛀类害虫热成像样本图像数据的相似度来判断木材中钻蛀类害虫存在情况，即图像识别模块的输出结果。
通过视觉注意力机制模块对输入的图像进行遍历，提取图像中感兴趣区域，得到一个或多个第一异常区域，即疑似存在害虫的区域，通过标记框对其进行框选，得到标记图像数据，将每个标记图像数据的中心点坐标作为相对应第一异常区域的中心坐标。然后通过深度残差学习网络模块对标记图像数据进行分析，提取标记图像数据的图像特征，将标记图像数据与预设模型数据库内的样本图像数据进行对比，基于标记图像数据的图像特征，选取相似度最高的样本图像数据作为对比标准，基于图像的颜色特征、纹理特征、形状特征等图像特征进行对比，计算标记图像数据内存在钻蛀类害虫的概率，输出第一概率值。
其中，由于木材在不同环境下的热成像效果不同，因此在对木材钻蛀类害虫检测的同时获取木材的种类以及内环境参数（含水率、温度等），通过模型进行特征对比时，优先选取相同种类木材以及木材内环境参数相似的样本图像数据进行对比，从而提高模型检测效率。
根据本发明实施例，还包括：
通过双线性插值算法对所述标记图像数据进行放大处理。
需要说明的是，钻蛀类害虫的体态较小，如蠹虫，大多在3-8mm左右，难以直接获取钻蛀类害虫的图像特征，因此在获取标记图像数据之后，对图像进行放大处理。本方案通过双线性插值算法对标记图像数据进行放大，实时性好，通过该算法对红外图像实现放大作用，提高图像分辨率的同时可以保证图像的清晰度。
根据本发明实施例，所述根据蛀孔区域和所述标记图像数据的之间的位置关系进行分析，得到第二概率值包括：
根据所述第一检测图像数据进行分析，对木材中的蛀孔区域进行标注，得到蛀孔区域坐标数据；
计算所述标记图像数据中第一异常区域的中心坐标和所述蛀孔区域坐标数据之间的最小距离；
将所述最小距离与第二预设阈值进行对比，若所述最小距离大于第二预设阈值，则表示所述标记物体为木材缺陷，所述第二概率值为0%；
反之，通过预设方法对所述最小距离进行计算，得到第二概率值；
若最小距离为0，则表示所述异常区域的中心坐标处于蛀孔区域中，所述第二概率值为100%。
需要说明的是，当钻蛀类害虫在目标中进行移动时，会产生蛀孔，通过计算标记图像数据中第一异常区域的中心坐标和蛀孔区域坐标数据之间的最小距离确定标记图像数据与蛀孔区域之间的位置关系。
当木材内存在蛀孔的情况下，其木材的导热性能会发生变化，通过对预处理图像数据进行分析，提取蛀孔的边缘特征，从而对蛀孔图像进行提取，得到蛀孔区域坐标数据。计算第一异常区域的中心坐标与蛀孔区域坐标数据中每一个坐标点的直线距离，选择直线距离最小值，将其作为标记图像数据与蛀孔区域之间的最小距离。
由于木材内部环境以及其他因素的影响，可能导致检测到的目标位置和目标实际位置之间存在偏差，使标记图像数据与蛀孔区域之间存在一定的距离差值。将标记图像数据与蛀孔区域之间的最小距离与第二预设阈值进行对比，若最小距离小于第二预设阈值，则表示当前标记图像数据内可能存在钻蛀类害虫，通过预设方法进行计算，得到标记图像中存在钻蛀类害虫的第二概率值，第二概率值表示根据标记图像数据和蛀孔区域之间的位置关系判断木材内是否存在钻蛀类害虫的可能值。其中，第二预设阈值通过***进行设定，并在***使用过程中根据历史检测图像数据的分析结果进行动态调整。
预设方法用公式表示为A=（B-C）/B，其中A表示第二概率值、B表示第二预设阈值、C表示标记图像数据中第一异常区域的中心坐标和蛀孔区域坐标数据之间的最小距离。
根据本发明实施例，所述根据所述第一概率值和第二概率值进行计算，得到第三概率值，并将所述第三概率值与第一预设阈值区间进行对比，得到标记图像数据内的钻蛀类害虫检测数据，包括：
将所述第一概率值和第二概率值分别乘以相对应的影响权重，得到第一权重得分和第二权重得分；
对所述第一权重得分和第二权重得分进行相加，得到第三概率值；
判断所述第三概率值是否处于第一预设阈值区间；
若所述第三概率值小于第一预设阈值区间最小值，则表示所述标记图像数据内不存在钻蛀类害虫；
若所述第三概率值大于第一预设阈值区间最大值，则表示所述标记图像数据内存在钻蛀类害虫；
若所述第三概率值处于第一预设阈值区间，则在预设时间间隔后再次对所述待检测木材进行检测，得到第二检测图像数据；
将所述第二检测图像数据和第一检测图像数据进行对比，判断所述标记图像数据内是否存在钻蛀类害虫；
将所有标记图像数据的对比结果进行整合，得到木材钻蛀类害虫检测数据。
需要说明的是，不同参数（钻蛀类热成像图像的图像特征、害虫行为习性等）对判断标记图像数据内是否存在钻蛀类害虫的影响权重不同，根据不同参数的影响权重进行计算，得到第三概率值。本发明主要基于钻蛀类害虫的热成像图像的图像特征判断木材内是否存在钻蛀类害虫，计算标记图像数据和木材中蛀孔图像数据之间的位置关系以及最小距离，对判断木材内是否存在钻蛀类害虫起到辅助作用。因此，第一概率值的影响权重大于第二概率值的影响权重。***基于第一概率值大小对第一概率值和第二概率值的影响权重进行动态调整，第一概率值越大，第一概率值和第二概率值的影响权重越大，但第一概率值和第二概率值的影响权重之和的最大值为1。结合第一预设阈值区间进行分析，对标记图像数据中是否存在钻蛀类害虫进行评判，第一预设阈值区间的初始值为30%-70%，***根据用户选择的检测精准等级以及历史检测数据中钻蛀类害虫的识别精准度对第一预设阈值进行动态调整。
当第三概率值小于第一预设阈值区间最小值时，表示标记图像数据中基本不存在钻蛀类害虫的图像特征，判定该标记图像数据内不存在钻蛀类害虫；第三概率值大于第一预设阈值区间最大值时，表示标记图像数据中存在大量钻蛀类害虫的图像特征，判断该标记图像数据内存在钻蛀类害虫；若第三概率值处于第一预设阈值之间，则表示标记图像中存在一定的钻蛀类害虫的图像特征，但不能作为判定为钻蛀类害虫的依据。在这种情况下，可以根据预设时间间隔（如一小时）再次对待检测木材进行检测，通过对比第二检测图像数据和第一检测图像数据的特征差异判断标记图像数据内是否存在钻蛀类害虫。
根据本发明实施例，所述将所述第二检测图像数据和第一检测图像数据进行对比，判断所述标记图像数据内是否存在钻蛀类害虫，包括：
根据所述第二检测图像数据进行分析，得到第二异常区域的中心坐标；
将所述第二异常区域的中心坐标与第一异常区域的中心坐标进行对比，判断二者是否一致；
若否，则判定所述标记图像数据内异常区域为钻蛀类害虫；
若是，则判定所述标记图像数据内异常区域为木材缺陷。
需要说明的是，在无法通过存在害虫的概率值确定木材中是否存在钻蛀类害虫的情况下，可以在***预设时间间隔后再次对待检测木材进行检测，通过预设钻蛀类害虫检测模型对第二检测图像数据进行分析，确定第二检测图像中的第二异常区域的中心坐标，通过对比两次检测图像数据中异常区域的中心坐标进行判断标记图像数据是否存在钻蛀类害虫。另外，为了提高识别精准度，可以在两次检测的基础上进行多次检测。若异常区域的中心坐标一致，则表示其异常区域为节子或其他木材缺陷；若标记物体的位置坐标发生改变，则表示其异常区域活体，同时在对第一检测图像数据进行分析时其异常区域存在一定的钻蛀类害虫的图像特征，因此可以判断标记图像数据内异常区域为钻蛀类害虫。
根据本发明实施例，所述根据所述木材钻蛀类害虫检测数据对存在钻蛀类害虫的木材进行检疫处理，并对检疫处理后的木材进行检测，得到第三检测图像数据，并将所述第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据，包括：
根据木材钻蛀类害虫检测数据进行分析，以钻蛀类害虫所在异常区域的中心坐标为圆心，通过预设半径进行画圆，得到重点监测区域；
基于所述重点监测区域对第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据。
需要说明的是，检疫处理包括熏蒸处理、热处理等，以熏蒸处理为例，使用熏蒸剂对木材进行熏蒸处理后，于散气结束后间隔一段时间再次使用热成像检测设备对检疫处理后的木材进行图像采集，由于昆虫死后体液蒸发，用检测设备不能探测到虫体热成像图像，通过对比熏蒸前、后的检测图像数据，从而确定检疫处理效果。其中，由于检疫处理的时间较长，为了避免由于钻蛀类害虫在检疫过程中移动对检测结果产生影响，根据害虫数量以及每个害虫所在区域的中心坐标划定一个或多个重点监测区域，其中，预设半径为***模拟钻蛀类害虫在木材中的爬行速度结合检疫处理时间进行设定。
在对熏蒸后的检测图像数据进行检测时，将检测重点放在重点监测区域，通过判断重点监测区域内的害虫标记图像是否有变化来确定是否达到木材检疫处理的预期效果。
另外，昆虫体液蒸发需要一定的时间，对熏蒸后木材进行检测时，由于昆虫体液为蒸发完全，残体体液中存在一定的热量，导致熏蒸后的检测图像数据中出现新的热成像图像。将新出现的热成像图像与熏蒸前检测图像数据中的害虫标记图像进行对比，结合预设模型数据库内样本图像数据进行分析，根据新出现的热成像图像的图像属性（形状、大小、亮度等）、是否存在钻蛀类害虫热成像图像的图像特征等方面进行判断，确定新出现的热成像图像为钻蛀类害虫移动后的热成像图像或钻蛀类害虫死亡后残余体液生成的热成像图像。对存疑数据进行标注，可以通过间隔一段时间后再次进行检测或通过人工切割取样检测的方式进行验证，消除存疑，从而得到木材检疫处理效果评价数据。根据得到木材检疫处理效果评价数据对检疫处理效果较差的再次进行木材检疫处理，直至木材检疫处理效果满足预期需求。
根据本发明实施例，还包括：
根据钻蛀类害虫的样本图像数据建立钻蛀类害虫三维模型；
通过所述钻蛀类害虫三维模型对木材内害虫的热成像图像进行模拟，得到模拟样本图像数据；
将所述模拟样本图像数据添加至预设模型数据库。
需要说明的是，预设模型数据库中的木材中钻蛀类害虫的热成像样本图像较少，基本只能通过收集历史检测图像数据并通过人工标注对其进行标注方式收集样本图像数据，在此基础上，还可以通过互联网获取钻蛀类害虫的图像数据，并通过钻蛀类害虫的图像数据建立钻蛀类害虫三维模型，基于木材的含水率、温度、种类、害虫所处深度等参数，对木材内害虫的热成像效果进行模拟，得到模拟样本图像，并将其添加至预设模型数据库，提高模型的准确性和泛化能力。
本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于热成像的木材钻蛀类害虫检测方法程序，所述一种基于热成像的木材钻蛀类害虫检测方法程序被处理器执行时，实现如上述任一项所述的一种基于热成像的木材钻蛀类害虫检测方法的步骤。
本发明公开了一种基于热成像的木材钻蛀类害虫检测方法、***和介质，本发明通过红外热成像原理对木材进行检测，通过预设钻蛀类害虫检测模型提取检测图像数据中的钻蛀类害虫热成像图像的图像特征，结合图像特征所在位置与蛀孔区域之间的相对距离等参数判断木材中是否存在钻蛀类害虫。在木材中存在害虫的情况下，对木材进行检疫处理，通过对比检疫处理前后的检测图像数据，判断标记为钻蛀类害虫的热成像图像是否发生变化，从而判断木材检疫处理的有效性，有效提高对木材中钻蛀类害虫的检疫效率。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (9)
1.一种基于热成像的木材钻蛀类害虫检测方法，其特征在于，包括：
对待检测木材进行检测，得到第一检测图像数据；
将所述第一检测图像数据输入至预设钻蛀类害虫检测模型进行分析，对异常区域进行标记，得到标记图像数据，并根据所述标记图像数据的图像特征计算得到第一概率值；
根据蛀孔区域和所述标记图像数据的之间的位置关系进行分析，得到第二概率值；
根据所述第一概率值和第二概率值进行计算，得到第三概率值，并将所述第三概率值与第一预设阈值区间进行对比，得到标记图像数据内的钻蛀类害虫检测数据；
将所有标记图像数据内的钻蛀类害虫检测数据进行整合，得到木材钻蛀类害虫检测数据；
根据所述木材钻蛀类害虫检测数据对存在钻蛀类害虫的木材进行检疫处理，并对检疫处理后的木材进行检测，得到第三检测图像数据，并将所述第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据；
所述根据蛀孔区域和所述标记图像数据的之间的位置关系进行分析，得到第二概率值，包括：
根据所述第一检测图像数据进行分析，对木材中的蛀孔区域进行标注，得到蛀孔区域坐标数据；
计算所述标记图像数据中第一异常区域的中心坐标和所述蛀孔区域坐标数据之间的最小距离；
将所述最小距离与第二预设阈值进行对比，若所述最小距离大于第二预设阈值，则表示标记物体为木材缺陷，所述第二概率值为0%；
反之，通过预设方法对所述最小距离进行计算，得到第二概率值；
若最小距离为0，则表示所述异常区域的中心坐标处于蛀孔区域中，所述第二概率值为100%；
当木材内存在蛀孔时，木材的导热性能会发生变化，通过对所述第一检测图像数据进行分析，提取蛀孔的边缘特征，从而对蛀孔区域进行提取，得到蛀孔区域坐标数据。
2.根据权利要求1所述的基于热成像的木材钻蛀类害虫检测方法，其特征在于，还包括：
对所述第一检测图像数据进行图像预处理；
所述图像预处理包括非均匀校正、盲元补偿和图像增强。
3.根据权利要求1所述的基于热成像的木材钻蛀类害虫检测方法，其特征在于，所述将所述第一检测图像数据输入至预设钻蛀类害虫检测模型进行分析，对异常区域进行标记，得到标记图像数据，并根据所述标记图像数据的图像特征计算得到第一概率值，包括：
通过注意力机制模块对所述第一检测图像数据进行分析，得到第一异常区域，对所述第一异常区域进行标记框选，得到标记图像数据；
根据所述标记图像数据进行分析，确定第一异常区域的中心坐标；
通过深度残差学习网络模块对所述标记图像数据进行特征提取，得到所述标记图像数据的图像特征；
将所述标记图像数据的图像特征与预设模型数据库内样本图像数据的图像特征进行对比计算，得到第一概率值。
4.根据权利要求1所述的基于热成像的木材钻蛀类害虫检测方法，其特征在于，所述根据所述第一概率值和第二概率值进行计算，得到第三概率值，并将所述第三概率值与第一预设阈值区间进行对比，得到标记图像数据内的钻蛀类害虫检测数据，包括：
将所述第一概率值和第二概率值分别乘以相对应的影响权重，得到第一权重得分和第二权重得分；
对所述第一权重得分和第二权重得分进行相加，得到第三概率值；
判断所述第三概率值是否处于第一预设阈值区间；
若所述第三概率值小于第一预设阈值区间最小值，则表示所述标记图像数据内不存在钻蛀类害虫；
若所述第三概率值大于第一预设阈值区间最大值，则表示所述标记图像数据内存在钻蛀类害虫；
若所述第三概率值处于第一预设阈值区间，则在预设时间间隔后再次对所述待检测木材进行检测，得到第二检测图像数据；
将所述第二检测图像数据和第一检测图像数据进行对比，判断所述标记图像数据内是否存在钻蛀类害虫；
将所有标记图像数据的对比结果进行整合，得到木材钻蛀类害虫检测数据。
5.根据权利要求4所述的基于热成像的木材钻蛀类害虫检测方法，其特征在于，所述将所述第二检测图像数据和第一检测图像数据进行对比，判断所述标记图像数据内是否存在钻蛀类害虫，包括：
根据所述第二检测图像数据进行分析，得到第二异常区域的中心坐标；
将所述第二异常区域的中心坐标与第一异常区域的中心坐标进行对比，判断二者是否一致；
若否，则判定所述标记图像数据内异常区域为钻蛀类害虫；
若是，则判定所述标记图像数据内异常区域为木材缺陷。
6.根据权利要求1所述的基于热成像的木材钻蛀类害虫检测方法，其特征在于，所述根据所述木材钻蛀类害虫检测数据对存在钻蛀类害虫的木材进行检疫处理，并对检疫处理后的木材进行检测，得到第三检测图像数据，并将所述第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据，包括：
根据木材钻蛀类害虫检测数据进行分析，以钻蛀类害虫所在异常区域的中心坐标为圆心，通过预设半径进行画圆，得到重点监测区域；
基于所述重点监测区域对第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据。
7.根据权利要求1所述的基于热成像的木材钻蛀类害虫检测方法，其特征在于，还包括：
根据钻蛀类害虫的样本图像数据建立钻蛀类害虫三维模型；
通过所述钻蛀类害虫三维模型对木材内钻蛀类害虫的热成像图像进行模拟，得到模拟样本图像数据；
将所述模拟样本图像数据添加至预设模型数据库。
8.一种基于热成像的木材钻蛀类害虫检测***，其特征在于，包括：
数据获取模块，用于对待检测木材进行检测，得到第一检测图像数据；
数据分析模块，用于将所述第一检测图像数据输入至预设钻蛀类害虫检测模型进行分析，对异常区域进行标记，得到标记图像数据，并根据所述标记图像数据的图像特征计算得到第一概率值；根据蛀孔区域和所述标记图像数据的之间的位置关系进行分析，得到第二概率值；根据所述第一概率值和第二概率值进行计算，得到第三概率值，并将所述第三概率值与第一预设阈值区间进行对比，得到标记图像数据内的钻蛀类害虫检测数据；将所有标记图像数据内的钻蛀类害虫检测数据进行整合，得到木材钻蛀类害虫检测数据；
检疫处理效果验证模块，用于根据所述木材钻蛀类害虫检测数据对存在钻蛀类害虫的木材进行检疫处理，并对检疫处理后的木材进行检测，得到第三检测图像数据，并将所述第三检测图像数据和第一检测图像数据进行对比，得到木材检疫处理效果评价数据；
所述根据蛀孔区域和所述标记图像数据的之间的位置关系进行分析，得到第二概率值，包括：
根据所述第一检测图像数据进行分析，对木材中的蛀孔区域进行标注，得到蛀孔区域坐标数据；
计算所述标记图像数据中第一异常区域的中心坐标和所述蛀孔区域坐标数据之间的最小距离；
将所述最小距离与第二预设阈值进行对比，若所述最小距离大于第二预设阈值，则表示标记物体为木材缺陷，所述第二概率值为0%；
反之，通过预设方法对所述最小距离进行计算，得到第二概率值；
若最小距离为0，则表示所述异常区域的中心坐标处于蛀孔区域中，所述第二概率值为100%；
当木材内存在蛀孔时，木材的导热性能会发生变化，通过对所述第一检测图像数据进行分析，提取蛀孔的边缘特征，从而对蛀孔区域进行提取，得到蛀孔区域坐标数据。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种基于热成像的木材钻蛀类害虫检测方法程序，所述一种基于热成像的木材钻蛀类害虫检测方法程序被处理器执行时，实现如权利要求1至7中任一项所述的一种基于热成像的木材钻蛀类害虫检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311477169.1A CN117197148B (zh) | 2023-11-08 | 2023-11-08 | 一种基于热成像的木材钻蛀类害虫检测方法、***和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311477169.1A CN117197148B (zh) | 2023-11-08 | 2023-11-08 | 一种基于热成像的木材钻蛀类害虫检测方法、***和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197148A CN117197148A (zh) | 2023-12-08 |
| CN117197148B true CN117197148B (zh) | 2024-02-02 |
Family
ID=89003843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311477169.1A Active CN117197148B (zh) | 2023-11-08 | 2023-11-08 | 一种基于热成像的木材钻蛀类害虫检测方法、***和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197148B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033520A (zh) * | 2021-05-25 | 2021-06-25 | 华中农业大学 | 一种基于深度学习的树木线虫病害木识别方法及*** |
| CN115457373A (zh) * | 2022-09-19 | 2022-12-09 | 中科合肥智慧农业协同创新研究院 | 无锚框的一阶段虫害图像检测方法、装置及存储介质 |
| CN115728326A (zh) * | 2022-11-10 | 2023-03-03 | 中北大学 | 一种基于x射线探测树木皮下钻蛀性害虫的方法 |
| CN115861729A (zh) * | 2022-11-07 | 2023-03-28 | 东北林业大学 | 基于深度学习算法的小样本林业害虫识别方法 |
| CN116237270A (zh) * | 2023-01-31 | 2023-06-09 | 广东省农业科学院蚕业与农产品加工研究所 | 一种蛀蒂虫荔枝果实的分级方法 |
| CN116721060A (zh) * | 2023-08-08 | 2023-09-08 | 中国热带农业科学院椰子研究所 | 一种基于注意力机制的红棕象甲虫检测方法 |
-
2023
- 2023-11-08 CN CN202311477169.1A patent/CN117197148B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033520A (zh) * | 2021-05-25 | 2021-06-25 | 华中农业大学 | 一种基于深度学习的树木线虫病害木识别方法及*** |
| CN115457373A (zh) * | 2022-09-19 | 2022-12-09 | 中科合肥智慧农业协同创新研究院 | 无锚框的一阶段虫害图像检测方法、装置及存储介质 |
| CN115861729A (zh) * | 2022-11-07 | 2023-03-28 | 东北林业大学 | 基于深度学习算法的小样本林业害虫识别方法 |
| CN115728326A (zh) * | 2022-11-10 | 2023-03-03 | 中北大学 | 一种基于x射线探测树木皮下钻蛀性害虫的方法 |
| CN116237270A (zh) * | 2023-01-31 | 2023-06-09 | 广东省农业科学院蚕业与农产品加工研究所 | 一种蛀蒂虫荔枝果实的分级方法 |
| CN116721060A (zh) * | 2023-08-08 | 2023-09-08 | 中国热带农业科学院椰子研究所 | 一种基于注意力机制的红棕象甲虫检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于轻量级神经网络的2种害虫钻蛀振动识别方法;孙钰;脱小倩;蒋琦;张海燕;陈志泊;宗世祥;骆有庆;;林业科学(03);103-111页 * |
| 木材检疫处理技术研究进展;李玉广 等;《植物检疫》;第7-13页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197148A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Thapa et al. | The Plant Pathology Challenge 2020 data set to classify foliar disease of apples | |
| Abrego et al. | Measuring and predicting the influence of traits on the assembly processes of wood‐inhabiting fungi | |
| Yang et al. | Tea diseases detection based on fast infrared thermal image processing technology | |
| CN109490306B (zh) | 一种基于色泽和气味数据融合的猪肉新鲜度检测方法 | |
| WO2023071091A1 (zh) | 一种具有预分析能力的炭疽病病原菌侵染阶段检测方法 | |
| Im et al. | Hyperspectral remote sensing analysis of short rotation woody crops grown with controlled nutrient and irrigation treatments | |
| CN110188657A (zh) | 基于卷曲叶片检测的玉米干旱识别方法 | |
| CN116030343A (zh) | 一种基于机器视觉识别的农作物病虫害监管*** | |
| Suo et al. | Casm-amfmnet: a network based on coordinate attention shuffle mechanism and asymmetric multi-scale fusion module for classification of grape leaf diseases | |
| CN117197148B (zh) | 一种基于热成像的木材钻蛀类害虫检测方法、***和介质 | |
| CN117172430B (zh) | 一种基于深度学习的水体环境评估与预测方法及*** | |
| Wardius et al. | Terrestrial laser scanning vs. manual methods for assessing complex forest stand structure: a comparative analysis on plenter forests | |
| Xu et al. | An automatic wheat ear counting model based on the minimum area intersection ratio algorithm and transfer learning | |
| CN117371604A (zh) | 一种基于智能感知的农业生产预测方法及*** | |
| CN117313989A (zh) | 一种盐碱地改良策略匹配方法、***、设备及存储介质 | |
| CN109993071B (zh) | 基于遥感影像的变色林木自动识别及调查的方法和*** | |
| CN113792715B (zh) | 粮仓害虫监测预警方法、装置、设备及存储介质 | |
| Moloo et al. | An app for fungal disease detection on plants | |
| Sams et al. | Characterising spatio‐temporal variation in fruit composition for improved winegrowing management in California Cabernet Sauvignon | |
| Sun et al. | Mildew detection in rice grains based on computer vision and the YOLO convolutional neural network | |
| CN114140428A (zh) | 基于YOLOv5的落叶松毛虫虫害检测识别方法及*** | |
| Rößner et al. | Quantifying bark-stripping damages to address the relationship between external and internal wood defects | |
| Schmidtke | Developing a phone-based imaging tool to inform on fruit volume and potential optimal harvest time | |
| CN114782844B (zh) | 一种松材线虫病树识别方法、***和存储介质 | |
| CN118115903B (zh) | 基于ai技术松材线虫病智能识别处理*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |