CN115880271A - 一种晶体生长过程中籽晶单晶线棱角的识别检测方法 - Google Patents

一种晶体生长过程中籽晶单晶线棱角的识别检测方法 Download PDF

Info

Publication number
CN115880271A
CN115880271A CN202211717017.XA CN202211717017A CN115880271A CN 115880271 A CN115880271 A CN 115880271A CN 202211717017 A CN202211717017 A CN 202211717017A CN 115880271 A CN115880271 A CN 115880271A
Authority
CN
China
Prior art keywords
training
model
loss value
image
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211717017.XA
Other languages
English (en)
Other versions
CN115880271B (zh
Inventor
郑庆红
赵杰
杨振雷
苑启哲
方志奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baoding Jing Xin Electrical Co ltd
Original Assignee
Baoding Jing Xin Electrical Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baoding Jing Xin Electrical Co ltd filed Critical Baoding Jing Xin Electrical Co ltd
Priority to CN202211717017.XA priority Critical patent/CN115880271B/zh
Publication of CN115880271A publication Critical patent/CN115880271A/zh
Application granted granted Critical
Publication of CN115880271B publication Critical patent/CN115880271B/zh
Priority to PCT/CN2023/140533 priority patent/WO2024140400A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)

Abstract

本发明涉及晶体生长识别技术领域，具体为一种晶体生长过程中籽晶单晶线棱角的识别检测方法，包括构建高质量数据集、构建人工智能算法模型、模型训练以及模型评估验证四个步骤，本发明克服人工判断引晶工序开始时机的不足，提供一种自动化判断引晶时机的方法，使得控制***自动控制调温结束后的引晶工序开始的操作；具体的本发明通过深度学习算法对大批量相关场景的图片数据进行训练，得到最优模型，从而可以精准检测出籽晶单晶线棱角的出角状态，使得调用最优模型的晶体生长控制***可以自动判断引晶工序开始的时机，避免了人工操作的上述缺点。

Description

一种晶体生长过程中籽晶单晶线棱角的识别检测方法
技术领域
本发明涉及晶体生长识别技术领域，具体为一种晶体生长过程中籽晶单晶线棱角的识别检测方法。
背景技术
在传统的单晶生长控制***中，调温(稳温)工序结束后到引晶工序阶段，行业一般为人工判断是否可进入引晶工序的时机，人工判断的标准主要为籽晶单晶线棱角的出角状态，单晶线棱角出角饱满即可认为可进入引晶工序，这种方式因人的技能水平差异，判断标准不同等因素易造成进入引晶工序时机标准不同，从而对产量及成品率产生一定影响，目前业内并无相关的引晶工序开始时机判断自动化解决方案；
且在人工操作的基础上需大量一线工人时刻关注并操作，对生产成本、产量及生产效率造成一定影响。
发明内容
本发明的目的在于提供一种晶体生长过程中籽晶单晶线棱角的识别检测方法，以解决上述背景技术中提出的问题。
为了解决上述技术问题，本发明提供如下技术方案：一种晶体生长过程中籽晶单晶线棱角的识别检测方法，包括以下步骤：
步骤S1：通过CCD***的工业相机端对调温后、引晶前满足引晶条件的籽晶单晶线棱角的出角图像进行采集，根据采集的图像对特征点进行单帧标注处理以构建数据集；将数据集以第一比例分割为训练集、测试集和验证集；
针对于数据集的分割比例保证了训练集、验证集数据可使得模型学习到足够特征；也保证了测试集数据可测试模型的准确性；
步骤S2：根据已标注的数据集及***应用场景选择预训练模型，基于预训练模型，构建深度学习模型训练算法；训练算法包括图片数据处理、损失值计算和预训练模型权重参数迭代过程；预训练模型为参数已初始化的数学模型，相较于自己构建的模型，使用预训练模型可以使得模型学习速度更快；
步骤S3：基于步骤S2中的深度学习模型训练算法，将已采集并标注的训练集数据进行迭代训练，训练过程中验证集实时参与验证，并记录训练集损失值及验证集损失值；根据验证集损失值变化判定预训练模型的学习情况，并实时保存当前训练进度的实时最优模型；经过m epoch训练过程后，m为正整数，获得整体最优模型；
步骤S4：将步骤S3中的整体最优模型在测试集上测试模型效果，得到模型识别准确率，并判断是否符合实际生产标准。
进一步的，步骤S1中引晶条件是指单晶线棱角出角饱满时刻；特征点是指可引晶时刻图像中籽晶所出现的棱角；单帧标注处理是指对棱角特征点进行标注突出。
进一步的，步骤S3中将已采集并标注的训练集数据进行迭代训练，训练过程中验证集实时参与验证，并记录训练集损失值及验证集损失值；包括以下分析步骤：
步骤S31：输入图像大小为640*640*3，通过Focus模块进行切片，得到格式为320*320*12的切片图像，经过Concat将切片图像的高度和宽度整合，增加输入图像的通道数，且图像的通道数为64，得到第一处理图像大小为320*320*64；
步骤S32：对整合后的图像通过大小为3，步长为2的Conv卷积模块进行特征提取，输出图像大小为160*160*128的第一特征图像；
步骤S33：对步骤S32中的第一特征图像经过3组BottleneckCSP1和Conv卷积操作后，得到图像大小为20*20*1024的第二特征图像；采用SSP模块对第二特征图像进行1*1、5*5、9*9、13*13四次最大池化操作，提取图像特征，通过Concat将四组池化后的特征图像聚合得到第三特征图像；采用SSP模块是为了提升模型精度；
步骤S34：将第三特征图像经过BottleneckCSP2模块减少模型参数量，通过上采样操作得到80*80*512大小的第四特征图像；
步骤S35：对第四特征图像通过下采样操作分别得到80*80*512、40*40*512、20*20*512三种格式的特征图像；
步骤S36：对步骤S35中三种不同格式的特征图像进行Conv2d卷积操作，得到三种格式分别为80*80*255、40*40*255、20*20*255的特征图像；
步骤S37：基于步骤S36中三种格式的特征图像，根据预训练模型参数，输出预测框，并将预测框与特征图像中标注的真实框进行对比，计算两者损失值；再反向更新迭代优化预训练模型的权重参数；
步骤S38：经过训练集数据的不断输入，迭代预训练模型参数，输出实时epoch迭代训练完成的权重参数模型。
进一步的，步骤S37中权重参数的迭代过程包括以下分析步骤：
给定超参数0≤β1≤1，本申请中设置β1为0.9，时间步t的动量变量vt随机梯度gt加权平均：
vt←β1vt-1+(1-β1)gt
在时间步t得到：
Figure BDA0004026763190000031
其中，gi表示时间步i时刻的随机梯度；将过去时间步随机梯度的权值相加：
Figure BDA0004026763190000032
进行偏差修正：
当t较小，过去时间步批量随机梯度值之和较小，对任意时间步t，将vt除以1-β1t，此步骤是为了消除影响；得到：
Figure BDA0004026763190000033
时间步t的变量nt及随机梯度gt的平方加权平均：
Figure BDA0004026763190000036
/>
后同样经过
Figure BDA0004026763190000034
减小t较小时的影响，到此得到每一时间步t经过修正后的vt'、nt'，然后将训练模型参数中每个权重参数的学习率通过按元素运算重新调整：
Figure BDA0004026763190000035
其中η表示学习率，∈是常数，设∈＝10-8；∈的添加是为了维持数值稳定性；
最后，使用计算出的gt'迭代模型的中权重参数，得到：
wt←wt-1-gt'。
进一步的，步骤S3还包括以下步骤：
在实时每一个epoch过程内，步骤S37中权重参数的迭代过程不断进行，预训练模型中的权重参数不断更新，经过反复迭代学习即权重参数的更新，得到当前这一个epoch训练完成的权重参数模型；
每经过一个epoch的训练过程，将验证集在这一个epoch训练完成的参数模型上预测验证集的结果，预测的过程与步骤S31-S37相同，然后进行验证集损失值的计算。
进一步的，验证集损失值的计算包括以下分析步骤：
模型训练和验证包含矩形框损失值lossrect、置信度损失值lossobj和分类损失值lossclc；
则建立预训练模型的损失函数：
Loss＝a*lossobj+b*lossrect+c*lossclc
其中a、b、c为对应损失的权重值，设a＝0.4，b＝0.3，c＝0.3；
将损失函数作为训练集损失值及验证集损失值；
矩形框损失值lossrect通过预训练模型使用CLOU_loss方式进行计算，具体过程如下：
CIOU_loss＝1-CIOU
Figure BDA0004026763190000041
其中，IOU＝A/B，A为真实标注框与预测框的交集像素点数量，B为真实标注框与真实框的并集像素点数量；Distance_C为真实标注框与预测框的最小外接矩形的对角线距离，Distance_2为真实标注框与预测框两个中心点的欧式距离；V是衡量长宽比一致性的参数，具体定义如下：
Figure BDA0004026763190000042
其中，wgt是真实框的宽度、hgt是真实框的长度，wp是预测框的宽度、hp是预测框的长度。
进一步的，验证集损失值的计算还包括以下步骤：
所述置信度损失lossobj和分类损失lossclc均通过预训练模型使用BCE_loss方式进行计算，具体过程如下：
Figure BDA0004026763190000051
其中f表示样本总量，u表示样本；yf表示标签；d表示预测的输出；
当计算置信度损失值时：f表示参与训练或验证的数据样本量，u表示样本中的特定样本，yf表示样本标注置信度，d表示预测置信度；
当计算分类损失值时：f表示参与训练或验证的数据样本量，u表示样本中的特定样本，yf表示样本标注类别，d表示预测类别；
经过上述计算，得到实时epoch训练完成后权重参数模型在验证集上的损失值；
每经过一个epoch，均得到一个权重参数模型及这一模型在验证集上的损失值。
进一步的，根据验证集损失值变化判定预训练模型的学习情况，并实时保存当前训练进度的实时最优模型；经过m epoch训练过程后，m为正整数，获得整体最优模型；包括以下分析步骤：
输出单一epoch的验证集损失值为单一验证集损失值，
当训练过程中单一验证集损失值变小，即模型正在学习图像特征；
当单一验证集损失值趋于不变，即相邻epoch中对应的单一验证集损失值差值小于等于差值阈值，输出模型达到了学习的最大限度；
输出实时最优模型为达到学习的最大限度对应的权重参数模型；
则输出整体最优模型为从训练开始到当前训练过程中验证集损失值最小的权重参数模型，验证集损失值是指m epoch训练过程中满足模型达到学习的最大限度对应的单一验证集损失值构成的数值集合。此整体最优模型即表示350epoch训练过程中的最优模型。
进一步的，步骤S4包括以下分析步骤：
将步骤S3中的整体最优模型在测试集上进行测试，计算预测框与数据集标注框的IOU，
利用公式：
Figure BDA0004026763190000052
计算所有类检测的平均精度值mAP，其中AP表示每一类所有图像的平均精度；n为检测的类数目；
所述AP为查准率Precision和查全率Recall与x轴、y轴所围成的面积值；
Figure BDA0004026763190000061
Figure BDA0004026763190000062
其中，TP是指IOU大于预设IOU阈值时检测框的数量，FP是指IOU小于等于预设IOU阈值时检测框的数量，GT是指数据集标注框的数量；
在每一个检测类别上，计算一次AP值，即mAP＝AP；
设置实际生产标准对应的准确率阈值r，若mAP大于等于r，则输出整体最优模型符合实际生产标准。
与现有技术相比，本发明所达到的有益效果是：本发明通过引入人工智能在图像识别方面的技术方法，通过深度学习算法对大批量相关场景的图片数据进行训练，得到最优模型，从而可以精准检测出籽晶单晶线棱角的出角状态，使得调用最优模型的晶体生长控制***可以自动判断引晶工序开始的时机，避免了人工操作的上述缺点；且克服人工判断引晶工序开始时机的不足，提供一种自动化判断引晶时机的方法，使得控制***自动控制调温结束后的引晶工序开始的操作；实现了调温到引晶工序的自动化衔接流程，中间无需人为干预，实现了引晶标准的统一，提高了产品合格率，从而提升了生产效率，降低了生产成本。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种晶体生长过程中籽晶单晶线棱角的识别检测方法的流程示意图；
图2是本发明一种晶体生长过程中籽晶单晶线棱角的识别检测方法的卷积操作示意图；
图3是本发明一种晶体生长过程中籽晶单晶线棱角的识别检测方法的最大池化操作示意图；
图4是本发明一种晶体生长过程中籽晶单晶线棱角的识别检测方法的模型训练过程中训练集损失值变化及验证集损失值变化示意图；
图5是本发明一种晶体生长过程中籽晶单晶线棱角的识别检测方法的平均精度变化曲线图；
图6是本发明一种晶体生长过程中籽晶单晶线棱角的识别检测方法的未经模型检测的图片数据；
图7是本发明一种晶体生长过程中籽晶单晶线棱角的识别检测方法的经过已训练最优模型检测的图片数据。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图7，本发明提供技术方案：一种晶体生长过程中籽晶单晶线棱角的识别检测方法，包括以下步骤：
步骤S1：通过CCD***的工业相机端对调温后、引晶前满足引晶条件的籽晶单晶线棱角的出角图像进行采集，根据采集的图像对特征点进行单帧标注处理以构建数据集；将数据集以第一比例分割为训练集、测试集和验证集；
采集图像数量为10000张，且第一比例为8:1:1，构建的数据集为高质量的大规模数据集；高质量数据集的建立基于两个因素，第一是对特征点标准准确性高，第二是图像是实际生产环境下所采集到的；
针对于数据集的分割比例保证了训练集、验证集数据可使得模型学习到足够特征；也保证了测试集数据可测试模型的准确性；
步骤S2：根据已标注的数据集及***应用场景选择预训练模型，基于预训练模型，构建深度学习模型训练算法；训练算法包括图片数据处理、损失值计算和预训练模型权重参数迭代过程；预训练模型为参数已初始化的数学模型，相较于自己构建的模型，使用预训练模型可以使得模型学习速度更快；
***应用场景包括：
硬件配置：Intel(R)Core(TM)i5-8265U [email protected] 1.80GHz 8G内存；
***应用环境为单晶硅生长过程，工艺要求为准确并实时判断当前状态下的籽晶棱点出点情况；
步骤S3：基于步骤S2中的深度学习模型训练算法，将已采集并标注的训练集数据进行迭代训练，训练过程中验证集实时参与验证，并记录训练集损失值及验证集损失值；根据验证集损失值变化判定预训练模型的学习情况，并实时保存当前训练进度的实时最优模型；经过m epoch训练过程后，m为正整数，获得整体最优模型；1epoch表示使用训练集中的全部样本训练一次，本申请中m设为350；
步骤S4：将步骤S3中的整体最优模型在测试集上测试模型效果，得到模型识别准确率，并判断是否符合实际生产标准。
步骤S1中引晶条件是指单晶线棱角出角饱满时刻；特征点是指可引晶时刻图像中籽晶所出现的棱角；单帧标注处理是指对棱角特征点进行标注突出。
步骤S3中将已采集并标注的训练集数据进行迭代训练，训练过程中验证集实时参与验证，并记录训练集损失值及验证集损失值；包括以下分析步骤：
步骤S31：输入图像大小为640*640*3，通过Focus模块进行切片，得到格式为320*320*12的切片图像，经过Concat将切片图像的高度和宽度整合，增加输入图像的通道数，且图像的通道数为64，得到第一处理图像大小为320*320*64；
步骤S32：对整合后的图像通过大小为3，步长为2的Conv卷积模块进行特征提取，输出图像大小为160*160*128的第一特征图像；
步骤S33：对步骤S32中的第一特征图像经过3组BottleneckCSP1和Conv卷积操作后，得到图像大小为20*20*1024的第二特征图像；采用SSP模块对第二特征图像进行1*1、5*5、9*9、13*13四次最大池化操作，提取图像特征，通过Concat将四组池化后的特征图像聚合得到第三特征图像；采用SSP模块是为了提升模型精度；
如实施例所示卷积操作具体如下：
本发明采用3*3卷积核，经过卷积核在特征图像上的滑动，得到特征图像；如图2所示；
最大池化操作如下：
1*1、5*5、9*9、13*13指示最大池化窗口，窗口在特征图像上进行特征提取，提取对象为窗口内最大值，如图3所示为10*10最大池化操作；
步骤S34：将第三特征图像经过BottleneckCSP2模块减少模型参数量，通过上采样操作得到80*80*512大小的第四特征图像，上采样过程由2组BottleneckCSP2、大小为1、步长为1的Conv、Upsample和Concat连接完成；
步骤S35：对第四特征图像通过下采样操作分别得到80*80*512、40*40*512、20*20*512三种格式的特征图像；
步骤S36：对步骤S35中三种不同格式的特征图像进行Conv2d卷积操作，得到三种格式分别为80*80*255、40*40*255、20*20*255的特征图像；上述步骤S31至步骤S36的过程对应图片数据处理的过程；
步骤S37：基于步骤S36中三种格式的特征图像，根据预训练模型参数，输出预测框，并将预测框与特征图像中标注的真实框进行对比，计算两者损失值；再反向更新迭代优化预训练模型的权重参数；
步骤S38：经过训练集数据的不断输入，迭代预训练模型参数，输出实时epoch迭代训练完成的权重参数模型。
步骤S37中权重参数的迭代过程包括以下分析步骤：
给定超参数0≤β1≤1，本申请中设置β1为0.9，时间步t的动量变量vt随机梯度gt加权平均：
vt←β1vt-1+(1-β1)gt
在时间步t得到：
Figure BDA0004026763190000091
其中，gi表示时间步i时刻的随机梯度；将过去时间步随机梯度的权值相加：
Figure BDA0004026763190000092
进行偏差修正：
当t较小，过去时间步批量随机梯度值之和较小，对任意时间步t，将vt除以1-β1t，此步骤是为了消除影响；得到：
Figure BDA0004026763190000093
时间步t的变量nt及随机梯度gt的平方加权平均：
Figure BDA0004026763190000101
后同样经过
Figure BDA0004026763190000102
减小t较小时的影响，到此得到每一时间步t经过修正后的vt'、nt'，然后将训练模型参数中每个权重参数的学习率通过按元素运算重新调整：
Figure BDA0004026763190000103
其中η表示学习率，∈是常数，设∈＝10-8；∈的添加是为了维持数值稳定性；
最后，使用计算出的gt'迭代模型的中权重参数，得到：
wt←wt-1-gt'。
步骤S3还包括以下步骤：
在实时每一个epoch过程内，步骤S37中权重参数的迭代过程不断进行，预训练模型中的权重参数不断更新，经过反复迭代学习即权重参数的更新，得到当前这一个epoch训练完成的权重参数模型；
每经过一个epoch的训练过程，将验证集在这一个epoch训练完成的参数模型上预测验证集的结果，预测的过程与步骤S31-S37相同，然后进行验证集损失值的计算。
验证集损失值的计算包括以下分析步骤：
模型训练和验证包含矩形框损失值lossrect、置信度损失值lossobj和分类损失值lossclc；
则建立预训练模型的损失函数：
Loss＝a*lossobj+b*lossrect+c*lossclc
其中a、b、c为对应损失的权重值，设a＝0.4，b＝0.3，c＝0.3；
将损失函数作为训练集损失值及验证集损失值；
矩形框损失值lossrect通过预训练模型使用CLOU_loss方式进行计算，具体过程如下：
CIOU_loss＝1-CIOU
Figure BDA0004026763190000104
其中，IOU＝A/B，A为真实标注框与预测框的交集像素点数量，B为真实标注框与真实框的并集像素点数量；Distance_C为真实标注框与预测框的最小外接矩形的对角线距离，Distance_2为真实标注框与预测框两个中心点的欧式距离；V是衡量长宽比一致性的参数，具体定义如下：
Figure BDA0004026763190000111
其中，wgt是真实框的宽度、hgt是真实框的长度，wp是预测框的宽度、hp是预测框的长度。
验证集损失值的计算还包括以下步骤：
所述置信度损失lossobj和分类损失lossclc均通过预训练模型使用BCE_loss方式进行计算，具体过程如下：
Figure BDA0004026763190000112
其中f表示样本总量，u表示样本；yf表示标签；d表示预测的输出；
当计算置信度损失值时：f表示参与训练或验证的数据样本量，u表示样本中的特定样本，yf表示样本标注置信度，d表示预测置信度；本发明样本标注置信度均设置1；
当计算分类损失值时：f表示参与训练或验证的数据样本量，u表示样本中的特定样本，yf表示样本标注类别，d表示预测类别；本发明标注类别只有一类，即棱点类比为1；
经过上述计算，得到实时epoch训练完成后权重参数模型在验证集上的损失值；
每经过一个epoch，均得到一个权重参数模型及这一模型在验证集上的损失值。
根据验证集损失值变化判定预训练模型的学习情况，并实时保存当前训练进度的实时最优模型；经过m epoch训练过程后，m为正整数，获得整体最优模型；包括以下分析步骤：
输出单一epoch的验证集损失值为单一验证集损失值，
当训练过程中单一验证集损失值变小，即模型正在学习图像特征；具体如图4所示，val_loss从4.95到250epoch附近的3.2；val_loss表示验证集损失值，即上述文中计算的Loss值；
当单一验证集损失值趋于不变，即相邻epoch中对应的单一验证集损失值差值小于等于差值阈值，输出模型达到了学习的最大限度；如图4所示，val_loss值在3.2上下浮动；
输出实时最优模型为达到学习的最大限度对应的权重参数模型；
则输出整体最优模型为从训练开始到当前训练过程中验证集损失值最小的权重参数模型，验证集损失值是指m epoch训练过程中满足模型达到学习的最大限度对应的单一验证集损失值构成的数值集合。此整体最优模型即表示350epoch训练过程中的最优模型。
步骤S4包括以下分析步骤：
将步骤S3中的整体最优模型在测试集上进行测试，计算预测框与数据集标注框的IOU，
利用公式：
Figure BDA0004026763190000121
计算所有类检测的平均精度值mAP，其中AP表示每一类所有图像的平均精度；n为检测的类数目；本申请中n为1；
所述AP为查准率Precision和查全率Recall与x轴、y轴所围成的面积值；
Figure BDA0004026763190000122
Figure BDA0004026763190000123
其中，TP是指IOU大于预设IOU阈值时检测框的数量，FP是指IOU小于等于预设IOU阈值时检测框的数量，GT是指数据集标注框的数量；本申请中设置IOU阈值为0.5；
在每一个检测类别上，计算一次AP值，即mAP＝AP；本申请类别数量为1；
在测试集数据输入模型测试时，每输入一个样本，样本池统一计算一组Precision-Recall值，这一过程样本池逐渐从0扩张到整个测试数据集，得到有限组Precision-Recall值，将其标于直角坐标系中，这一曲线(PR-curve)与x轴、y轴所围成的面积，即AP值；在本申请值也为mAP值；
设置实际生产标准对应的准确率阈值r，若mAP大于等于r，则输出整体最优模型符合实际生产标准。本申请设置r＝90％。且通过图5可以知道精度变化过程；通过图6和图7可知经过已训练最优模型检测的图片数据与未经模型检测的图片数据差异，可以看出本发明的实际运用效果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种晶体生长过程中籽晶单晶线棱角的识别检测方法，其特征在于，包括以下步骤：
步骤S1：通过CCD***的工业相机端对调温后、引晶前满足引晶条件的籽晶单晶线棱角的出角图像进行采集，根据采集的图像对特征点进行单帧标注处理以构建数据集；将所述数据集以第一比例分割为训练集、测试集和验证集；
步骤S2：根据已标注的数据集及***应用场景选择预训练模型，基于预训练模型，构建深度学习模型训练算法；所述训练算法包括图片数据处理、损失值计算和预训练模型权重参数迭代过程；
步骤S3：基于步骤S2中的深度学习模型训练算法，将已采集并标注的训练集数据进行迭代训练，训练过程中验证集实时参与验证，并记录训练集损失值及验证集损失值；根据验证集损失值变化判定预训练模型的学习情况，并实时保存当前训练进度的实时最优模型；经过mepoch训练过程后，m为正整数，获得整体最优模型；
步骤S4：将步骤S3中的整体最优模型在测试集上测试模型效果，得到模型识别准确率，并判断是否符合实际生产标准。
2.根据权利要求1所述的一种晶体生长过程中籽晶单晶线棱角的识别检测方法，其特征在于：所述步骤S1中引晶条件是指单晶线棱角出角饱满时刻；所述特征点是指可引晶时刻图像中籽晶所出现的棱角；所述单帧标注处理是指对棱角特征点进行标注突出。
3.根据权利要求1所述的一种晶体生长过程中籽晶单晶线棱角的识别检测方法，其特征在于：所述步骤S3中将已采集并标注的训练集数据进行迭代训练，训练过程中验证集实时参与验证，并记录训练集损失值及验证集损失值；包括以下分析步骤：
步骤S31：输入图像大小为640*640*3，通过Focus模块进行切片，得到格式为320*320*12的切片图像，经过Concat将切片图像的高度和宽度整合，增加输入图像的通道数，且图像的通道数为64，得到第一处理图像大小为320*320*64；
步骤S32：对整合后的图像通过大小为3，步长为2的Conv卷积模块进行特征提取，输出图像大小为160*160*128的第一特征图像；
步骤S33：对步骤S32中的第一特征图像经过3组BottleneckCSP1和Conv卷积操作后，得到图像大小为20*20*1024的第二特征图像；采用SSP模块对第二特征图像进行1*1、5*5、9*9、13*13四次最大池化操作，提取图像特征，通过Concat将四组池化后的特征图像聚合得到第三特征图像；
步骤S34：将第三特征图像经过BottleneckCSP2模块减少模型参数量，通过上采样操作得到80*80*512大小的第四特征图像；
步骤S35：对第四特征图像通过下采样操作分别得到80*80*512、40*40*512、20*20*512三种格式的特征图像；
步骤S36：对步骤S35中三种不同格式的特征图像进行Conv2d卷积操作，得到三种格式分别为80*80*255、40*40*255、20*20*255的特征图像；
步骤S37：基于步骤S36中三种格式的特征图像，根据预训练模型参数，输出预测框，并将预测框与特征图像中标注的真实框进行对比，计算两者损失值；再反向更新迭代优化预训练模型的权重参数；
步骤S38：经过训练集数据的不断输入，迭代预训练模型参数，输出实时epoch迭代训练完成的权重参数模型。
4.根据权利要求3所述的一种晶体生长过程中籽晶单晶线棱角的识别检测方法，其特征在于：步骤S37中权重参数的迭代过程包括以下分析步骤：
给定超参数0≤β1≤1，本申请中设置β1为0.9，时间步t的动量变量vt随机梯度gt加权平均：
vt←β1vt-1+(1-β1)gt
在时间步t得到：
Figure FDA0004026763180000021
其中，gi表示时间步i时刻的随机梯度，将过去时间步随机梯度的权值相加：
Figure FDA0004026763180000022
进行偏差修正：
当t较小，过去时间步批量随机梯度值之和较小，对任意时间步t，将vt除以1-β1t；得到：
Figure FDA0004026763180000031
时间步t的变量nt及随机梯度gt的平方加权平均：
Figure FDA0004026763180000032
后同样经过
Figure FDA0004026763180000033
减小t较小时的影响，到此得到每一时间步t经过修正后的vt'、nt'，然后将训练模型参数中每个权重参数的学习率通过按元素运算重新调整：
Figure FDA0004026763180000034
其中η表示学习率，∈是常数，设∈＝10-8；
最后，使用计算出的gt'迭代模型的中权重参数，得到：
wt←wt-1-gt'。
5.根据权利要求4所述的一种晶体生长过程中籽晶单晶线棱角的识别检测方法，其特征在于：所述步骤S3还包括以下步骤：
在实时每一个epoch过程内，步骤S37中权重参数的迭代过程不断进行，预训练模型中的权重参数不断更新，经过反复迭代学习即权重参数的更新，得到当前这一个epoch训练完成的权重参数模型；
每经过一个epoch的训练过程，将验证集在这一个epoch训练完成的参数模型上预测验证集的结果，所述预测的过程与步骤S31-S37相同，然后进行验证集损失值的计算。
6.根据权利要求5所述的一种晶体生长过程中籽晶单晶线棱角的识别检测方法，其特征在于：所述验证集损失值的计算包括以下分析步骤：
模型训练和验证包含矩形框损失值lossrect、置信度损失值lossobj和分类损失值lossclc；
则建立预训练模型的损失函数：
Loss＝a*lossobj+b*lossrect+c*lossclc
其中a、b、c为对应损失的权重值，设a＝0.4，b＝0.3，c＝0.3；
将所述损失函数作为训练集损失值及验证集损失值；
所述矩形框损失值lossrect通过预训练模型使用CLOU_loss方式进行计算，具体过程如下：
CIOU_loss＝1-CIOU
Figure FDA0004026763180000041
其中，IOU＝A/B，A为真实标注框与预测框的交集像素点数量，B为真实标注框与真实框的并集像素点数量；Distance_C为真实标注框与预测框的最小外接矩形的对角线距离，Distance_2为真实标注框与预测框两个中心点的欧式距离；V是衡量长宽比一致性的参数，具体定义如下：
Figure FDA0004026763180000042
其中，wgt是真实框的宽度、hgt是真实框的长度，wp是预测框的宽度、hp是预测框的长度。
7.根据权利要求6所述的一种晶体生长过程中籽晶单晶线棱角的识别检测方法，其特征在于：所述验证集损失值的计算还包括以下步骤：
所述置信度损失lossobj和分类损失lossclc均通过预训练模型使用BCE_loss方式进行计算，具体过程如下：
Figure FDA0004026763180000043
其中f表示样本总量，u表示样本；yf表示标签；d表示预测的输出；
当计算置信度损失值时：f表示参与训练或验证的数据样本量，u表示样本中的特定样本，yf表示样本标注置信度，d表示预测置信度；
当计算分类损失值时：f表示参与训练或验证的数据样本量，u表示样本中的特定样本，yf表示样本标注类别，d表示预测类别；
经过上述计算，得到实时epoch训练完成后权重参数模型在验证集上的损失值；
每经过一个epoch，均得到一个权重参数模型及这一模型在验证集上的损失值。
8.根据权利要求7所述的一种晶体生长过程中籽晶单晶线棱角的识别检测方法，其特征在于：所述根据验证集损失值变化判定预训练模型的学习情况，并实时保存当前训练进度的实时最优模型；经过mepoch训练过程后，m为正整数，获得整体最优模型；包括以下分析步骤：
输出单一epoch的验证集损失值为单一验证集损失值，
当训练过程中单一验证集损失值变小，即模型正在学习图像特征；
当单一验证集损失值趋于不变，即相邻epoch中对应的单一验证集损失值差值小于等于差值阈值，输出模型达到了学习的最大限度；
输出实时最优模型为达到学习的最大限度对应的权重参数模型；
则输出整体最优模型为从训练开始到当前训练过程中验证集损失值最小的权重参数模型，验证集损失值是指mepoch训练过程中满足模型达到学习的最大限度对应的单一验证集损失值构成的数值集合。此整体最优模型即表示350epoch训练过程中的最优模型。
9.根据权利要求8所述的一种晶体生长过程中籽晶单晶线棱角的识别检测方法，其特征在于：所述步骤S4包括以下分析步骤：
将步骤S3中的整体最优模型在测试集上进行测试，计算预测框与数据集标注框的IOU，
利用公式：
Figure FDA0004026763180000051
计算所有类检测的平均精度值mAP，其中AP表示每一类所有图像的平均精度；n为检测的类数目；
所述AP为查准率Precision和查全率Recall与x轴、y轴所围成的面积值；
Figure FDA0004026763180000052
Figure FDA0004026763180000053
其中，TP是指IOU大于预设IOU阈值时检测框的数量，FP是指IOU小于等于预设IOU阈值时检测框的数量，GT是指数据集标注框的数量；
在每一个检测类别上，计算一次AP值，即mAP＝AP；
设置实际生产标准对应的准确率阈值r，若mAP大于等于r，则输出整体最优模型符合实际生产标准。
CN202211717017.XA 2022-12-29 2022-12-29 一种晶体生长过程中籽晶单晶线棱角的识别检测方法 Active CN115880271B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211717017.XA CN115880271B (zh) 2022-12-29 2022-12-29 一种晶体生长过程中籽晶单晶线棱角的识别检测方法
PCT/CN2023/140533 WO2024140400A1 (zh) 2022-12-29 2023-12-21 一种晶体生长过程中籽晶单晶线棱角的识别检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211717017.XA CN115880271B (zh) 2022-12-29 2022-12-29 一种晶体生长过程中籽晶单晶线棱角的识别检测方法

Publications (2)

Publication Number Publication Date
CN115880271A true CN115880271A (zh) 2023-03-31
CN115880271B CN115880271B (zh) 2023-06-20

Family

ID=85757370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211717017.XA Active CN115880271B (zh) 2022-12-29 2022-12-29 一种晶体生长过程中籽晶单晶线棱角的识别检测方法

Country Status (2)

Country Link
CN (1) CN115880271B (zh)
WO (1) WO2024140400A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116841269A (zh) * 2023-07-26 2023-10-03 枣庄杰富意振兴化工有限公司 基于煤焦油生产流程的工艺调整方法、***及存储介质
CN117350984A (zh) * 2023-10-23 2024-01-05 保定景欣电气有限公司 一种单晶硅放肩开叉的检测方法及装置
WO2024140400A1 (zh) * 2022-12-29 2024-07-04 保定景欣电气有限公司 一种晶体生长过程中籽晶单晶线棱角的识别检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113405667A (zh) * 2021-05-20 2021-09-17 湖南大学 基于深度学习的红外热人体姿态识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376773A (zh) * 2018-09-30 2019-02-22 福州大学 基于深度学习的裂纹检测方法
CN112749654A (zh) * 2020-12-31 2021-05-04 南京恩瑞特实业有限公司 一种用于视频大雾监测的深度神经网络模型构建方法、***及装置
CN115496702A (zh) * 2021-06-17 2022-12-20 内蒙古中环协鑫光伏材料有限公司 单晶生长视觉检测方法、***、计算机设备及存储介质
CN115880271B (zh) * 2022-12-29 2023-06-20 保定景欣电气有限公司 一种晶体生长过程中籽晶单晶线棱角的识别检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113405667A (zh) * 2021-05-20 2021-09-17 湖南大学 基于深度学习的红外热人体姿态识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LIANG ZHANG，ET AL.: "Rocket Image Classification Based on Deep Convolutional Neural Network", 《IEEE XPLORE》 *
王佳，等: "基于深度学习的登海605玉米品种真伪鉴别方法研究", 《中国粮油学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024140400A1 (zh) * 2022-12-29 2024-07-04 保定景欣电气有限公司 一种晶体生长过程中籽晶单晶线棱角的识别检测方法
CN116841269A (zh) * 2023-07-26 2023-10-03 枣庄杰富意振兴化工有限公司 基于煤焦油生产流程的工艺调整方法、***及存储介质
CN116841269B (zh) * 2023-07-26 2024-01-23 枣庄杰富意振兴化工有限公司 基于煤焦油生产流程的工艺调整方法、***及存储介质
CN117350984A (zh) * 2023-10-23 2024-01-05 保定景欣电气有限公司 一种单晶硅放肩开叉的检测方法及装置
CN117350984B (zh) * 2023-10-23 2024-05-28 保定景欣电气有限公司 一种单晶硅放肩开叉的检测方法及装置

Also Published As

Publication number Publication date
WO2024140400A1 (zh) 2024-07-04
CN115880271B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN115880271A (zh) 一种晶体生长过程中籽晶单晶线棱角的识别检测方法
CN110717481B (zh) 一种利用级联卷积神经网络实现人脸检测的方法
CN111242127B (zh) 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法
CN115829999A (zh) 一种绝缘子缺陷检测模型生成方法、装置、设备和存储介质
CN108764247B (zh) 基于稠密连接的深度学习物体检测方法及装置
CN109993236A (zh) 基于one-shot Siamese卷积神经网络的少样本满文匹配方法
CN111931751B (zh) 深度学习训练方法、目标物识别方法、***和存储介质
CN110288017B (zh) 基于动态结构优化的高精度级联目标检测方法与装置
CN109711466B (zh) 一种基于边缘保留滤波的cnn高光谱图像分类方法
CN114821102A (zh) 密集柑橘数量检测方法、设备、存储介质及装置
US20240119584A1 (en) Detection method, electronic device and non-transitory computer-readable storage medium
CN112884721B (zh) 一种异常检测方法、***及计算机可读存储介质
CN107590460A (zh) 人脸分类方法、装置及智能终端
CN115797694A (zh) 基于多尺度孪生神经网络的显示面板微缺陷分类方法
CN115050020A (zh) 一种基于改进Mask R-CNN草莓叶面积的智能视觉检测方法及***
CN112541916B (zh) 一种基于稠密连接的废旧塑料图像分割方法
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
CN113808099A (zh) 一种铝材表面缺陷检测装置与方法
Yumang et al. Bacterial Leaf Blight Identification of Rice Fields Using Tiny YOLOv3
CN112101313A (zh) 一种机房机器人巡检方法及***
CN113469984B (zh) 一种基于yolo结构的显示面板外观检测方法
CN113887395A (zh) 一种基于深度可分离卷积YOLOv4模型的滤袋袋口位置检测方法
CN110443259B (zh) 一种从中等分辨率遥感影像中提取甘蔗的方法
CN115512174A (zh) 应用二次IoU损失函数的无锚框目标检测方法
CN110334567B (zh) 一种微地震有效信号检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant