CN117911796B - 一种基于图像识别的智能化数据处理***及方法 - Google Patents
一种基于图像识别的智能化数据处理***及方法 Download PDFInfo
- Publication number
- CN117911796B CN117911796B CN202410303596.6A CN202410303596A CN117911796B CN 117911796 B CN117911796 B CN 117911796B CN 202410303596 A CN202410303596 A CN 202410303596A CN 117911796 B CN117911796 B CN 117911796B
- Authority
- CN
- China
- Prior art keywords
- image data
- data
- calculating
- collected
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 63
- 238000012958 reprocessing Methods 0.000 claims abstract description 5
- 230000007613 environmental effect Effects 0.000 claims abstract description 4
- 230000002159 abnormal effect Effects 0.000 claims description 60
- 238000007781 pre-processing Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000003672 processing method Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Nonlinear Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像识别的智能化数据处理***及方法,属于数据处理技术领域。本发明利用视觉传感器对环境数据进行收集生成图像数据,并对收集的图像数据进行预处理;之后进行特征提取,根据提取的特征对图像数据进行分类;在将图像数据进行分类后,计算收集的图像数据平衡度和可视度,将实时收集的图像数据与分类后的图像数据进行对比分析,计算对图像数据分类的准确度;根据计算得到的一组数据的平衡度、清晰度和准确度计算数据质量,当数据质量低于阈值时进行预警;在发生数据质量预警后,根据数据质量计算原理进行反演,定位影响数据质量预警的因素,将定位数据进行输出,进行重新处理。
Description
技术领域
本发明涉及数据处理技术领域,具体为一种基于图像识别的智能化数据处理***及方法。
背景技术
随着硬件的发展和算法的进步,计算机视觉领域取得了巨大的发展。从最初的简单边缘检测和形状识别,到今天能够实现复杂的目标检测、图像分类和语义分割等任务,计算机视觉已经成为现代技术中的核心。而在计算机视觉中深度学习作为一种基于人工神经网络的机器学习方法,为图像识别带来了革命性的进步。特别是卷积神经网络(CNN)的发展,使得图像识别和分类的准确率大幅提高。深度学习模型通过学习大量的标记数据,能够自动地从图像中学习到特征和模式,从而实现更加精确和智能的图像识别,并且图像识别的智能化数据处理需要大量的标记数据来训练深度学习模型。随着互联网和各种传感器的普及,大量的图像数据被不断地积累和标记。这些数据成为训练深度学习模型的重要资源,使得模型在识别准确率和泛化能力上取得了显著的提升。
由此,在计算机视觉的应用中对于收集的数据的严格要求极为重要,常见的图像数据处理的方式有获取、存储、传输、分析和展示等,大多数在对数据进行初步处理后不会对处理结果进行验证,并且无法在计算数据质量后精确的查找影响数据质量的元素,针对具体元素进行重新处理;根据以上问题本发明提出了一种基于图像识别的智能化数据处理***及方法。
发明内容
本发明的目的在于提供一种基于图像识别的智能化数据处理***及方法,以解决上述背景技术中提出的问题。
为了解决上述技术问题,本发明提供如下技术方案:
一种基于图像识别的智能化数据处理方法,所述方法包括以下步骤:
S100、利用视觉传感器对环境数据进行收集生成图像数据,并对收集的图像数据进行预处理;
进一步的,对收集的数据进行预处理的具体步骤为:
S101、利用视觉传感器对可视范围内的环境进行探测,生成环境的图像数据,设收集到的图像数据个数为,/>表示为计算得到的第1、2、3...b个图像数据,b为正整数;
S102、利用高斯滤波技术对收集到的图像数据进行去噪处理,对图像数据中的像素进行识别,通过对图像数据边缘的像素进行填充的方式,将收集得到的图像的尺寸填充成相同大小。
对收集的图像数据进行预处理可以减少光照、噪声等干扰因素对后续图像数据计算时的影响,减小误差;
S200、对预处理后的图像数据进行特征提取,根据提取的特征对图像数据进行分类;
进一步的,根据提取的特征对图像数据进行分类的具体步骤为:
S201、收集历史中的环境图像数据,设每个图像数据中包含信息的种类为,/>表示每个图像数据中包含的第1、2、3...n种信息,n为正整数;计算每个图像数据中每种信息的出现次数,选择出现次数最多的信息为对应图像数据的特征信息;
S202、根据上述方式,在对收集的所有历史图像数据的信息种类个数进行计算后,得到j个特征信息,利用所有特征信息构建图像数据的特征集为,表示为计算得到的第1、2、3...j个特征信息,j为正整数;根据特征信息将图像分为j个分类;
S203、计算视觉传感器实时收集的每一个图像数据中包含每种信息的个数,提取个数最多的信息为对应的代表信息,最终计算得到每个图像数据的代表信息为,/>表示为计算得到的第1、2、3...b个代表信息,b为正整数;
S204、将计算得到的每个图像的代表信息和特征信息依次进行对比,当判断代表信息和特征信息种类相同时,将图像数据归为特征信息对应的类别中,最终将收集的所有图像数据均进行归类。
通过视觉传感器对环境进行实时监控,并且将收集的数据形成一组图像数据,而对图像数据的分类可以使后续对环境中图像的识别计算等过程更加便捷、迅速。
S300、在将图像数据进行分类后,计算收集的图像数据平衡度;
进一步的,计算收集的图像数据平衡度的具体步骤为:
S301、在将收集得到的每个图像数据进行分类后,分别计算每种分类中图像数据的个数,将计算得到的每种分类中图像数据的个数作为样本数量;经过计算得到每种分类中的图像数据个数为,/>表示第1、2、3...j种数据类别中的图像数据个数,j为正整数;
S302、计算每种分类的图像数据个数的平均值和标准差,公式分别为:
上述公式中,为每种分类中图像数据个数的平均值,/>为计算得到每种分类的图像数据个数的标准差;i的取值为1至j;
S303、计算每种分类中图像数据个数和平均值的差为g_c,将计算得到的每种分类中图像数据个数与平均值的差值和标准差进行对比,当g_c>时,判断对应分类的图像为不平衡图像数据,当g_c≤/>时,判断对应分类的图像为平衡图像数据,设判断得到的不平衡图像数据有x种,平衡图像数据有y种;
S304、根据计算得到不平衡图像数据和平衡图像数据的个数计算收集的图像数据的平衡度,公式为:
上述公式中,表示收集的图像数据的平衡度。
当不同类别的图像数据数量差异较大时,可能导致对图像数据进行计算、识别和分析时误差过大,因此,计算图像数据的平衡度,对平衡度进行调整可以有效的减少计算的误差。
S400、对收集的图像数据进行分析,计算收集到的图像数据的清晰度;
进一步的,计算环境图像数据的可视度的具体步骤为:
S401、提取收集到的图像数据中的像素值,设每个图像数据中的像素构成矩阵为,矩阵中/>为图像中的每个像素点的值,N为像素点的行数,M为像素点的列数,计算可得一个图像数据中的像素点总数为N×M;
S402、计算矩阵中像素值的平均值p_s,之后计算每个像素值和平均值的差值,并取差值的绝对值为p_c,计算每个图像数据的清晰度,公式为:
上述公式中,表示每个图像数据的清晰度,b为收集的图像数据的总数;
S403、收集历史中成功提取到信息的图像数据,计算历史中图像数据的清晰度,之后将计算历史中图像数据的平均值,将计算得到的历史图像数据的清晰度平均值作为实时判断清晰度的阈值de_y;
S404、将计算得到的实时收集的图像数据的清晰度和清晰度阈值de_y进行比较,当/>≥de_y时,判断图像数据清晰,当/><de_y时,判断图像数据不清晰;最终经过判断得到实时收集的图像数据中清晰的图像数据为z个;
S405、计算实时收集的图像数据的可视度,公式为:
上述公式中,为实时收集的图像数据的整体可视度,b为收集的图像数据的总数。通过对每个图像的清晰度进行计算,筛选出收集的图像数据中清晰的图像,根据清晰图像在所有图像中的占比,得到收集的图像数据的可视度,利用可视度作为数据质量的计算元素可以确保收集图像数据的有效性,排出因为可视度不高无法提取信息的图像数据。
S500、将实时收集的图像数据与分类后的图像数据进行对比分析,计算对图像数据分类的准确度;
进一步的,计算对图像数据分类的准确度具体步骤为:
S501、对经过分类后每一种图像数据进行验证,提取每种图像数据分类中特征信息的像素点和图像数据中代表信息的像素点,设特征信息的像素点定位为(a1,a2),并计算其像素值为K_t,对分类中的每个图像数据中代表信息的像素点进行定位为(b1,b2),并且对应的像素值为K;
S502、将计算得到的图像数据代表信息的像素点位置和对应像素值分别和特征信息的像素点位置和对应像素值进行对比;
S503、计算对图像数据分类的准确度,公式为:
上述公式中,表示图像数据分类的准确度,b表示实时收集的图像数据的总数,h1表示经过S502对比后像素点位置相同的图像个数,h2表示对比后像素值相同的图像个数。
S600、根据计算得到的整体图像数据的平衡度、清晰度和准确度计算数据质量,当数据质量低于阈值时进行预警;
进一步的,计算数据质量的具体步骤为:
S601、计算实时收集的图像数据的数据质量,公式为:
上述公式中,表示收集的图像数据的数据质量,/>为图像数据的平衡度,/>为图像数据的可视度,/>为图像数据分类的准确度;
S602、收集历史中视觉传感器收集并提取信息成功,正常工作的图像数据,根据S601的公式计算历史中正常工作时图像数据的数据质量,并计算平均值得到数据质量阈值为Da_y;
S603、根据数据质量阈值对实时收集的图像数据进行判断,当≥Da_y时,判断收集并经过处理后的图像数据质量合格,当/><Da_y时,判断收集并经过处理后的图像数据质量不合格,发出预警。
S700、在发生数据质量预警后,根据数据质量计算原理进行反演,定位影响数据质量预警的因素,将定位数据进行输出,进行重新处理。
进一步的,根据数据质量计算原理进行反演,定位影响数据质量预警的因素的具体步骤为:
S701、当对实时收集的图像数据进行数据质量预警后,将计算得到的平衡度、可视度和准确度作为数据质量计算时的元素,并根据计算数据质量时的顺序进行排序和标记,对数据质量的计算元素进行排序和标记后为平衡度1-可视度2-准确度3;
S702、利用不等式判断异常元素,不等式为:
上述不等式中,f为计算数据质量的每个元素对应的值,e为输入进上述不等式中的第一个元素的标号,T为输入上述公式中判断为异常元素的标号;
S702、利用上述不等式将计算得到的元素根据排序输入进行累加,当满足不等式时,停止计算,判断最后一个输入的元素为异常元素Y1,提取最后一个输入进的异常元素Y1的标号;若元素未完全输入进不等式则清楚之前不等值中的计算值,从异常元素Y1后一个元素进行输入继续计算,直至所有元素均输入进不等式后停止计算;
S703、根据上述方法,最终计算得到异常元素为,为计算得到的第1、2、3...R个异常元素,R为正整数;并且每个异常元素对应的标号为/>,/>表示第1、2、3...R个异常元素的标号;
S704、将上述计算得到所有异常元素的标号在发出数据质量预警后进行输出。
根据上述方法对导致数据质量低于阈值的异常元素进行排查,通过依次计算可以将所有异常元素查找后,对异常元素进行重新处理提取,可以精准和快速的提高图像数据的质量,增加图像数据的有效性,使之后的工作更加完善快速。
一种基于图像识别的智能化数据处理***,智能化数据处理***包括数据收集模块、数据处理模块、元素计算模块、数据质量计算模块、异常元素定位模块和输出模块;
所述数据收集模块用于利用视觉传感器收集环境的图像数据,并将图像数据进行预处理;
所述数据处理模块用于对收集并预处理后的数据进行特征提取,之后根据特征对收集的图像数据进行分类;
所述元素计算模块用于计算实时收集的图像数据的各项指标的值;
所述数据质量计算模块用于将计算得到的图像数据各种指标的值作为数据元素,计算图像数据的数据质量;
所述异常元素定位模块用于在发出数据异常预警时,根据元素和、数据质量阈值的倍数反向推演判断导致发出预警的异常元素,并对异常元素进行定位;
所述输出模块用于将计算得到的异常元素的标号在发出预警后进行输出。
元素计算模块包括平衡度计算单元、可视度计算单元和准确度计算单元;
所述平衡度计算单元用于对分类后的每种图像数据中的图像个数进行计算,判断每种图像数据中图像个数的差异,计算图像数据的平衡度;
所述可视度计算单元用于对图像数据中的像素值进行计算,判断收集的每个图像数据的清晰度,根据收集图像数据整体清晰度的比值计算图像数据的可视度;
所述准确度计算单元用于二次对图像数据的分类进行计算,判断第一次分类的准确度。
与现有技术相比,本发明所达到的有益效果是:
1、本发明通过对图像数据的平衡度、可视度和准确度进行分别计算,将三种值作为计算图像数据质量的元素,可以有效的体现出所收集的图像数据的有效性和完整性。
2、本发明通过对收集的图像数据的数据质量进行计算,并且和历史数据质量阈值进行比较,可以判断实时收集的图像数据的可用性,及时的排查出不可用的图像数据进行重新处理,提高了***的工作效率。
3、本发明根据图像数据质量的计算原理进行反演,对导致图像数据质量低的异常元素进行精确查找定位,得到异常元素在计算数据质量时的位置,最终将定位信息进行输出,可以使***更快的对异常元素进行调整,加快***的工作速度。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1是本发明一种基于图像识别的智能化数据处理***的模块分布图;
图2是本发明一种基于图像识别的智能化数据处理方法的步骤示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-图2,本发明提供技术方案:
一种基于图像识别的智能化数据处理方法,所述方法包括以下步骤:
S100、利用视觉传感器对环境数据进行收集生成图像数据,并对收集的图像数据进行预处理;
对收集的数据进行预处理的具体步骤为:
S101、利用视觉传感器对可视范围内的环境进行探测,生成环境的图像数据,设收集到的图像数据个数为,/>表示为计算得到的第1、2、3...b个图像数据,b为正整数;
S102、利用高斯滤波技术对收集到的图像数据进行去噪处理,对图像数据中的像素进行识别,通过对图像数据边缘的像素进行填充的方式,将收集得到的图像的尺寸填充成相同大小。
对收集的图像数据进行预处理可以减少光照、噪声等干扰因素对后续图像数据计算时的影响,减小误差;
S200、对预处理后的图像数据进行特征提取,根据提取的特征对图像数据进行分类;
根据提取的特征对图像数据进行分类的具体步骤为:
S201、收集历史中的环境图像数据,设每个图像数据中包含信息的种类为,/>表示每个图像数据中包含的第1、2、3...n种信息,n为正整数;计算每个图像数据中每种信息的出现次数,选择出现次数最多的信息为对应图像数据的特征信息;
S202、根据上述方式,在对收集的所有历史图像数据的信息种类个数进行计算后,得到j个特征信息,利用所有特征信息构建图像数据的特征集为,表示为计算得到的第1、2、3...j个特征信息,j为正整数;根据特征信息将图像分为j个分类;
S203、计算视觉传感器实时收集的每一个图像数据中包含每种信息的个数,提取个数最多的信息为对应的代表信息,最终计算得到每个图像数据的代表信息为,/>表示为计算得到的第1、2、3...b个代表信息,b为正整数;
S204、将计算得到的每个图像的代表信息和特征信息依次进行对比,当判断代表信息和特征信息种类相同时,将图像数据归为特征信息对应的类别中,最终将收集的所有图像数据均进行归类。
通过视觉传感器对环境进行实时监控,并且将收集的数据形成一组图像数据,而对图像数据的分类可以使后续对环境中图像的识别计算等过程更加便捷、迅速。
S300、在将图像数据进行分类后,计算收集的图像数据平衡度;
计算收集的图像数据平衡度的具体步骤为:
S301、在将收集得到的每个图像数据进行分类后,分别计算每种分类中图像数据的个数,将计算得到的每种分类中图像数据的个数作为样本数量;经过计算得到每种分类中的图像数据个数为,/>表示第1、2、3...j种数据类别中的图像数据个数,j为正整数;
S302、计算每种分类的图像数据个数的平均值和标准差,公式分别为:
上述公式中,为每种分类中图像数据个数的平均值,/>为计算得到每种分类的图像数据个数的标准差;i的取值为1至j;
S303、计算每种分类中图像数据个数和平均值的差为g_c,将计算得到的每种分类中图像数据个数与平均值的差值和标准差进行对比,当g_c>时,判断对应分类的图像为不平衡图像数据,当g_c≤/>时,判断对应分类的图像为平衡图像数据,设判断得到的不平衡图像数据有x种,平衡图像数据有y种;
S304、根据计算得到不平衡图像数据和平衡图像数据的个数计算收集的图像数据的平衡度,公式为:
上述公式中,表示收集的图像数据的平衡度。
当不同类别的图像数据数量差异较大时,可能导致对图像数据进行计算、识别和分析时误差过大,因此,计算图像数据的平衡度,对平衡度进行调整可以有效的减少计算的误差。
S400、对收集的图像数据进行分析,计算收集到的图像数据的清晰度;
计算环境图像数据的可视度的具体步骤为:
S401、提取收集到的图像数据中的像素值,设每个图像数据中的像素构成矩阵为,矩阵中/>为图像中的每个像素点的值,N为像素点的行数,M为像素点的列数,计算可得一个图像数据中的像素点总数为N×M;
S402、计算矩阵中像素值的平均值p_s,之后计算每个像素值和平均值的差值,并取差值的绝对值为p_c,计算每个图像数据的清晰度,公式为:
上述公式中,表示每个图像数据的清晰度,b为收集的图像数据的总数;
S403、收集历史中成功提取到信息的图像数据,计算历史中图像数据的清晰度,之后将计算历史中图像数据的平均值,将计算得到的历史图像数据的清晰度平均值作为实时判断清晰度的阈值de_y;
S404、将计算得到的实时收集的图像数据的清晰度和清晰度阈值de_y进行比较,当/>≥de_y时,判断图像数据清晰,当/><de_y时,判断图像数据不清晰;最终经过判断得到实时收集的图像数据中清晰的图像数据为z个;
S405、计算实时收集的图像数据的可视度,公式为:
上述公式中,为实时收集的图像数据的整体可视度,b为收集的图像数据的总数。通过对每个图像的清晰度进行计算,筛选出收集的图像数据中清晰的图像,根据清晰图像在所有图像中的占比,得到收集的图像数据的可视度,利用可视度作为数据质量的计算元素可以确保收集图像数据的有效性,排出因为可视度不高无法提取信息的图像数据。
S500、将实时收集的图像数据与分类后的图像数据进行对比分析,计算对图像数据分类的准确度;
计算对图像数据分类的准确度具体步骤为:
S501、对经过分类后每一种图像数据进行验证,提取每种图像数据分类中特征信息的像素点和图像数据中代表信息的像素点,设特征信息的像素点定位为(a1,a2),并计算其像素值为K_t,对分类中的每个图像数据中代表信息的像素点进行定位为(b1,b2),并且对应的像素值为K;
S502、将计算得到的图像数据代表信息的像素点位置和对应像素值分别和特征信息的像素点位置和对应像素值进行对比;
S503、计算对图像数据分类的准确度,公式为:
上述公式中,表示图像数据分类的准确度,b表示实时收集的图像数据的总数,h1表示经过S502对比后像素点位置相同的图像个数,h2表示对比后像素值相同的图像个数。
S600、根据计算得到的整体图像数据的平衡度、清晰度和准确度计算数据质量,当数据质量低于阈值时进行预警;
计算数据质量的具体步骤为:
S601、计算实时收集的图像数据的数据质量,公式为:
上述公式中,表示收集的图像数据的数据质量,/>为图像数据的平衡度,/>为图像数据的可视度,/>为图像数据分类的准确度;
S602、收集历史中视觉传感器收集并提取信息成功,正常工作的图像数据,根据S601的公式计算历史中正常工作时图像数据的数据质量,并计算平均值得到数据质量阈值为Da_y;
S603、根据数据质量阈值对实时收集的图像数据进行判断,当≥Da_y时,判断收集并经过处理后的图像数据质量合格,当/><Da_y时,判断收集并经过处理后的图像数据质量不合格,发出预警。
S700、在发生数据质量预警后,根据数据质量计算原理进行反演,定位影响数据质量预警的因素,将定位数据进行输出,进行重新处理。
根据数据质量计算原理进行反演,定位影响数据质量预警的因素的具体步骤为:
S701、当对实时收集的图像数据进行数据质量预警后,将计算得到的平衡度、可视度和准确度作为数据质量计算时的元素,并根据计算数据质量时的顺序进行排序和标记,对数据质量的计算元素进行排序和标记后为平衡度1-可视度2-准确度3;
S702、利用不等式判断异常元素,不等式为:
上述不等式中,f为计算数据质量的每个元素对应的值,e为输入进上述不等式中的第一个元素的标号,T为输入上述公式中判断为异常元素的标号;
S702、利用上述不等式将计算得到的元素根据排序输入进行累加,当满足不等式时,停止计算,判断最后一个输入的元素为异常元素Y1,提取最后一个输入进的异常元素Y1的标号;若元素未完全输入进不等式则清楚之前不等值中的计算值,从异常元素Y1后一个元素进行输入继续计算,直至所有元素均输入进不等式后停止计算;
S703、根据上述方法,最终计算得到异常元素为,为计算得到的第1、2、3...R个异常元素,R为正整数;并且每个异常元素对应的标号为/>,/>表示第1、2、3...R个异常元素的标号;
S704、将上述计算得到所有异常元素的标号在发出数据质量预警后进行输出。
根据上述方法对导致数据质量低于阈值的异常元素进行排查,通过依次计算可以将所有异常元素查找后,对异常元素进行重新处理提取,可以精准和快速的提高图像数据的质量,增加图像数据的有效性,使之后的工作更加完善快速。
一种基于图像识别的智能化数据处理***,智能化数据处理***包括数据收集模块、数据处理模块、元素计算模块、数据质量计算模块、异常元素定位模块和输出模块;
所述数据收集模块用于利用视觉传感器收集环境的图像数据,并将图像数据进行预处理;
所述数据处理模块用于对收集并预处理后的数据进行特征提取,之后根据特征对收集的图像数据进行分类;
所述元素计算模块用于计算实时收集的图像数据的各项指标的值;
所述数据质量计算模块用于将计算得到的图像数据各种指标的值作为数据元素,计算图像数据的数据质量;
所述异常元素定位模块用于在发出数据异常预警时,根据元素和、数据质量阈值的倍数反向推演判断导致发出预警的异常元素,并对异常元素进行定位;
所述输出模块用于将计算得到的异常元素的标号在发出预警后进行输出。
元素计算模块包括平衡度计算单元、可视度计算单元和准确度计算单元;
所述平衡度计算单元用于对分类后的每种图像数据中的图像个数进行计算,判断每种图像数据中图像个数的差异,计算图像数据的平衡度;
所述可视度计算单元用于对图像数据中的像素值进行计算,判断收集的每个图像数据的清晰度,根据收集图像数据整体清晰度的比值计算图像数据的可视度;
所述准确度计算单元用于二次对图像数据的分类进行计算,判断第一次分类的准确度。
实施例1
现对某一环境的数据利用视觉传感器进行监控,将收集的环境数据生成图像数据,对收集的图像数据进行预处理后,进行特征提取,将图像数据根据提取的特征进行分类,设图像数据分类为s1=,s2=/>,s3=/>,s4=
计算图像数据的平衡度,根据公式计算得到平均值为3,标准差为0.82,根据公式:
计算得到图像数据的平衡度为50%;
设某一图像的像素值的矩阵为,计算矩阵的清晰度,公式为:
计算得到清晰度为24,根据上述方法计算得到16个图像的清晰度,根据历史数据计算得到清晰度阈值为20,经过对比得到大于阈值的图像数据有14个,计算图像数据的可视度,公式为:
计算得到的图像数据的可视度为87.5%;
经过对分类后每种图像数据中特征信息和代表信息像素的对比,根据下列公式计算准确度:
计算得到图像数据的准确度为93.8%;
计算图像数据的数据质量,公式为:
计算结果为77.1%;
设根据历史数据得知数据质量的阈值为78%,判断收集的实时图像数据的数据质量较低,发出预警;
对三种数据进行排序和标号为平衡度1-可视度2-准确度3,根据公式查找异常元素,
首先将平衡度输入公式得到50%<78%,因此判断平衡度为异常元素,将平衡度的标号进行提取为1,之后清空公式内的值,将可视度输入公式得到 87.5%>78%,不满足条件继续添加元素,将准确度输入公式得到181.3%>156%,不满足条件,至此所有元素均计算结束,停止运算,得到的异常元素为平衡度,将平衡度的标号1进行输出。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于图像识别的智能化数据处理方法,其特征在于:所述方法包括以下步骤:
S100、利用视觉传感器对环境数据进行收集生成图像数据,并对收集的图像数据进行预处理;
S200、对预处理后的图像数据进行特征提取,根据提取的特征对图像数据进行分类;
S300、在将图像数据进行分类后,计算收集的整体图像数据平衡度;
S400、对收集的图像数据进行分析,计算收集到的图像数据的可视度;
S500、将实时收集的图像数据与分类后的图像数据进行对比分析,计算对图像数据分类的准确度;
S600、根据计算得到整体的图像数据的平衡度、可视度和准确度计算数据质量,当数据质量低于阈值时进行预警;
S700、在发生数据质量预警后,根据数据质量计算原理进行反演,定位影响数据质量预警的因素,将定位数据进行输出,进行重新处理。
2.根据权利要求1所述的一种基于图像识别的智能化数据处理方法,其特征在于:所述S100中对收集的数据进行预处理的具体步骤为:
S101、利用视觉传感器对可视范围内的环境进行探测,生成环境的图像数据,设收集到的图像数据个数为,/>表示为计算得到的第1、2、3...b个图像数据,b为正整数;
S102、利用高斯滤波技术对收集到的图像数据进行去噪处理,对图像数据中的像素进行识别,通过对图像数据边缘的像素进行填充的方式,将收集得到的图像的尺寸填充成相同大小。
3.根据权利要求1所述的一种基于图像识别的智能化数据处理方法,其特征在于:所述S200中根据提取的特征对图像数据进行分类的具体步骤为:
S201、收集历史中的环境图像数据,设每个图像数据中包含信息的种类为,/>表示每个图像数据中包含的第1、2、3...n种信息,n为正整数;计算每个图像数据中每种信息的出现次数,选择出现次数最多的信息为对应图像数据的特征信息;
S202、根据上述方式,在对收集的所有历史图像数据的信息种类个数进行计算后,得到j个特征信息,利用所有特征信息构建图像数据的特征集为,/>表示为计算得到的第1、2、3...j个特征信息,j为正整数;根据特征信息将图像分为j个分类;
S203、计算视觉传感器实时收集的每一个图像数据中包含每种信息的个数,提取个数最多的信息为对应的代表信息,最终计算得到每个图像数据的代表信息为,/>表示为计算得到的第1、2、3...b个代表信息,b为正整数;
S204、将计算得到的每个图像的代表信息和特征信息依次进行对比,当判断代表信息和特征信息种类相同时,将图像数据归为特征信息对应的类别中,最终将收集的所有图像数据均进行归类。
4.根据权利要求1所述的一种基于图像识别的智能化数据处理方法,其特征在于:所述S300中计算收集的图像数据平衡度的具体步骤为:
S301、在将收集得到的每个图像数据进行分类后,分别计算每种分类中图像数据的个数,将计算得到的每种分类中图像数据的个数作为样本数量;经过计算得到每种分类中的图像数据个数为,/>表示第1、2、3...j种数据类别中的图像数据个数,j为正整数;
S302、计算每种分类的图像数据个数的平均值和标准差,公式分别为:
上述公式中,为每种分类中图像数据个数的平均值,/>为计算得到每种分类的图像数据个数的标准差;i的取值为1至j;
S303、计算每种分类中图像数据个数和平均值的差为g_c,将计算得到的每种分类中图像数据个数与平均值的差值和标准差进行对比,当g_c>时,判断对应分类的图像为不平衡图像数据,当g_c≤/>时,判断对应分类的图像为平衡图像数据,设判断得到的不平衡图像数据有x种,平衡图像数据有y种;
S304、根据计算得到不平衡图像数据和平衡图像数据的个数计算收集的图像数据的平衡度,公式为:
上述公式中,表示收集的图像数据的平衡度。
5.根据权利要求1所述的一种基于图像识别的智能化数据处理方法,其特征在于:所述S400中计算环境图像数据的可视度的具体步骤为:
S401、提取收集到的图像数据中的像素值,设每个图像数据中的像素构成矩阵为,矩阵中/>为图像中的每个像素点的值,N为像素点的行数,M为像素点的列数,计算可得一个图像数据中的像素点总数为N×M;
S402、计算矩阵中像素值的平均值p_s,之后计算每个像素值和平均值的差值,并取差值的绝对值为p_c,计算每个图像数据的清晰度,公式为:
上述公式中,表示每个图像数据的清晰度,b为收集的图像数据的总数;
S403、收集历史中成功提取到信息的图像数据,计算历史中图像数据的清晰度,之后将计算历史中图像数据的平均值,将计算得到的历史图像数据的清晰度平均值作为实时判断清晰度的阈值de_y;
S404、将计算得到的实时收集的图像数据的清晰度和清晰度阈值de_y进行比较,当≥de_y时,判断图像数据清晰,当/><de_y时,判断图像数据不清晰;最终经过判断得到实时收集的图像数据中清晰的图像数据为z个;
S405、计算实时收集的图像数据的可视度,公式为:
上述公式中,为实时收集的图像数据的整体可视度,b为收集的图像数据的总数。
6.根据权利要求1所述的一种基于图像识别的智能化数据处理方法,其特征在于:所述S500中计算对图像数据分类的准确度具体步骤为:
S501、对经过分类后每一种图像数据进行验证,提取每种图像数据分类中特征信息的像素点和图像数据中代表信息的像素点,设特征信息的像素点定位为(a1,a2),并计算其像素值为K_t,对分类中的每个图像数据中代表信息的像素点进行定位为(b1,b2),并且对应的像素值为K;
S502、将计算得到的图像数据代表信息的像素点位置和对应像素值分别和特征信息的像素点位置和对应像素值进行对比;
S503、计算对图像数据分类的准确度,公式为:
上述公式中,表示图像数据分类的准确度,b表示实时收集的图像数据的总数,h1表示经过S502对比后像素点位置相同的图像个数,h2表示对比后像素值相同的图像个数。
7.根据权利要求1所述的一种基于图像识别的智能化数据处理方法,其特征在于:所述S600中计算数据质量的具体步骤为:
S601、计算实时收集的图像数据的数据质量,公式为:
上述公式中,表示收集的图像数据的数据质量,/>为图像数据的平衡度,/>为图像数据的可视度,/>为图像数据分类的准确度;
S602、收集历史中视觉传感器收集并提取信息成功,正常工作的图像数据,根据S601的公式计算历史中正常工作时图像数据的数据质量,并计算平均值得到数据质量阈值为Da_y;
S603、根据数据质量阈值对实时收集的图像数据进行判断,当≥Da_y时,判断收集并经过处理后的图像数据质量合格,当/><Da_y时,判断收集并经过处理后的图像数据质量不合格,发出预警。
8.根据权利要求7所述的一种基于图像识别的智能化数据处理方法,其特征在于:所述S700中根据数据质量计算原理进行反演,定位影响数据质量预警的因素的具体步骤为:
S701、当对实时收集的图像数据进行数据质量预警后,将计算得到的平衡度、可视度和准确度作为数据质量计算时的元素,并根据计算数据质量时的顺序进行排序和标记,对数据质量的计算元素进行排序和标记后为平衡度1-可视度2-准确度3;
S702、利用不等式判断异常元素,不等式为:
上述不等式中,f为计算数据质量的每个元素对应的值,e为输入进上述不等式中的第一个元素的标号,T为输入上述公式中判断为异常元素的标号;
S702、利用上述不等式将计算得到的元素根据排序输入进行累加,当满足不等式时,停止计算,判断最后一个输入的元素为异常元素Y1,提取最后一个输入进的异常元素Y1的标号;若元素未完全输入进不等式则清楚之前不等值中的计算值,从异常元素Y1后一个元素进行输入继续计算,直至所有元素均输入进不等式后停止计算;
S703、根据上述方法,最终计算得到异常元素为,/>为计算得到的第1、2、3...R个异常元素,R为正整数;并且每个异常元素对应的标号为,/>表示第1、2、3...R个异常元素的标号;
S704、将上述计算得到所有异常元素的标号在发出数据质量预警后进行输出。
9.一种基于图像识别的智能化数据处理***,其特征在于:智能化数据处理***包括数据收集模块、数据处理模块、元素计算模块、数据质量计算模块、异常元素定位模块和输出模块;
所述数据收集模块用于利用视觉传感器收集环境的图像数据,并将图像数据进行预处理;
所述数据处理模块用于对收集并预处理后的数据进行特征提取,之后根据特征对收集的图像数据进行分类;
所述元素计算模块用于计算实时收集的图像数据的各项指标的值;
所述数据质量计算模块用于将计算得到的图像数据各种指标的值作为数据元素,计算图像数据的数据质量;
所述异常元素定位模块用于在发出数据异常预警时,根据元素和、数据质量阈值的倍数反向推演判断导致发出预警的异常元素,并对异常元素进行定位;
所述输出模块用于将计算得到的异常元素的标号在发出预警后进行输出。
10.根据权利要求9所述的一种基于图像识别的智能化数据处理***,其特征在于:所述元素计算模块包括平衡度计算单元、可视度计算单元和准确度计算单元;
所述平衡度计算单元用于对分类后的每种图像数据中的图像个数进行计算,判断每种图像数据中图像个数的差异,计算图像数据的平衡度;
所述可视度计算单元用于对图像数据中的像素值进行计算,判断收集的每个图像数据的清晰度,根据收集图像数据整体清晰度的比值计算图像数据的可视度;
所述准确度计算单元用于二次对图像数据的分类进行计算,判断第一次分类的准确度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410303596.6A CN117911796B (zh) | 2024-03-18 | 2024-03-18 | 一种基于图像识别的智能化数据处理***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410303596.6A CN117911796B (zh) | 2024-03-18 | 2024-03-18 | 一种基于图像识别的智能化数据处理***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117911796A CN117911796A (zh) | 2024-04-19 |
CN117911796B true CN117911796B (zh) | 2024-06-21 |
Family
ID=90695063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410303596.6A Active CN117911796B (zh) | 2024-03-18 | 2024-03-18 | 一种基于图像识别的智能化数据处理***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117911796B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107610101A (zh) * | 2017-08-24 | 2018-01-19 | 昆明理工大学 | 一种测量数字图像视觉平衡质量的方法 |
CN117496532A (zh) * | 2023-11-09 | 2024-02-02 | 中通服和信科技有限公司 | 基于0cr的智慧识别工具 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163300B (zh) * | 2019-05-31 | 2021-04-23 | 北京金山云网络技术有限公司 | 一种图像分类方法、装置、电子设备及存储介质 |
-
2024
- 2024-03-18 CN CN202410303596.6A patent/CN117911796B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107610101A (zh) * | 2017-08-24 | 2018-01-19 | 昆明理工大学 | 一种测量数字图像视觉平衡质量的方法 |
CN117496532A (zh) * | 2023-11-09 | 2024-02-02 | 中通服和信科技有限公司 | 基于0cr的智慧识别工具 |
Also Published As
Publication number | Publication date |
---|---|
CN117911796A (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116188475B (zh) | 一种外观缺陷自动光学检测的智慧控制方法、***及介质 | |
CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
CN111242899B (zh) | 基于图像的瑕疵检测方法及计算机可读存储介质 | |
CN113469951B (zh) | 一种基于级联区域卷积神经网络的轮毂缺陷检测方法 | |
CN115439458A (zh) | 基于深度图注意力的工业图像缺陷目标检测算法 | |
CN115631472B (zh) | 一种高速公路行人闯入智能检测方法 | |
CN111415339A (zh) | 一种复杂纹理工业产品图像缺陷检测方法 | |
CN114881998A (zh) | 一种基于深度学习的工件表面缺陷检测方法及*** | |
CN115019294A (zh) | 一种指针式仪表读数识别方法及*** | |
CN110728269A (zh) | 一种高铁接触网支柱杆号牌识别方法 | |
CN117911796B (zh) | 一种基于图像识别的智能化数据处理***及方法 | |
CN115984215A (zh) | 一种基于双生网络的纤维束缺陷检测方法 | |
CN115760808A (zh) | 平板玻璃尺寸测量方法、***、装置及可读存储介质 | |
CN115200513A (zh) | 一种旋转体夹具同轴度跳动检测分析控制*** | |
CN115601293A (zh) | 对象检测方法、装置、电子设备及可读存储介质 | |
CN112508946B (zh) | 一种基于对抗神经网络的电缆隧道异常检测方法 | |
CN114662594A (zh) | 一种目标特征识别分析*** | |
CN113220970A (zh) | 一种基于区块链的电商大数据平台 | |
CN117523324B (zh) | 图像处理方法和图像样本分类方法、装置和存储介质 | |
CN117576098B (zh) | 基于分割的细胞***均衡度评估方法及设备 | |
CN117654907B (zh) | 用于带料检测机的自动剔除方法及*** | |
CN118411576A (zh) | 一种基于数据处理的纸箱分类方法及装置 | |
CN118261878A (zh) | 一种基于ai视觉检测算法的光伏组件评估方法及*** | |
CN114708268A (zh) | 一种五金零件缺陷检测方法及*** | |
CN115273093A (zh) | 基于机器视觉的字轮式仪表识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |