CN117911409B - 一种基于机器视觉的手机屏坏线缺陷诊断方法 - Google Patents

Abstract

本发明涉及图像诊断技术领域，尤其涉及一种基于机器视觉的手机屏坏线缺陷诊断方法。所述方法包括以下步骤：获取手机屏图像；对手机屏图像进行ROI区域分割，生成标准手机屏ROI区域图像；对标准手机屏ROI区域图像进行局部区域像素特征匹配，生成坏线特征匹配结果数据；对坏线特征匹配结果数据进行坏线模式匹配，生成坏线模式匹配结果数据；对坏线模式匹配结果数据进行坏线定位，生成坏线定位位置数据；对坏线定位位置数据进行坏线分类预测，生成坏线分类预测数据。本发明在定位坏线的同时进行了分类预测，即判断坏线的类型和严重程度，提高了坏线诊断的精度和效率。

Description

一种基于机器视觉的手机屏坏线缺陷诊断方法

技术领域

本发明涉及图像诊断技术领域，尤其涉及一种基于机器视觉的手机屏坏线缺陷诊断方法。

背景技术

早期，手机屏坏线诊断主要依赖人工目测，效率低下且易出错。随着电子技术的发展，自动光学检测技术应运而生。随着科技的不断进步，基于图像处理的方法逐渐成熟。通过将屏幕图像数字化，可以使用图像处理算法检测出屏幕上的线条缺陷。这些算法可以识别像素点的亮度和颜色变化，从而准确地定位并标记出缺陷线条。然而，这种方法需要大量的计算资源和复杂的算法，限制了其在大规模生产中的应用。随着人工智能技术的兴起，深度学习和神经网络成为手机屏幕线缺陷诊断的新一代技术。利用大量的训练数据，深度学习模型可以自动学习识别不同类型的线缺陷，无需显式编程。这种方法具有较高的准确性和效率，使得手机制造商能够在生产线上快速检测和定位屏幕线缺陷，提高了产品质量和生产效率。然而目前的传统手机屏坏线诊断在对手机屏坏线上不能很好的精准定位坏线区域，导致坏线诊断的精准性和效率较低。

发明内容

基于此，有必要提供一种基于机器视觉的手机屏坏线缺陷诊断方法，以解决至少一个上述技术问题。

为实现上述目的，一种基于机器视觉的手机屏坏线缺陷诊断方法，所述方法包括以下步骤：

步骤S1：获取手机屏图像；对手机屏图像进行ROI区域分割，生成标准手机屏ROI区域图像；

步骤S2：对标准手机屏ROI区域图像进行局部区域像素特征匹配，生成坏线特征匹配结果数据；对坏线特征匹配结果数据进行坏线模式匹配，生成坏线模式匹配结果数据；

步骤S3：对坏线模式匹配结果数据进行坏线定位，生成坏线定位位置数据；对坏线定位位置数据进行坏线分类预测，生成坏线分类预测数据；

步骤S4：对坏线分类预测数据进行坏线严重程度评估，生成坏线严重程度评估数据；将坏线定位位置数据、坏线分类预测数据和坏线严重程度评估数据进行缺陷数据整合，从而生成手机屏坏线缺陷诊断报告。

本发明通过对手机屏图像进行ROI区域分割，集中在屏幕区域进行诊断，避免了对整张图像进行分析时可能引入的干扰因素。局部区域像素特征匹配和坏线模式匹配进一步提高了诊断的准确性，能够精准地定位和识别坏线。坏线特征匹配和模式匹配可以有效地区分真实的坏线和图像中其他可能的干扰因素，从而降低了误报的概率。这有助于制造商避免不必要的维修或更换。自动化的流程大大提高了诊断的效率。不再需要依赖人工目测，整个诊断过程可以在较短的时间内完成，有助于快速定位和处理屏幕坏线问题。步骤S3和S4中的坏线定位、分类预测和严重程度评估使得诊断更加综合和多层次。不仅可以确定坏线的位置，还可以预测坏线的类型和程度，为制造商提供更多信息以采取适当的维修措施。手机屏坏线缺陷诊断报告整合了各个步骤的数据，提供了清晰的诊断结果和建议。这种报告可以帮助制造商更好地了解屏幕的问题，有针对性地进行维修和改进。因此，本发明通过对手机屏幕图像进行感兴趣区域分割，并采用了像素特征匹配和模式匹配的方法，在定位坏线的同时，进行了分类预测，即判断坏线的类型和严重程度，提高了坏线诊断的精度和效率。

本发明的有益效果在于通过细分步骤，从图像获取、ROI区域分割、像素特征匹配、到坏线模式匹配和分类预测，每一步的专注和精确处理能够显著提高最终缺陷诊断的准确性。特别是局部区域像素特征匹配和坏线模式匹配，可以精确识别出细微的坏线特征，减少误诊和漏诊。整个流程可以实现高度自动化，减少人工介入，提高诊断速度和效率。自动化流程可以处理大量数据，适合于生产线或维修中心的快速检测需求。生成的手机屏坏线缺陷诊断报告不仅包含了坏线的位置信息，还综合了坏线的类型、密集度和严重程度，为维修人员提供了全面、详细的缺陷信息，有助于他们制定更为精确和有效的维修计划。通过准确的缺陷诊断，可以更好地决定是进行屏幕维修还是更换，从而优化成本支出。对于轻微的问题，可能通过简单的维修就能解决，而对于严重的坏线缺陷，则可能需要更换屏幕。准确快速地诊断和解决屏幕坏线问题，能够显著提升用户对产品和服务的满意度。这对于维持品牌声誉和用户忠诚度是非常重要的。生成的详细诊断报告不仅用于当前的缺陷修复，还可以作为质量控制和产品改进的宝贵数据资源。通过分析这些数据，制造商可以发现产品设计或制造过程中的潜在问题，并据此进行优化。因此，本发明通过对手机屏幕图像进行感兴趣区域分割，并采用了像素特征匹配和模式匹配的方法，在定位坏线的同时，进行了分类预测，即判断坏线的类型和严重程度，提高了坏线诊断的精度和效率。

附图说明

图1为一种基于机器视觉的手机屏坏线缺陷诊断方法的步骤流程示意图；

图2为图1中步骤S1的详细实施步骤流程示意图；

图3为图2中步骤S14的详细实施步骤流程示意图；

图4为图1中步骤S2的详细实施步骤流程示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面结合附图对本发明专利的技术方法进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域所属的技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器方法和/或微控制器方法中实现这些功能实体。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

为实现上述目的，请参阅图1至图4，一种基于机器视觉的手机屏坏线缺陷诊断方法，所述方法包括以下步骤：

步骤S1：获取手机屏图像；对手机屏图像进行ROI区域分割，生成标准手机屏ROI区域图像；

步骤S2：对标准手机屏ROI区域图像进行局部区域像素特征匹配，生成坏线特征匹配结果数据；对坏线特征匹配结果数据进行坏线模式匹配，生成坏线模式匹配结果数据；

步骤S3：对坏线模式匹配结果数据进行坏线定位，生成坏线定位位置数据；对坏线定位位置数据进行坏线分类预测，生成坏线分类预测数据；

步骤S4：对坏线分类预测数据进行坏线严重程度评估，生成坏线严重程度评估数据；将坏线定位位置数据、坏线分类预测数据和坏线严重程度评估数据进行缺陷数据整合，从而生成手机屏坏线缺陷诊断报告。

本发明通过对手机屏图像进行ROI区域分割，集中在屏幕区域进行诊断，避免了对整张图像进行分析时可能引入的干扰因素。局部区域像素特征匹配和坏线模式匹配进一步提高了诊断的准确性，能够精准地定位和识别坏线。坏线特征匹配和模式匹配可以有效地区分真实的坏线和图像中其他可能的干扰因素，从而降低了误报的概率。这有助于制造商避免不必要的维修或更换。自动化的流程大大提高了诊断的效率。不再需要依赖人工目测，整个诊断过程可以在较短的时间内完成，有助于快速定位和处理屏幕坏线问题。步骤S3和S4中的坏线定位、分类预测和严重程度评估使得诊断更加综合和多层次。不仅可以确定坏线的位置，还可以预测坏线的类型和程度，为制造商提供更多信息以采取适当的维修措施。手机屏坏线缺陷诊断报告整合了各个步骤的数据，提供了清晰的诊断结果和建议。这种报告可以帮助制造商更好地了解屏幕的问题，有针对性地进行维修和改进。因此，本发明通过对手机屏幕图像进行感兴趣区域分割，并采用了像素特征匹配和模式匹配的方法，在定位坏线的同时，进行了分类预测，即判断坏线的类型和严重程度，提高了坏线诊断的精度和效率。

本发明实施例中，参考图1所述，为本发明一种基于机器视觉的手机屏坏线缺陷诊断方法的步骤流程示意图，在本实例中，所述一种基于机器视觉的手机屏坏线缺陷诊断方法包括以下步骤：

步骤S1：获取手机屏图像；对手机屏图像进行ROI区域分割，生成标准手机屏ROI区域图像；

本发明实施例中，通过使用相机或其他图像采集设备获取手机屏幕的图像。这可以通过连接手机到计算机，使用手机摄像头，或者通过其他适当的方式进行。对获取的手机屏图像进行预处理，包括去除噪声、调整亮度和对比度等。这有助于提高后续处理步骤的准确性和稳定性。利用图像处理技术，例如边缘检测、阈值分割等，将手机屏幕图像分割成感兴趣区域（Region of Interest，ROI）。ROI即手机屏幕中包含实际显示内容的区域，将其提取出来以便后续处理。将分割得到的ROI区域提取出来，经过必要的调整和标准化，生成标准的手机屏ROI区域图像。这可能包括调整图像的大小、色彩空间等，以确保后续处理的一致性和准确性。将生成的标准手机屏ROI区域图像保存，以备后续步骤使用。

步骤S2：对标准手机屏ROI区域图像进行局部区域像素特征匹配，生成坏线特征匹配结果数据；对坏线特征匹配结果数据进行坏线模式匹配，生成坏线模式匹配结果数据；

本发明实施例中，通过对标准手机屏ROI区域图像中的局部区域进行特征提取。这可以使用各种图像处理技术，例如局部二值模式（Local Binary Patterns）、灰度共生矩阵（Gray Level Co-occurrence Matrix）、Harris角点检测等。选择合适的特征提取方法取决于坏线的特性和形状。利用特征提取得到的特征，对待检测图像进行类似的特征提取，并使用匹配算法比如特征匹配算法（如SIFT、SURF、ORB等）进行局部区域像素特征匹配。这将产生一组匹配结果，表示待检测图像中与标准图像中相似的局部区域。定义坏线的模式，可以是一系列特定的像素排列或形状。这可能涉及到制定规则、模板或者利用机器学习技术进行模式学习。利用定义的坏线模式，对局部区域像素特征匹配结果数据进行进一步匹配。这可能包括使用模板匹配、形态学操作等技术。匹配的结果将标识出图像中与定义的坏线模式相匹配的区域。结合局部区域像素特征匹配结果数据和坏线模式匹配结果，生成坏线模式匹配结果数据。这可能包括坏线位置、形状、数量等信息。

步骤S3：对坏线模式匹配结果数据进行坏线定位，生成坏线定位位置数据；对坏线定位位置数据进行坏线分类预测，生成坏线分类预测数据；

本发明实施例中，通过将步骤S2生成的坏线模式匹配结果数据加载或读取到处理环境中。对坏线模式匹配结果数据进行预处理，例如去除噪声、滤波处理等，以增强坏线的特征。利用图像处理和计算机视觉技术，根据坏线模式匹配结果数据，对手机屏幕图像进行坏线定位。这可能涉及到边缘检测、形态学操作、区域生长等技术。确定坏线在手机屏幕上的位置，并将位置信息转换成坐标形式。使用预训练的机器学习模型或深度学习模型，对坏线定位位置数据进行坏线分类预测。这些模型可以基于坏线的形状、长度、颜色等特征进行分类。将模型对坏线的分类预测结果转换成标准格式，以便后续处理和分析。将坏线定位位置数据和坏线分类预测数据整合在一起，形成完整的坏线信息数据集。将生成的坏线定位位置数据和坏线分类预测数据保存或输出供后续步骤使用。

步骤S4：对坏线分类预测数据进行坏线严重程度评估，生成坏线严重程度评估数据；将坏线定位位置数据、坏线分类预测数据和坏线严重程度评估数据进行缺陷数据整合，从而生成手机屏坏线缺陷诊断报告。

本发明实施例中，通过使用预定义的评估标准或指标对坏线分类预测数据进行评估。这些评估标准可以基于坏线的长度、密度、位置等因素。利用专家经验或机器学习模型来对坏线的严重程度进行定量评估。这可能涉及到对坏线进行分级或打分。将坏线定位位置数据、坏线分类预测数据和坏线严重程度评估数据整合在一起，形成完整的缺陷数据集。确保缺陷数据集中包含了每个坏线的位置、类型和严重程度等信息。根据整合后的缺陷数据集，生成手机屏坏线缺陷诊断报告。报告可以包括但不限于以下内容：坏线的位置和类型；每个坏线的严重程度评估；坏线的数量统计；其他相关信息，如图片示例等。报告可以以文本形式输出，也可以包含图像和图表以提供可视化信息。

优选的，步骤S1包括以下步骤：

步骤S11：获取手机屏图像；

步骤S12：对手机屏图像进行图像去噪，得到手机屏去噪图像；对手机屏去噪图像进行对比度增强，生成手机屏增强图像；

步骤S13：对手机屏增强图像进行图像边缘检测，生成手机屏图像边缘检测数据；根据手机屏图像边缘检测数据对手机屏增强图像进行图像核心区域划分，生成手机屏核心区域图像；

步骤S14：基于手机屏图像边缘检测数据和手机屏核心区域图像进行手机屏ROI提取，生成手机屏ROI区域图像；

步骤S15：对手机屏ROI区域图像进行尺寸归一化，从而生成标准手机屏ROI区域图像。

本发明通过获取手机屏图像是整个流程的开始，通过这一步可以获取到待处理的手机屏图像，为后续的处理提供输入数据。图像去噪能够去除图像中的噪声干扰，使得图像更清晰，有助于提高后续处理步骤的准确性。对比度增强能够增强图像的对比度，使得图像中的细节更加清晰、突出，提高图像的视觉效果和识别性。图像边缘检测能够有效地识别图像中的边缘信息，这对于识别物体的形状、轮廓等具有重要意义。根据边缘检测数据对图像进行核心区域划分，可以将图像中的主要内容与背景分离，使得后续的处理更加集中于重要的区域，提高处理效率和精度。ROI提取可以根据预先定义的规则或者特征，从图像中提取出感兴趣的区域，这有助于集中资源和注意力于关键区域，提高后续处理的效率和准确性。尺寸归一化可以将不同尺寸的ROI区域图像统一到相同的尺寸，这有助于消除尺寸差异对后续处理的影响，使得处理过程更加稳定和可靠。

作为本发明的一个实例，参考图2所示，在本实例中所述步骤S1包括：

步骤S11：获取手机屏图像；

本发明实施例中，通过使用摄像设备（例如相机、摄像机）直接对手机屏幕进行拍摄或录像，获取手机屏幕的图像数据。这种方法可以通过控制摄像设备的参数（如曝光、焦距、白平衡等）来调整拍摄效果。在手机屏幕上显示需要获取的图像，然后使用截屏功能（通常是按下特定的组合键或通过***设置）将手机屏幕上的图像保存为图片文件。这种方法适用于静态图像的获取，如截取应用界面、网页内容等。通过软件应用接口（例如Android中的Camera API或iOS中的AVFoundation框架）来访问手机摄像头，实时获取摄像头捕获的图像数据。这种方法可以实现实时获取手机屏幕图像，并且可以通过软件控制摄像头参数以及图像处理过程。使用屏幕录制软件（如QuickTime Player、OBS Studio等）在计算机上录制手机屏幕的视频，然后从视频中提取需要的图像帧作为手机屏幕图像。这种方法适用于需要动态展示手机屏幕操作的场景。

步骤S12：对手机屏图像进行图像去噪，得到手机屏去噪图像；对手机屏去噪图像进行对比度增强，生成手机屏增强图像；

本发明实施例中，通过使用高斯模糊可以平滑图像并减少噪声。这可以通过应用高斯滤波器来实现，滤波器的大小和标准差参数可以根据图像的噪声程度进行调整。中值滤波器是一种非线性滤波器，对图像中的每个像素值取其邻域内像素值的中值，从而有效地去除椒盐噪声等噪声类型。双边滤波器考虑了空间距离和像素值之间的相似性，因此可以在去除噪声的同时保留图像的边缘和细节信息。直方图均衡化是一种常用的增强对比度的方法，通过重新分布图像的像素值来扩展图像的动态范围，从而增强图像的对比度。与全局直方图均衡化不同，自适应直方图均衡化根据图像的局部区域进行直方图均衡化，从而避免在图像中产生过度增强的噪声。对比度拉伸通过线性拉伸图像的灰度级范围，将图像的灰度值均匀分布在整个动态范围内，从而增强图像的对比度。

步骤S13：对手机屏增强图像进行图像边缘检测，生成手机屏图像边缘检测数据；根据手机屏图像边缘检测数据对手机屏增强图像进行图像核心区域划分，生成手机屏核心区域图像；

本发明实施例中，通过选择适当的图像边缘检测算法，如Sobel、Canny等。这些算法可以突出图像中的边缘。将手机屏增强图像输入选择的算法，并得到图像边缘检测数据。基于图像边缘检测数据，确定图像中的核心区域。这可以通过阈值处理、区域分割等技术实现。可以考虑使用形态学操作（如膨胀、腐蚀）来进一步优化边缘检测结果，以确保得到准确的核心区域。根据确定的核心区域，将手机屏增强图像中的非核心区域进行掩膜处理，使其透明或替换为背景颜色。获得的结果即为手机屏核心区域图像。进行实验和测试，调整图像边缘检测算法的参数，以获得最佳效果。考虑处理大量图像时的性能优化，确保算法在实际应用中具有良好的执行效率。将该图像处理流程集成到手机屏增强***中，确保与其他模块的良好协同工作。验证整个***的性能和效果，进行必要的调整和优化。

步骤S14：基于手机屏图像边缘检测数据和手机屏核心区域图像进行手机屏ROI提取，生成手机屏ROI区域图像；

本发明实施例中，通过利用手机屏图像边缘检测数据，识别并提取感兴趣的边缘区域。这可以通过应用阈值、边缘检测算法等技术实现。利用手机屏核心区域图像，确定感兴趣区域的核心部分，以确保提取的ROI符合设计需求。将感兴趣的边缘区域与核心区域结合起来，得到手机屏ROI区域图像。这可以通过将两个图像进行逻辑运算（如AND运算）来实现，以保留它们的交集部分。对提取ROI的算法参数进行调优，以确保准确提取出手机屏幕的感兴趣区域。考虑算法的执行效率，优化处理步骤，确保在实际应用中具有良好的性能。

步骤S15：对手机屏ROI区域图像进行尺寸归一化，从而生成标准手机屏ROI区域图像。

本发明实施例中，通过确定标准手机屏ROI区域图像的目标尺寸。这可以是预定义的标准尺寸，也可以是根据应用需求自定义的尺寸。使用图像处理库或算法，如OpenCV、PIL等，将手机屏ROI区域图像调整为目标尺寸。可以使用插值方法，如双线性插值、最近邻插值等，确保图像质量不受明显损失。确保调整后的图像保持原始图像的纵横比。这可以通过在调整尺寸时保持宽高比来实现，避免图像变形。如果调整后的图像与目标尺寸不完全匹配，可以考虑进行填充或裁剪操作。填充：在图像周围添加像素，使其达到目标尺寸。裁剪：从图像中裁剪掉多余的部分，使其达到目标尺寸。填充或裁剪的选择取决于对图像内容的保留要求。将调整后的图像输出为标准手机屏ROI区域图像，以供后续处理或分析使用。

优选的，步骤S14包括以下步骤：

步骤S141：基于手机屏图像边缘检测数据对手机屏核心区域图像进行核心区域边缘点离散，生成核心区域边缘点；利用霍夫变换技术对核心区域边缘点进行边缘链接，生成核心区域边缘线段；

步骤S142：根据核心区域边缘线段对手机屏核心区域图像进行形态学填充，生成手机屏核心区域填充ROI图像，其中形态学填充包括膨胀和腐蚀；

步骤S143：根据核心区域边缘线段对手机屏核心区域形态填充图像进行ROI轮廓提取，生成手机屏ROI轮廓图像；

步骤S144：通过手机屏核心区域填充ROI图像和手机屏ROI轮廓图像对手机屏核心区域图像进行兴趣区域图像分割，生成手机屏ROI分割图像；对手机屏ROI分割图像进行ROI区域验证，生成手机屏ROI区域图像。

本发明通过边缘点离散和边缘链接，提取了核心区域准确的边缘特征，有助于更精细地表示手机屏的形状。形态学填充通过膨胀和腐蚀操作，使得边缘特征更加完整，有助于后续处理和分析。提取ROI轮廓有助于理解手机屏感兴趣区域的整体形状，为进一步的处理提供了关键信息。通过分割和验证步骤，确保最终生成的ROI区域图像准确地表示手机屏的感兴趣区域。

作为本发明的一个实例，参考图3所示，在本实例中所述步骤S14包括：

步骤S141：基于手机屏图像边缘检测数据对手机屏核心区域图像进行核心区域边缘点离散，生成核心区域边缘点；利用霍夫变换技术对核心区域边缘点进行边缘链接，生成核心区域边缘线段；

本发明实施例中，通过从手机屏幕图像中使用适当的边缘检测算法（如Sobel、Canny等）提取边缘信息。这些算法可以根据像素之间的灰度变化来检测出边缘。根据特定的手机屏幕形状和设计，确定手机屏幕的核心区域。这可能需要预先定义的规则或者利用图像分割技术来实现。对于核心区域图像，可以采用离散化的方法来提取边缘点。这可以通过在边缘检测结果中应用阈值处理，并选择出满足条件的像素点。对于提取的边缘点，使用霍夫变换技术将这些点链接成边缘线段。霍夫变换可以将点集转换为参数空间，并通过检测参数空间中的直线或曲线来完成边缘链接。通过霍夫变换得到的参数，可以确定图像中的直线段或者曲线段。这些线段即为核心区域的边缘线段。在得到边缘线段后，可以进行一些优化和过滤操作，例如移除过短或者过长的线段，或者根据特定规则来筛选出与核心区域形状相符的线段。将经过优化和过滤的边缘线段组合起来，形成核心区域的完整边缘线段。

步骤S142：根据核心区域边缘线段对手机屏核心区域图像进行形态学填充，生成手机屏核心区域填充ROI图像，其中形态学填充包括膨胀和腐蚀；

本发明实施例中，通过将步骤S141中得到的核心区域边缘线段转换为二值图像，其中边缘线段的像素值为前景（白色），而其余区域的像素值为背景（黑色）。形态学填充是一种图像处理技术，包括膨胀和腐蚀两个基本操作，通常用于填充孔洞或连接接近的物体。膨胀操作可以将前景对象的边界向背景像素扩展，使得对象变大。在这里，将使用膨胀操作填充核心区域的边缘线段，以确保边缘线段完整闭合，并且覆盖整个核心区域。腐蚀操作与膨胀相反，它会将前景对象的边界向内侧收缩。在这里，将使用腐蚀操作对膨胀后的图像进行修正，以保持核心区域形状的准确性，同时消除可能因膨胀而引入的不必要的扩展。经过膨胀和腐蚀操作后，得到的图像将成为手机屏核心区域填充ROI图像，其中核心区域的所有像素都被填充，形成一个闭合的区域。

步骤S143：根据核心区域边缘线段对手机屏核心区域形态填充图像进行ROI轮廓提取，生成手机屏ROI轮廓图像；

本发明实施例中，通过根据步骤S142生成的核心区域形态填充图像，这是对核心区域进行形态学填充后的结果。使用步骤S141中生成的核心区域边缘线段作为参考，这些线段表示了核心区域的边缘特征。可以使用基于边缘检测结果的轮廓提取算法，如OpenCV中的findContours函数，来提取核心区域形态填充图像中的轮廓信息。针对每个检测到的轮廓，判断其是否在核心区域边缘线段的内部。如果轮廓包含在边缘线段内部，则将其标记为ROI轮廓。将标记为ROI轮廓的部分保留在最终的ROI轮廓图像中，其余部分设为背景。这样就得到了手机屏ROI轮廓图像。

步骤S144：通过手机屏核心区域填充ROI图像和手机屏ROI轮廓图像对手机屏核心区域图像进行兴趣区域图像分割，生成手机屏ROI分割图像；对手机屏ROI分割图像进行ROI区域验证，生成手机屏ROI区域图像。

本发明实施例中，通过将手机屏核心区域填充ROI图像和手机屏ROI轮廓图像结合起来，可以使用图像分割技术，如阈值分割、区域生长或基于边缘的分割等方法，将手机屏核心区域图像进行分割，以获得ROI分割图像。对于生成的ROI分割图像，需要进行验证以确保提取的区域是正确的ROI。这可以通过一系列验证步骤来完成，例如：区域大小验证：验证ROI区域的大小是否符合预期，排除过小或过大的区域。形状验证：验证ROI区域的形状是否与预期一致，例如是否符合手机屏的形状。位置验证：验证ROI区域的位置是否合理，是否位于手机屏的中心或其他预定义位置。其他特征验证：根据具体应用需求，可以进行更多的特征验证，例如颜色特征、纹理特征等。根据通过验证的ROI区域，将其标记为手机屏ROI区域，并将其包含在最终的ROI区域图像中。

优选的，步骤S2包括以下步骤：

步骤S21：对标准手机屏ROI区域图像进行角点检测，得到ROI区域角点特征数据；

步骤S22：对ROI区域角点特征数据进行局部区域像素描述子生成，得到ROI区域像素局部特征图像；

步骤S23：基于最近邻匹配算法对ROI区域像素局部特征图像进行特征匹配，生成坏线特征匹配结果数据；对坏线特征匹配结果数据进行特征向量转换，生成坏线特征向量集合；将坏线特征向量集合进行合并，并利用合并后的坏线特征向量集合对标准手机屏ROI区域图像进行坏线特征向量图谱构建，生成坏线特征向量图谱；

步骤S24：基于坏线特征向量图谱对ROI区域像素局部特征图像进行坏线模式匹配，生成坏线模式匹配结果数据。

本发明通过对标准手机屏ROI区域图像进行角点检测。角点是图像中突然变化的区域，通常对应于图像中的重要特征点。通过检测手机屏幕上的角点，可以确定潜在的坏线位置或变化。这些角点的特征数据可以提供后续处理步骤所需的关键信息。对ROI区域中检测到的角点进行局部区域像素描述子的生成。局部特征描述子是对图像局部区域的描述，通常用于表示图像的局部结构和纹理信息。生成这些描述子有助于捕获手机屏幕上的局部特征，为后续的特征匹配提供数据支持。使用最近邻匹配算法对ROI区域像素局部特征图像进行特征匹配，以识别可能的坏线。通过这一步，可以将图像中相似的特征点匹配到一起，从而确定坏线的位置和形状。进一步对坏线特征匹配结果数据进行特征向量转换，并将其合并以构建坏线特征向量图谱。这个图谱可以被视为是手机屏幕上可能出现的坏线模式的集合，为后续的模式匹配提供了参考。基于生成的坏线特征向量图谱，对ROI区域像素局部特征图像进行坏线模式匹配。这一步骤的目的是识别手机屏幕上的坏线模式，并生成相应的匹配结果数据。通过与图谱进行比较，可以检测到手机屏幕上的坏线并进行修复。

作为本发明的一个实例，参考图4所示，在本实例中所述步骤S2包括：

步骤S21：对标准手机屏ROI区域图像进行角点检测，得到ROI区域角点特征数据；

本发明实施例中，通过获取标准手机屏ROI（感兴趣区域）的图像数据。这可以通过手机相机或其他成像设备进行采集，确保图像质量和分辨率足够以进行有效的角点检测。对图像进行预处理，包括灰度化、去噪等操作。将图像转换为灰度图可以简化处理，并且有助于提取角点。应用角点检测算法，例如Harris角点检测算法。Harris角点检测算法通过计算图像中每个像素周围区域的强度变化，来识别可能的角点。检测的结果是角点的坐标。根据角点检测算法的输出，得到ROI区域内检测到的角点的坐标信息。这些坐标数据可以用于表示ROI区域的角点特征。

步骤S22：对ROI区域角点特征数据进行局部区域像素描述子生成，得到ROI区域像素局部特征图像；

本发明实施例中，通过对于每个检测到的角点，定义一个局部区域（例如，以角点为中心的固定大小的窗口）。在每个局部区域中，使用选定的特征描述算法计算像素描述子。这些描述子应该是能够唯一表示每个局部区域的特征，以便后续的匹配。将所有局部区域的像素描述子整合成一个ROI区域像素局部特征图像。这可以是一个矩阵，其中每行表示一个角点及其相应的描述子。

步骤S23：基于最近邻匹配算法对ROI区域像素局部特征图像进行特征匹配，生成坏线特征匹配结果数据；对坏线特征匹配结果数据进行特征向量转换，生成坏线特征向量集合；将坏线特征向量集合进行合并，并利用合并后的坏线特征向量集合对标准手机屏ROI区域图像进行坏线特征向量图谱构建，生成坏线特征向量图谱；

本发明实施例中，通过使用最近邻匹配算法（如KNN，最近邻算法）将ROI区域像素局部特征图像中的描述子与其他图像（可能是训练数据或其他采集到的图像）中的描述子进行匹配。这将生成坏线特征匹配结果数据，即将每个ROI区域像素局部特征图像中的描述子与最相似的描述子进行匹配。将匹配结果数据中的描述子转换为特征向量，这可以是描述子本身或通过某种方式将其编码为特征向量，以便更好地表示匹配结果。将所有匹配结果的特征向量集合进行合并，以形成一个综合的坏线特征向量集合。这样可以综合考虑多个图像中的坏线特征。使用合并后的坏线特征向量集合对标准手机屏ROI区域图像进行坏线特征向量图谱构建。这意味着将特征向量集合中的特征向量应用于标准手机屏ROI区域图像，以生成一个坏线特征向量图谱，其中包含了该区域可能存在的各种坏线特征。

步骤S24：基于坏线特征向量图谱对ROI区域像素局部特征图像进行坏线模式匹配，生成坏线模式匹配结果数据。

本发明实施例中，通过使用坏线特征向量图谱中的特征向量对ROI区域像素局部特征图像进行坏线模式匹配。这可以通过计算ROI区域像素局部特征图像的特征向量与坏线特征向量图谱中的每个特征向量之间的相似度来实现。对于每个ROI区域像素局部特征图像，将其与坏线特征向量图谱中的特征向量进行比较，并记录与之最相似的坏线特征向量以及相似度得分。这些数据可以被认为是坏线模式匹配的结果数据。可能需要设置一个相似度阈值，以过滤掉与ROI区域像素局部特征图像不相似的坏线特征向量。只有相似度得分高于阈值的匹配结果才被视为有效匹配。对生成的坏线模式匹配结果数据进行分析和可视化。可以将匹配结果与原始图像进行比较，以直观地了解哪些区域存在坏线，并且可以根据匹配结果采取进一步的行动，比如修复坏线或者进行其他处理。

优选的，步骤S22包括以下步骤：

步骤S221：根据对ROI区域角点特征数据进行标准手机屏ROI区域图像进行像素颜色分析，生成像素颜色数据；对像素颜色数据进行相邻像素颜色色差分析，得到相邻像素颜色色差数据；

步骤S222：将相邻像素颜色色差数据和预设的标准像素颜色色差阈值进行对比，当相邻像素颜色色差数据大于或等于预设的标准像素颜色色差阈值，则对相应的像素进行可疑坏线标记，生成可疑坏线像素；

步骤S223：利用像素亮度变化分析公式对可疑坏线像素进行亮度变化波动分析，生成像素亮度波动数据；根据滤波器对像素亮度波动数据进行波动梯度图转换，生成亮度波动梯度图；

步骤S224：对亮度波动梯度图进行局部极值点标记，生成亮度波动局部极值关键点数据，其中亮度波动局部极值关键点数据包括像素位置数据、梯度幅值数据和亮度波动方向数据；对亮度波动局部极值关键点进行固定局部区域定义，生成局部亮度波动区域；

步骤S225：根据像素位置数据、梯度幅值数据和亮度波动方向数据对局部亮度波动区域进行局部描述子计算，生成局部描述子集合；将局部描述子集合进行图像集合，生成ROI区域像素局部特征图像。

本发明通过对ROI区域角点特征进行像素颜色分析和相邻像素颜色差分析，***能够识别出可能存在问题的像素，生成可疑坏线像素。这有助于标记潜在的坏线区域，使后续的分析更加精确。利用像素亮度变化分析和滤波器生成的亮度波动梯度图，***可以更全面地了解像素亮度的波动情况。这有助于检测可能由于坏线引起的亮度变化异常，并对其进行分析。通过对亮度波动梯度图中的局部极值点进行标记，生成亮度波动局部极值关键点数据，然后计算局部描述子，最终生成ROI区域像素局部特征图像。这有助于捕捉图像中的局部纹理和特征，为后续的坏线模式匹配提供更多信息。整个流程使得***能够在图像中精准地定位可能存在坏线的区域，并且通过生成的局部特征图像，可以更精确地识别坏线的模式和特征。这对于进一步的分析、修复或报警都是至关重要的。通过阈值的设定以及对相邻像素颜色色差的分析，***可以控制标记可疑坏线的条件，从而减少误报率。只有当颜色色差数据大于预设的阈值时，才会标记为可疑坏线，有助于排除一些正常变化引起的误报。

本发明实施例中，通过使用角点检测算法（如Harris角点检测）从标准手机屏ROI区域图像中提取角点特征数据。对提取的角点特征数据，获取相应位置的像素颜色数据，可以采用颜色空间转换（如RGB到HSV）来表示颜色。遍历相邻像素，计算它们之间的颜色差异，可以使用欧氏距离或其他颜色差异度量。将相邻像素颜色色差数据与预设的标准像素颜色色差阈值进行比较。标记那些颜色差异超过阈值的像素，生成可疑坏线像素集合。对可疑坏线像素进行像素亮度变化波动分析，使用公式计算像素亮度波动数据。利用滤波器对像素亮度波动数据进行处理，可能采用高斯滤波器等，以平滑数据。转换处理后的像素亮度波动数据，生成亮度波动梯度图。对亮度波动梯度图进行局部极值点标记，得到亮度波动局部极值关键点数据。根据亮度波动局部极值关键点数据，固定定义局部区域，生成局部亮度波动区域。根据像素位置数据、梯度幅值数据和亮度波动方向数据，计算每个局部亮度波动区域的局部描述子。将计算得到的局部描述子集合组合成图像集合。通过组合的局部描述子生成ROI区域像素局部特征图像。

优选的，步骤S223中的像素亮度变化分析公式具体如下：

式中，表示为像素在位置 (/>) 和时间/>的亮度，/>表示为输入像素在位置 (/>) 和输入时间/>的亮度，/>表示为控制空间上的模糊程度，/>表示为控制时间上的模糊程度，/>表示为像素横坐标，/>表示为像素纵坐标，/>表示为时间点，/>表示为输入像素横坐标，/>表示为输入像素纵坐标，/>表示为输入时间点。

本发明通过分析并整合了一种像素亮度变化分析公式，公式中的两个高斯核函数分别作用于空间和时间上的变化。空间高斯核控制了空间上的平滑性。它表示距离当前像素位置(/>)越近的像素(/>)对当前像素的影响越大，而距离越远的像素权重越小。时间高斯核/>控制了时间上的平滑性。它表示越接近当前时间/>的像素/>对当前像素的影响越大，而越远的时间点像素权重越小。公式中的积分操作实现了对周围像素在空间和时间上的加权平均。这种加权平均使得最终的像素亮度/>是周围像素亮度的加权和，权重由空间和时间高斯核决定。/>和/>是控制高斯核函数形状的参数，直接影响着像素亮度的波动分析结果。较大的/>和/>值会导致更大范围内的像素和更长时间范围内的像素对当前像素的影响，从而平滑了像素亮度的变化。这样有助于去除噪声和小尺度的亮度变化，突出大尺度、长时间范围内的亮度变化趋势。在使用本领域常规的像素亮度变化分析公式时，可以得到像素在位置 (/>) 和时间/>的亮度，通过应用本发明提供的像素亮度变化分析公式，可以更加精确的计算出像素在位置 (/>) 和时间/>的亮度。由于较远的像素和时间点的权重减小，这种平滑方法有助于去除单个像素的随机噪声，使得结果更加稳定。对于大尺度、长时间范围内的亮度变化，这种方法能够更好地突出和分析，因为它们在加权平均中的权重更大。对于坏线像素，由于它们的影响会在加权平均中被平滑化，最终的亮度结果会减少其影响。公式基于高斯核函数的像素亮度变化分析方法可以有效地平滑亮度变化、去除噪声、突出大尺度特征，从而提高图像处理和分析的效果。

优选的，步骤S24包括以下步骤：

步骤S241：对ROI区域像素局部特征图像进行坏线角度分析，生成坏线角度数据；

步骤S242：将坏线角度数据和预设的坏线角度范围阈值进行对比，当坏线角度数据大于坏线角度范围阈值外时，则将对应的ROI区域像素局部特征图像标记为单一水平坏线模式；当坏线角度数据处于坏线角度范围阈值内时，则将对应的ROI区域像素局部特征图像标记为单一斜坏线模式；当坏线角度数据小于坏线角度范围阈值内时，则将对应的ROI区域像素局部特征图像标记为单一垂直坏线模式；

步骤S243：基于单一水平坏线模式、单一斜坏线模式和单一垂直坏线模式进行坏线分布形状构建，生成坏线分布形状数据；对坏线分布形状数据进行网格匹配，生成局部网格状坏线模式；

步骤S244：将单一水平坏线模式、单一斜坏线模式、单一垂直坏线模式和局部网格状坏线模式进行坏线模式整合，生成坏线判断模式；基于坏线特征向量图谱将ROI区域像素局部特征图像和坏线判断模式进行模式匹配，生成坏线模式匹配结果数据。

本发明通过对ROI区域像素局部特征图像进行分析，确定其中可能存在的坏线的角度。通过分析坏线的角度，可以帮助确定坏线的走向，为后续的分类和识别提供基础。将坏线角度数据与预设的阈值进行对比，以确定坏线的类型。标记不同类型的坏线，如水平、斜线、垂直线，为进一步的处理提供方向。基于标记的坏线模式，构建坏线的分布形状数据。对坏线分布形状数据进行网格匹配，可能是将形状数据与预定义的网格模式进行匹配。通过构建坏线的形状数据并进行匹配，可以更准确地定位和描述坏线的分布情况。将单一水平、斜线、垂直线模式以及局部网格状坏线模式进行整合，形成坏线判断模式。基于坏线特征向量图谱，将ROI区域像素局部特征图像和坏线判断模式进行匹配。整合不同类型的坏线模式并进行匹配，可以更准确地识别和定位坏线，为进一步的处理提供准确的数据基础。

本发明实施例中，通过从图像中确定感兴趣的区域（ROI），可能是产品的特定部位或者图像的某个区域。对ROI区域进行像素级别的分析，提取局部特征图像。对ROI区域像素局部特征图像进行角度分析，可能涉及到边缘检测、霍夫变换等技术，以获取坏线的角度数据。将获得的坏线角度数据与预设的坏线角度范围阈值进行比较。根据比较结果，将ROI区域像素局部特征图像标记为单一水平、斜线或垂直坏线模式。基于标记的坏线模式，构建坏线的分布形状数据，可能涉及到形态学操作或者轮廓提取等方法。对坏线分布形状数据进行网格匹配，以获取局部网格状坏线模式。将单一水平、斜线、垂直坏线模式以及局部网格状坏线模式进行整合，形成坏线判断模式。基于坏线特征向量图谱，将ROI区域像素局部特征图像和坏线判断模式进行模式匹配，以生成坏线模式匹配结果数据。

优选的，步骤S3包括以下步骤：

步骤S31：对坏线模式匹配结果数据进行坏线定位，生成坏线定位位置数据；

步骤S32：对坏线定位位置数据进行数据集划分，得到模型训练集和模型测试集；

步骤S33：基于卷积神经网络算法对模型训练集进行模型训练，生成坏线分类训练模型；通过模型测试集对坏线分类训练模型进行模型测试，生成坏线分类预测模型；

步骤S34：将坏线定位位置数据导入至坏线分类预测模型中进行坏线分类预测，生成坏线分类预测数据。

本发明通过对坏线模式匹配结果数据进行定位，可以准确地确定坏线的位置，帮助后续的处理和修复工作。通过对坏线定位位置数据进行数据集划分，得到了模型训练集和测试集，这有助于保证模型的泛化能力和准确性。基于卷积神经网络算法对模型训练集进行训练，生成了坏线分类训练模型。通过模型测试集进行测试，得到了坏线分类预测模型。这可以有效地对坏线进行分类，提高了坏线检测的自动化程度。将坏线定位位置数据导入坏线分类预测模型中进行分类预测，生成坏线分类预测数据。这可以帮助对不同类型的坏线进行区分和识别，提高了分类的准确性。利用卷积神经网络等深度学习算法进行训练和预测，可以提高处理速度和效率，使坏线检测与分类过程更加快速和实时。

本发明实施例中，通过收集坏线模式匹配结果数据，可能是由传感器、图像处理***或其他检测设备得到的数据。使用适当的算法对坏线模式匹配结果数据进行处理，确定坏线的位置信息。将坏线的位置信息整理成适当的数据格式，以备后续使用。对坏线定位位置数据进行预处理，包括去除噪声、填补缺失值等。将预处理后的数据划分为模型训练集和模型测试集，通常按照一定比例进行划分，以保证训练集和测试集的代表性和可靠性。将模型训练集数据输入到卷积神经网络(CNN)等算法中。使用CNN等深度学习算法对模型训练集进行训练，以学习坏线的特征和分类规律。在训练过程中，通过迭代优化，得到最优的坏线分类训练模型。将坏线定位位置数据导入到已训练好的坏线分类预测模型中。利用已训练好的模型对坏线进行分类预测，得到坏线分类预测数据。对分类预测结果进行分析和解释，根据需要采取相应的措施进行坏线修复或其他后续处理。

优选的，步骤S4包括以下步骤：

步骤S41：根据坏线密集度计算公式对坏线分类预测数据进行坏线密集度计算，得到坏线密集度数据；

步骤S42：基于坏线密集度数据对坏线分类预测数据和坏线定位位置数据进行坏线密集图生成，得到坏线密集检测图；对坏线密集检测图进行坏线严重程度评估，生成坏线严重程度评估数据；

步骤S43：将坏线定位位置数据、坏线分类预测数据和坏线严重程度评估数据进行缺陷数据整合，从而生成手机屏坏线缺陷诊断报告。

本发明通过坏线密集度计算，能够量化地评估手机屏幕上的坏线密度，有助于分析坏线分布的集中程度。坏线密集度数据的生成提供了更为精确的定量信息，有助于判断坏线的分布情况，为后续的诊断和修复提供参考依据。基于坏线密集度数据生成坏线密集检测图，使得坏线的分布情况一目了然，便于观察和分析。对坏线密集检测图进行严重程度评估，能够较为直观地评估坏线问题的严重程度，有助于优先级的确定和处理策略的制定。将坏线定位位置数据、坏线分类预测数据和坏线严重程度评估数据进行整合，形成完整的缺陷数据。生成手机屏幕坏线缺陷诊断报告，提供了***化的诊断结果，包括坏线位置、类型、密度以及严重程度等信息，为维修人员或用户提供参考依据。

本发明实施例中，通过收集手机屏幕上的坏线分类预测数据，这可能是通过图像处理算法或者其他技术获得的。根据预先定义的坏线密集度计算公式，对坏线分类预测数据进行处理，以计算坏线密集度数据。这个公式可能考虑坏线的数量、分布密度、以及其他相关因素。将计算得到的坏线密集度数据保存或输出供后续步骤使用。利用坏线密集度数据，可以绘制出坏线密集检测图。这可能涉及将密集度信息转换成可视化的图像表示，以直观展示坏线的分布情况。通过观察生成的坏线密集检测图，对坏线的严重程度进行评估。这可能包括量化指标，比如坏线的长度、密度等。评估结果将生成坏线严重程度评估数据。将坏线定位位置数据、坏线分类预测数据以及坏线严重程度评估数据进行整合，形成完整的缺陷数据集。利用整合后的数据，生成手机屏坏线缺陷诊断报告。报告可能包括坏线的位置、类型、密度以及严重程度等信息，以便用户或维修人员能够全面了解坏线情况，并采取适当的措施进行修复或处理。

优选的，步骤S41中的坏线密集度计算公式具体如下：

式中，表示为在位置/>处的坏线密集度，/>表示为坏点的数量，/>表示为接近坏线位置的时候密集度增长的速率，/>表示为在坏线位置附近的增长速率，/>表示为坏线密集度调整系数，/>表示为第/>个数据点的坏线位置，/>表示为坏线位置的平均值，/>表示为坏线位置的标准差，/>表示为时间点，/>表示为坏线的横坐标，/>表示为坏线的纵坐标。

本发明通过分析并整合了一种坏线密集度计算公式，公式的原理是将坏线位置处的密集度表示为两部分的加权和：第一部分使用 Sigmoid 函数，表示当坏线位置接近均值时密集度的增长情况。第二部分使用高斯分布的累积密度函数，表示坏线位置的分布情况。公式中的表示为控制 Sigmoid 函数在接近坏线位置的时候密集度增长的速率。较大的/>值将导致 Sigmoid 函数在坏线位置附近的斜率更陡峭，密集度增长更快；较小的/>值则使得斜率更平缓。/>表示为控制 Sigmoid 函数在坏线位置附近的增长速率。较大的/>值意味着 Sigmoid 函数的增长更为急速，坏线密集度将更快地接近最大值；较小的/>值会使得Sigmoid 函数的增长更缓慢。/>表示控制高斯积分项对整体坏线密集度的贡献程度。较大的值使高斯积分项在整体密集度中占比更大，较小的/>值则会降低其对总体密集度的影响。在使用本领域常规的坏线密集度计算公式时，可以得到在位置/>处的坏线密集度，通过应用本发明提供的坏线密集度计算公式，可以更加精确的计算出在位置/>处的坏线密集度。通过调整/>和/>，可以使得密集度在坏线位置附近更加敏感或者平滑地变化，更好地反映坏线的实际分布情况。/>的调节可以使得不同位置的坏线在整体密集度中有不同的贡献，更准确地表达整体坏线的情况。

本发明的有益效果在于通过细分步骤，从图像获取、ROI区域分割、像素特征匹配、到坏线模式匹配和分类预测，每一步的专注和精确处理能够显著提高最终缺陷诊断的准确性。特别是局部区域像素特征匹配和坏线模式匹配，可以精确识别出细微的坏线特征，减少误诊和漏诊。整个流程可以实现高度自动化，减少人工介入，提高诊断速度和效率。自动化流程可以处理大量数据，适合于生产线或维修中心的快速检测需求。生成的手机屏坏线缺陷诊断报告不仅包含了坏线的位置信息，还综合了坏线的类型、密集度和严重程度，为维修人员提供了全面、详细的缺陷信息，有助于他们制定更为精确和有效的维修计划。通过准确的缺陷诊断，可以更好地决定是进行屏幕维修还是更换，从而优化成本支出。对于轻微的问题，可能通过简单的维修就能解决，而对于严重的坏线缺陷，则可能需要更换屏幕。准确快速地诊断和解决屏幕坏线问题，能够显著提升用户对产品和服务的满意度。这对于维持品牌声誉和用户忠诚度是非常重要的。生成的详细诊断报告不仅用于当前的缺陷修复，还可以作为质量控制和产品改进的宝贵数据资源。通过分析这些数据，制造商可以发现产品设计或制造过程中的潜在问题，并据此进行优化。因此，本发明通过对手机屏幕图像进行感兴趣区域分割，并采用了像素特征匹配和模式匹配的方法，在定位坏线的同时，进行了分类预测，即判断坏线的类型和严重程度，提高了坏线诊断的精度和效率。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在申请文件的等同要件的含义和范围内的所有变化涵括在本发明内。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所发明的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于机器视觉的手机屏坏线缺陷诊断方法，其特征在于，包括以下步骤：

步骤S1：获取手机屏图像；对手机屏图像进行ROI区域分割，生成标准手机屏ROI区域图像；

步骤S2：对标准手机屏ROI区域图像进行局部区域像素特征匹配，生成坏线特征匹配结果数据；对坏线特征匹配结果数据进行坏线模式匹配，生成坏线模式匹配结果数据；步骤S2包括以下步骤：

步骤S21：对标准手机屏ROI区域图像进行角点检测，得到ROI区域角点特征数据；

步骤S22：对ROI区域角点特征数据进行局部区域像素描述子生成，得到ROI区域像素局部特征图像；步骤S22包括以下步骤：

步骤S221：根据对ROI区域角点特征数据进行标准手机屏ROI区域图像进行像素颜色分析，生成像素颜色数据；对像素颜色数据进行相邻像素颜色色差分析，得到相邻像素颜色色差数据；

步骤S222：将相邻像素颜色色差数据和预设的标准像素颜色色差阈值进行对比，当相邻像素颜色色差数据大于或等于预设的标准像素颜色色差阈值，则对相应的像素进行可疑坏线标记，生成可疑坏线像素；

步骤S223：利用像素亮度变化分析公式对可疑坏线像素进行亮度变化波动分析，生成像素亮度波动数据；根据滤波器对像素亮度波动数据进行波动梯度图转换，生成亮度波动梯度图；步骤S223中的像素亮度变化分析公式如下所示：

式中，表示为像素在位置 (/>) 和时间/>的亮度，/>表示为输入像素在位置 (/>) 和输入时间/>的亮度，/>表示为控制空间上的模糊程度，/>表示为控制时间上的模糊程度，/>表示为像素横坐标，/>表示为像素纵坐标，/>表示为时间点，/>表示为输入像素横坐标，/>表示为输入像素纵坐标，/>表示为输入时间点；

步骤S224：对亮度波动梯度图进行局部极值点标记，生成亮度波动局部极值关键点数据，其中亮度波动局部极值关键点数据包括像素位置数据、梯度幅值数据和亮度波动方向数据；对亮度波动局部极值关键点进行固定局部区域定义，生成局部亮度波动区域；

步骤S225：根据像素位置数据、梯度幅值数据和亮度波动方向数据对局部亮度波动区域进行局部描述子计算，生成局部描述子集合；将局部描述子集合进行图像集合，生成ROI区域像素局部特征图像；

步骤S23：基于最近邻匹配算法对ROI区域像素局部特征图像进行特征匹配，生成坏线特征匹配结果数据；对坏线特征匹配结果数据进行特征向量转换，生成坏线特征向量集合；将坏线特征向量集合进行合并，并利用合并后的坏线特征向量集合对标准手机屏ROI区域图像进行坏线特征向量图谱构建，生成坏线特征向量图谱；

步骤S24：基于坏线特征向量图谱对ROI区域像素局部特征图像进行坏线模式匹配，生成坏线模式匹配结果数据；

步骤S3：对坏线模式匹配结果数据进行坏线定位，生成坏线定位位置数据；对坏线定位位置数据进行坏线分类预测，生成坏线分类预测数据；

步骤S4：对坏线分类预测数据进行坏线严重程度评估，生成坏线严重程度评估数据；将坏线定位位置数据、坏线分类预测数据和坏线严重程度评估数据进行缺陷数据整合，从而生成手机屏坏线缺陷诊断报告；步骤S4包括以下步骤：

步骤S41：根据坏线密集度计算公式对坏线分类预测数据进行坏线密集度计算，得到坏线密集度数据；步骤S41中的坏线密集度计算公式如下所示：

式中，表示为在位置/>处的坏线密集度，/>表示为坏点的数量，/>表示为接近坏线位置的时候密集度增长的速率，/>表示为在坏线位置附近的增长速率，/>表示为坏线密集度调整系数，/>表示为第/>个数据点的坏线位置，/>表示为坏线位置的平均值，/>表示为坏线位置的标准差，/>表示为时间点，/>表示为坏线的横坐标，/>表示为坏线的纵坐标；

步骤S42：基于坏线密集度数据对坏线分类预测数据和坏线定位位置数据进行坏线密集图生成，得到坏线密集检测图；对坏线密集检测图进行坏线严重程度评估，生成坏线严重程度评估数据；

步骤S43：将坏线定位位置数据、坏线分类预测数据和坏线严重程度评估数据进行缺陷数据整合，从而生成手机屏坏线缺陷诊断报告。

2.根据权利要求1所述的基于机器视觉的手机屏坏线缺陷诊断方法，其特征在于，步骤S1包括以下步骤：

步骤S11：获取手机屏图像；

步骤S12：对手机屏图像进行图像去噪，得到手机屏去噪图像；对手机屏去噪图像进行对比度增强，生成手机屏增强图像；

步骤S13：对手机屏增强图像进行图像边缘检测，生成手机屏图像边缘检测数据；根据手机屏图像边缘检测数据对手机屏增强图像进行图像核心区域划分，生成手机屏核心区域图像；

步骤S14：基于手机屏图像边缘检测数据和手机屏核心区域图像进行手机屏ROI提取，生成手机屏ROI区域图像；

步骤S15：对手机屏ROI区域图像进行尺寸归一化，从而生成标准手机屏ROI区域图像。

3.根据权利要求2所述的基于机器视觉的手机屏坏线缺陷诊断方法，其特征在于，步骤S14包括以下步骤：

步骤S141：基于手机屏图像边缘检测数据对手机屏核心区域图像进行核心区域边缘点离散，生成核心区域边缘点；利用霍夫变换技术对核心区域边缘点进行边缘链接，生成核心区域边缘线段；

步骤S142：根据核心区域边缘线段对手机屏核心区域图像进行形态学填充，生成手机屏核心区域填充ROI图像，其中形态学填充包括膨胀和腐蚀；

步骤S143：根据核心区域边缘线段对手机屏核心区域形态填充图像进行ROI轮廓提取，生成手机屏ROI轮廓图像；

步骤S144：通过手机屏核心区域填充ROI图像和手机屏ROI轮廓图像对手机屏核心区域图像进行兴趣区域图像分割，生成手机屏ROI分割图像；对手机屏ROI分割图像进行ROI区域验证，生成手机屏ROI区域图像。

4.根据权利要求1所述的基于机器视觉的手机屏坏线缺陷诊断方法，其特征在于，步骤S24包括以下步骤：

步骤S241：对ROI区域像素局部特征图像进行坏线角度分析，生成坏线角度数据；

步骤S242：将坏线角度数据和预设的坏线角度范围阈值进行对比，当坏线角度数据大于坏线角度范围阈值外时，则将对应的ROI区域像素局部特征图像标记为单一水平坏线模式；当坏线角度数据处于坏线角度范围阈值内时，则将对应的ROI区域像素局部特征图像标记为单一斜坏线模式；当坏线角度数据小于坏线角度范围阈值内时，则将对应的ROI区域像素局部特征图像标记为单一垂直坏线模式；

步骤S243：基于单一水平坏线模式、单一斜坏线模式和单一垂直坏线模式进行坏线分布形状构建，生成坏线分布形状数据；对坏线分布形状数据进行网格匹配，生成局部网格状坏线模式；

步骤S244：将单一水平坏线模式、单一斜坏线模式、单一垂直坏线模式和局部网格状坏线模式进行坏线模式整合，生成坏线判断模式；基于坏线特征向量图谱将ROI区域像素局部特征图像和坏线判断模式进行模式匹配，生成坏线模式匹配结果数据。

5.根据权利要求1所述的基于机器视觉的手机屏坏线缺陷诊断方法，其特征在于，步骤S3包括以下步骤：

步骤S31：对坏线模式匹配结果数据进行坏线定位，生成坏线定位位置数据；

步骤S32：对坏线定位位置数据进行数据集划分，得到模型训练集和模型测试集；

步骤S33：基于卷积神经网络算法对模型训练集进行模型训练，生成坏线分类训练模型；通过模型测试集对坏线分类训练模型进行模型测试，生成坏线分类预测模型；

步骤S34：将坏线定位位置数据导入至坏线分类预测模型中进行坏线分类预测，生成坏线分类预测数据。