CN116933041B - 力传感器编号校对***及方法 - Google Patents

力传感器编号校对***及方法 Download PDF

Info

Publication number
CN116933041B
CN116933041B CN202311187017.8A CN202311187017A CN116933041B CN 116933041 B CN116933041 B CN 116933041B CN 202311187017 A CN202311187017 A CN 202311187017A CN 116933041 B CN116933041 B CN 116933041B
Authority
CN
China
Prior art keywords
numbering
fusion
feature map
image
numbered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311187017.8A
Other languages
English (en)
Other versions
CN116933041A (zh
Inventor
汪星星
王建国
王梦茹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lizhun Sensing Technology Co ltd
Original Assignee
Shenzhen Lizhun Sensing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lizhun Sensing Technology Co ltd filed Critical Shenzhen Lizhun Sensing Technology Co ltd
Priority to CN202311187017.8A priority Critical patent/CN116933041B/zh
Publication of CN116933041A publication Critical patent/CN116933041A/zh
Application granted granted Critical
Publication of CN116933041B publication Critical patent/CN116933041B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能校对领域,具体地,本申请公开了一种力传感器编号校对***及方法,其通过利用计算机视觉和深度学习技术,通过图像处理和特征提取,实现对力传感器编号的自动提取和识别,并以此来进行编号校对。

Description

力传感器编号校对***及方法
技术领域
本申请涉及智能校对领域,且更为具体地,涉及一种力传感器编号校对***及方法。
背景技术
力传感器是一种能够将受到的力或压力转换为电信号的传感器,广泛应用于工业、医疗、航空等领域。为了保证力传感器的质量和可追溯性,每个力传感器都有一个唯一的编号,通常印刷在力传感器的表面。
在生产和检测过程中,需要对力传感器的编号进行校对,以确保编号与力传感器的编码一致,从而避免混淆和误用。目前,常用的校对方法是人工观察和比对,这种方法不仅耗时耗力,而且容易因视觉疲劳而出现错误。
因此,需要一种能够自动识别和校对力传感器编号的***和方法,提高校对的准确率和效率。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种力传感器编号校对***及方法,其通过利用计算机视觉和深度学习技术,通过图像处理和特征提取,实现对力传感器编号的自动提取和识别,并以此来进行编号校对。
根据本申请的一个方面,提供了一种力传感器编号校对方法,其包括:
获取由摄像头采集的包含力传感器编号的校对图像;
对所述校对图像进行分析以得到编号识别结果;以及
基于所述编号识别结果,进行力传感器编号校对。
根据本申请的另一个方面,提供了一种力传感器编号校对***,其包括:
图像采集模块,用于获取由摄像头采集的包含力传感器编号的校对图像;
图像分析模块,用于对所述校对图像进行分析以得到编号识别结果;以及
编号校对模块,用于基于所述编号识别结果,进行力传感器编号校对。
与现有技术相比,本申请提供的一种力传感器编号校对***及方法,其通过利用计算机视觉和深度学习技术,通过图像处理和特征提取,实现对力传感器编号的自动提取和识别,并以此来进行编号校对。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的力传感器编号校对方法的流程图;
图2为根据本申请实施例的力传感器编号校对方法的***架构图;
图3为根据本申请实施例的力传感器编号校对方法的子步骤S2的流程图;
图4为根据本申请实施例的力传感器编号校对方法的子步骤S21的流程图;
图5为根据本申请实施例的力传感器编号校对方法的子步骤S212的流程图;
图6为根据本申请实施例的力传感器编号校对方法的子步骤S22的流程图;
图7为根据本申请实施例的力传感器编号校对***的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的***中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述***和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
在生产和检测过程中,需要对力传感器的编号进行校对,以确保编号与力传感器的编码一致,从而避免混淆和误用。目前,常用的校对方法是人工观察和比对,这种方法不仅耗时耗力,而且容易因视觉疲劳而出现错误。因此,需要一种能够自动识别和校对力传感器编号的***和方法,提高校对的准确率和效率。
在本申请的技术方案中,提出了一种力传感器编号校对方法。图1为根据本申请实施例的力传感器编号校对方法的流程图。图2为根据本申请实施例的力传感器编号校对方法的***架构图。如图1和图2所示,根据本申请的实施例的力传感器编号校对方法,包括步骤:S1,获取由摄像头采集的包含力传感器编号的校对图像;S2,对所述校对图像进行分析以得到编号识别结果;以及,S3,基于所述编号识别结果,进行力传感器编号校对。
特别地,在步骤S1中,获取由摄像头采集的包含力传感器编号的校对图像。其中,所述力传感器是一种能够将受到的力或压力转换为电信号的传感器,广泛应用于工业、医疗、航空等领域。为了保证力传感器的质量和可追溯性,每个力传感器都有一个唯一的编号,通常印刷在力传感器的表面。因此,在生产和检测过程中,需要对力传感器的编号进行校对,以确保编号与力传感器的编码一致,从而避免混淆和误用。在本申请的技术方案中,通过摄像头来获取包含力传感器编号的校对图像,并通过对所述校对图像的处理和特征提取,实现对所述力传感器编号的自动提取和识别,并以此来完成编号校对。
相应的,在一种可能的实现方案中,可通过以下步骤来获取由摄像头采集的包含力传感器编号的校对图像,例如:将摄像头正确连接到计算机或移动设备上,并确保摄像头能够正常工作;在计算机或移动设备上打开适当的摄像头应用程序;根据需要进行摄像头设置的调整,例如分辨率、对焦、曝光等;在摄像头的视野范围内放置包含力传感器编号的校对图像。确保图像清晰可见,并且力传感器编号能够被摄像头捕捉到;使用摄像头应用程序捕捉校对图像;在捕捉图像后,检查图像质量,确保力传感器编号清晰可读;将捕捉到的校对图像保存到计算机或移动设备的适当位置,例如照片库或指定的文件夹中。
特别地,在步骤S2中,对所述校对图像进行分析以得到编号识别结果。特别地,在本申请的一个具体示例中,如图3所示,所述步骤S2,包括:S21,对所述校对图像进行图像特征提取以得到融合编号池化特征图;以及,S22,基于所述融合编号池化特征图,确定所述编号识别结果。
具体地,所述S21,对所述校对图像进行图像特征提取以得到融合编号池化特征图。特别地,在本申请的一个具体示例中,如图4所示,所述S21,包括:S211,提取所述校对图像中的编号感兴趣区域图像;以及,S212,对所述编号感兴趣区域图像进行基于上下文关联的特征提取以得到所述融合编号池化特征图。
更具体地,所述S211,提取所述校对图像中的编号感兴趣区域图像。在本申请的技术方案中,所述S211,包括:将所述校对图像通过编号目标检测网络以得到所述编号感兴趣区域图像。这里,对所述校对图像进行感兴趣区域识别和提取的原因在于,校对图像可能包含其他元件、设备或背景物体,这些干扰物体可能与力传感器编号相互遮挡或混淆。此外,校对图像中可能存在其他文字和标志,如公司名称、产品型号等,这些文字和标志与力传感器编号无关。通过这样的方式进行处理,可以大大削弱无关背景和干扰噪声对后续特征提取的影响。
值得注意的是,目标检测网络是一类用于在图像或视频中检测和定位物体的深度学习模型。它的主要作用是识别图像中的不同物体,并确定它们的位置和边界框。目标检测网络通常由两个主要组件组成:骨干网络(Backbone Network)和目标检测头(DetectionHead)。骨干网络是一种用于提取图像特征的深度卷积神经网络(CNN)。它负责对输入图像进行特征提取和表示学习,从而捕捉图像中的语义和上下文信息。常用的骨干网络包括VGG、ResNet、MobileNet等。目标检测头是骨干网络之后的一系列网络层,用于预测图像中物体的位置和类别。目标检测头通常包括分类子网络和回归子网络。分类子网络用于对每个候选物体进行分类,确定其属于哪个类别,常用的分类子网络是基于全连接层或卷积层的分类器,可以使用softmax函数输出每个类别的概率分布。回归子网络用于预测每个候选物体的边界框(位置和大小),通常使用回归器来预测边界框的坐标和尺寸。
相应的,在一种可能的实现方案中,可通过以下步骤将所述校对图像通过编号目标检测网络以得到所述编号感兴趣区域图像,例如:收集带有力传感器编号的校对图像,并为每个图像创建相应的标注文件,标注力传感器编号的位置和边界框;选择适合的目标检测网络,如Faster R-CNN、YOLO、SSD等;将校对图像进行预处理,以适应目标检测网络的输入要求。预处理步骤可能包括图像缩放、归一化、裁剪等操作;使用准备好的校对图像和标注数据,对选择的目标检测网络进行训练。训练过程包括将图像输入网络、计算损失函数、优化网络参数等步骤;对新的校对图像使用训练好的目标检测网络进行目标检测。将图像输入网络,网络将输出力传感器编号所在的边界框和对应的类别标签;根据目标检测网络的输出,提取力传感器编号所在的感兴趣区域图像。根据边界框的位置信息,从原始图像中裁剪出感兴趣区域图像;对提取的感兴趣区域图像进行验证,确保区域的准确性。根据需要,将感兴趣区域图像保存到文件或进行进一步的处理和分析。
更具体地,所述S212,对所述编号感兴趣区域图像进行基于上下文关联的特征提取以得到所述融合编号池化特征图。考虑到所述编号感兴趣区域图像之中可能还存在未被过滤掉的干扰信息,例如遮挡物等。因此,在本申请的技术方案中,需要关注所述编号感兴趣区域图像中的上下文关联关系,以正确地捕捉到关于编号的隐含特征信息。特别地,在本申请的一个具体示例中,如图5所示,所述S212,包括:S2121,将所述编号感兴趣区域图像通过基于骨干网络的特征提取器以得到编号特征图;S2122,使用具有不同尺度的池化核对所述编号特征图进行多尺度池化以得到多个编号池化特征图;以及,S2123,使用内容上下文编码器来融合所述多个编号池化特征图以得到所述融合编号池化特征图。
所述S2121,将所述编号感兴趣区域图像通过基于骨干网络的特征提取器以得到编号特征图。应可以理解,编号感兴趣区域图像通过基于骨干网络的特征提取器,可以将感兴趣区域图像转化为编号特征图,从而提取和增强感兴趣区域的特征表示,捕捉上下文信息,并保证特征的维度匹配。这对于后续的任务具有重要的作用,可以提高任务的准确性和效果。
值得注意的是,骨干网络(Backbone Network)是深度学***衡计算效率和特征表达能力的问题。一些先进的骨干网络结构,如ResNet、MobileNet和EfficientNet,通过引入残差连接、深度可分离卷积和复合缩放等技术,提高了网络的性能和计算效率。其作用是将原始图像转化为高级抽象的特征表示,这些特征具有更好的语义信息和表达能力,可以用于后续的任务。例如,在目标检测任务中,骨干网络可以提取图像中的边缘、纹理和形状等特征,帮助定位和识别目标物体。在图像分类任务中,骨干网络可以学习到图像的全局特征,用于分类和识别不同的物体类别。在语义分割任务中,骨干网络可以提取图像中每个像素点的语义信息,实现像素级的分类和分割。
相应的,在一种可能的实现方案中,可通过以下步骤将所述编号感兴趣区域图像通过基于骨干网络的特征提取器以得到编号特征图,例如:获取包含编号的感兴趣区域图像。这可以是从整个图像中提取的局部区域,或者是通过目标检测算法获得的感兴趣区域;选择适当的骨干网络模型,例如ResNet等,并加载预训练的权重。这些预训练的权重可以在大型图像数据集上进行训练得到,具有良好的特征提取能力;对感兴趣区域图像进行预处理,以满足骨干网络模型的输入要求。通常包括图像缩放、归一化、裁剪等操作;将预处理后的感兴趣区域图像输入骨干网络模型中,通过前向传播得到特征图。特征图是在网络的中间层输出的高维特征表示,具有丰富的语义信息;从骨干网络的中间层输出中选择适当的特征图作为编号特征图。可以根据任务的需求和特定网络架构的设计来选择合适的特征图;根据需要,可以对编号特征图进行进一步的后处理,例如归一化、滤波、阈值化等操作,以增强特征的鲁棒性或提取感兴趣的特征。
所述S2122,使用具有不同尺度的池化核对所述编号特征图进行多尺度池化以得到多个编号池化特征图。考虑到特征提取器在特征编码与过滤的过程中,受到感受野的限制,容易出现错误的上下文信息聚合。具体来说,感受野通常随着网络层数的增加而扩大。然而,在本场景中,图像中可能存在多个类别的物体,感受野的扩大可能导致错误的上下文信息聚合,以将不同类别的物体或区域的特征混合在一起,导致难以准确地进行特征提取。因而,在本申请的技术方案中,使用具有不同尺度的池化核来控制感受野的大小,以获得更大范围或者说更多尺度的上下文信息,进而得到更有鉴别力的特征。
值得注意的是,池化核(Pooling Kernel)是深度学习中池化操作的一部分。池化操作是一种对输入特征图进行降维和特征提取的操作,通过对局部区域的特征进行合并来减少特征的尺寸,并提取出重要的特征信息。池化核是池化操作中的一种结构,它定义了池化操作中的窗口大小和步幅(stride)。在每个池化窗口内,池化核对窗口内的特征进行聚合或提取,生成池化后的输出值。
相应的,在一种可能的实现方案中,可通过以下步骤使用具有不同尺度的池化核对所述编号特征图进行多尺度池化以得到多个编号池化特征图,例如:输入:编号特征图;定义多个池化核尺度:选择多个不同尺度的池化核,例如3x3、5x5、7x7等。这些池化核的尺度决定了池化窗口的大小;对每个池化核尺度进行池化操作:对于每个池化核尺度,将池化核在编号特征图上以固定的步幅进行滑动,每次选择窗口内的特征进行池化操作;对于最大池化,选择窗口内的最大特征值作为输出;对于平均池化,计算窗口内特征的平均值作为输出;池化操作可以保持特征图的通道数不变,只改变特征图的空间尺寸;得到多个编号池化特征图:对于每个池化核尺度,得到一个对应的编号池化特征图;多尺度特征图的应用:多个编号池化特征图可以用于后续的任务,例如目标检测、分类、分割等。这些特征图具有不同的尺度和语义信息,可以提供更丰富和多样化的特征表示,有助于提高模型的性能和鲁棒性。
所述S2123,使用内容上下文编码器来融合所述多个编号池化特征图以得到所述融合编号池化特征图。也就是,使用内容上下文编码器来进行上下文语义特征提取,使得所述融合编号池化特征图具有更为出色的特征表达能力。更具体地,在本申请的实施例中,使用内容上下文编码器来融合所述多个编号池化特征图以得到融合编号池化特征图的编码过程,包括:先将所述多个编号池化特征图沿通道维度的各个特征矩阵进行全局均值池化以得到多个编号池化特征向量;随后,将多个编号池化特征向量通过基于转换器的上下文编码器以得到融合编号池化特征向量;再将所述融合编号池化特征向量进行特征向量重构以得到所述融合编号池化特征图。其中,将所述多个编号池化特征图沿通道维度的各个特征矩阵进行全局均值池化以得到多个编号池化特征向量;其中,全局均值池化是一种特殊的池化操作,它对整个特征图进行池化,将特征图的每个通道的特征值取平均作为输出;以及,将多个编号池化特征向量通过基于转换器的上下文编码器以得到融合编号池化特征向量,包括:将所述多个编号池化特征向量进行一维排列以得到全局编号池化特征向量;计算所述全局编号池化特征向量与所述多个编号池化特征向量中各个局部展开特征向量的转置向量之间的乘积以得到多个自注意力关联矩阵;分别对所述多个自注意力关联矩阵中各个自注意力关联矩阵进行标准化处理以得到多个标准化后自注意力关联矩阵;将所述多个标准化后自注意力关联矩阵中各个标准化后自注意力关联矩阵通过Softmax分类函数以得到多个概率值;分别以所述多个概率值中各个概率值作为权重对所述多个编号池化特征向量中各个编号池化特征向量进行加权以得到所述多个上下文语义编号池化特征向量;以及,将所述多个上下文语义编号池化特征向量进行级联以得到所述全局编号池化特征向量。更具体地,将所述融合编号池化特征向量进行特征向量重构以得到所述融合编号池化特征图,值得一提的是,重构的目标是通过在低维向量空间中保留最重要的信息和结构,来近似恢复原始数据。这可以用于数据可视化、特征提取、数据压缩等应用场景。例如,在图像处理中,可以将图像压缩为较低维度的向量表示,然后通过向量重构来恢复图像的视觉质量,也就是,通过对特征向量进行重构,可以增强特征的表达能力和区分度。重构后的特征向量可能会更好地捕捉到图像的关键信息,从而提高模型的性能和鲁棒性。
值得注意的是,上下文编码器是一种用于处理序列数据的神经网络结构,常用于自然语言处理和语音识别等任务中。它的作用是将输入的序列数据编码为一个固定长度的向量表示,捕捉输入序列的上下文信息和语义特征。在一个示例中,Transformer是一种基于注意力机制的模型,通过自注意力机制和位置编码来建模序列中的上下文关系。它在处理长序列和并行计算方面具有优势,并且在机器翻译等任务中取得了显著的成果。上下文编码器的作用是将输入序列中的每个元素转化为一个向量表示,并利用这些向量来捕捉序列的上下文信息和语义特征。这种向量表示可以用于后续的任务,如序列分类、序列生成等。通过学习到的上下文编码,模型可以更好地理解和利用序列数据中的相关信息,从而提高任务的性能和效果。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式对所述编号感兴趣区域图像进行基于上下文关联的特征提取以得到所述融合编号池化特征图,例如:选择一个适合的CNN模型,如VGG、ResNet等,并加载其预训练权重;对编号感兴趣区域图像进行与目标检测网络相似的预处理操作;将预处理后的编号感兴趣区域图像输入到CNN模型中,通过前向传播获取图像的特征表示。在CNN模型中,通常通过去除最后一层全连接层,获得特征图;根据上下文关联的需求,可以采用不同的方法来融合编号感兴趣区域图像的上下文信息。一种常见的方法是使用空间金字塔池化(Spatial Pyramid Pooling),它可以在不同尺度上对特征图进行池化操作,从而捕捉不同尺度的上下文信息;对经过上下文关联的特征图进行池化操作,将其转换为固定大小的编号池化特征图。池化操作可以是平均池化、最大池化等,将特征图的尺寸降低,保留重要的特征信息;对融合编号池化特征图进行验证,确保特征的准确性。根据需要,将融合编号池化特征图保存到文件或用于后续的任务,如分类、识别等。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式对所述校对图像进行图像特征提取以得到融合编号池化特征图,例如:将校对图像导入到图像处理软件或编程环境中;对导入的图像进行预处理,以提高特征提取的准确性;使用图像处理技术或深度学***均、特征连接等方法来融合特征;对融合的特征图进行池化操作,以减少特征的维度并保留关键信息。常见的池化方法包括最大池化、平均池化等;得到融合编号池化特征图,它是校对图像中力传感器编号的综合表示。该特征图可以用于进一步的分类、识别或其他任务。
具体地,所述S22,基于所述融合编号池化特征图,确定所述编号识别结果。特别地,在本申请的一个具体示例中,如图6所示,所述S22,包括:S221,对所述融合编号池化特征图进行特征分布优化以得到优化融合编号池化特征图;以及,S222,将所述优化融合编号池化特征图通过分类器以得到分类结果,所述分类结果为所述编号识别结果。
更具体地,所述S221,对所述融合编号池化特征图进行特征分布优化以得到优化融合编号池化特征图。特别地,在本申请的技术方案中,在使用具有不同尺度的池化核对所述编号特征图进行多尺度空间池化得到所述多个编号池化特征图,并使用内容上下文编码器对所述多个编号池化特征图进行基于特征内容的上下文聚合时,期望所述融合编号池化特征图在表达多个不同尺度的编号池化特征图的上下文关联图像语义特征的同时,仍然具有各个尺度的编号池化特征图所表达的所述编号感兴趣区域图像的局部空间关联图像语义特征在分类规则下的良好表达,因此,需要基于所述编号特征图的局部空间关联图像语义特征表示来对所述融合编号池化特征图进行校正。基于此,本申请的申请人对所述编号特征图,例如记为,和所述融合编号池化特征图,例如记为/>进行平滑响应参数化解耦融合,来获得优化后的融合编号池化特征图,例如记为/>,具体为:
其中表示所述编号特征图,/>表示所述融合编号池化特征图,/>表示所述编号特征图和所述融合编号池化特征图之间的余弦距离,且/>为以2为底的对数,/>()表示向量的指数运算,/>表示按位置作差,/>表示按位置点乘,/>表示按位置相加,/>表示所述优化融合编号池化特征图。这里,所述平滑响应参数化解耦融合通过使用平滑参数化函数的解耦原则,基于所述编号特征图/>和所述融合编号池化特征图/>之间的余弦距离的非负对称性来编译所述编号特征图/>和所述融合编号池化特征图/>的特征之间的逐点嵌入,从而以特征之间的空间变换(transformation)来推断所述编号特征图/>和所述融合编号池化特征图/>之间的信息分布转移(information distributionshift),从而表达特征之间的平滑响应在类规则下的信息结构化融合,从而提升优化后的融合编号池化特征图/>对于所述编号特征图的局部空间关联图像语义特征的基于分类规则的表达效果,以提升所述优化后的融合编号池化特征图通过分类器得到的分类结果的准确性。
更具体地,所述S222,将所述优化融合编号池化特征图通过分类器以得到分类结果,所述分类结果为所述编号识别结果。具体地,将所述优化融合编号池化特征图基于行向量或列向量展开为分类特征向量;使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
分类器(Classifier)是指一种机器学习模型或算法,用于将输入数据分为不同的类别或标签。分类器是监督学习的一部分,它通过学习从输入数据到输出类别的映射关系来进行分类任务。
全连接层(Fully Connected Layer)是神经网络中常见的一种层类型。在全连接层中,每个神经元都与上一层的所有神经元相连接,每个连接都有一个权重。这意味着全连接层中的每个神经元都接收来自上一层所有神经元的输入,并通过权重对这些输入进行加权求和,然后将结果传递给下一层。
Softmax分类函数是一种常用的激活函数,用于多分类问题。它将输入向量的每个元素转化为一个介于0和1之间的概率值,并且这些概率值的和等于1。Softmax函数常用于神经网络的输出层,特别适用于多分类问题,因为它能够将网络输出映射为各个类别的概率分布。在训练过程中,Softmax函数的输出可以用于计算损失函数,并通过反向传播算法来更新网络参数。值得注意的是,Softmax函数的输出并不会改变元素之间的相对大小关系,只是对其进行了归一化处理。因此,Softmax函数并不改变输入向量的特性,只是将其转化为概率分布形式。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式基于所述融合编号池化特征图,确定所述编号识别结果,例如:输入多个编号池化特征图;对于每个池化特征图,可以选择不同的融合方法,如拼接、加权求和等; 一种常见的融合方法是将多个池化特征图在通道维度上进行拼接,得到一个更大的特征图;拼接后的特征图将保留每个池化特征图的空间信息和语义信息;对融合后的特征图进行进一步的处理,例如应用卷积操作、归一化操作等;这些处理操作有助于进一步提取特征和增强特征的表达能力;使用分类器对处理后的特征图进行分类,将其映射到具体的编号类别;常见的分类器包括全连接层、支持向量机(SVM)、决策树等;根据分类器的输出,确定最终的编号识别结果;可以根据分类器的置信度或概率值进行决策,选择最有可能的编号类别作为结果。
值得一提的是,在本申请的其他具体示例中,还可以通过其他方式对所述校对图像进行分析以得到编号识别结果,例如:将获取的校对图像导入到计算机上的图像处理软件或编程环境中。可以使用常见的图像处理软件,如Adobe Photoshop、GIMP,或者使用编程语言中的图像处理库,如Python中的OpenCV;对导入的图像进行预处理,以提高识别的准确性。预处理步骤可能包括图像去噪、调整对比度和亮度、图像增强等。根据图像质量和特定需求,选择适当的预处理方法;根据力传感器编号的位置,使用图像处理技术或人工操作来提取感兴趣区域。这可以是力传感器编号所在的矩形区域或者其他形状的区域;对提取的感兴趣区域应用光学字符识别(OCR)算法,将图像中的文本转换为可识别的文本数据。可以使用OCR库或API,如Tesseract OCR、Google Cloud Vision API等,将感兴趣区域中的文本提取出来;对提取的文本数据进行处理和分析,以获得力传感器的编号识别结果。这可能涉及到文本清理、字符匹配、模式识别等技术。根据力传感器编号的特点和格式,选择适当的算法和方法;对识别的力传感器编号进行验证,确保识别结果的准确性。根据需要,将识别结果输出到文件、数据库或其他***中,以供进一步使用。
特别地,在步骤S3中,基于所述编号识别结果,进行力传感器编号校对。特别地,在本申请的一个具体示例中,所述S3,包括:将所述编号识别结果与预存储的力传感器编码进行校对。
相应的,在一种可能的实现方式中,可通过以下步骤将所述编号识别结果与预存储的力传感器编码进行校对,例如:收集编号识别结果:使用适当的方法(例如计算机视觉算法)对图像或视频进行处理,以识别出图像中的编号。这可能涉及到目标检测、字符识别或模式匹配等技术;提取力传感器编码:从力传感器中获取预存储的编码。这可能涉及到读取传感器数据或通过通信接口从传感器中获取编码信息;数据对齐:将编号识别结果和力传感器编码进行对齐,确保它们在时间或空间上对应。这可能需要根据时间戳或位置信息对数据进行同步;校对比较:将识别出的编号与预存储的力传感器编码进行比较。这可以通过简单的相等性比较或其他更复杂的匹配算法来实现,具体取决于需求和数据的特点;判定校对结果:根据比较的结果,判断编号识别结果与力传感器编码是否匹配。如果匹配,则可以认为校对成功;如果不匹配,则可能需要进行进一步的分析或处理。
综上,根据本申请实施例的力传感器编号校对方法被阐明,其通过利用计算机视觉和深度学习技术,通过图像处理和特征提取,实现对力传感器编号的自动提取和识别,并以此来进行编号校对。
进一步地,还提供一种力传感器编号校对***。
图7为根据本申请实施例的力传感器编号校对***的框图。如图7所示,根据本申请实施例的力传感器编号校对***300,包括:图像采集模块310,用于获取由摄像头采集的包含力传感器编号的校对图像;图像分析模块320,用于对所述校对图像进行分析以得到编号识别结果;以及,编号校对模块330,用于基于所述编号识别结果,进行力传感器编号校对。
如上所述,根据本申请实施例的力传感器编号校对***300可以实现在各种无线终端中,例如具有力传感器编号校对算法的服务器等。在一种可能的实现方式中,根据本申请实施例的力传感器编号校对***300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如,该力传感器编号校对***300可以是该无线终端的操作***中的一个软件模块,或者可以是针对于该无线终端所开发的一个应用程序;当然,该力传感器编号校对***300同样可以是该无线终端的众多硬件模块之一。
替换地,在另一示例中,该力传感器编号校对***300与该无线终端也可以是分立的设备,并且该力传感器编号校对***300可以通过有线和/或无线网络连接到该无线终端,并且按照约定的数据格式来传输交互信息。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (5)

1.力传感器编号校对方法,其特征在于,包括:
获取由摄像头采集的包含力传感器编号的校对图像;
对所述校对图像进行分析以得到编号识别结果;
基于所述编号识别结果,进行力传感器编号校对;
对所述校对图像进行分析以得到编号识别结果,包括:
对所述校对图像进行图像特征提取以得到融合编号池化特征图;
基于所述融合编号池化特征图,确定所述编号识别结果;
对所述校对图像进行图像特征提取以得到融合编号池化特征图,包括:
提取所述校对图像中的编号感兴趣区域图像;
对所述编号感兴趣区域图像进行基于上下文关联的特征提取以得到所述融合编号池化特征图;
对所述编号感兴趣区域图像进行基于上下文关联的特征提取以得到所述融合编号池化特征图,包括:
将所述编号感兴趣区域图像通过基于骨干网络的特征提取器以得到编号特征图;
使用具有不同尺度的池化核对所述编号特征图进行多尺度池化以得到多个编号池化特征图;
使用内容上下文编码器来融合所述多个编号池化特征图以得到所述融合编号池化特征图;
基于所述融合编号池化特征图,确定所述编号识别结果,包括:
对所述融合编号池化特征图进行特征分布优化以得到优化融合编号池化特征图;以及
将所述优化融合编号池化特征图通过分类器以得到分类结果,所述分类结果为所述编号识别结果;
对所述融合编号池化特征图进行特征分布优化以得到优化融合编号池化特征图,包括:以如下优化公式对所述编号特征图和所述融合编号池化特征图进行平滑响应参数化解耦融合,获得所述优化融合编号池化特征图;
其中,所述公式为:
其中表示所述编号特征图,/>表示所述融合编号池化特征图,/>表示所述编号特征图和所述融合编号池化特征图之间的余弦距离,且/>为以2为底的对数,表示向量的指数运算,/>表示按位置作差,/>表示按位置点乘,/>表示按位置相加,/>表示所述优化融合编号池化特征图;
所述平滑响应参数化解耦融合通过使用平滑参数化函数的解耦原则,基于所述编号特征图和所述融合编号池化特征图/>之间的余弦距离的非负对称性来编译所述编号特征图/>和所述融合编号池化特征图/>的特征之间的逐点嵌入,以特征之间的空间变换来推断所述编号特征图/>和所述融合编号池化特征图/>之间的信息分布转移。
2.根据权利要求1所述的力传感器编号校对方法,其特征在于,提取所述校对图像中的编号感兴趣区域图像,包括:
将所述校对图像通过编号目标检测网络以得到所述编号感兴趣区域图像。
3.根据权利要求2所述的力传感器编号校对方法,其特征在于,基于所述编号识别结果,进行力传感器编号校对,包括:将所述编号识别结果与预存储的力传感器编码进行校对。
4.力传感器编号校对***,其基于权利要求1-3中任一项所述的力传感器编号校对方法实现,其特征在于,所述***包括:
图像采集模块,用于获取由摄像头采集的包含力传感器编号的校对图像;
图像分析模块,用于对所述校对图像进行分析以得到编号识别结果;
编号校对模块,用于基于所述编号识别结果,进行力传感器编号校对;
所述图像分析模块,进一步用于:
对所述校对图像进行图像特征提取以得到融合编号池化特征图;
基于所述融合编号池化特征图,确定所述编号识别结果;
所述图像分析模块,进一步用于:
提取所述校对图像中的编号感兴趣区域图像;
对所述编号感兴趣区域图像进行基于上下文关联的特征提取以得到所述融合编号池化特征图;
所述图像分析模块,进一步用于:
将所述编号感兴趣区域图像通过基于骨干网络的特征提取器以得到编号特征图;
使用具有不同尺度的池化核对所述编号特征图进行多尺度池化以得到多个编号池化特征图;
使用内容上下文编码器来融合所述多个编号池化特征图以得到所述融合编号池化特征图;
所述图像分析模块,进一步用于:
对所述融合编号池化特征图进行特征分布优化以得到优化融合编号池化特征图;以及
将所述优化融合编号池化特征图通过分类器以得到分类结果,所述分类结果为所述编号识别结果;
以如下优化公式对所述编号特征图和所述融合编号池化特征图进行平滑响应参数化解耦融合,获得所述优化融合编号池化特征图;
其中,所述公式为:
其中表示所述编号特征图,/>表示所述融合编号池化特征图,/>表示所述编号特征图和所述融合编号池化特征图之间的余弦距离,且/>为以2为底的对数,表示向量的指数运算,/>表示按位置作差,/>表示按位置点乘,/>表示按位置相加,/>表示所述优化融合编号池化特征图;
所述平滑响应参数化解耦融合通过使用平滑参数化函数的解耦原则,基于所述编号特征图和所述融合编号池化特征图/>之间的余弦距离的非负对称性来编译所述编号特征图/>和所述融合编号池化特征图/>的特征之间的逐点嵌入,以特征之间的空间变换来推断所述编号特征图/>和所述融合编号池化特征图/>之间的信息分布转移。
5.根据权利要求4所述的力传感器编号校对***,其特征在于,所述图像分析模块,进一步用于:将所述校对图像通过编号目标检测网络以得到所述编号感兴趣区域图像。
CN202311187017.8A 2023-09-14 2023-09-14 力传感器编号校对***及方法 Active CN116933041B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311187017.8A CN116933041B (zh) 2023-09-14 2023-09-14 力传感器编号校对***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311187017.8A CN116933041B (zh) 2023-09-14 2023-09-14 力传感器编号校对***及方法

Publications (2)

Publication Number Publication Date
CN116933041A CN116933041A (zh) 2023-10-24
CN116933041B true CN116933041B (zh) 2024-05-03

Family

ID=88386362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311187017.8A Active CN116933041B (zh) 2023-09-14 2023-09-14 力传感器编号校对***及方法

Country Status (1)

Country Link
CN (1) CN116933041B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539321A (zh) * 2020-04-22 2020-08-14 中国飞机强度研究所 一种力传感器编号校对***及方法
CN112329766A (zh) * 2020-10-14 2021-02-05 北京三快在线科技有限公司 文字识别方法、装置、电子设备及存储介质
CN114913325A (zh) * 2022-03-24 2022-08-16 北京百度网讯科技有限公司 语义分割方法、装置及计算机程序产品
CN115019182A (zh) * 2022-07-28 2022-09-06 北京卫星信息工程研究所 遥感图像目标细粒度识别方法、***、设备及存储介质
CN115783919A (zh) * 2022-11-28 2023-03-14 崔铁良 电梯用电动车监控***及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11155259B2 (en) * 2018-09-13 2021-10-26 Honda Motor Co., Ltd. System and method for egocentric-vision based future vehicle localization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539321A (zh) * 2020-04-22 2020-08-14 中国飞机强度研究所 一种力传感器编号校对***及方法
CN112329766A (zh) * 2020-10-14 2021-02-05 北京三快在线科技有限公司 文字识别方法、装置、电子设备及存储介质
CN114913325A (zh) * 2022-03-24 2022-08-16 北京百度网讯科技有限公司 语义分割方法、装置及计算机程序产品
CN115019182A (zh) * 2022-07-28 2022-09-06 北京卫星信息工程研究所 遥感图像目标细粒度识别方法、***、设备及存储介质
CN115783919A (zh) * 2022-11-28 2023-03-14 崔铁良 电梯用电动车监控***及方法

Also Published As

Publication number Publication date
CN116933041A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
US10410292B2 (en) Method, system, apparatus, and storage medium for realizing antifraud in insurance claim based on consistency of multiple images
CN109993201B (zh) 一种图像处理方法、装置和可读存储介质
CN110490081B (zh) 一种基于聚焦权重矩阵与变尺度语义分割神经网络的遥感对象解译方法
Han et al. A novel computer vision-based approach to automatic detection and severity assessment of crop diseases
CN107886062B (zh) 图像处理方法、***及服务器
US20200134382A1 (en) Neural network training utilizing specialized loss functions
Akhtar et al. Optical character recognition (OCR) using partial least square (PLS) based feature reduction: an application to artificial intelligence for biometric identification
CN116343301B (zh) 基于人脸识别的人员信息智能校验***
CN112364974B (zh) 一种基于激活函数改进的YOLOv3算法
CN117011274A (zh) 自动化玻璃瓶检测***及其方法
CN116844217A (zh) 用于生成人脸数据的图像处理***及方法
CN116994049A (zh) 全自动针织横机及其方法
CN116933041B (zh) 力传感器编号校对***及方法
CN113505716B (zh) 静脉识别模型的训练方法、静脉图像的识别方法及装置
US11715288B2 (en) Optical character recognition using specialized confidence functions
Hossain et al. Comparison of YOLO (V3, V5) and MobileNet-SSD (V1, V2) for Person Identification Using Ear-Biometrics
Okokpujie et al. A COMPARATIVE ANALYSIS PERFORMANCE OF DATA AUGMENTATION ON AGE-INVARIANT FACE RECOGNI-TION USING PRETRAINED RESIDUAL NEURAL NETWORK
CN113947780A (zh) 一种基于改进卷积神经网络的梅花鹿面部识别方法
Rasheed et al. Face Recognition Emotions Detection Using Haar Cascade Classifier and Convolutional Neural Network
CN117542067B (zh) 一种基于视觉识别的区域标注表单识别方法
KR102418476B1 (ko) 2차원 이미지 데이터와 3차원 뎁스 데이터를 이용하여 차량 번호판의 판독과 위조와 오염 여부의 판단을 정밀하게 수행하는 주차관제시스템의 운영방법
Bappy et al. Bangla Handwritten Numeral Recognition using Deep Convolutional Neural Network
Zbieć et al. Neural Networks for Image Recognition in Mobile Applications
CN117474882A (zh) 彩印包装图案检测***及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant