CN115100418A - 一种抗原检测试剂盒识别方法、装置、设备及存储介质 - Google Patents

一种抗原检测试剂盒识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115100418A
CN115100418A CN202210844704.1A CN202210844704A CN115100418A CN 115100418 A CN115100418 A CN 115100418A CN 202210844704 A CN202210844704 A CN 202210844704A CN 115100418 A CN115100418 A CN 115100418A
Authority
CN
China
Prior art keywords
image
detection
color
determining
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210844704.1A
Other languages
English (en)
Inventor
王道洋
方金武
郑忠斌
陈德华
王伟炳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Internet Innovation Center Shanghai Co ltd
Fudan University
Donghua University
Original Assignee
Industrial Internet Innovation Center Shanghai Co ltd
Fudan University
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Internet Innovation Center Shanghai Co ltd, Fudan University, Donghua University filed Critical Industrial Internet Innovation Center Shanghai Co ltd
Priority to CN202210844704.1A priority Critical patent/CN115100418A/zh
Publication of CN115100418A publication Critical patent/CN115100418A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种抗原检测试剂盒识别方法、装置、设备及存储介质，涉及图像处理领域。该方法包括：获取多种类型的抗原检测试剂盒对应的特征子图组；特征子图组包括试剂盒模板图片和色带识别区模板图片；获取待识别图像，将待识别图像与特征子图组进行匹配，并根据匹配结果从所有特征子图组中确定出目标特征子图组；根据目标特征子图组包含的试剂盒模板图片从待识别图像中确定出第一区域图像，再根据目标特征子图组包含的色带识别区模板图片从第一区域图像中确定出第二区域图像；通过边缘检测算法从第二区域图像中确定出色带条，并对色带条进行颜色检测，根据颜色检测结果确定待识别图像对应的检测结果，提高了抗原检测试剂盒识别效率。

Description

一种抗原检测试剂盒识别方法、装置、设备及存储介质
技术领域
本发明涉及图像处理领域，特别涉及一种抗原检测试剂盒识别方法、装置、设备及存储介质。
背景技术
目前，抗原检测作为一种常用检测方法，通过依靠抗原检测试剂盒无需使用复杂的仪器与复杂的操作即可实现自行检测，具有方便、快速两大特点。例如，新冠抗原检测是快速检测新冠抗原的一种方法，在试纸条上标记抗新冠病毒蛋白的多克隆抗体来检测样本中新冠病毒抗原，10-20分钟即可出结果，其作为补充手段用于特定人群筛查，抗原异常的人群能够更快的被发现、及时采取相关措施。现有技术中，新冠抗原检测结果由检测者拍照上传至制定平台，由平台管理人员人工审核，人工成本高，需要耗费大量的人力资源，并且效率低下。
发明内容
有鉴于此，本发明的目的在于提供一种抗原检测试剂盒识别方法、装置、设备及介质，能够快速自动识别多种类型的抗原检测试剂盒的检测结果，提高了抗原检测试剂盒识别处理效率。其具体方案如下：
第一方面，本申请公开了一种抗原检测试剂盒识别方法，包括：
获取多种类型的抗原检测试剂盒对应的特征子图组；所述特征子图组包括试剂盒模板图片和色带识别区模板图片；
获取待识别图像，将所述待识别图像与所述特征子图组进行匹配，并根据匹配结果从所有所述特征子图组中确定出目标特征子图组；
根据所述目标特征子图组包含的试剂盒模板图片从所述待识别图像中确定出第一区域图像，再根据所述目标特征子图组包含的色带识别区模板图片从所述第一区域图像中确定出第二区域图像；
通过边缘检测算法从所述第二区域图像中确定出色带条，并对所述色带条进行颜色检测，根据颜色检测结果确定所述待识别图像对应的检测结果。
可选的，所述获取多种类型的抗原检测试剂盒对应的特征子图组，包括：
获取多种类型的抗原检测试剂盒在不同曝光度下的拍摄图片；
根据抗原检测试剂盒的矩形轮廓对所述拍摄图片进行裁剪，得到试剂盒模板图片；
根据包含色带识别标志的色带识别区域的矩形轮廓对所述拍摄图片进行裁剪，得到色带识别区模板图片；
基于所述试剂盒模板图片和所述色带识别区模板图片，生成每种类型的试剂盒对应的特征子图组。
可选的，所述将所述待识别图像与所述特征子图组进行匹配，并根据匹配结果从所有所述特征子图组中确定出目标特征子图组，包括：
计算所述特征子图组内每张图片的SIFT特征，以及所述待识别图像的SIFT特征；
将所述待识别图像的SIFT特征与每组所述特征子图组内每张图片的SIFT特征进行匹配，并计算特征向量距离，得到所述待识别图像与每组所述特征子图组的距离求和；
筛选出距离求和最小的一组特征子图组作为所述目标特征子图组。
可选的，所述根据所述目标特征子图组包含的试剂盒模板图片从所述待识别图像中确定出第一区域图像，再根据所述目标特征子图组包含的色带识别区模板图片从所述第一区域图像中确定出第二区域图像，包括：
对所述试剂盒模板图片和所述待识别图像进行特征点匹配，根据匹配结果从所述待识别图像中选取与所述试剂盒模板图片的四个顶点距离最近的四个特征点，并根据该四个特征点通过透视变换生成对应的矩形框并进行矩形矫正以得到第一矩形框，根据所述第一矩形框对所述待识别图像进行裁剪，以得到所述第一区域图像；
对所述色带识别区模板图片和所述第一区域图像进行特征点匹配，根据匹配结果从所述第一区域图像中选取与所述色带识别区模板图片的四个顶点距离最近的四个特征点，并根据该四个特征点通过透视变换生成对应的矩形框并进行矩形矫正以得到第二矩形框，根据所述第二矩形框对所述第一区域图像进行裁剪，以得到所述第二区域图像。
可选的，所述通过边缘检测算法从所述第二区域图像中确定出色带条，包括：
对所述第二区域图像进行二值化处理，并对处理后的二值化图像进行开运算，得到滤波后图像；
基于所述滤波后图像确定对应的前景区域和背景区域，并对所述前景区域和所述背景区域的重叠区域进行区域连通处理，得到连通后图像；
利用分水岭算法从所述连通后图像中分割出色带条区域，对所述色带条区域进行矩形化处理以得到所述色带条。
可选的，所述对所述色带条进行颜色检测，根据颜色检测结果确定所述待识别图像对应的检测结果，包括：
对所述色带条进行去噪处理；
根据像素累积特征对所述色带条进行横线检测，并根据检测结果和预设颜色阈值确定所述待识别图像对应的检测结果。
可选的，所述根据像素累积特征对所述色带条进行横线检测，并根据检测结果和预设颜色阈值确定所述待识别图像对应的检测结果，包括：
根据所述抗原检测试剂盒的检测显示区域特征，对所述色带条进行区域划分，得到第一检测显示区域和第二检测显示区域；
根据像素累积特征，分别对所述第一检测显示区域和所述第二检测显示区域进行横线检测；
根据检测结果和预设颜色阈值确定出每个显示区域的检测结果，并根据所述检测结果和所述抗原检测试剂盒的检测显示规则确定所述待识别图像对应的检测结果。
第二方面，本申请公开了一种抗原检测试剂盒识别装置，包括：
特征子图组获取模块，用于获取多种类型的抗原检测试剂盒对应的特征子图组；所述特征子图组包括试剂盒模板图片和色带识别区模板图片；
目标特征子图组确定模块，用于获取待识别图像，将所述待识别图像与所述特征子图组进行匹配，并根据匹配结果从所有所述特征子图组中确定出目标特征子图组；
区域图像确定模块，用于根据所述目标特征子图组包含的试剂盒模板图片从所述待识别图像中确定出第一区域图像，再根据所述目标特征子图组包含的色带识别区模板图片从所述第一区域图像中确定出第二区域图像；
识别模块，用于通过边缘检测算法从所述第二区域图像中确定出色带条，并对所述色带条进行颜色检测，根据颜色检测结果确定所述待识别图像对应的检测结果。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的抗原检测试剂盒识别方法。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的抗原检测试剂盒识别方法。
本申请中，获取多种类型的抗原检测试剂盒对应的特征子图组；所述特征子图组包括试剂盒模板图片和色带识别区模板图片；获取待识别图像，将所述待识别图像与所述特征子图组进行匹配，并根据匹配结果从所有所述特征子图组中确定出目标特征子图组；根据所述目标特征子图组包含的试剂盒模板图片从所述待识别图像中确定出第一区域图像，再根据所述目标特征子图组包含的色带识别区模板图片从所述第一区域图像中确定出第二区域图像；通过边缘检测算法从所述第二区域图像中确定出色带条，并对所述色带条进行颜色检测，根据颜色检测结果确定所述待识别图像对应的检测结果。可见，通过获取不同品牌类型的抗原检测试剂盒对应的试剂盒模板图片和色带识别区模板图片，得到不同类型抗原检测试剂盒的关键区域图像模板，获取待识别图像后，通过匹配筛选出最佳的目标特征子图组作为模板，基进而根据该目标特征子图组依次提取区域图像、色带条，最后通过识别色带条颜色确定检测结果，能够快速自动识别多种类型的抗原检测试剂盒的检测结果，不局限于某类品牌，节约了大量的人工校对时间和人力成本，并且大幅度提高了识别处理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种抗原检测试剂盒识别方法流程图；
图2a为本申请提供的一种具体的试剂盒模板图片和色带识别区模板图片示意图；
图2b为本申请提供的另一种具体的试剂盒模板图片和色带识别区模板图片示意图；
图3为本申请提供的一种具体的目标特征子图组确定方法流程图；
图4为本申请提供的一种具体的区域图像确定方法流程图；
图5为本申请提供的一种具体的色带条确定方法流程图；
图6为本申请提供的一种具体的色带条颜色检测方法流程图；
图7为本申请提供的一种具体的抗原检测试剂盒识别方法流程图；
图8为本申请提供的一种抗原检测试剂盒识别装置结构示意图；
图9为本申请提供的一种电子设备结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，新冠抗原检测结果由检测者拍照上传至制定平台，由平台管理人员人工审核，人工成本高，需要耗费大量的人力资源，并且效率低下。为克服上述技术问题，本申请提出一种抗原检测试剂盒识别方法，能够快速自动识别多种类型的抗原检测试剂盒的检测结果，提高了抗原检测试剂盒识别处理效率。
本申请实施例公开了一种抗原检测试剂盒识别方法，参见图1所示，该方法可以包括以下步骤：
步骤S11：获取多种类型的抗原检测试剂盒对应的特征子图组；所述特征子图组包括试剂盒模板图片和色带识别区模板图片。
本实施例中，首先获取多种不同类型的抗原检测试剂盒对应的特征子图组；特征子图组包括试剂盒模板图片和色带识别区模板图片。本实施例中，所述获取多种类型的抗原检测试剂盒对应的特征子图组，可以包括：获取多种类型的抗原检测试剂盒在不同曝光度下的拍摄图片；根据抗原检测试剂盒的矩形轮廓对所述拍摄图片进行裁剪，得到试剂盒模板图片；根据包含色带识别标志的色带识别区域的矩形轮廓对所述拍摄图片进行裁剪，得到色带识别区模板图片；基于所述试剂盒模板图片和所述色带识别区模板图片，生成每种类型的试剂盒对应的特征子图组。以COVID-19抗原检测试剂盒为例，收集多种品牌COVID-19抗原检测试剂盒不同曝光度的竖直高清图片，例如图2a和图2b所示，将收集的图片按照图中抗原检测试剂盒的矩形轮廓，以及含有C、T标志的色带识别区的矩形轮廓从原图中裁剪生成特征子图组，将裁剪得到的所有特征子图组形成一个特征子集。
步骤S12：获取待识别图像，将所述待识别图像与所述特征子图组进行匹配，并根据匹配结果从所有所述特征子图组中确定出目标特征子图组。
本实施例中，获取包含待识别抗原试剂盒的待识别图像后，将待识别图像与所有特征子图组进行匹配，然后根据匹配结果从所有特征子图组中确定出目标特征子图组，即选择一个最佳模板以便后续根据该模板对待识别图像中的试剂盒模板区域和色带识别区域进行提取。
本实施例中，所述将所述待识别图像与所述特征子图组进行匹配，并根据匹配结果从所有所述特征子图组中确定出目标特征子图组，可以包括：计算所述特征子图组内每张图片的SIFT特征，以及所述待识别图像的SIFT特征；将所述待识别图像的SIFT特征与每组所述特征子图组内每张图片的SIFT特征进行匹配，并计算特征向量距离，得到所述待识别图像与每组所述特征子图组的距离求和；筛选出距离求和最小的一组特征子图组作为所述目标特征子图组。例如图3所示，目标特征子图组选择算法运行步骤包括：分别计算各品牌的两个不同尺寸的特征子图的SIFT(尺度不变特征变换，Scale-invariant featuretransform)特征点，并计算待识别图像的SIFT特征点；使用Brute Force匹配算法匹配各特征子图与输入图的最相似特征点，计算相似匹配点间的距离，并使用同一个特征图的两个不同尺寸的子图，分别取其中与输入图像特征点间距离最短的10组特征点的距离并求和，以提高品牌匹配的精度并增强算法的鲁棒性；最后，选择距离之和最小的一组特征子图对作为子图匹配模板。
步骤S13：根据所述目标特征子图组包含的试剂盒模板图片从所述待识别图像中确定出第一区域图像，再根据所述目标特征子图组包含的色带识别区模板图片从所述第一区域图像中确定出第二区域图像。
本实施例中，确定目标特征子图组后，根据目标特征子图组包含的试剂盒模板图片从待识别图像中确定出第一区域图像，也就是识别到的试剂盒区域，再根据目标特征子图组包含的色带识别区模板图片从第一区域图像中确定出第二区域图像，也就是识别到的色带识别区域。
本实施例中，所述根据所述目标特征子图组包含的试剂盒模板图片从所述待识别图像中确定出第一区域图像，再根据所述目标特征子图组包含的色带识别区模板图片从所述第一区域图像中确定出第二区域图像，可以包括：对所述试剂盒模板图片和所述待识别图像进行特征点匹配，根据匹配结果从所述待识别图像中选取与所述试剂盒模板图片的四个顶点距离最近的四个特征点，并根据该四个特征点通过透视变换生成对应的矩形框并进行矩形矫正以得到第一矩形框，根据所述第一矩形框对所述待识别图像进行裁剪，以得到所述第一区域图像；
对所述色带识别区模板图片和所述第一区域图像进行特征点匹配，根据匹配结果从所述第一区域图像中选取与所述色带识别区模板图片的四个顶点距离最近的四个特征点，并根据该四个特征点通过透视变换生成对应的矩形框并进行矩形矫正以得到第二矩形框，根据所述第二矩形框对所述第一区域图像进行裁剪，以得到所述第二区域图像。
例如图4所示，所述特征子图分割算法模块运行步骤包括：
(1)根据抗原试剂盒特征模板利用品牌特征匹配特征点，进行图像之间的特征点匹配；
(2)对匹配结果排序并取与模板距离最近的四个特征顶点透视变换成给定大小的矩形框，并对变换后的矩形框进行矩形矫正，按矩形框从原图中将抗原试剂盒裁剪出来。
(3)使用带有C、T标志的色带识别区的特征模板，重复(1)、(2)步骤得到C、T区域的子图。
步骤S14：通过边缘检测算法从所述第二区域图像中确定出色带条，并对所述色带条进行颜色检测，根据颜色检测结果确定所述待识别图像对应的检测结果。
本实施例中，提取出第二区域图像后，即提取到识别的色带识别区域后，通过边缘检测算法从第二区域图像中确定出色带条，并对色带条进行颜色检测，根据颜色检测结果确定待识别图像对应的检测结果。即根据色带条上的显示，结合抗原检测试剂盒检测规则，确定抗原检测结果。
本实施例中，所述通过边缘检测算法从所述第二区域图像中确定出色带条，可以包括：对所述第二区域图像进行二值化处理，并对处理后的二值化图像进行开运算，得到滤波后图像；基于所述滤波后图像确定对应的前景区域和背景区域，并对所述前景区域和所述背景区域的重叠区域进行区域连通处理，得到连通后图像；利用分水岭算法从所述连通后图像中分割出色带条区域，对所述色带条区域进行矩形化处理以得到所述色带条。
例如图5所示，色带条分割算步骤包括：(1)对识别到的色带识别区域，通过阈值分割法将图片二值化分为黑白两部分；(2)使用一个尺度为3的核，通过开运算，先腐蚀再膨胀，对图片上的非边界小黑点进行滤波；(3)对(2)的结果计算其与背景特征点(即像素点为0的点)的距离获得前景物体区域，再对(2)的结果进行一次膨胀运算获取背景区域；(4)计算并获得前景与背景的重叠区域进行区域连通操作；(5)使用分水岭算法分割出色带条区域；(6)对分割出来的不规则区域进行矩形化得到规则的色带条区域。
本实施例中，所述对所述色带条进行颜色检测，根据颜色检测结果确定所述待识别图像对应的检测结果，可以包括：对所述色带条进行去噪处理；根据像素累积特征对所述色带条进行横线检测，并根据检测结果和预设颜色阈值确定所述待识别图像对应的检测结果。为了提高检测准确性，预先对色带条进行去噪处理，如利用中值滤波去除图像噪声，然后，根据像素累积特征对色带条进行横线检测，检测出横线数量和位置，最后根据检测结果和预设颜色阈值确定待识别图像对应的检测结果。以COVID-19抗原检测为例，COVID-19抗原检测试剂盒的色带条包括标识C对应的显示区和标识T对应的显示区，其中，C、T均显现为阳性，C显现T不显现为阴性，其他则为无效；由此，根据该规则和横线检测结果可以识别最终的试剂盒检测结果。
本实施例中，所述根据像素累积特征对所述色带条进行横线检测，并根据检测结果和预设颜色阈值确定所述待识别图像对应的检测结果，可以包括：根据所述抗原检测试剂盒的检测显示区域特征，对所述色带条进行区域划分，得到第一检测显示区域和第二检测显示区域；根据像素累积特征，分别对所述第一检测显示区域和所述第二检测显示区域进行横线检测；根据检测结果和预设颜色阈值确定出每个显示区域的检测结果，并根据所述检测结果和所述抗原检测试剂盒的检测显示规则确定所述待识别图像对应的检测结果。
为了提高识别的准确定，在横线检测前，根据抗原检测试剂盒的检测显示区域特征，对色带条进行区域划分，例如图6所示，以COVID-19抗原检测为例：将图片分割为C区与T区；分别对C区图像与T区图像采用二值化图像的像素累积进行横线检测，并定义RGB颜色阈值判断色带的颜色进行颜色检测，有且仅有能够被检测出横线且处于颜色阈值中的横线返回为True，其他则为False；根据C、T区反馈判断抗原检测试剂结果，即C、T都为True为阳性，C区为True、T区为False为阴性、其他则为无效。
可见，例如图7所示，本实施例中通过建立品牌特征图片集合，通过最佳特征子图组匹配选择相应品牌的特征子图组，进而提取区域图像，利用图像边缘检测算法从提取的区域图像中分割出色带条，并且通过图像横线检测技术、根据RGB三通道阈值判断色带是否产生了相应的化学反应，以判别该图像所含的试剂盒的检测结果。仅需要收集各个品牌的标准图片作为模板且无需进行复杂的标注就能有效地对新冠抗原检测试剂盒的检测结果进行识别，能够适应多种品牌新冠抗原检测试剂盒，并能够实现快速检测，并具备较高的准确率，对于格式化的图像数据具有良好的检测效果与较高的鲁棒性；与深度学习算法相比，无需对数据进行大量的标注，同时也更加关注抗原试剂盒本身，能够精确定位到色带判别区，不受复杂背景图片的干扰，且算法部署简单，硬件门槛低，能够被广泛用于辅助新冠抗原自测上报结果与图片结果核对工作，大大降低时间成本与人工成本。
由上可见，本实施例中获取多种类型的抗原检测试剂盒对应的特征子图组；所述特征子图组包括试剂盒模板图片和色带识别区模板图片；获取待识别图像，将所述待识别图像与所述特征子图组进行匹配，并根据匹配结果从所有所述特征子图组中确定出目标特征子图组；根据所述目标特征子图组包含的试剂盒模板图片从所述待识别图像中确定出第一区域图像，再根据所述目标特征子图组包含的色带识别区模板图片从所述第一区域图像中确定出第二区域图像；通过边缘检测算法从所述第二区域图像中确定出色带条，并对所述色带条进行颜色检测，根据颜色检测结果确定所述待识别图像对应的检测结果。可见，通过获取不同品牌类型的抗原检测试剂盒对应的试剂盒模板图片和色带识别区模板图片，得到不同类型抗原检测试剂盒的关键区域图像模板，获取待识别图像后，通过匹配筛选出最佳的目标特征子图组作为模板，基进而根据该目标特征子图组依次提取区域图像、色带条，最后通过识别色带条颜色确定检测结果，能够快速自动识别多种类型的抗原检测试剂盒的检测结果，不局限于某类品牌，节约了大量的人工校对时间和人力成本，并且大幅度提高了识别处理效率。
相应的，本申请实施例还公开了一种抗原检测试剂盒识别装置，参见图8所示，该装置包括：
特征子图组获取模块11，用于获取多种类型的抗原检测试剂盒对应的特征子图组；所述特征子图组包括试剂盒模板图片和色带识别区模板图片；
目标特征子图组确定模块12，用于获取待识别图像，将所述待识别图像与所述特征子图组进行匹配，并根据匹配结果从所有所述特征子图组中确定出目标特征子图组；
区域图像确定模块13，用于根据所述目标特征子图组包含的试剂盒模板图片从所述待识别图像中确定出第一区域图像，再根据所述目标特征子图组包含的色带识别区模板图片从所述第一区域图像中确定出第二区域图像；
识别模块14，用于通过边缘检测算法从所述第二区域图像中确定出色带条，并对所述色带条进行颜色检测，根据颜色检测结果确定所述待识别图像对应的检测结果。
由上可见，本实施例中获取多种类型的抗原检测试剂盒对应的特征子图组；所述特征子图组包括试剂盒模板图片和色带识别区模板图片；获取待识别图像，将所述待识别图像与所述特征子图组进行匹配，并根据匹配结果从所有所述特征子图组中确定出目标特征子图组；根据所述目标特征子图组包含的试剂盒模板图片从所述待识别图像中确定出第一区域图像，再根据所述目标特征子图组包含的色带识别区模板图片从所述第一区域图像中确定出第二区域图像；通过边缘检测算法从所述第二区域图像中确定出色带条，并对所述色带条进行颜色检测，根据颜色检测结果确定所述待识别图像对应的检测结果。可见，通过获取不同品牌类型的抗原检测试剂盒对应的试剂盒模板图片和色带识别区模板图片，得到不同类型抗原检测试剂盒的关键区域图像模板，获取待识别图像后，通过匹配筛选出最佳的目标特征子图组作为模板，基进而根据该目标特征子图组依次提取区域图像、色带条，最后通过识别色带条颜色确定检测结果，能够快速自动识别多种类型的抗原检测试剂盒的检测结果，不局限于某类品牌，节约了大量的人工校对时间和人力成本，并且大幅度提高了识别处理效率。
在一些具体实施例中，所述特征子图组获取模块11具体可以包括：
拍摄图片获取单元，用于获取多种类型的抗原检测试剂盒在不同曝光度下的拍摄图片；
第一裁剪单元，用于根据抗原检测试剂盒的矩形轮廓对所述拍摄图片进行裁剪，得到试剂盒模板图片；
第二裁剪单元，用于根据包含色带识别标志的色带识别区域的矩形轮廓对所述拍摄图片进行裁剪，得到色带识别区模板图片；
特征子图组确定单元，用于基于所述试剂盒模板图片和所述色带识别区模板图片，生成每种类型的试剂盒对应的特征子图组。
在一些具体实施例中，所述目标特征子图组确定模块12具体可以包括：
特征计算单元，用于计算所述特征子图组内每张图片的SIFT特征，以及所述待识别图像的SIFT特征；
特征匹配单元，用于将所述待识别图像的SIFT特征与每组所述特征子图组内每张图片的SIFT特征进行匹配，并计算特征向量距离，得到所述待识别图像与每组所述特征子图组的距离求和；
目标特征子图组确定单元，用于筛选出距离求和最小的一组特征子图组作为所述目标特征子图组。
在一些具体实施例中，所述区域图像确定模块13具体可以包括：
第一区域图像确定单元，用于对所述试剂盒模板图片和所述待识别图像进行特征点匹配，根据匹配结果从所述待识别图像中选取与所述试剂盒模板图片的四个顶点距离最近的四个特征点，并根据该四个特征点通过透视变换生成对应的矩形框并进行矩形矫正以得到第一矩形框，根据所述第一矩形框对所述待识别图像进行裁剪，以得到所述第一区域图像；
第二区域图像确定单元，用于对所述色带识别区模板图片和所述第一区域图像进行特征点匹配，根据匹配结果从所述第一区域图像中选取与所述色带识别区模板图片的四个顶点距离最近的四个特征点，并根据该四个特征点通过透视变换生成对应的矩形框并进行矩形矫正以得到第二矩形框，根据所述第二矩形框对所述第一区域图像进行裁剪，以得到所述第二区域图像。
在一些具体实施例中，所述识别模块14具体可以包括：
图像处理单元，用于对所述第二区域图像进行二值化处理，并对处理后的二值化图像进行开运算，得到滤波后图像；
连通处理单元，用于基于所述滤波后图像确定对应的前景区域和背景区域，并对所述前景区域和所述背景区域的重叠区域进行区域连通处理，得到连通后图像；
色带条确定单元，用于利用分水岭算法从所述连通后图像中分割出色带条区域，对所述色带条区域进行矩形化处理以得到所述色带条。
在一些具体实施例中，所述识别模块14具体可以包括：
去噪处理单元，用于对所述色带条进行去噪处理；
横线检测单元，用于根据像素累积特征对所述色带条进行横线检测，并根据检测结果和预设颜色阈值确定所述待识别图像对应的检测结果。
在一些具体实施例中，所述横线检测具体可以包括：
区域划分单元，用于根据所述抗原检测试剂盒的检测显示区域特征，对所述色带条进行区域划分，得到第一检测显示区域和第二检测显示区域；
横线检测单元，用于根据像素累积特征，分别对所述第一检测显示区域和所述第二检测显示区域进行横线检测；
检测结果确定单元，用于根据检测结果和预设颜色阈值确定出每个显示区域的检测结果，并根据所述检测结果和所述抗原检测试剂盒的检测显示规则确定所述待识别图像对应的检测结果。
进一步的，本申请实施例还公开了一种电子设备，参见图9所示，图中的内容不能被认为是对本申请的使用范围的任何限制。
图9为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的抗原检测试剂盒识别方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作***221、计算机程序222及包括特征子图组在内的数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作***221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的抗原检测试剂盒识别方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的抗原检测试剂盒识别方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个...”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种抗原检测试剂盒识别方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种抗原检测试剂盒检测结果识别方法，其特征在于，包括：
获取多种类型的抗原检测试剂盒对应的特征子图组；所述特征子图组包括试剂盒模板图片和色带识别区模板图片；
获取待识别图像，将所述待识别图像与所述特征子图组进行匹配，并根据匹配结果从所有所述特征子图组中确定出目标特征子图组；
根据所述目标特征子图组包含的试剂盒模板图片从所述待识别图像中确定出第一区域图像，再根据所述目标特征子图组包含的色带识别区模板图片从所述第一区域图像中确定出第二区域图像；
通过边缘检测算法从所述第二区域图像中确定出色带条，并对所述色带条进行颜色检测，根据颜色检测结果确定所述待识别图像对应的检测结果。
2.根据权利要求1所述的抗原检测试剂盒识别方法，其特征在于，所述获取多种类型的抗原检测试剂盒对应的特征子图组，包括：
获取多种类型的抗原检测试剂盒在不同曝光度下的拍摄图片；
根据抗原检测试剂盒的矩形轮廓对所述拍摄图片进行裁剪，得到试剂盒模板图片；
根据包含色带识别标志的色带识别区域的矩形轮廓对所述拍摄图片进行裁剪，得到色带识别区模板图片；
基于所述试剂盒模板图片和所述色带识别区模板图片，生成每种类型的试剂盒对应的特征子图组。
3.根据权利要求1所述的抗原检测试剂盒识别方法，其特征在于，所述将所述待识别图像与所述特征子图组进行匹配，并根据匹配结果从所有所述特征子图组中确定出目标特征子图组，包括：
计算所述特征子图组内每张图片的SIFT特征，以及所述待识别图像的SIFT特征；
将所述待识别图像的SIFT特征与每组所述特征子图组内每张图片的SIFT特征进行匹配，并计算特征向量距离，得到所述待识别图像与每组所述特征子图组的距离求和；
筛选出距离求和最小的一组特征子图组作为所述目标特征子图组。
4.根据权利要求1所述的抗原检测试剂盒识别方法，其特征在于，所述根据所述目标特征子图组包含的试剂盒模板图片从所述待识别图像中确定出第一区域图像，再根据所述目标特征子图组包含的色带识别区模板图片从所述第一区域图像中确定出第二区域图像，包括：
对所述试剂盒模板图片和所述待识别图像进行特征点匹配，根据匹配结果从所述待识别图像中选取与所述试剂盒模板图片的四个顶点距离最近的四个特征点，并根据该四个特征点通过透视变换生成对应的矩形框并进行矩形矫正以得到第一矩形框，根据所述第一矩形框对所述待识别图像进行裁剪，以得到所述第一区域图像；
对所述色带识别区模板图片和所述第一区域图像进行特征点匹配，根据匹配结果从所述第一区域图像中选取与所述色带识别区模板图片的四个顶点距离最近的四个特征点，并根据该四个特征点通过透视变换生成对应的矩形框并进行矩形矫正以得到第二矩形框，根据所述第二矩形框对所述第一区域图像进行裁剪，以得到所述第二区域图像。
5.根据权利要求1所述的抗原检测试剂盒识别方法，其特征在于，所述通过边缘检测算法从所述第二区域图像中确定出色带条，包括：
对所述第二区域图像进行二值化处理，并对处理后的二值化图像进行开运算，得到滤波后图像；
基于所述滤波后图像确定对应的前景区域和背景区域，并对所述前景区域和所述背景区域的重叠区域进行区域连通处理，得到连通后图像；
利用分水岭算法从所述连通后图像中分割出色带条区域，对所述色带条区域进行矩形化处理以得到所述色带条。
6.根据权利要求1至5任一项所述的抗原检测试剂盒识别方法，其特征在于，所述对所述色带条进行颜色检测，根据颜色检测结果确定所述待识别图像对应的检测结果，包括：
对所述色带条进行去噪处理；
根据像素累积特征对所述色带条进行横线检测，并根据检测结果和预设颜色阈值确定所述待识别图像对应的检测结果。
7.根据权利要求6所述的抗原检测试剂盒识别方法，其特征在于，所述根据像素累积特征对所述色带条进行横线检测，并根据检测结果和预设颜色阈值确定所述待识别图像对应的检测结果，包括：
根据所述抗原检测试剂盒的检测显示区域特征，对所述色带条进行区域划分，得到第一检测显示区域和第二检测显示区域；
根据像素累积特征，分别对所述第一检测显示区域和所述第二检测显示区域进行横线检测；
根据检测结果和预设颜色阈值确定出每个显示区域的检测结果，并根据所述检测结果和所述抗原检测试剂盒的检测显示规则确定所述待识别图像对应的检测结果。
8.一种抗原检测试剂盒识别装置，其特征在于，包括：
特征子图组获取模块，用于获取多种类型的抗原检测试剂盒对应的特征子图组；所述特征子图组包括试剂盒模板图片和色带识别区模板图片；
目标特征子图组确定模块，用于获取待识别图像，将所述待识别图像与所述特征子图组进行匹配，并根据匹配结果从所有所述特征子图组中确定出目标特征子图组；
区域图像确定模块，用于根据所述目标特征子图组包含的试剂盒模板图片从所述待识别图像中确定出第一区域图像，再根据所述目标特征子图组包含的色带识别区模板图片从所述第一区域图像中确定出第二区域图像；
识别模块，用于通过边缘检测算法从所述第二区域图像中确定出色带条，并对所述色带条进行颜色检测，根据颜色检测结果确定所述待识别图像对应的检测结果。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的抗原检测试剂盒识别方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至7任一项所述的抗原检测试剂盒识别方法。
CN202210844704.1A 2022-07-18 2022-07-18 一种抗原检测试剂盒识别方法、装置、设备及存储介质 Pending CN115100418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210844704.1A CN115100418A (zh) 2022-07-18 2022-07-18 一种抗原检测试剂盒识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210844704.1A CN115100418A (zh) 2022-07-18 2022-07-18 一种抗原检测试剂盒识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115100418A true CN115100418A (zh) 2022-09-23

Family

ID=83298384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210844704.1A Pending CN115100418A (zh) 2022-07-18 2022-07-18 一种抗原检测试剂盒识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115100418A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117804696A (zh) * 2023-12-28 2024-04-02 广州市珠江饼业食品有限公司 基于烘培食品检测的食品包装袋密封性检测方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117804696A (zh) * 2023-12-28 2024-04-02 广州市珠江饼业食品有限公司 基于烘培食品检测的食品包装袋密封性检测方法及***
CN117804696B (zh) * 2023-12-28 2024-05-31 广州市珠江饼业食品有限公司 基于烘培食品检测的食品包装袋密封性检测方法及***

Similar Documents

Publication Publication Date Title
CN108364010B (zh) 一种车牌识别方法、装置、设备及计算机可读存储介质
JP4528309B2 (ja) オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム
EP2811423B1 (en) Method and apparatus for detecting target
WO2019096174A1 (zh) 人物图像服装颜色识别方法、装置及电子设备
US11443436B2 (en) Interactive image matting method, computer readable memory medium, and computer device
CN111612104B (zh) 车辆定损图像获取方法、装置、介质和电子设备
US10885636B2 (en) Object segmentation apparatus and method using Gaussian mixture model and total variation
EP3493157B1 (en) Method and system for visual change detection using multi-scale analysis
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN114862845A (zh) 手机触摸屏的缺陷检测方法、装置、设备及存储介质
EP2821935A2 (en) Vehicle detection method and device
CN115100418A (zh) 一种抗原检测试剂盒识别方法、装置、设备及存储介质
CN110443814B (zh) 车辆的定损方法、装置、设备和存储介质
CN115797336A (zh) 光伏组件的故障检测方法、装置、电子设备和存储介质
CN112232368A (zh) 目标识别模型训练方法、目标识别方法及其相关装置
CN110991357A (zh) 一种答案匹配方法、装置和电子设备
JP2014016710A (ja) 対象物検出装置及びプログラム
CN115100656B (zh) 空白答题卡识别方法、***、存储介质及计算机设备
CN112733864A (zh) 模型训练方法、目标检测方法、装置、设备及存储介质
CN112560857B (zh) 文字区域边界检测方法、设备、存储介质及装置
JP6467817B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20110097000A1 (en) Face-detection Processing Methods, Image Processing Devices, And Articles Of Manufacture
JP2007139421A (ja) 形態分類装置及び方法、並びに変化領域抽出装置及び方法
CN112418218B (zh) 目标区域检测方法、装置、设备及存储介质
CN118037719B (zh) 产品缺陷检测方法、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination