CN109685038A - 一种物品干净程度监测方法及其装置 - Google Patents

一种物品干净程度监测方法及其装置 Download PDF

Info

Publication number
CN109685038A
CN109685038A CN201910019824.6A CN201910019824A CN109685038A CN 109685038 A CN109685038 A CN 109685038A CN 201910019824 A CN201910019824 A CN 201910019824A CN 109685038 A CN109685038 A CN 109685038A
Authority
CN
China
Prior art keywords
image
cleanliness
article
numerical value
clean
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910019824.6A
Other languages
English (en)
Inventor
张翠翠
杨致远
郭建非
徐思渊
陈宇航
冯立楷
何沐根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201910019824.6A priority Critical patent/CN109685038A/zh
Publication of CN109685038A publication Critical patent/CN109685038A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种物品干净程度监测方法及其装置,首先采集若干物品表面干净与不干净的图像信息,并且表面干净的图像进行标定;对获得图像信息分别进行灰度化处理,并且通过方差和梯度直方图分别计算其对应的HOG特征数值;提取图像的HOG特征,基于HOG特征训练SVM分类器;计算出待测物品的洁净度数值n;对图像进行图像分割处理,基于FASTER‑RCNN模型训练出一个神经网络分类器;计算出待测物品的洁净度数值m;基于洁净度数值n和洁净度数值m,按照权重计算得出最终的洁净度结果;根据洁净度结果进行洁净度和阈值进行比较判断,是否干净该方法及其装置基于计算机视觉以及机器学习算法实现了对物品的表面进行干净程度的监测。

Description

一种物品干净程度监测方法及其装置
技术领域
本发明属于图像识别技术领域;具体涉及一种物品干净程度监测方法及其装置。
背景技术
随着时代的发展,人们越来越关注自己的生活质量水平,对卫生干净的追求也在不断地提升,很多人常常会怀疑自己,吃的食物干净不干净?生活用具干净不干净?衣服洗干净没有?本为了解决这一问题,需要一种干净监测方法,对日常使用的工具、衣服或食品等进行监测,让人们能够放心使用干净的物品或事物。
发明内容
本发明提供了一种物品干净程度监测方法及其装置;该方法基于计算机视觉以及机器学习算法实现了对物品的表面进行干净程度的监测。
本发明的技术方案是:一种物品干净程度监测方法,包括以下步骤;
S1,采集物品若干表面干净与不干净的图像信息,并对表面干净的图像进行标定;
S2,对S1中获得的干净与不干净的图像信息分别进行灰度化处理,并且通过方差和梯度直方图分别计算其对应的HOG特征值;
S3,提取S2中干净与不干净的图像的HOG特征,然后基于HOG特征训练SVM分类器;
S4,基于S3中训练的SVM分类器对待测物品表面的图像进行测试,计算出待测物品的洁净度数值n;
S5,对S1中获得的图像进行图像分割处理,基于FASTER-RCNN模型训练出一个神经网络分类器;
S6,基于S5得到的神经网络分类器对待测物品表面的图像进行测试,计算出待测物品的洁净度数值m;
S7,基于S4与S6得出的洁净度数值n和洁净度数值m,按照洁净度数值n和洁净度数值m的权重计算得出最终的洁净度结果;
S8,根据S7所得最终的洁净度结果进行洁净度判断,设定阈值,当数值大于1.0时判断为干净,否则判断为不干净。
所述S3中提取图像HOG特征的具体过程是:
S31,将图像转换为极坐标;
S32,计算图像中每个像素点的HOG特征;
S33,遍历所有像素点,将每个像素点的HOG特征向量组成多维HOG特征向量组;
S34,计算图像的HOG特征:将S3.3中的多维HOG特征向量组通过L2范数归一化,转换为一个HOG特征向量。
S3中,以S34所得的图像HOG特征值为输入样本,基于HOG特征训练得到SVM分类器,其中间层节点是图像HOG特征与支持向量机非线性运算,输出每个中间节点对应的支持向量的线性组合。
S5中基于FASTER-RCNN模型训练出一个神经网络分类器的过程是:
S51,对部分不干净的图像进行手动分割,分割出沾染与非沾染的区域,并分别用不同颜色标记出来;
S52,选择最合适的参数训练出一个效果最佳的神经网络分类器。
S4中,洁净度数值n为0或1;S6中,洁净度数值m为0~1。
S7中,按计算公式:0.5*洁净度数值n+0.5*洁净度数值m,计算出最终的洁净度结果,洁净度结果为0~1.5,S8中阈值设置为1.0。
本发明的另一技术方案是:一种物品干净程度监测装置,包括主控板,主控板通过板载USB接口连接数字显微摄像头,主控板上还设置有无线传输模块;主控板集成并且能够实施上述的方法。
更进一步的,本发明的特点还在于:
其中主控板通过数字显微摄像头直接获取待测物品表面图像或通过无线传输模块间接获取待测物品表面图像。
其中无线传输模块为Wi-Fi、ZigBee、蓝牙或红外。
其中主控板还连接有存储单元。
与现有技术相比,本发明的有益效果是:该方法基于图像处理技术和机器学习技术,通过对待测物体表面图像进行处理,然后通过训练SVM分类器,并且基于该SVM分类器实现对待检测物品图像的分析,从而判断待测物品表面为干净或不干净。
更进一步的,HOG特征是描述图像局部区域的梯度直方图,应用于目标物体检测与特征分析;基于HOG特征训练SVM分类器,通过机器学习实现对待测物品表面的判断。
本发明的有益效果还在于:该装置中通过数字显微摄像头直接获取图像信息,数字显微摄像头能够直接获取图像的数字图像信号,并且输出给主控板,主控板通过上述方法实现对其干净度的监测。
更进一步的,该装置中通过设置无线传输模块能够间接通过其他设备获取待测物品表面的图像,提高了该装置使用的灵活性;同时,该装置能够从存储单元中读取图像或其他数据。
附图说明
图1为输入的样品表面干净的图像;
图2为输入的样品表面不干净的图像;
图3为图2转变为极坐标系后的极径和极角信息图;
图4为干净图像及其对应的HOG特征;
图5为不干净图像及其对应的HOG特征;
图6为本发明的装置结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进一步说明。
本发明提供了一种物品干净程度监测方法,包括以下步骤:
S1,如图1和图2所示,获取物品表面干净与不干净的图像信息,并且标定所获的表面干净的图像。
S2,分别对S1中得到的两种图像进行灰度化处理,然后再使用方差和直方图计算出其对应的HOG特征值。
S3,提取S2中两个图像的HOG特征,并且将获得的两个HOG特征进行比较,并且基于HOG特征训练并得到SVM分类器。
提取图像HOG特征的具体过程是:
S31,如图3所示,首先将图像转换为极坐标;具体的,根据图像中每个像素点X方向和Y方向上的梯度,实现笛卡尔坐标和极坐标的转化,在转变为极坐标之后,角度范围在[0,360],便于之后计算各个方向角的直方图。
S32,计算每个像素点的HOG特征;首先计算每个像素点的梯度方向和梯度幅值,计算公式为:
该计算公式得到的梯度方向实在0°-360°的弧度范围内,为了计算简单,将梯度向的范围约束为0°-180°,并且分割为9个方向,每个方向为20°,则梯度方向角度值的范围变为[0,9],将每个小Cell里面的梯度幅值按照这9个方向进行统计,计算完之后,将会产生一个横坐标X为梯度方向,纵坐标Y为梯度幅值的方向梯度直方图;然后通过9幅积分图像快速实现HOG特征的计算,HOG特征的直方图有9个bins,每个bins对应一张积分图像。
S33,计算得到图像的HOG特征值;首先,将步骤3中得到的每个像素的HOG特征向量组合成多维度的HOG特征向量组;然后将该多维度的HOG特征向量组进行L2范数归一化,使其转变为一个Block的HOG特征向量,即得到整个图像的HOG特征向量,并且可以根据该HOG特征向量绘制HOG特征图直观表示;如图4所示,为干净图像及其对应的HOG特征值;图5为不干净图像及其对应的HOG特征值。
其中基于HOG特征训练并得到SVM分类器的具体过程是:所述SVM分类器为二分类分类器,即简单的神经网络;输入为样本数据,即S3得到的图像HOG特征值,中间层节点是图像HOG特征与支持向量机非线性运算,其输出每个中间节点对应的支持向量的线性组合。
其中对于一般线性可分的情况,对应的分类面方程为:g(x)=wT·x+w0,w为超平面的法线方向,所得的分类面称为超平面,所谓最优分类线就是要求分类线不但能够将两类无错误的分开,而且要求分类间隙足够大。
S4,基于S3得到的SVM分类器对待测物品表面的图像进行检测,并且通过判别公式及其判定原则判断待测物品表面为干净或不干净;判别公式为:g(x)=sgn(wT·x+w0);如果g(x)>0则返回结果0,即为不干净;如果g(x)<0则返回结果1,即为干净;如果g(x)=0则无返回值;返回结果即为洁净度数值n。
S5,对于S1中的图片,对部分不干净的图像进行手动分割,分割出沾染与非沾染的区域,并分别用不同颜色标记出来;采用Facebook公司的开源标注工具进行人工图像分割标注,标注过程中按照油污(蓝色)、灰尘(黑色)、干净部分(白色)的规则进行,区分多个颜色的目的是为了应用更加广泛。
S6,将S5中标注好的图像放入FASTER-RCNN深度学习框架中,进行参数优化调整后,经过在英伟达V100图像处理器长时间计算得出训练结果模型,有了结果模型,将新的图像输入模型,返回得到结果,该结果即为洁净度数值m。
S7,基于基于S4与S6得出的洁净度数值n和洁净度数值m,按照洁净度数值n和洁净度数值m的权重计算得出最终的洁净度结果;采用双结果加权的方法是因为在测试过程中,双结果表现出了比单结果更高的准确度,所以为了保证结果的准确性,按计算公式:0.5*洁净度数值n+0.5*洁净度数值m,计算出最终的洁净度结果,洁净度结果为0~1.5;
S8,采用双结果加权的计算手段,并根据测试结果确定出了一个干净与否的判断阈值,当数值大于阈值时为干净,否则为不干净,洁净度结果为0~1.5,所述阈值为1.0
本发明还提供了一种物品干净程度监测装置,如图6所示,包括主控板,主控板采用***单芯片SoC,主控板通过板载USB接口连接数字显微摄像头,主控板上还设置有无线传输模块,且该主控板能够实施上述的物品干净程度检测方法。
优选的主控板采用MT7688AN芯片,该芯片为目前业界功耗最低的***单芯片,支持Linux***和802.11Wi-Fi联机。其具有卓越的运算性能、高速的无线性能,可以直接使用手机连接,可以做到实时图传,同时支持USB2.0Host,可以搭载一个嵌入式Linux***,可以连接并且驱动市面上绝大多数的USB摄像头,满足我们需要连接一个便携式USB显微摄像头的需求。主控板能够通过数字显微摄像头直接获取待测物品表面的图像,或者通过无线传输模块间接获取待测物品表面的图像。
优选的数字显微摄像头能够将光学信号转换为电信号,再通过模数转换器转换为数字图像信号,再通过数字信号处理芯片(DSP)处理后通过接口输出给主控板。本发明中通过MT7688AN的widora核心板进行GPIO引脚控制自动打开数字显微摄像头开关,再利用板载的USB Host功能驱动显微图像传感器,将图像上传至主控板中。
优选的无线传输模块为Wi-Fi、ZigBee、蓝牙或红外。在本发明中通过手机等其他外部设备获取到待测物品表面图像之后,再通过无线传输模块将图像发送给主控板。
优选的主控板上还连接有存储单元,存储单元能够存储图像或其他数据。

Claims (10)

1.一种物品干净程度监测方法,其特征在于,包括以下步骤;
S1,采集物品若干表面干净与不干净的图像信息,并对表面干净的图像进行标定;
S2,对S1中获得的干净与不干净的图像信息分别进行灰度化处理,并且通过方差和梯度直方图分别计算其对应的HOG特征值;
S3,提取S2中干净与不干净的图像的HOG特征,然后基于HOG特征训练SVM分类器;
S4,基于S3中训练的SVM分类器对待测物品表面的图像进行测试,计算出待测物品的洁净度数值n;
S5,对S1中获得的图像进行图像分割处理,基于FASTER-RCNN模型训练出一个神经网络分类器;
S6,基于S5得到的神经网络分类器对待测物品表面的图像进行测试,计算出待测物品的洁净度数值m;
S7,基于S4与S6得出的洁净度数值n和洁净度数值m,按照洁净度数值n和洁净度数值m的权重计算得出最终的洁净度结果;
S8,根据S7所得最终的洁净度结果进行洁净度判断,设定阈值,当数值大于1.0时判断为干净,否则判断为不干净。
2.根据权利要求1所述的物品干净程度监测方法,其特征在于,所述S3中提取图像HOG特征的具体过程是:
S31,将图像转换为极坐标;
S32,计算图像中每个像素点的HOG特征;
S33,遍历所有像素点,将每个像素点的HOG特征向量组成多维HOG特征向量组;
S34,计算图像的HOG特征:将S3.3中的多维HOG特征向量组通过L2范数归一化,转换为一个HOG特征向量。
3.根据权利要求1所述的物品干净程度监测方法,其特征在于,S3中,以S34所得的图像HOG特征值为输入样本,基于HOG特征训练得到SVM分类器,其中间层节点是图像HOG特征与支持向量机非线性运算,输出每个中间节点对应的支持向量的线性组合。
4.根据权利要求1所述的物品干净程度监测方法,其特征在于,所述S5中基于FASTER-RCNN模型训练出一个神经网络分类器的过程是:
S51,对部分不干净的图像进行手动分割,分割出沾染与非沾染的区域,并分别用不同颜色标记出来;
S52,选择最合适的参数训练出一个效果最佳的神经网络分类器。
5.根据权利要求1所述的物品干净程度监测方法,其特征在于,S4中,洁净度数值n为0或1;S6中,洁净度数值m为0~1。
6.根据权利要求1所述的物品干净程度监测方法,其特征在于,S7中,按计算公式:0.5*洁净度数值n+0.5*洁净度数值m,计算出最终的洁净度结果,洁净度结果为0~1.5,S8中阈值设置为1.0。
7.一种物品干净程度监测装置,其特征在于,包括主控板,主控板通过板载USB接口连接数字显微摄像头,主控板上还设置有无线传输模块;主控板集成并且能够实施如权利要求1所述的方法。
8.根据权利要求7所述的物品干净程度监测装置,其特征在于,所述主控板通过数字显微摄像头直接获取待测物品表面图像或通过无线传输模块间接获取待测物品表面图像。
9.根据权利要求7或8所述的物品干净程度监测装置,其特征在于,所述无线传输模块为Wi-Fi、ZigBee、蓝牙或红外。
10.根据权利要求7所述的物品干净程度监测装置,其特征在于,所述主控板还连接有存储单元。
CN201910019824.6A 2019-01-09 2019-01-09 一种物品干净程度监测方法及其装置 Pending CN109685038A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910019824.6A CN109685038A (zh) 2019-01-09 2019-01-09 一种物品干净程度监测方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910019824.6A CN109685038A (zh) 2019-01-09 2019-01-09 一种物品干净程度监测方法及其装置

Publications (1)

Publication Number Publication Date
CN109685038A true CN109685038A (zh) 2019-04-26

Family

ID=66192771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910019824.6A Pending CN109685038A (zh) 2019-01-09 2019-01-09 一种物品干净程度监测方法及其装置

Country Status (1)

Country Link
CN (1) CN109685038A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084851A (zh) * 2020-08-04 2020-12-15 珠海格力电器股份有限公司 手卫生效果检测方法、装置、设备及介质
WO2021018175A1 (en) * 2019-07-29 2021-02-04 Goldway Technology Limited Process and system for diamond clarity measurement
CN116337722A (zh) * 2023-05-31 2023-06-27 国网湖北省电力有限公司超高压公司 基于图像处理的憎水性监测方法及***
CN116651847A (zh) * 2023-06-07 2023-08-29 江苏省人民医院(南京医科大学第一附属医院) 医用器械超声清洗效果检测***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105445283A (zh) * 2016-02-01 2016-03-30 成都通甲优博科技有限责任公司 一种绝缘子图像污秽状态检测方法
CN108038513A (zh) * 2017-12-26 2018-05-15 北京华想联合科技有限公司 一种肝脏超声图像的特征分类方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105445283A (zh) * 2016-02-01 2016-03-30 成都通甲优博科技有限责任公司 一种绝缘子图像污秽状态检测方法
CN108038513A (zh) * 2017-12-26 2018-05-15 北京华想联合科技有限公司 一种肝脏超声图像的特征分类方法
CN108364006A (zh) * 2018-01-17 2018-08-03 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
文少波 等,, 东南大学出版社, pages: 173 - 52 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021018175A1 (en) * 2019-07-29 2021-02-04 Goldway Technology Limited Process and system for diamond clarity measurement
US11137355B2 (en) 2019-07-29 2021-10-05 Goldway Technology Limited Process and system for diamond clarity measurement
CN112084851A (zh) * 2020-08-04 2020-12-15 珠海格力电器股份有限公司 手卫生效果检测方法、装置、设备及介质
CN116337722A (zh) * 2023-05-31 2023-06-27 国网湖北省电力有限公司超高压公司 基于图像处理的憎水性监测方法及***
CN116337722B (zh) * 2023-05-31 2023-10-13 国网湖北省电力有限公司超高压公司 基于图像处理的憎水性监测方法及***
CN116651847A (zh) * 2023-06-07 2023-08-29 江苏省人民医院(南京医科大学第一附属医院) 医用器械超声清洗效果检测***

Similar Documents

Publication Publication Date Title
CN109685038A (zh) 一种物品干净程度监测方法及其装置
CN105574527B (zh) 一种基于局部特征学习的快速物体检测方法
JP6305171B2 (ja) シーン内の物体を検出する方法
CN106056597B (zh) 物体视觉检测方法及装置
CN110363088B (zh) 基于多特征融合的自适应皮肤炎症区域检测方法
Punn et al. Classification of wheat grains using machine algorithms
CN107016353B (zh) 一种变分辨率目标探测与识别一体化的方法与***
CN108629319B (zh) 图像检测方法及***
CN109409289A (zh) 一种电力作业安全监督机器人安全作业识别方法及***
CN106886216A (zh) 基于rgbd人脸检测的机器人自动跟踪方法和***
Chen et al. Facial expression recognition based on edge detection
CN104197836A (zh) 基于机器视觉的汽车门锁装配尺寸检测方法
CN110096980A (zh) 字符检测识别***
CN112862757A (zh) 一种基于计算机视觉技术的重量评估***及实现方法
CN109115775B (zh) 一种基于机器视觉的槟榔等级检测方法
CN107358155A (zh) 一种鬼脸动作检测方法和装置及活体识别方法和***
Ashmawi et al. Fitme: Body measurement estimations using machine learning method
CN116703895B (zh) 基于生成对抗网络的小样本3d视觉检测方法及其***
CN109635684A (zh) 一种食品追溯***
CN112115824B (zh) 果蔬检测方法、装置、电子设备以及计算机可读介质
TWI749714B (zh) 瑕疵檢測方法、瑕疵分類方法及其系統
Han et al. Detection for power line inspection
CN112215149B (zh) 基于视觉检测的配件分拣***及方法
CN109360289B (zh) 融合巡检机器人定位信息的电力表计检测方法
Aydin et al. A vision based inspection system using gaussian mixture model based interactive segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190426