CN108985325A - 一种分类方法、装置、设备和*** - Google Patents
一种分类方法、装置、设备和*** Download PDFInfo
- Publication number
- CN108985325A CN108985325A CN201810566975.9A CN201810566975A CN108985325A CN 108985325 A CN108985325 A CN 108985325A CN 201810566975 A CN201810566975 A CN 201810566975A CN 108985325 A CN108985325 A CN 108985325A
- Authority
- CN
- China
- Prior art keywords
- image
- product
- measured
- background
- background database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000004519 manufacturing process Methods 0.000 claims description 52
- 238000004590 computer program Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 8
- 238000000638 solvent extraction Methods 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 230000006399 behavior Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 20
- 230000007547 defect Effects 0.000 abstract description 9
- 238000013145 classification model Methods 0.000 abstract 2
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 238000012372 quality testing Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000005562 fading Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种分类方法,包括:获取相机所拍摄的当前待测产品的图像;根据预先设定的背景数据库确定所述图像中的背景区域,并确定所述图像中所述背景区域外的其它区域为前景区域;当所述前景区域的形状符合预定产品图像形状时,提取出所述图像中的所述前景区域以作为所述待测产品图像;获取所述待测产品图像的特征,通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型;其中,所述分类模型根据预设数量的样本产品图像预先训练得到。本发明还公开了一种分类装置、一种分类设备和一种分类***。采用本发明实施例,能自动对产品进行缺陷检测,检测效率高和分类速度快。
Description
技术领域
本发明涉及计算机控制技术领域,尤其涉及一种分类方法、装置、设备和***。
背景技术
在制造业中关于产品的缺陷检测方式一般通过人工检测方式,人工检测的方式就是工人拿着实际产线成品对比标准产品,并比对差异,差异在一定范围内为标准品。人工检测的方式容易造成工人的视觉疲劳从而增加误检率,且随着社会发展,人工成本也在逐渐提高。另外,由于有些指标差异标准较模糊,例如尺寸、色差等,只依靠人眼难以定义,导致工人在质量检测时,每个人检测的良品率各不相同,从而导致生产效率大大降低。
发明内容
本发明实施例的目的是提供一种分类方法、装置、设备和***,能自动对产品进行缺陷检测,检测效率高和分类速度快。
为实现上述目的,本发明实施例提供了一种分类方法,包括:
获取相机所拍摄的当前待测产品的图像;
根据预先设定的背景数据库确定所述图像中的背景区域,并确定所述图像中所述背景区域外的其它区域为前景区域;
当所述前景区域的形状符合预定产品图像形状时,提取出所述图像中的所述前景区域以作为所述待测产品图像;
获取所述待测产品图像的特征,通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型;其中,所述分类模型根据预设数量的样本产品图像预先训练得到。
与现有技术相比,本发明公开的分类方法通过获取相机所拍摄的当前待测产品的图像;根据预先设定的背景数据库确定所述图像中的前景区域;当所述前景区域的形状符合预定产品图像形状时,提取出所述图像中的所述前景区域以作为所述待测产品图像;通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型。解决了现有技术中只依靠人眼难以定义,导致工人在质量检测时,每个人检测的良品率各不相同,从而导致生产效率大大降低的问题,能自动对产品进行缺陷检测,检测效率高和分类速度快。
作为上述方案的改进,所述背景数据库的获取方法包括:
采集预设数量的背景图像,将每一所述背景图像中的像素值存储为背景数据库;
则所述背景数据库的更新方法包括:
在预设时间内当若干待测产品的前景区域中的同一位置均出现相同的像素值时,将所述同一位置均出现的相同的像素值写入所述背景数据库。
作为上述方案的改进,所述根据预先设定的背景数据库确定所述图像中的背景区域,并确定所述图像中所述背景区域外的其它区域为前景区域具体包括:
根据所述背景数据库将所述图像中与所述背景数据库的对应位置具有相同像素值的位置设置为背景区域;
根据所述背景数据库将所述图像中与所述背景数据库的对应位置具有不同像素值的位置设置为前景区域。
作为上述方案的改进,所述分类模型根据预设数量的样本产品图像预先训练得到具体包括:
获取预设数量的样本产品图像,所述样本产品图像包括合格产品图像和不合格产品图像;
根据色域分割算法提取每一所述样本产品图像中色域的轮廓,并计算所述轮廓的特征数据;其中,所述特征数据包括但不限于所述轮廓的形状、所述轮廓的质心和所述轮廓的颜色;
利用支持向量机对所述特征数据进行训练,得到分类模型。
作为上述方案的改进,所述通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型后还包括:
当当前待测产品的类型符合特定类型时,在与所述特定类型对应的当前待测产品的图像上建立图像坐标系;
根据所述图像坐标系和流水线工作台的运行速度得到机械手的运动坐标;
启动所述机械手根据所述运动坐标对当前待测产品执行分拣操作。
为实现上述目的,本发明实施例还提供了一种分类装置,包括:
图像获取单元,用于获取相机所拍摄的当前待测产品的图像;
前景提取单元,用于根据预先设定的背景数据库确定所述图像中的背景区域,并确定所述图像中所述背景区域外的其它区域为前景区域;
待测产品图像获取单元,用于当所述前景区域的形状符合预定产品图像形状时,提取出所述图像中的所述前景区域以作为所述待测产品图像;
分类单元,用于获取所述待测产品图像的特征,通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型;其中,所述分类模型根据预设数量的样本产品图像预先训练得到。
与现有技术相比,本发明公开的分类装置通过图像获取单元获取相机所拍摄的当前待测产品的图像;再通过前景提取单元根据预先设定的背景数据库确定所述图像中的前景区域;当所述前景区域的形状符合预定产品图像形状时,待测产品图像获取单元提取出所述图像中的所述前景区域以作为所述待测产品图像;分类单元通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型。解决了现有技术中只依靠人眼难以定义,导致工人在质量检测时,每个人检测的良品率各不相同,从而导致生产效率大大降低的问题,能自动对产品进行缺陷检测,检测效率高和分类速度快。
作为上述方案的改进,所述分类装置还包括背景数据库获取单元和背景数据库更新单元,所述背景数据库获取单元用于采集预设数量的背景图像,将每一所述背景图像中的像素值存储为背景数据库;
则所述背景数据库更新单元用于在预设时间内当若干待测产品的前景区域中的同一位置均出现相同的像素值时,将所述同一位置均出现的相同的像素值写入所述背景数据库。
作为上述方案的改进,所述分类单元具体包括:
样本产品图像获取模块,用于获取预设数量的样本产品图像,所述样本产品图像包括合格产品图像和不合格产品图像;
特征数据计算模块,用于根据色域分割算法提取每一所述样本产品图像中色域的轮廓,并计算所述轮廓的特征数据;其中,所述特征数据包括但不限于所述轮廓的形状、所述轮廓的质心和所述轮廓的颜色;
训练模块,用于利用支持向量机对所述特征数据进行训练,得到分类模型。
所述分类装置还包括:
图像坐标系建立单元,用于当当前待测产品的类型符合特定类型时,在与所述特定类型对应的当前待测产品的图像上建立图像坐标系;
运动坐标计算单元,用于根据所述图像坐标系和流水线工作台的运行速度得到机械手的运动坐标;
分拣操作单元,用于启动所述机械手根据所述运动坐标对当前待测产品执行分拣操作。
为实现上述目的,本发明实施例还提供了一种分类设备,包括处理器、存储器和存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一实施例所述的分类方法。
为实现上述目的,本发明实施例还提供了一种分类***,包括上述实施例所述的分类设备,还包括:相机、流水线工作台和机械手;其中,
所述相机设于所述流水线工作台上,所述相机离地面的高度高于所述流水线工作台离地面的高度;
所述流水线工作台用于放置待测产品,所述机械手用于抓取所述待测产品。
与现有技术相比,本发明公开的分类***通过分类设备获取相机所拍摄的当前待测产品的图像,再通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型,最后通过机械手从流水线工作台上抓取特定类型的待测产品。解决了现有技术中只依靠人眼难以定义,导致工人在质量检测时,每个人检测的良品率各不相同,从而导致生产效率大大降低的问题,能自动对产品进行缺陷检测,检测效率高和分类速度快。
附图说明
图1是本发明实施例提供的一种分类方法的流程图;
图2是本发明实施例提供的一种分类装置10的结构示意图;
图3是本发明实施例提供的一种分类装置10中分类单元4的结构示意图;
图4是本发明实施例提供的一种分类设备20的结构示意图;
图5是本发明实施例提供的一种分类***30的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
参见图1,图1是本发明实施例提供的一种分类方法的流程图;包括:
S1、获取相机所拍摄的当前待测产品的图像;
S2、根据预先设定的背景数据库确定所述图像中的背景区域,并确定所述图像中所述背景区域外的其它区域为前景区域;
S3、当所述前景区域的形状符合预定产品图像形状时,提取出所述图像中的所述前景区域以作为所述待测产品图像;
S4、获取所述待测产品图像的特征,通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型;其中,所述分类模型根据预设数量的样本产品图像预先训练得到。
具体的,在步骤S1中,在获取相机所拍摄的当前待测产品的图像前,由于待测产品可能出现在所述相机视场中的任意位置,如果所述相机的成像平面与放置所述待测产品的平台不平行,会导致同一所述待测产品在不同位置处的图像尺寸差异过大,从而影响识别。因此,根据张正友相机标定法矫正所述相机的相机畸变;然后再根据棋盘格信息矫正所述相机的空间姿态,以使所述相机保持垂直向下的姿态。经过姿态矫正能够消除所述相机拍摄的图像的畸变影响,且能够使所述相机拍摄的图像的精度不受限于相机的安装位置。
所述待测产品可以放置在流水线工作台上,优选的,所述相机可以在开启后一直处于拍摄状态,实时对流水线工作台进行数据采集。优选的,也可以设置传感器来感知所述待测产品是否进入到所述相机的拍摄范围,当所述传感器检测到所述待测产品进入到所述相机的拍摄范围时,所述相机实时对流水线工作台进行数据采集,得到当前待测产品的图像。
具体的,在步骤S2中,可以根据所述背景数据库将所述图像中与所述背景数据库的对应位置具有相同像素值的位置设置为背景区域;根据所述背景数据库将所述图像中与所述背景数据库的对应位置具有不同像素值的位置设置为前景区域。
其中,所述背景数据库的获取方法包括:采集预设数量的背景图像,将每一所述背景图像中的像素值存储为背景数据库,比如可以采集一定数量的所述流水线工作台的图像。
优选的,所述背景数据库的更新方法包括:在预设时间内当若干待测产品的前景区域中的同一位置均出现相同的像素值时,将所述同一位置均出现的相同的像素值写入所述背景数据库。比如当所述流水线工作台因使用过度导致传送带出现褪色的情况时,此时,褪色的部位会作为前景被所述相机采集到,在预设时间内有若干个待测产品的前景区域中的同一位置均出现相同的像素值(褪色后的像素值),将所述同一位置均出现的相同的像素值写入所述背景数据库,所述预设时间可以是4小时。或者在所述流水线工作台运行过程中粘上其他物体时,此时,其他物体也会被作为前景被所述相机采集到,则将其他物体的像素值写入所述背景数据库。
具体的,在步骤S3中,判断所述前景区域的形状是否符合预定产品图像形状,所述预定产品图像形状可以是所述待测产品的俯视图。当所述前景区域的形状符合预定产品图像形状时,提取出所述图像中的所述前景区域以作为所述待测产品图像;当所述前景区域的形状不符合预定产品图像形状时,删除所述图像。
具体的,在步骤S4中,获取所述待测产品图像的特征,通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型,从而可判定出当前待测产品是合格产品还是非合格产品。其中,所述待测产品图像的特征包括但不限于所述待测产品的形状、所述待测产品的质心和所述待测产品的颜色,所述分类模型根据预设数量的样本产品图像预先训练得到。
优选的,所述分类模型根据预设数量的样本产品图像预先训练得到具体包括:获取预设数量的样本产品图像,所述样本产品图像包括合格产品图像和不合格产品图像;根据色域分割算法提取每一所述样本产品图像中色域的轮廓,并计算所述轮廓的特征数据;其中,所述特征数据包括但不限于所述轮廓的形状、所述轮廓的质心和所述轮廓的颜色;利用支持向量机对所述特征数据进行训练,得到分类模型。
具体的,在步骤S4中确定当前待测产品所属的类型后,所述分类方法还包括通过机械手对当前待测产品执行分拣操作,具体包括步骤:
S5、当当前待测产品的类型符合特定类型时,在与所述特定类型对应的当前待测产品的图像上建立图像坐标系;
S6、根据所述图像坐标系和流水线工作台的运行速度得到机械手的运动坐标;
S7、启动所述机械手根据所述运动坐标对当前待测产品执行分拣操作。
具体的,在步骤S5~S7中,由于当前待测产品是经过所述相机拍照后,在所述流水线工作台上流过一段时间后才被所述机械手抓取。此时当前待测产品会随着所述流水线工作台运动,用编码器可以确定所述流水线工作台的实时变化速度,根据所述图像坐标系可以确定所述待测产品的目标点(机械手抓取点)的坐标信息,再配合时间确定所述待测产品在拍照后与所述机械手抓取之间的机械坐标偏移量,从而得到机械手的运动坐标,进而达到准确抓取当前待测产品的效果,优选的,所述机械手抓取的当前待测产品可以是合格产品,也可以是不合格产品。
具体实施时,通过获取相机所拍摄的当前待测产品的图像;根据预先设定的背景数据库确定所述图像中的前景区域;当所述前景区域的形状符合预定产品图像形状时,提取出所述图像中的所述前景区域以作为所述待测产品图像;通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型。
与现有技术相比,本发明公开的分类方法解决了现有技术中只依靠人眼难以定义,导致工人在质量检测时,每个人检测的良品率各不相同,从而导致生产效率大大降低的问题,能自动对产品进行缺陷检测,检测效率高和分类速度快。
实施例二
参见图2,图2是本发明实施例提供的一种分类装置10的结构示意图;包括:
图像获取单元1,用于获取相机所拍摄的当前待测产品的图像;
前景提取单元2,用于根据预先设定的背景数据库确定所述图像中的背景区域,并确定所述图像中所述背景区域外的其它区域为前景区域;
待测产品图像获取单元3,用于当所述前景区域的形状符合预定产品图像形状时,提取出所述图像中的所述前景区域以作为所述待测产品图像;
分类单元4,用于获取所述待测产品图像的特征,通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型;其中,所述分类模型根据预设数量的样本产品图像预先训练得到。
具体的,在所述图像获取单元1获取相机所拍摄的当前待测产品的图像前,由于待测产品可能出现在所述相机视场中的任意位置,如果所述相机的成像平面与放置所述待测产品的平台不平行,会导致同一所述待测产品在不同位置处的图像尺寸差异过大,从而影响识别。因此,根据张正友相机标定法矫正所述相机的相机畸变;然后再根据棋盘格信息矫正所述相机的空间姿态,以使所述相机保持垂直向下的姿态。经过姿态矫正能够消除所述相机拍摄的图像的畸变影响,且能够使所述相机拍摄的图像的精度不受限于相机的安装位置。
具体的,所述待测产品可以放置在流水线工作台上,优选的,所述相机可以在开启后一直处于拍摄状态,实时对流水线工作台进行数据采集。优选的,也可以设置传感器来感知所述待测产品是否进入到所述相机的拍摄范围,当所述传感器检测到所述待测产品进入到所述相机的拍摄范围时,所述相机实时对流水线工作台进行数据采集,得到当前待测产品的图像,所述前景提取单元2根据预先设定的背景数据库确定所述图像中的背景区域,并确定所述图像中所述背景区域外的其它区域为前景区域。优选的,所述前景提取单元2可以根据所述背景数据库将所述图像中与所述背景数据库的对应位置具有相同像素值的位置设置为背景区域;根据所述背景数据库将所述图像中与所述背景数据库的对应位置具有不同像素值的位置设置为前景区域。
优选的,所述分类装置10还包括背景数据库获取单元5和背景数据库更新单元6,所述背景数据库获取单元5用于采集预设数量的背景图像,将每一所述背景图像中的像素值存储为背景数据库,比如可以采集一定数量的所述流水线工作台的图像;则所述背景数据库更新单元6用于在预设时间内当若干待测产品的前景区域中的同一位置均出现相同的像素值时,将所述同一位置均出现的相同的像素值写入所述背景数据库。
优选的,在预设时间内当若干待测产品的前景区域中的同一位置均出现相同的像素值时,所述背景数据库更新单元6将所述同一位置均出现的相同的像素值写入所述背景数据库。比如当所述流水线工作台因使用过度导致传送带出现褪色的情况时,此时,褪色的部位会作为前景被所述相机采集到,在预设时间内有若干个待测产品的前景区域中的同一位置均出现相同的像素值(褪色后的像素值),所述背景数据库更新单元6将所述同一位置均出现的相同的像素值写入所述背景数据库,所述预设时间可以是4小时。或者在所述流水线工作台运行过程中粘上其他物体时,此时,其他物体也会被作为前景被所述相机采集到,则所述背景数据库更新单元6将其他物体的像素值写入所述背景数据库。
具体的,判断所述前景区域的形状是否符合预定产品图像形状,所述预定产品图像形状可以是所述待测产品的俯视图。当所述前景区域的形状符合预定产品图像形状时,所述待测产品图像获取单元3提取出所述图像中的所述前景区域以作为所述待测产品图像;当所述前景区域的形状不符合预定产品图像形状时,删除所述图像。
具体的,获取所述待测产品图像的特征,所述分类单元4通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型,从而可判定出当前待测产品是合格产品还是非合格产品。其中,所述待测产品图像的特征包括但不限于所述待测产品的形状、所述待测产品的质心和所述待测产品的颜色,所述分类模型根据预设数量的样本产品图像预先训练得到。
优选的,参见图3,所述分类单元4具体包括:
样本产品图像获取模块41,用于获取预设数量的样本产品图像,所述样本产品图像包括合格产品图像和不合格产品图像;
特征数据计算模块42,用于根据色域分割算法提取每一所述样本产品图像中色域的轮廓,并计算所述轮廓的特征数据;其中,所述特征数据包括但不限于所述轮廓的形状、所述轮廓的质心和所述轮廓的颜色;
训练模块43,用于利用支持向量机对所述特征数据进行训练,得到分类模型。
具体的,在确定当前待测产品所属的类型后,所述分类装置10还包括通过机械手对当前待测产品执行分拣操作,所述分类装置10还包括:
图像坐标系建立单元7,用于当当前待测产品的类型符合特定类型时,在与所述特定类型对应的当前待测产品的图像上建立图像坐标系;
运动坐标计算单元8,用于根据所述图像坐标系和流水线工作台的运行速度得到机械手的运动坐标;
分拣操作单元9,用于启动所述机械手根据所述运动坐标对当前待测产品执行分拣操作。
具体的,由于当前待测产品是经过所述相机拍照后,在所述流水线工作台上流过一段时间后才被所述机械手抓取。此时当前待测产品会随着所述流水线工作台运动,用编码器可以确定所述流水线工作台的实时变化速度,根据所述图像坐标系可以确定所述待测产品的目标点(机械手抓取点)的坐标信息,再配合时间确定所述待测产品在拍照后与所述机械手抓取之间的机械坐标偏移量,从而得到机械手的运动坐标,进而达到准确抓取当前待测产品的效果,优选的,所述机械手抓取的当前待测产品可以是合格产品,也可以是不合格产品。
具体实施时,通过图像获取单元1获取相机所拍摄的当前待测产品的图像;再通过前景提取单元2根据预先设定的背景数据库确定所述图像中的前景区域;当所述前景区域的形状符合预定产品图像形状时,待测产品图像获取单元3提取出所述图像中的所述前景区域以作为所述待测产品图像;分类单元4通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型。
与现有技术相比,本发明公开的分类装置10解决了现有技术中只依靠人眼难以定义,导致工人在质量检测时,每个人检测的良品率各不相同,从而导致生产效率大大降低的问题,能自动对产品进行缺陷检测,检测效率高和分类速度快。
实施例三
参见图4,图4是本发明实施例提供的一种分类设备20的结构示意图;该实施例的分类设备20包括:处理器21、存储器22以及存储在所述存储器中并可在所述处理器21上运行的计算机程序。所述处理器21执行所述计算机程序时实现上述各个分类方法实施例中的步骤,例如图1所示的步骤S1~S4。或者,所述处理器21执行所述计算机程序时实现上述分类装置10实施例中各单元的功能,例如所述图像获取单元1的功能。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器21执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述分类设备20中的执行过程。例如,所述计算机程序可以被分割成图像获取单元1、前景提取单元2、待测产品图像获取单元3、分类单元4、背景数据库获取单元5、背景数据库更新单元6、图像坐标系建立单元7、运动坐标计算单元8和分拣操作单元9,各单元的具体功能参考上述实施例中分类装置10中各个单元的功能,在此不再赘述。
所述分类设备20可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述分类设备20可包括,但不仅限于,处理器21、存储器22。本领域技术人员可以理解,所述示意图仅仅是分类设备20的示例,并不构成对分类设备20的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述分类设备20还可以包括输入输出设备、网络接入设备、总线等。
所称处理器21可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器21是所述分类设备20的控制中心,利用各种接口和线路连接整分类设备20的各个部分。
所述存储器22可用于存储所述计算机程序和/或模块,所述处理器21通过运行或执行存储在所述存储器22内的计算机程序和/或模块,以及调用存储在存储器22内的数据,实现所述分类设备20的各种功能。所述存储器22可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述分类设备20集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器21执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
实施例四
参见图5,图5是本发明实施例提供的一种分类***30的结构示意图;包括:相机31、流水线工作台32和机械手33;其中,
所述相机31设于所述流水线工作台32上,所述相机31离地面的高度高于所述流水线工作台32离地面的高度;
所述流水线工作台32用于放置待测产品34,所述机械手33用于抓取所述待测产品34。
优选的,所述分类***30还包括上述实施例三所述的分类设备20。
具体的,所述待测产品34放置在流水线工作台32上,优选的,所述相机31可以在开启后一直处于拍摄状态,实时对流水线工作台32进行数据采集。优选的,也可以设置传感器来感知所述待测产品34是否进入到所述相机31的拍摄范围,当所述传感器检测到所述待测产品34进入到所述相机31的拍摄范围时,所述相机31实时对流水线工作台32进行数据采集,得到当前待测产品34的图像,根据预先设定的背景数据库确定所述图像中的背景区域,并确定所述图像中所述背景区域外的其它区域为前景区域。优选的,可以根据所述背景数据库将所述图像中与所述背景数据库的对应位置具有相同像素值的位置设置为背景区域;根据所述背景数据库将所述图像中与所述背景数据库的对应位置具有不同像素值的位置设置为前景区域。
具体的,所述分类设备20判断所述前景区域的形状是否符合预定产品图像形状,所述预定产品图像形状可以是所述待测产品34的俯视图。当所述前景区域的形状符合预定产品图像形状时,提取出所述图像中的所述前景区域以作为所述待测产品图像;当所述前景区域的形状不符合预定产品图像形状时,删除所述图像。
具体的,所述分类设备20获取所述待测产品图像的特征,通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品34所属的类型,从而可判定出当前待测产品34是合格产品还是非合格产品。其中,所述待测产品图像的特征包括但不限于所述待测产品34的形状、所述待测产品34的质心和所述待测产品34的颜色,所述分类模型根据预设数量的样本产品图像预先训练得到。
具体的,在确定当前待测产品34所属的类型后,当当前待测产品34的类型符合特定类型时,所述分类设备20在与所述特定类型对应的当前待测产品34的图像上建立图像坐标系;根据所述图像坐标系和流水线工作台32的运行速度得到机械手33的运动坐标;启动所述机械手33根据所述运动坐标对当前待测产品34执行分拣操作。
具体的,由于当前待测产品34是经过所述相机31拍照后,在所述流水线工作台32上流过一段时间后才被所述机械手33抓取。此时当前待测产品34会随着所述流水线工作台32运动,用编码器可以确定所述流水线工作台32的实时变化速度,根据所述图像坐标系可以确定所述待测产品34的目标点(机械手抓取点)的坐标信息,再配合时间确定所述待测产品34在拍照后与所述机械手33抓取之间的机械坐标偏移量,从而得到机械手33的运动坐标,进而达到准确抓取当前待测产品的效果,优选的,所述机械手33抓取的当前待测产品34可以是合格产品,也可以是不合格产品。
优选的,所述机械手33可以包括执行机构、驱动机构和控制***;图5中所示为所述机械手33的执行机构,其中,所述机械手33的执行机构可以包括手部、手肘和手臂;手部安装在手臂的前端。本实施优选采用图5所示的没有手指的手部,手部设有至少一个吸盘35,吸盘35可以为真空吸盘或磁性吸盘,所述吸盘35用于抓取所述待测产品34。具体的,所述吸盘35能够在抓取所述待测产品34时更加稳固,能够有效防止所述待测产品34掉落。
优选的,所述分类***30还包括光源,所述光源设于所述相机31周围,具体的,所述光源能够为所述相机31提高拍摄的亮度,能够避免因光线过低而导致所述相机31的图像过暗,从而影响计算所述机械手33的运动坐标,优选的,所述光源也可以设置在所述相机31以外的地方,只要能确保所述相机33成像足够清晰。
具体实施时,通过分类***30获取相机31所拍摄的当前待测产品34的图像,再通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品34所属的类型,最后通过机械手33从流水线工作台32上抓取特定类型的待测产品34。
与现有技术相比,本发明公开的分类***30解决了现有技术中只依靠人眼难以定义,导致工人在质量检测时,每个人检测的良品率各不相同,从而导致生产效率大大降低的问题,能自动对产品进行缺陷检测,检测效率高和分类速度快。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种分类方法,其特征在于,包括:
获取相机所拍摄的当前待测产品的图像;
根据预先设定的背景数据库确定所述图像中的背景区域,并确定所述图像中所述背景区域外的其它区域为前景区域;
当所述前景区域的形状符合预定产品图像形状时,提取出所述图像中的所述前景区域以作为所述待测产品图像;
获取所述待测产品图像的特征,通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型;其中,所述分类模型根据预设数量的样本产品图像预先训练得到。
2.如权利要求1所述的分类方法,其特征在于,所述背景数据库的获取方法包括:
采集预设数量的背景图像,将每一所述背景图像中的像素值存储为背景数据库;
则所述背景数据库的更新方法包括:
在预设时间内当若干待测产品的前景区域中的同一位置均出现相同的像素值时,将所述同一位置均出现的相同的像素值写入所述背景数据库。
3.如权利要求2所述的一种分类方法,其特征在于,所述根据预先设定的背景数据库确定所述图像中的背景区域,并确定所述图像中所述背景区域外的其它区域为前景区域具体包括:
根据所述背景数据库将所述图像中与所述背景数据库的对应位置具有相同像素值的位置设置为背景区域;
根据所述背景数据库将所述图像中与所述背景数据库的对应位置具有不同像素值的位置设置为前景区域。
4.如权利要求1所述的分类方法,其特征在于,所述分类模型根据预设数量的样本产品图像预先训练得到具体包括:
获取预设数量的样本产品图像,所述样本产品图像包括合格产品图像和不合格产品图像;
根据色域分割算法提取每一所述样本产品图像中色域的轮廓,并计算所述轮廓的特征数据;其中,所述特征数据包括但不限于所述轮廓的形状、所述轮廓的质心和所述轮廓的颜色;
利用支持向量机对所述特征数据进行训练,得到分类模型。
5.如权利要求1所述的分类方法,其特征在于,所述通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型后还包括:
当当前待测产品的类型符合特定类型时,在与所述特定类型对应的当前待测产品的图像上建立图像坐标系;
根据所述图像坐标系和流水线工作台的运行速度得到机械手的运动坐标;
启动所述机械手根据所述运动坐标对当前待测产品执行分拣操作。
6.一种分类装置,其特征在于,包括:
图像获取单元,用于获取相机所拍摄的当前待测产品的图像;
前景提取单元,用于根据预先设定的背景数据库确定所述图像中的背景区域,并确定所述图像中所述背景区域外的其它区域为前景区域;
待测产品图像获取单元,用于当所述前景区域的形状符合预定产品图像形状时,提取出所述图像中的所述前景区域以作为所述待测产品图像;
分类单元,用于获取所述待测产品图像的特征,通过预先训练的分类模型基于所述待测产品图像的特征判定当前待测产品所属的类型;其中,所述分类模型根据预设数量的样本产品图像预先训练得到。
7.如权利要求6所述的分类装置,其特征在于,所述分类装置还包括背景数据库获取单元和背景数据库更新单元,所述背景数据库获取单元用于采集预设数量的背景图像,将每一所述背景图像中的像素值存储为背景数据库;
则所述背景数据库更新单元用于在预设时间内当若干待测产品的前景区域中的同一位置均出现相同的像素值时,将所述同一位置均出现的相同的像素值写入所述背景数据库。
8.如权利要求6所述的分类装置,其特征在于,所述分类单元具体包括:
样本产品图像获取模块,用于获取预设数量的样本产品图像,所述样本产品图像包括合格产品图像和不合格产品图像;
特征数据计算模块,用于根据色域分割算法提取每一所述样本产品图像中色域的轮廓,并计算所述轮廓的特征数据;其中,所述特征数据包括但不限于所述轮廓的形状、所述轮廓的质心和所述轮廓的颜色;
训练模块,用于利用支持向量机对所述特征数据进行训练,得到分类模型。
所述分类装置还包括:
图像坐标系建立单元,用于当当前待测产品的类型符合特定类型时,在与所述特定类型对应的当前待测产品的图像上建立图像坐标系;
运动坐标计算单元,用于根据所述图像坐标系和流水线工作台的运行速度得到机械手的运动坐标;
分拣操作单元,用于启动所述机械手根据所述运动坐标对当前待测产品执行分拣操作。
9.一种分类设备,其特征在于,包括处理器、存储器和存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的分类方法。
10.一种分类***,其特征在于,包括权利要求9所述的分类设备,还包括:相机、流水线工作台和机械手;其中,
所述相机设于所述流水线工作台上,所述相机离地面的高度高于所述流水线工作台离地面的高度;
所述流水线工作台用于放置待测产品,所述机械手用于抓取所述待测产品。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810566975.9A CN108985325A (zh) | 2018-06-05 | 2018-06-05 | 一种分类方法、装置、设备和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810566975.9A CN108985325A (zh) | 2018-06-05 | 2018-06-05 | 一种分类方法、装置、设备和*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108985325A true CN108985325A (zh) | 2018-12-11 |
Family
ID=64540046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810566975.9A Pending CN108985325A (zh) | 2018-06-05 | 2018-06-05 | 一种分类方法、装置、设备和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108985325A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127238A (zh) * | 2020-01-07 | 2020-05-08 | 北京印刷学院 | 一种农产品品质检测平台 |
CN111459936A (zh) * | 2020-03-25 | 2020-07-28 | 湖南华菱涟源钢铁有限公司 | 一种数据管理方法、数据管理装置及服务器 |
CN112150439A (zh) * | 2020-09-23 | 2020-12-29 | 创新奇智(青岛)科技有限公司 | 注塑件的自动分拣设备及分拣方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101655909A (zh) * | 2008-08-21 | 2010-02-24 | 索尼(中国)有限公司 | 匹配程度计算装置及方法 |
CN101666616A (zh) * | 2008-09-01 | 2010-03-10 | 比亚迪股份有限公司 | 一种外观检测方法 |
CN104209272A (zh) * | 2014-08-28 | 2014-12-17 | 深圳市天麟精密模具有限公司 | 一种根据图像信息进行产品分拣的方法和设备 |
CN105046280A (zh) * | 2015-08-10 | 2015-11-11 | 北京小豹科技有限公司 | 一种衣柜智能管理装置及方法 |
CN106053479A (zh) * | 2016-07-21 | 2016-10-26 | 湘潭大学 | 一种基于图像处理的工件外观缺陷的视觉检测*** |
CN106780673A (zh) * | 2017-02-13 | 2017-05-31 | 杨金强 | 一种动画制作方法及*** |
US20180039866A1 (en) * | 2015-01-19 | 2018-02-08 | Ebay Inc. | Fine-grained categorization |
-
2018
- 2018-06-05 CN CN201810566975.9A patent/CN108985325A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101655909A (zh) * | 2008-08-21 | 2010-02-24 | 索尼(中国)有限公司 | 匹配程度计算装置及方法 |
CN101666616A (zh) * | 2008-09-01 | 2010-03-10 | 比亚迪股份有限公司 | 一种外观检测方法 |
CN104209272A (zh) * | 2014-08-28 | 2014-12-17 | 深圳市天麟精密模具有限公司 | 一种根据图像信息进行产品分拣的方法和设备 |
US20180039866A1 (en) * | 2015-01-19 | 2018-02-08 | Ebay Inc. | Fine-grained categorization |
CN105046280A (zh) * | 2015-08-10 | 2015-11-11 | 北京小豹科技有限公司 | 一种衣柜智能管理装置及方法 |
CN106053479A (zh) * | 2016-07-21 | 2016-10-26 | 湘潭大学 | 一种基于图像处理的工件外观缺陷的视觉检测*** |
CN106780673A (zh) * | 2017-02-13 | 2017-05-31 | 杨金强 | 一种动画制作方法及*** |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127238A (zh) * | 2020-01-07 | 2020-05-08 | 北京印刷学院 | 一种农产品品质检测平台 |
CN111459936A (zh) * | 2020-03-25 | 2020-07-28 | 湖南华菱涟源钢铁有限公司 | 一种数据管理方法、数据管理装置及服务器 |
CN111459936B (zh) * | 2020-03-25 | 2023-09-29 | 湖南华菱涟源钢铁有限公司 | 一种数据管理方法、数据管理装置及服务器 |
CN112150439A (zh) * | 2020-09-23 | 2020-12-29 | 创新奇智(青岛)科技有限公司 | 注塑件的自动分拣设备及分拣方法 |
CN112150439B (zh) * | 2020-09-23 | 2023-10-20 | 创新奇智(青岛)科技有限公司 | 注塑件的自动分拣设备及分拣方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104106260B (zh) | 基于地理图的控制 | |
CN108109137A (zh) | 车辆部件的机器视觉检测***及方法 | |
CN105812746B (zh) | 一种目标检测方法及*** | |
CN110910350B (zh) | 一种用于风电塔筒的螺母松动检测方法 | |
CN110400315A (zh) | 一种缺陷检测方法、装置及*** | |
CN108985325A (zh) | 一种分类方法、装置、设备和*** | |
CN108694741A (zh) | 一种三维重建方法及装置 | |
CN110110131B (zh) | 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法 | |
CN112258491A (zh) | 一种电力设备缺陷三维模拟方法 | |
CN109389105B (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
CN109871821A (zh) | 自适应网络的行人重识别方法、装置、设备及存储介质 | |
CN107004266A (zh) | 检测轮胎表面上缺陷的方法 | |
CN111161295B (zh) | 一种菜品图像背景剥离方法 | |
CN107547852A (zh) | 一种大数据存储*** | |
CN110852164A (zh) | 一种基于YOLOv3的自动检测违章建筑方法及*** | |
CN110057828A (zh) | 一种基于机器视觉的表面检测方法及*** | |
CN113657423A (zh) | 适用于小体积零件与堆叠零件的目标检测方法及其应用 | |
CN110826364B (zh) | 一种库位识别方法及装置 | |
CN110569716A (zh) | 一种货架图像翻拍检测方法 | |
CN116580026B (zh) | 精密零部件外观缺陷自动光学检测方法、设备及存储介质 | |
CN110910379B (zh) | 一种残缺检测方法及装置 | |
CN111161227B (zh) | 一种基于深度神经网络的靶心定位方法及*** | |
CN110210401B (zh) | 一种弱光下的目标智能检测方法 | |
CN112183287A (zh) | 一种移动机器人在复杂背景下的人数统计方法 | |
CN111369612A (zh) | 一种三维点云图像生成方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181211 |