CN110543892A - 一种基于多层随机森林的零部件识别方法 - Google Patents
一种基于多层随机森林的零部件识别方法 Download PDFInfo
- Publication number
- CN110543892A CN110543892A CN201910715240.2A CN201910715240A CN110543892A CN 110543892 A CN110543892 A CN 110543892A CN 201910715240 A CN201910715240 A CN 201910715240A CN 110543892 A CN110543892 A CN 110543892A
- Authority
- CN
- China
- Prior art keywords
- classifier
- depth
- pixel
- random forest
- assembly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007637 random forest analysis Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 83
- 238000012360 testing method Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000003066 decision tree Methods 0.000 claims description 41
- 239000013598 vector Substances 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 18
- 238000009877 rendering Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 2
- 239000002131 composite material Substances 0.000 description 8
- 230000009471 action Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 239000003638 chemical reducing agent Substances 0.000 description 4
- 230000006698 induction Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229940098006 multigen Drugs 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多层随机森林的零部件识别方法,首先是图像训练集和测试集的建立;再进行深度特征提取;通过训练建立随机森林分类器;最后构建多层随机森林进行分类识别。本发明的有益效果是能够同时进行装配体装配状态识别和零部件识别,能够对不同装配状态下的装配体零部件进行有效的分割和识别。
Description
技术领域
本发明属于图像处理技术领域,涉及一种基于多层随机森林的零部件识别方法。
背景技术
随着增强现实技术的发展,采用增强现实技术来进行装配诱导逐渐受到各国研究者的重视。增强现实装配诱导的应用通过在操作者视图中将虚拟诱导信息与实际工作场景融合,可以改进人工手动装配的效率。增强现实装配诱导要想获得更好的人机交互性,需要对装配场景进行识别和监测。另外,在现代自动化装配***中,装配机器人如果能够对装配场景进行识别和监测,会大大增加***的柔性。而对于装配场景识别和监测,其中一个重要研究内容是装配场景中装配体及其零部件的分割、检测和识别。
发明内容
本发明的目的在于提供一种基于多层随机森林的零部件识别方法,本发明的有益效果是能够同时进行装配体装配状态识别和零部件识别,能够对不同装配状态下的装配体零部件进行有效的分割和识别。
本发明所采用的技术方案是按照以下步骤进行:
步骤1:图像训练集和测试集的建立;
步骤2:深度特征提取;
步骤3:建立随机森林分类器;
步骤4:采用多层随机森林分类器进行分类识别。
进一步,步骤1首先为待识别的装配体建立三维模型,并对装配体进行颜色标记,在构建装配状态训练集时,针对每一种装配状态,用一种不同的颜色对该状态下的装配体进行标记;而在构建不同装配状态下的零件训练集时,则对组成装配体的各零件{Pi|i=1,...,N}分别进行颜色标记,不同的零件Pi用不同的颜色进行标记,每一种颜色对应一个分类标签ci,其中,N为装配体中零件个数;然后,将进行了颜色标记的装配体三维可视化模型导入图形渲染引擎,在装配体所在的位姿空间中对装配体的位姿状态在一定范围内进行采样得到位姿状态样本集{sj|j=1,...,M},其中,M为装配体的位姿状态样本数,针对每一个位姿状态sj,利用图形渲染引擎合成装配体在该位姿状态下的深度图像和对应的彩色标签图像,从而构成各层随机森林分类器训练所需的深度图像样本集和对应的彩色标签样本集;用于随机森林分类测试的图像测试集既包括合成图像样本集又包括真实图像样本集,其中,合成图像样本集与训练集一样通过计算机图形渲染方式合成;而在建立用于测试的真实图像样本集时,利用深度相机Kinect 2.0进行图像采集来获取真实装配体的深度图像,再利用图像处理软件的颜色标记功能对采集的深度图像进行人工标记来获取对应的彩色标签图像,构成测试所需的真实图像样本集。
进一步,步骤2在进行特征提取时,从图像训练集中的每张深度图像随机提取一定数量的像素来生成像素样本集,采用像素样本的深度差分特征来训练随机森林分类器,给定一个深度像素x,深度差分特征fθ定义如下:
其中,特征参数θ=(u1,u2)描述相对于深度像素x的两个二维像素偏移向量u1和u2,d(x)为深度像素x在深度图像中对应的深度值,两个偏移向量u1和u2分别通过除以d(x)来进行规范化,从而保证特征值fθ的深度不变性,如果偏移像素位于背景区域或者图像边界之外,取其对应的深度值为C+d(x),其中C为一个大常量值,d(x)为原像素x对应的深度值,以此来确保对应特征值fθ的深度不变性。
进一步,以待分类深度像素x为圆心建立一系列同心圆,在每个同心圆上按式(2)和式(3)所示方式来对偏移向量u进行选取
U={u|u=M(cosα,sinα),α∈D,M=mn} (3)
其中,A为第n个同心圆上的N等分角集合,U为第n个同心圆上的所选取的偏移向量集合,M=mn为偏移向量的模,即第n个同心圆的半径大小,m为模基数;提取的深度差分特征分为一元特征和二元特征,在提取一元深度差分特征时,令u2=0,计算偏移点与待分类深度像素x之间的深度差;在提取二元深度差分特征时,在偏移向量中随机选取一对偏移向量,计算两个偏移点之间的深度差;针对每个待分类深度像素x,共提取2088个深度差分特征。
进一步,步骤3建立随机森林分类器,利用从深度图像提取的深度差分特征训练随机森林分类器。
进一步,随机森林由多棵决策树组成,每一棵决策树由许多分枝节点和末端的叶节点组成,每一个分枝节点包含一个特征fθ和一个对应的阈值τ,而每一个叶节点都对应一个关于分类标签li的概率分布,第t棵决策树在进行分类决策时,待分类像素x在决策树t每一个分支节点根据该节点对应的深度差分特征进行阈值比较,根据比较结果将该像素分到左侧或右侧子集,最终该像素被分配到末端的一个叶节点,该叶节点对应的概率分布pt(li|x)即为决策树t对像素x做出的分类结果,将所有T棵决策树获取的概率分布进行平均,即可获得随机森林的最终分类结果
通过对随机森林分类器进行反复的训练和测试来获取随机森林的最优参数设置,随机森林分类器的训练和预测过程如下:
训练:
对于第t=1-T棵树
(1)从总训练集中有放回地随机抽取一个训练集,作为当前决策树根节点的样本集,从根节点开始训练;
(2)对于当前待***节点,从所有N维特征中随机地无放回地抽取n维特征{fθ},根据特征参数θ及其阈值τ将当前节点的样本集S中的样本划分为左子集SL和右子集SR,如式(5),SL和SR分别分配给当前节点的左子节点和右子节点
利用这n维特征,通过式(6)和式(7)寻找分类效果最好的一维特征θ及其阈值τ,
其中,Gini(S)为样本集S的Gini系数,pi为样本集中第i类样本所占的比例;
(3)如果当前节点达到终止条件,则将当前节点设置为叶节点,该叶节点储存了一个关于分类标签li的概率分布p(li),即当前叶节点样本集合中各类别li所占的比例;
(4)如果还有节点未***或未被设置为叶节点,则转到第(2)步;
预测:
对于第t=1-T棵树
(1)从当前决策树的根节点开始,根据当前节点的特征θ和阈值τ判断待分类样本x是进入左子节点还是进入右子节点,直到到达该决策树的某个叶节点,输出各类别li的概率分布pt(li|x);
(2)重复执行(1)直到所有T棵树都输出了分类结果,将所有T棵决策树获取的概率分布进行平均,则分类输出为所有决策树预测概率总和最大的那一个类。
进一步,步骤4通过装配状态训练集训练一个随机森林分类器作为装配状态分类器,针对每一种装配状态,分别通过其对应的零件训练集训练一个单独的随机森林分类器作为这种装配状态对应的零件分类器,装配状态分类器和零件分类器均采用从合成深度图像提取的像素深度差分特征作为特征属性来进行训练,只不过装配状态训练集和零件训练集采用的像素分类标签不同;在构建多层随机森林分类器时,首先,在装配状态训练集上训练一个随机森林像素分类器φ作为装配状态分类器,装配状态分类器的输入是深度图像I和像素x,输出是装配状态类别标签li的一组后验概率
其中,t为装配状态分类器中的决策树编号;然后,通过装配状态分类器构建一个多层随机森林网络来解决零件分割与识别问题,装配状态分类器识别结果为装配状态li,针对每一种装配状态li,分别通过其对应的零件训练集训练一个单独的随机森林分类器作为这种装配状态对应的零件分类器,零件分类器的输入是深度图像I和像素x,输出是装配状态li下装配体零件标签cj的一组后验概率
其中,i为零件分类器编号,t为零件分类器中的决策树编号;在通过多层随机森林像素分类器对输入深度图像的像素x进行分类识别时,首先,通过装配状态分类器的预测识别为该像素分配一个装配状态标签li,然后,在整幅图像上对所有像素的装配状态标签进行统计分析,取概率最大的装配状态标签作为装配状态分类器的最终分类结果Li,根据装配状态分类器最终分类结果Li,采用对应的零件分类器对各像素继续进行分类,最后,通过零件分类器对该像素进行预测识别来判断该像素属于哪个零件,生成该像素的零件标签cj。
附图说明
图1***训练过程和分类预测过程;
图2是随机森林分类模型;
图3是多层随机森林分类预测过程;
图4是多层随机森林对于合成测试图像的零件像素分类精度;
图5是多层随机森林对合成图像识别的结果;
图6是多层随机森林对于真实测试图像的零件像素分类精度;
图7是多层随机森林对真实图像识别的结果。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明基于多层随机森林的装配体装配状态识别和零部件识别方法步骤如下:
步骤1:图像训练集和测试集的建立
如图1所示,采用计算机三维图形渲染的方式来合成随机森林分类器训练所需的图像样本集。首先,采用CAD建模软件SolidWorks为待识别的装配体建立三维模型,通过OBJ中间格式将其导入可视化建模软件Multigen Creator并对装配体进行颜色标记。在构建装配状态训练集时,针对每一种装配状态,用一种不同的颜色对该状态下的装配体进行标记;而在构建不同装配状态下的零件训练集时,则对组成装配体的各零件{Pi|i=1,...,N}分别进行颜色标记,不同的零件Pi用不同的颜色进行标记,每一种颜色对应一个分类标签ci,其中,N为装配体中零件个数。然后,将进行了颜色标记的装配体三维可视化模型导入图形渲染引擎OpenSceneGraph(OSG),在装配体所在的位姿空间中对装配体的位姿状态在一定范围内进行采样得到位姿状态样本集{sj|j=1,...,M},其中,M为装配体的位姿状态样本数。针对每一个位姿状态sj,利用图形渲染引擎以FBO离屏渲染方式合成装配体在该位姿状态下的深度图像和对应的彩色标签图像,从而构成各层随机森林分类器训练所需的深度图像样本集和对应的彩色标签样本集。合成深度图像由GPU深度缓存Z-buffer中储存的数据生成,而彩色标签图像由GPU颜色缓存中储存的数据生成。用于随机森林分类测试的图像测试集既包括合成图像样本集又包括真实图像样本集,其中,合成图像样本集与训练集一样通过计算机图形渲染方式合成;而在建立用于测试的真实图像样本集时,利用深度相机Kinect 2.0进行图像采集来获取真实装配体的深度图像,再利用图像处理软件的颜色标记功能对采集的深度图像进行人工标记来获取对应的彩色标签图像,构成测试所需的真实图像样本集。
步骤2:深度特征提取
在进行特征提取时,从图像训练集中的每张深度图像随机提取一定数量的像素来生成像素样本集,采用像素样本的深度差分特征来训练随机森林分类器。给定一个深度像素x,深度差分特征fθ定义如下:
其中,特征参数θ=(u1,u2)描述相对于深度像素x的两个二维像素偏移向量u1和u2,d(x)为深度像素x在深度图像中对应的深度值。两个偏移向量u1和u2分别通过除以d(x)来进行规范化,从而保证特征值fθ的深度不变性,即特征值fθ的大小不受物体到摄像机距离的影响。如果偏移像素位于背景区域或者图像边界之外,本发明取其对应的深度值为C+d(x),其中C为一个大常量值,d(x)为原像素x对应的深度值,以此来确保对应特征值fθ的深度不变性。尽管这些深度差分特征只提供弱的分类信号,但是将其与随机森林分类器进行结合将足以识别物体的不同部分。本发明以待分类深度像素x为圆心建立一系列同心圆,在每个同心圆上按式(2)和式(3)所示方式来对偏移向量u进行选取
U={u|u=M(cosα,sinα),α∈D,M=mn} (3)
其中,A为第n个同心圆上的N等分角集合,U为第n个同心圆上的所选取的偏移向量集合。M=mn为偏移向量的模,即第n个同心圆的半径大小,m为模基数。提取的深度差分特征分为一元特征和二元特征,在提取一元深度差分特征时,令u2=0,计算偏移点与待分类深度像素x之间的深度差;在提取二元深度差分特征时,本发明在偏移向量中随机选取一对偏移向量,计算两个偏移点之间的深度差。针对每个待分类深度像素x,共提取2088个深度差分特征。
步骤3:建立随机森林分类器
建立随机森林分类器,利用从深度图像提取的深度差分特征训练随机森林分类器。随机森林是一种快速有效的多类分类器,由多棵决策树组成,如图2所示。每一棵决策树由许多分枝节点和末端的叶节点组成,每一个分枝节点包含一个特征fθ和一个对应的阈值τ,而每一个叶节点都对应一个关于分类标签li的概率分布。第t棵决策树在进行分类决策时,待分类像素x在决策树t每一个分支节点根据该节点对应的深度差分特征进行阈值比较,根据比较结果将该像素分到左侧或右侧子集,最终该像素被分配到末端的一个叶节点,该叶节点对应的概率分布pt(li|x)即为决策树t对像素x做出的分类结果。将所有T棵决策树获取的概率分布进行平均,即可获得随机森林的最终分类结果
随机森林分类器利用多棵随机决策树对样本进行训练和预测,可以有效避免单个决策树分类器常出现的过拟合现象。每棵树所使用的训练样本集是从总的训练样本集中随机地有放回地抽取的,而在训练决策数的每个分支节点时,所使用的特征是从所有特征中按照一定比例通过无放回随机采样获取的。本发明通过对随机森林分类器进行反复的训练和测试来获取随机森林的最优参数设置,如图3所示,随机森林分类器的训练和预测过程如下:
训练:
对于第t=1-T棵树
(1)从总训练集中有放回地随机抽取一个训练集,作为当前决策树根节点的样本集,从根节点开始训练;
(2)对于当前待***节点,从所有N维特征中随机地无放回地抽取n维特征{fθ},根据特征参数θ及其阈值τ将当前节点的样本集S中的样本划分为左子集SL和右子集SR,如式(5),SL和SR分别分配给当前节点的左子节点和右子节点
利用这n维特征,通过式(6)和式(7)寻找分类效果最好的一维特征θ及其阈值τ,
其中,Gini(S)为样本集S的Gini系数,pi为样本集中第i类样本所占的比例;
(3)如果当前节点达到终止条件,则将当前节点设置为叶节点,该叶节点储存了一个关于分类标签li的概率分布p(li),即当前叶节点样本集合中各类别li所占的比例;
(4)如果还有节点未***或被设置为叶节点,则转到第(2)步。
预测:
对于第t=1-T棵树
(1)从当前决策树的根节点开始,根据当前节点的特征θ和阈值τ判断待分类样本x是进入左子节点还是进入右子节点,直到到达该决策树的某个叶节点,输出各类别li的概率分布pt(li|x);
(2)重复执行(1)直到所有T棵树都输出了分类结果,将所有T棵决策树获取的概率分布进行平均,则分类输出为所有决策树预测概率总和最大的那一个类。
步骤4:采用多层随机森林分类器进行分类识别
通过装配状态训练集训练一个随机森林分类器作为装配状态分类器,针对每一种装配状态,分别通过其对应的零件训练集训练一个单独的随机森林分类器作为这种装配状态对应的零件分类器。装配状态分类器和零件分类器均采用从合成深度图像提取的像素深度差分特征作为特征属性来进行训练,只不过装配状态训练集和零件训练集采用的像素分类标签不同。在构建多层随机森林分类器时,首先,在装配状态训练集上训练一个随机森林像素分类器φ作为装配状态分类器。装配状态分类器的输入是深度图像I和像素x,输出是装配状态类别标签li的一组后验概率
其中,t为装配状态分类器中的决策树编号。
然后,通过装配状态分类器构建一个多层随机森林网络来解决零件分割与识别问题,装配状态分类器识别结果为装配状态li。针对每一种装配状态li,分别通过其对应的零件训练集训练一个单独的随机森林分类器作为这种装配状态对应的零件分类器。零件分类器的输入是深度图像I和像素x,输出是装配状态li下装配体零件标签cj的一组后验概率
其中,i为零件分类器编号,t为零件分类器中的决策树编号。如图6所示,在通过多层随机森林像素分类器对输入深度图像的像素x进行分类识别时,首先,通过装配状态分类器的预测识别为该像素分配一个装配状态标签li,然后,在整幅图像上对所有像素的装配状态标签进行统计分析,取概率最大的装配状态标签作为装配状态分类器的最终分类结果Li。根据装配状态分类器最终分类结果Li,采用对应的零件分类器对各像素继续进行分类。最后,通过零件分类器对该像素进行预测识别来判断该像素属于哪个零件,生成该像素的零件标签cj。图4是多层随机森林对于合成测试图像的零件像素分类精度;图5是多层随机森林对合成图像识别的结果。
本发明方法验证:实验***是在C++平台上开发的,以圆柱圆锥齿轮减速器的零件识别为例,验证本发明方法的可行性。通过SolidWorks为待识别的减速器装配体建立三维模型,导入Mutigen Creator并对装配体进行颜色标记。为减速器装配体模型划分了8种装配状态,每种装配状态对应一个装配状态标签,采用一种不同的颜色进行标记;另外,所采用的减速器装配体可分为17个零部件,每个零部件对应一个零件标签,在构建各装配状态下的零件训练集时则每个零部件采用一种不同的颜色进行标记。将进行了颜色标记的装配体三维可视化模型导入图形渲染引擎OpenSceneGraph,利用图形渲染方式合成用于训练的装配体深度图像样本集和对应的彩色标签图像样本集。分类器的训练程序在linux平台上采用g++编译器和OpenCV开发,分类器在一台配备两个Intel Xeon十核E5-2630v42.2GHzCPU,64GB内存和NvidiaTitanX显卡的工作站进行训练。各层随机森林分类器均采用如下参数设置:树的最大深度为30,最大棵数为30,每个树节点随机选取60个特征属性用于训练。装配状态分类器在8种装配状态的装配状态训练集中每张图像提取500个像素训练样本进行训练,各装配状态下的零件分类器则在对应的零件训练集中每张图像提取2000个像素训练样本进行训练,对训练好的分类器来进行测试。
为验证本发明方法对不同装配状态下装配体中各零部件进行像素分类的有效性,首先采用合成图像来对本发明方法进行检验。用于测试的合成图像样本集与训练集一样通过计算机图形渲染方式合成,从每种装配状态下的合成样本集中分别随机选取5张深度图像作为合成测试集,则合成测试集包括了8种装配状态下的共40张深度图像。为了验证该方法对深度距离的泛化能力,这部分实验用于测试的合成数据集中装配体模型与虚拟相机的设置距离比合成数据训练集的远了200mm。如表1所示,对于合成测试集,对8种装配状态下各零部件进行像素分类的平均准确率可以达到98%左右,识别一张图像平均需要0.9秒左右。图4给出了多层随机森林对合成测试集各零部件进行像素分类的准确率。图5给出了多层随机森林对合成测试集进行像素分类的部分结果,其中第1行为合成深度图像,第2行为识别结果。对于装配状态识别,在所有40个合成测试图像中,多层随机森林仅为1个图像分配了错误的装配状态标签,进而导致错误的零件分类结果。
本发明也采用真实图像样本集来验证本发明方法的可行性,其中,真实深度图像样本集利用相机Kinect 2.0传感器进行采集,Kinect 2.0传感器可提供RGB图像和对准的深度图像。通过基于RGB图像的背景减除法分割出装配体前景像素,通过分割出的前景像素提取深度图像中的对应深度像素,并通过像素滤波方法对其进行滤波。然后利用图像处理软件以人工方式对滤波后的深度图像进行颜色标记。从每种装配状态下的真实样本集中随机选取3张深度图及对应的彩色标签图作为真实测试集。如表1所示,对于真实图像测试集,本发明方法对8种装配状态下各零部件进行像素分类的平均准确率可以达到82%左右,识别一张图像平均需要1.8秒左右。图6给出了多层随机森林对真实测试集各零部件进行像素分类的准确率。图7给出了多层随机森林对真实图像测试集进行像素分类的部分结果,其中第1行为真实深度图像,第2行为识别结果。对于装配状态识别,多层随机森林为所有24个真实测试图像都分配了正确的装配状态标签。
表1.多层随机森林图像识别结果
本发明基于深度图像提出一种新的多层随机森林像素分类方法来以解决不同装配状态下的装配体零件分割和识别。第一层随机森林分类器首先对深度图像进行装配状态分类,根据装配状态分类结果,将深度像素输入第二层对应的零件分类器进行分类,来判断各像素属于哪个零部件,进行零部件语义分割和识别。采用合成数据对分类器进行训练,在合成和真实测试集上的测试结果表明本发明提出的多层随机森林方法能够对不同装配状态下的装配体零部件进行有效的分割和识别,具有比较高的精度。本发明研究成果可用于增强装配诱导、装配监测和自动化装配等领域。
以上所述仅是对本发明的较佳实施方式而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施方式所做的任何简单修改,等同变化与修饰,均属于本发明技术方案的范围内。
Claims (7)
1.一种基于多层随机森林的零部件识别方法,其特征在于按照以下步骤进行:
步骤1:图像训练集和测试集的建立;
步骤2:深度特征提取;
步骤3:建立随机森林分类器;
步骤4:采用多层随机森林分类器进行分类识别。
2.按照权利要求1所述一种基于多层随机森林的零部件识别方法,其特征在于:所述步骤1首先为待识别的装配体建立三维模型,并对装配体进行颜色标记,在构建装配状态训练集时,针对每一种装配状态,用一种不同的颜色对该状态下的装配体进行标记;而在构建不同装配状态下的零件训练集时,则对组成装配体的各零件{Pi|i=1,...,N}分别进行颜色标记,不同的零件Pi用不同的颜色进行标记,每一种颜色对应一个分类标签,其中,N为装配体中零件个数;然后,将进行了颜色标记的装配体三维可视化模型导入图形渲染引擎,在装配体所在的位姿空间中对装配体的位姿状态在一定范围内进行采样得到位姿状态样本集{sj|j=1,...,M},其中,M为装配体的位姿状态样本数,针对每一个位姿状态sj,利用图形渲染引擎合成装配体在该位姿状态下的深度图像和对应的彩色标签图像,从而构成各层随机森林分类器训练所需的深度图像样本集和对应的彩色标签样本集;在构建图像测试集时,图像测试集既包括合成图像样本集又包括真实图像样本集,其中,合成图像样本集与训练集一样通过计算机图形渲染方式合成;而在建立用于测试的真实图像样本集时,利用深度相机Kinect 2.0进行图像采集来获取真实装配体的深度图像,再利用图像处理软件的颜色标记功能对采集的深度图像进行人工标记来获取对应的彩色标签图像,构成测试所需的真实图像样本集。
3.按照权利要求1所述一种基于多层随机森林的零部件识别方法,其特征在于:所述步骤2在进行特征提取时,从图像训练集中的每张深度图像随机提取一定数量的像素来生成像素样本集,采用像素样本的深度差分特征来训练随机森林分类器,给定一个深度像素x,深度差分特征fθ定义如下:
其中,特征参数θ=(u1,u2)描述相对于深度像素x的两个二维像素偏移向量u1和u2,d(x)为深度像素x在深度图像中对应的深度值,两个偏移向量u1和u2分别通过除以d(x)来进行规范化,从而保证特征值fθ的深度不变性,如果偏移像素位于背景区域或者图像边界之外,取其对应的深度值为C+d(x),其中C为一个大常量值,d(x)为原像素x对应的深度值,以此来确保对应特征值fθ的深度不变性。
4.按照权利要求3所述一种基于多层随机森林的零部件识别方法,其特征在于:以待分类深度像素x为圆心建立一系列同心圆,在每个同心圆上按式(2)和式(3)所示方式来对偏移向量u进行选取
U={u|u=M(cosα,sinα),α∈D,M=mn} (3)
其中,A为第n个同心圆上的N等分角集合,U为第n个同心圆上的所选取的偏移向量集合,M=mn为偏移向量的模,即第n个同心圆的半径大小,m为模基数;提取的深度差分特征分为一元特征和二元特征,在提取一元深度差分特征时,令u2=0,计算偏移点与待分类深度像素x之间的深度差;在提取二元深度差分特征时,在偏移向量中随机选取一对偏移向量,计算两个偏移点之间的深度差;针对每个待分类深度像素x,共提取2088个深度差分特征。
5.按照权利要求1所述一种基于多层随机森林的零部件识别方法,其特征在于:所述步骤3建立随机森林分类器,利用从深度图像提取的深度差分特征训练随机森林分类器。
6.按照权利要求5所述一种基于多层随机森林的零部件识别方法,其特征在于:所述随机森林由多棵决策树组成,每一棵决策树由许多分枝节点和末端的叶节点组成,每一个分枝节点包含一个特征fθ和一个对应的阈值τ,而每一个叶节点都对应一个关于分类标签li的概率分布,第t棵决策树在进行分类决策时,待分类像素x在决策树t每一个分支节点根据该节点对应的深度差分特征进行阈值比较,根据比较结果将该像素分到左侧或右侧子集,最终该像素被分配到末端的一个叶节点,该叶节点对应的概率分布pt(li|x)即为决策树t对像素x做出的分类结果,将所有T棵决策树获取的概率分布进行平均,即可获得随机森林的最终分类结果
通过对随机森林分类器进行反复的训练和测试来获取随机森林的最优参数设置,随机森林分类器的训练和预测过程如下:
训练:
对于第t=1-T棵树
(1)从总训练集中有放回地随机抽取一个训练集,作为当前决策树根节点的样本集,从根节点开始训练;
(2)对于当前待***节点,从所有N维特征中随机地无放回地抽取n维特征{fθ},根据特征参数θ及其阈值τ将当前节点的样本集S中的样本划分为左子集SL和右子集SR,如式(5),SL和SR分别分配给当前节点的左子节点和右子节点
利用这n维特征,通过式(6)和式(7)寻找分类效果最好的一维特征θ及其阈值τ,
其中,Gini(S)为样本集S的Gini系数,pi为样本集中第i类样本所占的比例;
(3)如果当前节点达到终止条件,则将当前节点设置为叶节点,该叶节点储存了一个关于分类标签li的概率分布p(li),即当前叶节点样本集合中各类别li所占的比例;
(4)如果还有节点未***或被设置为叶节点,则转到第(2)步;
预测:
对于第t=1-T棵树
(1)从当前决策树的根节点开始,根据当前节点的特征θ和阈值τ判断待分类样本x是进入左子节点还是进入右子节点,直到到达该决策树的某个叶节点,输出各类别li的概率分布pt(li|x);
(2)重复执行(1)直到所有T棵树都输出了分类结果,将所有T棵决策树获取的概率分布进行平均,则分类输出为所有决策树预测概率总和最大的那一个类。
7.按照权利要求1所述一种基于多层随机森林的零部件识别方法,其特征在于:所述步骤4通过装配状态训练集训练一个随机森林分类器作为装配状态分类器,针对每一种装配状态,分别通过其对应的零件训练集训练一个单独的随机森林分类器作为这种装配状态对应的零件分类器,装配状态分类器和零件分类器均采用从合成深度图像提取的像素深度差分特征作为特征属性来进行训练,只不过装配状态训练集和零件训练集采用的像素分类标签不同;在构建多层随机森林分类器时,首先,在装配状态训练集上训练一个随机森林像素分类器φ作为装配状态分类器,装配状态分类器的输入是深度图像I和像素x,输出是装配状态类别标签li的一组后验概率
其中,t为装配状态分类器中的决策树编号;然后,通过装配状态分类器构建一个多层随机森林网络来解决零件分割与识别问题,装配状态分类器识别结果为装配状态li,针对每一种装配状态li,分别通过其对应的零件训练集训练一个单独的随机森林分类器作为这种装配状态对应的零件分类器,零件分类器的输入是深度图像I和像素x,输出是装配状态li下装配体零件标签cj的一组后验概率
其中,i为零件分类器编号,t为零件分类器中的决策树编号;在通过多层随机森林像素分类器对输入深度图像的像素x进行分类识别时,首先,通过装配状态分类器的预测识别为该像素分配一个装配状态标签li,然后,在整幅图像上对所有像素的装配状态标签进行统计分析,取概率最大的装配状态标签作为装配状态分类器的最终分类结果Li,根据装配状态分类器最终分类结果Li,采用对应的零件分类器对各像素继续进行分类,最后,通过零件分类器对该像素进行预测识别来判断该像素属于哪个零件,生成该像素的零件标签cj。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910715240.2A CN110543892B (zh) | 2019-08-05 | 2019-08-05 | 一种基于多层随机森林的零部件识别方法 |
PCT/CN2020/101148 WO2021022970A1 (zh) | 2019-08-05 | 2020-07-09 | 一种基于多层随机森林的零部件识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910715240.2A CN110543892B (zh) | 2019-08-05 | 2019-08-05 | 一种基于多层随机森林的零部件识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110543892A true CN110543892A (zh) | 2019-12-06 |
CN110543892B CN110543892B (zh) | 2023-08-25 |
Family
ID=68710162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910715240.2A Active CN110543892B (zh) | 2019-08-05 | 2019-08-05 | 一种基于多层随机森林的零部件识别方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110543892B (zh) |
WO (1) | WO2021022970A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111144373A (zh) * | 2019-12-31 | 2020-05-12 | 广州市昊链信息科技股份有限公司 | 一种信息识别方法、装置、计算机设备和存储介质 |
WO2021022970A1 (zh) * | 2019-08-05 | 2021-02-11 | 青岛理工大学 | 一种基于多层随机森林的零部件识别方法及*** |
CN113134839A (zh) * | 2021-04-26 | 2021-07-20 | 湘潭大学 | 一种基于视觉和力位图像学习的机器人精密柔性装配方法 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113111741B (zh) * | 2021-03-27 | 2024-05-07 | 西北工业大学 | 一种基于三维特征点的装配状态识别方法 |
CN113256507B (zh) * | 2021-04-01 | 2023-11-21 | 南京信息工程大学 | 一种针对二进制流量数据生成图像的注意力增强方法 |
CN113133742B (zh) * | 2021-04-18 | 2023-08-25 | 西北工业大学 | 一种基于时域多维特征融合的膝关节信号特征提取及分类方法与装置 |
CN113221972B (zh) * | 2021-04-26 | 2024-02-13 | 西安电子科技大学 | 基于加权深度随机森林的不平衡高光谱数据分类方法 |
CN113392777A (zh) * | 2021-06-17 | 2021-09-14 | 西安应用光学研究所 | 一种基于在线学习策略的实时目标检测方法 |
CN113642599A (zh) * | 2021-06-28 | 2021-11-12 | 中国铁道科学研究院集团有限公司 | 收入预测方法、运输***以及电子设备 |
CN113780383B (zh) * | 2021-08-27 | 2024-07-05 | 北京工业大学 | 基于半监督随机森林和深度森林回归集成的二噁英排放浓度预测方法 |
CN113936218A (zh) * | 2021-10-26 | 2022-01-14 | 北京航空航天大学 | 一种航空发动机卡箍的细粒度三维识别方法 |
CN114022782B (zh) * | 2021-11-01 | 2024-05-10 | 中国石油大学(华东) | 一种基于modis卫星数据的海雾探测方法 |
CN114154561B (zh) * | 2021-11-15 | 2024-02-27 | 国家电网有限公司 | 一种基于自然语言处理和随机森林的电力数据治理方法 |
CN114241179A (zh) * | 2021-12-06 | 2022-03-25 | 电子科技大学 | 一种基于自步学习的视线估计方法 |
CN114429655A (zh) * | 2021-12-24 | 2022-05-03 | 南京师范大学 | 时空域信息融合随机森林的微表情检测方法 |
CN114708593B (zh) * | 2021-12-31 | 2024-06-14 | 北京工业大学 | 基于异构多模型的废旧电子产品品牌识别方法 |
CN114067231B (zh) * | 2022-01-14 | 2022-05-10 | 成都飞机工业(集团)有限责任公司 | 一种基于机器视觉学习识别的零件加工特征识别方法 |
CN114580511B (zh) * | 2022-02-25 | 2024-05-24 | 南京中医药大学 | 一种基于图像亮度信息和投票机制的硫熏干姜鉴别方法 |
CN114882391A (zh) * | 2022-03-18 | 2022-08-09 | 北京工业大学 | 基于多特征融合和改进级联森林的mswi过程燃烧状态识别方法 |
CN114757077B (zh) * | 2022-04-21 | 2024-04-16 | 内蒙古电力(集团)有限责任公司内蒙古电力经济技术研究院分公司 | 双***线路悬垂绝缘子串风偏角预测模型的构建方法 |
CN115423148B (zh) * | 2022-07-29 | 2023-10-31 | 江苏大学 | 一种基于克里金法和决策树的农机作业性能预测方法与装置 |
CN115424724B (zh) * | 2022-11-04 | 2023-01-24 | 之江实验室 | 一种多模态图森林的肺癌***转移辅助诊断*** |
CN116738339A (zh) * | 2023-06-09 | 2023-09-12 | 北京航空航天大学 | 一种小样本电信号多分类深度学习识别检测方法 |
CN117075092A (zh) * | 2023-09-05 | 2023-11-17 | 海底鹰深海科技股份有限公司 | 一种基于森林算法的水下声呐侧扫图像小目标检测方法 |
CN117387967A (zh) * | 2023-10-26 | 2024-01-12 | 麦格纳动力总成(江西)有限公司 | 一种汽车驾驶性能测试方法及*** |
CN117909886B (zh) * | 2024-03-18 | 2024-05-24 | 南京海关工业产品检测中心 | 一种基于优化随机森林模型的锯齿棉品级分类方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491776A (zh) * | 2018-03-12 | 2018-09-04 | 青岛理工大学 | 基于像素分类的装配体零件识别方法、装置及监测*** |
CN108632279A (zh) * | 2018-05-08 | 2018-10-09 | 北京理工大学 | 一种基于网络流量的多层异常检测方法 |
CN109816049A (zh) * | 2019-02-22 | 2019-05-28 | 青岛理工大学 | 一种基于深度学习的装配监测方法、设备及可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577793B (zh) * | 2012-07-27 | 2017-04-05 | 中兴通讯股份有限公司 | 手势识别方法及装置 |
US20170176985A1 (en) * | 2017-03-06 | 2017-06-22 | Caterpillar Inc. | Method for predicting end of line quality of assembled product |
CN108428231B (zh) * | 2018-03-19 | 2022-04-26 | 南京信息工程大学 | 一种基于随机森林的多参数零件表面粗糙度学习方法 |
CN110543892B (zh) * | 2019-08-05 | 2023-08-25 | 青岛理工大学 | 一种基于多层随机森林的零部件识别方法 |
-
2019
- 2019-08-05 CN CN201910715240.2A patent/CN110543892B/zh active Active
-
2020
- 2020-07-09 WO PCT/CN2020/101148 patent/WO2021022970A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108491776A (zh) * | 2018-03-12 | 2018-09-04 | 青岛理工大学 | 基于像素分类的装配体零件识别方法、装置及监测*** |
CN108632279A (zh) * | 2018-05-08 | 2018-10-09 | 北京理工大学 | 一种基于网络流量的多层异常检测方法 |
CN109816049A (zh) * | 2019-02-22 | 2019-05-28 | 青岛理工大学 | 一种基于深度学习的装配监测方法、设备及可读存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021022970A1 (zh) * | 2019-08-05 | 2021-02-11 | 青岛理工大学 | 一种基于多层随机森林的零部件识别方法及*** |
CN111144373A (zh) * | 2019-12-31 | 2020-05-12 | 广州市昊链信息科技股份有限公司 | 一种信息识别方法、装置、计算机设备和存储介质 |
CN113134839A (zh) * | 2021-04-26 | 2021-07-20 | 湘潭大学 | 一种基于视觉和力位图像学习的机器人精密柔性装配方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2021022970A1 (zh) | 2021-02-11 |
CN110543892B (zh) | 2023-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110543892B (zh) | 一种基于多层随机森林的零部件识别方法 | |
Tao et al. | Detection of power line insulator defects using aerial images analyzed with convolutional neural networks | |
Luo et al. | Traffic sign recognition using a multi-task convolutional neural network | |
CN108491776B (zh) | 基于像素分类的装配体零件识别方法、装置及监测*** | |
CN111767882A (zh) | 一种基于改进yolo模型的多模态行人检测方法 | |
CN114821014B (zh) | 基于多模态与对抗学习的多任务目标检测识别方法及装置 | |
CN108596102B (zh) | 基于rgb-d的室内场景物体分割分类器构造方法 | |
CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及*** | |
CN108960412B (zh) | 图像识别方法、装置及计算机可读存储介质 | |
CN112633297B (zh) | 目标对象的识别方法、装置、存储介质以及电子装置 | |
CN104854620A (zh) | 图像处理装置、图像处理***和程序 | |
CN113761259A (zh) | 一种图像处理方法、装置以及计算机设备 | |
CN112149690A (zh) | 一种基于生物图像特征识别的溯源方法和溯源*** | |
CN114626476A (zh) | 基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置 | |
CN116343287A (zh) | 面部表情识别、模型训练方法、装置、设备及存储介质 | |
Barodi et al. | An enhanced artificial intelligence-based approach applied to vehicular traffic signs detection and road safety enhancement | |
CN115100469A (zh) | 一种基于分割算法的目标属性识别方法、训练方法和装置 | |
Naseer et al. | Multimodal Objects Categorization by Fusing GMM and Multi-layer Perceptron | |
CN117437691A (zh) | 一种基于轻量化网络的实时多人异常行为识别方法及*** | |
CN111091140B (zh) | 目标分类方法、装置及可读存储介质 | |
CN114463772B (zh) | 基于深度学习的交通标志检测与识别方法及*** | |
CN116994049A (zh) | 全自动针织横机及其方法 | |
Arya et al. | From global challenges to local solutions: A review of cross-country collaborations and winning strategies in road damage detection | |
Gonzalez-Soler et al. | Semi-synthetic data generation for tattoo segmentation | |
CN111931680A (zh) | 一种基于多尺度的车辆重识别方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |