CN110348443B - 复杂环境树木主干多特征分离统计方法及树干识别方法 - Google Patents
复杂环境树木主干多特征分离统计方法及树干识别方法 Download PDFInfo
- Publication number
- CN110348443B CN110348443B CN201910750754.1A CN201910750754A CN110348443B CN 110348443 B CN110348443 B CN 110348443B CN 201910750754 A CN201910750754 A CN 201910750754A CN 110348443 B CN110348443 B CN 110348443B
- Authority
- CN
- China
- Prior art keywords
- trunk
- image
- color
- gray
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及四足机器人野外环境感知技术领域,特别涉及一种复杂环境树木主干多特征分离统计方法及树干识别方法。本发明提供的复杂环境树木主干多特征分离统计的方法,通过统计的方法提取树干与周围环境的差异性特征;所提供的树干识别方法,综合颜色和树干的纹理、轮廓特征,通过对树干与周围环境景物的颜色和纹理轮廓特征的差异完成差异性特征的学习,从而实现树主干的准确识别。本发明提供的技术方案以四足机器人复杂环境树木障碍的认知方法为研究对象,使机器人能够适应多变的林木环境实现对树木障碍的准确识别,在四足机器人的导航控制领域具有重要的实际应用价值。
Description
技术领域
本发明涉及四足机器人野外环境感知技术领域,特别涉及一种复杂环境树木主干多特征分离统计方法及树干识别方法。
背景技术
四足机器人能够利用地面孤立的支撑点完成着地行走任务,因此其能在崎岖不平的山地、丛林等非结构化、复杂环境中灵活行走,以辅助人类完成野外物资运输、巡逻、勘探等工作任务。在山地、丛林地带随机生长的粗壮树木往往成为四足机器人自主行走的障碍。为了有效的规避这些粗壮树木,需对其进行检测识别,而采用机器视觉环境图像信息进行处理,进而通过树主干识别实现树木障碍的检测是较为有效的方法。
在复杂环境的树干识别中,常见的有采用简单的颜色、轮廓等特征进行树干识别,由于受到环境变化的光线、枝叶等因素的影响,通常情况下很难对树干进行准确的识别。若采用颜色特征进行识别,当树干和周围枝叶有明显差异且光线良好树干无阴影遮挡时具有较好的效果,但在野外的复杂多变环境中很难满足该条件。
由于粗壮树木主干具有明显的垂直地面的直线轮廓特征,因此在现有的树干识别方法中还可以对环境景物的边缘特征进行,通过提取平行、竖直的两条相邻轮廓为树干边界线,从而实现树干识别。若环境图像中除树木外其它景物的干扰少,即提取的图像轮廓基本为树干轮廓,那么该方法具有较好效果,但野外复杂环境中一方面树干受到枝叶或其它物体遮挡,另一方面环境存在非树干的垂直轮廓干扰,这使得依靠轮廓特征提取树干环境适应性较差。
发明内容
为了解决背景技术中提到的四足机器人在野外复杂多变的林木环境中树干和周围环境特征难以辨别的问题,本发明提供一种复杂环境树木主干多特征分离统计的方法,包括以下步骤:
S100、采集野外林木环境的树干和干扰物的样本图像;
S200、将采集样本图像的所有RGB颜色空间的彩色图像转换为HSI颜色空间图像;
S300、将HSI颜色空间的图像进行H、S、I三通道颜色分离,将每个样本图像分解为三幅H、S、I单颜色通道灰度图,划分为若干个灰度等级,并统计每一个灰度等级中像素点的个数;
S400、以灰度等级数为横坐标,以H、S、I三颜色分量中每个灰度等级的像素点个数为纵坐标,绘制统计特征曲线图;
S500、根据绘制统计特征曲线图,分别统计所有树干和干扰物样本图像的灰度曲线峰值点所在的灰度等级的区间;
S600、根据灰度等级的区间,提取样本图像的H、S、I任意一个通道的单通道图像像素点梯度方向角的统计特征;
S700、将图像像素点梯度方向角φ从0~π平均分为若干个区间;统计图像中每个角度区间像素点占图像总像素点的比例,以此描绘图像的纹理梯度特征的直方图;
S800、分别对所有树干和干扰物图像的梯度方向直方图的特征均值进行多次样条曲线拟合,设拟合曲线的数学表达式分别为f0(x)和f1(x);通过本步骤拟合曲线及S500提取的灰度曲线峰值点完成复杂环境树木主干颜色、纹理和轮廓特征的分离统计。
在上述方案的基础上,进一步地,S100中,所采集的树干和干扰物的图像的数量各为N张,大小均为宽×高,单位为像素点;
S300中所述灰度等级的数量为32;
S700中,将像素点梯度方向角φ从0~π平均分为1-9个区间。
在上述方案的基础上,进一步地,S200中,将每个像素点的颜色按照如下公式进行转换:
即可将采集样本图像的所有RGB颜色空间的彩色图像转换为HSI颜色空间图像。
在上述方案的基础上,进一步地,S300中,划分灰度等级的方法为将h、s、I三颜色分量规范化到[0,255]范围,使H=(h/(2π))×255,S=s×255,I=I;将图像的灰度值域[0,255],完成灰度等级的划分。
在上述方案的基础上,进一步地,S300中,按照以下方法统计像素点的个数:
其中,H(i),S(i),I(i)分别代表H、S、I三颜色分量中每个灰度等级的像素点个数,i为灰度等级数i=0,1,2,…,31;
w,h为图像像素点宽和高的位置坐标;p(w,h)代表样本图像上的像素点;fH(w,h),fS(w,h),fI(w,h)为像素点p(w,h)上H,S,I三颜色分量的灰度值。
在上述方案的基础上,进一步地,S400中,以i为横坐标值,H(i),S(i),I(i)为纵坐标值即像素点个数为纵坐标绘制统计特征曲线图,即为图像颜色特征曲线,并根据S400-S500得到树干的峰值点的灰度等级区间和干扰物灰度曲线峰值点的灰度等级区间
在上述方案的基础上,进一步地,提取样本图像统计特征的公式为:
Gx(x,y)=I(x+1,y)-I(x,y)
Gy(x,y)=I(x,y+1)-I(x,y)
其中,参数x,y为像素点的图像坐标,I(x,y)、Gx(x,y)、Gy(x,y)分别为灰度图像素点p(x,y)的像素值、宽、高度方向的梯度值,φ(x,y)为梯度方向角,即图像纹理、轮廓的方向角。
为了解决复杂环境树干难以识别的问题,本发明还提供一种如上任意所述复杂环境树木主干多特征分离统计的方法进行的树干识别方法,通过对复杂环境树木主干纹理轮廓特征的统计方法进行的树干识别,采用纹理轮廓特征的学习数学模型公式:
计算所有样本树干和干扰物图像的纹理轮廓特征值B0(n)、B1(n)与拟合曲线函数f0(x)、f1(x)的类标准差B0和B1,并得到类标准差所在区间[B0a,B0b]和[B1a,B1b];最终,再过判断图像的类标准差值是否在树干的类标准差区间中而对图像的树干进行识别。
在上述方案的基础上,进一步地,树干识别的具体步骤为:
设置一个图像扫描窗,窗的大小为72×128(宽×高,单位为像素)即为图像感兴趣区域,记为ROI;
以8个像素为步长将ROI窗口沿着环境图像的宽度和高度方向依次扫描整个图像;
根据S400计算ROI窗口中图像的峰值点灰度等级再根据S800和计算所有样本树干和干扰物图像的纹理轮廓特征值B0(n)、B1(n)与拟合曲线函数f0(x)、f1(x)的类标准差B0和B1的方法,计算纹理轮廓特征的类标准差BROI;
本发明提供的复杂环境树木主干多特征分离统计的方法,通过统计的方法对树干提取树干与周围环境的差异性特征;所提供的树干识别方法,将综合颜色和树干的纹理、轮廓特征,通过对树干与周围环境景物的颜色和纹理轮廓的差异性特征完成差异性特征的学习,从而实现树主干的准确识别。本发明提供的技术方案以四足机器人复杂环境树木障碍的认知方法为研究对象,使机器人能够适应多变的林木环境,并实现对树木障碍的准确识别。在四足机器人的控制领域具有重要的实际应用价值。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的树干多特征分离统计方法流程图;
图2为树干多特征分离统计方法中颜色统计特征图;
图3为图像梯度方向角统计直方图;
图4为纹理轮廓特征统计直方图曲线拟合图;
图5为本发明提供的树干识别方法流程图;
图6为本发明提供的复杂环境树木主干多特征分离统计方法及树干识别方法总流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供一种复杂环境树木主干多特征分离统计方法及树干识别方法。
在野外林木环境中,非树主干的物体如树木的枝叶、天空背景、地面等是典型的干扰物,其是造成树干误识别主要的原因。由于不同物体的颜色、纹理和轮廓特征存在着差异,因此可以通过提取并分析树干与干扰物体的特征差异性进而实现树干识别。
图1为树干多特征分离统计方法流程图,如图1所示,具体通过统计的方法对树干提取树干与周围环境的差异性特征的方法为:
S10、采集野外林木环境的树干和干扰物的图像;所采集的树干和干扰物的图像的数量各为N张,大小均为72像素×128像素;设树干、树木的枝叶、天空背景、地面的样本图像集合分别为TN,FN,SN,GN,N为每种样本总数
S20、将采集的所有RGB颜色空间的彩色图像转换为HSI颜色空间图像;
将原RGB颜色空间的彩色图像转换为HSI颜色空间图像,转换方法为:
将每个像素点的颜色转换公式如下:
S30、将HSI颜色空间的图像进行H、S、I三通道颜色分离,将每个样本图像分解为三幅H、S、I单颜色通道灰度图,将h、s、I三颜色分量规范化到[0,255]范围,使H=(h/(2π))×255,S=s×255,I=I;将图像的灰度值域[0,255]划分为32个灰度等级,按照以下方法统计像素点的个数:
其中,H(i),S(i),I(i)分别代表H、S、I三颜色分量中每个灰度等级的像素点个数,i为灰度等级数i=0,1,2,…,31;
w,h为图像像素点宽和高的位置坐标;p(w,h)代表样本图像上的像素点;fH(w,h),fS(w,h),fI(w,h)为像素点p(w,h)上H,S,I三颜色分量的灰度值。
S40、以灰度等级数i为横坐标,以H(i),S(i),I(i)三颜色分量中每个灰度等级的像素点个数为纵坐标,即像素点个数为纵坐标绘制统计特征曲线图,如图2所示,设分别表示第i个样本图像的灰度峰值,以每个样本图像的H、S、I三通道灰度曲线峰值点作为灰度等级
S60、提取样本图像的H、S、I任意一个通道的单通道图像像素点梯度方向角的统计特征;
按照公式:
Gx(x,y)=I(x+1,y)-I(x,y) (7)
Gy(x,y)=I(x,y+1)-I(x,y) (8)
其中,参数x,y为像素点的图像坐标,I(x,y)、Gx(x,y)、Gy(x,y)分别为灰度图像素点p(x,y)的像素值、宽、高度方向的梯度值,φ(x,y)为梯度方向角,即图像纹理、轮廓的方向角;将方向角记为φi;
S70、将像素点梯度方向角φ从0~π平均分为1-9个区间:
φ0=[0,π/9),φ1=[π/9,2π/9),φ2=[2π/9,3π/9),φ3=[3π/9,4π/9),φ4=[4π/9,5π/9),φ5=[5π/9,6π/9)φ6=[6π/9,7π/9),φ7=[7π/9,8π/9),φ8=[8π/9,π);
统计图像中每个角度区间像素点占图像总像素点的比例,树干和干扰物每个区间的值分别用B0(n)和B1(n)表示,并以此描绘图像的纹理梯度特征的直方图,其特征图示例如下图3所示,其中图3(a)为树干图像梯度特征的直方图,图3(b)为其它干扰物图像梯度特征的直方图。
S80、分别对所有树干和干扰物图像的直方图的特征均值进行多次样条曲线拟合,如图4所示为拟合结果示例,设拟合曲线的数学表达式分别为f0(x)和f1(x);通过本步骤的拟合曲线和S40灰度等级峰值点的提取即可完成复杂环境树木主干多特征分离统计。
以上述多特征分离统计为基础,本发明还提供以下树干识别方法实施例,流程图如图5所示,具体方法为:
S90、通过S50提取的峰值点的灰度等级区间,再根据纹理轮廓特征的学习数学模型公式:
计算所有样本树干和干扰物图像的纹理轮廓特征值B0(n)、B1(n)与拟合曲线函数f0(x)、f1(x)的类标准差B0和B1,并得到类标准差所在区间[B0a,B0b]和[B1a,B1b];
S100、根据对树干和干扰物的颜色、纹理、轮廓特征学习的知识,完成树干识别。采集野外林木环境中待树干识别的图像,设置一个图像扫描窗,窗的大小为72×128(宽×高,单位为像素点)即为图像感兴趣区域(ROI),以8个像素为步长将ROI窗口沿着环境图像的宽度和高度方向依次扫描整个图像;
经过上述步骤后,可以完成树干和干扰物图像的特征分离提取和基于特征统计学习的树干识别任务。复杂环境树木主干多特征分离统计方法及树干识别方法的总体实施流程如图6所示。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (4)
1.一种复杂环境树木主干多特征分离统计的方法,其特征在于,包括以下步骤:
S100、采集野外林木环境的树干和干扰物的样本图像;
S200、将采集样本图像的所有RGB颜色空间的彩色图像转换为HSI颜色空间图像;
S300、将HSI颜色空间的图像进行H、S、I三通道颜色分离,将每个样本图像分解为三幅H、S、I单颜色通道灰度图,划分为若干个灰度等级,并统计每一个灰度等级中像素点的个数;
S400、以灰度等级数为横坐标,以H、S、I三颜色分量中每个灰度等级的像素点个数为纵坐标,绘制统计特征曲线图;
S500、根据绘制统计特征曲线图,分别统计所有树干和干扰物样本图像的灰度曲线峰值点所在的灰度等级的区间;
S600、根据灰度等级的区间,提取样本图像的H、S、I任意一个通道的单通道图像像素点梯度方向角的统计特征;
S700、将图像像素点梯度方向角φ从0~π平均分为若干个区间;统计图像中每个角度区间像素点占图像总像素点的比例,以此描绘图像的纹理梯度特征的直方图;
S800、分别对所有树干和干扰物图像的梯度方向直方图的特征均值进行多次样条曲线拟合,设拟合曲线的数学表达式分别为f0(x)和f1(x);通过本步骤的拟合曲线及S500提取的灰度峰值点完成复杂环境树木主干颜色、纹理和轮廓特征的分离统计;
S100中,所采集的树干和干扰物的图像的数量各为N张,大小均为宽×高,单位为像素点;
S300中所述灰度等级的数量为32;
S700中,将像素点梯度方向角φ从0~π平均分为1-9个区间;
S300中,划分灰度等级的方法为将h、s、I三颜色分量规范化到[0,255]范围,使H=(h/(2π))×255,S=s×255,I=I;将图像的灰度值域[0,255],完成灰度等级的划分;
S300中,按照以下方法统计像素点的个数:
其中,H(i),S(i),I(i)分别代表H、S、I三颜色分量中每个灰度等级的像素点个数,i为灰度等级数i=0,1,2,…,31;
w,h为图像像素点宽和高的位置坐标;p(w,h)代表样本图像上的像素点;fH(w,h),fS(w,h),fI(w,h)为像素点p(w,h)上H,S,I三颜色分量的灰度值;
通过对复杂环境树木主干纹理轮廓特征的统计方法进行的树干识别,采用纹理轮廓特征的学习数学模型公式:
计算所有样本树干和干扰物图像的纹理轮廓特征值B0(n)、B1(n)与拟合曲线函数f0(x)、f1(x)的类标准差B0和B1,并得到类标准差所在区间[B0a,B0b]和[B1a,B1b];再过判断图像的类标准差值是否在树干的类标准差区间中而对图像的树干进行识别;
树干识别的具体步骤为:
设置一个图像扫描窗,窗的大小为宽×高,单位为像素,即为图像感兴趣区域,记为ROI;
以8个像素为步长将ROI窗口沿着环境图像的宽度和高度方向依次扫描整个图像;
根据S400计算ROI窗口中图像的峰值点灰度等级再根据S800和计算所有样本树干和干扰物图像的纹理轮廓特征值B0(n)、B1(n)与拟合曲线函数f0(x)、f1(x)的类标准差B0和B1的方法,计算纹理轮廓特征的类标准差BROI;
3.根据权利要求1所述的复杂环境树木主干多特征分离统计的方法,其特征在于:S400中,以i为横坐标值,H(i),S(i),I(i)为纵坐标值即像素点个数为纵坐标绘制统计特征曲线图,即为图像颜色特征曲线。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910750754.1A CN110348443B (zh) | 2019-08-14 | 2019-08-14 | 复杂环境树木主干多特征分离统计方法及树干识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910750754.1A CN110348443B (zh) | 2019-08-14 | 2019-08-14 | 复杂环境树木主干多特征分离统计方法及树干识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110348443A CN110348443A (zh) | 2019-10-18 |
CN110348443B true CN110348443B (zh) | 2022-04-01 |
Family
ID=68185055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910750754.1A Active CN110348443B (zh) | 2019-08-14 | 2019-08-14 | 复杂环境树木主干多特征分离统计方法及树干识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110348443B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111563517B (zh) * | 2020-04-20 | 2023-07-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106446750A (zh) * | 2016-07-07 | 2017-02-22 | 深圳市华汉伟业科技有限公司 | 一种条形码读取方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10013608B2 (en) * | 2015-07-17 | 2018-07-03 | Tata Consultancy Services Limited | Method and system for facilitating real time detection of linear infrastructural objects by aerial imagery |
-
2019
- 2019-08-14 CN CN201910750754.1A patent/CN110348443B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106446750A (zh) * | 2016-07-07 | 2017-02-22 | 深圳市华汉伟业科技有限公司 | 一种条形码读取方法及装置 |
Non-Patent Citations (1)
Title |
---|
Multi-feature fusion tree trunk detection and orchard mobile robot localization using camera/ultrasonic sensors;Xianyi Chen等;《Computers and Electronics in Agriculture》;20180430;第91-108页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110348443A (zh) | 2019-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Huang et al. | Individual tree crown detection and delineation from very-high-resolution UAV images based on bias field and marker-controlled watershed segmentation algorithms | |
Zhang et al. | Object-oriented shadow detection and removal from urban high-resolution remote sensing images | |
CN111915704A (zh) | 一种基于深度学习的苹果分级识别方法 | |
CN109410171B (zh) | 一种用于雨天图像的目标显著性检测方法 | |
Liu et al. | A hybrid method for segmenting individual trees from airborne lidar data | |
CN112307901B (zh) | 一种面向滑坡检测的sar与光学影像融合方法及*** | |
Ozdarici-Ok | Automatic detection and delineation of citrus trees from VHR satellite imagery | |
CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
CN106875407B (zh) | 一种结合形态学和标记控制的无人机影像林冠分割方法 | |
CN113033385A (zh) | 一种基于深度学习的违章建筑遥感识别方法及*** | |
CN112861654A (zh) | 一种基于机器视觉的名优茶采摘点位置信息获取方法 | |
Zhang et al. | Yield estimation of citrus fruit using rapid image processing in natural background | |
CN113343976A (zh) | 基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法 | |
Azevedo et al. | Shadow detection using object area-based and morphological filtering for very high-resolution satellite imagery of urban areas | |
CN112669363A (zh) | 城市绿地三维绿量测算方法 | |
CN110348443B (zh) | 复杂环境树木主干多特征分离统计方法及树干识别方法 | |
Chaloeivoot et al. | Building detection from terrestrial images | |
Zeng et al. | Detecting and measuring fine roots in minirhizotron images using matched filtering and local entropy thresholding | |
CN116682024A (zh) | 一种基于四波段遥感影像的快速云检测方法 | |
Li et al. | Image processing for crop/weed discrimination in fields with high weed pressure | |
CN113421301B (zh) | 一种田间作物中心区域定位方法及*** | |
Wang et al. | Shadow detection and compensation in high resolution satellite image based on retinex | |
Abraham et al. | Unsupervised building extraction from high resolution satellite images irrespective of rooftop structures | |
Khan et al. | Segmentation of single and overlapping leaves by extracting appropriate contours | |
CN110543863B (zh) | 一种基于邻域保边水平集的绿潮遥感自动探测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |