CN114842326B - 一种免定标檀香树植株缺苗定位方法 - Google Patents
一种免定标檀香树植株缺苗定位方法 Download PDFInfo
- Publication number
- CN114842326B CN114842326B CN202210277514.6A CN202210277514A CN114842326B CN 114842326 B CN114842326 B CN 114842326B CN 202210277514 A CN202210277514 A CN 202210277514A CN 114842326 B CN114842326 B CN 114842326B
- Authority
- CN
- China
- Prior art keywords
- sandalwood
- target
- linear regression
- tree
- column
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 241000221035 Santalaceae Species 0.000 title claims abstract 12
- 240000001606 Adenanthera pavonina Species 0.000 claims abstract description 100
- 235000011470 Adenanthera pavonina Nutrition 0.000 claims abstract description 98
- 238000012417 linear regression Methods 0.000 claims abstract description 74
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 235000008632 Santalum album Nutrition 0.000 claims description 22
- 230000014509 gene expression Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 19
- 238000009826 distribution Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 240000000513 Santalum album Species 0.000 description 28
- 230000006870 function Effects 0.000 description 16
- 241000196324 Embryophyta Species 0.000 description 9
- 238000012795 verification Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 240000008042 Zea mays Species 0.000 description 2
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 2
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 235000005822 corn Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 244000291564 Allium cepa Species 0.000 description 1
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 1
- 241000243771 Bursaphelenchus xylophilus Species 0.000 description 1
- 241000512668 Eunectes Species 0.000 description 1
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 241000018646 Pinus brutia Species 0.000 description 1
- 241000422846 Sequoiadendron giganteum Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种免定标檀香树植株缺苗定位方法,包括:首先,通过预训练的检测模型检测出待缺苗定位的遥感图像中檀香树目标,然后,根据已检测出的檀香树目标的像素坐标确定列基准位置,划分列区域;再通过线性回归拟合,得到每个列区域的檀香树排列的线性回归函数;确定边缘目标,根据线性回归函数延长回归直线,将位于回归直线延长线上的边缘目标纳入该直线所属的列区域;之后,扩充后的列区域进行第二次线性回归,修正线性回归函数;最后,通过给定的预设距离,利用线性回归函数对相应列区域进行缺苗定位。本发明能够较高精度免定标定位到缺苗位置,同时也为其他类似林业种植园的缺苗补苗工作提供了一种准确且可行的方法。
Description
技术领域
本发明涉及目标检测领域,具体涉及一种免定标檀香树植株缺苗定位方法。
背景技术
檀香树是亚热带地区一种经济价值极高的经济农作物,它的生长周期为10~15年,在檀香树成长过程中,为了避免大树对小树的遮挡,相邻植株的栽种时间不能差异太大,因此对于死亡缺苗的情况需要及时补种,这需要对檀香树植株及缺苗位置进行快速精准定位。目前多采用十字拉线定标和等高定标等这两种传统的人工定标方法。这些方法易于理解且定位较为准确,但存在耗费人力及时间等问题。因此需要智能化的树木生长情况采集***和目标检测技术来代替人工巡查,完成缺苗情况的快速检测和定位,确保及时补苗。
随着目标检测技术和无人机技术的不断发展,一些研究人员也将这两个技术应用到了农业生产领域。汪晨等利用无人机和机器视觉对松材线虫病疫松树进行判断,刘志等利用无人机估算水肥一体化玉米出苗率,贾洪雷等利用无人机判断玉米田植株数量,A.I.B.Parico等基于YOLOv3开创YOLO-WEED算法利用无人机对洋葱田间杂草的识别等,这些方法不仅大力降低了人工成本,还获得相当良好的应用效果。但这些研究只实现了对植株的检测,并未做到植株定位。
姜国权等提出基于图像特征点粒子群聚类算法进行聚类,再对每一类的特征点用最小二乘法进行直线拟合得到作物行的中心线。MDBah等使用S-SegNet和基于CNN的HoughCNet准确地检测作物行。这些研究方法算法精度低且仅适用于特定作物,因此并不能对檀香树植株进行定位。
为了充分且有针对性的解决檀香树植株缺苗判断及定位的问题,提高种植园的经济效益,本发明公开了一种免定标檀香树植株缺苗定位方法,相比于现有技术,本发明采用YOLOv4算法快速获取区域内檀香树坐标信息,免定标自动确定基准位置,并以此构建列区域,通过两次线性回归及其相关步骤达到识别线性回归种植列的效果,最终根据种植园排列间隔要求,判断出植株缺苗位置。
发明内容
本发明的目的是提供一种免定标檀香树植株缺苗定位方法,解决檀香树种植园中植株缺苗定位的问题,克服同类目标检测方法的不足。
为了实现上述任务,本发明采用以下技术方案:
一种免定标檀香树植株缺苗定位方法,包括以下步骤:
首先,通过预训练的检测模型检测出待缺苗定位的遥感图像中檀香树目标,然后,根据已检测出的檀香树目标的像素坐标确定列基准位置,划分列区域;再通过线性回归拟合,得到每个列区域的檀香树排列的线性回归函数;确定边缘目标,根据线性回归函数延长回归直线,将位于回归直线延长线上的边缘目标纳入该直线所属的列区域;之后,扩充后的列区域进行第二次线性回归,修正线性回归函数;最后,通过给定的预设距离,利用线性回归函数对相应列区域进行缺苗定位。
进一步地,所述检测模型为预训练的YOLOv4模型,YOLOv4模型的预训练过程为:
获取檀香树种植区域的低空遥感影像图像并构建数据集,对数据集中的图像进行预处理,对数据集中每张遥感影像图像标注檀香树,记录每一棵檀香树像素坐标及标签,并对数据集进行划分后训练,根据算法预测结果的map分数的大小,挑选最优的YOLOv4模型作为检测模型。
进一步地,所述根据已检测出的檀香树目标的像素坐标确定列基准位置,划分列区域,包括:
用pi(xlt,ylt,xrb,yrb)表示模型识别出的檀香树目标i(i=1,2...,n)的定位信息,其中xlt,ylt表示目标左上角点的横坐标、纵坐标;xrb,yrb表示目标右下角点的横坐标、纵坐标;所有檀香树目标定位信息记为P={p1,p2,…,pn},n为预测的檀香树目标的个数,檀香树目标pi的横坐标范围记为Xi=[xlt,xrb];
在P中随机取出一个檀香树目标pi,将pi作为一个列区域的基准,并从P中移除pi;在P中进行遍历:
若存在一个檀香树目标pj(pj∈P),pj的横坐标范围Xj与pi的横坐标范围Xi有交集,表示为则将该檀香树目标pj归属到pi作为基准的列区域Colk,并从P中移除pj;将所有横坐标范围与Xi有交集的檀香树目标分配至同一个列区域Colk,则该列区域Colk由d个檀香树木目标组成,记为Colk={pk1,…,pki,…,pkj,…pkd};当P中除了pi之外的所有檀香树目标都遍历完之后,随机选取下一个檀香树目标并作为一个新的列区域的基准,重复上述的遍历操作,直至P中所有的檀香树目标都分配到列区域。
进一步地,所述通过线性回归拟合,得到每个列区域檀香树排列的线性回归函数,包括:
对檀香树目标数量大于等于2的列区域进行线性回归,以此来找到这些列区域中檀香树目标分布的线性表达式;
线性回归过程中,遍历每一个列区域,对每个线性回归表达式进行权重的修正,直至回归直线拟合出区域内目标分布规律;线性回归的具体过程表示如下:
给定任一列区域Coli={pi1,pi2,…,pid},Coli中任一檀香树目标pik(xlt,ylt,xrb,yrb)的目标中点记为cik=(cxik,cyik),其中 任一列区域的檀香树目标分布可由以下线性回归表达式表达:
cxik=fi(cyik)=wicyik+bi
其中fi表示为列区域的线性回归表达式,wi与bi为线性回归表达式的权重,通过训练得出;使用MSE作为训练权重的损失函数;
wi的初始值赋值为0,bi的初始值赋值为coli所有檀香树目标中点的横坐标的平均数,bi的表达式如下所示:
进一步地,所述确定边缘目标,包括:
如某列区域中只有一个檀香树目标,无法与相同列区域中的其他檀香树目标组成种植列,则称该檀香树目标为边缘目标ak,其定位信息记为(axlt,aylt,axrb,ayrb),边缘目标中点为ack=(acxkk,acyk)。
进一步地,所述根据线性回归函数延长回归直线,将位于回归直线延长线上的边缘目标纳入该直线所属的列区域,包括:
若存在一个其他列区域Coli相对应的线性回归表达式fi的回归直线能够触碰到边缘目标ak,表示为axlt<fi(ayk)<axrb,则将该边缘目标ak重新分配至列区域Coli。
进一步地,所述通过给定的预设距离,利用线性回归函数对相应的列区域进行缺苗定位,包括:
在每一个线性回归函数fi(q)中,q表示像素纵坐标整数数值且q∈[0,Hmax],Hmax表示为遥感图像高的像素长度;若存在一个q,使得位置(fi(q),q)与其相邻的檀香树目标中心像素欧式距离大于预设距离,将其设定为缺苗的位置并在遥感图像中进行标注;重复上述操作,直至所有列预测完成,最终输出带有缺苗位置标注的图像。
进一步地,所述预设距离为300像素。
与现有技术相比,本发明具有以下技术特点:
1.本发明借助YOLOv4算法,对于基于人工旋转后的无人机遥感影像检测檀香树,提取檀香树坐标信息,并且提出了一种免定标檀香树植株缺苗定位方法:运用坐标信息构建列区域,两次线性回归及其相关步骤达到识别线性回归种植列的效果;并针对列区域与种植园排列间隔要求,判断植株缺苗位置。
2.本发明方法能够在免地标情况下较高精度地定位到缺苗位置,做到了檀香树领域利用人工智能快速缺苗补苗从无到有的技术突破,同时也为其他类似林业种植园的缺苗补苗工作提供了一种准确且可行的方法。
附图说明
图1为本发明方法的流程示意图;
图2为模型评估图,表明经过预训练的YOLOv4模型具有很好的精准度;
图3的a至f为本发明的一个示例中进行檀香树缺苗预测不同阶段的示意图;
图4为缺苗定位示意简图;实线矩形区域为实际存在的檀香树目标,虚线矩形区域为缺苗正定区域,圆点为用本方法进行缺苗预测的位置;
图5的a和b为本发明实施例中不同区域的缺苗定位效果图;白色矩形块框表示预测缺苗位置,其中数字表示缺苗行列标号,如[3,1]表示在第3列第1行位置上缺苗。
具体实施方式
如图1所示,本发明方法的整体技术思路为:首先,通过预训练的检测模型检测出待缺苗定位的遥感图像中檀香树目标,然后,根据已检测出的檀香树目标的像素坐标确定列基准位置,划分列区域;再通过线性回归拟合,得到每个列区域的檀香树排列的线性回归函数;确定边缘目标,根据线性回归函数延长回归直线,将位于回归直线延长线上的边缘目标纳入该直线所属的列区域;之后,扩充后的列区域进行第二次线性回归,修正线性回归函数;最后,通过给定的预设距离,利用线性回归函数对相应列区域进行缺苗定位。
参见附图,本发明的一种免定标檀香树植株缺苗定位方法,具体包括以下步骤:
S1.获取檀香树种植区域的低空遥感影像图像并构建数据集。
S2.对数据集中的图像进行预处理:
S2-1.图像标记:采用图像标注工具LabelImg,对S1获得的数据集中每张遥感影像图像标注檀香树,记录每一棵檀香树像素坐标及标签“sandalwood”,并按照Pascal VOC数据集格式要求,将标注信息保存至xml文件,标注信息xml文件与图像文件一一对应。
S2-2.划分数据集:将S2-1标记后的数据集划分成训练集、测试集、验证集和训练验证集,训练集、测试集、验证集分别占80%、10%、10%,训练验证集为训练集与验证集的累加,占90%。
S3.将YOLOv4算法代码放入配置好环境的计算机中,对S2-2中的训练集和验证集进行训练,共训练300轮,每一次迭代的模型都进行保存。
根据算法预测结果的map分数的大小,挑选最优的YOLOv4模型作为检测模型,如图2所示。
S4.将待缺苗定位的遥感图像输入到训练好的检测模型中,通过检测模型预测得到遥感图像中檀香树目标的像素坐标位置并保存至txt格式的位置文件中。
S5.读取待缺苗定位的遥感图像与对应的位置文件,并输出缺苗定位图片及图像缺苗率。程序自动处理过程中详细流程表示如下:
S5-1基于S4保存的檀香树像素坐标进行列区域分配运算
用pi(xlt,ylt,xrb,yrb)表示位置文件中的檀香树目标i(i=1,2...,n)的定位信息,其中xlt,ylt表示目标左上角点的横坐标、纵坐标;xrb,yrb表示目标右下角点的横坐标、纵坐标;所有檀香树目标定位信息记为P={p1,p2,…,pn},n为S4预测的檀香树目标的个数,檀香树目标pi的横坐标范围记为Xi=[xlt,xrb]。
在P中随机取出一个檀香树目标pi,将pi作为一个列区域的基准,并从P中移除pi;在P中进行遍历:若存在一个檀香树目标pj(pj∈P),pj的横坐标范围Xj与pi的横坐标范围Xi有交集,表示为则将该檀香树目标pj归属到pi作为基准的列区域Colk,并从P中移除pj;将所有横坐标范围与Xi有交集的檀香树目标分配至同一个列区域Colk,则该列区域Colk由d个檀香树木目标组成,记为Colk={pk1,…,pki,…,Pkj,…pkd};当P中除了pi之外的所有檀香树目标都遍历完之后,随机选取下一个檀香树目标并作为一个新的列区域的基准,重复上述的遍历操作,直至P中所有的檀香树目标都分配到列区域;如某列区域中只有一个檀香树目标,则将该檀香树目标称为边缘目标。
在本发明的一个示例中,列区域分配的过程如图3的b所示,其中三个黑色实心矩形表示本步骤随机取出的作为基准的p1、p2、p3,白色区域表示这三个基准分别与其他檀香树目标在横坐标范围上有相交的区域,将与基准有白色相交区域的檀香树目标都划归为基准所在的列区域;该示例中前三个列区域分别有4个、3个、2个檀香树目标,最后一个列区域只有一个檀香树目标,则该目标为边缘目标。
S5-2对所有檀香树目标大于2的列区域分别进行线性回归
由于檀香树种植园的种植列是具有规律性的,可以使用一元线性模型来表达这种分布规律。在本方案中,使用对檀香树目标数量大于等于2的列区域进行线性回归,以此来找到这些列区域中檀香树目标分布的线性表达式,方便后续的缺苗预估工作。线性回归过程中,遍历每一个列区域,对每个线性回归表达式进行权重的修正,直至回归直线拟合出区域内目标分布规律;线性回归的具体过程表示如下:
给定S5-1获得的任一列区域Coli={pi1,pi2,…,pia},Coli中任一檀香树目标pik(xlt,ylt,xrb,yrb)的目标中点记为cik=(cxik,cyik),其中 任一列区域的檀香树目标分布可由线性回归表达式表达,线性回归表达式如下:
cxik=fi(cyik)=wicyik+bi
其中fi表示为列区域的线性回归表达式,wi与bi为线性回归表达式的权重,通过训练得出。
本方法使用了MSE(Mean Squared Error)作为训练权重的损失函数,MSE的表达式为:
其中,d为列区域Coli中檀香树目标的数量。
如图3的b所示,每一列区域的目标纵坐标数值分布分散,而横坐标数值分布聚集,所以每一列区域在进行线性回归之前均可以提供初始权值wi与bi。wi的初始值赋值为0,bi的初始值赋值为coli所有檀香树目标中点的横坐标的平均数,bi的表达式如下所示:
经过权值赋初始值处理的线性回归相比无权值赋初始值的线性回归处理,减少了用于回归所耗费的时间,能在短时间内拟合到较好的效果。
图3的c显示出线性回归后的回归直线,可以看到直线基本拟合了植株目标的分布规律。
S5-3对S5-2进行线性回归得到的回归直线进行延长以编入边缘目标
如图3的c所示,第4个列区域仅存在一个檀香树目标pk1,无法与相同列区域中的其他檀香树目标组成线性列,所以称为边缘目标ak,其定位信息记为(axlt,aylt,axrb,ayrb),边缘目标中点为ack=(acxk,acyk);若存在一个其他列区域Coli相对应的线性回归表达式fi的回归直线能够触碰到该边缘目标,表示为axlt<fi(ayk)<axrb,则将该边缘目标ak重新分配至列区域Coli。
如图3的c、图3的d所示,列区域③中延长回归直线,延长后直线能够触碰到列区域④中的边缘目标,则认为列区域③、④中的檀香树目标属于同一个种植列,列区域③、④合并为同一个列区域。
S5-4对延长后的模型进行第二次线性回归
分配了边缘目标后的列区域需要在本步骤重复S5-2的线性回归操作;第二次线性回归步骤耗时只需要S5-2线性回归的其中t为S5-2改动过的列数,n为列区域数量。
如图3的e中列区域③,经过第二次线性回归后的回归直线更贴合该植株列的种植规律,更适合下一步的缺苗定位。
S5-5针对每个列区域的线性回归函数进行缺苗的预测
在每一个线性回归函数fi(q)中,q表示像素纵坐标整数数值且q∈[0,Hmax],Hmax表示为遥感图像高的像素长度;若存在一个q,使得位置(fi(q),q)与其相邻的檀香树目标中心像素欧式距离(Euclidean Distance)大于预设距离(在本方法中拍摄高度为30米,拍摄分辨率为4000像素×3000像素,为符合树苗间隔0.3米的种植要求,设定每棵树行列间隔距离为300像素),将其设定为缺苗的位置并在遥感图像中进行标注;重复上述操作,直至所有种植列预测完成,最终输出带有缺苗位置标注的图像。
如图3的f,在列区域②③均存在符合上述缺苗定义的位置,则分别在该两区域补上白色方块,并在方块上显示缺苗行列标识,由此完成缺苗定位判断。
S5-6根据现有檀香树棵树和缺苗棵树计算出缺苗率,缺苗率的判断为:
其中缺苗量从S5-5中获取,检测到的檀香树目标个数从S4中获取。
实施例:
***环境:计算机硬件环境配置CPU主频2.69GHz,内存16.0GB,显卡为NVIDIA RTX3060,显存12GB。***环境配置操作***为win10、科学计算的Python发行版anaconda(python3.8版本)、机器学习库PyTorch(1.8.2 CUDA10.2版本)。
第一步,制作VOCdevkit数据集。利用无人机在当地时间8点至9点时对区域内植被进行高度30米,角度90°,重合度80%拍摄,并利用LabelImg标注软件对拍摄的照片进行檀香树标注,将标注信息转换为YOLO格式的文本文档,按照9:1的比例设置训练样本和验证样本。
第二步,图片预处理以及檀香树模型构建。运行train.py进行训练,每一次迭代的模型都进行保存。
第三步,模型性能评估。运行get_map.py文件获得预测结果、获得真实框、计算VOC_map。根据map数值的大小,挑选最优的模型。
第四步,在yolo.py文件中,把model_path的值设为最优模型的相对位置信息。再运行predict.py,输入待预测图片的名称,得出该区域内的檀香树数量以及每棵檀香树的像素位置。
第五步,运行line2.py程序,程序运行过程中,实现根据YOLOv4神经网络模型输出的像素坐标划分列区域,对每列区域线性回归处理,拟合每列檀香树大致的分布规律,最后针对列区域与种植园排列间隔要求,判断出檀香树植株缺苗的位置及图像缺苗率,并输出缺苗定位图片及相关信息。
如图4和图5所示,经试验,该免定标檀香树植株缺苗定位方法平均精确度为90.84%、平均回归率为81.30%、平均F1-Score为85.81%,试验结果表明,该方法能够较高精度地定位到缺苗位置,做到了檀香树领域利用人工智能快速缺苗补苗从无到有的技术突破,同时也为其他类似林业种植园的缺苗补苗工作提供了一种准确且可行的方法。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (6)
1.一种免定标檀香树植株缺苗定位方法,其特征在于,包括以下步骤:
首先,通过预训练的检测模型检测出待缺苗定位的遥感图像中檀香树目标,然后,根据已检测出的檀香树目标的像素坐标确定列基准位置,划分列区域;再通过线性回归拟合,得到每个列区域的檀香树排列的线性回归函数;确定边缘目标,根据线性回归函数延长回归直线,将位于回归直线延长线上的边缘目标纳入该直线所属的列区域;之后,扩充后的列区域进行第二次线性回归,修正线性回归函数;最后,通过给定的预设距离,利用线性回归函数对相应列区域进行缺苗定位:
所述根据已检测出的檀香树目标的像素坐标分配各个檀香树目标所在的列区域,包括:
用pi(xlt,ylt,xrb,yrb)表示模型识别出的檀香树目标i(i=1,2...,n)的定位信息,其中xlt,ylt表示目标左上角点的横坐标、纵坐标;xrb,yrb表示目标右下角点的横坐标、纵坐标;所有檀香树目标定位信息记为P={p1,p2,…,pn},n为预测的檀香树目标的个数,檀香树目标pi的横坐标范围记为Xi=[xlt,xrb];
在P中随机取出一个檀香树目标pi,将pi作为一个列区域的基准,并从P中移除pi;在P中进行遍历:
若存在一个檀香树目标pj(pj∈P),pj的横坐标范围Xj与pi的横坐标范围Xi有交集,表示为则将该檀香树目标pj归属到pi作为基准的列区域Colk,并从P中移除pj;将所有横坐标范围与Xi有交集的檀香树目标分配至同一个列区域Colk,则该列区域Colk由d个檀香树木目标组成,记为Colk={pk1,…,pki,…,pkj,…pkd};当P中除了pi之外的所有檀香树目标都遍历完之后,随机选取下一个檀香树目标并作为一个新的列区域的基准,重复上述的遍历操作,直至P中所有的檀香树目标都分配到列区域;
所述通过线性回归拟合,得到每个列区域的檀香树排列的线性回归函数,包括:
对檀香树目标数量大于等于2的列区域进行线性回归,以此来找到这些列区域中檀香树目标分布的线性表达式;
线性回归过程中,遍历每一个列区域,对每个线性回归表达式进行权重的修正,直至回归直线拟合出区域内目标分布规律;线性回归的具体过程表示如下:
给定任一列区域Coli={pi1,pi2,…,pid},Coli中任一檀香树目标pik(xlt,ylt,xrb,yrb)的目标中点记为cik=(cxik,cyik),其中 任一列区域的檀香树目标分布可由以下线性回归表达式表达:
cxik=fi(cyik)=wicyikk+bi
其中fi表示为列区域的线性回归表达式,wi与bi为线性回归表达式的权重,通过训练得出;使用MSE作为训练权重的损失函数;
wi的初始值赋值为0,bi的初始值赋值为coli所有檀香树目标中点的横坐标的平均数,bi的表达式如下所示:
2.根据权利要求1所述的免定标檀香树植株缺苗定位方法,其特征在于,所述检测模型为预训练的YOLOv4模型,YOLOv4模型的预训练过程为:
获取檀香树种植区域的低空遥感影像图像并构建数据集,对数据集中的图像进行预处理,对数据集中每张遥感影像图像标注檀香树,记录每一棵檀香树像素坐标及标签,并对数据集进行划分后训练,根据算法预测结果的map分数的大小,挑选最优的YOLOv4模型作为检测模型。
3.根据权利要求1所述的免定标檀香树植株缺苗定位方法,其特征在于,所述确定边缘目标,包括:
如某列区域中只有一个檀香树目标,无法与相同列区域中的其他檀香树目标组成种植列,则称该檀香树目标为边缘目标ak,其定位信息记为(axlt,aylt,axrb,ayrb),边缘目标中点为ack=(acxk,acyk)。
4.根据权利要求1所述的免定标檀香树植株缺苗定位方法,其特征在于,所述根据线性回归函数延长回归直线,将位于回归直线延长线上的边缘目标纳入该直线所属的列区域中,包括:
若存在一个其他列区域Coli相对应的线性回归表达式fi的回归直线能够触碰到边缘目标ak,表示为axlt<fi(ayk)<axrb,则将该边缘目标ak重新分配至列区域Coli。
5.根据权利要求1所述的免定标檀香树植株缺苗定位方法,其特征在于,所述通过给定的预设距离,利用线性回归函数对所有列区域进行缺苗定位,包括:
在每一个线性回归函数fi(q)中,q表示像素纵坐标整数数值且q∈[0,Hmax],Hmax表示为遥感图像高的像素长度;若存在一个q,使得位置(fi(q),q)与其相邻的檀香树目标中心像素欧式距离大于预设距离,将其设定为缺苗的位置并在遥感图像中进行标注;重复上述操作,直至所有列预测完成,最终输出带有缺苗位置标注的图像。
6.根据权利要求5所述的免定标檀香树植株缺苗定位方法,其特征在于,所述预设距离为300像素。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210277514.6A CN114842326B (zh) | 2022-03-21 | 2022-03-21 | 一种免定标檀香树植株缺苗定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210277514.6A CN114842326B (zh) | 2022-03-21 | 2022-03-21 | 一种免定标檀香树植株缺苗定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114842326A CN114842326A (zh) | 2022-08-02 |
CN114842326B true CN114842326B (zh) | 2024-04-02 |
Family
ID=82562049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210277514.6A Active CN114842326B (zh) | 2022-03-21 | 2022-03-21 | 一种免定标檀香树植株缺苗定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114842326B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115578602A (zh) * | 2022-11-09 | 2023-01-06 | 北京信息科技大学 | 一种基于改进YOLOv7的自然树种识别方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106910214A (zh) * | 2017-02-09 | 2017-06-30 | 中国林业科学研究院资源信息研究所 | 一种檀香树干虫害损伤程度等级图像判别方法 |
AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
CN111626989A (zh) * | 2020-05-06 | 2020-09-04 | 杭州迪英加科技有限公司 | 针对缺失标注的病理图像的高精度检测网络训练方法 |
CN111814585A (zh) * | 2020-06-18 | 2020-10-23 | 北京麦飞科技有限公司 | 无人机近地空作物苗情遥感监测方法、装置及存储介质 |
CN114022761A (zh) * | 2021-10-26 | 2022-02-08 | 国网辽宁省电力有限公司经济技术研究院 | 一种卫星遥感影像输电线路杆塔检测定位方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10782095B2 (en) * | 2017-11-24 | 2020-09-22 | Huntercraft Limited | Automatic target point tracing method for electro-optical sighting system |
CN112927357B (zh) * | 2021-03-05 | 2022-04-19 | 电子科技大学 | 一种基于动态图网络的3d物体重建方法 |
-
2022
- 2022-03-21 CN CN202210277514.6A patent/CN114842326B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106910214A (zh) * | 2017-02-09 | 2017-06-30 | 中国林业科学研究院资源信息研究所 | 一种檀香树干虫害损伤程度等级图像判别方法 |
AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
CN111626989A (zh) * | 2020-05-06 | 2020-09-04 | 杭州迪英加科技有限公司 | 针对缺失标注的病理图像的高精度检测网络训练方法 |
CN111814585A (zh) * | 2020-06-18 | 2020-10-23 | 北京麦飞科技有限公司 | 无人机近地空作物苗情遥感监测方法、装置及存储介质 |
CN114022761A (zh) * | 2021-10-26 | 2022-02-08 | 国网辽宁省电力有限公司经济技术研究院 | 一种卫星遥感影像输电线路杆塔检测定位方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于YOLO网络的数据采集与标注;殷帅;胡越黎;刘思齐;燕明;;仪表技术;20181215(12);第25-28页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114842326A (zh) | 2022-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110264468B (zh) | 点云数据标注、分割模型确定、目标检测方法及相关设备 | |
Zhang et al. | Automated robust crop-row detection in maize fields based on position clustering algorithm and shortest path method | |
US10477756B1 (en) | Correcting agronomic data from multiple passes through a farmable region | |
Xiong et al. | A high-throughput stereo-imaging system for quantifying rape leaf traits during the seedling stage | |
Heupel et al. | A progressive crop-type classification using multitemporal remote sensing data and phenological information | |
CN109165549B (zh) | 基于三维点云数据的道路标识获取方法、终端设备及装置 | |
Ruiz-Ruiz et al. | Testing different color spaces based on hue for the environmentally adaptive segmentation algorithm (EASA) | |
Marino et al. | Detection of homogeneous wheat areas using multi-temporal UAS images and ground truth data analyzed by cluster analysis | |
Jiang et al. | Quantitative analysis of cotton canopy size in field conditions using a consumer-grade RGB-D camera | |
Mishra et al. | A Deep Learning-Based Novel Approach for Weed Growth Estimation. | |
CN113312999B (zh) | 一种自然果园场景下的柑橘木虱高精度检测方法及装置 | |
CN102324032A (zh) | 一种基于极坐标系下灰度共生矩阵的纹理特征提取方法 | |
Herbei et al. | Processing and Use of Satellite Images in Order to Extract Useful Information in Precision Agriculture. | |
CN110188657A (zh) | 基于卷曲叶片检测的玉米干旱识别方法 | |
Liu et al. | Estimating maize seedling number with UAV RGB images and advanced image processing methods | |
CN108509928A (zh) | 针对矮化密植枣园田管作业视觉导航路径提取方法 | |
CN114842326B (zh) | 一种免定标檀香树植株缺苗定位方法 | |
CN116129260A (zh) | 基于深度学习的牧草图像识别方法 | |
CN114828618A (zh) | 用于提供测试设计和测试指令数据以用于针对至少两种产品或不同施用时序的同一产品的产量、毛利率、功效或植被指数的比较测试的计算机实现的方法 | |
Lin et al. | Estimating litchi flower number using a multicolumn convolutional neural network based on a density map | |
CN117576195A (zh) | 一种植物叶片形态识别方法 | |
Bai et al. | Estimation of soybean yield parameters under lodging conditions using RGB information from unmanned aerial vehicles | |
Zhou et al. | Improve soybean variety selection accuracy using UAV-based high-throughput phenotyping technology | |
Saeed et al. | Cotton plant part 3D segmentation and architectural trait extraction using point voxel convolutional neural networks | |
Niu et al. | Early Drought Detection in Maize Using UAV Images and YOLOv8+ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |