CN110969654A - 基于收割机的玉米高通量表型测量的方法及装置、收割机 - Google Patents

基于收割机的玉米高通量表型测量的方法及装置、收割机 Download PDF

Info

Publication number
CN110969654A
CN110969654A CN201811147125.1A CN201811147125A CN110969654A CN 110969654 A CN110969654 A CN 110969654A CN 201811147125 A CN201811147125 A CN 201811147125A CN 110969654 A CN110969654 A CN 110969654A
Authority
CN
China
Prior art keywords
corn
plant
point cloud
color image
corn plant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811147125.1A
Other languages
English (en)
Inventor
毕建权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ruizhi Jishu Technology Co Ltd
Original Assignee
Beijing Ruizhi Jishu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ruizhi Jishu Technology Co Ltd filed Critical Beijing Ruizhi Jishu Technology Co Ltd
Priority to CN201811147125.1A priority Critical patent/CN110969654A/zh
Publication of CN110969654A publication Critical patent/CN110969654A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D45/00Harvesting of standing crops
    • A01D45/02Harvesting of standing crops of maize, i.e. kernel harvesting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Environmental Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例公开了一种基于收割机的玉米高通量表型测量的方法及装置、收割机,该方法通过机器学习得到的植株分割模型对玉米田中的玉米植株进行结构区域的分割,基于分割的结果进行表型参数的测量,降低了表型参数测量过程中对人工的依赖程度,提高了测量效率,同时植株分割模型通过大量样本训练得到,保证了测量的表型参数的准确性。结合分割了结构区域的彩色图像和点云模型进行表型参数的测量,在获取全面的表型参数基础上,提高了基于彩色图像和点云模型均能获取的表型参数的准确性。此外,在收割机作业过程中获取扫描数据和彩色图像,节省了时间成本,实现了对大面积试验田的玉米表型。

Description

基于收割机的玉米高通量表型测量的方法及装置、收割机
技术领域
本发明实施例涉及机器视觉检测技术领域,尤其是涉及一种基于收割机的玉米高通量表型测量的方法及装置、收割机。
背景技术
玉米是世界上分布最广、生产最多、最重要的农作物之一。随着气候剧烈变化、土地资源减少以及人口持续增加等不利因素使得粮食安全面临巨大挑战,粮食增产变得尤为迫切。选育优良品种以实现作物高产并保持其在胁迫环境下的稳产性是解决当前粮食问题的重要途径,而选育品种就离不开对农作物全生育期各种表型参数的测量和分析。表型测量分析的同时联系农作物的基因型和环境因素等各方面情况,可以对农作物的选育提供有价值的信息,也同时为促进改良农艺性状和改善育种管理提供有效的大数据支撑,进而加速选育优良品种的进程。
目前这些表型参数的获取主要依靠人工测量,其缺点是:工人老龄化、效率低、可重复性差、主观误差大,以致对后续分析产生影响。因此远不能满足多点大面积内试验小区高通量的表型数据采集要求。
在实现本发明实施例的过程中,发明人发现现有的对对玉米表型测量的方法依赖人工进行,效率低、误差大,无法实现大面积试验田的玉米表型。
发明内容
本发明所要解决的技术问题是如何解决现有的对玉米表型测量的方法依赖人工进行,效率低、误差大,无法实现大面积试验田的玉米表型的问题。
针对以上技术问题,本发明的实施例提供了一种基于收割机的玉米高通量表型测量的方法,包括:
获取在收割机作业过程中,对玉米田扫描得到的扫描数据和对玉米田进行拍照得到彩色图像;
通过训练的植株分割模型对所述彩色图像中的玉米植株各结构区域进行分割,并根据所述彩色图像和所述扫描数据建立所述玉米田的点云模型;
根据分割了结构区域的彩色图像和的所述玉米田的点云模型测量所述玉米田中玉米植株的表型参数;
其中,所述表型参数包括收获穗数、保绿性、株高、株型、茎秆粗度、倒伏率、试验田株数、雄穗分株数和穗位;玉米植株的结构区域包括叶子、茎秆、雄穗、果穗和茎节;在建立所述点云模型的过程中,对所述点云图像中设定的每一关键点,由所述关键点在所述彩色图像的位置坐标和所述关键点在所述扫描数据中的位置坐标的加权平均值作为所述关键点在所述点云模型中的位置坐标。
本实施例提供了一种基于收割机的玉米高通量表型测量的装置,包括:
获取模块,用于获取在收割机作业过程中,对玉米田扫描得到的扫描数据和对玉米田进行拍照得到彩色图像;
分割和建立模块,用于通过训练的植株分割模型对所述彩色图像中的玉米植株各结构区域进行分割,并根据所述彩色图像和所述扫描数据建立所述玉米田的点云模型;
测量模块,用于根据分割了结构区域的彩色图像和的所述玉米田的点云模型测量所述玉米田中玉米植株的表型参数;
其中,所述表型参数包括收获穗数、保绿性、株高、株型、茎秆粗度、倒伏率、试验田株数、雄穗分株数和穗位;玉米植株的结构区域包括叶子、茎秆、雄穗、果穗和茎节;在建立所述点云模型的过程中,对所述点云图像中设定的每一关键点,由所述关键点在所述彩色图像的位置坐标和所述关键点在所述扫描数据中的位置坐标的加权平均值作为所述关键点在所述点云模型中的位置坐标。
本实施例提供了一种收割机,包括安装在所述收割机上的激光雷达扫描仪、相机和处理器;
所述激光雷达扫描仪用于在收割机作业过程中,对玉米田扫描得到的扫描数据,所述相机用于在收割机作业过程中,对玉米田进行拍照得到彩色图像,所述处理器用于执行以上所述的方法。
本实施例提供了一种电子设备,包括:
至少一个处理器、至少一个存储器、通信接口和总线;其中,
所述处理器、存储器、通信接口通过所述总线完成相互间的通信;
所述通信接口用于该电子设备和其它电子设备的通信设备之间的信息传输;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行以上所述的方法。
本实施例提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行以上所述的方法。
本发明的实施例提供了一种基于收割机的玉米高通量表型测量的方法及装置、收割机,该方法通过机器学习得到的植株分割模型对玉米田中的玉米植株进行结构区域的分割,基于分割的结果进行表型参数的测量,降低了表型参数测量过程中对人工的依赖程度,提高了测量效率,同时植株分割模型通过大量样本训练得到,保证了测量的表型参数的准确性。结合分割了结构区域的彩色图像和点云模型进行表型参数的测量,在获取全面的表型参数基础上,提高了基于彩色图像和点云模型均能获取的表型参数的准确性。此外,在收割机作业过程中获取扫描数据和彩色图像,节省了时间成本,实现了对大面积试验田的玉米表型。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的基于收割机的玉米高通量表型测量的方法的流程示意图;
图2是本发明另一个实施例提供的玉米植株表型参数测量方法的流程示意图;
图3是本发明另一个实施例提供的对PSPNet网络进行训练的原理示意图;
图4是本发明另一个实施例提供的基于植株分割模型对植株的各结构去进行分割后的示意图;
图5是本发明另一个实施例提供的通过扫描数据建立的某玉米植株的点云模型示意图;
图6是本发明另一个实施例提供的基于收割机的玉米高通量表型测量的装置的结构框图;
图7是本发明另一个实施例提供的收割机的***设计示意图;
图8是本发明另一个实施例提供的收割机的***运行的模式示意图;
图9是本发明另一个实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本实施例提供的一种基于收割机的玉米高通量表型测量的方法的流程示意图,参见图1,该方法包括:
101:获取在收割机作业过程中,对玉米田扫描得到的扫描数据和对玉米田进行拍照得到彩色图像;
102:通过训练的植株分割模型对所述彩色图像中的玉米植株各结构区域进行分割,并根据所述彩色图像和所述扫描数据建立所述玉米田的点云模型;
103:根据分割了结构区域的彩色图像和的所述玉米田的点云模型测量所述玉米田中玉米植株的表型参数;
其中,所述表型参数包括收获穗数、保绿性、株高、株型、茎秆粗度、倒伏率、试验田株数、雄穗分株数和穗位;玉米植株的结构区域包括叶子、茎秆、雄穗、果穗和茎节;在建立所述点云模型的过程中,对所述点云图像中设定的每一关键点,由所述关键点在所述彩色图像的位置坐标和所述关键点在所述扫描数据中的位置坐标的加权平均值作为所述关键点在所述点云模型中的位置坐标。
需要说明的是,在点云模型的建立过程中,需要结合拍照得到的彩色图像和扫描数据,将这两种数据中的点进行对比,实现模型的交叉验证,提高建模的准确性。关键点为预先设定的在建立建云模型过程中,处于特定位置的点,例如,处于玉米植株最顶端的点,每一叶片的尖端和叶片边缘上的点。在同一坐标系下,每一关键点的位置应由扫描数据中的该点的位置坐标和彩色图像中该点的位置坐标的加权平均值确定。
本实施例提供的方法由能够执行上述方法的设备执行,例如,专用于对玉米植株进行表型参数测量的设备或者改进后的小区收割机。本实施例提供的方法在收割机作业过程中,获取对玉米田进行拍照的彩色图像和扫描数据,通过植株分割模型对彩色图像中玉米植株的各结构区域进行自动划分,并建立点云模型。将机器学习应用于玉米植株表型参数的测量,提高了测量效率和测量的准确性。另一方面,根据分割了结构区域的彩色图像得到某些表型参数、通过点云模型得到另一些表型参数,对于既能通过彩色图像得到的表型参数又能通过点云模型得到的表型参数,则综合这两种方式得到的表型参数确定出玉米植株的表型参数。不仅保证了全面获取各个表型参数,同时提高了结合彩色图像和点云图像得到的表型参数的准确性。
进一步地,所述植株分割模型通过对PSPNet网络训练得到。
图2为本实施例提供的玉米植株表型参数测量方法的流程示意图,参见图2,该方法包括了三个部分:二维植株分割、激光雷达三维点云建模和表型融合测算。高分辨相机将玉米植株照片输入到训练的玉米分割模型(植株分割模型)中,得到玉米分割结果,结合建立的三维点云模型进行表型参数测量。
本实施例提供了一种基于收割机的玉米高通量表型测量的方法,该方法通过机器学习得到的植株分割模型对玉米田中的玉米植株进行结构区域的分割,基于分割的结果进行表型参数的测量,降低了表型参数测量过程中对人工的依赖程度,提高了测量效率,同时植株分割模型通过大量样本训练得到,保证了测量的表型参数的准确性。结合分割了结构区域的彩色图像和点云模型进行表型参数的测量,在获取全面的表型参数基础上,提高了基于彩色图像和点云模型均能获取的表型参数的准确性。此外,在收割机作业过程中获取扫描数据和彩色图像,节省了时间成本,实现了对大面积试验田的玉米表型。
进一步地,在上述实施例的基础上,所述植株分割模型的训练方法包括:
获取若干玉米植株的彩色图像,作为输入样本,预先在每一输入样本中分割出玉米植株的各结构区域,作为输出样本;
对每一输入样本,将该输入样本作为卷积神经网络的输入参数,将所述卷积神经网络的输出参数与该输入样本对应的输出样本进行对比,根据对比结果调整所述卷积神经网络;
将通过若干次调整后得到的目标卷积神经网络,作为所述植株分割模型;
其中,将任一输入样本作为所述目标卷积神经网络的输入参数,得到的输出参数与该输入样本对应的输出样本之间,分割的各结构区域的面积差均小于预设面积差。
在样本训练的过程中,卷积神经网络不断根据自身输出的结果和输出样本的差异,调整自身参数,直到将任一输入样本作为所述神经网络的输入参数,得到的输出参数与该输入样本对应的输出样本之间,分割的各结构区域的面积差均小于预设面积差。
要基于小区收割机上机器视觉完成玉米表型参数的自动测量,必须要能够将点云建模后的植株进行快速的分割定位,即将玉米植株的叶子、茎秆、雄穗、果穗、茎节自动分割识别,方便智能软件自动测算对应表型参数。本实施例中提供的表型测量的方法基于PSPNet卷积神经网络图像分割算法自动快速准确实现玉米植株快速分割和定位,结合激光雷达三维云光建模数据,实现表型参数的自动、快速、准确的测量。
图3为对PSPNet网络进行训练的原理示意图,参见图3,对于输入图像,首先通过一个ResNet网络提取图像特征(feature map),如图3中编号为(b)的图所示;之后将得到的feature map输出到一个全局pool层,再通过一个Pyramid Pooling Module获得多个sub-region的特征表示,之后通过上采样(upsampling),并串联层(concat)所有特征,得到最后的特征表示向量,从而获得图像的局部和全局特征,如图3中编号为(c)的图所示,图中从上到下的四个卷积层采用不同的卷积核。最后将得到的向量输入一个卷积层(卷积,用于减小维度),得到最后的预测结果,如图3中编号为(d)的图所示所示。算法的核心就是,通过已训练好模型,能够将玉米植株的不同部位快速区分开,将不同的区域通过不同的颜色或者填充图案进行表示。图4为基于植株分割模型对植株的各结构去进行分割后的示意图。
为实现基于PSPNet卷积网络玉米植株快速分割定位,需完成图像分割模型的训练,在训练前需要人工标记大量玉米植株数据(通过不同颜色表示不同部位或者通过不同的填充图案表示不同的部位)。图像分割模型训练完后,***可将高分辨率相机拍摄照片快速分割定位,然后通过坐标转换映射到激光雷达点云模型中,便于智能分析软件根据不同部位位置信息自动快速测算出对应表型参数。
本实施例提供了一种基于收割机的玉米高通量表型测量的方法,通过机器学习和训练样本实现了对植株分割模型的训练,保证了对玉米植株进行快速正确的结构区域的划分。
进一步地,在上述各实施例的基础上,所述根据分割了结构区域的彩色图像和的所述玉米田的点云模型测量所述玉米田中玉米植株的表型参数,包括:
通过分割了结构区域的彩色图像统计所述玉米田中的玉米植株数,得到第一试验田株数,通过所述点云模型统计所述玉米田中的玉米植株数,得到第二试验田株数,将所述第一试验田株数和所述第二试验田株数的加权平均值作为所述玉米田的实验田株数;
对每一玉米植株,通过该玉米植株的彩色图像测量该玉米植株的第一株高,通过该玉米植株在点云模型中的点云图像测量该玉米植株的第二株高,将所述第一株高和所述第二株高的加权平均值作为该玉米植株的株高;
对每一玉米植株,通过该玉米植株分割了结构区域彩色图像统计该玉米植株雄穗上的第二节分支数,得到第一雄穗分株数,通过该玉米植株在点云模型中的点云图像统计该玉米植株雄穗上的第二节分支数,得到第二雄穗分株数,将所述第一雄穗分株数和所述第二雄穗分株数的加权平均值作为该玉米植株的雄穗分株数。
本实施例提供了一种基于收割机的玉米高通量表型测量的方法,对于既能通过彩色图像得到的表型参数又能通过点云模型得到的表型参数,通过取平均值的方法确定最终的表型参数,相对于仅通过一种方式确定表型参数,本实施例提供的这种融合的计算方法提高了表型参数测量的准确性。
进一步地,在上述各实施例的基础上,还包括:
在分割了结构区域的彩色图像中,统计所述玉米田中所述玉米植株上的果穗的数量,得到所述收获穗数;
对每一玉米植株,在分割了结构区域的彩色图像中,计算该玉米植株中每一片叶子中黄色区域的面积占整个叶片面积的比值,由该比值大于预设比值的叶片数量和该玉米植株所有叶片数量评价该玉米植株的保绿性;
对每一玉米植株,在分割了结构区域的彩色图像中,确定最高果穗的位置,测量最高果穗距离地面的高度,作为第一单株穗位值,并在所述点云模型中,确定最高果穗的位置,测量最高果穗距离地面的高度,作为第二单株穗位值,计算所述第一单株穗位值和所述第二单株穗位值的加权平均值,作为所述玉米植株对应的平均单株穗位值,将所述玉米田中所有玉米植株对应的平均单株穗位值的平均值作为所述玉米田的穗位。
进一步地,在上述各实施例的基础上,还包括:
对每一玉米植株,通过该玉米植株的点云图像计算每一叶片和茎秆的第一夹角,计算该玉米植株上各叶片对应的第一夹角的加权平均值,作为第一平均夹角,并在分割了结构区域的彩色图像中计算每一叶片和茎秆的第二夹角,计算该玉米植株上各叶片对应的第二夹角的加权平均值,作为第二平均夹角,将所述第一平均夹角和所述第二平均夹角的加权平均值作为该玉米植株的叶片夹角,若该玉米植株的叶片夹角位于[0,40],则该玉米植株的株型为紧凑型,若该玉米植株的叶片夹角位于(40,60],则该玉米植株的株型为半紧凑型,若该玉米植株的叶片夹角位于(60,90],则该玉米植株的株型为平展型;
对每一玉米植株,通过该玉米植株的点云图像测量该玉米植株第三茎节处的茎秆直径,得到该玉米植株的第一茎秆粗度,并在分割了结构区域的彩色图像中测量该玉米植株第三茎节处的茎秆直径,得到该玉米植株的第二茎秆粗度,将所述第一茎秆粗度和所述第二茎秆粗度的加权平均值,作为该玉米植株的茎秆粗度;
对每一玉米植株,通过该玉米植株的点云图像测量该玉米植株的主茎与地面的夹角,作为第一倾角,通过分割了结构区域的彩色图像测量该玉米植株的主茎与地面的夹角,作为第二倾角,将所述第一倾角和所述第二倾角的加权平均值作为该玉米植株的主茎与地面的夹角,计算主茎与地面的夹角小于45度的玉米植株占所述玉米田中玉米植株总数的百分比,作为所述玉米田对应的倒伏率。
进一步,根据空秆、双穗、病虫株、弱株各自的特征,通过图像分割模型分别统计空秆、双穗、病虫株、弱株的植株数。
本实施例提供了一种基于收割机的玉米高通量表型测量的方法,提供了各个表型参数的测量方法,通过这些参数可以快速便捷的确定出玉米田植株中的各表型参数。
对于点云模型,激光雷达点云参数提取包括单株作物的株高、玉米骨架/结构分析、株型、茎秆粗度、倒伏率、雄穗分支数等。通常玉米作物点云伴随着大量不相关的噪声,为了提高表型参数提取的精度和作物建模精度,首先需要对激光雷达测量的点云进行去噪,本***采用统计学去噪算法。即计算每个点与其周围K个邻近点的平均距离,假设所得结果服从高斯分布,高斯分布的形状由平均值和标准差决定,若平均距离在给定标准差范围内,则将该点归为目标点,若超出阈值范围则判定为噪点,予以去除;随后,利用建模软件对点云漏洞及缺失部分进行修复,在完整点云数据基础上完成基于点云的作物精细建模,而果穗等位置信息通过二维图像分割算法映射及对点云模型形态分析获得,定位准确性直接影响测量的准确性,相比传统形态学方法,本***准确性更高。图5为通过扫描数据建立的某玉米植株的点云模型示意图。
图6为本实施例提供的基于收割机的玉米高通量表型测量的装置的结构框图,参见图6,该装置包括获取模块601、分割和建立模块602和测量模块603,其中,
获取模块601,用于获取在收割机作业过程中,对玉米田扫描得到的扫描数据和对玉米田进行拍照得到彩色图像;
分割和建立模块602,用于通过训练的植株分割模型对所述彩色图像中的玉米植株各结构区域进行分割,并根据所述彩色图像和所述扫描数据建立所述玉米田的点云模型;
测量模块603,用于根据分割了结构区域的彩色图像和的所述玉米田的点云模型测量所述玉米田中玉米植株的表型参数;
其中,所述表型参数包括收获穗数、保绿性、株高、株型、茎秆粗度、倒伏率、试验田株数、雄穗分株数和穗位;玉米植株的结构区域包括叶子、茎秆、雄穗、果穗和茎节;在建立所述点云模型的过程中,对所述点云图像中设定的每一关键点,由所述关键点在所述彩色图像的位置坐标和所述关键点在所述扫描数据中的位置坐标的加权平均值作为所述关键点在所述点云模型中的位置坐标。
本实施例提供的基于收割机的玉米高通量表型测量的装置适用于上述实施例提供的基于收割机的玉米高通量表型测量的方法,在此不再赘述。
本实施例提供了一种基于收割机的玉米高通量表型测量的装置,该方法通过机器学习得到的植株分割模型对玉米田中的玉米植株进行结构区域的分割,基于分割的结果进行表型参数的测量,降低了表型参数测量过程中对人工的依赖程度,提高了测量效率,同时植株分割模型通过大量样本训练得到,保证了测量的表型参数的准确性。结合分割了结构区域的彩色图像和点云模型进行表型参数的测量,在获取全面的表型参数基础上,提高了基于彩色图像和点云模型均能获取的表型参数的准确性。此外,在收割机作业过程中获取扫描数据和彩色图像,节省了时间成本,实现了对大面积试验田的玉米表型。
本实施例提供了一种收割机,包括安装在所述收割机上的激光雷达扫描仪、相机和处理器;
所述激光雷达扫描仪用于在收割机作业过程中,对玉米田扫描得到的扫描数据,所述相机用于在收割机作业过程中,对玉米田进行拍照得到彩色图像,所述处理器用于执行以上所述的方法。
进一步地,在上述实施例的基础上,所述激光雷达扫描仪和所述相机均安装在所述收割机机头上方或者安装在所述收割机的驾驶室内。
其中,所述激光雷达扫描仪和所述相机安装在收割机适宜搭载的位置,例如,收割机机头上方或者安装在所述收割机的驾驶室内,本实施例对此不做具体限制。
本实施例提供的收割机采用多传感器数据融合算法来实现高通量表型的测量,为提高***稳定性,所用的高分辨率相机、激光雷达扫描仪都通过防水防尘防抖动的传感器平台集成,统一安装在小区收割机上面(包括但不限于驾驶室等适宜搭载的位置),安装完成后,需要通过软件进行传感器参数设置、标定和校准,确保后期智能软件进行分析玉米植株表型参数的准确性。
具体地,图7为本实施例提供的收割机的***设计示意图,参见图7,收割机在行驶过程中,传感器平台按照预先设定参数不断获取试验田玉米植株数据,存储到数据库中;虽然不同传感器负责植株的不同表型参数测量,但是多传感器数据采集时要求同步,以便人工智能软件分析结果可以相互融合;传感器在选取时都根据当前主流成像技术的范围和局限性进行选择,分别完成三维点云数据和二维真彩影像数据的获取。
在图7所示的***中,激光雷达主要负责试验田玉米植株的三维成像,能够精准完成试验田玉米植株的真实三维形态建模,精度高,穿透性强,主要用于玉米植株分支结构,叶倾角,穗位,茎秆粗度,株高等表型参数的测量。本***采用的Faro Focus3D X120,单位时间内可发射约100万个点,测量精度为2mm,扫描视场角为360*300(水平*垂直),力求呈现完整的三维作物点云,为作物的三维形态学参数提取以及冠层的结构分析提供更为精确的数据源。高分辨率相机是应用最广泛的作物表型检测传感器,主要提供色彩信息,后期人工智能软件通过卷积网络图像识别(PSPNet)和人工智能算法可以快速准确完成玉米作物分割定位,完成对应表型参数的测量,同时可以为激光雷达的点云建模和表型参数测量提供基准,比如根据图像分割可以将叶子、茎秆、果穗,雄穗,茎节等部位区分开,这样智能软件测量表型参数时的关键点定位就更加准确,能够提高***测量的准确性。
激光雷达通过云台架设在平台的传感器模块框架下,扫描仪内部激光发射器接收指令后启动线扫描模式。即激光束在旋转镜头的反射下形成一条扫描线,开始进行测距数据及测角数据的采集和记录。在收割机行走下,传感器根据收割机行走速度和扫描密度,沿速度矢量方向发射近红外激光扫描线,以实现对整个关注区域完整覆盖。随后,***平台根据实时记录的传感器模块运动位置数据对线扫描数据进行解算,以获取高精度三维点云。集成模块上的高分辨率相机也同步拍摄,采集的影像分辨率受传感器架设高度、成像平面尺寸以及传感器焦距的影响:D=H×a/f,其中,D为地面分辨率;H为传感器高度;a为像素尺寸;f为焦距。***通过设定拍摄频率可实现***运行方向上玉米植株图像信息获取,然后通过卷积网络图像识别(PSPNet)完成植株结构的分割和定位。图8为本实施例提供的收割机的***运行的模式示意图。
图7是示出本实施例提供的电子设备的结构框图。
参照图9,所述电子设备包括:处理器(processor)901、存储器(memory)902、通信接口(Communications Interface)903和总线904;
其中,
所述处理器901、存储器902、通信接口903通过所述总线904完成相互间的通信;
所述通信接口903用于该电子设备和其它电子设备的通信设备之间的信息传输;
所述处理器901用于调用所述存储器902中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:获取在收割机作业过程中,对玉米田扫描得到的扫描数据和对玉米田进行拍照得到彩色图像;通过训练的植株分割模型对所述彩色图像中的玉米植株各结构区域进行分割,并根据所述彩色图像和所述扫描数据建立所述玉米田的点云模型;根据分割了结构区域的彩色图像和的所述玉米田的点云模型测量所述玉米田中玉米植株的表型参数;其中,所述表型参数包括收获穗数、保绿性、株高、株型、茎秆粗度、倒伏率、试验田株数、雄穗分株数和穗位;玉米植株的结构区域包括叶子、茎秆、雄穗、果穗和茎节;在建立所述点云模型的过程中,对所述点云图像中设定的每一关键点,由所述关键点在所述彩色图像的位置坐标和所述关键点在所述扫描数据中的位置坐标的加权平均值作为所述关键点在所述点云模型中的位置坐标。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:获取在收割机作业过程中,对玉米田扫描得到的扫描数据和对玉米田进行拍照得到彩色图像;通过训练的植株分割模型对所述彩色图像中的玉米植株各结构区域进行分割,并根据所述彩色图像和所述扫描数据建立所述玉米田的点云模型;根据分割了结构区域的彩色图像和的所述玉米田的点云模型测量所述玉米田中玉米植株的表型参数;其中,所述表型参数包括收获穗数、保绿性、株高、株型、茎秆粗度、倒伏率、试验田株数、雄穗分株数和穗位;玉米植株的结构区域包括叶子、茎秆、雄穗、果穗和茎节;在建立所述点云模型的过程中,对所述点云图像中设定的每一关键点,由所述关键点在所述彩色图像的位置坐标和所述关键点在所述扫描数据中的位置坐标的加权平均值作为所述关键点在所述点云模型中的位置坐标。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如,包括:获取在收割机作业过程中,对玉米田扫描得到的扫描数据和对玉米田进行拍照得到彩色图像;通过训练的植株分割模型对所述彩色图像中的玉米植株各结构区域进行分割,并根据所述彩色图像和所述扫描数据建立所述玉米田的点云模型;根据分割了结构区域的彩色图像和的所述玉米田的点云模型测量所述玉米田中玉米植株的表型参数;其中,所述表型参数包括收获穗数、保绿性、株高、株型、茎秆粗度、倒伏率、试验田株数、雄穗分株数和穗位;玉米植株的结构区域包括叶子、茎秆、雄穗、果穗和茎节;在建立所述点云模型的过程中,对所述点云图像中设定的每一关键点,由所述关键点在所述彩色图像的位置坐标和所述关键点在所述扫描数据中的位置坐标的加权平均值作为所述关键点在所述点云模型中的位置坐标。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上各实施例仅用以说明本发明的实施例的技术方案,而非对其限制;尽管参照前述各实施例对本发明的实施例进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明的实施例各实施例技术方案的范围。

Claims (10)

1.一种基于收割机的玉米高通量表型测量的方法,其特征在于,包括:
获取在收割机作业过程中,对玉米田扫描得到的扫描数据和对玉米田进行拍照得到彩色图像;
通过训练的植株分割模型对所述彩色图像中的玉米植株各结构区域进行分割,并根据所述彩色图像和所述扫描数据建立所述玉米田的点云模型;
根据分割了结构区域的彩色图像和的所述玉米田的点云模型测量所述玉米田中玉米植株的表型参数;
其中,所述表型参数包括收获穗数、保绿性、株高、株型、茎秆粗度、倒伏率、试验田株数、雄穗分株数和穗位;玉米植株的结构区域包括叶子、茎秆、雄穗、果穗和茎节;在建立所述点云模型的过程中,对所述点云图像中设定的每一关键点,由所述关键点在所述彩色图像的位置坐标和所述关键点在所述扫描数据中的位置坐标的加权平均值作为所述关键点在所述点云模型中的位置坐标。
2.根据权利要求1所述的方法,其特征在于,所述植株分割模型的训练方法包括:
获取若干玉米植株的彩色图像,作为输入样本,预先在每一输入样本中分割出玉米植株的各结构区域,作为输出样本;
对每一输入样本,将该输入样本作为卷积神经网络的输入参数,将所述卷积神经网络的输出参数与该输入样本对应的输出样本进行对比,根据对比结果调整所述卷积神经网络;
将通过若干次调整后得到的目标卷积神经网络,作为所述植株分割模型;
其中,将任一输入样本作为所述目标卷积神经网络的输入参数,得到的输出参数与该输入样本对应的输出样本之间,分割的各结构区域的面积差均小于预设面积差。
3.根据权利要求1所述的方法,其特征在于,所述根据分割了结构区域的彩色图像和的所述玉米田的点云模型测量所述玉米田中玉米植株的表型参数,包括:
通过分割了结构区域的彩色图像统计所述玉米田中的玉米植株数,得到第一试验田株数,通过所述点云模型统计所述玉米田中的玉米植株数,得到第二试验田株数,将所述第一试验田株数和所述第二试验田株数的加权平均值作为所述玉米田的实验田株数;
对每一玉米植株,通过该玉米植株的彩色图像测量该玉米植株的第一株高,通过该玉米植株在点云模型中的点云图像测量该玉米植株的第二株高,将所述第一株高和所述第二株高的加权平均值作为该玉米植株的株高;
对每一玉米植株,通过该玉米植株分割了结构区域彩色图像统计该玉米植株雄穗上的第二节分支数,得到第一雄穗分株数,通过该玉米植株在点云模型中的点云图像统计该玉米植株雄穗上的第二节分支数,得到第二雄穗分株数,将所述第一雄穗分株数和所述第二雄穗分株数的加权平均值作为该玉米植株的雄穗分株数。
4.根据权利要求3所述的方法,其特征在于,还包括:
在分割了结构区域的彩色图像中,统计所述玉米田中所述玉米植株上的果穗的数量,得到所述收获穗数;
对每一玉米植株,在分割了结构区域的彩色图像中,计算该玉米植株中每一片叶子中黄色区域的面积占整个叶片面积的比值,由该比值大于预设比值的叶片数量和该玉米植株所有叶片数量评价该玉米植株的保绿性;
对每一玉米植株,在分割了结构区域的彩色图像中,确定最高果穗的位置,测量最高果穗距离地面的高度,作为第一单株穗位值,并在所述点云模型中,确定最高果穗的位置,测量最高果穗距离地面的高度,作为第二单株穗位值,计算所述第一单株穗位值和所述第二单株穗位值的加权平均值,作为所述玉米植株对应的平均单株穗位值,将所述玉米田中所有玉米植株对应的平均单株穗位值的平均值作为所述玉米田的穗位。
5.根据权利要求3所述的方法,其特征在于,还包括:
对每一玉米植株,通过该玉米植株的点云图像计算每一叶片和茎秆的第一夹角,计算该玉米植株上各叶片对应的第一夹角的加权平均值,作为第一平均夹角,并在分割了结构区域的彩色图像中计算每一叶片和茎秆的第二夹角,计算该玉米植株上各叶片对应的第二夹角的加权平均值,作为第二平均夹角,将所述第一平均夹角和所述第二平均夹角的加权平均值作为该玉米植株的叶片夹角,若该玉米植株的叶片夹角位于[0,40],则该玉米植株的株型为紧凑型,若该玉米植株的叶片夹角位于(40,60],则该玉米植株的株型为半紧凑型,若该玉米植株的叶片夹角位于(60,90],则该玉米植株的株型为平展型;
对每一玉米植株,通过该玉米植株的点云图像测量该玉米植株第三茎节处的茎秆直径,得到该玉米植株的第一茎秆粗度,并在分割了结构区域的彩色图像中测量该玉米植株第三茎节处的茎秆直径,得到该玉米植株的第二茎秆粗度,将所述第一茎秆粗度和所述第二茎秆粗度的加权平均值,作为该玉米植株的茎秆粗度;
对每一玉米植株,通过该玉米植株的点云图像测量该玉米植株的主茎与地面的夹角,作为第一倾角,通过分割了结构区域的彩色图像测量该玉米植株的主茎与地面的夹角,作为第二倾角,将所述第一倾角和所述第二倾角的加权平均值作为该玉米植株的主茎与地面的夹角,计算主茎与地面的夹角小于45度的玉米植株占所述玉米田中玉米植株总数的百分比,作为所述玉米田对应的倒伏率。
6.一种基于收割机的玉米高通量表型测量的装置,其特征在于,包括:
获取模块,用于获取在收割机作业过程中,对玉米田扫描得到的扫描数据和对玉米田进行拍照得到彩色图像;
分割和建立模块,用于通过训练的植株分割模型对所述彩色图像中的玉米植株各结构区域进行分割,并根据所述彩色图像和所述扫描数据建立所述玉米田的点云模型;
测量模块,用于根据分割了结构区域的彩色图像和的所述玉米田的点云模型测量所述玉米田中玉米植株的表型参数;
其中,所述表型参数包括收获穗数、保绿性、株高、株型、茎秆粗度、倒伏率、试验田株数、雄穗分株数和穗位;玉米植株的结构区域包括叶子、茎秆、雄穗、果穗和茎节;在建立所述点云模型的过程中,对所述点云图像中设定的每一关键点,由所述关键点在所述彩色图像的位置坐标和所述关键点在所述扫描数据中的位置坐标的加权平均值作为所述关键点在所述点云模型中的位置坐标。
7.一种收割机,其特征在于,包括安装在所述收割机上的激光雷达扫描仪、相机和处理器;
所述激光雷达扫描仪用于在收割机作业过程中,对玉米田扫描得到的扫描数据,所述相机用于在收割机作业过程中,对玉米田进行拍照得到彩色图像,所述处理器用于执行权利要求1-5任一项所述的方法。
8.根据权利要求7所述的收割机,其特征在于,所述激光雷达扫描仪和所述相机均安装在所述收割机机头上方或者安装在所述收割机的驾驶室内。
9.一种电子设备,其特征在于,包括:
至少一个处理器、至少一个存储器、通信接口和总线;其中,
所述处理器、存储器、通信接口通过所述总线完成相互间的通信;
所述通信接口用于该电子设备和其它电子设备的通信设备之间的信息传输;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至5中任一项所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至5任一项所述的方法。
CN201811147125.1A 2018-09-29 2018-09-29 基于收割机的玉米高通量表型测量的方法及装置、收割机 Pending CN110969654A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811147125.1A CN110969654A (zh) 2018-09-29 2018-09-29 基于收割机的玉米高通量表型测量的方法及装置、收割机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811147125.1A CN110969654A (zh) 2018-09-29 2018-09-29 基于收割机的玉米高通量表型测量的方法及装置、收割机

Publications (1)

Publication Number Publication Date
CN110969654A true CN110969654A (zh) 2020-04-07

Family

ID=70027165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811147125.1A Pending CN110969654A (zh) 2018-09-29 2018-09-29 基于收割机的玉米高通量表型测量的方法及装置、收割机

Country Status (1)

Country Link
CN (1) CN110969654A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419480A (zh) * 2020-11-12 2021-02-26 中国农业大学 保护性耕作玉米冠层brdf模型构建方法及装置
CN112837267A (zh) * 2021-01-11 2021-05-25 浙江大学 一种预测转基因玉米抗药性的数字检测方法及***
CN113034444A (zh) * 2021-03-08 2021-06-25 安徽建筑大学 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法
CN113920106A (zh) * 2021-10-29 2022-01-11 吉林农业大学 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
CN114332667A (zh) * 2022-03-17 2022-04-12 北京市农林科学院信息技术研究中心 玉米株型识别方法、装置、电子设备及存储介质
CN116612178A (zh) * 2023-07-21 2023-08-18 海南大学三亚研究院 一种一体化水稻穗部谷粒粒型性状的提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102589441A (zh) * 2012-01-11 2012-07-18 华中科技大学 盆栽水稻表型参数的全自动无损测量***及测量方法
US20140376782A1 (en) * 2011-12-30 2014-12-25 Pioneer Hi Bred International Inc Immature ear photometry in maize
CN105660028A (zh) * 2016-02-17 2016-06-15 陈杨珑 一种具有环境感知能力的全自动收割装置
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
CN107358610A (zh) * 2017-06-08 2017-11-17 北京农业信息技术研究中心 作物高通量表型检测方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140376782A1 (en) * 2011-12-30 2014-12-25 Pioneer Hi Bred International Inc Immature ear photometry in maize
CN102589441A (zh) * 2012-01-11 2012-07-18 华中科技大学 盆栽水稻表型参数的全自动无损测量***及测量方法
CN105660028A (zh) * 2016-02-17 2016-06-15 陈杨珑 一种具有环境感知能力的全自动收割装置
CN106558058A (zh) * 2016-11-29 2017-04-05 北京图森未来科技有限公司 分割模型训练方法、道路分割方法、车辆控制方法及装置
CN107358610A (zh) * 2017-06-08 2017-11-17 北京农业信息技术研究中心 作物高通量表型检测方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
仇瑞承;张漫;魏爽;李世超;李民赞;刘刚;: "基于RGB-D相机的玉米茎粗测量方法" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419480A (zh) * 2020-11-12 2021-02-26 中国农业大学 保护性耕作玉米冠层brdf模型构建方法及装置
CN112837267A (zh) * 2021-01-11 2021-05-25 浙江大学 一种预测转基因玉米抗药性的数字检测方法及***
CN112837267B (zh) * 2021-01-11 2023-12-26 浙江大学 一种预测转基因玉米抗药性的数字检测方法及***
CN113034444A (zh) * 2021-03-08 2021-06-25 安徽建筑大学 一种基于MobileNet-PSPNet神经网络模型的路面裂缝检测方法
CN113920106A (zh) * 2021-10-29 2022-01-11 吉林农业大学 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
CN113920106B (zh) * 2021-10-29 2024-05-10 吉林农业大学 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
CN114332667A (zh) * 2022-03-17 2022-04-12 北京市农林科学院信息技术研究中心 玉米株型识别方法、装置、电子设备及存储介质
CN114332667B (zh) * 2022-03-17 2022-07-01 北京市农林科学院信息技术研究中心 玉米株型识别方法、装置、电子设备及存储介质
CN116612178A (zh) * 2023-07-21 2023-08-18 海南大学三亚研究院 一种一体化水稻穗部谷粒粒型性状的提取方法

Similar Documents

Publication Publication Date Title
CN110969654A (zh) 基于收割机的玉米高通量表型测量的方法及装置、收割机
CN110378909B (zh) 基于Faster R-CNN的面向激光点云的单木分割方法
Gruszczyński et al. Comparison of low-altitude UAV photogrammetry with terrestrial laser scanning as data-source methods for terrain covered in low vegetation
CN113392775B (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
AU2021323934A1 (en) System and method for image-based remote sensing of crop plants
CN109816680B (zh) 一种农作物株高的高通量计算方法
CN112418188A (zh) 基于无人机视觉的农作物生长全程数字化评估方法
CN108195736B (zh) 一种三维激光点云提取植被冠层间隙率的方法
CN113920106B (zh) 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
CN109961470B (zh) 一种基于激光点云的活立木叶属性精准估测方法
CN113780144A (zh) 一种基于3d点云的作物株数及茎宽自动提取方法
CN110610438B (zh) 一种农作物冠层叶柄夹角计算方法及***
CN109827503B (zh) 一种田间作物精准定位方法和装置
Yin et al. Individual tree parameters estimation for chinese fir (cunninghamia lanceolate (lamb.) hook) plantations of south china using UAV Oblique Photography: Possibilities and Challenges
Dong et al. Drone-based three-dimensional photogrammetry and concave hull by slices algorithm for apple tree volume mapping
CN117197595A (zh) 基于边缘计算的果树生育期识别方法、装置及管理平台
CN116721344A (zh) 基于航拍设备的植被检测方法、装置和设备
CN116883309A (zh) 一种大豆表型获取方法
CN113514402B (zh) 一种冬小麦叶绿素含量的预测***及方法
Xiao et al. 3D reconstruction and characterization of cotton bolls in situ based on UVA technology
CN115830474A (zh) 一种识别野生藏药独一味及其分布并计算其产量的方法与***
Bortolotti et al. Pilot study of a computer vision system for in-field peach fruit quality evaluation
CN113379738A (zh) 一种基于图像的疫木检测与定位方法及***
Bonaria Grapevine yield estimation using image analysis for the variety Arinto
Esser et al. Field Robot for High-throughput and High-resolution 3D Plant Phenotyping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240322