CN115100460A - 一种基于深度学习和向量检索的植物分类识别的方法、装置、设备及存储介质 - Google Patents

一种基于深度学习和向量检索的植物分类识别的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115100460A
CN115100460A CN202210662963.2A CN202210662963A CN115100460A CN 115100460 A CN115100460 A CN 115100460A CN 202210662963 A CN202210662963 A CN 202210662963A CN 115100460 A CN115100460 A CN 115100460A
Authority
CN
China
Prior art keywords
plant
image
vector
bounding box
main body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210662963.2A
Other languages
English (en)
Inventor
谢杰航
何朝晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Lifang Garden Ecological Technology Co ltd
Original Assignee
Guangzhou Lifang Garden Ecological Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Lifang Garden Ecological Technology Co ltd filed Critical Guangzhou Lifang Garden Ecological Technology Co ltd
Priority to CN202210662963.2A priority Critical patent/CN115100460A/zh
Publication of CN115100460A publication Critical patent/CN115100460A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于深度学习和向量检索的植物分类识别的方法、装置、设备及存储介质,其方法包括获取植物图像,按植物种类名分类和对图像内的植物主体范围进行标注;采用改进的PP‑PicoDet模型进行植物主体提取;将植物主体图像输入预设的学生网络模型进行特征提取;基于预设的植物图像向量特征索引库,将植物图像向量特征与植物图像向量特征索引库的文件中保存的植物图像向量特征进行对比检索,获得向量相似度最高的特征对应的存储于植物图像向量特征索引库内的索引码,以基于索引码在植物图像向量特征索引库中找到对应的植物种类名。本申请具有减少训练模型的时间,提升基于植物的图像识别和分类模型的训练和推理速度的效果。

Description

一种基于深度学习和向量检索的植物分类识别的方法、装置、 设备及存储介质
技术领域
本申请涉及计算机图像识别和分类领域技术领域,尤其是涉及一种基于深度学习和向量检索的植物分类识别的方法、装置、设备及存储介质。
背景技术
计算机植物识别和分类技术在植物资源数据库建设、植物分类、植物病虫害识别、植物养护指导等方面具有重要的现实应用价值。传统的方法有基于机器学习与人工设计特征工程相结合,如支持向量机、K最邻近等算法模型,该方法存在训练成本高、识别准确率低、模型稳健性弱等缺点。
近年来,随着深度学习技术的发展,由多层神经网络叠加而成的深度神经网络,特征提取能力和速度相比传统机器学习有了明显的改善,在图像识别和分类领域的准确率已经有了较大幅度的提升,稳健性也有了一定的提高。但应用于植物识别和分类的深度神经网络也有局限,随着网络模型结构深度和复杂度的增加,训练数据的数据量也需要相应增加才能保证模型效果质量。而在大量训练数据的情况下,采用常规的深度学习方法训练模型,针对增量数据需要修改模型的全连接层,并需要对其他模块进行额外处理才能实现,深度学习模型训练速度比较慢,需要耗费较多的计算资源。
再者,与一般的图像识别和分类任务相比,植物图像的识别和分类任务具有一定的特殊性和难度。首先,当前已知的植物种类约有30多万种,随着植物杂交、嫁接等技术的发展,植物的新品种会越来越多,对应的训练数据类别也会不断增加。第二,同一科属的植物品种外观上往往仅有细微差异,对计算机视觉识别分类造成较大的挑战。第三,自然界植物类型多样,存在一定数量的植物品种因为稀缺罕见而导致数据集各类别的数据量不均衡,将会对最终模型的推理预测效果造成较大的负面影响。
针对上述中的相关技术,发明人发现现有的应用于植物识别和分类的深度神经网络存在有训练速度比较慢,需要耗费较多计算资源的问题。
发明内容
为了减少训练模型的时间,本申请提供了一种基于深度学习和向量检索的植物分类识别的方法、装置、设备及存储介质。
第一方面,本申请提供一种基于深度学习和向量检索的植物分类识别的方法,具有减少训练模型时间的特点。
本申请是通过以下技术方案得以实现的:
一种基于深度学习和向量检索的植物分类识别的方法,包括以下步骤,
获取植物图像,按植物种类名分类和对图像内的植物主体范围进行标注,得到标注图像;
基于所述标注图像,采用改进的PP-PicoDet模型进行植物主体提取,得到植物主体图像;
将所述植物主体图像输入预设的学生网络模型进行特征提取,得到植物图像向量特征;
基于预设的植物图像向量特征索引库,将所述植物图像向量特征与所述植物图像向量特征索引库的文件中保存的植物图像向量特征进行对比检索,获得向量相似度最高的特征对应的存储于植物图像向量特征索引库内的索引码,以基于所述索引码在所述植物图像向量特征索引库中找到对应的植物种类。
本申请在一较佳示例中可以进一步配置为:所述学生网络模型的构建步骤包括,去掉两个Resnet50网络结构的全连接层,并分别作为学生网络和教师网络;
对所述学生网络和所述教师网络进行相互学习训练,且在所述教师网络训练前加载预训练权重模型进行初始化;
重复对所述学生网络和所述教师网络进行相互学习训练,直至训练迭代轮数达到预设阈值时停止训练并输出学生网络模型。
本申请在一较佳示例中可以进一步配置为:还包括创建所述植物图像向量特征索引库的步骤,所述创建所述植物图像向量特征索引库的步骤包括,
获取植物图像,并按植物种类名分类和对图像内的植物主体范围进行标注,得到包含种类名的标注图像;
将包含种类名的所述标注图像输入所述PP-PicoDet模型进行植物主体提取,得到包含种类名的植物主体图像;
再将包含种类名的所述植物主体图像输入所述学生网络模型中进行特征提取,得到包含种类名的植物图像向量特征;
将所述植物图像向量特征保存到Python的列表对象中,并建立计数所述列表对象的索引码;
建立并初始化植物图像向量特征索引库,将所述列表对象转换并存储到所述植物图像向量特征索引库中,将所述索引码存储到所述植物图像向量特征索引库中,再将所述植物图像向量特征索引库保存为植物图像向量特征索引库文件;
将所述索引码与分类的所述种类名对应并写入Python的词典中,并保存为索引映射文件,完成植物图像向量特征索引库的创建。
本申请在一较佳示例中可以进一步配置为:还包括训练所述PP-PicoDet模型的步骤,所述训练所述PP-PicoDet模型的步骤包括,
预设边界框定位混合损失函数
Figure BDA0003691733610000031
所述边界框定位混合损失函数
Figure BDA0003691733610000032
的函数表达式包括:
Figure BDA0003691733610000033
Figure BDA0003691733610000034
P2=αv
Figure BDA0003691733610000035
Figure BDA0003691733610000036
式中,1-IoU表征IoU损失函数的损失值,P1表征真实边界框Br与预测边界框Bd的中心点距离,P2表征真实边界框Br与预测边界框Bd的长宽比差异,bd表征预测边界框的几何中心点,br表征真实边界框的几何中心点,ρ表征真实边界框Br与预测边界框Bd的中心点的欧氏距离,c表征预测边界框和真实边界框的并集的对角线距离,wr表征真实边界框的宽度,hr表征真实边界框的高度,wd表征预测边界框的宽度,hd表征预测边界框的高度。
本申请在一较佳示例中可以进一步配置为:还包括以下步骤,
对所述边界框定位混合损失函数
Figure BDA0003691733610000037
的定位目标损失和梯度进行重加权,所述边界框定位混合损失函数
Figure BDA0003691733610000038
的函数表达式包括:
Figure BDA0003691733610000039
式中,β表征权重值。
本申请在一较佳示例中可以进一步配置为:基于所述标注图像,采用改进的PP-PicoDet模型进行植物主体提取,得到植物主体图像的步骤前,还包括,
对所述标注图像进行叶色变换、随机裁剪、随机旋转的增强处理,得到预处理图像。
本申请在一较佳示例中可以进一步配置为:所述对所述标注图像进行叶色变换的增强处理的步骤包括,
对所述标注图像进行阈值化处理,并返回二值化图像;
基于所述标注图像和所述二值化图像,得到包含植物主体部分的RGB多维数组,并将所述标注图像从RGB颜色空间转换到HSV颜色空间;
从所述HSV颜色空间的所述RGB多维数组中提取H通道的数值,构成H通道多维数组,再把所述H通道多维数组的维度降为一维并去掉零值,得到一维数组,并求出所述一维数组的均值;
根据预设的映射公式,判断所述均值是否满足第一预设条件或第二预设条件;
若满足所述第一预设条件,则将该标注图像从黄色颜色空间映射到绿色颜色空间;若满足所述第二预设条件,则将该标注图像从绿色颜色空间映射到黄色颜色空间。
本申请在一较佳示例中可以进一步配置为:对所述标注图像进行随机裁剪的增强处理的步骤包括,
将所述标注图像随机裁剪成若干个预设像素的图像。
本申请在一较佳示例中可以进一步配置为:对所述标注图像进行随机旋转的增强处理的步骤包括,
将所述标注图像旋转预设的角度。
第二方面,本申请提供一种基于深度学习和向量检索的植物分类识别的装置,具有减少训练模型时间的特点。
本申请是通过以下技术方案得以实现的:
一种基于深度学习和向量检索的植物分类识别的装置,包括,
数据模块,用于获取植物图像,按植物种类名分类和对图像内的植物主体范围进行标注,得到标注图像;
主体提取模块,用于基于所述标注图像,采用改进的PP-PicoDet模型进行植物主体提取,得到植物主体图像;
特征提取模块,用于将所述植物主体图像输入预设的学生网络模型进行特征提取,得到植物图像向量特征;
种类识别模块,用于基于预设的植物图像向量特征索引库,将所述植物图像向量特征与所述植物图像向量特征索引库的文件中保存的植物图像向量特征进行对比检索,获得向量相似度最高的特征对应的存储于所述植物图像向量特征索引库内的索引码,以基于所述索引码在所述植物图像向量特征索引库中找到对应的植物种类。
第三方面,本申请提供一种计算机设备,具有减少训练模型时间的特点。
本申请是通过以下技术方案得以实现的:
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意一种基于深度学习和向量检索的植物分类识别的方法的步骤。
第四方面,本申请提供一种计算机可读存储介质,具有减少训练模型时间的特点。
本申请是通过以下技术方案得以实现的:
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一种基于深度学习和向量检索的植物分类识别的方法的步骤。
综上所述,与现有技术相比,本申请提供的技术方案带来的有益效果至少包括:
通过获取植物图像,按植物种类名分类和对图像内的植物主体范围进行标注,得到标注图像;基于标注图像,采用改进的PP-PicoDet模型进行植物主体提取,得到植物主体图像;将植物主体图像输入预设的学生网络模型进行特征提取,得到植物图像向量特征;基于预设的植物图像向量特征索引库,将植物图像向量特征与植物图像向量特征索引库的文件中保存的植物图像向量特征进行对比检索,获得向量相似度最高的特征对应的存储于植物图像向量特征索引库内的索引码,以基于索引码在植物图像向量特征索引库中找到对应的植物种类;本申请采用深度学习与图像向量检索技术相结合,仅需要使用深度学习技术针对植物图像数据训练两个深度神经网络模型分别完成对植物图像的主体识别和特征提取的工作,并通过批处理构建图像特征索引数据库,结合图像相似度对比计算算法检索特征索引数据库信息达到识别植物种类的目的,增量数据只需要提取特征加入特征数据库即可,与传统深度学习方法相比大幅度减少了训练模型的时间,提升了基于植物的图像识别和分类模型的训练和推理速度;同时,当出现某一类别植物识别精度较低的情况时有利于准确定位和解决;且深度神经网络模型的工作任务多样化,业务应用泛化能力更强。
附图说明
图1为本申请一个示例性实施例提供的一种基于深度学习和向量检索的植物分类识别的方法的整体流程图。
图2为本申请又一个示例性实施例提供的一种基于深度学习和向量检索的植物分类识别的方法的改进的PP-PicoDet模型的训练流程图。
图3为本申请另一个示例性实施例提供的一种基于深度学习和向量检索的植物分类识别的方法的学生网络模型的构建流程图。
图4为本申请一个示例性实施例提供的一种基于深度学习和向量检索的植物分类识别的方法的植物图像向量特征索引库的创建流程图。
图5为本申请一个示例性实施例提供的一种基于深度学习和向量检索的植物分类识别的方法的植物种类识别流程图。
图6为本申请一个示例性实施例提供的一种基于深度学习和向量检索的植物分类识别的装置的结构框图。
具体实施方式
本具体实施例仅仅是对本申请的解释,其并不是对本申请的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
参照图1,本申请实施例提供一种基于深度学习和向量检索的植物分类识别的方法,所述方法的主要步骤描述如下。
S1:获取植物图像,按植物种类名分类和对图像内的植物主体范围进行标注,得到标注图像;
S2:基于所述标注图像,采用改进的PP-PicoDet模型进行植物主体提取,得到植物主体图像;
S3:将所述植物主体图像输入预设的学生网络模型进行特征提取,得到植物图像向量特征;
S4:基于预设的植物图像向量特征索引库,将所述植物图像向量特征与所述植物图像向量特征索引库的文件中保存的植物图像向量特征进行对比检索,获得向量相似度最高的特征对应的存储于所述植物图像向量特征索引库内的索引码,以基于所述索引码在所述植物图像向量特征索引库中找到对应的植物种类名。
其中,所述PP-PicoDet模型的训练步骤包括,
预设边界框定位混合损失函数
Figure BDA0003691733610000071
所述边界框定位混合损失函数
Figure BDA0003691733610000072
的函数表达式包括:
Figure BDA0003691733610000073
Figure BDA0003691733610000074
P2=αv
Figure BDA0003691733610000075
Figure BDA0003691733610000076
式中,1-IoUs表征GIoU损失函数的损失值,P1表征真实边界框Br与预测边界框Bd的中心点距离,P2表征真实边界框Br与预测边界框Bd的长宽比差异,bd表征预测边界框的几何中心点,br表征真实边界框的几何中心点,ρ表征真实边界框Br与预测边界框Bd的中心点的欧氏距离,c表征预测边界框和真实边界框的并集的对角线距离,wr表征真实边界框的宽度,hr表征真实边界框的高度,wd表征预测边界框的宽度,hd表征预测边界框的高度。
采用训练好的PP-PicoDet模型对未标注图像进行植物主体提取,得到植物主体图像。
进一步地,为提升识别精度,在不影响模型收敛速度的前提下,引入乘方函数对所述边界框定位混合损失函数
Figure BDA0003691733610000077
进一步改进,对所述边界框定位混合损失函数
Figure BDA0003691733610000078
的定位目标损失和梯度进行重加权,所述边界框定位混合损失函数
Figure BDA0003691733610000079
的函数表达式包括:
Figure BDA00036917336100000710
式中,β表征权重值。
其中,所述学生网络模型的构建步骤包括,
去掉两个Resnet50网络结构的全连接层,并分别作为学生网络和教师网络;
对所述学生网络和所述教师网络进行相互学习训练,且在所述教师网络训练前加载预训练权重模型进行初始化;
重复对所述学生网络和所述教师网络进行相互学习训练,直至训练迭代轮数达到预设阈值时停止训练并输出学生网络模型。
进一步地,在训练过程中,获取所述学生网络和所述教师网络输出的特征图,以计算所述学生网络和所述教师网络的均方误差。
其中,所述植物图像向量特征索引库的创建步骤包括,
获取植物图像,并按植物种类名分类和对图像内的植物主体范围进行标注,得到包含种类名的标注图像;
将包含种类名的所述标注图像输入所述PP-PicoDet模型进行植物主体提取,得到包含种类名的植物主体图像;
再将包含种类名的所述植物主体图像输入所述学生网络模型中进行特征提取,得到包含种类名的植物图像向量特征;
将所述植物图像向量特征保存到Python的列表对象中,并建立计数所述列表对象的索引码;
建立并初始化植物图像向量特征索引库,将所述列表对象转换并存储到所述植物图像向量特征索引库中,将所述索引码存储到所述植物图像向量特征索引库中,再将所述植物图像向量特征索引库保存为植物图像向量特征索引库文件;
将所述索引码与分类的所述种类名对应并写入Python的词典中,并保存为索引映射文件,完成植物图像向量特征索引库的创建。
进一步地,基于所述标注图像,采用改进的PP-PicoDet模型进行植物主体提取,得到植物主体图像的步骤前,还包括,
对所述标注图像进行叶色变换、随机裁剪、随机旋转的增强处理,得到预处理图像。
其中,所述对所述标注图像进行叶色变换的增强处理的步骤包括,
对所述标注图像进行阈值化处理,并返回二值化图像;
基于所述标注图像和所述二值化图像,得到包含植物主体部分的RGB多维数组,并将所述标注图像从RGB颜色空间转换到HSV颜色空间;
从所述HSV颜色空间的所述RGB多维数组中提取H通道的数值,构成H通道多维数组,再把所述H通道多维数组的维度降为一维并去掉零值,得到一维数组,并求出所述一维数组的均值;
根据预设的映射公式,判断所述均值是否满足第一预设条件或第二预设条件;
若满足所述第一预设条件,则将该标注图像从黄色颜色空间映射到绿色颜色空间;若满足所述第二预设条件,则将该标注图像从绿色颜色空间映射到黄色颜色空间。
对所述标注图像进行随机裁剪的增强处理的步骤包括,
将所述标注图像随机裁剪成若干个预设像素的图像。
对所述标注图像进行随机旋转的增强处理的步骤包括,
将所述标注图像旋转预设的角度。
上述各个实施例的具体描述如下。
参照图2,获取植物图像,图像来源包括但不限于互联网、开源数据集、企业内部等渠道收集的约5000张植物图像,并用Labelme标注工具对图像内的植物主体范围进行标注,且标签为0,即把植物部分当作前景。标注完成后以JSON格式的标注文件导出并按照COCO数据集标注格式规范整理。整理后将按9:1的比例将数据集分成训练集和验证集。
经过分析发现,收集到的图像数据尤其是从互联网公开渠道收集的数据纷繁复杂,分辨率有所不同,色域范围差异也较大,除此之外,区别于一般的图像识别和分类任务,植物图像识别和分类任务训练对数据集的要求也有几点特殊的地方,如:
1、植物具有季相变化,最普遍、最常见的情况是植物的叶片老化,从绿色变黄色,即同一个植物对象它可以有至少两种颜色的形态,对于深度学习模型而言,如果数据集没有考虑植物季相变化这个特性,容易造成识别准确率降低;
2、数据集绝大部分的图像都是整株完整的植物,但在现实应用时模型接收到用户的照片往往只包含局部信息,比如单纯的茎、叶、枝或者果实;
3、在一些场景下,用户上传的图片角度也不一致;
因此,为了让深度学习模型的稳健性和泛化性更好,针对标注后的植物图像采取数据增强的策略,具体如下:
1、将数据集中的植物图像从RGB颜色空间转换到HSV颜色空间,利用OpenCV的inRange()函数对图像进行阈值化处理,以从图像中提取出植物部分。OpenCV中HSV的颜色***与通用HSV颜色***不同,其H、S、V值的取值范围分别是[0,180],[0,255]和[0,255]。查表可知黄色和绿色的HSV范围分别是[35,40,40]到[77,255,255]和[11,43,46]到[34,255,255]。为了最大限度地保留图像中的植物部分,我们把阈值下边界设置为[11,43,46],阈值上边界设置为[77,255,255],经过阈值化处理后返回二值化图像,再把二值化图像作为掩膜叠加原图计算两张图像的按位与,得到包含植物主体部分的RGB多维数组N1,并通过cvtColor()函数转换到HSV颜色空间。从转换颜色空间后的RGB多维数组N1中提取H通道数值构成H通道多维数组N2,再把H通道多维数组N2降为一维数组并去掉零值构成一维数组N3,求出一维数组N3的均值M1
如果均值M1满足第一预设条件,如11≤M1≤34,则代表该植物图像的主色调偏黄色,此时应该将该图像的H通道的值从[11,34]的黄色颜色空间H映射到[35,77]的绿色颜色空间
Figure BDA0003691733610000101
如果均值M1满足第二预设条件,如35≤M1≤77,则代表该植物图像的主色调偏绿色,此时应该将该图像的H通道的值从[35,77]的绿色颜色空间H映射到[11,34]的黄色颜色空间
Figure BDA0003691733610000102
以实现对数据集的扩充。
具体的映射公式如下:
Figure BDA0003691733610000103
2、随机裁剪标注后的植物图像的区域,将输入的图像裁剪成若干个预设像素的图像,本实施例中,预设像素可以为640*640像素,每个图像都包含植物图像的局部信息,如枝干、叶片、花、果实等,或与植物无关的背景信息,以实现对数据集的扩充。
3、随机旋转标注后的植物图像,对输入的图像进行预设角度的旋转,如30°、60°、90°、180°、270°等随机旋转,模拟真实业务应用场景下用户拍照角度多样的情况,以实现对数据集的扩充。
通过对标注后的植物图像采取数据增强的策略,改善了训练数据集的质量,使得训练数据集的类别样本分布均衡,进而使得最终得到的模型的推理预测效果更精准。
进一步地,因PP-PicoDet模型本身的边界框定位损失函数使用的是GIoU(Generalized Intersection over Union),但GIoU存在收敛速度慢和部分条件下无法收敛的问题,为此我们提出了改进的PP-PicoDet模型,预设边界框定位混合损失函数
Figure BDA0003691733610000104
以GIoU为基础,引入两个惩戒项分别计算真实边界框与预测边界框的中心点的距离和长宽比差异。
边界框定位混合损失函数
Figure BDA0003691733610000105
的函数表达式具体如下:
Figure BDA0003691733610000106
其中,1-IoU是IoU损失函数的计算公式,P1计算真实边界框Br与预测边界框Bd的中心点距离,P2计算真实边界框Br与预测边界框Bd的长宽比差异。
P1和P2的计算公式如下:
Figure BDA0003691733610000111
P2=αv
其中,bd,br分别为预测边界框和真实边界框的几何中心点,ρ为真实边界框Br与预测边界框Bd的中心点的欧氏距离,c为预测边界框和真实边界框的并集的对角线距离。
v和α的计算公式如下:
Figure BDA0003691733610000112
Figure BDA0003691733610000113
其中,wr和hr分别为真实边界框的宽度和高度,wd和hd分别为预测边界框的宽度和高度。
为了进一步提升识别精度,在不影响模型收敛速度的前提下,引入乘方函数对
Figure BDA0003691733610000114
损失函数进一步改进,对定位目标损失和梯度进行重加权,具体公式如下:
Figure BDA0003691733610000115
其中,β为权重值,取值范围是[1,+∞)。
植物标注数据集使用自标注的植物主体数据集进行训练。把训练集依次读取到PP-Picodet模型中进行深度学习训练,再通过验证集进行训练,并根据验证集获取的结果进行mAP指标计算,每训练2轮验证一次,当验证集mAP指标大于或等于40时,训练停止并保存模型。
参照图3,进一步地,使用深度互学习的方法将植物图像数据映射到一个特征图表示的向量空间,具体方法为使用两个相同的Resnet50网络结构分别作为学生网络和教师网络,与原版Resnet50网络结构相比,去掉了网络结构的最后一层全连接层,起到了压缩效果,训练过程中也无需修改全连接层,更简单,最终结果由自适应池化层输出尺寸为[1,2048,1,1]的特征图,并将其降低为包含2048个特征值的一维向量
Figure BDA0003691733610000118
Figure BDA0003691733610000117
其中的教师网络加载经过ImageNet数据集训练的预训练权重模型进行初始化,这个步骤的目标是分别输入相同的图片到两个网络后产生相同的输出特征图。预训练权重模型是现有模型,基于Resnet50网络结构进行学习训练,以提供更精准的模型权重。本实施例中,教师网络带权重,学生网络不带权重,以借助教师网络使得学生网络的训练效果更好。
训练数据集采用开源数据集CIFAR100中的“树木”和“花卉”类别的所有数据,并对训练数据集进行数据增强,并用改进的PP-PicoDet模型从图像中获得植物主体坐标范围并提取植物主体部分图像,将图像分别输入教师网络和学生网络训练,当训练迭代轮数达到300轮时停止训练并输出学生网络模型。
每次训练时,教师网络和学生网络分别输出特征图,使用均方误差计算两个网络输出的特征图的差异,以查看训练效果;均方误差逐渐减小,如梯度下降,则训练正常;均方误差跳变大,如波浪型或上升型,则模型不拟合或数据集有问题,需停止训练和分析。
参照图4,进一步地,创建植物图像向量特征索引库。将从互联网收集到的植物图像按植物种类名分类,经过改进的PP-PicoDet模型从图像中获得植物主体坐标范围,并根据坐标范围从图像中提取出植物主体的部分图像,再经过图像增强预处理后,将预处理图像的长宽尺寸放缩到224*224然后输入训练好的学生网络模型进行植物图像向量特征提取,批量提取后将植物图像向量特征保存到Python的列表对象
Figure BDA0003691733610000121
并对应列表对象
Figure BDA0003691733610000122
建立计数列表对象
Figure BDA0003691733610000123
作为索引值。使用Faiss算法建立植物图像向量特征索引库,索引方法选用IVF65536和HNSW32联合进行聚类分配,将通过Faiss训练将列表对象
Figure BDA0003691733610000124
转换并存储到植物图像向量特征索引库,同时将技术列表对象
Figure BDA0003691733610000125
作为索引码存储到植物图像向量特征索引库,将植物图像向量特征索引库保存为vector.index文件,最后将列表对象
Figure BDA0003691733610000126
与植物种类名对应并写入成Python词典,如:
词典
Figure BDA0003691733610000127
并用pickle包保存为index.pkl索引映射文件。
参照图5,进一步地,检索和识别植物图像。基于创建的植物图像向量特征索引库,预加载植物图像向量特征索引库的文件到内存。将待识别植物图像输入改进的PP-PicoDet模型获得待识别植物主体的坐标范围,并根据坐标范围从图像中提取出植物主体的部分图像;将经过增强的预处理图像的长宽尺寸放缩到224*224后,输入训练好的学生网络模型进行植物向量特征提取,利用Faiss的检索算法将待识别的植物向量特征与植物图像向量特征索引库文件保存的特征向量对比检索,联合IVF65536和HNSW32算法进行向量相似度计算,获得向量相似度最高结果对应的索引码,通过索引码在索引映射文件的字典中找到对应的植物种类名,即完成该植物图像的种类识别。
综上所述,一种基于深度学习和向量检索的植物分类识别的方法采用深度学习与图像向量检索技术相结合,仅需要使用深度学习技术针对植物图像数据训练两个深度神经网络模型分别完成对植物图像的主体识别和特征提取的工作,并通过批处理构建图像特征索引数据库,结合图像相似度对比计算算法检索特征索引数据库信息达到识别植物种类的目的,增量数据只需要提取特征加入特征数据库即可,与传统深度学习方法相比大幅度减少了训练模型的时间,提升了基于植物的图像识别和分类模型的训练和推理速度,以此帮助企业工程师快速开发高性能深度植物识别模型和算法,加快植物识别等工业应用产品开发的落地进程,推动植物识别及以植物为中心的图像理解相关领域的前沿研究和产业应用;同时,当出现某一类别植物识别精度较低的情况时有利于准确定位和解决,且模型的工作任务多样化,业务应用泛化能力更强。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
参照图6,本申请实施例还提供一种基于深度学习和向量检索的植物分类识别的装置,该一种基于深度学习和向量检索的植物分类识别的装置与上述实施例中一种基于深度学习和向量检索的植物分类识别的方法一一对应。该一种基于深度学习和向量检索的植物分类识别的装置包括,
数据模块,用于获取植物图像,按植物种类名分类和对图像内的植物主体范围进行标注,得到标注图像;
主体提取模块,用于基于所述标注图像,采用改进的PP-PicoDet模型进行植物主体提取,得到植物主体图像;
特征提取模块,用于将所述植物主体图像输入预设的学生网络模型进行特征提取,得到植物图像向量特征;
种类识别模块,用于基于预设的植物图像向量特征索引库,将所述植物图像向量特征与所述植物图像向量特征索引库的文件中保存的植物图像向量特征进行对比检索,获得向量相似度最高的特征对应的存储于所述植物图像向量特征索引库内的索引码,以基于所述索引码在所述植物图像向量特征索引库中找到对应的植物种类。
一种基于深度学习和向量检索的植物分类识别的装置还包括,
预处理模块,用于对所述标注图像进行叶色变换、随机裁剪、随机旋转的增强处理,得到预处理图像。
关于一种基于深度学习和向量检索的植物分类识别的装置的具体限定可以参见上文中对于一种基于深度学习和向量检索的植物分类识别的方法的限定,在此不再赘述。上述一种基于深度学习和向量检索的植物分类识别的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述任意一种基于深度学习和向量检索的植物分类识别的方法。
在一个实施例中,提供了一种计算机可读存储介质,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
S1:获取植物图像,按植物种类名分类和对图像内的植物主体范围进行标注,得到标注图像;
S2:基于所述标注图像,采用改进的PP-PicoDet模型进行植物主体提取,得到植物主体图像;
S3:将所述植物主体图像输入预设的学生网络模型进行特征提取,得到植物图像向量特征;
S4:基于预设的植物图像向量特征索引库,将所述植物图像向量特征与所述植物图像向量特征索引库的文件中保存的植物图像向量特征进行对比检索,获得向量相似度最高的特征对应的存储于所述植物图像向量特征索引库内的索引码,以基于所述索引码在所述植物图像向量特征索引库中找到对应的植物种类名。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述***的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。

Claims (12)

1.一种基于深度学习和向量检索的植物分类识别的方法,其特征在于,包括以下步骤,
获取植物图像,按植物种类名分类和对图像内的植物主体范围进行标注,得到标注图像;
基于所述标注图像,采用改进的PP-PicoDet模型进行植物主体提取,得到植物主体图像;
将所述植物主体图像输入预设的学生网络模型进行特征提取,得到植物图像向量特征;
基于预设的植物图像向量特征索引库,将所述植物图像向量特征与所述植物图像向量特征索引库的文件中保存的植物图像向量特征进行对比检索,获得向量相似度最高的特征对应的存储于所述植物图像向量特征索引库内的索引码,以基于所述索引码在所述植物图像向量特征索引库中找到对应的植物种类名。
2.根据权利要求1所述的基于深度学习和向量检索的植物分类识别的方法,其特征在于,所述学生网络模型的构建步骤包括,
去掉两个Resnet50网络结构的全连接层,并分别作为学生网络和教师网络;
对所述学生网络和所述教师网络进行相互学习训练,且在所述教师网络训练前加载预训练权重模型进行初始化;
重复对所述学生网络和所述教师网络进行相互学习训练,直至训练迭代轮数达到预设阈值时停止训练并输出学生网络模型。
3.根据权利要求1所述的基于深度学习和向量检索的植物分类识别的方法,其特征在于,还包括创建所述植物图像向量特征索引库的步骤,所述创建所述植物图像向量特征索引库的步骤包括,
获取植物图像,并按植物种类名分类和对图像内的植物主体范围进行标注,得到包含种类名的标注图像;
将包含种类名的所述标注图像输入所述PP-PicoDet模型进行植物主体提取,得到包含种类名的植物主体图像;
再将包含种类名的所述植物主体图像输入所述学生网络模型中进行特征提取,得到包含种类名的植物图像向量特征;
将所述植物图像向量特征保存到Python的列表对象中,并建立计数所述列表对象的索引码;
建立并初始化植物图像向量特征索引库,将所述列表对象转换并存储到所述植物图像向量特征索引库中,将所述索引码存储到所述植物图像向量特征索引库中,再将所述植物图像向量特征索引库保存为植物图像向量特征索引库文件;
将所述索引码与分类的所述种类名对应并写入Python的词典中,并保存为索引映射文件,完成植物图像向量特征索引库的创建。
4.根据权利要求1所述的基于深度学习和向量检索的植物分类识别的方法,其特征在于,还包括训练所述PP-PicoDet模型的步骤,所述训练所述PP-PicoDet模型的步骤包括,
预设边界框定位混合损失函数
Figure FDA0003691733600000021
所述边界框定位混合损失函数
Figure FDA0003691733600000022
的函数表达式包括:
Figure FDA0003691733600000023
Figure FDA0003691733600000024
P2=αν
Figure FDA0003691733600000025
Figure FDA0003691733600000026
式中,1-IoU表征IoU损失函数的损失值,P1表征真实边界框Br与预测边界框Bd的中心点距离,P2表征真实边界框Br与预测边界框Bd的长宽比差异,bd表征预测边界框的几何中心点,br表征真实边界框的几何中心点,ρ表征真实边界框Br与预测边界框Bd的中心点的欧氏距离,c表征预测边界框和真实边界框的并集的对角线距离,wr表征真实边界框的宽度,hr表征真实边界框的高度,wd表征预测边界框的宽度,hd表征预测边界框的高度。
5.根据权利要求4所述的基于深度学习和向量检索的植物分类识别的方法,其特征在于,还包括以下步骤,
对所述边界框定位混合损失函数
Figure FDA0003691733600000027
的定位目标损失和梯度进行重加权,所述边界框定位混合损失函数
Figure FDA0003691733600000028
的函数表达式包括:
Figure FDA0003691733600000029
式中,β表征权重值。
6.根据权利要求1-5任意一项所述的基于深度学习和向量检索的植物分类识别的方法,其特征在于,基于所述标注图像,采用改进的PP-PicoDet模型进行植物主体提取,得到植物主体图像的步骤前,还包括,
对所述标注图像进行叶色变换、随机裁剪、随机旋转的增强处理,得到预处理图像。
7.根据权利要求6所述的基于深度学习和向量检索的植物分类识别的方法,其特征在于,所述对所述标注图像进行叶色变换的增强处理的步骤包括,
对所述标注图像进行阈值化处理,并返回二值化图像;
基于所述标注图像和所述二值化图像,得到包含植物主体部分的RGB多维数组,并将所述标注图像从RGB颜色空间转换到HSV颜色空间;
从所述HSV颜色空间的所述RGB多维数组中提取H通道的数值,构成H通道多维数组,再把所述H通道多维数组的维度降为一维并去掉零值,得到一维数组,并求出所述一维数组的均值;
根据预设的映射公式,判断所述均值是否满足第一预设条件或第二预设条件;
若满足所述第一预设条件,则将该标注图像从黄色颜色空间映射到绿色颜色空间;若满足所述第二预设条件,则将该标注图像从绿色颜色空间映射到黄色颜色空间。
8.根据权利要求6所述的基于深度学习和向量检索的植物分类识别的方法,其特征在于,对所述标注图像进行随机裁剪的增强处理的步骤包括,
将所述标注图像随机裁剪成若干个预设像素的图像。
9.根据权利要求6所述的基于深度学习和向量检索的植物分类识别的方法,其特征在于,对所述标注图像进行随机旋转的增强处理的步骤包括,
将所述标注图像旋转预设的角度。
10.一种基于深度学习和向量检索的植物分类识别的装置,其特征在于,包括,
数据模块,用于获取植物图像,按植物种类名分类和对图像内的植物主体范围进行标注,得到标注图像;
主体提取模块,用于基于所述标注图像,采用改进的PP-PicoDet模型进行植物主体提取,得到植物主体图像;
特征提取模块,用于将所述植物主体图像输入预设的学生网络模型进行特征提取,得到植物图像向量特征;
种类识别模块,用于基于预设的植物图像向量特征索引库,将所述植物图像向量特征与所述植物图像向量特征索引库的文件中保存的植物图像向量特征进行对比检索,获得向量相似度最高的特征对应的存储于所述植物图像向量特征索引库内的索引码,以基于所述索引码在所述植物图像向量特征索引库中找到对应的植物种类。
11.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现权利要求1至9任意一项所述方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至9任意一项所述方法的步骤。
CN202210662963.2A 2022-06-13 2022-06-13 一种基于深度学习和向量检索的植物分类识别的方法、装置、设备及存储介质 Pending CN115100460A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210662963.2A CN115100460A (zh) 2022-06-13 2022-06-13 一种基于深度学习和向量检索的植物分类识别的方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210662963.2A CN115100460A (zh) 2022-06-13 2022-06-13 一种基于深度学习和向量检索的植物分类识别的方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115100460A true CN115100460A (zh) 2022-09-23

Family

ID=83290192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210662963.2A Pending CN115100460A (zh) 2022-06-13 2022-06-13 一种基于深度学习和向量检索的植物分类识别的方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115100460A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870569A (zh) * 2014-03-13 2014-06-18 北方信息控制集团有限公司 一种基于内容的彩色动物图像检索方法与***
US20190244362A1 (en) * 2018-02-06 2019-08-08 Google Llc Differentiable Jaccard Loss Approximation for Training an Artificial Neural Network
CN110717451A (zh) * 2019-10-10 2020-01-21 电子科技大学 一种基于深度学习的药用植物叶部病害图像识别方法
CN113657469A (zh) * 2021-07-30 2021-11-16 广东省生态气象中心(珠江三角洲环境气象预报预警中心) 基于图像识别的木本植物物候期的自动观测方法和***
CN113674247A (zh) * 2021-08-23 2021-11-19 河北工业大学 一种基于卷积神经网络的x射线焊缝缺陷检测方法
CN113868460A (zh) * 2020-06-30 2021-12-31 苏宁云计算有限公司 一种图像检索方法、装置及***
CN114266884A (zh) * 2021-12-13 2022-04-01 浙江工业大学 旋转框定位多形态瓶状物品分拣目标检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870569A (zh) * 2014-03-13 2014-06-18 北方信息控制集团有限公司 一种基于内容的彩色动物图像检索方法与***
US20190244362A1 (en) * 2018-02-06 2019-08-08 Google Llc Differentiable Jaccard Loss Approximation for Training an Artificial Neural Network
CN110717451A (zh) * 2019-10-10 2020-01-21 电子科技大学 一种基于深度学习的药用植物叶部病害图像识别方法
CN113868460A (zh) * 2020-06-30 2021-12-31 苏宁云计算有限公司 一种图像检索方法、装置及***
CN113657469A (zh) * 2021-07-30 2021-11-16 广东省生态气象中心(珠江三角洲环境气象预报预警中心) 基于图像识别的木本植物物候期的自动观测方法和***
CN113674247A (zh) * 2021-08-23 2021-11-19 河北工业大学 一种基于卷积神经网络的x射线焊缝缺陷检测方法
CN114266884A (zh) * 2021-12-13 2022-04-01 浙江工业大学 旋转框定位多形态瓶状物品分拣目标检测方法

Similar Documents

Publication Publication Date Title
CN111680701B (zh) 图像识别模型的训练方法、装置及图像识别方法、装置
CN111062885B (zh) 基于多阶段迁移学习的标志检测模型训练及标志检测方法
CN110334585A (zh) 表格识别方法、装置、计算机设备和存储介质
CN110738207A (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN113705641B (zh) 基于富上下文网络的高光谱图像分类方法
CN103020265B (zh) 图像检索的方法和***
CN111325766B (zh) 三维边缘检测方法、装置、存储介质和计算机设备
CN110188217A (zh) 图像查重方法、装置、设备和计算机可读储存介质
CN111860537B (zh) 基于深度学习的绿色柑橘识别方法、设备及装置
CN110689039A (zh) 一种基于四通道卷积神经网络的树干纹理识别方法
CN110175170A (zh) 数据优化处理方法、装置、计算机设备及存储介质
CN108564116A (zh) 一种摄像头场景图像的成分智能分析方法
CN109741380B (zh) 纺织品图片快速匹配方法和装置
CN112418033B (zh) 基于mask rcnn神经网络的滑坡坡面分割识别方法
CN111860601B (zh) 预测大型真菌种类的方法及装置
CN113761262A (zh) 图像的检索类别确定方法、***以及图像检索方法
CN115100460A (zh) 一种基于深度学习和向量检索的植物分类识别的方法、装置、设备及存储介质
CN107193979A (zh) 一种同源图片检索的方法
Park et al. A review and comparison of convolution neural network models under a unified framework
CN115565115A (zh) 一种舾装件智能识别方法、计算机设备
CN111209922B (zh) 基于svm和opencv的图像色系风格标记方法、装置、设备及介质
CN113989671A (zh) 基于语义感知与动态图卷积的遥感场景分类方法及***
CN112597329A (zh) 一种基于改进的语义分割网络的实时图像检索方法
CN111950548A (zh) 一种引入字库文字图像进行深度模板匹配的汉字识别方法
CN118155210B (zh) 一种基于机器学习的文字处理功能测试***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination