CN116246176A - 一种农作物的病害检测方法、装置、电子设备及存储介质 - Google Patents

一种农作物的病害检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116246176A
CN116246176A CN202310532458.0A CN202310532458A CN116246176A CN 116246176 A CN116246176 A CN 116246176A CN 202310532458 A CN202310532458 A CN 202310532458A CN 116246176 A CN116246176 A CN 116246176A
Authority
CN
China
Prior art keywords
feature vector
disease
historical
determining
crops
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310532458.0A
Other languages
English (en)
Other versions
CN116246176B (zh
Inventor
李政道
陈飞勇
刘汝鹏
宋杨
吴恒钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jianzhu University
Original Assignee
Shandong Jianzhu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Jianzhu University filed Critical Shandong Jianzhu University
Priority to CN202310532458.0A priority Critical patent/CN116246176B/zh
Publication of CN116246176A publication Critical patent/CN116246176A/zh
Application granted granted Critical
Publication of CN116246176B publication Critical patent/CN116246176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Computing Systems (AREA)
  • Economics (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种农作物的病害检测方法、装置、电子设备及存储介质，涉及智慧农业技术领域。通过获取农作物的拍摄图像数据，根据颜色范围和拍摄图像数据确定权重图像数据；获取农作物的文字描述数据，根据词性类别和文字描述数据确定关键词序列；对权重图像数据和关键词序列进行特征提取，得到图像特征向量和文字特征向量，根据图像特征向量和文字特征向量确定融合特征向量；将融合特征向量与病害数据库进行匹配，得到病害类别和病害程度。本发明将图像拍摄数据和文字描述数据融合，准确得到农作物的病害特征，通过病害数据库快速地查找出病害类别和病害程度。解决了现有技术中通过农技人员诊断农作物的病害情况，容易出现误诊的问题。

Description

一种农作物的病害检测方法、装置、电子设备及存储介质
技术领域
本发明涉及智慧农业技术领域，尤其涉及一种农作物的病害检测方法、装置、电子设备及存储介质。
背景技术
传统农业的发展主要依赖于农技人员长期在田地间劳作，农作物的诊断也全部依靠农民在田间观察解决，这种处理方式简单易行，全部依赖农户的种田经验。然而当农作物所遭受的虫害或者灾害超出农户经验范围之外，有可能会造成误诊的情况，耽误农作物的最佳治疗时期，影响农作物收成。
因此，现有技术还有待改进和发展。
发明内容
本发明提供一种农作物的病害检测方法、装置、电子设备及存储介质，用以解决现有技术中通过农技人员诊断农作物的病害情况，容易出现误诊的问题，实现自动化病害检测。
本发明提供一种农作物的病害检测方法，所述方法包括：
获取农作物对应的拍摄图像数据，根据预设的颜色范围和所述拍摄图像数据确定权重图像数据；
获取所述农作物对应的文字描述数据，根据预设的词性类别和所述文字描述数据确定关键词序列；
分别对所述权重图像数据和所述关键词序列进行特征提取，得到图像特征向量和文字特征向量，根据所述图像特征向量和所述文字特征向量确定融合特征向量；
将所述融合特征向量与预设的病害数据库进行向量匹配，得到匹配结果，根据所述匹配结果确定所述农作物对应的目标病害类别和目标病害程度，其中，所述病害数据库为父子节点的存储结构，各父节点的特征向量标签分别对应不同的病害类别，每一所述父节点关联若干子节点，各所述子节点的所述特征向量标签分别对应所述病害类别的不同病害程度。
根据本发明提供的一种农作物的病害检测方法，各所述特征向量标签的确定方法包括：
获取各所述病害类别分别对应的历史病害数据集，其中，每一所述历史病害数据集包括若干历史拍摄图像数据和各所述历史拍摄图像数据分别对应的历史文字描述数据；
根据各所述历史病害数据集确定各所述父节点分别对应的所述特征向量标签；
获取预设的图像相似度和文字相似度，根据各所述历史病害数据集、所述图像相似度以及所述文字相似度，确定各所述历史病害数据集分别对应的若干子数据集，其中，每一所述子数据集中各所述历史拍摄图像数据之间的相似度均大于所述图像相似度，且各所述历史拍摄图像数据分别对应的所述历史文字描述数据之间的相似度均大于所述文字相似度；
根据各所述子数据集确定各所述子节点分别对应的所述特征向量标签。
根据本发明提供的一种农作物的病害检测方法，将任意一个所述历史病害数据集或者所述子数据集作为目标数据集，所述目标数据集对应的目标节点的所述特征向量标签的确定方法包括：
获取所述目标数据集中各所述历史拍摄图像数据分别对应的历史图像特征向量和各所述历史文字描述数据分别对应的历史文字特征向量；
对各所述历史图像特征向量和各所述历史文字特征向量进行融合，得到历史融合特征向量；
获取各所述历史图像特征向量对应的图像公共特征向量和各所述历史文字特征向量对应的文字公共特征向量，对所述图像公共特征向量和所述文字公共特征向量进行融合得到公共特征向量；
根据所述历史融合特征向量和所述公共特征向量确定所述目标节点的所述特征向量标签，其中，当所述融合特征向量与所述目标节点的所述特征向量标签进行匹配时，将所述融合特征向量分别与所述公共特征向量和所述历史融合特征向量进行匹配得到两个匹配结果，根据两个匹配结果确定所述融合特征向量与所述目标节点的所述特征向量标签的匹配结果。
根据本发明提供的一种农作物的病害检测方法，所述根据预设的颜色范围和所述拍摄图像数据确定权重图像数据，包括：
将所述拍摄图像数据中所述颜色范围之外的像素点转换为预设的背景颜色，得到简化图像数据，其中，所述颜色范围基于所述农作物的颜色类别确定；
从所述颜色范围中确定所述农作物在无病害状态下的标准颜色；
根据所述背景颜色和所述标准颜色确定所述简化图像数据中各像素点分别对应的权重值，得到所述权重图像数据，其中，所述背景颜色对应的像素点的权重值最低，除所述背景颜色对应的像素点之外，越接近所述标准颜色的像素点的权重值越低。
根据本发明提供的一种农作物的病害检测方法，所述词性类别为名词和形容词，所述根据预设的词性类别和所述文字描述数据确定关键词序列，包括：
对所述文字描述数据进行遍历，遍历时将所述文字描述数据中的名词和形容词作为关键词进行摘取；
根据各所述关键词和各所述关键词的摘取顺序，生成所述关键词序列。
根据本发明提供的一种农作物的病害检测方法，所述根据所述图像特征向量和所述文字特征向量确定融合特征向量，包括：
将所述文字特征向量输入预设的向量转换模型，得到所述文字特征向量对应的预测图像特征向量；
对所述图像特征向量和所述预测图像特征向量进行融合，得到所述融合特征向量。
根据本发明提供的一种农作物的病害检测方法，所述方法还包括：
根据所述目标病害类别和所述目标病害程度，确定所述农作物对应的病害解决方案。
本发明还提供一种农作物的病害检测装置，所述装置包括：
图像处理模块，用于获取农作物对应的拍摄图像数据，根据预设的颜色范围和所述拍摄图像数据确定权重图像数据；
文字处理模块，用于获取所述农作物对应的文字描述数据，根据预设的词性类别和所述文字描述数据确定关键词序列；
特征提取模块，用于分别对所述权重图像数据和所述关键词序列进行特征提取，得到图像特征向量和文字特征向量，根据所述图像特征向量和所述文字特征向量确定融合特征向量；
病害确定模块，用于将所述融合特征向量与预设的病害数据库进行向量匹配，得到匹配结果，根据所述匹配结果确定所述农作物对应的目标病害类别和目标病害程度，其中，所述病害数据库为父子节点的存储结构，各父节点的特征向量标签分别对应不同的病害类别，每一所述父节点关联若干子节点，各所述子节点的所述特征向量标签分别对应所述病害类别的不同病害程度。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的农作物的病害检测方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的农作物的病害检测方法。
本发明的有益效果在于：本发明提供的一种农作物的病害检测方法、装置、电子设备及存储介质，通过融合图像拍摄数据和文字描述数据，可以准确得到农作物的病害特征。并且通过父子节点形式的病害数据库可以快速地基于病害特征查找出农作物的病害类别和病害程度，降低了农作物病害检测过程中的人工参与度。解决了现有技术中通过农技人员诊断农作物的病害情况，容易出现误诊的问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的农作物的病害检测方法的流程示意图；
图2是本发明提供的农作物的病害检测装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
附图标记：
210：图像处理模块；220：文字处理模块；230：特征提取模块；240：病害确定模块；310：处理器；320：通信接口；330：存储器；340：通信总线。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图3描述本发明的一种农作物的病害检测方法、装置、电子设备及存储介质。
如图1所示，所述方法包括步骤：
S100、获取农作物对应的拍摄图像数据，根据预设的颜色范围和所述拍摄图像数据确定权重图像数据；
S200、获取所述农作物对应的文字描述数据，根据预设的词性类别和所述文字描述数据确定关键词序列；
S300、分别对所述权重图像数据和所述关键词序列进行特征提取，得到图像特征向量和文字特征向量，根据所述图像特征向量和所述文字特征向量确定融合特征向量；
S400、将所述融合特征向量与预设的病害数据库进行向量匹配，得到匹配结果，根据所述匹配结果确定所述农作物对应的目标病害类别和目标病害程度，其中，所述病害数据库为父子节点的存储结构，各父节点的特征向量标签分别对应不同的病害类别，每一所述父节点关联若干子节点，各所述子节点的所述特征向量标签分别对应所述病害类别的不同病害程度。
具体地，农技人员可以通过手机、无人机等拍摄方式获取存在病害的农作物的拍摄图像数据，拍摄图像数据可以反映农作物的颜色、形状等视觉特征。然而拍摄图像数据中不仅有农作物还有其他冗余的背景，为降低冗余背景的干扰，本实施例预先针对农作物的真实颜色设定了一个颜色范围，拍摄图像数据中颜色值处于颜色范围之外的像素点表示非农作物所在区域，颜色值处于颜色范围之内的像素点表示农作物所在区域，然后通过颜色范围对拍摄图像数据中各像素点进行权重分配，得到权重图像数据，从而使模型将更多的注意力放在农作物所在区域，降低冗余背景的干扰。此外，遭受病害的农作物还可能存在无法通过图像体现的其他非视觉特征，例如触感***糙，气味变难闻等等，因此为了提高病害检测的准确度，还需要获取农技人员针对农作物输入的文字描述数据，为了降低文字描述数据中无效词的干扰，例如无意义的语气词、连接词等等，本实施例预先设定了关键词的词性类别，通过词性类别从文字描述数据中摘取关键词，得到关键词序列。然后分别对权重图像数据和关键词序列进行特征提取后再融合，得到可以准确反映农作物的病害特征的融合特征向量。然后将融合特征向量与预先构建的病害数据库进行匹配。病害数据库是父子节点的存储结构，其存在多个父节点，每个父节点又关联有多个子节点，本实施例设定每个父节点对应一个病害类别，每个子节点对应一个病害类别的一种病害程度，各父节点/子节点均包含有一个特定的特征向量标签。融合特征向量与病害数据库匹配时，先与各父节点的特征向量标签进行匹配，根据匹配程度最高的父节点确定农作物的病害类别。再与匹配程度最高的父节点的各子节点进行匹配，根据匹配程度最高的子节点确定农作物的病害程度。本实施例通过融合图像拍摄数据和文字描述数据，可以准确得到农作物的病害特征。并且通过父子节点形式的病害数据库可以快速地基于病害特征查找出农作物的病害类别和病害程度，降低了农作物病害检测过程中的人工参与度。解决了解决现有技术中通过农技人员诊断农作物的病害情况，容易出现误诊的问题。
在一种实现方式中，所述根据预设的颜色范围和所述拍摄图像数据确定权重图像数据，包括：
将所述拍摄图像数据中所述颜色范围之外的像素点转换为预设的背景颜色，得到简化图像数据，其中，所述颜色范围基于所述农作物的颜色类别确定；
从所述颜色范围中确定所述农作物在无病害状态下的标准颜色；
根据所述背景颜色和所述标准颜色确定所述简化图像数据中各像素点分别对应的权重值，得到所述权重图像数据，其中，所述背景颜色对应的像素点的权重值最低，除所述背景颜色对应的像素点之外，越接近所述标准颜色的像素点的权重值越低。
简单来说，拍摄图像数据中颜色值位于颜色范围之外的像素点表示非农作物所在区域，为了降低这类像素点的干扰，将这类像素点转换为统一的背景色，并赋予其最低的权重值，使得模型不会将过多注意力分配给这类像素点。拍摄图像数据中颜色值位于颜色范围之内的像素点表示农作物所在区域，因此赋予这类像素点比背景色的像素点更高的权重值。然而农作物所在区域上并非每一处都是病害区域，因此本实施例预先确定了农作物在无病害状态下的标准颜色，颜色值与标准颜色越接近的像素点为病害区域的可能性越低，颜色值与标准颜色越背离的像素点为病害区域的可能性越高，因此赋予颜色值与标准颜色相似度值越低的像素点的权重值越高，使得模型将更多的注意力放在病害区域上，提高病害检测的准确度。
在一种实现方式中，所述词性类别为名词和形容词，所述根据预设的词性类别和所述文字描述数据确定关键词序列，包括：
对所述文字描述数据进行遍历，遍历时将所述文字描述数据中的名词和形容词作为关键词进行摘取；
根据各所述关键词和各所述关键词的摘取顺序，生成所述关键词序列。
具体地，由于名词可以反映文字描述数据中涉及的植物器官，形容词可以反映文字描述数据涉及的各植物器官的表现，因此本实施例将名词和形容词作为关键词从文字描述数据中摘取出来，并根据各关键词的摘取顺序生成时间序列形式的关键词序列。通过关键词序列来精简文字描述数据的信息。
在一种实现方式中，所述根据所述图像特征向量和所述文字特征向量确定融合特征向量，包括：
将所述文字特征向量输入预设的向量转换模型，得到所述文字特征向量对应的预测图像特征向量；
对所述图像特征向量和所述预测图像特征向量进行融合，得到所述融合特征向量。
具体地，本实施例预先构建了一个向量转换模型，将文字特征向量输入向量转换模型，向量转换模型根据输入的文字特征向量确定具有相似含义的图像数据，并提取该图像数据的特征向量，得到该文字特征向量对应的预测图像特征向量。最后将图像特征向量和预测图像特征向量进行融合得到融合特征向量，通过融合特征向量可以全面、准确地体现农作物的病害特征。
在一种实现方式中，向量转换模型的工作原理为：根据所述文字特征向量确定若干图像元素和各所述图像元素分别对应的滤镜参数，其中，各所述图像元素分别对应不同的植物器官，各所述滤镜参数分别对应不同的形容词；根据各所述图像元素和各所述图像元素的所述滤镜参数，生成所述文字特征向量对应的图像数据；对所述图像数据进行特征提取，得到所述预测图像特征向量。
在一种实现方式中，所述滤镜参数可以为对比度、亮度、粗糙度中的一种或者多种。
在另一种实现方式中，所述根据所述图像特征向量和所述文字特征向量确定融合特征向量，包括：将所述图像特征向量和所述文字特征向量输入预设的多模态融合模型，得到所述融合特征向量。
在一种实现方式中，各所述特征向量标签的确定方法包括：
获取各所述病害类别分别对应的历史病害数据集，其中，每一所述历史病害数据集包括若干历史拍摄图像数据和各所述历史拍摄图像数据分别对应的历史文字描述数据；
根据各所述历史病害数据集确定各所述父节点分别对应的所述特征向量标签；
获取预设的图像相似度和文字相似度，根据各所述历史病害数据集、所述图像相似度以及所述文字相似度，确定各所述历史病害数据集分别对应的若干子数据集，其中，每一所述子数据集中各所述历史拍摄图像数据之间的相似度均大于所述图像相似度，且各所述历史拍摄图像数据分别对应的所述历史文字描述数据之间的相似度均大于所述文字相似度；
根据各所述子数据集确定各所述子节点分别对应的所述特征向量标签。
简单来说，为了构建病害数据库，本实施例预先采集了大量不同病害类别下农作物的历史拍摄图像数据和历史文字描述数据，即得到不同病害类别的历史病害数据集。针对每一种病害类别，首先构建一个与该病害类别对应的父节点。然后对该病害类别的历史病害数据集进行特征提取，得到该父节点对应的特征向量标签。然后通过预设的图像相似度将该病害类别的历史病害数据集中的历史拍摄图像数据分为若干集合；通过预设的文字相似度判断各集合是否需要再次分割，其中，针对每一集合，若该集合中各历史拍摄图像数据的历史文字描述数据之间的相似度大于文字相似度，则无需再次分割，反之需要再次分割，直至得到的集合中各历史拍摄图像数据之间的相似度大于图像相似度，且各历史拍摄图像数据的文字描述数据之间的相似度大于文字相似度，则停止分割，得到该病害类别对应的若干子数据集。根据各子数据集分别构建一个与该病害类别的父节点关联的子节点。针对每一子节点，通过对该子节点对应的子数据集进行特征提取，得到该子节点对应的特征向量标签。最后通过人工标注的方式，确定各子节点分别对应的病害程度，通过人工确认的方式来确定各父节点分别对应的病害类别是否正确。本实施例通过父子节点形式构建病害数据库，实现了对历史病害数据的结构化存储，可以便于后续快速查找出农作物的病害类型和病害程度。
在一种实现方式中，将任意一个所述历史病害数据集或者所述子数据集作为目标数据集，所述目标数据集对应的目标节点的所述特征向量标签的确定方法包括：
获取所述目标数据集中各所述历史拍摄图像数据分别对应的历史图像特征向量和各所述历史文字描述数据分别对应的历史文字特征向量；
对各所述历史图像特征向量和各所述历史文字特征向量进行融合，得到历史融合特征向量；
获取各所述历史图像特征向量对应的图像公共特征向量和各所述历史文字特征向量对应的文字公共特征向量，对所述图像公共特征向量和所述文字公共特征向量进行融合得到公共特征向量；
根据所述历史融合特征向量和所述公共特征向量确定所述目标节点的所述特征向量标签，其中，当所述融合特征向量与所述目标节点的所述特征向量标签进行匹配时，将所述融合特征向量分别与所述公共特征向量和所述历史融合特征向量进行匹配得到两个匹配结果，根据两个匹配结果确定所述融合特征向量与所述目标节点的所述特征向量标签的匹配结果。
简单来说，目标节点的特征向量标签实际包括两种特征向量，一种是将目标数据集中所有历史拍摄图像数据和所有历史文字描述数据分别进行特征提取，再将得到的所有历史图像特征向量和所有历史文字特征向量进行多模态融合后得到历史融合特征向量；另一种是提取所有历史图像特征向量共有的特征向量，得到图像公共特征向量，提取所有历史文字特征向量共有的特征向量，得到文字公共特征向量，最后将图像公共特征向量和文字公共特征向量进行多模态融合后得到公共特征向量。由于农作物的融合特征向量在与病害数据库匹配时，主要是与各父子节点的特征向量标签进行匹配。所以当融合特征向量与目标节点的特征向量标签进行匹配时，需要将融合特征向量分别与公共特征向量和历史融合特征向量进行匹配得到两个匹配结果，再基于两个匹配结果确定最终的匹配结果。可以理解的是，公共特征向量从局部反映了目标节点对应的病害类型/病害程度的特有、专属的特征，而历史融合特征向量则从全局反映了目标节点对应的病害类型/病害程度的广泛特征，因此通过这两种特征向量组合形成的特征向量标签可以进一步提高病害数据库的匹配精度，得到更准确的病害检测结果。
在一种实现方式中，所述方法还包括：获取历史融合特征向量和公共特征向量分别对应的权重值，其中，历史融合特征向量的权重值低于公共特征向量的权重值；根据历史融合特征向量和公共特征向量分别对应的匹配结果和权重值进行加权计算，得到权重匹配结果；根据权重匹配结果，确定融合特征向量和目标节点的匹配结果。
在一种实现方式中，所述方法还包括：
根据所述目标病害类别和所述目标病害程度，确定所述农作物对应的病害解决方案。
具体地，本实施例可以根据检测出的农作物的目标病害类别和目标病害程度，智能化地为农技人员推荐合适的病害解决方案。例如，可以将农作物的名称、目标病害类别以及目标病害程度发送到云服务器，通过云服务器搜索并反馈对应的病害解决方案；也可以预先构建包含有不同病害类别和病害程度的病害解决方案数据库，根据目标病害类别和目标病害程度在病害解决方案数据库中查找出对应的病害解决方案；还可以根据目标病害类别和目标病害程度生成农作物的病害问题，并将病害问题在线发送给多位专家人员，获取各专家人员反馈的病害解决方案。
下面对本发明提供的农作物的病害检测装置进行描述，下文描述的农作物的病害检测装置与上文描述的农作物的病害检测方法可相互对应参照。
如图2所示，所述装置包括：
图像处理模块210，用于获取农作物对应的拍摄图像数据，根据预设的颜色范围和所述拍摄图像数据确定权重图像数据；
文字处理模块220，用于获取所述农作物对应的文字描述数据，根据预设的词性类别和所述文字描述数据确定关键词序列；
特征提取模块230，用于分别对所述权重图像数据和所述关键词序列进行特征提取，得到图像特征向量和文字特征向量，根据所述图像特征向量和所述文字特征向量确定融合特征向量；
病害确定模块240，用于将所述融合特征向量与预设的病害数据库进行向量匹配，得到匹配结果，根据所述匹配结果确定所述农作物对应的目标病害类别和目标病害程度，其中，所述病害数据库为父子节点的存储结构，各父节点的特征向量标签分别对应不同的病害类别，每一所述父节点关联若干子节点，各所述子节点的所述特征向量标签分别对应所述病害类别的不同病害程度。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行农作物的病害检测方法，该方法包括：
获取农作物对应的拍摄图像数据，根据预设的颜色范围和所述拍摄图像数据确定权重图像数据；
获取所述农作物对应的文字描述数据，根据预设的词性类别和所述文字描述数据确定关键词序列；
分别对所述权重图像数据和所述关键词序列进行特征提取，得到图像特征向量和文字特征向量，根据所述图像特征向量和所述文字特征向量确定融合特征向量；
将所述融合特征向量与预设的病害数据库进行向量匹配，得到匹配结果，根据所述匹配结果确定所述农作物对应的目标病害类别和目标病害程度，其中，所述病害数据库为父子节点的存储结构，各父节点的特征向量标签分别对应不同的病害类别，每一所述父节点关联若干子节点，各所述子节点的所述特征向量标签分别对应所述病害类别的不同病害程度。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的农作物的病害检测方法，该方法包括：
获取农作物对应的拍摄图像数据，根据预设的颜色范围和所述拍摄图像数据确定权重图像数据；
获取所述农作物对应的文字描述数据，根据预设的词性类别和所述文字描述数据确定关键词序列；
分别对所述权重图像数据和所述关键词序列进行特征提取，得到图像特征向量和文字特征向量，根据所述图像特征向量和所述文字特征向量确定融合特征向量；
将所述融合特征向量与预设的病害数据库进行向量匹配，得到匹配结果，根据所述匹配结果确定所述农作物对应的目标病害类别和目标病害程度，其中，所述病害数据库为父子节点的存储结构，各父节点的特征向量标签分别对应不同的病害类别，每一所述父节点关联若干子节点，各所述子节点的所述特征向量标签分别对应所述病害类别的不同病害程度。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的农作物的病害检测方法，该方法包括：
获取农作物对应的拍摄图像数据，根据预设的颜色范围和所述拍摄图像数据确定权重图像数据；
获取所述农作物对应的文字描述数据，根据预设的词性类别和所述文字描述数据确定关键词序列；
分别对所述权重图像数据和所述关键词序列进行特征提取，得到图像特征向量和文字特征向量，根据所述图像特征向量和所述文字特征向量确定融合特征向量；
将所述融合特征向量与预设的病害数据库进行向量匹配，得到匹配结果，根据所述匹配结果确定所述农作物对应的目标病害类别和目标病害程度，其中，所述病害数据库为父子节点的存储结构，各父节点的特征向量标签分别对应不同的病害类别，每一所述父节点关联若干子节点，各所述子节点的所述特征向量标签分别对应所述病害类别的不同病害程度。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种农作物的病害检测方法，其特征在于，所述方法包括：
获取农作物对应的拍摄图像数据，根据预设的颜色范围和所述拍摄图像数据确定权重图像数据；
获取所述农作物对应的文字描述数据，根据预设的词性类别和所述文字描述数据确定关键词序列；
分别对所述权重图像数据和所述关键词序列进行特征提取，得到图像特征向量和文字特征向量，根据所述图像特征向量和所述文字特征向量确定融合特征向量；
将所述融合特征向量与预设的病害数据库进行向量匹配，得到匹配结果，根据所述匹配结果确定所述农作物对应的目标病害类别和目标病害程度，其中，所述病害数据库为父子节点的存储结构，各父节点的特征向量标签分别对应不同的病害类别，每一所述父节点关联若干子节点，各所述子节点的所述特征向量标签分别对应所述病害类别的不同病害程度。
2.根据权利要求1所述的农作物的病害检测方法，其特征在于，各所述特征向量标签的确定方法包括：
获取各所述病害类别分别对应的历史病害数据集，其中，每一所述历史病害数据集包括若干历史拍摄图像数据和各所述历史拍摄图像数据分别对应的历史文字描述数据；
根据各所述历史病害数据集确定各所述父节点分别对应的所述特征向量标签；
获取预设的图像相似度和文字相似度，根据各所述历史病害数据集、所述图像相似度以及所述文字相似度，确定各所述历史病害数据集分别对应的若干子数据集，其中，每一所述子数据集中各所述历史拍摄图像数据之间的相似度均大于所述图像相似度，且各所述历史拍摄图像数据分别对应的所述历史文字描述数据之间的相似度均大于所述文字相似度；
根据各所述子数据集确定各所述子节点分别对应的所述特征向量标签。
3.根据权利要求2所述的农作物的病害检测方法，其特征在于，将任意一个所述历史病害数据集或者所述子数据集作为目标数据集，所述目标数据集对应的目标节点的所述特征向量标签的确定方法包括：
获取所述目标数据集中各所述历史拍摄图像数据分别对应的历史图像特征向量和各所述历史文字描述数据分别对应的历史文字特征向量；
对各所述历史图像特征向量和各所述历史文字特征向量进行融合，得到历史融合特征向量；
获取各所述历史图像特征向量对应的图像公共特征向量和各所述历史文字特征向量对应的文字公共特征向量，对所述图像公共特征向量和所述文字公共特征向量进行融合得到公共特征向量；
根据所述历史融合特征向量和所述公共特征向量确定所述目标节点的所述特征向量标签，其中，当所述融合特征向量与所述目标节点的所述特征向量标签进行匹配时，将所述融合特征向量分别与所述公共特征向量和所述历史融合特征向量进行匹配得到两个匹配结果，根据两个匹配结果确定所述融合特征向量与所述目标节点的所述特征向量标签的匹配结果。
4.根据权利要求1所述的农作物的病害检测方法，其特征在于，所述根据预设的颜色范围和所述拍摄图像数据确定权重图像数据，包括：
将所述拍摄图像数据中所述颜色范围之外的像素点转换为预设的背景颜色，得到简化图像数据，其中，所述颜色范围基于所述农作物的颜色类别确定；
从所述颜色范围中确定所述农作物在无病害状态下的标准颜色；
根据所述背景颜色和所述标准颜色确定所述简化图像数据中各像素点分别对应的权重值，得到所述权重图像数据，其中，所述背景颜色对应的像素点的权重值最低，除所述背景颜色对应的像素点之外，越接近所述标准颜色的像素点的权重值越低。
5.根据权利要求1所述的农作物的病害检测方法，其特征在于，所述词性类别为名词和形容词，所述根据预设的词性类别和所述文字描述数据确定关键词序列，包括：
对所述文字描述数据进行遍历，遍历时将所述文字描述数据中的名词和形容词作为关键词进行摘取；
根据各所述关键词和各所述关键词的摘取顺序，生成所述关键词序列。
6.根据权利要求1所述的农作物的病害检测方法，其特征在于，所述根据所述图像特征向量和所述文字特征向量确定融合特征向量，包括：
将所述文字特征向量输入预设的向量转换模型，得到所述文字特征向量对应的预测图像特征向量；
对所述图像特征向量和所述预测图像特征向量进行融合，得到所述融合特征向量。
7.根据权利要求1所述的农作物的病害检测方法，其特征在于，所述根据所述匹配结果确定所述农作物对应的目标病害类别和目标病害程度之后，所述方法还包括：
根据所述目标病害类别和所述目标病害程度，确定所述农作物对应的病害解决方案。
8.一种农作物的病害检测装置，其特征在于，所述装置包括：
图像处理模块，用于获取农作物对应的拍摄图像数据，根据预设的颜色范围和所述拍摄图像数据确定权重图像数据；
文字处理模块，用于获取所述农作物对应的文字描述数据，根据预设的词性类别和所述文字描述数据确定关键词序列；
特征提取模块，用于分别对所述权重图像数据和所述关键词序列进行特征提取，得到图像特征向量和文字特征向量，根据所述图像特征向量和所述文字特征向量确定融合特征向量；
病害确定模块，用于将所述融合特征向量与预设的病害数据库进行向量匹配，得到匹配结果，根据所述匹配结果确定所述农作物对应的目标病害类别和目标病害程度，其中，所述病害数据库为父子节点的存储结构，各父节点的特征向量标签分别对应不同的病害类别，每一所述父节点关联若干子节点，各所述子节点的所述特征向量标签分别对应所述病害类别的不同病害程度。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的农作物的病害检测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的农作物的病害检测方法。
CN202310532458.0A 2023-05-12 2023-05-12 一种农作物的病害检测方法、装置、电子设备及存储介质 Active CN116246176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310532458.0A CN116246176B (zh) 2023-05-12 2023-05-12 一种农作物的病害检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310532458.0A CN116246176B (zh) 2023-05-12 2023-05-12 一种农作物的病害检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116246176A true CN116246176A (zh) 2023-06-09
CN116246176B CN116246176B (zh) 2023-09-19

Family

ID=86631705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310532458.0A Active CN116246176B (zh) 2023-05-12 2023-05-12 一种农作物的病害检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116246176B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473530A (zh) * 2013-08-30 2013-12-25 天津理工大学 基于多视图和多模态特征的自适应动作识别方法
CN108256549A (zh) * 2017-12-13 2018-07-06 北京达佳互联信息技术有限公司 图像分类方法、装置及终端
CN111444960A (zh) * 2020-03-26 2020-07-24 上海交通大学 基于多模态数据输入的皮肤病图像分类***
AU2020102885A4 (en) * 2020-10-20 2020-12-17 Xijing University Disease recognition method of winter jujube based on deep convolutional neural network and disease image
AU2020103613A4 (en) * 2020-11-23 2021-02-04 Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences Cnn and transfer learning based disease intelligent identification method and system
CN113094464A (zh) * 2021-03-31 2021-07-09 哈尔滨理工大学 可扩展的农作物病害分析库的建立以及辅助鉴定方法
US20220036006A1 (en) * 2020-07-30 2022-02-03 International Business Machines Corporation Feature vector generation for probabalistic matching
US20220076828A1 (en) * 2020-09-10 2022-03-10 Babylon Partners Limited Context Aware Machine Learning Models for Prediction
CN114842240A (zh) * 2022-04-06 2022-08-02 盐城工学院 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法
WO2022178961A1 (zh) * 2021-02-23 2022-09-01 北京亿药科技有限公司 一种基于神经网络和连接图算法的化合物功能预测方法
CN115048537A (zh) * 2022-07-11 2022-09-13 河北农业大学 一种基于图像-文本多模态协同表示的病害识别***
CN115660291A (zh) * 2022-12-12 2023-01-31 广东省农业科学院植物保护研究所 一种植物病害发生与潜在发生的识别评估方法及***
CN115761529A (zh) * 2023-01-09 2023-03-07 阿里巴巴（中国）有限公司 图像处理方法和电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473530A (zh) * 2013-08-30 2013-12-25 天津理工大学 基于多视图和多模态特征的自适应动作识别方法
CN108256549A (zh) * 2017-12-13 2018-07-06 北京达佳互联信息技术有限公司 图像分类方法、装置及终端
CN111444960A (zh) * 2020-03-26 2020-07-24 上海交通大学 基于多模态数据输入的皮肤病图像分类***
US20220036006A1 (en) * 2020-07-30 2022-02-03 International Business Machines Corporation Feature vector generation for probabalistic matching
US20220076828A1 (en) * 2020-09-10 2022-03-10 Babylon Partners Limited Context Aware Machine Learning Models for Prediction
AU2020102885A4 (en) * 2020-10-20 2020-12-17 Xijing University Disease recognition method of winter jujube based on deep convolutional neural network and disease image
AU2020103613A4 (en) * 2020-11-23 2021-02-04 Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences Cnn and transfer learning based disease intelligent identification method and system
WO2022178961A1 (zh) * 2021-02-23 2022-09-01 北京亿药科技有限公司 一种基于神经网络和连接图算法的化合物功能预测方法
CN113094464A (zh) * 2021-03-31 2021-07-09 哈尔滨理工大学 可扩展的农作物病害分析库的建立以及辅助鉴定方法
CN114842240A (zh) * 2022-04-06 2022-08-02 盐城工学院 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法
CN115048537A (zh) * 2022-07-11 2022-09-13 河北农业大学 一种基于图像-文本多模态协同表示的病害识别***
CN115660291A (zh) * 2022-12-12 2023-01-31 广东省农业科学院植物保护研究所 一种植物病害发生与潜在发生的识别评估方法及***
CN115761529A (zh) * 2023-01-09 2023-03-07 阿里巴巴（中国）有限公司 图像处理方法和电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JI ZHOU 等: "Crop disease identification and interpretation method based on multimodal deep learning", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 *
李超;彭进业;张善文;: "基于特征融合与局部判别映射的苹果叶部病害识别方法", 广东农业科学, no. 10 *
杜薇薇;: "基于特征向量的中文文献相似度评价", 情报理论与实践, no. 04 *

Also Published As

Publication number Publication date
CN116246176B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
US11487995B2 (en) Method and apparatus for determining image quality
CN109117857B (zh) 一种生物属性的识别方法、装置及设备
CN112070069A (zh) 遥感图像的识别方法和装置
US20220237917A1 (en) Video comparison method and apparatus, computer device, and storage medium
CN113987236B (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
AU2022392233A1 (en) Method and system for analysing medical images to generate a medical report
CN112784054A (zh) 概念图处理装置、概念图处理方法和计算机可读介质
CN112015966A (zh) 一种图像搜索方法、装置、电子设备及存储介质
CN111401193A (zh) 获取表情识别模型的方法及装置、表情识别方法及装置
CN111598000A (zh) 基于多任务的人脸识别方法、装置、服务器和可读存储介质
KR102363961B1 (ko) 제품 이미지 기반의 분석 방법, 장치 및 프로그램
CN109583358A (zh) 一种医疗卫生监督快速精准执法方法
CN116246176B (zh) 一种农作物的病害检测方法、装置、电子设备及存储介质
CN113192028A (zh) 人脸图像的质量评价方法、装置、电子设备及存储介质
CN112270334A (zh) 一种基于异常点暴露的少样本图像分类方法及***
CN116049371A (zh) 一种基于正则化和对偶学习的视觉问答方法与装置
CN113743251B (zh) 一种基于弱监督场景的目标搜索方法及装置
CN116052286A (zh) 活体检测模型的训练方法、活体检测方法及相关设备
CN111723872B (zh) 行人属性识别方法及装置、存储介质、电子装置
CN111291594A (zh) 一种图像识别方法及***
US11928854B2 (en) Open-vocabulary object detection in images
CN112699909B (zh) 信息识别方法、装置、电子设备及计算机可读存储介质
CN116977689A (zh) 图像处理方法、装置、设备、可读存储介质及程序产品
Suryavanshi et al. Agriculture Advances: Federated Learning CNN's for Combatting Banana Leaf Diseases
CN116958617A (zh) 模型优化方法、装置、设备、存储介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant