CN116467482B - 多模态植物知识查询方法、***及计算机设备 - Google Patents
多模态植物知识查询方法、***及计算机设备 Download PDFInfo
- Publication number
- CN116467482B CN116467482B CN202310362413.3A CN202310362413A CN116467482B CN 116467482 B CN116467482 B CN 116467482B CN 202310362413 A CN202310362413 A CN 202310362413A CN 116467482 B CN116467482 B CN 116467482B
- Authority
- CN
- China
- Prior art keywords
- mode
- plant
- text
- graph
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013507 mapping Methods 0.000 claims abstract description 39
- 238000004590 computer program Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 abstract description 11
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 241000196324 Embryophyta Species 0.000 description 201
- 240000002044 Rhizophora apiculata Species 0.000 description 16
- 241000894007 species Species 0.000 description 16
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013075 data extraction Methods 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 241000195940 Bryophyta Species 0.000 description 1
- 241000195493 Cryptophyta Species 0.000 description 1
- 241000985694 Polypodiopsida Species 0.000 description 1
- 241000592344 Spermatophyta Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种多模态植物知识查询方法、***及计算机设备;包括以下步骤:获取植物的图文多模态要素和图文跨模态关系,构建多模态植物知识图谱的模式层,其中,模式层包括植物本体;根据植物本体,结合图文多模态数据,构建多模态植物知识图谱的文本数据层和图像数据层;建立图文多模态数据与植物本体之间的映射关系;根据映射关系,将文本数据层和图像数据层映射到模式层,构建多模态植物知识图谱;将多模态植物知识图谱存入图数据库,通过图文检索,调用多模态植物知识图谱,查询植物知识。本发明所述的多模态植物知识查询方法、***及计算机设备具有利用多模态数据,强化植物知识的查询检索功能,提高对植物知识的查询应用的优点。
Description
技术领域
本发明涉及知识图谱领域,特别是涉及一种多模态植物知识查询方法、***及计算机设备。
背景技术
植物是生命的主要形态之一,现存植物有几十万个物种,分为种子植物、苔藓植物、蕨类植物和藻类植物等不同类别。植物有重要的生态、经济和社会价值。例如,生长在热带和亚热带海岸潮间带的红树林,在净化水体、防风消浪、护岸固堤等方面发挥着重要作用。红树林还具有极高的生态***服务价值,可以维持海岸带生态***平衡,保护海岸生物多样性,减缓全球气候变化。同时,红树林能提供多种生物技术产品,具有生态旅游、自然教育和科学研究等功能和价值。准确认识植物的种类、特点、分布、功用和价值,是保护和合理利用植物资源的必要前提。
植物知识包括:(1)物种分类知识。包括门、纲、目、科、属、种的概念以及概念间的关系。(2)物种的器官及解剖结构知识。包括植物器官和解剖结构的概念以及概念间的关系,和物种与结构概念间的关系。(3)物种的形态特征知识。包括生长方式、形态、形状、颜色、质地的概念,以及物种及其器官、解剖结构与形态特征概念间的关系。(4)环境和地域知识。包括生境、栖息地、保护区、行政区域和环境条件的概念,以及物种与地域和环境概念间的关系。
但是,目前的植物知识仍以百科网站和植物志网站的半结构化图片和文本数据,或者植物图谱等纸质图集数据为主,有多源分散、碎片化、冗余、存在结构和语义冲突等问题,而且不同概念、概念属性文本、概念对应图像之间缺少关联关系或关系不明确。同时,半结构化或非结构化的数据形式使得这些数据难以被计算机自动处理和计算,也不支持逻辑推理,知识的查询检索功能较弱,较难进行诸如语义检索、问答等具体的知识应用。
发明内容
基于此,本发明的目的在于,提供一种多模态植物知识查询方法、***及计算机设备,其具有利用多模态数据,强化植物知识的查询检索功能,提高对植物知识的查询应用的优点。可以支持植物学、农林、医药、海洋、生态、检验检疫等科研人员、教师和学生查询和学习,也可供普通大众全面学习植物科学使用。
一种多模态植物知识查询方法,包括以下步骤:
获取植物的图文多模态要素和图文跨模态关系,构建多模态植物知识图谱的模式层,其中,所述模式层包括植物本体;
根据所述植物本体,结合图文多模态数据,构建所述多模态植物知识图谱的文本数据层和图像数据层;
建立所述图文多模态数据与所述植物本体之间的映射关系;
根据所述映射关系,将所述文本数据层和所述图像数据层映射到所述模式层,构建多模态植物知识图谱;
将所述多模态植物知识图谱存入图数据库,通过图文检索,调用所述多模态植物知识图谱,查询植物知识。
一种植物知识查询***,包括:
模式层构建模块,用于获取植物的图文多模态要素和图文跨模态关系,构建多模态植物知识图谱的模式层,其中,所述模式层包括所述植物本体;
数据层生成模块,用于根据所述植物本体,结合图文多模态数据,构建所述多模态植物知识图谱的文本数据层和图像数据层;
映射关系建立模块,用于建立所述图文多模态数据与所述植物本体之间的映射关系;
知识图谱生成模块,用于根据所述映射关系,将所述文本数据层和所述图像数据层映射到所述植物本体,构建多模态植物知识图谱;
查询模块,用于将所述多模态植物知识图谱存入图数据库,通过图文检索,调用所述多模态植物知识图谱,查询植物知识。
一种计算机设备,包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述的多模态植物知识查询方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述的多模态植物知识查询方法的步骤。
本发明所述的多模态植物知识查询方法、***及计算机设备,通过获取植物的多模态要素和图文跨模态关系,构建多模态植物知识图谱的模式层,结合图文多模态数据,分别生成所述多模态植物知识图谱的文本数据层和图像数据层。通过建立所述图文多模态数据与所述概念层次体系之间的映射关系,将所述文本数据层和图像数据映射到所述模式层,最终构建多模态植物知识图谱,并将所述多模态植物知识图谱存入图数据库中,用于知识查询。
本申请实施例中的多模态植物知识查询方法主要用于构建多模态红树林知识图谱,并存入图数据库中,用于红树林植物知识查询。
本申请中的多模态植物知识查询方法,通过构建多模态植物知识图谱,并存入图数据库中,明确了不同概念、概念属性文本、概念对应图像之间的关系,实现了植物知识及其复杂语义关系的形式化描述,利用多模态数据,实现了碎片化、扁平化知识的发现、表达、关联与融合、服务,支撑智能化植物知识服务,强化了植物知识检索查询功能,使得植物知识更加简单便捷的被应用。
为了更好地理解和实施,下面结合附图详细说明本发明。
附图说明
图1为本申请实施例中所述多模态植物知识查询方法的步骤流程图;
图2为本申请实施例中构建所述多模态植物知识图谱的模式层的步骤流程图;
图3为本申请实施例中构建所述多模态植物知识图谱的文本数据层的步骤流程图;
图4为本申请实施例中构建所述多模态植物知识图谱的图像数据层的步骤流程图;
图5为本申请实施例中建立所述图文多模态数据与所述植物本体之间的映射关系的步骤流程图;
图6为本申请实施例中合并所述多模态植物知识图谱中相似的文本和图像的步骤流程图;
图7为本申请实施例中所述植物知识查询***的结构图;
图8为本申请实施例中的多模态植物知识查询方法的计算机设备示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
请参阅图1,图1为本申请实施例中所述多模态植物知识查询方法的步骤流程图。
一种多模态植物知识查询方法,包括以下步骤:
S101,获取植物的图文多模态要素和图文跨模态关系,构建多模态植物知识图谱的模式层,其中,所述模式层包括植物本体;
S102,根据所述植物本体,结合图文多模态数据,构建所述多模态植物知识图谱的文本数据层和图像数据层;
S103,建立所述图文多模态数据与所述植物本体之间的映射关系;
S104,根据所述映射关系,将所述文本数据层和所述图像数据层映射到所述模式层,构建多模态植物知识图谱;
S105,将所述多模态植物知识图谱存入图数据库,通过图文检索,调用所述多模态植物知识图谱,查询植物知识。
本申请中的多模态植物知识查询方法,通过获取植物的多模态要素和图文跨模态关系,构建多模态植物知识图谱的模式层,结合图文多模态数据,分别生成所述多模态植物知识图谱的文本数据层和图像数据层。通过建立所述图文多模态数据与所述概念层次体系之间的映射关系,将所述文本数据层和图像数据映射到所述模式层,最终构建多模态植物知识图谱,并将所述多模态植物知识图谱存入图数据库中,用于植物知识查询。本申请实施例中的多模态植物知识查询方法主要用于构建多模态红树林知识图谱,并存入图数据库中,用于红树林植物知识查询。本申请中的多模态植物知识查询方法明确了不同概念、概念属性文本、概念对应图像之间的关系,实现了植物知识及其复杂语义关系的形式化描述,利用多模态数据,实现了碎片化、扁平化知识的发现、表达、关联与融合、服务,支撑智能化植物知识服务,强化了植物知识检索查询功能,使得植物知识更加简单便捷的被应用。
对于步骤S101,获取植物的图文多模态要素和图文跨模态关系,构建多模态植物知识图谱的模式层,其中,所述模式层包括植物本体;
其中,所述图文多模态要素包括所述植物的分类信息、形态特征、分布特征以及植物图片信息。所述模式层是知识图谱的概念模型和逻辑基础,对数据层进行规范约束。
在一个实施例中,所述多模态植物知识图谱的模式层又被称为多模态植物知识图谱的概念框架,包括“红树林植物概念–红树林植物概念层次关系–红树林植物文本符号实体–红树林植物图像实体–红树林植物符号实体与图像跨模态关系”5个层次的红树林植物知识表达模型。
在一个实施例中,采用本体作为知识图谱的模式层,借助本体定义的规则和公理约束知识图谱的数据层。
请参阅图2,图2为本申请实施例中构建所述多模态植物知识图谱的模式层的步骤流程图。在一个实施例中,所述构建多模态植物知识图谱的模式层,包括以下步骤:
S201,根据所述多模态要素和所述图文跨模态关系,生成植物的概念层次体系,并基于本体构建工具,建立所述植物本体;
S202,将所述植物本体中的概念定义为类,所述概念层次体系定义为类层次体系,概念之间的关系定义为对象属性,概念的属性定义为数据属性,构建所述多模态植物知识图谱的模式层。
对于步骤S201,根据所述多模态要素和所述图文跨模态关系,生成植物的概念层次体系,并基于本体构建工具,建立所述植物本体;
其中,所述本体是语义数据模型,用于定义事物的类型以及描述事物的属性。所述本体构建工具是用于计算机构建知识图谱本体的工具。
在本实施例中,首先根据所述多模态要素和所述图文跨模态关系,生成植物的概念层次,进一步通过本体构建工具,建立所述植物本体。
对于步骤S202,将所述植物本体中的概念定义为类,所述概念层次体系定义为类层次体系,概念之间的关系定义为对象属性,概念的属性定义为数据属性,构建所述多模态植物知识图谱的模式层;
在构建所述植物本体后,进一步将所述植物本体中的概念定义为类,所述概念层次体系定义为类层次体系,概念之间的关系定义为对象属性,概念的属性定义为数据属性,用于形成所述多模态植物知识图谱的模式层。
对于步骤S102,根据所述植物本体,结合图文多模态数据,构建所述多模态植物知识图谱的文本数据层和图像数据层;
其中,所述图文多模态数据包括植物志、植物图像库、红树林植物图谱等半结构化、非结构化数据。
在本实施例中,通过根据所述植物本体,并结合所述图文多模态数据,从而生成所述多模态植物知识图谱的文本数据层和图像数据层。
请参阅图3,图3为本申请实施例中构建所述多模态植物知识图谱的文本数据层的步骤流程图。在一个实施例中,所述构建所述多模态植物知识图谱的文本数据层和图像数据层,包括以下步骤:
S301,从所述文本数据中抽取植物的种类和树种属性;
S302,将所述种类和所述树种属性保存为文本数据JSON文件,构建所述多模态植物知识图谱的文本数据层。
对于步骤S301,从所述文本数据中抽取植物的种类和树种属性;
其中,所述树种属性包括植物的形态、结构、生态习性、空间分布以及对环境的适应性。
在一个实施例中,从所述文本数据抽取植物的种类和树种属性的方法包括,利用网络爬虫或数据抽取脚本,其中所述脚本包括可实现数据抽取功能的Python脚本。
对于步骤S302,将所述种类和所述树种属性保存为文本数据JSON文件,生成所述多模态植物知识图谱的文本数据层;
其中,所述JSON文件是一种轻量级的、基于文本的、开放的数据交换格式。在本实施例中,通过将所述种类和所述树种属性保存为文本数据JSON文件,从而构建所述多模态植物知识图谱的文本数据层。
请参阅图4,图4为本申请实施例中构建所述多模态植物知识图谱的图像数据层的步骤流程图。在一个实施例中,所述构建所述多模态植物知识图谱的文本数据层和图像数据层,包括以下步骤:
S401,从所述图文多模态数据中获取植物的图像文件以及图像对应的描述文本,将所述图像文件保存至本地文件,所述描述文本保存为图像数据JSON文件;
S402,计算每张图像的方向梯度直方图数值,将所述方向梯度直方图数值作为图像属性保存至所述图像数据JSON文件中,构建多模态植物知识图谱的图像数据层。
对于步骤S401~S402,其中,所述描述文本包括树种名称、图像超链接以及图像标题。所述方向梯度直方图是应用在计算机视觉和图像处理领域,用于目标检测的特征描述器,通过计算所述图像的所述方向梯度直方图数值,用于判断所述图像之间的相似度。
在本实施例中,采用网络爬虫或数据抽取脚本的方式,从所述图文多模态数据中获取植物的图像文件以及图像对应的描述文本,形成图文对数据。并将所述图像文件保存至本地文件,所述描述文本保存为图像数据JSON文件。
并且进一步的,利用基于计算机视觉库OpenCV,计算每张图像的方向梯度直方图数值,并将所述方向梯度直方图数值作为图像的属性保存到所述图像数据JSON文件中。
对于步骤S103,建立所述图文多模态数据与所述植物本体之间的映射关系;
请参阅图5,图5为本申请实施例中建立所述图文多模态数据与所述植物本体之间的映射关系的步骤流程图。在一个实施例中,所述建立所述图文多模态数据与所述植物本体之间的映射关系,包括以下步骤:
S501,建立JSON文件中的对象与所述植物本体中的类的关系,根据所述对象,创建所述类的实例;
S502,若所述对象的键对应所述植物本体中的所述概念之间的关系,则根据所述键对应的值创建实例,并根据所述概念之间的关系在所述植物本体中定义的取值范围,确认所述实例所属的类;
S503,若所述对象的键对应所述植物本体中的所述概念属性,则将所述键对应的值作为根据对象创建的实例的属性。
对于步骤S501,建立所述JSON文件中的对象与所述植物本体中的类的关系,根据所述对象,创建所述类的实例;
其中,所述JSON文件是由一系列对象组成,所述对象之间可以相互嵌套。所述对象是由一组有序的键值对数据组成。通过将所述JSON文件的对象与所述植物本体中的类对应的概念相对应,从而建立两者之间的联系。在一个实施例中,所述JSON文件包括文本数据JSON文件和图像数据JSON文件。
通过建立所述JSON文件中的对象与所述植物本体中的类的关系,并且根据所述对象,创建所述类对应的实例。
对于步骤S502,若所述对象的键对应所述植物本体中的所述概念之间的关系,则根据所述键对应的值创建实例,并根据所述概念之间的关系在所述植物本体中定义的取值范围,确认所述实例所属的类;
当所述对象的键与所述植物本体中所述概念之间的关系相对应时,则根据所述键对应的值创建实例,并根据所述概念之间的关系在所述植物本体中定义的取值范围,确认所述实例所属的类。
对于步骤S503,若所述对象的键对应所述植物本体中的所述概念属性,则将所述键对应的值作为根据对象创建的实例的属性;
当所述对象的键与所述植物本体中的所述概念属性相对应时,则将所述键对应的值作为根据所述对象创建的实例的属性。
对于步骤S104,根据所述映射关系,将所述文本数据层和所述图像数据层映射到所述模式层,构建多模态植物知识图谱。
在获取所述映射关系后,将所述文本数据层和所述图像数据层中的JSON文件和图像文件,根据所述映射关系,映射到所述模式层中的植物本体对应的概念、关系和属性中。进一步的,建立图像与文本之间的超链接,将所述文本与所述图像相联系,最终构建所述多模态植物知识图谱。
对于步骤S105,将所述多模态植物知识图谱存入图数据库,通过图文检索,调用所述多模态植物知识图谱,查询植物知识。
其中,所述图数据库是以点、边为基础存储单元,以高效存储、查询图数据为设计原理的数据管理***,在本实施例中,通过将所述多模态植物知识图谱存入所述图数据库中,用以多模态植物知识查询。
在构建好所述多模态植物知识图谱后,将所述植物知识图谱存入图数据库中,从而可以通过图文检索的方式,调用所述多模态植物知识图谱,查询植物知识。在一个实施例中,所述图数据库包括图数据库neo4j。
请参阅图6,图6为本申请实施例中合并所述多模态植物知识图谱中相似的文本和图像的步骤流程图。在一个实施例中,在所述构建所述多模态植物知识图谱后,还包括以下步骤:
S601,基于开源知识图谱融合工具,将所述多模态植物知识图谱中文本符号实体表示为向量,并计算所述文本符号实体之间的余弦相似度;
S602,若所述余弦相似度超过预设文本相似度阈值,则合并所述文本符号实体;
S603,根据所述图像的方向梯度直方图数值,计算图像之间的相似度;
S604,若所述相似度超过预设图像相似度阈值,则建立两张图像之间的相似关系。
对于步骤S601~S604,其中,所述文本符号实体是所述多模态植物知识图谱中文本符号对应的实体,所述余弦相似度又称为余弦相似性,是通过计算两个向量的夹角余弦值来评估他们的相似度。在本实施例中,通过将所述文本符号实体表示为向量,进一步计算文本符号实体之间的余弦相似度,用于查找并合并近似的文本符号实体。
在构建所述多模态植物知识图谱后,通过使用开源知识图谱融合工具OpenEA,计算所述多模态植物知识图谱中文本符号实体,并表示为向量,进一步根据所述向量,计算所述文本符号实体之间的余弦相似度,当所述余弦相似度超过预设文本相似度阈值时,则合并所述文本符号实体,其中所述合并所述文本符号实体包括将其中一个文本符号实体合并到另一个文本符号实体。从而避免冗余和歧义问题。在一个实施例中,所述预设文本相似度阈值设置为0.8.
进一步,根据所述图像的方向梯度直方图数值,计算图像之间的相似度,当所述图像之间的相似度超过预设图像相似度阈值,则建立所述图像之间的相似关系。从而优化所述多模态植物知识图谱。
本申请中的多模态植物知识查询方法,通过获取植物的多模态要素和图文跨模态关系,构建包括植物本体的模式层,并结合图文跨模态数据,构建所述文本数据层和所述图像数据层;再通过建立所述图文跨模态数据与所述植物本体之间的映射关系,将所述文本数据层和所述图像数据层映射到所述模式层中,构建多模态植物知识图谱,并进一步,通过计算多模态植物知识图谱中的文本符号实体之间的余弦相似度以及图像之间的相似度,对多模态植物知识图谱中的冗余和歧义等问题进行处理,优化所述多模态植物知识图谱,最终将所述多模态植物知识图谱输入至图数据库用于知识查询。
在本实施例中,本申请中的多模态植物知识查询方法,主要应用于红树林植物知识查询,通过构建多模态红树林植物知识图谱,并将所述多模态红树林植物知识图谱存入图数据库中,从而实现对所述红树林植物知识的查询,进一步的提高了红树林植物知识查询效率。
本申请中的多模态植物知识查询方法,通过构建多模态植物知识图谱,实现了植物知识及其复杂语义关系的形式化描述,利用多模态数据,实现了碎片化、扁平化知识的发现、表达、关联与融合、服务,支撑智能化植物知识服务,强化了植物知识检索查询功能,使得植物知识更加简单便捷的被应用。
请参阅图7,图7为本申请实施例中所述植物知识查询***的结构图。本申请还提供了一种植物知识查询***,包括:
模式层构建模块11,用于获取植物的图文多模态要素和图文跨模态关系,构建多模态植物知识图谱的模式层,其中,所述模式层包括所述植物本体;
数据层生成模块12,用于根据所述植物本体,结合图文多模态数据,构建所述多模态植物知识图谱的文本数据层和图像数据层;
映射关系建立模块13,用于建立所述图文多模态数据与所述植物本体之间的映射关系;
知识图谱生成模块14,用于根据所述映射关系,将所述文本数据层和所述图像数据层映射到所述模式层,构建多模态植物知识图谱;
查询模块15,用于将所述多模态植物知识图谱存入图数据库,通过图文检索,调用所述多模态植物知识图谱,查询植物知识。
请参阅图8,图8为本申请实施例中的多模态植物知识查询方法的计算机设备示意图。如图8所示,该计算机设备21包括:处理器211,存储器212以及存储在所述存储器212并可以在所述处理器211上运行的计算机程序213,例如:多模态植物知识查询程序;所述处理器211执行所述计算机程序213可以实现上述实施例所述的多模态植物知识查询方法。
其中,该处理器211可以包括一个或多个处理核心。处理器211利用各种接口和线路连接计算机设备21内的各个部分,通过运行或执行存储在存储器212内的指令、程序、代码集或指令集,以及调用存储器212内的数据,执行计算机设备21的各种功能和处理数据,可选的,处理器211可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一个硬件形式来实现。处理器211可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责触摸显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器211中,单独通过一块芯片进行实现。
其中,存储器212可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器212包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器212可用于存储指令、程序、代码、代码集或指令集。存储器212可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控指令等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器212可选的还可以是至少一个位于远离前述处理器211的存储装置。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以存储有多条指令,该指令适用于由处理器加载并执行上述实施例的方法步骤,具体执行过程可以参见上述实施例的具体说明,在此不进行赘述。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (7)
1.一种多模态植物知识查询方法,其特征在于,包括以下步骤:
获取植物的图文多模态要素和图文跨模态关系,根据所述多模态要素和所述图文跨模态关系,生成植物的概念层次体系,并基于本体构建工具,建立所述植物本体;
将所述植物本体中的概念定义为类,所述概念层次体系定义为类层次体系,概念之间的关系定义为对象属性,概念的属性定义为数据属性,构建所述多模态植物知识图谱的模式层;
根据所述植物本体,结合图文多模态数据,构建所述多模态植物知识图谱的文本数据层和图像数据层;
建立所述图文多模态数据与所述植物本体之间的映射关系,其中,所述建立所述图文多模态数据与所述植物本体之间的映射关系,包括以下步骤,建立JSON文件中的对象与所述植物本体中的类的关系,根据所述对象,创建所述类的实例;若所述对象的键对应所述植物本体中的所述概念之间的关系,则根据所述键对应的值创建实例,并根据所述概念之间的关系在所述植物本体中定义的取值范围,确认所述实例所属的类;若所述对象的键对应所述植物本体中的概念属性,则将所述键对应的值作为根据对象创建的实例的属性;
根据所述映射关系,将所述文本数据层和所述图像数据层映射到所述模式层,构建多模态植物知识图谱;
将所述多模态植物知识图谱存入图数据库,通过图文检索,调用所述多模态植物知识图谱,查询植物知识。
2.根据权利要求1所述的多模态植物知识查询方法,其特征在于,构建所述多模态植物知识图谱的文本数据层和图像数据层,包括以下步骤:
从所述图文多模态数据中抽取植物的种类和树种属性;
将所述种类和所述树种属性保存为文本数据JSON文件,构建所述多模态植物知识图谱的文本数据层。
3.根据权利要求1所述的多模态植物知识查询方法,其特征在于,构建所述多模态植物知识图谱的文本数据层和图像数据层,还包括以下步骤:
从所述图文多模态数据中获取植物的图像文件以及图像对应的描述文本,将所述图像文件保存至本地文件,所述描述文本保存为图像数据JSON文件中;
计算每张图像的方向梯度直方图数值,将所述方向梯度直方图数值作为图像属性保存至所述图像数据JSON文件中,构建多模态植物知识图谱的图像数据层。
4.根据权利要求3所述的多模态植物知识查询方法,其特征在于,在构建所述多模态植物知识图谱后,还包括以下步骤:
基于开源知识图谱融合工具,将所述多模态植物知识图谱中文本符号实体表示为向量,并计算所述文本符号实体之间的余弦相似度;
若所述余弦相似度超过预设文本相似度阈值,则合并所述文本符号实体;
根据所述图像的方向梯度直方图数值,计算图像之间的相似度;
若所述相似度超过预设图像相似度阈值,则建立两张图像之间的相似关系。
5.一种植物知识查询***,其特征在于,包括:
模式层构建模块,用于获取植物的图文多模态要素和图文跨模态关系,生成植物的概念层次体系,并基于本体构建工具,建立所述植物本体;将所述植物本体中的概念定义为类,所述概念层次体系定义为类层次体系,概念之间的关系定义为对象属性,概念的属性定义为数据属性,构建所述多模态植物知识图谱的模式层;
数据层生成模块,用于根据所述植物本体,结合图文多模态数据,构建所述多模态植物知识图谱的文本数据层和图像数据层;
映射关系建立模块,用于建立所述图文多模态数据与所述植物本体之间的映射关系,其中,所述建立所述图文多模态数据与所述植物本体之间的映射关系,包括以下步骤,建立JSON文件中的对象与所述植物本体中的类的关系,根据所述对象,创建所述类的实例;若所述对象的键对应所述植物本体中的所述概念之间的关系,则根据所述键对应的值创建实例,并根据所述概念之间的关系在所述植物本体中定义的取值范围,确认所述实例所属的类;若所述对象的键对应所述植物本体中的概念属性,则将所述键对应的值作为根据对象创建的实例的属性;
知识图谱生成模块,用于根据所述映射关系,将所述文本数据层和所述图像数据层映射到所述植物本体,构建多模态植物知识图谱;
查询模块,用于将所述多模态植物知识图谱存入图数据库,通过图文检索,调用所述多模态植物知识图谱,查询植物知识。
6.一种计算机设备,包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任意一项所述的多模态植物知识查询方法的步骤。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述的多模态植物知识查询方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310362413.3A CN116467482B (zh) | 2023-04-04 | 2023-04-04 | 多模态植物知识查询方法、***及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310362413.3A CN116467482B (zh) | 2023-04-04 | 2023-04-04 | 多模态植物知识查询方法、***及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116467482A CN116467482A (zh) | 2023-07-21 |
CN116467482B true CN116467482B (zh) | 2024-04-09 |
Family
ID=87183639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310362413.3A Active CN116467482B (zh) | 2023-04-04 | 2023-04-04 | 多模态植物知识查询方法、***及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116467482B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117236432B (zh) * | 2023-09-26 | 2024-07-02 | 中国科学院沈阳自动化研究所 | 一种面向多模态数据的制造工艺知识图谱构建方法及*** |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111444351A (zh) * | 2020-03-24 | 2020-07-24 | 清华苏州环境创新研究院 | 一种行业工艺领域知识图谱构建方法及装置 |
CN112527915A (zh) * | 2020-11-17 | 2021-03-19 | 北京科技大学 | 线性文化遗产知识图谱构建方法、***、计算设备和介质 |
CN114202691A (zh) * | 2021-12-09 | 2022-03-18 | 广东省科学院广州地理研究所 | 基于遥感图像的水稻识别方法、装置以及设备 |
CN114491071A (zh) * | 2022-01-27 | 2022-05-13 | 北京工商大学 | 一种基于跨媒体数据的食品安全知识图谱构建方法及*** |
KR20220074576A (ko) * | 2020-11-27 | 2022-06-03 | 주식회사 데이터마케팅코리아 | 마케팅 지식 그래프 구축을 위한 딥러닝 기반 신조어 추출 방법 및 그 장치 |
JP2022135734A (ja) * | 2021-03-05 | 2022-09-15 | Kddi株式会社 | マルチモーダルな知識グラフを用いて雑談的に対話するプログラム、装置及び方法 |
CN115391586A (zh) * | 2022-10-08 | 2022-11-25 | 浙江力石科技股份有限公司 | 基于知识图谱的视觉问答处理方法、设备及存储介质 |
CN115714001A (zh) * | 2022-11-14 | 2023-02-24 | 北京航空航天大学 | 一种面向健康饮食的多模态知识图谱服务平台构建方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110035418A1 (en) * | 2009-08-06 | 2011-02-10 | Raytheon Company | Object-Knowledge Mapping Method |
US11004131B2 (en) * | 2016-10-16 | 2021-05-11 | Ebay Inc. | Intelligent online personal assistant with multi-turn dialog based on visual search |
US10678835B2 (en) * | 2018-03-28 | 2020-06-09 | International Business Machines Corporation | Generation of knowledge graph responsive to query |
-
2023
- 2023-04-04 CN CN202310362413.3A patent/CN116467482B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111444351A (zh) * | 2020-03-24 | 2020-07-24 | 清华苏州环境创新研究院 | 一种行业工艺领域知识图谱构建方法及装置 |
CN112527915A (zh) * | 2020-11-17 | 2021-03-19 | 北京科技大学 | 线性文化遗产知识图谱构建方法、***、计算设备和介质 |
KR20220074576A (ko) * | 2020-11-27 | 2022-06-03 | 주식회사 데이터마케팅코리아 | 마케팅 지식 그래프 구축을 위한 딥러닝 기반 신조어 추출 방법 및 그 장치 |
JP2022135734A (ja) * | 2021-03-05 | 2022-09-15 | Kddi株式会社 | マルチモーダルな知識グラフを用いて雑談的に対話するプログラム、装置及び方法 |
CN114202691A (zh) * | 2021-12-09 | 2022-03-18 | 广东省科学院广州地理研究所 | 基于遥感图像的水稻识别方法、装置以及设备 |
CN114491071A (zh) * | 2022-01-27 | 2022-05-13 | 北京工商大学 | 一种基于跨媒体数据的食品安全知识图谱构建方法及*** |
CN115391586A (zh) * | 2022-10-08 | 2022-11-25 | 浙江力石科技股份有限公司 | 基于知识图谱的视觉问答处理方法、设备及存储介质 |
CN115714001A (zh) * | 2022-11-14 | 2023-02-24 | 北京航空航天大学 | 一种面向健康饮食的多模态知识图谱服务平台构建方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116467482A (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ghaffarian et al. | Post-disaster building database updating using automated deep learning: An integration of pre-disaster OpenStreetMap and multi-temporal satellite data | |
Grippa et al. | Mapping urban land use at street block level using openstreetmap, remote sensing data, and spatial metrics | |
Zhao et al. | MS-YOLOv7: YOLOv7 based on multi-scale for object detection on UAV aerial photography | |
CN116467482B (zh) | 多模态植物知识查询方法、***及计算机设备 | |
CN107679221A (zh) | 面向减灾任务的时空数据获取与服务组合方案生成方法 | |
Ayala et al. | A deep learning approach to an enhanced building footprint and road detection in high-resolution satellite imagery | |
Widyaningrum et al. | Airborne laser scanning point cloud classification using the DGCNN deep learning method | |
Lawhead | Learning geospatial analysis with Python | |
Xu et al. | A modified change vector approach for quantifying land cover change | |
Tao et al. | TOV: The original vision model for optical remote sensing image understanding via self-supervised learning | |
CN105117494A (zh) | 模糊语境中的空间实体映射方法 | |
Hu et al. | WSGAN: an improved generative adversarial network for remote sensing image road network extraction by weakly supervised processing | |
CN110275919A (zh) | 数据集成方法及装置 | |
Manso-Callejo et al. | Optimizing the recognition and feature extraction of wind turbines through hybrid semantic segmentation architectures | |
Zhang et al. | A graph-voxel joint convolution neural network for ALS point cloud segmentation | |
Zhao et al. | Identifying urban functional regions from high-resolution satellite images using a context-aware segmentation network | |
Wu et al. | YOLO-LWNet: A lightweight road damage object detection network for mobile terminal devices | |
Chen et al. | Multi-feature aggregation for semantic segmentation of an urban scene point cloud | |
Erwig | Toward spatio-temporal patterns | |
Han et al. | LOANet: a lightweight network using object attention for extracting buildings and roads from UAV aerial remote sensing images | |
Sboui et al. | A machine-learning-based approach to predict deforestation related to oil palm: Conceptual framework and experimental evaluation | |
Borna et al. | Towards a vector agent modelling approach for remote sensing image classification | |
Maduako et al. | Automated school location mapping at scale from satellite imagery based on deep learning | |
CN116226408A (zh) | 农产品生长环境知识图谱构建方法及装置、存储介质 | |
Chen et al. | An Improved Multi-Source Data-Driven Landslide Prediction Method Based on Spatio-Temporal Knowledge Graph |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |