CN113836316B - 三元组数据的处理方法、训练方法、装置、设备及介质 - Google Patents
三元组数据的处理方法、训练方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113836316B CN113836316B CN202111118746.9A CN202111118746A CN113836316B CN 113836316 B CN113836316 B CN 113836316B CN 202111118746 A CN202111118746 A CN 202111118746A CN 113836316 B CN113836316 B CN 113836316B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- training
- triple
- time difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/226—Validation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了三元组数据的处理方法、三元组数据处理模型的训练方法、装置、电子设备、存储介质以及程序产品,涉及数据处理技术领域,尤其涉及大数据、深度学习等人工智能技术领域。具体实现方案为:对文本数据进行三元组数据抽取,得到多个字段数据;对多个字段数据进行归一化处理,确定目标三元组数据,其中,目标三元组数据包括实体数据、实体关系数据和关联实体数据;以及对目标三元组数据进行置信度验证,得到验证结果。
Description
技术领域
本公开涉及数据处理技术领域,尤其涉及大数据、深度学习等人工智能技术领域,具体涉及三元组数据的处理方法、三元组数据处理模型的训练方法、装置、电子设备、存储介质以及程序产品。
背景技术
随着互联网的飞速发展,互联网大数据的应用已渗透到各个领域与行业,成为重要的生产要素。互联网大数据具有海量的数据规模、多样的数据类型、快速的数据流转等特点。互联网大数据的数据来源多样,导致互联网大数据的准确性、时效性难以得到保证,造成利用不便。
发明内容
本公开提供了一种三元组数据的处理方法、三元组数据处理模型的训练方法、装置、电子设备、存储介质以及程序产品。
根据本公开的一方面,提供了一种三元组数据的处理方法,包括:对文本数据进行三元组数据抽取,得到多个字段数据;对所述多个字段数据进行归一化处理,确定目标三元组数据,其中,所述目标三元组数据包括实体数据、实体关系数据和关联实体数据;以及对所述目标三元组数据进行置信度验证,得到验证结果。
根据本公开的另一方面,提供了一种三元组数据处理模型的训练方法,包括:对文本训练数据进行三元组数据抽取,得到多个训练字段数据;对所述多个训练字段数据进行归一化处理,确定目标训练三元组数据,其中,所述目标训练三元组数据包括训练实体数据、训练实体关系数据和训练关联实体数据;以及利用所述目标训练三元组数据和与所述目标训练三元组数据相对应的标签训练三元组数据处理模型,得到经训练的三元组数据处理模型,其中,所述标签指示了所述目标训练三元组数据的置信度。
根据本公开的另一方面,一种三元组数据的验证装置,包括:抽取模块,用于对文本数据进行三元组数据抽取,得到多个字段数据;归一化模块,用于对所述多个字段数据进行归一化处理,确定目标三元组数据,其中,所述目标三元组数据包括实体数据、实体关系数据和关联实体数据;以及验证模块,用于对所述目标三元组数据进行置信度验证,得到验证结果。
根据本公开的另一方面,提供了一种三元组数据处理模型的训练装置,包括:抽取训练模块,用于对文本训练数据进行三元组数据抽取,得到多个训练字段数据;归一化训练模块,用于对所述多个训练字段数据进行归一化处理,确定目标训练三元组数据,其中,所述目标训练三元组数据包括训练实体数据、训练实体关系数据和训练关联实体数据;以及模型训练模块,用于利用所述目标训练三元组数据和与所述目标训练三元组数据相对应的标签训练三元组数据处理模型,得到经训练的三元组数据处理模型,其中,所述标签指示了所述目标训练三元组数据的置信度。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行如上所述的方法。
根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上所述的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示意性示出了根据本公开实施例的可以应用三元组数据的处理方法及装置的示例性应用场景;
图2示意性示出了根据本公开实施例的三元组数据的处理方法的流程图;
图3示意性示出了根据本公开实施例的生成目标特征数据的示意图;
图4示意性示出了根据本公开另一实施例的三元组数据的处理方法的流程图;
图5示意性示出了根据本公开实施例的三元组数据处理模型的训练方法的流程图;
图6示意性示出了根据本公开实施例的三元组数据的验证装置的框图;
图7示意性示出了根据本公开实施例的三元组数据处理模型的训练装置的框图;以及
图8示意性示出了根据本公开实施例的适于实现三元组数据的处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在实际生活中,例如用户可以通过互联网查询某一酒店的具***置、营业时间,以此来规划晚饭时间、到达路径。在另一示例中,用户可以通过互联网查询某一高校的师资水平,以此来评价该高校的教学质量。
本公开提供了三元组数据的处理方法、三元组数据处理模型的训练方法、装置、电子设备、存储介质以及程序产品。
根据本公开的实施例,三元组数据的处理方法可以包括:对文本数据进行三元组数据抽取,得到多个字段数据;对多个字段数据进行归一化处理,确定目标三元组数据,其中,目标三元组数据包括实体数据、实体关系数据和关联实体数据;以及对目标三元组数据进行置信度验证,得到验证结果。
利用本公开实施例提供的三元组数据的处理方法,可以更有针对性的对文本数据进行抽取和归一化处理,得到目标三元组数据,进而有利于简化后续的置信度验证处理,提高置信度验证的准确度。经过置信度验证,可以基于验证结果对目标三元组数据涉及的文本数据的应用做出决策,将置信度较低的目标三元组数据涉及的文本数据滤除,提高目标三元组数据涉及的文本数据的可靠性和准确性。由于可以不依赖于权威数据源,对非权威数据源的目标三元组数据涉及的文本数据进行置信度验证,在保证目标三元组数据涉及的文本数据准确性的前提下,扩充目标三元组数据涉及的文本数据的丰富度和覆盖率。
例如,在酒店的位置、营业时间变更的情况下,或者在高校的教师退休的情况下,能够对未变更的无效数据进行验证,以保证互联网上发布的相对应的目标三元组数据涉及的文本数据的准确性和可靠性,提高用户体验。
根据本公开的实施例,三元组数据处理模型的训练方法可以包括:对文本训练数据进行三元组数据抽取,得到多个训练字段数据;对多个训练字段数据进行归一化处理,确定目标训练三元组数据,其中,目标训练三元组数据包括训练实体数据、训练实体关系数据和训练关联实体数据;以及利用目标训练三元组数据和与目标训练三元组数据相对应的标签训练三元组数据处理模型,得到经训练的三元组数据处理模型,其中,标签指示了目标训练三元组数据的置信度。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
图1示意性示出了根据本公开实施例的可以应用三元组数据的处理方法及装置的示例性应用场景。
需要注意的是,图1所示仅为可以应用本公开实施例的应用场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。例如,在另一实施例中,可以应用三元组数据的处理方法及装置的示例性***架构可以包括终端设备,但终端设备可以无需与服务器进行交互,即可实现本公开实施例提供的三元组数据的处理方法及装置。
如图1所示,根据该实施例的应用场景可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以发送涉及三元组数据的查询信息,并接收针对查询信息的反馈结果等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户输入的涉及三元组数据的查询信息等进行分析,并将涉及三元组数据的初始文本数据进行三元组数据的验证,并将验证结果大于预定置信度阈值的初始文本数据作为反馈结果反馈给终端设备。
需要说明的是,本公开实施例所提供的三元组数据的处理方法一般可以由服务器105执行。相应地,本公开实施例所提供的三元组数据的验证装置一般可以设置于服务器105中。本公开实施例所提供的三元组数据的处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的三元组数据的验证装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的三元组数据的处理方法的流程图。
如图2所示,该方法包括操作S210~S230。
在操作S210,对文本数据进行三元组数据抽取,得到多个字段数据。
在操作S220,对多个字段数据进行归一化处理,确定目标三元组数据,其中,目标三元组数据包括实体数据、实体关系数据和关联实体数据。
在操作S230,对目标三元组数据进行置信度验证,得到验证结果。
根据本公开的实施例,文本数据的来源不做限定。例如,可以是从互联网上抓取得到的,也可以是从数据库中得到的。只要是包含三元组数据的文本数据即可。
根据本公开的实施例,目标三元组数据可以为SPO(Subject、Predicate、Object)目标三元组数据。在一个示例中,目标三元组数据包括实体(主语,Subject)数据、实体关系(谓语,Predicate)数据和关联实体(宾语,Object)数据。实体数据和关联实体数据可以是指有意义的事、物等,实体数据与关联实体数据之间的某些联系可以称为实体关系数据。
例如,实体数据可以是人物名称,例如AA。关联实体数据可以是与实体数据相对应的工作职位,例如校长、经理等职位。实体关系数据可以是与实体数据相对应的当前的状态,例如担任或者卸任。实体数据还可以是指事物名称,例如BB饭店、CC酒店。关联实体数据可以是与实体数据相对应的营业时间或者地理位置等。实体关系数据可以是与实体数据相对应的当前的状态,例如是否有变更。
根据本公开的实施例,对文本数据进行三元组数据抽取后,得到多个字段数据。多个字段数据的字数多少不做限定,只要多个字段数据中的每个字段数据只包含一个数据类型的字段数据即可。例如,一个字段数据可以包括与实体数据相对应的数据。
根据本公开的实施例,对多个字段数据进行归一化处理,是指将相同目标类型的多个字段数据进行归一化处理,得到目标类型的一个字段数据。例如,一个文本数据中可能存在相同或雷同的多个字段数据,对文本数据进行三元组数据抽取后,得到的多个字段数据中,可能针对相同目标类型的字段数据存在多个。利用归一化处理可以将相同或雷同的字段数据进行整合,得到目标三元组数据,有利于简化后续置信度验证操作。
根据本公开的示例性实施例,多个字段数据也可以包括三个字段数据,可以将三个字段数据直接作为目标三元组数据。
根据本公开的实施例,对目标三元组数据进行置信度验证,得到验证结果,可以依据验证结果,确定文本数据中涉及的目标三元组数据的内容的真实性、准确性。
利用本公开实施例提供的三元组数据的处理方法,通过抽取和归一化处理,使得置信度验证更有针对性,进而扩大了数据源的范围。并且,通过对目标三元组数据的验证,可以识别出准确性高、可靠性高的目标三元组数据涉及的文本数据,提高数据质量。
下面结合具体实施例对例如本公开实施例提供的三元组数据的处理方法做进一步说明。
根据本公开的实施例,操作S210对文本数据进行三元组数据抽取,得到多个字段数据,可以通过如下操作来执行。
例如,对文本数据进行三元组数据抽取,得到多个初始字段数据;从多个初始字段数据中识别目标类型的初始字段数据;在目标类型的初始字段数据符合预定规则的情况下,从文本数据中抽取候选数据;基于候选数据对目标类型的初始字段数据进行修改,得到多个字段数据。
根据本公开的实施例,可以利用正则抽取法对文本数据进行三元组数据抽取,但是并不局限于此,还可以构建抽取模型,利用抽取模型对文本数据进行三元组数据抽取。在此不对抽取方法做具体限定。
根据本公开的实施例,可以利用正则抽取法对文本数据进行三元组数据抽取,将抽取到的结果再进行切词处理和解析处理,得到多个初始字段数据。
根据本公开的实施例,解析处理可以是从多个初始字段数据中识别目标类型的初始字段数据,还可以是对目标类型的初始字段数据与预定规则进行匹配,确定目标类型的初始字段数据是否符合预定规则。
根据本公开的实施例,目标类型的初始字段数据可以是与实体数据相关的数据、与实体关系数据相关的数据、或者是与关联实体数据相关的数据中的任意一种。
根据本公开的示例性实施例,目标类型的初始字段数据可以是与实体关系数据相关的数据。
根据本公开的实施例,预定规则可以是指目标类型的初始字段数据中具有部分空的初始字段数据。但是并不局限于此。预定规则还可以是指目标类型的初始字段数据中具有有歧义的初始字段数据。
例如,目标类型的初始字段数据为“CY区小学校长”。目标类型的初始字段数据中的CY区并没有介绍省市的字段数据。而中国甲市中有CY区,中国乙市也有CY区。在CY区前面没有市级前缀字段的情况下,则不能明确该CY区小学坐落于甲市还是乙市,符合预定规则中目标类型的初始字段数据中具有有歧义的初始字段数据的规则。在目标类型的初始字段数据中具有有歧义的初始字段数据的情况下,可以从文本数据中抽取候选数据,并基于候选数据对目标类型的初始字段数据进行修改。例如从文本数据中抽取介绍省市等相关的初始字段数据,并将获取到的候选数据例如甲市填充到CY小学前面。
例如,目标类型的初始字段数据为“某大学-***、校长”。目标类型的初始字段数据中***前有单位、地区的字段数据“某大学”。但是校长前则没有单位、地区的初始字段数据,则出现部分空的初始字段数据,符合预定规则中目标类型的初始字段数据中具有部分空的初始字段数据的规则。则可以从文本数据中抽取介绍单位、地区的初始字段数据,例如某大学。可以将某大学补充在校长的前面,输出完整的结果“某大学***、某大学校长”。
根据本公开的实施例,在目标类型的初始字段数据不符合预定规则的情况下,则说明目标类型的初始字段数据完整且无歧义,在这种情况下,可以直接将抽取到的多个初始字段数据作为多个字段数据进行输出。
利用本公开实施例提供的对文本数据进行三元组数据抽取,可以提高数据的完整性,有利于后续的置信度验证的验证精确度。
根据本公开的示例性实施例,还可以对多个初始字段数据进行有效性验证。在初始字段数据符合有效性规则的情况下,保留。在初始字段数据不符合有效性规则的情况下,删除。例如,包含特殊符号的初始字段数据不符合有效性规则,可以直接进行删除。
利用本公开实施例提供的对文本数据进行三元组数据抽取,可以对部分无效数据进行去除,提高后续操作的处理效率。
根据本公开的实施例,操作S220对多个字段数据进行归一化处理,确定目标三元组数据,可以通过如下操作来执行。
例如,对多个字段数据中的目标类型的字段数据进行聚类,确定聚类簇;以及对聚类簇中的字段数据按照字数或者数据来源进行排序,将排序最高的字段数据作为目标类型的目标字段,得到目标三元组数据。
根据本公开的实施例,归一化处理也称消歧处理。在一个示例中,包括聚类和确定目标类型的目标字段。
根据本公开的实施例,可以采用并查集的方式(例如采用连通分量思想)对多个字段数据中的目标类型的字段数据进行聚类。例如,以与实体数据相关的数据、与实体关系数据相关的数据、或者是与关联实体数据相关的数据为目标类型的字段数据分别进行聚类,得到实体数据的聚类簇、关联实体数据的聚类簇和实体关系数据聚类簇。
根据本公开的实施例,针对每个聚类簇,可以按照字数或者数据来源进行排序,按照排序结果确定聚类簇的中心元素,即目标类型的目标字段。
例如,按照字数由高到低排序,选取排序首位的字段数据作为聚类簇的目标类型的目标字段。
例如,按照数据来源由来源置信度由高到低排序,选取排序首位的字段数据作为聚类簇的目标类型的目标字段。根据本公开的实施例,来源置信度可以是根据实际情况自行设定。
利用本公开实施例提供的归一化处理,可以将多个字段数据归一化为一个目标三元组数据,简化后续置信度验证的处理操作,提高处理效率。
根据本公开的实施例,操作S230对目标三元组数据进行置信度验证,得到验证结果,可以通过如下操作来执行。
例如,基于目标三元组数据,获取与目标三元组数据相关的网页数据;基于网页数据,生成目标特征数据;以及将目标特征数据输入至三元组数据处理模型中,得到验证结果。
根据本公开的实施例,可以将目标三元组数据作为检索词来检索得到与目标三元组数据相关的网页数据。
根据本公开的实施例,可以基于网页数据,生成目标特征数据。即利用其他信息源的相关数据,来生成目标特征数据。
利用本公开实施例提供的置信度验证操作,可以通过目标三元组数据获取到更多信息源的相关数据,以此为依据进行置信度验证,提高验证的依据来源,进而提高置信度验证的准确性。
根据本公开的实施例,目标特征数据可以包括与网页数据相关的时序特征、和/或与网页数据中的目标三元组数据相关的属性特征。
根据本公开的实施例,与网页数据相关的时序特征可以包括最近时间差时序特征、最远时间差时序特征。
例如,最近时间差时序特征可以是多个网页数据中时间差最小值,即多个网页数据中公布时间间隔最小的时间差值。还可以是在预定位置同时显示多个目标类型的目标字段的多个网页数据之间的时间差最小值。
例如,最远时间差时序特征可以是多个网页数据中时间差最大值,即多个网页数据中公布时间间隔最大的时间差值。还可以是在预定位置同时显示多个目标类型的目标字段的多个网页数据之间的时间差最大值。
根据本公开的实施例,与网页数据中的目标三元组数据相关的属性特征可以包括目标类型的目标字段的属性特征,例如目标类型的目标字段的属性特征可以是指是否出现实体关系数据的特征。还可以是指目标类型的目标字段的语义共现的属性特征。例如,网页数据中是否都出现多个目标类型的目标字段,出现目标类型的目标字段的文本的语义是否相同。若相同,即可理解为目标类型的目标字段的语义共现。目标类型的目标字段的语义共现的属性特征可以是指语义共现的多个网页数据占总网页数据的百分比,也可以是指语义共现的多个网页数据中的时间差,还可以是是否为语义共现。
根据本公开的实施例,预定位置可以是网页数据的主题信息的位置,还可以是网页数据的摘要信息的位置,也可以是网页数据中的正文位置。只要是与网页数据相关的位置即可,可根据实际情况进行设置。
根据本公开的实施例,还可以对网页数据的来源进行校验,只利用来源可靠的网页数据来生成目标特征数据,例如预定网站的网页数据作为可靠来源。因此,可以避免利用非可靠来源的网页数据来生成的目标特征数据具有噪声信息,进而避免因噪声信息而导致最终验证结果的准确度下降。
根据本公开的实施例,目标特征数据从多维度反映目标三元组数据,关联性强。利用本公开实施例提供的目标特征数据,进一步提高置信度验证的准确性。
图3示意性示出了根据本公开另一实施例的生成目标特征数据的示意图。
如图3所示,可以将目标三元组数据310作为搜索词,搜索与目标三元组数据310相关的网页数据,例如搜索得到网页数据320、网页数据330、网页数据340和网页数据350。
通过网页数据320、网页数据330、网页数据340和网页数据350中的各类信息产生目标特征数据,例如采用三元组数据处理模型,基于目标特征数据来预测目标三元组数据310是否为真。
例如,预测目标三元组数据310的以下内容是否为真:实体数据-人名称“DDD”,关联实体数据-某大学校长,实体关系数据-现任。
利用网页数据320、网页数据330、网页数据340和网页数据350中的相关信息产生目标特征数据,可以通过网页数据中的时间信息360、主题信息370、摘要信息380等来生成目标特征数据。
例如,构造12维目标特征数据,包括:4维最近时间差时序特征、4维最远时间差时序特征、1维实体关系数据特征、3维实体数据和关联实体数据共现特征。
例如,4维最近时间差时序特征可以包括:网页数据320、网页数据330、网页数据340和网页数据350中时间差最小值,网页数据320、网页数据330、网页数据340和网页数据350中“DDD”与“某大学校长”共同出现在主题信息370或者摘要信息380中的时间差最小值,网页数据320、网页数据330、网页数据340和网页数据350中“DDD”与“某大学校长”共同出现在主题信息370中的时间差最小值,网页数据320、网页数据330、网页数据340和网页数据350中“DDD”与“某大学校长”共同出现在摘要信息380中的时间差最小值。
例如,4维最远时间差时序特征可以包括:网页数据320、网页数据330、网页数据340和网页数据350中时间差最大值,网页数据320、网页数据330、网页数据340和网页数据350中“DDD”与“某大学校长”共同出现在主题信息370或者摘要信息380中的时间差最大值,网页数据320、网页数据330、网页数据340和网页数据350中“DDD”与“某大学校长”共同出现在主题信息370中的时间差最大值,网页数据320、网页数据330、网页数据340和网页数据350中“DDD”与“某大学校长”共同出现在摘要信息380中的时间差最大值。
例如,1维实体关系数据特征可以包括:网页数据320、网页数据330、网页数据340和网页数据350中主题信息370或者摘要信息380中是否包含人物“辞去”、“辞任”、“不再担任”、“卸任”等相关内容的特征。
例如,3维实体数据和关联实体数据共现特征可以包括:网页数据320、网页数据330、网页数据340和网页数据350中同时出现“DDD”与“某大学校长”的网页数据数量占总网页数据数量的比例,网页数据320、网页数据330、网页数据340和网页数据350中“DDD”与“某大学校长”语义共现的时间差,网页数据320、网页数据330、网页数据340和网页数据350中是否同时出现“DDD”与“某大学校长”。例如,可以认为同时出现“DDD”与“某大学校长”为语义共现。
图4示意性示出了根据本公开另一实施例的三元组数据的处理方法的流程图。
如图4所示,该方法包括操作S410~S440。
操作S410,对初始文本数据进行预处理,得到语句级别的文本数据。
根据本公开的实施例,如图4所示操作S420~S440的具体操作过程可以与如图2所示的操作S210~S230的具体操作过程相同。
根据本公开的实施例,预处理可以包括筛选,但是并不局限于此,还可以包括分句和格式统一等。
根据本公开的实施例,可以根据筛选规则对初始文本数据进行筛选,初步滤除与三元组数据不相关的数据,提高后续抽取的处理效率。
根据本公开的实施例,可以对筛选后得到的数据进行分句和格式统一等处理。例如,分句可以是将一个段落级别的文本数据拆分为单个语句级别的文本数据等。例如,格式统一可以是将大写字母转换为小写字母,表格形式的数据转换为文本格式的文本数据等。
根据本公开的实施例,对初始文本数据进行预处理,得到语句级别的文本数据,将更有利于后续抽取处理操作,简化处理过程,提高抽取精度。
根据本公开的实施例,验证结果可以是0-1之间的数值。可以预定置信度阈值,将预定置信度阈值与验证结果进行比较,在验证结果大于或者等于预定置信度阈值的情况下,表明该目标三元组数据的置信度高,数据可靠性高。可以将涉及目标三元组数据的原始数据应用于问答、检索等领域。
在验证结果小于预定置信度阈值的情况下,表明该目标三元组数据的置信度低。可以对涉及目标三元组数据的原始数据进行修改或者筛选过滤。
利用本公开实施例提供的三元组数据的处理方法,预处理操作可以处理各种格式的数据,扩大数据的来源。可以对预处理后的数据更有针对性的进行抽取和归一化处理,得到目标三元组数据,进而有利于简化后续的置信度验证处理,提高置信度验证的准确度。
经过置信度验证后,可以基于验证结果对目标三元组数据涉及的原始数据的应用做出决策,将置信度低于预定置信度阈值的目标三元组数据涉及的原始数据滤除,从而提高目标三元组数据涉及的原始数据的可靠性和准确性。因此,可以实现不依赖于权威数据源,对非权威数据源的目标三元组数据涉及的原始数据进行置信度验证,在保证目标三元组数据涉及的原始数据准确性的前提下,扩充目标三元组数据涉及的原始数据的丰富度和覆盖率。
利用本公开实施例提供的三元组数据的处理方法,可以根据验证结果,对验证结果低于预定置信度阈值的目标三元组数据涉及的原始数据进行修改或者筛选,进而保证三元组数据涉及的原始数据的准确率。使用根据本公开实施例的方法,经初步试验,准确率可以提升至99.7%。
图5示意性示出了根据本公开实施例的三元组数据处理模型的训练方法的示例流程图。
如图5所示,该方法包括操作S510~S530。
操作S510,对文本训练数据进行三元组数据抽取,得到多个训练字段数据。
操作S520,对多个训练字段数据进行归一化处理,确定目标训练三元组数据,其中,目标训练三元组数据包括训练实体数据、训练实体关系数据和训练关联实体数据。
操作S530,利用目标训练三元组数据和与目标训练三元组数据相对应的标签训练三元组数据处理模型,得到经训练的三元组数据处理模型,其中,标签指示了目标训练三元组数据的置信度。
根据本公开的实施例,目标训练三元组数据可以为SPO(Subject、Predicate、Object)目标训练三元组数据。在一个示例中,目标训练三元组数据包括训练实体(主语,Subject)数据、训练实体关系(谓语,Predicate)数据和训练关联实体(宾语,Object)数据。训练实体数据和训练关联实体数据可以是指有意义的事、物等,训练实体数据与训练关联实体数据之间的某些联系可以称为训练实体关系数据。
例如,训练实体数据可以是人物名称,例如MM。训练关联实体数据可以是与训练实体数据相对应的工作职位,例如校长、经理等职位。训练实体关系数据可以是与训练实体数据相对应的当前的状态,例如担任或者卸任。训练实体数据还可以是指事物名称,例如EE饭店、FF酒店。训练关联实体数据可以是与训练实体数据相对应的营业时间或者地理位置等。训练实体关系数据可以是与训练实体数据相对应的当前的状态,例如是否有变更。
根据本公开的实施例,操作S510可以与操作S210所执行的操作相同。例如,对文本训练数据进行三元组数据抽取,得到多个初始训练字段数据;从多个初始训练字段数据中识别目标类型的初始训练字段数据;在目标类型的初始训练字段数据符合预定规则的情况下,从文本训练数据中抽取候选训练数据;基于候选训练数据对目标类型的初始训练字段数据进行修改,得到多个训练字段数据。根据本公开的实施例,操作S520与操作S220所执行的操作相同。例如,对多个训练字段数据中的目标类型的训练字段数据进行聚类,确定聚类簇;以及对聚类簇中的训练字段数据按照字数或者数据来源进行排序,将排序最高的训练字段数据作为目标类型的目标训练字段,得到目标训练三元组数据。根据本公开的实施例,与目标训练三元组数据相对应的标签指示了目标训练三元组数据的置信度。例如,目标训练三元组数据准确则标签为1,目标训练三元组数据错误则标签为0。
根据本公开的实施例,三元组数据处理模型的架构不做限定,例如,三元组数据处理模型可以是树模型,例如XGBoost,也可以是其他网络架构的模型。只要是能够对目标训练三元组数据进行置信度验证,得到验证结果即可。
利用本公开实施例提供的三元组数据处理模型的训练方法,能够利用抽取和归一化处理对文本训练数据预先进行处理,扩大三元组数据处理模型的文本训练数据的范围,简化后续三元组数据处理模型的训练过程,提高处理效率。
根据本公开的实施例,操作S530利用目标训练三元组数据和与目标训练三元组数据相对应的标签训练三元组数据处理模型,得到经训练的三元组数据处理模型,可以通过如下操作执行。
例如,基于目标训练三元组数据,获取与目标训练三元组数据相关的样本网页数据;基于样本网页数据,生成目标训练特征数据,以便利用目标训练特征数据和标签训练三元组数据处理模型,得到经训练的三元组数据处理模型。例如,可以将目标训练三元组数据作为搜索词,搜索得到与目标训练三元组数据相关的多个样本网页数据。通过多个样本网页数据中的各类信息产生目标训练特征数据。
根据本公开的实施例,目标训练特征数据包括以下至少一项:与样本网页数据相关的时序特征、与样本网页数据中的目标训练三元组数据相关的属性特征。
根据本公开的实施例,与样本网页数据相关的时序特征可以包括最近时间差时序特征、最远时间差时序特征。
例如,最近时间差时序特征可以是多个样本网页数据中时间差最小值,即多个样本网页数据中公布时间间隔最小的时间差值。还可以是在预定位置同时显示多个目标类型的目标训练字段的多个样本网页数据之间的时间差最小值。
例如,最远时间差时序特征可以是多个样本网页数据中时间差最大值,即多个样本网页数据中公布时间间隔最大的时间差值。还可以是在预定位置同时显示多个目标类型的目标训练字段的多个样本网页数据之间的时间差最大值。
根据本公开的实施例,与样本网页数据中的目标训练三元组数据相关的属性特征可以包括目标类型的目标训练字段的属性特征,例如目标类型的目标训练字段的属性特征可以是指是否出现实体关系数据的特征。还可以是指目标类型的目标训练字段的语义共现的属性特征。例如,样本网页数据中是否都出现多个目标类型的目标训练字段,出现目标类型的目标训练字段的文本的语义是否相同。若相同,即可理解为目标类型的目标训练字段的语义共现。目标类型的目标训练字段的语义共现的属性特征可以是指语义共现的多个样本网页数据占总样本网页数据的百分比,也可以是指语义共现的多个样本网页数据中的时间差,还可以是是否为语义共现。
根据本公开的实施例,利用目标训练特征数据和标签训练三元组数据处理模型,得到经训练的三元组数据处理模型可以通过如下操作执行。
例如,将目标训练特征数据输入至三元组数据处理模型中,得到验证结果;将验证结果与标签输入至损失函数中,得到损失值;基于损失值,调整三元组数据处理模型中的参数,直至损失值收敛;以及将在损失值收敛的情况下得到的三元组数据处理模型确定为经训练的三元组数据处理模型。
例如,目标训练三元组数据的以下内容为真,标签为1,目标训练三元组数据的内容包括:训练实体数据-人名称“XXX”,关联实体数据-某小学校长,实体关系数据-现任。
可以将目标训练三元组数据“某小学校长XXX”作为搜索词,搜索得到与目标训练三元组数据相关的多个样本网页数据。通过多个样本网页数据中的各类信息产生目标训练特征数据。将目标训练特征数据输入至三元组数据处理模型中,得到验证结果,其中,验证结果可以是0-1之间的数值。将验证结果与标签1输入至损失函数中,得到损失值,基于损失值,调整三元组数据处理模型中的参数,直至损失值收敛。将在损失值收敛的情况下得到的三元组数据处理模型确定为经训练的三元组数据处理模型。
根据本公开的实施例,损失函数的类型不做限定,只要是与三元组数据处理模型的网络架构的训练相匹配即可。
利用本公开实施例提供的目标训练特征数据,可以通过目标训练三元组数据获取到更多信息源的相关数据,从相关数据中提取对应的目标训练特征数据,扩大目标训练特征数据的维度和范围,进而提高三元组数据处理模型的训练的收敛速度。
利用本公开实施例提供的三元组数据处理模型的训练方法得到的经训练的三元组数据处理模型,应用到对目标三元组数据的置信度验证中,准确率高。
图6示意性示出了根据本公开实施例的三元组数据的验证装置的框图。
如图6所示,三元组数据的验证装置600可以包括抽取模块610、归一化模块620、以及验证模块630。
抽取模块610,用于对文本数据进行三元组数据抽取,得到多个字段数据。
归一化模块620,用于对多个字段数据进行归一化处理,确定目标三元组数据,其中,目标三元组数据包括实体数据、实体关系数据和关联实体数据。
验证模块630,用于对目标三元组数据进行置信度验证,得到验证结果。
根据本公开的实施例,抽取模块可以包括第一抽取单元、识别单元、第二抽取单元、以及修改单元。
第一抽取单元,用于对文本数据进行三元组数据抽取,得到多个初始字段数据。
识别单元,用于从多个初始字段数据中识别目标类型的初始字段数据。
第二抽取单元,用于在目标类型的初始字段数据符合预定规则的情况下,从文本数据中抽取候选数据。
修改单元,用于基于候选数据对目标类型的初始字段数据进行修改,得到多个字段数据。
根据本公开的实施例,归一化模块可以包括聚类单元、以及排序单元。
聚类单元,用于对多个字段数据中的目标类型的字段数据进行聚类,确定聚类簇。
排序单元,用于对聚类簇中的字段数据按照字数或者数据来源进行排序,将排序最高的字段数据作为目标类型的目标字段,得到目标三元组数据。
根据本公开的实施例,验证模块可以包括获取单元、生成单元、以及验证单元。
获取单元,用于基于目标三元组数据,获取与目标三元组数据相关的网页数据。
生成单元,用于基于网页数据,生成目标特征数据。
验证单元,用于将目标特征数据输入至三元组数据处理模型中,得到验证结果。
根据本公开的实施例,目标特征数据包括以下至少一项:与网页数据相关的时序特征、与网页数据中的目标三元组数据相关的属性特征。
根据本公开的实施例,三元组数据的验证装置还可以包括预处理模块。
根据本公开的实施例,预处理模块,用于对初始文本数据进行预处理,得到语句级别的文本数据。
根据本公开的实施例,预处理包括以下至少一项:筛选、分句、格式统一。
图7示意性示出了根据本公开实施例的三元组数据处理模型的训练装置的框图。
如图7所示,三元组数据处理模型的训练装置700可以包括抽取训练模块710、归一化训练模块720、以及模型训练模块730。
抽取训练模块710,用于对文本训练数据进行三元组数据抽取,得到多个训练字段数据。
归一化训练模块720,用于对多个训练字段数据进行归一化处理,确定目标训练三元组数据,其中,目标训练三元组数据包括训练实体数据、训练实体关系数据和训练关联实体数据。
模型训练模块730,用于利用目标训练三元组数据和与目标训练三元组数据相对应的标签训练三元组数据处理模型,得到经训练的三元组数据处理模型,其中,标签指示了目标训练三元组数据的置信度。
根据本公开的实施例,模型训练模块可以包括获取训练单元、以及生成训练单元。
获取训练单元,用于基于目标训练三元组数据,获取与目标训练三元组数据相关的样本网页数据。
生成训练单元,用于基于样本网页数据,生成目标训练特征数据,以便利用目标训练特征数据和标签训练三元组数据处理模型,得到经训练的三元组数据处理模型。
根据本公开的实施例,目标训练特征数据包括以下至少一项:与样本网页数据相关的时序特征、与样本网页数据中的目标训练三元组数据相关的属性特征。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例,一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如上所述的方法。
根据本公开的实施例,一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行如上所述的方法。
根据本公开的实施例,一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如上所述的方法。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如三元组数据的处理方法或者三元组数据处理模型的训练方法。例如,在一些实施例中,三元组数据的处理方法或者三元组数据处理模型的训练方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的三元组数据的处理方法或者三元组数据处理模型的训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行三元组数据的处理方法或者三元组数据处理模型的训练方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以是分布式***的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (12)
1.一种三元组数据的处理方法,包括:
对文本数据进行三元组数据抽取,得到多个字段数据;
对所述多个字段数据进行归一化处理,确定目标三元组数据,其中,所述目标三元组数据包括实体数据、实体关系数据和关联实体数据;以及
对所述目标三元组数据进行置信度验证,得到验证结果,包括:
基于所述目标三元组数据,获取与所述目标三元组数据相关的网页数据;基于所述网页数据,生成目标特征数据;以及
将所述目标特征数据输入至三元组数据处理模型中,得到所述验证结果;
所述目标特征数据包括以下至少一项:与所述网页数据相关的时序特征、与所述网页数据中的所述目标三元组数据相关的属性特征;
其中,所述网页数据相关的时序特征包括以下至少一项:最近时间差时序特征、最远时间差时序特征;
所述最近时间差时序特征表征多个所述网页数据中公布时间间隔最小的时间差值,或在预定位置同时显示多个目标类型的目标字段的多个所述网页数据之间的时间差最小值;
所述最远时间差时序特征表征多个所述网页数据中公布时间间隔最大的时间差值,或在所述预定位置同时显示多个目标类型的目标字段的多个所述网页数据之间的时间差最大值。
2.根据权利要求1所述的方法,其中,所述对文本数据进行三元组数据抽取,得到多个字段数据包括:
对所述文本数据进行三元组数据抽取,得到多个初始字段数据;
从所述多个初始字段数据中识别目标类型的初始字段数据;
在所述目标类型的初始字段数据符合预定规则的情况下,从所述文本数据中抽取候选数据;以及
基于所述候选数据对所述目标类型的初始字段数据进行修改,得到所述多个字段数据。
3. 根据权利要求1所述的方法,其中,所述对所述多个字段数据进行归一化处理,确定目标三元组数据包括:
对所述多个字段数据中的目标类型的字段数据进行聚类,确定聚类簇;以及
对所述聚类簇中的字段数据按照字数或者数据来源进行排序,将排序最高的字段数据作为目标类型的目标字段,得到所述目标三元组数据。
4.根据权利要求1所述的方法,还包括:
对初始文本数据进行预处理,得到语句级别的所述文本数据,
其中,所述预处理包括以下至少一项:
筛选、分句、格式统一。
5.一种三元组数据处理模型的训练方法,包括:
对文本训练数据进行三元组数据抽取,得到多个训练字段数据;
对所述多个训练字段数据进行归一化处理,确定目标训练三元组数据,其中,所述目标训练三元组数据包括训练实体数据、训练实体关系数据和训练关联实体数据;以及
利用所述目标训练三元组数据和与所述目标训练三元组数据相对应的标签训练三元组数据处理模型,得到经训练的三元组数据处理模型,其中,所述标签指示了所述目标训练三元组数据的置信度;
其中,所述利用所述目标训练三元组数据和与所述目标训练三元组数据相对应的标签训练三元组数据处理模型,得到经训练的三元组数据处理模型包括:
基于所述目标训练三元组数据,获取与所述目标训练三元组数据相关的样本网页数据;
基于所述样本网页数据,生成目标训练特征数据,以便利用所述目标训练特征数据和所述标签训练所述三元组数据处理模型,得到经训练的三元组数据处理模型;
所述目标训练特征数据包括以下至少一项:
与所述样本网页数据相关的时序特征、与所述样本网页数据中的所述目标训练三元组数据相关的属性特征;
其中,所述与所述样本网页数据相关的时序特征包括以下至少一项:
最近时间差时序特征、最远时间差时序特征;
所述最近时间差时序特征表征多个所述样本网页数据中公布时间间隔最小的时间差值,或在预定位置同时显示多个目标类型的目标字段的多个所述样本网页数据之间的时间差最小值;
所述最远时间差时序特征表征多个所述样本网页数据中公布时间间隔最大的时间差值,或在所述预定位置同时显示多个目标类型的目标字段的多个所述样本网页数据之间的时间差最大值。
6.一种三元组数据的验证装置,包括:
抽取模块,用于对文本数据进行三元组数据抽取,得到多个字段数据;
归一化模块,用于对所述多个字段数据进行归一化处理,确定目标三元组数据,其中,所述目标三元组数据包括实体数据、实体关系数据和关联实体数据;以及
验证模块,用于对所述目标三元组数据进行置信度验证,得到验证结果;
所述验证模块包括:
获取单元,用于基于所述目标三元组数据,获取与所述目标三元组数据相关的网页数据;
生成单元,用于基于所述网页数据,生成目标特征数据;以及
验证单元,用于将所述目标特征数据输入至三元组数据处理模型中,得到所述验证结果;
所述目标特征数据包括以下至少一项:
与所述网页数据相关的时序特征、与所述网页数据中的所述目标三元组数据相关的属性特征;
其中,所述网页数据相关的时序特征包括以下至少一项:
最近时间差时序特征、最远时间差时序特征;
所述最近时间差时序特征表征多个所述网页数据中公布时间间隔最小的时间差值,或在预定位置同时显示多个目标类型的目标字段的多个所述网页数据之间的时间差最小值;
所述最远时间差时序特征表征多个所述网页数据中公布时间间隔最大的时间差值,或在所述预定位置同时显示多个目标类型的目标字段的多个所述网页数据之间的时间差最大值。
7.根据权利要求6所述的装置,其中,所述抽取模块包括:
第一抽取单元,用于对所述文本数据进行三元组数据抽取,得到多个初始字段数据;
识别单元,用于从所述多个初始字段数据中识别目标类型的初始字段数据;
第二抽取单元,用于在所述目标类型的初始字段数据符合预定规则的情况下,从所述文本数据中抽取候选数据;以及
修改单元,用于基于所述候选数据对所述目标类型的初始字段数据进行修改,得到所述多个字段数据。
8. 根据权利要求6所述的装置,其中,所述归一化模块包括:
聚类单元,用于对所述多个字段数据中的目标类型的字段数据进行聚类,确定聚类簇;以及
排序单元,用于对所述聚类簇中的字段数据按照字数或者数据来源进行排序,将排序最高的字段数据作为目标类型的目标字段,得到所述目标三元组数据。
9.根据权利要求6所述的装置,还包括:
预处理模块,用于对初始文本数据进行预处理,得到语句级别的所述文本数据,
其中,所述预处理包括以下至少一项:
筛选、分句、格式统一。
10.一种三元组数据处理模型的训练装置,包括:
抽取训练模块,用于对文本训练数据进行三元组数据抽取,得到多个训练字段数据;
归一化训练模块,用于对所述多个训练字段数据进行归一化处理,确定目标训练三元组数据,其中,所述目标训练三元组数据包括训练实体数据、训练实体关系数据和训练关联实体数据;以及
模型训练模块,用于利用所述目标训练三元组数据和与所述目标训练三元组数据相对应的标签训练三元组数据处理模型,得到经训练的三元组数据处理模型,其中,所述标签指示了所述目标训练三元组数据的置信度;
所述模型训练模块包括:
获取训练单元,用于基于所述目标训练三元组数据,获取与所述目标训练三元组数据相关的样本网页数据;
生成训练单元,用于基于所述样本网页数据,生成目标训练特征数据,以便利用所述目标训练特征数据和所述标签训练所述三元组数据处理模型,得到经训练的三元组数据处理模型;
所述目标训练特征数据包括以下至少一项:与样本网页数据相关的时序特征、与样本网页数据中的目标训练三元组数据相关的属性特征;
其中,所述与所述样本网页数据相关的时序特征包括以下至少一项:
最近时间差时序特征、最远时间差时序特征;
所述最近时间差时序特征表征多个所述样本网页数据中公布时间间隔最小的时间差值,或在预定位置同时显示多个目标类型的目标字段的多个所述样本网页数据之间的时间差最小值;
所述最远时间差时序特征表征多个所述样本网页数据中公布时间间隔最大的时间差值,或在所述预定位置同时显示多个目标类型的目标字段的多个所述样本网页数据之间的时间差最大值。
11.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4中任一项所述的三元组数据的处理方法或者5中任一项所述的三元组数据处理模型的训练方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-4中任一项所述的三元组数据的处理方法或者5中任一项所述的三元组数据处理模型的训练方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111118746.9A CN113836316B (zh) | 2021-09-23 | 2021-09-23 | 三元组数据的处理方法、训练方法、装置、设备及介质 |
EP22197384.5A EP4141697A1 (en) | 2021-09-23 | 2022-09-23 | Method and apparatus of processing triple data, method and apparatus of training triple data processing model, device, and medium |
US17/934,876 US20230016403A1 (en) | 2021-09-23 | 2022-09-23 | Method of processing triple data, method of training triple data processing model, device, and medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111118746.9A CN113836316B (zh) | 2021-09-23 | 2021-09-23 | 三元组数据的处理方法、训练方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113836316A CN113836316A (zh) | 2021-12-24 |
CN113836316B true CN113836316B (zh) | 2023-01-03 |
Family
ID=78969599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111118746.9A Active CN113836316B (zh) | 2021-09-23 | 2021-09-23 | 三元组数据的处理方法、训练方法、装置、设备及介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230016403A1 (zh) |
EP (1) | EP4141697A1 (zh) |
CN (1) | CN113836316B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114724010B (zh) * | 2022-05-16 | 2022-09-02 | 中译语通科技股份有限公司 | 一种待训练样本的确定方法、装置、设备及可读存储介质 |
CN114880455B (zh) * | 2022-07-12 | 2022-12-06 | 科大讯飞股份有限公司 | 一种三元组抽取方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110297868A (zh) * | 2018-03-22 | 2019-10-01 | 奥多比公司 | 构建企业特定知识图 |
CN110515999A (zh) * | 2019-08-27 | 2019-11-29 | 北京百度网讯科技有限公司 | 通用记录处理方法、装置、电子设备及存储介质 |
CN110619053A (zh) * | 2019-09-18 | 2019-12-27 | 北京百度网讯科技有限公司 | 实体关系抽取模型的训练方法和抽取实体关系的方法 |
CN112560496A (zh) * | 2020-12-09 | 2021-03-26 | 北京百度网讯科技有限公司 | 语义分析模型的训练方法、装置、电子设备及存储介质 |
CN112836064A (zh) * | 2021-02-24 | 2021-05-25 | 吉林大学 | 知识图谱补全方法、装置、存储介质及电子设备 |
CN113011189A (zh) * | 2021-03-26 | 2021-06-22 | 深圳壹账通智能科技有限公司 | 开放式实体关系的抽取方法、装置、设备及存储介质 |
CN113111135A (zh) * | 2021-04-22 | 2021-07-13 | 北京金山数字娱乐科技有限公司 | 一种知识图谱构建方法及装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1483688A1 (en) * | 2001-11-21 | 2004-12-08 | Metatomix, Inc. | Methods and apparatus for statistical data analysis |
CN103745105B (zh) * | 2014-01-06 | 2017-05-03 | 中国科学院计算技术研究所 | 一种社交网络中用户属性的预测方法及*** |
US11586970B2 (en) * | 2018-01-30 | 2023-02-21 | Wipro Limited | Systems and methods for initial learning of an adaptive deterministic classifier for data extraction |
CN110275998B (zh) * | 2018-03-16 | 2021-07-30 | 北京国双科技有限公司 | 网页属性数据的确定方法及装置 |
CN109829677B (zh) * | 2019-02-22 | 2022-08-09 | 西南科技大学 | 一种物流运输过程监控方法及*** |
CN110414732B (zh) * | 2019-07-23 | 2020-09-18 | 中国科学院地理科学与资源研究所 | 一种出行未来轨迹预测方法、装置、储存介质及电子设备 |
CN112528641A (zh) * | 2020-12-10 | 2021-03-19 | 北京百度网讯科技有限公司 | 建立信息抽取模型的方法、装置、电子设备和可读存储介质 |
CN112800184B (zh) * | 2021-01-13 | 2021-08-06 | 华东师范大学 | 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法 |
CN113361603B (zh) * | 2021-06-04 | 2024-05-10 | 北京百度网讯科技有限公司 | 训练方法、类别识别方法、装置、电子设备以及存储介质 |
CN113392974B (zh) * | 2021-07-07 | 2024-04-09 | 北京百度网讯科技有限公司 | 模型训练方法、装置、电子设备以及存储介质 |
-
2021
- 2021-09-23 CN CN202111118746.9A patent/CN113836316B/zh active Active
-
2022
- 2022-09-23 US US17/934,876 patent/US20230016403A1/en active Pending
- 2022-09-23 EP EP22197384.5A patent/EP4141697A1/en not_active Withdrawn
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110297868A (zh) * | 2018-03-22 | 2019-10-01 | 奥多比公司 | 构建企业特定知识图 |
CN110515999A (zh) * | 2019-08-27 | 2019-11-29 | 北京百度网讯科技有限公司 | 通用记录处理方法、装置、电子设备及存储介质 |
CN110619053A (zh) * | 2019-09-18 | 2019-12-27 | 北京百度网讯科技有限公司 | 实体关系抽取模型的训练方法和抽取实体关系的方法 |
CN112560496A (zh) * | 2020-12-09 | 2021-03-26 | 北京百度网讯科技有限公司 | 语义分析模型的训练方法、装置、电子设备及存储介质 |
CN112836064A (zh) * | 2021-02-24 | 2021-05-25 | 吉林大学 | 知识图谱补全方法、装置、存储介质及电子设备 |
CN113011189A (zh) * | 2021-03-26 | 2021-06-22 | 深圳壹账通智能科技有限公司 | 开放式实体关系的抽取方法、装置、设备及存储介质 |
CN113111135A (zh) * | 2021-04-22 | 2021-07-13 | 北京金山数字娱乐科技有限公司 | 一种知识图谱构建方法及装置 |
Non-Patent Citations (1)
Title |
---|
"基于深度学习的中文文本实体关系抽取研究与实现";佘恒;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20190815;第I138-1433页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113836316A (zh) | 2021-12-24 |
EP4141697A1 (en) | 2023-03-01 |
US20230016403A1 (en) | 2023-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230142217A1 (en) | Model Training Method, Electronic Device, And Storage Medium | |
WO2020108063A1 (zh) | 特征词的确定方法、装置和服务器 | |
US11741094B2 (en) | Method and system for identifying core product terms | |
CN114595686B (zh) | 知识抽取方法、知识抽取模型的训练方法及装置 | |
CN113836316B (zh) | 三元组数据的处理方法、训练方法、装置、设备及介质 | |
CN113836314B (zh) | 知识图谱构建方法、装置、设备以及存储介质 | |
US20220121668A1 (en) | Method for recommending document, electronic device and storage medium | |
CN113051362A (zh) | 数据的查询方法、装置和服务器 | |
CN113657088A (zh) | 接口文档解析方法、装置、电子设备以及存储介质 | |
CN112560425B (zh) | 模板生成方法、装置、电子设备及存储介质 | |
CN114116997A (zh) | 知识问答方法、装置、电子设备及存储介质 | |
CN112148841B (zh) | 一种对象分类以及分类模型构建方法和装置 | |
CN111492364B (zh) | 数据标注方法、装置及存储介质 | |
CN115600592A (zh) | 文本内容的关键信息提取方法、装置、设备及介质 | |
CN114417862A (zh) | 文本匹配方法、文本匹配模型的训练方法和装置 | |
CN114970531A (zh) | 基于即时通信消息的意图识别与命名实体提取方法及装置 | |
CN114239562A (zh) | 文档中程序代码块的识别方法、装置和设备 | |
CN115827817A (zh) | 一种文本类别的确定方法、相关装置以及设备 | |
CN114925185B (zh) | 交互方法、模型的训练方法、装置、设备及介质 | |
CN116258138B (zh) | 知识库构建方法、实体链接方法、装置及设备 | |
CN115828915A (zh) | 实体消歧方法、装置、电子设备和存储介质 | |
CN117349312A (zh) | 单词标准化、查询方法、装置、电子设备以及存储介质 | |
CN114444445A (zh) | 文本处理方法、装置、电子设备及存储介质 | |
CN116738993A (zh) | 信息识别模型的训练方法、信息识别方法和装置 | |
CN117688939A (zh) | 一种实体关系提取的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |