CN113656592B - 基于知识图谱的数据处理方法、装置、电子设备和介质 - Google Patents
基于知识图谱的数据处理方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN113656592B CN113656592B CN202110831497.1A CN202110831497A CN113656592B CN 113656592 B CN113656592 B CN 113656592B CN 202110831497 A CN202110831497 A CN 202110831497A CN 113656592 B CN113656592 B CN 113656592B
- Authority
- CN
- China
- Prior art keywords
- attribute
- column
- row
- cell content
- cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 8
- 238000003058 natural language processing Methods 0.000 abstract description 6
- 238000011156 evaluation Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000009411 base construction Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003924 mental process Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
- G06F16/313—Selection or weighting of terms for indexing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了基于知识图谱的数据处理方法、装置、电子设备和介质,涉及计算机技术领域,尤其涉及自然语言处理、知识图谱等人工智能领域。方案为:获取待处理表格及对应的表名;对表格进行识别,以获取表格中每个单元格内容;根据每个单元格内容与预设表格词库中分词之间的匹配度,确定每个单元格内容对应的行属性和列属性;根据表名、每个单元格内容对应的行属性和列属性,确定表格对应的四元组列表。由此,用四元组概括表格的布局信息,保留表格的行列关系,使表格上下文信息更加完整。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及自然语言处理、知识图谱等人工智能领域,具体涉及基于知识图谱的数据处理方法、装置、电子设备和存储介质。
背景技术
文档中包含的复杂表格的信息抽取和挖掘是信息检索领域中的常见的难题。基于文档的实体抽取、文档分类、知识生产、检索、推荐、问答等通常依赖于多源文档信息的抽取,而表格作为文档中一种常见的数据归纳格式,行列合并关系多样,且内容和样式互相绑定,单纯抽取表格值域,会丢失布局信息,影响非结构化内容理解的准确性。
因此,如何提高表格抽取内容的完整性是亟待解决的问题。
发明内容
本申请提供了一种基于知识图谱的数据处理方法、装置、电子设备和存储介质。
根据本申请的一方面,提供了一种基于知识图谱的数据处理方法,包括:
获取待处理表格及对应的表名;
对所述表格进行识别,以获取所述表格中每个单元格内容;
根据每个所述单元格内容与预设表格词库中分词之间的匹配度,确定每个所述单元格内容对应的行属性和列属性;
根据所述表名、每个所述单元格内容对应的行属性和列属性,确定所述表格对应的四元组列表,其中,所述四元组列表中每个四元组包括所述表名、行属性、列属性及对应的属性值。
根据本申请的另一方面,提供了一种基于知识图谱的数据处理装置包括:
获取模块,用于获取待处理表格及对应的表名;
识别模块,用于对所述表格进行识别,以获取所述表格中每个单元格内容;
第一确定模块,用于根据每个所述单元格内容与预设表格词库中分词之间的匹配度,确定每个所述单元格内容对应的行属性和列属性;
第二确定模块,用于根据所述表名、每个所述单元格内容对应的行属性和列属性,确定所述表格对应的四元组列表,其中,所述四元组列表中每个四元组包括所述表名、行属性、列属性及对应的属性值。
根据本申请的另一方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述实施例所述的方法。
根据本申请的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述实施例所述的方法。
根据本申请的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据上述实施例所述的方法。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请实施例提供的一种基于知识图谱的数据处理方法的流程示意图;
图2为本申请实施例提供的另一种基于知识图谱的数据处理方法的流程示意图;
图3为本申请实施例提供的另一种基于知识图谱的数据处理方法的流程示意图;
图4为本申请实施例提供的另一种基于知识图谱的数据处理方法的流程示意图;
图5为本申请实施例提供的一种文档处理过程示意图;
图6为本申请实施例提供的一种基于知识图谱的数据处理装置的结构示意图;
图7是用来实现本申请实施例的基于知识图谱的数据处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的基于知识图谱的数据处理方法、装置、电子设备和存储介质。
人工智能是研究使用计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术领域也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术包括计算机视觉技术、语音识别技术、自然语言处理技术以及深度学习、大数据处理技术、知识图谱技术等几大方向。
NLP(Natural Language Processing,自然语言处理)是计算机科学领域与人工智能领域中的一个重要方向,NLP研究的内容包括但不限于如下分支领域:文本分类、信息抽取、自动摘要、智能问答、话题推荐、机器翻译、主题词识别、知识库构建、深度文本表示、命名实体识别、文本生成、文本分析(词法、句法、语法等)、语音识别与合成等。
图1为本申请实施例提供的一种基于知识图谱的数据处理方法的流程示意图。
本申请实施例的基于知识图谱的数据处理方法,可由本申请实施例提供的基于知识图谱的数据处理装置执行,该装置可配置于电子设备中,通过获取表格对应的四元组列表,利用四元组概括表格的布局信息,保留表格的行列关系,从而使得表格上下文信息更加完整。
如图1所示,该基于知识图谱的数据处理方法,包括:
步骤101,获取待处理表格及对应的表名。
本申请中,用户可以输入待处理表格及对应的表名,由此获取待处理表格和表名。或者,也可以对待处理文档进行解析,抽取文档中的表格,并根据文档中表格的上下文信息,确定表格的表名。
在实际应用中,文档中表格的上方或下方通常会注明表格的名称,比如“表1今年2月份每天的平均气温”。
若文档中没有注明表格的名称,可以根据表格在文档中的位置,获取表格上方的段落或下方的段落,根据获取的段落内容,确定表格的表名。
比如,可以从获取的段落中抽取关键词,基于关键词确定表格的表名。或者,也可以将表格下方段落的第一句话,作为表格表名。或者,也可以从获取的段落中确定分词“表格”的位置,根据该分词所在语句,确定表格名。
本申请中,可以通过对文档进行解析,获取表格,并根据表格在文档中的上下文信息,确定表格的表名,由此可以对文档中的表格进行处理,也可以使得表格与表名一一对应。
步骤102,对表格进行识别,以获取表格中每个单元格内容。
在获取待处理表格及对应的表名后,可以对表格进行识别,比如逐行及逐列识别,获取表格中每个单元格内容、每个单元格内容对应的位置信息等。这里的位置信息,可以是指单元格内容所在的行和列。
可以理解的是,根据每个单元格内容和所在的行和列,可以获取与表格对应的二维数组,也可以称为单元格矩阵。其中,单元格矩阵的行数与列数与表格对应,单元格矩阵中的元素为单元格内容。比如,单元格矩阵中第1行第1列的元素对应表格中位置为第1行第1列的单元格内容。
比如,从某文档中获取如下表格和表名,其中,该表格的表名为“表1部件评价标准”。
表1部件评价标准
经过识别,上述表格为8行7列的表格,第1行1列的单元格内容为部件,第1行第2列至第7列的单元格内容均为部件状态评价标准,第2行第1列的单元格内容为部件;第2行第2列和第2列第3列的单元格内容均为正常状态,第2行第4列和第2列第5列的单元格内容均为注意状态,第2行第6列的单元格内容均为异常状态,第2行第6列的第2列第7列的单元格内容为严重状态等。
步骤103,根据每个单元格内容与预设表格词库中分词之间的匹配度,确定每个单元格内容对应的行属性和列属性。
为了获取表格中行列关联关系,本申请中,可以根据每个单元格内容与预设表格词库中分词之间的匹配度,确定每个单元格内容的类型,其中,类型可以包括属性、属性值等。
在确定每个单元格内容的类型后,根据每个单元格内容所在的行和列,确定与每个单元格内容同行的属性(可称为行属性)和同列的属性(可称为列属性)。那么,与每个单元格内容同行的行属性即为每个单元格内容对应的行属性,与每个单元格内容同列的列属性即为每个单元格内容对应的列属性。从而,可以确定每个单元格内容对应的行属性和列属性。
可以理解的是,与单元格内容同行的行属性所在的列数小于单元格内容所在的列数,与单元格内容同列的列属性所在的行数小于单元格内容所在的行数。
比如,上述表1中,第4行第2列的单元格内容为<30,与其同行的行属性为本体在第1列,小于第2列,与其同列的列属性有第1行的部件状态评价标准、第2行的正常状态、第3行的合计扣分,均小于第4行。
或者,也可以利用预设表格词库确定表格中的行属性和列属性。其中,预设表格词库可以是与表名匹配的表格词库,若表格是从文档中获取的,那么可以将与文档所属类型对应的表格词库作为预设表格词库。
本申请中,可以将每个单元格内容与预设表格词库中的分词进行匹配,以获取每个单元格内容与表格词库中分词之间的匹配度,根据每个单元格内容与表格词库中分词之间匹配度,确定表格中包含的各个行属性和列属性。
比如,在确定行属性时,可以将每行的各单元格内容与表格词库中的分词进行匹配,如果某行中预设比例的单元格内容与表格词库中的分词间的匹配度均大于阈值,且匹配度均大于阈值的单元格内容中,某单元格内容同列的单元格内容中,存在与表格词库中的每个分词间的匹配度均小于或等于阈值的单元格内容,可以认为该单元格内容为列属性。
以上述表格1为例,第1行的单元格内容有两个部件和部件状态评价标准,可以将部件和部件状态评价标准分别与表格词库中的分词进行匹配,部件与表格词库中某分词间的匹配度大于阈值,部件状态评价标准也与表格词库中的某分词间的匹配度也大于阈值,且与部件状态评价标准同列的单元格内容中,存在与表格词库中每个分词间的匹配度均小于阈值的内容,可以认为部件状态评价标准为列属性。利用这种方式,可以确定表1包含的列属性有部件状态评价标准、正常状态、注意状态、异常状态、严重状态、合计扣分、单项扣分。
由于确定列属性的方法与确定行属性的方法类似,故在此不再赘述。
由于已知每个单元格内容所在的行和列,那么在确定表格中包含的各行个属性和列属性的同时,可以确定每个行属性和每个列属性所在的行和列。
在相关技术中,在对表格进行处理时,通常单纯抽取表格值域,这种方式会丢失布局信息,影响非结构化内容理解的准确性。
在确定表格包含的各个行属性和列属性的后,可以根据表格包含的各个行属性和列属性、及每个单元格内容所在的行和列,确定每个单元格内容对应的行属性和列属性。
在实现时,可以根据每个单元格内容所在行和列,确定与每个单元格内容属于同一行的行属性和属于同一列的列属性,那么与每个单元格内容属于同一行的行属性即为每个单元格内容对应的行属性,与每个单元格内容属于同一列的列属性即为每个单元格内容对应的列属性。
需要说明的是,若单元格内容本身为行属性或列属性,可以认为该单元格内容对应的行属性和列属性为空。
步骤104,根据表名、每个单元格内容对应的行属性和列属性,确定表格对应的四元组列表。
在获取每个单元格内容的行属性和列属性后,可以根据表名、每个单元格内容的对应的行属性和列属性,确定表格对应的四元组列表。其中,四元组列表中每个四元组可以包括表名、行属性、列属性及对应的属性值。
这里四元组中的属性值为行属性和列属性共同的取值,即对应的同一单元格内容。比如,上述表1中,三个列属性部件状态评价标准、正常状态和合计扣分,与行属性本体,共同的取值即为单元格内容<30。
本申请中,可以根据每个单元格内容对应的行属性和列属性,及表格的表名,确定一个四元组。这里四元组中的属性值即为行属性和列属性对应的单元格内容,可以表示为(表名,行属性,列属性,属性值)。
以上述表1为例,该表格的四元组有(表1部件评价标准,本体,部件状态评价标准正常状态合计扣分,<30)、(表1部件评价标准,套管,部件状态评价标准正常状态合计扣分,<20)、(表1部件评价标准,险却***,部件状态评价标准正常状态合计扣分,<30)、(表1部件评价标准,分接开关,部件状态评价标准正常状态合计扣分,<30)、(表1部件评价标准,作电保护和在线监测装置,部件状态评价标准正常状态合计扣分,<30)、(表1部件评价标准,本体,部件状态评价标准正常状态单项扣分,<12)等。
需要说明的是,上述四元组的格式仅是示例,本申请对四元组中各部分内容的顺序不作限定。
本申请的基于知识图谱的数据处理方法,可应用文档中复杂表格的处理,可以通过利用四元组智能抽取文档中的复杂表格,可以保留表格的行列关系,由于四元组可以认为看作是知识图谱中三元组的补充格式,因此从表格中抽取出的数据格式经过进一步处理,可以直接推入知识库,也可以配合各类数据库,极快的完成信息关联、信息检索。并且,从文档输入到获取表格的四元组列表,可以流式自动完成,在提升效果的同时,提高了文档解析性能。
本申请实施例中,通过获取待处理表格及对应的表名;对表格进行识别,以获取表格中每个单元格内容;根据每个单元格内容与预设表格词库中分词之间的匹配度,确定每个单元格内容对应的行属性和列属性;根据表名、每个单元格内容对应的行属性和列属性,确定表格对应的四元组列表。由此,通过获取表名、表格中每个单元格对应的行属性和列属性,获取表格对应的四元组列表,从而利用四元组概括表格的布局信息,保留表格的行列关系,使得表格上下文信息更加完整。
在本申请的一个实施例中,可以采用图2所示的方法,确定表格中包含的各个行属性和列属性。图2为本申请实施例提供的另一种基于知识图谱的数据处理方法的流程示意图。
如图2所示,上述根据每个单元格内容与预设表格词库中分词之间的匹配度,确定表格中包含的各个行属性和列属性,可以包括:
步骤201,根据表格中每列包括的各第一单元格内容与表格词库中分词之间的匹配度,确定每个第一单元格内容的类型。
本申请中,针对表格中的每列,可以获取每列包含的各个第一单元格内容与表格词库中分词间的匹配度,根据匹配度与阈值的大小,确定每个第一单元格内容的类型。
比如,在第一单元格内容与表格词库中任一分词间的匹配度大于阈值的情况下,可以确定第一单元格内容的类型为属性;在第一单元格内容与表格词库中每个分词间的匹配度均小于或等于阈值的情况下,可以认为第一单元格内容的类型为属性值。由此,可以根据单元格内容与表格词库中分词间的匹配度与阈值的大小关系,确定单元格内容的类型,从而便于进一步确定属性的类型。
在实际应用中,同一行中可能相邻几列的单元格内容相同,或者同一列中相邻几行的单元格内容相同,比如上述表1中,第1行中,第2列和第7列的单元格内容都是部件状态评价标准。因此,在确定每行中各个单元格内容的类型时,若存在相邻的几列的单元格内容相同,可以看作一个单元格内容,无需重复确定单元格内容的类型。
在实际应用中,同一行中某些列的单元格内容可能相同,比如上述表1中,第3行中第2列与第4列的单元格内容都是合计扣分,第3列、第5列、第6列的单元格内容为单项扣分。因此,同一行或同一列中相同单元格内容的类型,可以判断一次。比如,第3行第2列的单元格内容合计扣分为属性,那么可以确定第4列的单元格内容的类型也是属性。
步骤202,在各第一单元格内容的类型均为属性的情况下,确定每个第一单元格内容为行属性。
本申请中,某列包含的各个第一单元格内容的类型均为属性的情况下,可以认为该列的单元格内容均为行属性,即确定该列每个第一单元格内容为行属性。由此,可以确定出表格包含的各个行属性。
以上述表1为例,第1列中每个单元格内容的类型均为属性,可以确定第1列中每个单元格内容为行属性。
步骤203,根据待处理表格中每行包括的各第二单元格内容与表格词库中分词之间的匹配度,确定每个第二单元格内容的类型。
本申请中,针对表格中的每行,可以获取每行包含的各个第二单元格内容与表格词库中分词间的匹配度,根据匹配度与阈值的大小,确定每个第二单元格内容的类型。这里确定每个第二单元格内容的类型方法,与上述确定每个第一单元格内容的类型的方法类似,故在此不再赘述。
步骤204,在各第二单元格内容的类型均为属性的情况下,确定每个第一单元格内容为列属性。
本申请中,某行包含的各个第二单元格内容的类型均为属性的情况下,可以认为该行的单元格内容均为列属性,即确定该列每个第二单元格内容为列属性。由此,可以确定出表格包含的各个列属性。
以上述表1为例,第1行中部件和部件状态评价标准的类型均为属性,可以确定第1行中部件和部件状态评价标准均为列属性。
在确定表格中包含的各个行属性和列属性后,可以根据表格中包含的各个行属性和列属性、及每个单元格内容所在的行和列,确定每个单元格内容对应的行属性和列属性,进而基于表名和每个单元格内容对应的行属性和列属性,确定表格对应的四元组列表。从而,在保存了语义信息的基础上,四元组充分结合了表格的行列信息,使得表格上下文信息更加完整。
本申请实施例中,在根据每个单元格内容与预设表格词库中分词之间的匹配度,确定表格中包含的各个行属性和列属性时,可以通过根据表格中每列包括的各第一单元格内容与表格词库中分词之间的匹配度,确定每个第一单元格内容的类型,在各第一单元格内容的类型均为属性的情况下,确定每个第一单元格内容为行属性,也可根据待处理表格中每行包括的各第二单元格内容与表格词库中分词之间的匹配度,确定每个第二单元格内容的类型,在各第二单元格内容的类型均为属性的情况下,确定每个第一单元格内容为列属性。由此,可以通过逐列判断,确定表格中包含的行属性,及通过逐行判断,确定表格中包含的列属性。
在实际应用中,可能会存在误判断的情况。比如,某行有5个单元格内容,其中,4个单元格内容的类型为属性,1个单元格内容的类型为属性值。
基于此,在本申请的一个实施例中,在确定每个第一单元格内容的类型之后,针对每列,在任一第一单元格内容的类型为属性值、且其余第一单元格内容的类型均为属性的情况下,可以认为任一第一单元格内容的类型存在误判,可以将任一第一单元格内容的类型确定为行属性。
同样地,在确定每个第二单元格内容的类型之后,针对每列,在任一第二单元格内容的类型为属性值、且其余第二单元格内容的类型为属性的情况下,可以将任一第二单元格内容的类型更新为列属性。
以上述表1中第2行为例,部件、正常状态、注意状态和异常状态的类型均为属性,而严重状态的类型为属性值,可以认为严重状态的类型为误判,可以将严重状态的类型更新为列属性。
本申请实施例中,在确定每个所述第一单元格内容的类型之后,还可以在任一第一单元格内容的类型为属性值、且其余第一单元格内容的类型为属性的情况下,将任一第一单元格内容的类型更新为行属性。在确定列属性时,也可以采用相同的方式。由此,可以避免误判的情况,提高了属性抽取的准确性。
图3为本申请实施例提供的另一种基于知识图谱的数据处理方法的流程示意图。
如图3所示,该基于知识图谱的数据处理方法包括:
步骤301,获取待处理表格及对应的表名。
步骤302,对表格进行识别,以获取表格中每个单元格内容。
步骤303,根据每个单元格内容与预设表格词库中分词之间的匹配度,确定表格中包含的各个行属性及列属性。
本申请中,步骤301-步骤303与上述步骤101-步骤103类似,故在此不再赘述。
步骤304,以每个属性值为起点,获取与每个属性值的行位置相同的行属性,及与每个属性值的列位置相同的列属性。
本申请中,在根据表格词库确定表格中包含的各个行属性和列属性的同时,还可以确定出表格中包含的各个属性值。
针对每个属性值,可以以每个属性值为起点,获取与每个属性值的行位置相同的行属性,以及与每个属性值的列位置相同的列属性。从而,可以确定每个属性值对应的行属性和列属性。
以上述表1中第4行第3列的属性值<12为例,与该属性值同行的行属性为本体,以该属性值同列的列属性值为单项扣分、正常状态部件状态评价标准。那么,可以确定该与属性值对应的行属性为本体,对应的列属性为有3个部件状态评价标准、正常状态、单项扣分。
步骤305,根据表名、每个属性值对应的行属性和列属性,确定表格对应的四元组列表。
在确定每个属性值对应的行属性和列属性后,可以根据表名、每个属性值对应的行属性和列属性,确定表格对应各个四元组。
比如上述表1,表名为表1部件评价标准,第4行第3列的属性值<12对应的行属性为本体,对应的列属性为有3个,分别为部件状态评价标准、正常状态、单项扣分,可以确定相应的四元组为(表1部件评价标准,本体,部件状态评价标准正常状态单项扣分,<12)。
若属性值对应的列属性有多个时,在确定四元组时,可以将多个列属性按照所在行数的从低到高的顺序排序。比如,上述表1中第4行第3列的属性值<12对应部件状态评价标准、正常状态、单项扣分3个列属性,由于部件状态评价标准、正常状态、单项扣分3个列属性所在行分别为第1行、第2行、第3行,那么可以按照第1行到第3行的顺序进行排序得到部件状态评价标准、正常状态、单项扣分。
若属性值对应的行属性有多个,在确定四元组时,可以将多个行属性按照所在列数从低到高的顺序排序。
本申请实施例中,在确定每个单元格内容对应的行属性和列属性时,可以以每个属性值为起点,获取与每个属性值的行位置相同的行属性,及与每个属性值的列位置相同的列属性。从而,可以确定每个属性值对应的行属性和列属性,进而可以根据表名和每个属性值对应的行属性和列属性,确定表格对应的各四元组。
在本申请的一个实施例中,还可以采用图4所示方式,确定每个单元格内容对应的行属性和列属性。图4为本申请实施例提供的另一种基于知识图谱的数据处理方法的流程示意图。
如图4所示,上述根据表格中包含的各个行属性和列属性、及每个单元格内容所在的行和列,确定每个单元格内容对应的行属性和列属性,包括:
步骤401,以层级最高的每个第一列属性为起点,获取与每个第一列属性同列的第三单元格内容。
本申请中,可以从层级最高的每个列属性为起点,为了便于描述称为第一列属性,获取每个第一列属性同列的第三单元格内容。其中,层级最高的列属性可以理解为所在行数最低的列属性,如上述表1中部件状态评价标准在第1行层级最高。
这里第三单元格内容,可以理解为层级低于第一列属性的单元格内容。比如,以第1行第2列的部件状态评价标准为起点,可以获取与其同列的第二行的单元格内容正常状态,即第三单元格内容为正常状态。
步骤402,在第三单元格内容为列属性的情况下,获取与第三单元格内容同列的第四单元格内容。
在第三单元格内容为列属性的情况下,可以继续获取与第三单元格内容或者说与第一列属性同列的下一行的第四单元格内容。这里第四单元格内容,可以理解为层级低于第三单元格内容。
比如,上述表1中,以第1行第2列的部件状态评价标准为起点,第三单元格内容为列属性正常状态,同列的第四单元格内容为合计扣分。
步骤403,在第四单元格内容为属性值的情况下,获取与第四单元格内容的行位置相同的行属性。
若第四单元格内容为属性值,可以获取与第四单元格内容的行位置相同的行属性。从而,可以将与第四单元格内容的行位置相同的行属性作为第四单元格内容对应的行属性,将第一列属性和第三单元格内容作为对应的列属性。
若第四单元格内容为列属性,可以继续获取同列且层级低于第四单元格内容的单元格内容,若是属性值,可以获取与其同行的行属性。从而,可以确定该单元格内容对应的行属性和列属性。之后,继续获取同列的单元格内容,该单元格内容为属性值,则获取该属性值同行的行属性,直至遍历完与第一列属性同列的所有单元格内容。
比如,上述表1中,以第1行第2列的第一列属性部件状态评价标准为起点,第三单元格内容为列属性正常状态,同列第2行的第四单元格内容为合计扣分。继续获取第3行第2列的单元格内容,该单元格内容为属性值,可以获取与其同行的行属性本体。之后,继续获取第4行第2列的单元格内容,该单元格内容为属性值,可以获取与其同行的行属性。之后,继续获取第5行的单元格内容,直至遍历并确定第8行第2列的单元格内容的行属性。
针对每个第一列属性执行上述方法,可以获取表格中每个属性值对应的行属性和列属性。
可以理解的是,也可以以层级最高的每个第一行属性为起点,先确定对应的属性值,再基于属性值所在列获取对应的列属性。
本申请实施例中,在确定每个单元格内容对应的行属性和列属性时,可以以层级最高的每个第一列属性为起点,获取与每个第一列属性同列的第三单元格内容;在第三单元格内容为列属性的情况下,获取与第三单元格内容同列的第四单元格内容;在第四单元格内容为属性值的情况下,获取与第四单元格内容的行位置相同的行属性。从而,可以确定每个属性值对应的行属性和列属性,进而可以根据表名和每个属性值对应的行属性和列属性,确定表格对应的各四元组。
在本申请的一个实施例中,在确定每个单元格内容对应的行属性和列属性时,还可以针对层级最高的每个第一列属性,获取同列的列属性及各属性值。针对每个属性值,可以获取与每个属性值同行的行属性。由此,可以确定每个属性值对应的行属性和列属性,这里各个属性值对应的列属性相同。由此,针对每个第一列属性值执行相同的方法,可以获取表格中各个属性值对应的行属性和列属性。
可以理解的是,也可以针对每个层级最高的行属性,获取同行的行属性及各个属性值。针对每个属性值,可以获取与每个属性值同列的行属性。由此,可以确定每个属性值对应的行属性和列属性,这里各个属性值对应的行属性相同。由此,针对每个第一行属性值执行相同的方法,可以获取表格中各个属性值对应的行属性和列属性。
图5为本申请实施例提供的一种文档处理过程示意图。
图5中,从文档中分别抽取表名和表格,判断表名的数量与表格的数量是否相等。如果相等,将表名与表格一一映射。如果表名数量和表格数量不相同,可以采用就近原则从表格在文档中的子标题区域中,确定表名。之后,针对每个表格,可以根据表格中每个单元格内容与预设表格词库中分词之间的匹配度,获取表格中每个单元格内容,并抽取表格中的行属性和列属性。之后,根据表格中的行属性和列属性、及每个单元格内容所在的行和列,确定每个单元格内容对应的行属性和列属性。之后,根据表格对应的表名、表格中每个单元格内容对应的行属性和列属性,确定表格对应的四元组列表。
为了实现上述实施例,本申请实施例还提出一种基于知识图谱的数据处理装置。图6为本申请实施例提供的一种基于知识图谱的数据处理装置的结构示意图。
如图6所示,该基于知识图谱的数据处理装置600包括:
获取模块610,用于获取待处理表格及对应的表名;
识别模块620,用于对表格进行识别,以获取表格中每个单元格内容;
第一确定模块630,用于根据每个单元格内容与预设表格词库中分词之间的匹配度,确定每个单元格内容对应的行属性和列属性;
第二确定模块640,用于根据表名、每个单元格内容对应的行属性和列属性,确定表格对应的四元组列表,其中,四元组列表中每个四元组包括表名、行属性、列属性及对应的属性值。
在本申请实施例一种可能的实现方式中,第一确定模块630,可以包括:
第一确定单元,用于根据每个单元格内容与预设表格词库中分词之间的匹配度,确定表格中包含的各个行属性及列属性;
第二确定单元,用于根据表格中包含的各个行属性和列属性、及每个单元格内容所在的行和列,确定每个单元格内容对应的行属性和列属性。
在本申请实施例一种可能的实现方式中,第一确定单元,可以包括:
第一子确定单元,用于根据表格中每列包括的各第一单元格内容与表格词库中分词之间的匹配度,确定每个第一单元格内容的类型;
第二子确定单元,用于在各第一单元格内容的类型均为属性的情况下,确定每个第一单元格内容为行属性;
第一子确定单元,还用于根据待处理表格中每行包括的各第二单元格内容与表格词库中分词之间的匹配度,确定每个第二单元格内容的类型;
第二子确定单元,还用于在各第二单元格内容的类型均为属性的情况下,确定每个第一单元格内容为列属性。
在本申请实施例一种可能的实现方式中,第一子确定单元,可以用于:
在每个第一单元格内容与任一分词间的匹配度大于阈值的情况下,确定每个第一单元格内容的类型为属性;
在每个第一单元格内容与每个分词间的匹配度均小于或等于阈值的情况下,确定每个第一单元格内容的类型为属性值。
在本申请实施例一种可能的实现方式中,第一确定模块630,还可以包括:
子更新单元,用于在任一第一单元格内容的类型为属性值、且其余第一单元格内容的类型为属性的情况下,将任一第一单元格内容的类型更新为行属性。
在本申请实施例一种可能的实现方式中,第二确定单元,可以用于:
以每个属性值为起点,获取与每个属性值的行位置相同的行属性,及与每个属性值的列位置相同的列属性。
在本申请实施例一种可能的实现方式中,第二确定单元,可以用于:
以层级最高的每个第一列属性为起点,获取与每个第一列属性同列的第三单元格内容;
在第三单元格内容为列属性的情况下,获取与第三单元格内容同列的第四单元格内容;
在第四单元格内容为属性值的情况下,获取与第四单元格内容的行位置相同的行属性。
在本申请实施例一种可能的实现方式中,获取模块610,可以用于:
对待解析文档进行解析,获取表格;
根据待解析文档中表格的上下文信息,确定表格对应的表名。
需要说明的是,前述基于知识图谱的数据处理方法实施例的解释说明,也适用于该实施例的基于知识图谱的数据处理装置,故在此不再赘述。
本申请实施例中,通过获取待处理表格及对应的表名;对表格进行识别,以获取表格中每个单元格内容;根据每个单元格内容与预设表格词库中分词之间的匹配度,确定每个单元格内容对应的行属性和列属性;根据表名、每个单元格内容对应的行属性和列属性,确定表格对应的四元组列表。由此,通过获取表名、表格中每个单元格对应的行属性和列属性,获取表格对应的四元组列表,从而利用四元组概括表格的布局信息,保留表格的行列关系,使得表格上下文信息更加完整。
根据本申请的实施例,本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本申请的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示,设备700包括计算单元701,其可以根据存储在ROM(Read-OnlyMemory,只读存储器)702中的计算机程序或者从存储单元708加载到RAM(Random AccessMemory,随机访问/存取存储器)703中的计算机程序,来执行各种适当的动作和处理。在RAM703中,还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。I/O(Input/Output,输入/输出)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于CPU(Central Processing Unit,中央处理单元)、GPU(Graphic Processing Units,图形处理单元)、各种专用的AI(Artificial Intelligence,人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor,数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如基于知识图谱的数据处理方法。例如,在一些实施例中,基于知识图谱的数据处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的基于知识图谱的数据处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行基于知识图谱的数据处理方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、FPGA(Field Programmable Gate Array,现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit,专用集成电路)、ASSP(Application Specific StandardProduct,专用标准产品)、SOC(System On Chip,芯片上***的***)、CPLD(ComplexProgrammable Logic Device,复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory,可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory,便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(Cathode-Ray Tube,阴极射线管)或者LCD(Liquid Crystal Display,液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:LAN(LocalArea Network,局域网)、WAN(Wide Area Network,广域网)、互联网和区块链网络。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务(VirtualPrivate Server,虚拟专用服务器)中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式***的服务器,或者是结合了区块链的服务器。
根据本申请的实施例,本申请还提供了一种计算机程序产品,当计算机程序产品中的指令处理器执行时,执行本申请上述实施例提出的基于知识图谱的数据处理方法。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (19)
1.一种基于知识图谱的数据处理方法,包括:
获取待处理表格及对应的表名;
对所述表格进行识别,以获取所述表格中每个单元格内容;
根据每个所述单元格内容与预设表格词库中分词之间的匹配度,确定每个所述单元格内容对应的行属性和列属性,其中,所述预设表格词库是与表名匹配的表格词库,或者若表格是从文档中获取的,将与文档所属类型对应的表格词库作为预设表格词库;
根据所述表名、每个所述单元格内容对应的行属性和列属性,确定所述表格对应的四元组列表,其中,所述四元组列表中每个四元组包括所述表名、行属性、列属性及对应的属性值。
2.如权利要求1所述的方法,其中,所述根据每个所述单元格内容与预设表格词库中分词之间的匹配度,确定每个所述单元格内容对应的行属性和列属性,包括:
根据每个所述单元格内容与预设表格词库中分词之间的匹配度,确定所述表格中包含的各个行属性及列属性;
根据所述表格中包含的各个行属性和列属性、及每个所述单元格内容所在的行和列,确定每个所述单元格内容对应的行属性和列属性。
3.如权利要求2所述的方法,其中,所述根据每个所述单元格内容与预设表格词库中分词之间的匹配度,确定所述表格中包含的各个行属性及列属性,包括:
根据所述表格中每列包括的各第一单元格内容与所述表格词库中分词之间的匹配度,确定每个所述第一单元格内容的类型;
在所述各第一单元格内容的类型均为属性的情况下,确定每个所述第一单元格内容为行属性;
根据所述待处理表格中每行包括的各第二单元格内容与所述表格词库中分词之间的匹配度,确定每个所述第二单元格内容的类型;
在所述各第二单元格内容的类型均为属性的情况下,确定每个所述第一单元格内容为列属性。
4.如权利要求3所述的方法,其中,所述根据所述表格中每列包括的各第一单元格内容与所述表格词库中分词之间的匹配度,确定每个所述第一单元格内容的类型,包括:
在每个所述第一单元格内容与任一分词间的匹配度大于阈值的情况下,确定每个所述第一单元格内容的类型为属性;
在每个所述第一单元格内容与每个分词间的匹配度均小于或等于阈值的情况下,确定每个所述第一单元格内容的类型为属性值。
5.如权利要求3所述的方法,其中,在所述确定每个所述第一单元格内容的类型之后,还包括:
在任一第一单元格内容的类型为属性值、且其余第一单元格内容的类型为属性的情况下,将所述任一第一单元格内容的类型更新为行属性。
6.如权利要求4或5所述的方法,其中,所述根据所述表格中包含的各个行属性和列属性、及每个所述单元格内容所在的行和列,确定每个所述单元格内容对应的行属性和列属性,包括:
以每个所述属性值为起点,获取与每个所述属性值的行位置相同的行属性,及与每个所述属性值的列位置相同的列属性。
7.如权利要求2所述的方法,其中,所述根据所述表格中包含的各个行属性和列属性、及每个所述单元格内容所在的行和列,确定每个所述单元格内容对应的行属性和列属性,包括:
以层级最高的每个第一列属性为起点,获取与每个所述第一列属性同列的第三单元格内容;
在所述第三单元格内容为列属性的情况下,获取与所述第三单元格内容同列的第四单元格内容;
在所述第四单元格内容为属性值的情况下,获取与所述第四单元格内容的行位置相同的行属性,在确定第四单元格内容对应的行属性和列属性之后,继续获取同列的单元格内容,若所述单元格内容为属性值,则获取该属性值同行的行属性,直至遍历完与第一列属性同列的所有单元格内容。
8.如权利要求1-5任一所述的方法,其中,所述获取待处理表格及对应的表名,包括:
对待解析文档进行解析,获取所述表格;
根据所述待解析文档中所述表格的上下文信息,确定所述表格对应的表名。
9.一种基于知识图谱的数据处理装置,包括:
获取模块,用于获取待处理表格及对应的表名;
识别模块,用于对所述表格进行识别,以获取所述表格中每个单元格内容;
第一确定模块,用于根据每个所述单元格内容与预设表格词库中分词之间的匹配度,确定每个所述单元格内容对应的行属性和列属性,其中,所述预设表格词库是与表名匹配的表格词库,或者若表格是从文档中获取的,将与文档所属类型对应的表格词库作为预设表格词库;
第二确定模块,用于根据所述表名、每个所述单元格内容对应的行属性和列属性,确定所述表格对应的四元组列表,其中,所述四元组列表中每个四元组包括所述表名、行属性、列属性及对应的属性值。
10.如权利要求9所述的装置,其中,所述第一确定模块,包括:
第一确定单元,用于根据每个所述单元格内容与预设表格词库中分词之间的匹配度,确定所述表格中包含的各个行属性及列属性;
第二确定单元,用于根据所述表格中包含的各个行属性和列属性、及每个所述单元格内容所在的行和列,确定每个所述单元格内容对应的行属性和列属性。
11.如权利要求10所述的装置,其中,所述第一确定单元包括:
第一子确定单元,用于根据所述表格中每列包括的各第一单元格内容与所述表格词库中分词之间的匹配度,确定每个所述第一单元格内容的类型;
第二子确定单元,用于在所述各第一单元格内容的类型均为属性的情况下,确定每个所述第一单元格内容为行属性;
所述第一子确定单元,还用于根据所述待处理表格中每行包括的各第二单元格内容与所述表格词库中分词之间的匹配度,确定每个所述第二单元格内容的类型;
所述第二子确定单元,还用于在所述各第二单元格内容的类型均为属性的情况下,确定每个所述第一单元格内容为列属性。
12.如权利要求11所述的装置,其中,所述第一子确定单元,用于:
在每个所述第一单元格内容与任一分词间的匹配度大于阈值的情况下,确定每个所述第一单元格内容的类型为属性;
在每个所述第一单元格内容与每个分词间的匹配度均小于或等于阈值的情况下,确定每个所述第一单元格内容的类型为属性值。
13.如权利要求11所述的装置,其中,所述第一确定单元,还包括:
子更新单元,用于在任一第一单元格内容的类型为属性值、且其余第一单元格内容的类型为属性的情况下,将所述任一第一单元格内容的类型更新为行属性。
14.如权利要求12或13所述的装置,其中,所述第二确定单元,用于:
以每个所述属性值为起点,获取与每个所述属性值的行位置相同的行属性,及与每个所述属性值的列位置相同的列属性。
15.如权利要求10所述的装置,其中,所述第二确定单元,用于:
以层级最高的每个第一列属性为起点,获取与每个所述第一列属性同列的第三单元格内容;
在所述第三单元格内容为列属性的情况下,获取与所述第三单元格内容同列的第四单元格内容;
在所述第四单元格内容为属性值的情况下,获取与所述第四单元格内容的行位置相同的行属性,在确定第四单元格内容对应的行属性和列属性之后,继续获取同列的单元格内容,若所述单元格内容为属性值,则获取该属性值同行的行属性,直至遍历完与第一列属性同列的所有单元格内容。
16.如权利要求9-13任一所述的装置,所述获取模块,用于:
对待解析文档进行解析,获取所述表格;
根据所述待解析文档中所述表格的上下文信息,确定所述表格对应的表名。
17.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
19.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110831497.1A CN113656592B (zh) | 2021-07-22 | 2021-07-22 | 基于知识图谱的数据处理方法、装置、电子设备和介质 |
US17/813,189 US20220350829A1 (en) | 2021-07-22 | 2022-07-18 | Method and apparatus for processing data based on knowledge graph, electronic device and medium |
EP22185911.9A EP4113328A1 (en) | 2021-07-22 | 2022-07-20 | Method and apparatus for processing data based on knowledge graph, electronic device and medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110831497.1A CN113656592B (zh) | 2021-07-22 | 2021-07-22 | 基于知识图谱的数据处理方法、装置、电子设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113656592A CN113656592A (zh) | 2021-11-16 |
CN113656592B true CN113656592B (zh) | 2022-09-27 |
Family
ID=78477704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110831497.1A Active CN113656592B (zh) | 2021-07-22 | 2021-07-22 | 基于知识图谱的数据处理方法、装置、电子设备和介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220350829A1 (zh) |
EP (1) | EP4113328A1 (zh) |
CN (1) | CN113656592B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106156239A (zh) * | 2015-04-27 | 2016-11-23 | ***通信集团公司 | 一种表格抽取方法和装置 |
CN106777259A (zh) * | 2016-12-28 | 2017-05-31 | 深圳市华傲数据技术有限公司 | 自适应抽取HTML Table标签中结构化信息的方法及装置 |
CN110188107A (zh) * | 2019-06-05 | 2019-08-30 | 北京神州泰岳软件股份有限公司 | 一种从表格中抽取信息的方法及装置 |
CN110275966A (zh) * | 2019-07-01 | 2019-09-24 | 科大讯飞(苏州)科技有限公司 | 一种知识抽取方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4742404B2 (ja) * | 2000-05-17 | 2011-08-10 | コニカミノルタビジネステクノロジーズ株式会社 | 画像認識装置、画像形成装置、画像認識方法および画像認識プログラムを記憶したコンピュータ読取り可能な記録媒体 |
US8819064B2 (en) * | 2011-02-07 | 2014-08-26 | Yahoo! Inc. | Method and system for data provenance management in multi-layer systems |
CN103198069A (zh) * | 2012-01-06 | 2013-07-10 | 株式会社理光 | 抽取关系型表格的方法和装置 |
US8914419B2 (en) * | 2012-10-30 | 2014-12-16 | International Business Machines Corporation | Extracting semantic relationships from table structures in electronic documents |
US10706218B2 (en) * | 2016-05-16 | 2020-07-07 | Linguamatics Ltd. | Extracting information from tables embedded within documents |
CN108268581A (zh) * | 2017-07-14 | 2018-07-10 | 广东神马搜索科技有限公司 | 知识图谱的构建方法及装置 |
-
2021
- 2021-07-22 CN CN202110831497.1A patent/CN113656592B/zh active Active
-
2022
- 2022-07-18 US US17/813,189 patent/US20220350829A1/en not_active Abandoned
- 2022-07-20 EP EP22185911.9A patent/EP4113328A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106156239A (zh) * | 2015-04-27 | 2016-11-23 | ***通信集团公司 | 一种表格抽取方法和装置 |
CN106777259A (zh) * | 2016-12-28 | 2017-05-31 | 深圳市华傲数据技术有限公司 | 自适应抽取HTML Table标签中结构化信息的方法及装置 |
CN110188107A (zh) * | 2019-06-05 | 2019-08-30 | 北京神州泰岳软件股份有限公司 | 一种从表格中抽取信息的方法及装置 |
CN110275966A (zh) * | 2019-07-01 | 2019-09-24 | 科大讯飞(苏州)科技有限公司 | 一种知识抽取方法及装置 |
Non-Patent Citations (2)
Title |
---|
基于表格语义的Web信息抽取方法的研究;余承健;《电脑知识与技术》;20080423(第12期);40-42 * |
科技文献中表格信息的存储及检索方法研究;崔文浩等;《图书馆学刊》(第11期);69-72 * |
Also Published As
Publication number | Publication date |
---|---|
US20220350829A1 (en) | 2022-11-03 |
CN113656592A (zh) | 2021-11-16 |
EP4113328A1 (en) | 2023-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10163063B2 (en) | Automatically mining patterns for rule based data standardization systems | |
CN113836314B (zh) | 知识图谱构建方法、装置、设备以及存储介质 | |
CN112926308B (zh) | 匹配正文的方法、装置、设备、存储介质以及程序产品 | |
CN114116997A (zh) | 知识问答方法、装置、电子设备及存储介质 | |
CN111538815A (zh) | 一种文本查询方法、装置、设备及存储介质 | |
CN112989235A (zh) | 基于知识库的内链构建方法、装置、设备和存储介质 | |
CN112560461A (zh) | 新闻线索的生成方法、装置、电子设备及存储介质 | |
CN115017898A (zh) | 敏感文本的识别方法、装置、电子设备及存储介质 | |
CN113191145A (zh) | 关键词的处理方法、装置、电子设备和介质 | |
CN117216275A (zh) | 一种文本处理方法、装置、设备以及存储介质 | |
CN114201607B (zh) | 一种信息处理的方法和装置 | |
CN113656592B (zh) | 基于知识图谱的数据处理方法、装置、电子设备和介质 | |
CN114662469B (zh) | 情感分析方法、装置、电子设备及存储介质 | |
CN115600592A (zh) | 文本内容的关键信息提取方法、装置、设备及介质 | |
CN115712715A (zh) | 问答方法、装置、电子设备以及存储介质进行介绍 | |
CN113377904B (zh) | 行业动作识别方法、装置、电子设备及存储介质 | |
CN113051396B (zh) | 文档的分类识别方法、装置和电子设备 | |
CN113553410A (zh) | 长文档处理方法、处理装置、电子设备和存储介质 | |
CN112926297A (zh) | 处理信息的方法、装置、设备和存储介质 | |
CN112528644A (zh) | 实体挂载的方法、装置、设备以及存储介质 | |
CN113792546A (zh) | 语料库的构建方法、装置、设备以及存储介质 | |
CN116737520B (zh) | 一种日志数据的数据编织方法、装置、设备及存储介质 | |
CN114925185B (zh) | 交互方法、模型的训练方法、装置、设备及介质 | |
US11907668B2 (en) | Method for selecting annotated sample, apparatus, electronic device and storage medium | |
CN114417871B (zh) | 模型训练及命名实体识别方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |