CN113961672A - 信息标注方法、装置、电子设备和存储介质 - Google Patents
信息标注方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113961672A CN113961672A CN202111285525.0A CN202111285525A CN113961672A CN 113961672 A CN113961672 A CN 113961672A CN 202111285525 A CN202111285525 A CN 202111285525A CN 113961672 A CN113961672 A CN 113961672A
- Authority
- CN
- China
- Prior art keywords
- structured data
- data
- type
- matching
- unstructured information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 29
- 230000004044 response Effects 0.000 claims abstract description 19
- 239000012634 fragment Substances 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 12
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种信息标注方法,涉及人工智能技术领域,尤其涉及数据处理技术和数据生成技术。具体实现方案为:将与目标事件相关的多个结构化数据和与目标事件相关的非结构化信息,进行匹配;响应于至少一个结构化数据与非结构化信息匹配成功,将与非结构化信息匹配成功的至少一个结构化数据作为目标数据,得到每个目标数据与至少一个非结构化信息片段之间的匹配关系;根据匹配关系,建立至少一个非结构化信息片段与标签之间的对应关系,标签与目标数据相对应;以及根据对应关系,利用标签对非结构化信息进行标注。本公开还提供了一种信息标注装置、电子设备和存储介质。
Description
技术领域
本公开涉及人工智能技术领域,尤其涉及数据处理技术和数据生成技术。更具体地,本公开提供了一种信息标注方法、装置、电子设备和存储介质。
背景技术
事件图谱以事件为核心,准确地描述了事件信息以及事件之间的关联关系。目前事件图谱的构建主要采用BERT(Bidirectional Encoder Representation FromTransformer,基于双向Transformer的编码器)、ERINE(Enhanced LanguageRepresentation With Informative Entities,增强语言表示的信息实体)等目前表现效果较佳的预训练语言模型。这些模型表现效果常常依赖于训练数据集的规模和分布情况。相关技术中,一般采用人工标注的方式来生成训练数据集,需要专业技术人员全程参与,进行多次验收。
发明内容
基于此,本公开提供了一种信息标注方法、装置、设备以及存储介质。
根据第一方面,提供了一种信息标注方法,该方法包括:将与目标事件相关的多个结构化数据和与上述目标事件相关的非结构化信息,进行匹配;响应于至少一个结构化数据与上述非结构化信息匹配成功,将与上述非结构化信息匹配成功的至少一个结构化数据作为目标数据,得到每个目标数据与至少一个非结构化信息片段之间的匹配关系;根据上述匹配关系,建立至少一个非结构化信息片段与标签之间的对应关系,上述标签与目标数据相对应;以及根据上述对应关系,利用上述标签对上述非结构化信息进行标注。
根据第二方面,提供了一种信息标注装置,该装置包括:匹配模块,用于将与目标事件相关的多个结构化数据和与上述目标事件相关的非结构化信息,进行匹配;获得模块,用于响应于至少一个结构化数据与上述非结构化信息匹配成功,将与上述非结构化信息匹配成功的至少一个结构化数据作为目标数据,得到每个目标数据与至少一个非结构化信息片段之间的匹配关系;建立模块,用于根据上述匹配关系,建立至少一个非结构化信息片段与标签之间的对应关系,上述标签与目标数据相对应;以及标注模块,用于根据上述对应关系,利用上述标签对上述非结构化信息进行标注。
根据第三方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行根据本公开提供的方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行根据本公开提供的方法。
根据第五方面,提供了一种计算机程序产品,包括计算机程序,上述计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开一个实施例的可以应用信息标注方法和装置的示例性***架构示意图;
图2是根据本公开一个实施例的信息标注方法的流程图;
图3A是根据本公开一个实施例的非结构化信息的示意图;
图3B是根据本公开一个实施例的多个结构化数据的示意图;
图3C是根据本公开另一个实施例的多个结构化数据的示意图;
图3D是根据本公开一个实施例的匹配关系的示意图;
图3E是根据本公开另一个实施例的匹配关系的示意图;
图3F是根据本公开一个实施例的对应关系的示意图;
图4是根据本公开一个实施例的信息标注装置的框图;以及
图5是根据本公开一个实施例的可以应用信息标注方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
相关技术中,为了获得高质量的训练数据集,可以先指定明确的标注需求和标注方案。相关专业技术人员根据标注方案对数据进行清洗、评估、提取以及分析处理,以形成初步满足标注需求的训练数据。之后,可以聘请第三方专业技术人员审核该初步满足标注需求的训练数据,以进一步提高训练数据的质量。
利用人工标注的方式生成训练数据集,耗时长,成本较高。
图1是根据本公开一个实施例的可以应用信息标注方法和装置的示例性***架构示意图。需要注意的是,图1所示仅为可以应用本公开实施例的***架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、***、环境或场景。
如图1所示,根据该实施例的***架构100可以包括多个终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用终端设备101通过网络102与服务器103进行交互,以接收或发送消息等。终端设备101可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机等等。
本公开实施例所提供的信息标注方法一般可以由服务器103执行。相应地,本公开实施例所提供的信息标注装置一般可以设置于服务器103中。本公开实施例所提供的信息标注方法也可以由不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群执行。相应地,本公开实施例所提供的信息标注装置也可以设置于不同于服务器103且能够与终端设备101和/或服务器103通信的服务器或服务器集群中。
图2是根据本公开的一个实施例的信息标注方法的流程图。
如图2所示,该方法200可以包括操作S210至操作S240。
在操作S210,将与目标事件相关的多个结构化数据和与目标事件相关的非结构化信息,进行匹配。
在本公开实施例中,目标事件可以与目标对象相对应。
例如,目标事件可以是与目标对象相关的事件。在一个示例中,目标事件可以是某公司的股票价格上涨事件。
在本公开实施例中,结构化数据可以从第三方数据库中获取。
例如,可以从第三数据库中获取数据表,该数据表中包含目标对象的数据。在一个示例中,该数据表的表头字段包含日期、主体、股票价格等等。与主体这一表头字段对应的数据可以是上述目标对象的名称,比如“某某公司”。
在本公开实施例中,非结构化信息可以是一个文本。
例如,非结构化信息可以是“今天某某公司大涨,收盘68.12元”。
在本公开实施例中,非结构化信息可以是一个带有文本的图像。
例如,非结构化信息可以一个图像,同时该图像上带有“今天某某公司大涨,收盘68.12元”的文本。在一个示例中,可以先利用文字识别技术,比如OCR(Optical CharacterRecognition,光学字符识别)技术,从该图像中识别出文本,作为后续操作所需的非结构化信息。
在本公开实施例中,可以将多个结构化数据和非结构化信息进行字符串匹配。
例如,针对每个结构化数据,根据该结构化数据和非结构化信息,进行精确匹配。
在一个示例中,精确匹配可以指:判断该结构化数据是否与非结构信息中某一片段完全相同的匹配方式。例如,该结构化数据为“某某公司”,可以判断非结构化信息中某一片段是否与该结构化数据完全相同。
在本公开实施例中,可以响应于精确匹配失败,确定该结构化数据与非结构化信息的最大公共子字符串,以进行匹配。
例如,非结构信息(比如一段文本)中没有与该结构化数据(比如“某某公司”)完全相同的片段。在这种情况下,可以确定该结构化数据与非结构化信息的最大公共子字符串,以进行匹配。在一个示例中,非结构化信息可以是“今天某某科技公司大涨,收盘68.12元”。该非结构化信息与该结构化数据(“某某公司”)的最大公共子字符串可以为“某某公司”。可以以该最大公共子字符串进行匹配。
在一些示例中,响应于结构化数据与非结构化信息具有最大公共子字符串,可以直接认为匹配成功。
在本公开实施例中,可以针对多个结构化数据,获取每个结构化数据的扩展数据集,得到多个结构化数据的扩展数据集。
例如,针对每个结构化数据,可以确定该结构化数据的类型。
例如,结构化数据类型可以包含多个预定类型。比如,第一预定类型可以是日期类型。比如,第二预定类型可以是比率类型。比如,第三预定类型可以是资产类型。比如,第四预定类型可以是字符串类型。
在一个示例中,响应于该结构化数据的类型为第一预定类型,可以获取包含该结构化数据的多个第一类扩展数据的扩展数据集。在一个示例中,多个第一类扩展数据所表征的时间信息与该结构化数据一致,每个第一类扩展数据可以是对该结构化数据进行一次格式转换得到的。比如,该结构化数据为“202X-1X-1X,00:00:00”,第一类扩展数据可以为“202X年1X月1X日”、“今天”、“今年1X月1X日”及“202X.1X.1X”等等。
在一个示例中,响应于该结构化数据的类型为第二预定类型,可以获取包含该结构化数据的多个第二类扩展数据的扩展数据集。在一个示例中,多个第二类扩展数据所表征的数值与该结构化数据一致,每个第二类扩展数据可以是对该结构化数据进行一次数值转换得到的。比如,该结构化数据为“10%”,第二类扩展数据可以为“0.1”、“10.00%”、“0.10”及“1×10-1”等等。
在一个示例中,响应于该结构化数据的类型为第三预定类型,可以获取包含该结构化数据的第三类扩展数据的扩展数据集。在一个示例中,每个第三类扩展数据可以是对该结构化数据进行一次资产转换得到的,多个第三类扩展数据所表征的资产信息与该结构化数据一致。比如,该结构化数据为“¥68.12”,第三类扩展数据可以是“¥1208”及“$10.66”“HK$82.89”等等。
在一个示例中,响应于该结构化数据的类型为第四预定类型,可以获取包含该结构化数据的第四类扩展数据的扩展数据集。在一个示例中,每个第四类扩展数据可以是该结构化数据的一个近义词。比如,该结构化数据为“某某公司”,第四类扩展数据可以是“某某科技公司”、“某某有限公司”等等。又比如,可以利用第三方的外部知识库,查询得到该“某某公司”的创始人为李四,则第四类扩展数据还可以是“李四的公司”。
在一个示例中,第四预定类型的结构化数据还可以包括根据其他结构化数据得到的字符串。比如,从第三数据库中获取数据表中包括昨天和今天的股票价格,对二者进行比较,可以得到“股票上涨”这一结构化数据。与该结构化数据对应的第四类扩展数据可以是“上涨”、“翻红”及“大涨”等等。
在操作S220,响应于至少一个结构化数据与非结构化信息匹配成功,可以将与非结构化信息匹配成功的至少一个结构化数据作为目标数据,得到每个目标数据与至少一个非结构化信息片段之间的匹配关系。
例如,非结构化信息可以为“今天某某公司大涨,收盘68.12元”。结构化数据可以为一数据表,该数据表的表头字段包含日期、主体、股票价格等等,与日期对应的结构化数据为“202X-1X-1X,00:00:00”,与主体对应的结构化数据为“某某公司”,与股票架构对应的结构化数据为“¥68.12”。匹配关系可以是表示为:“‘202X-1X-1X,00:00:00’——‘今天’”,“‘某某公司’——‘某某公司’”,“‘¥68.12’——‘68.12元’”。
在操作S230,根据匹配关系,建立至少一个非结构化信息片段与标签之间的对应关系。
在本公开实施例中,标签可以与目标数据相对应。
例如,标签可以为与目标数据对应的表头字段。进而,根据例如前文所述的操作S220的实施例中的匹配关系。相应的对应关系可以为:“‘日期’——‘今天’”,“‘主体’——‘某某公司’”,“‘股票价格’——‘68.12元’”。
例如,标签也可以是结构化数据本身。在一个示例中,前文所述的对应关系还可以包括“‘股票上涨’——‘大涨’”。
在本公开实施例中,获取每个非结构化信息片段在非结构化信息中的位置。
例如,可以将非结构化信息置于一平面坐标系中,获取每个非结构化信息片段的坐标。
在本公开实施例中,根据匹配关系,建立每个标签与至少一个非结构化信息片段的位置之间的对应关系。
例如,可以建立每个标签与至少一个非结构化信息片段的坐标之间的对应关系。
在操作S240,根据对应关系,利用标签对非结构化信息进行标注。
例如,可以直接根据多个标签和与多个标签相关的上述对应关系,生成非结构化信息的标注集,以进行标注。
通过本公开实施例,可以快速、低成本地构造事件的标注数据集。可以对非结构化数据中的不同数据形式的片段或近义词片段进行准确标注。
图3A是根据本公开一个实施例的非结构化信息的示意图。
如图3A所示,该非结构化信息301可以是从网页中提取的一段文本。
图3B是根据本公开一个实施例的多个结构化数据的示意图。
如图3B所示,多个结构化数据可以是从第三方数据库获取的,比如“202X-1X-1X,00:00:00”3021、“某某公司”3022、“68.12”3033。
图3C是根据本公开另一个实施例的多个结构化数据的示意图。
如图3C所示,还可以在第三方数据库中获取的多个结构化数据的基础上,进行进一步处理,得到新的结构化数据,比如“股票上涨”3024。“股票上涨”3024这一结构化数据是对不同日期的股票价格进一步处理得到的。
图3D是根据本公开一个实施例的匹配关系的示意图。
如图3D所示,根据例如图3A所示的非结构化信息301和例如图3B所示的多个结构化数据,进行匹配,可以得到例如图3D所示的匹配关系303。
图3E是根据本公开另一个实施例的匹配关系的示意图。
如图3E所示,根据例如图3A所示的非结构化信息301和例如图3C所示的多个结构化数据,进行匹配,可以得到例如图3E所示的匹配关系304。
图3F是根据本公开一个实施例的对应关系的示意图。
如图3F所示,据例如图3E所示的匹配关系304和与多个结构化数据对应的标签,可以得到例如图3F所示的对应关系305。
需要说明的是,图3D至图3E所示的匹配关系、图3F所示的对应关系,均以表格的形式表示。但是,通过本公开的方法获取的匹配关系或对应关系也可以采用别的形式表示。
需要说明的是,根据例如图3F所示的对应关系305,利用标签可以对非结构化信息进行标注。在标注过程中,根据需要,可以利用一个标签对整个非结构化信息进行标注,比如可以利用“股票上涨”这一标签对非结构化信息301进行标注。
图4是根据本公开一个实施例的信息标注装置的框图。
如图4所示,该装置400可以包括匹配模块410、获得模块420、建立模块430和标注模块440。
匹配模块410,用于将与目标事件相关的多个结构化数据和与所述目标事件相关的非结构化信息,进行匹配。
获得模块420,用于响应于至少一个结构化数据与所述非结构化信息匹配成功,将与所述非结构化信息匹配成功的至少一个结构化数据作为目标数据,得到每个目标数据与至少一个非结构化信息片段之间的匹配关系。
建立模块430,用于根据所述匹配关系,建立至少一个非结构化信息片段与标签之间的对应关系,所述标签与目标数据相对应。
标注模块440,用于根据所述对应关系,利用所述标签对所述非结构化信息进行标注。
在一些实施例中,所述匹配模块包括:第一匹配子模块,用于将所述多个结构化数据和所述非结构化信息进行字符串匹配。
在一些实施例中,所第一匹配子模块包括:第一匹配单元,用于针对每个结构化数据,根据该结构化数据和所述非结构化信息,进行精确匹配;第二匹配单元,用于响应于精确匹配失败,确定该结构化数据与所述非结构化信息的最大公共子字符串,以进行匹配。
在一些实施例中,所述匹配模块包括:第一获取子模块,用于针对所述多个结构化数据,获取每个结构化数据的扩展数据集,得到多个结构化数据的扩展数据集;第二匹配子模块,用于根据所述多个结构化数据的扩展数据集以及所述非结构化信息,进行匹配。
在一些实施例中,所述第一获取子模块包括:确定单元,用于针对每个结构化数据,确定该结构化数据的类型;第一获取单元,用于响应于该结构化数据的类型为第一预定类型,获取包含该结构化数据的多个第一类扩展数据的扩展数据集,其中,所述多个第一类扩展数据所表征的时间信息与该结构化数据一致,每个第一类扩展数据是对该结构化数据进行一次格式转换得到的;第二获取单元,用于响应于该结构化数据的类型为第二预定类型,获取包含该结构化数据的多个第二类扩展数据的扩展数据集,其中,所述多个第二类扩展数据所表征的数值与该结构化数据一致,每个第二类扩展数据是对该结构化数据进行一次数值转换得到的;第三获取单元,用于响应于该结构化数据的类型为第三预定类型,获取包含该结构化数据的第三类扩展数据的扩展数据集,其中,每个第三类扩展数据是对该结构化数据进行一次资产转换得到的;第四获取单元,用于响应于该结构化数据的类型为第四预定类型,获取包含该结构化数据的第四类扩展数据的扩展数据集,其中,每个第四类扩展数据是该结构化数据的一个近义词。
在一些实施例中,所述建立模块包括:第二获取子模块,用于获取每个非结构化信息片段在所述非结构化信息中的位置;建立子模块,用于根据所述匹配关系,建立每个标签与至少一个非结构化信息片段的位置之间的对应关系。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示,设备500包括计算单元501,其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序,来执行各种适当的动作和处理。在RAM 503中,还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如磁盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理,例如信息标注方法。例如,在一些实施例中,信息标注方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时,可以执行上文描述的信息标注方法的一个或多个步骤。备选地,在其他实施例中,计算单元501可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行信息标注方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (15)
1.一种信息标注方法,包括:
将与目标事件相关的多个结构化数据和与所述目标事件相关的非结构化信息,进行匹配;
响应于至少一个结构化数据与所述非结构化信息匹配成功,将与所述非结构化信息匹配成功的至少一个结构化数据作为目标数据,得到每个目标数据与至少一个非结构化信息片段之间的匹配关系;
根据所述匹配关系,建立至少一个非结构化信息片段与标签之间的对应关系,所述标签与目标数据相对应;以及
根据所述对应关系,利用所述标签对所述非结构化信息进行标注。
2.根据权利要求1所述的方法,其中,所述将与目标事件相关的多个结构化数据和与所述目标事件相关的非结构化信息,进行匹配包括:
将所述多个结构化数据和所述非结构化信息进行字符串匹配。
3.根据权利要求2所述的方法,其中,所述进行字符串匹配包括:
针对每个结构化数据,根据该结构化数据和所述非结构化信息,进行精确匹配;
响应于精确匹配失败,确定该结构化数据与所述非结构化信息的最大公共子字符串,以进行匹配。
4.根据权利要求1至3任一项所述的方法,其中,所述将与目标事件相关的多个结构化数据和与所述目标事件相关的非结构化信息,进行匹配包括:
针对所述多个结构化数据,获取每个结构化数据的扩展数据集,得到多个结构化数据的扩展数据集;
根据所述多个结构化数据的扩展数据集以及所述非结构化信息,进行匹配。
5.根据权利要求4所述的方法,其中,所述获取每个结构化数据的扩展数据集包括:
针对每个结构化数据,确定该结构化数据的类型;
响应于该结构化数据的类型为第一预定类型,获取包含该结构化数据的多个第一类扩展数据的扩展数据集,其中,所述多个第一类扩展数据所表征的时间信息与该结构化数据一致,每个第一类扩展数据是对该结构化数据进行一次格式转换得到的;
响应于该结构化数据的类型为第二预定类型,获取包含该结构化数据的多个第二类扩展数据的扩展数据集,其中,所述多个第二类扩展数据所表征的数值与该结构化数据一致,每个第二类扩展数据是对该结构化数据进行一次数值转换得到的;
响应于该结构化数据的类型为第三预定类型,获取包含该结构化数据的第三类扩展数据的扩展数据集,其中,每个第三类扩展数据是对该结构化数据进行一次资产转换得到的;
响应于该结构化数据的类型为第四预定类型,获取包含该结构化数据的第四类扩展数据的扩展数据集,其中,每个第四类扩展数据是该结构化数据的一个近义词。
6.根据权利要求1所述的方法,其中,所述根据所述匹配关系,建立至少一个非结构化信息片段与标签之间的对应关系包括:
获取每个非结构化信息片段在所述非结构化信息中的位置;
根据所述匹配关系,建立每个标签与至少一个非结构化信息片段的位置之间的对应关系。
7.一种信息标注装置,包括:
匹配模块,用于将与目标事件相关的多个结构化数据和与所述目标事件相关的非结构化信息,进行匹配;
获得模块,用于响应于至少一个结构化数据与所述非结构化信息匹配成功,将与所述非结构化信息匹配成功的至少一个结构化数据作为目标数据,得到每个目标数据与至少一个非结构化信息片段之间的匹配关系;
建立模块,用于根据所述匹配关系,建立至少一个非结构化信息片段与标签之间的对应关系,所述标签与目标数据相对应;以及
标注模块,用于根据所述对应关系,利用所述标签对所述非结构化信息进行标注。
8.根据权利要求7所述的装置,其中,所述匹配模块包括:
第一匹配子模块,用于将所述多个结构化数据和所述非结构化信息进行字符串匹配。
9.根据权利要求8所述的装置,其中,所第一匹配子模块包括:
第一匹配单元,用于针对每个结构化数据,根据该结构化数据和所述非结构化信息,进行精确匹配;
第二匹配单元,用于响应于精确匹配失败,确定该结构化数据与所述非结构化信息的最大公共子字符串,以进行匹配。
10.根据权利要求7至9任一项所述的装置,其中,所述匹配模块包括:
第一获取子模块,用于针对所述多个结构化数据,获取每个结构化数据的扩展数据集,得到多个结构化数据的扩展数据集;
第二匹配子模块,用于根据所述多个结构化数据的扩展数据集以及所述非结构化信息,进行匹配。
11.根据权利要求10所述的装置,其中,所述第一获取子模块包括:
确定单元,用于针对每个结构化数据,确定该结构化数据的类型;
第一获取单元,用于响应于该结构化数据的类型为第一预定类型,获取包含该结构化数据的多个第一类扩展数据的扩展数据集,其中,所述多个第一类扩展数据所表征的时间信息与该结构化数据一致,每个第一类扩展数据是对该结构化数据进行一次格式转换得到的;
第二获取单元,用于响应于该结构化数据的类型为第二预定类型,获取包含该结构化数据的多个第二类扩展数据的扩展数据集,其中,所述多个第二类扩展数据所表征的数值与该结构化数据一致,每个第二类扩展数据是对该结构化数据进行一次数值转换得到的;
第三获取单元,用于响应于该结构化数据的类型为第三预定类型,获取包含该结构化数据的第三类扩展数据的扩展数据集,其中,每个第三类扩展数据是对该结构化数据进行一次资产转换得到的;
第四获取单元,用于响应于该结构化数据的类型为第四预定类型,获取包含该结构化数据的第四类扩展数据的扩展数据集,其中,每个第四类扩展数据是该结构化数据的一个近义词。
12.根据权利要求7所述的装置,其中,所述建立模块包括:
第二获取子模块,用于获取每个非结构化信息片段在所述非结构化信息中的位置;
建立子模块,用于根据所述匹配关系,建立每个标签与至少一个非结构化信息片段的位置之间的对应关系。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至6中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111285525.0A CN113961672A (zh) | 2021-11-01 | 2021-11-01 | 信息标注方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111285525.0A CN113961672A (zh) | 2021-11-01 | 2021-11-01 | 信息标注方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113961672A true CN113961672A (zh) | 2022-01-21 |
Family
ID=79468832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111285525.0A Pending CN113961672A (zh) | 2021-11-01 | 2021-11-01 | 信息标注方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113961672A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114528444A (zh) * | 2022-02-25 | 2022-05-24 | 北京百度网讯科技有限公司 | 图数据处理方法、装置、电子设备和存储介质 |
-
2021
- 2021-11-01 CN CN202111285525.0A patent/CN113961672A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114528444A (zh) * | 2022-02-25 | 2022-05-24 | 北京百度网讯科技有限公司 | 图数据处理方法、装置、电子设备和存储介质 |
CN114528444B (zh) * | 2022-02-25 | 2023-02-03 | 北京百度网讯科技有限公司 | 图数据处理方法、装置、电子设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111143505B (zh) | 文档处理方法、装置、介质及电子设备 | |
CN113836314B (zh) | 知识图谱构建方法、装置、设备以及存储介质 | |
CN116151240A (zh) | 关系抽取模型训练方法及装置、电子设备和存储介质 | |
CN114385694A (zh) | 一种数据加工处理方法、装置、计算机设备及存储介质 | |
CN113360685A (zh) | 笔记内容处理方法、装置、设备和介质 | |
CN113961672A (zh) | 信息标注方法、装置、电子设备和存储介质 | |
CN116302218B (zh) | 函数信息的添加方法、装置、设备以及存储介质 | |
CN110362688B (zh) | 试题标注方法、装置、设备及计算机可读存储介质 | |
CN112528610A (zh) | 一种数据标注方法、装置、电子设备及存储介质 | |
CN116955856A (zh) | 信息展示方法、装置、电子设备以及存储介质 | |
CN114880498B (zh) | 事件信息展示方法及装置、设备和介质 | |
CN114490990B (zh) | 待标注文本的确定方法、装置、设备和存储介质 | |
CN114461665B (zh) | 用于生成语句转换模型的方法、装置及计算机程序产品 | |
CN115481599A (zh) | 文档的处理方法、装置、电子设备和存储介质 | |
CN113221519B (zh) | 用于处理表格数据的方法、装置、设备、介质和产品 | |
CN114417862A (zh) | 文本匹配方法、文本匹配模型的训练方法和装置 | |
CN112861504A (zh) | 文本交互方法、装置、设备、存储介质及程序产品 | |
CN110796137A (zh) | 一种识别图像的方法和装置 | |
CN114444472B (zh) | 文本处理方法、装置、电子设备和存储介质 | |
CN113221564B (zh) | 训练实体识别模型的方法、装置、电子设备和存储介质 | |
CN115965018B (zh) | 信息生成模型的训练方法、信息生成方法和装置 | |
CN113268577B (zh) | 一种基于对话关系的训练数据处理方法、装置及可读介质 | |
CN113705206B (zh) | 情感预测模型的训练方法、装置、设备及存储介质 | |
CN113536751B (zh) | 表格数据的处理方法、装置、电子设备和存储介质 | |
CN117453973A (zh) | 信息推荐方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |