CA3039280A1 - Procede de reconnaissance d'une entite nommee de texte de reseau en fonction d'une desambiguisation de probabilite de reseau neuronal - Google Patents

Procede de reconnaissance d'une entite nommee de texte de reseau en fonction d'une desambiguisation de probabilite de reseau neuronal Download PDF

Info

Publication number
CA3039280A1
CA3039280A1 CA3039280A CA3039280A CA3039280A1 CA 3039280 A1 CA3039280 A1 CA 3039280A1 CA 3039280 A CA3039280 A CA 3039280A CA 3039280 A CA3039280 A CA 3039280A CA 3039280 A1 CA3039280 A1 CA 3039280A1
Authority
CA
Canada
Prior art keywords
neural network
word
named entity
network
word vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CA3039280A
Other languages
English (en)
Other versions
CA3039280C (fr
Inventor
Yong Zhou
Bing Liu
Zhaoyu HAN
Zhongqiu WANG
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Publication of CA3039280A1 publication Critical patent/CA3039280A1/fr
Application granted granted Critical
Publication of CA3039280C publication Critical patent/CA3039280C/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)
  • Character Discrimination (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

L'invention concerne un procédé de reconnaissance d'une entité nommée de texte de réseau en fonction d'une désambiguïsation de probabilité de réseau neuronal. Le procédé comprend : la réalisation d'une segmentation de mots sur un corpus non marqué, à l'aide de Word2Vec afin d'extraire un vecteur de mots ; la conversion d'un corpus d'échantillons en une matrice de caractéristiques de mots et le fenêtrage de ce dernier ; la construction d'un réseau neuronal profond afin d'effectuer un apprentissage, et l'ajout d'une fonction softmax dans une couche de sortie du réseau neuronal afin d'effectuer un traitement de normalisation, de façon à obtenir une matrice de probabilité de la catégorie d'entité nommée correspondant à chaque mot ; et le refenêtrage de la matrice de probabilité et l'utilisation d'un modèle de champ aléatoire conditionnel afin d'effectuer une désambiguïsation, de façon à obtenir une annotation d'entité nommée finale. Dans une tâche de reconnaissance d'entité nommée de texte de réseau, un procédé d'apprentissage d'incrément de vecteur de mot sans changement de la structure d'un réseau neuronal est fourni, conformément à la caractéristique selon laquelle un vocabulaire de réseau et un nouveau vocabulaire existent dans ce dernier, et un procédé de désambiguïsation de probabilité est utilisé afin de traiter les problèmes d'une structure grammaticale non standard et de nombreux caractères mal écrits dans le texte de réseau. Ainsi, une précision plus élevée peut être obtenue.
CA3039280A 2017-05-27 2017-06-20 Procede de reconnaissance d'une entite nommee de texte de reseau en fonction d'une desambiguisation de probabilite de reseau neuronal Active CA3039280C (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710390409.2 2017-05-27
CN201710390409.2A CN107203511B (zh) 2017-05-27 2017-05-27 一种基于神经网络概率消歧的网络文本命名实体识别方法
PCT/CN2017/089135 WO2018218705A1 (fr) 2017-05-27 2017-06-20 Procédé de reconnaissance d'une entité nommée de texte de réseau en fonction d'une désambiguïsation de probabilité de réseau neuronal

Publications (2)

Publication Number Publication Date
CA3039280A1 true CA3039280A1 (fr) 2018-12-06
CA3039280C CA3039280C (fr) 2021-07-20

Family

ID=59905476

Family Applications (1)

Application Number Title Priority Date Filing Date
CA3039280A Active CA3039280C (fr) 2017-05-27 2017-06-20 Procede de reconnaissance d'une entite nommee de texte de reseau en fonction d'une desambiguisation de probabilite de reseau neuronal

Country Status (5)

Country Link
CN (1) CN107203511B (fr)
AU (1) AU2017416649A1 (fr)
CA (1) CA3039280C (fr)
RU (1) RU2722571C1 (fr)
WO (1) WO2018218705A1 (fr)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203511B (zh) * 2017-05-27 2020-07-17 中国矿业大学 一种基于神经网络概率消歧的网络文本命名实体识别方法
CN107665252B (zh) * 2017-09-27 2020-08-25 深圳证券信息有限公司 一种创建知识图谱的方法及装置
CN107967251A (zh) * 2017-10-12 2018-04-27 北京知道未来信息技术有限公司 一种基于Bi-LSTM-CNN的命名实体识别方法
CN107908614A (zh) * 2017-10-12 2018-04-13 北京知道未来信息技术有限公司 一种基于Bi‑LSTM的命名实体识别方法
CN107885721A (zh) * 2017-10-12 2018-04-06 北京知道未来信息技术有限公司 一种基于lstm的命名实体识别方法
CN107832289A (zh) * 2017-10-12 2018-03-23 北京知道未来信息技术有限公司 一种基于lstm‑cnn的命名实体识别方法
CN107797989A (zh) * 2017-10-16 2018-03-13 平安科技（深圳）有限公司 企业名称识别方法、电子设备及计算机可读存储介质
CN107943788B (zh) * 2017-11-17 2021-04-06 平安科技（深圳）有限公司 企业简称生成方法、装置及存储介质
CN110019648B (zh) * 2017-12-05 2021-02-02 深圳市腾讯计算机***有限公司 一种训练数据的方法、装置及存储介质
CN108121702B (zh) * 2017-12-26 2020-11-24 浙江讯飞智能科技有限公司 数学主观题评阅方法及***
CN108052504B (zh) * 2017-12-26 2020-11-20 浙江讯飞智能科技有限公司 数学主观题解答结果的结构分析方法及***
CN108280062A (zh) * 2018-01-19 2018-07-13 北京邮电大学 基于深度学习的实体和实体关系识别方法及装置
CN108563626B (zh) * 2018-01-22 2022-01-25 北京颐圣智能科技有限公司 医疗文本命名实体识别方法和装置
CN108388559B (zh) * 2018-02-26 2021-11-19 中译语通科技股份有限公司 地理空间应用下的命名实体识别方法及***、计算机程序
CN108763192B (zh) * 2018-04-18 2022-04-19 达而观信息科技（上海）有限公司 用于文本处理的实体关系抽取方法及装置
CN108805196B (zh) * 2018-06-05 2022-02-18 西安交通大学 用于图像识别的自动增量学习方法
RU2699687C1 (ru) * 2018-06-18 2019-09-09 Общество с ограниченной ответственностью "Аби Продакшн" Обнаружение текстовых полей с использованием нейронных сетей
CN109062983A (zh) * 2018-07-02 2018-12-21 北京妙医佳信息技术有限公司 用于医学健康知识图谱的命名实体识别方法及***
CN109255119B (zh) * 2018-07-18 2023-04-25 五邑大学 一种基于分词和命名实体识别的多任务深度神经网络的句子主干分析方法及***
CN109241520B (zh) * 2018-07-18 2023-05-23 五邑大学 一种基于分词和命名实体识别的多层误差反馈神经网络的句子主干分析方法及***
CN109299458B (zh) * 2018-09-12 2023-03-28 广州多益网络股份有限公司 实体识别方法、装置、设备及存储介质
CN109446514A (zh) * 2018-09-18 2019-03-08 平安科技（深圳）有限公司 新闻实体识别模型的构建方法、装置和计算机设备
CN109657238B (zh) * 2018-12-10 2023-10-13 宁波深擎信息科技有限公司 基于知识图谱的上下文识别补全方法、***、终端及介质
CN109710927B (zh) * 2018-12-12 2022-12-20 东软集团股份有限公司 命名实体的识别方法、装置、可读存储介质及电子设备
CN109670177A (zh) * 2018-12-20 2019-04-23 翼健(上海)信息科技有限公司 一种基于lstm实现医学语义归一化的控制方法及控制装置
CN109858025B (zh) * 2019-01-07 2023-06-13 鼎富智能科技有限公司 一种地址标准化语料的分词方法及***
CN109767817B (zh) * 2019-01-16 2023-05-30 南通大学 一种基于神经网络语言模型的药物潜在不良反应发现方法
CN111563380A (zh) * 2019-01-25 2020-08-21 浙江大学 一种命名实体识别方法及其装置
CN109800437B (zh) * 2019-01-31 2023-11-14 北京工业大学 一种基于特征融合的命名实体识别方法
CN109992629B (zh) * 2019-02-28 2021-08-06 中国科学院计算技术研究所 一种融合实体类型约束的神经网络关系抽取方法及***
CN109858041B (zh) * 2019-03-07 2023-02-17 北京百分点科技集团股份有限公司 一种半监督学习结合自定义词典的命名实体识别方法
CN109933801B (zh) * 2019-03-25 2022-03-29 北京理工大学 基于预测位置注意力的双向lstm命名实体识别方法
CN111858838A (zh) * 2019-04-04 2020-10-30 拉扎斯网络科技（上海）有限公司 一种菜系标定方法、装置、电子设备和非易失性存储介质
CN110083778A (zh) * 2019-04-08 2019-08-02 清华大学 学习分离表征的图卷积神经网络构建方法及装置
CN110245242B (zh) * 2019-06-20 2022-01-18 北京百度网讯科技有限公司 医学知识图谱构建方法、装置以及终端
CN110298043B (zh) * 2019-07-03 2023-04-07 吉林大学 一种车辆命名实体识别方法及***
CN110750992B (zh) * 2019-10-09 2023-07-04 吉林大学 命名实体识别方法、装置、电子设备及介质
CN110781646B (zh) * 2019-10-15 2023-08-22 泰康保险集团股份有限公司 名称标准化方法、装置、介质及电子设备
CN111008271B (zh) * 2019-11-20 2022-06-24 佰聆数据股份有限公司 一种基于神经网络的关键信息提取方法及***
CN110993081B (zh) * 2019-12-03 2023-08-11 济南大学 一种医生在线推荐方法及***
CN111091003B (zh) * 2019-12-05 2023-10-10 电子科技大学广东电子信息工程研究院 一种基于知识图谱查询的并行抽取方法
CN111209748B (zh) * 2019-12-16 2023-10-24 合肥讯飞数码科技有限公司 错别词识别方法、相关设备及可读存储介质
CN113139382A (zh) * 2020-01-20 2021-07-20 北京国双科技有限公司 命名实体识别方法及装置
CN111368545B (zh) * 2020-02-28 2024-04-30 北京明略软件***有限公司 一种基于多任务学习的命名实体识别方法和装置
CN111477320B (zh) * 2020-03-11 2023-05-30 北京大学第三医院（北京大学第三临床医学院） 治疗效果预测模型的构建***、治疗效果预测***及终端
CN111523323B (zh) * 2020-04-26 2022-08-12 梁华智能科技(上海)有限公司 一种中文分词的消歧处理方法和***
CN111581957B (zh) * 2020-05-06 2022-04-12 浙江大学 一种基于金字塔层级网络的嵌套实体检测方法
CN111476022B (zh) * 2020-05-15 2023-07-07 湖南工商大学 实体特征的字符嵌入及混合lstm实体识别方法、***及介质
CN111859937B (zh) * 2020-07-20 2024-07-30 上海汽车集团股份有限公司 一种实体识别方法及装置
CN112199953B (zh) * 2020-08-24 2024-06-28 广州九四智能科技有限公司 一种电话通话中信息提取方法、装置及计算机设备
RU2760637C1 (ru) * 2020-08-31 2021-11-29 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система извлечения именованных сущностей
CN112101041B (zh) * 2020-09-08 2022-02-15 平安科技（深圳）有限公司 基于语义相似度的实体关系抽取方法、装置、设备及介质
CN112765983A (zh) * 2020-12-14 2021-05-07 四川长虹电器股份有限公司 一种基于结合知识描述的神经网络的实体消歧的方法
CN112487816B (zh) * 2020-12-14 2024-02-13 安徽大学 一种基于网络分类的命名实体识别方法
CN112905742B (zh) * 2021-02-20 2022-07-29 厦门吉比特网络技术股份有限公司 基于语义模型神经网络识别新词汇的方法、装置
CN113343690B (zh) * 2021-06-22 2024-03-12 北京语言大学 一种文本可读性自动评估方法及装置
CN114218924A (zh) * 2021-07-27 2022-03-22 广东电力信息科技有限公司 一种基于bert模型的文本意图及实体联合识别方法
CN113849597B (zh) * 2021-08-31 2024-04-30 艾迪恩(山东)科技有限公司 基于命名实体识别的违法广告词检测方法
CN114036948B (zh) * 2021-10-26 2024-05-31 天津大学 一种基于不确定性量化的命名实体识别方法
CN114048749B (zh) * 2021-11-19 2024-02-02 北京第一因科技有限公司 一种适用于多领域的中文命名实体识别方法
CN114510943B (zh) * 2022-02-18 2024-05-28 北京大学 一种基于伪样本重放的增量式命名实体识别方法
WO2023204724A1 (fr) * 2022-04-20 2023-10-26 Общество С Ограниченной Ответственностью "Дентонс Юроп" (Ооо "Дентонс Юроп") Procédé d'analyse de document juridique
CN115587594B (zh) * 2022-09-20 2023-06-30 广东财经大学 网络安全的非结构化文本数据抽取模型训练方法及***
CN115905456B (zh) * 2023-01-06 2023-06-02 浪潮电子信息产业股份有限公司 一种数据识别方法、***、设备及计算机可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7502971B2 (en) * 2005-10-12 2009-03-10 Hewlett-Packard Development Company, L.P. Determining a recurrent problem of a computer resource using signatures
US8583416B2 (en) * 2007-12-27 2013-11-12 Fluential, Llc Robust information extraction from utterances
RU2399959C2 (ru) * 2008-10-29 2010-09-20 Закрытое акционерное общество "Авикомп Сервисез" Способ автоматизированной обработки текста на естественном языке путем его семантической индексации, способ автоматизированной обработки коллекции текстов на естественном языке путем их семантической индексации и машиночитаемые носители
US8239349B2 (en) * 2010-10-07 2012-08-07 Hewlett-Packard Development Company, L.P. Extracting data
CN103455581B (zh) * 2013-08-26 2016-05-04 北京理工大学 基于语义扩展的海量短文本信息过滤方法
CN105404632B (zh) * 2014-09-15 2020-07-31 深港产学研基地 基于深度神经网络对生物医学文本序列化标注的***和方法
CN104809176B (zh) * 2015-04-13 2018-08-07 中央民族大学 藏语实体关系抽取方法
CN105740349B (zh) * 2016-01-25 2019-03-08 重庆邮电大学 一种结合Doc2vec和卷积神经网络的情感分类方法
CN105868184B (zh) * 2016-05-10 2018-06-08 大连理工大学 一种基于循环神经网络的中文人名识别方法
CN106202032B (zh) * 2016-06-24 2018-08-28 广州数说故事信息科技有限公司 一种面向微博短文本的情感分析方法及其***
CN106202044A (zh) * 2016-07-07 2016-12-07 武汉理工大学 一种基于深度神经网络的实体关系抽取方法
CN107203511B (zh) * 2017-05-27 2020-07-17 中国矿业大学 一种基于神经网络概率消歧的网络文本命名实体识别方法

Also Published As

Publication number Publication date
WO2018218705A1 (fr) 2018-12-06
CA3039280C (fr) 2021-07-20
AU2017416649A1 (en) 2019-05-02
RU2722571C1 (ru) 2020-06-01
CN107203511B (zh) 2020-07-17
CN107203511A (zh) 2017-09-26

Similar Documents

Publication Publication Date Title
CA3039280C (fr) Procede de reconnaissance d'une entite nommee de texte de reseau en fonction d'une desambiguisation de probabilite de reseau neuronal
CN111967266B (zh) 中文命名实体识别***、模型构建方法和应用及相关设备
CN109493977B (zh) 文本数据处理方法、装置、电子设备及计算机可读介质
Dashtipour et al. Exploiting deep learning for Persian sentiment analysis
CN110796160A (zh) 一种文本分类方法、装置和存储介质
CN106683667A (zh) 一种自动韵律提取方法、***及其在自然语言处理任务中的应用
CN111159405B (zh) 基于背景知识的讽刺检测方法
CN115309915B (zh) 知识图谱构建方法、装置、设备和存储介质
CN112528654A (zh) 自然语言处理方法、装置及电子设备
Han et al. CNN-BiLSTM-CRF model for term extraction in Chinese corpus
Wu et al. Bi-directional gated memory networks for answer selection
Pascual et al. Prosodic break prediction with RNNs
CN112818124A (zh) 一种基于注意力神经网络的实体关系抽取方法
CN110309355A (zh) 内容标签的生成方法、装置、设备及存储介质
Rajani Shree et al. POS tagger model for Kannada text with CRF++ and deep learning approaches
CN110198291B (zh) 一种网页后门检测方法、装置、终端及存储介质
Mercan et al. Abstractive text summarization for resumes with cutting edge NLP transformers and LSTM
CN114936274A (zh) 模型训练方法、对话生成方法和装置、设备及存储介质
CN114611529A (zh) 意图识别方法和装置、电子设备及存储介质
CN113704472A (zh) 基于主题记忆网络的仇恨和攻击性言论识别方法及***
Zheng A Novel Computer-Aided Emotion Recognition of Text Method Based on WordEmbedding and Bi-LSTM
Shahade et al. Deep learning approach-based hybrid fine-tuned Smith algorithm with Adam optimiser for multilingual opinion mining
Hung College admissions counseling using intelligent question answering system
Chopra et al. Sequence Labeling using Conditional Random Fields
CN114036946B (zh) 一种文本特征提取及辅助检索的***及方法

Legal Events

Date Code Title Description
EEER Examination request

Effective date: 20190403