CN104281695A - 基于组合理论的类自然语言的语义信息抽取方法及其*** - Google Patents

基于组合理论的类自然语言的语义信息抽取方法及其*** Download PDF

Info

Publication number
CN104281695A
CN104281695A CN201410537886.3A CN201410537886A CN104281695A CN 104281695 A CN104281695 A CN 104281695A CN 201410537886 A CN201410537886 A CN 201410537886A CN 104281695 A CN104281695 A CN 104281695A
Authority
CN
China
Prior art keywords
natural language
semantic
large data
semantic information
statement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410537886.3A
Other languages
English (en)
Other versions
CN104281695B (zh
Inventor
贾岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANHUI HUAZHEN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Original Assignee
ANHUI HUAZHEN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANHUI HUAZHEN INFORMATION SCIENCE & TECHNOLOGY Co Ltd filed Critical ANHUI HUAZHEN INFORMATION SCIENCE & TECHNOLOGY Co Ltd
Priority to CN201410537886.3A priority Critical patent/CN104281695B/zh
Publication of CN104281695A publication Critical patent/CN104281695A/zh
Application granted granted Critical
Publication of CN104281695B publication Critical patent/CN104281695B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/313—Selection or weighting of terms for indexing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于组合理论的类自然语言的语义信息抽取方法及其***，运用先进的语义分析技术，对基于web的大数据进行深度分析和挖掘，在海量的web数据中挖掘有商业价值的信息，可运用于广大中小型企业的商业智能服务领域，可为中小企业提供预测市场需求变化、预测竞争对手的行动、发现新的和潜在的竞争对手、支持技术开发决策、支持营销战术决策等方面的商业智能服务以及产品精准营销服务，并且大大降低了企业商机情报获取成本，提高获取信息的能力，极大的增强企业的竞争力。

Description

基于组合理论的类自然语言的语义信息抽取方法及其***
技术领域
本发明涉及数据网络技术领域，尤其涉及一种基于组合理论的类自然语言的语义信息抽取方法及其***。
背景技术
随着信息化程度不断加深，企业对“大数据”分析服务的渴求也日益强烈；互联网持续增长的信息资源蕴含了巨量的具有商业价值的信息，成为重要的商业智能服务信息源头。现在业界对“大数据”主要关注点仍在企业内部的数据，而作为大数据的主要载体的互联网，由于数据量庞大、获取难度大、单位价值相对低、几乎全是文本等非结构数据等难点，其价值并没有被业界充分开发和利用。
发明内容
为了解决背景技术中存在的技术问题，本发明提出了一种基于组合理论的类自然语言的语义信息抽取方法及其***，解决了基于web的大数据分析问题，不但精准度高、提供语义信息丰富，而且极具实用性和可产业化。
本发明提出的一种基于组合理论的类自然语言的语义信息抽取方法，包括以下步骤：
获取大数据，将其作为基础数据源；
在所述获取的大数据中查找表达相近意义，或者包涵相近语义信息的语句，将所述语句的语义元素进行标注；
通过内置语义词典对所述语句中未标记部分进行分析，生成归纳方式；
在所述归纳方式中拣选符合自然语言表达习惯即符合直觉的方式；
根据所述符合自然语言表达习惯的方式对所述语句中未被规则涵盖的语句进行新一轮迭代，形成一套可理解、可用于语义匹配和文本信息抽取库。
优选地，通过云计算、分布式处理技术、存储技术和感知技术来进行大数据的采集、处理、存储。
优选地，大数据可以分为互联网大数据，政府大数据，企业大数据和个人的大数据。
优选地，所述语义词典可以是基于心理学和语言学以用户的认知过程中所表现出来的义类。
优选地，所述语义词典为一个大规模汉语语义知识库,以数据库文件形式收录数百万余实词，不仅给出每个词语所属的词类、语义类，而且以义项为单位详细描述了各种语义搭配限制。
优选地，互联网文本数据分为自然语言描述性，表格描述性及带序号的段落描述性。
本发明提出的一种基于组合理论的类自然语言的语义信息抽取***，包括：
获取模块，用于获取大数据，将其作为基础数据源；
标注模块，与所述获取模块连接，用于在所述获取的大数据中查找表达相近意义，或者包涵相近语义信息的语句，将所述语句的语义元素进行标注；
归纳模块，与所述标注模块连接，用于通过内置语义词典对所述语句中未标记部分进行分析，生成归纳方式；
拣选模块，与所述归纳模块连接，用于在所述归纳方式中拣选符合自然语言表达习惯即符合直觉的方式；
数据库生成模块，与所述拣选模块连接，用于根据所述符合自然语言表达习惯的方式对所述语句中未被规则涵盖的语句进行新一轮迭代，形成一套可理解、可用于语义匹配和文本信息抽取库。
优选地，大数据可以分为互联网文本大数据，政府大数据，企业大数据和个人的大数据。
优选地，互联网文本数据分为自然语言描述性，表格描述性及带序号的段落描述性。
本发明中，以极其类似自然语言的形式描述和标记自然语言文本中的语义信息，生成基于组合理论的类自然语言规则的文本语义处理***，以其作为数据挖掘等技术的输入数据，可充分释放文本信息的价值。运用该***通过分析互联网用户的商业行为，实现对企业产品的精准营销服务；帮助企业洞察行业内及上下游产业的动态趋势，把握商机和规避风险，帮助企业迅速做出科学的决策等。
附图说明
图1为本发明实施例提出的一种基于组合理论的类自然语言的语义信息抽取方法流程图；
图2为本发明实施例提出的一种基于组合理论的类自然语言的语义信息抽取***结构图。
具体实施方式
如图1所示，本发明实施例提出了一种基于组合理论的类自然语言的语义信息抽取方法，包括以下步骤：
步骤101，获取大数据，将其作为基础数据源。例如，可以通过云计算、分布式处理技术、存储技术和感知技术来进行大数据的采集、处理、存储；其中大数据可以分为互联网的大数据，政府的大数据，企业的大数据和个人的大数据。
步骤102，在所述获取的大数据中查找表达相近意义，或者包涵相近语义信息的语句，将所述语句的语义元素进行标注。
步骤103，通过内置语义词典对所述语句中未标记部分进行分析，生成归纳方式。
步骤104，在所述归纳方式中拣选符合自然语言表达习惯即符合直觉的方式。
步骤105，根据所述符合自然语言表达习惯的方式对所述语句中未被规则涵盖的语句进行新一轮迭代，形成一套可理解、可用于语义匹配和文本信息抽取库。
其中，步骤103中的语义词典可以是基于心理学和语言学以用户的认知过程中所表现出来的义类,而并非如传统的词典一样是基于历史学按照字母的顺序排列；也可以是一个大规模汉语语义知识库,以数据库文件形式收录数百万余实词，不仅给出每个词语所属的词类、语义类，而且以义项为单位详细描述了它们的各种语义搭配限制。收录了几万个通用领域内的实词的语义词典,共有12个数据库，其中包含全部词语的总库1个，每类词语各建一库，计11个。每个库文件都详细刻画了词语及其语义属性的二维关系。总库中包括词语、拼音、同形、义项、语义类、词类、子类、兼类等8个字段。每类词的特有属性填在各类词库中，如名词库设15个属性字段，动词库设16个属性字段等。语义分类的突出特点就是分类的深度与广度取决于语法分析的需要。应用语义知识应着重于解决那些仅靠语法规则难以解决的问题。因而语义分类是在词的语法分类基础上进行的，并且只对名词、动词、形容词等实词进行语义分类描述，而那些带有明显标志的、通常用句法形式就可以表示的语义关系，如各类虚词，则不作为语义分类研究的对象。
本发明中，由于语义描述规则本质上是以长句子的、可理解规则形式存在，有效抑制机械的规则匹配导致的错误和歧义，准确性高。可将互联网文本数据分为自然语言描述性，表格描述性及带序号的段落描述性，模型通用性强。规则编辑成本低廉，受过良好基础教育者即能胜任规则编辑及调试工作，实用性和直观性。描述非常贴近自然语言，且有良好的可视化界面支持，编辑、人员易于上手。正向反馈：人工编辑规则，可用于增强语义分析引擎，语义分析引擎反过来，进一步增强候选规则集的质量。层次性和粒度：***则可将这些规则的组成元素细化到短句、词汇，甚至是字符层面。这意味着，可以根据实际应用场景的需求，提取不同粒度的语义信息。以下是在招投标信息、涉房地产商情两个领域的应用性结论(多组抽样)：
表1 抽取效果对比
对比数据：在准确率和召回率方面，我们的方法表现优秀，且稳定性好。值得指出的是，数据是从生产环境中获得的，信息抽取是处理链条中靠近末端一个环节，前端的环节的错误可能会影响数据抽取的质量；涉房地产商数据含有书写质量无法保证的UGC(用户产生数据，如网友评论等)，造成负面指标影响。总体而言，基于组合理论的类自然语言语义信息抽取***是实用的、可产业化的、语义信息丰富的、准确率和召回率高的语义信息抽取***。
如图2所示，本发明实施例提供了一种基于组合理论的类自然语言的语义信息抽取***，包括：获取模块10，用于获取大数据，将其作为基础数据源；标注模块20，与所述获取模块10连接，用于在所述获取的大数据中查找表达相近意义，或者包涵相近语义信息的语句，将所述语句的语义元素进行标注；归纳模块30，与所述标注模块20连接，用于通过内置语义词典对所述语句中未标记部分进行分析，生成归纳方式；拣选模块40，与所述归纳模块30连接，用于在所述归纳方式中拣选符合自然语言表达习惯即符合直觉的方式；数据库生成模块50，与所述拣选模块40连接，用于根据所述符合自然语言表达习惯的方式对所述语句中未被规则涵盖的语句进行新一轮迭代，形成一套可理解、可用于语义匹配和文本信息抽取库。其中，大数据可以分为互联网文本大数据，政府大数据，企业大数据和个人的大数据；互联网文本数据分为自然语言描述性，表格描述性及带序号的段落描述性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于组合理论的类自然语言的语义信息抽取方法，其特征在于，包括以下步骤：
获取大数据，将其作为基础数据源；
在所述获取的大数据中查找表达相近意义，或者包涵相近语义信息的语句，将所述语句的语义元素进行标注；
通过内置语义词典对所述语句中未标记部分进行分析，生成归纳方式；
在所述归纳方式中拣选符合自然语言表达习惯即符合直觉的方式；
根据所述符合自然语言表达习惯的方式对所述语句中未被规则涵盖的语句进行新一轮迭代，形成一套可理解、可用于语义匹配和文本信息抽取库。
2.根据权利要求1所述的基于组合理论的类自然语言的语义信息抽取方法，其特征在于，通过云计算、分布式处理技术、存储技术和感知技术来进行大数据的采集、处理、存储。
3.根据权利要求1所述的基于组合理论的类自然语言的语义信息抽取方法，其特征在于，大数据分为互联网大数据、政府大数据、企业大数据和个人的大数据。
4.根据权利要求1所述的基于组合理论的类自然语言的语义信息抽取方法，其特征在于，所述语义词典是基于心理学和语言学以用户的认知过程中所表现出来的义类。
5.根据权利要求1所述的基于组合理论的类自然语言的语义信息抽取方法，其特征在于，所述语义词典为一个大规模汉语语义知识库,以数据库文件形式收录实词。
6.根据权利要求1所述的基于组合理论的类自然语言的语义信息抽取方法，其特征在于，互联网文本数据分为自然语言描述性，表格描述性及带序号的段落描述性。
7.一种基于组合理论的类自然语言的语义信息抽取***，其特征在于，包括：
获取模块，用于获取大数据，将其作为基础数据源；
标注模块，与所述获取模块连接，用于在所述获取的大数据中查找表达相近意义，或者包涵相近语义信息的语句，将所述语句的语义元素进行标注；
归纳模块，与所述标注模块连接，用于通过内置语义词典对所述语句中未标记部分进行分析，生成归纳方式；
拣选模块，与所述归纳模块连接，用于在所述归纳方式中拣选符合自然语言表达习惯即符合直觉的方式；
数据库生成模块，与所述拣选模块连接，用于根据所述符合自然语言表达习惯的方式对所述语句中未被规则涵盖的语句进行新一轮迭代，形成一套可理解、可用于语义匹配和文本信息抽取库。
8.根据权利要求7所述的基于组合理论的类自然语言的语义信息抽取***，其特征在于，大数据分为互联网文本大数据、政府大数据、企业大数据和个人的大数据。
9.根据权利要求8所述的基于组合理论的类自然语言的语义信息抽取***，其特征在于，互联网文本数据分为自然语言描述性，表格描述性及带序号的段落描述性。
CN201410537886.3A 2014-10-13 2014-10-13 基于组合理论的类自然语言的语义信息抽取方法及其*** Expired - Fee Related CN104281695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410537886.3A CN104281695B (zh) 2014-10-13 2014-10-13 基于组合理论的类自然语言的语义信息抽取方法及其***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410537886.3A CN104281695B (zh) 2014-10-13 2014-10-13 基于组合理论的类自然语言的语义信息抽取方法及其***

Publications (2)

Publication Number Publication Date
CN104281695A true CN104281695A (zh) 2015-01-14
CN104281695B CN104281695B (zh) 2017-12-15

Family

ID=52256568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410537886.3A Expired - Fee Related CN104281695B (zh) 2014-10-13 2014-10-13 基于组合理论的类自然语言的语义信息抽取方法及其***

Country Status (1)

Country Link
CN (1) CN104281695B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109192197A (zh) * 2018-09-18 2019-01-11 湖北函数科技有限公司 基于互联网的大数据语音识别***
CN111079387A (zh) * 2019-11-29 2020-04-28 华中师范大学 一种问卷自动化生成方法、装置、计算机设备及存储介质
CN111600890A (zh) * 2020-05-18 2020-08-28 广东电网有限责任公司惠州供电局 基于大数据的网络安全感知***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101576916A (zh) * 2009-06-18 2009-11-11 清华大学 一种获取同义词的方法及装置
US20100293451A1 (en) * 2006-06-21 2010-11-18 Carus Alwin B An apparatus, system and method for developing tools to process natural language text
CN103678618A (zh) * 2013-12-17 2014-03-26 南京大学 一种基于社交网络平台的Web服务推荐方法
CN104182389A (zh) * 2014-07-21 2014-12-03 安徽华贞信息科技有限公司 一种基于语义的大数据分析商业智能服务***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100293451A1 (en) * 2006-06-21 2010-11-18 Carus Alwin B An apparatus, system and method for developing tools to process natural language text
CN101576916A (zh) * 2009-06-18 2009-11-11 清华大学 一种获取同义词的方法及装置
CN103678618A (zh) * 2013-12-17 2014-03-26 南京大学 一种基于社交网络平台的Web服务推荐方法
CN104182389A (zh) * 2014-07-21 2014-12-03 安徽华贞信息科技有限公司 一种基于语义的大数据分析商业智能服务***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109192197A (zh) * 2018-09-18 2019-01-11 湖北函数科技有限公司 基于互联网的大数据语音识别***
CN111079387A (zh) * 2019-11-29 2020-04-28 华中师范大学 一种问卷自动化生成方法、装置、计算机设备及存储介质
CN111079387B (zh) * 2019-11-29 2021-04-30 华中师范大学 一种问卷自动化生成方法、装置、计算机设备及存储介质
CN111600890A (zh) * 2020-05-18 2020-08-28 广东电网有限责任公司惠州供电局 基于大数据的网络安全感知***
CN111600890B (zh) * 2020-05-18 2022-10-18 广东电网有限责任公司惠州供电局 基于大数据的网络安全感知***

Also Published As

Publication number Publication date
CN104281695B (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN109492077B (zh) 基于知识图谱的石化领域问答方法及***
Mishra et al. A survey on question answering systems with classification
Rizzo et al. NERD meets NIF: Lifting NLP Extraction Results to the Linked Data Cloud.
Kolomiyets et al. Model-portability experiments for textual temporal analysis
CN103049435B (zh) 文本细粒度情感分析方法及装置
Al-Zoghby et al. Arabic semantic web applications–a survey
CN102609427A (zh) 舆情垂直搜索分析***及方法
Zaman et al. Information extraction from semi and unstructured data sources: A systematic literature review
CN103927179A (zh) 一种基于WordNet的程序可读性分析方法
CN104281695A (zh) 基于组合理论的类自然语言的语义信息抽取方法及其***
CN112597768B (zh) 文本审核方法、装置、电子设备、存储介质及程序产品
Ding et al. Scoring tourist attractions based on sentiment lexicon
Wang et al. Semi-supervised chinese open entity relation extraction
Fudholi et al. Ontology-based information extraction for knowledge enrichment and validation
Xie et al. Research and implementation of automatic question answering system based on ontology
Basile et al. Extending an Information Retrieval System through Time Event Extraction.
Rouces et al. Defining a Gold Standard for a Swedish Sentiment Lexicon: Towards Higher-Yield Text Mining in the Digital Humanities.
Gao et al. A hybrid GCN and RNN structure based on attention mechanism for text classification
Chen et al. A semi-supervised machine learning method for Chinese patent effect annotation
Sirajzade et al. The LuNa Open Toolbox for the Luxembourgish Language
Shaikh et al. Bringing shape to textual data-a feasible demonstration
Wilhelm et al. Extending semantic context analysis using machine learning services to process unstructured data
Oramas et al. Automatic creation of knowledge graphs from digital musical document libraries
Navigli et al. An overview of BabelNet and its API for multilingual language processing
Chen et al. Incremental Patent Semantic Annotation Based on Keyword Extraction and List Extraction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171215

Termination date: 20211013