CN103201718A - 关于关键词提取的***和方法 - Google Patents
关于关键词提取的***和方法 Download PDFInfo
- Publication number
- CN103201718A CN103201718A CN2011800531753A CN201180053175A CN103201718A CN 103201718 A CN103201718 A CN 103201718A CN 2011800531753 A CN2011800531753 A CN 2011800531753A CN 201180053175 A CN201180053175 A CN 201180053175A CN 103201718 A CN103201718 A CN 103201718A
- Authority
- CN
- China
- Prior art keywords
- candidate
- keyword
- computer system
- language
- pool
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/49—Data-driven translation using very large corpora, e.g. the web
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2452—Query translation
- G06F16/24522—Translation of natural language queries to structured queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/93—Document management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
一个示例性方面包括一种计算机***,包括:(a)预处理单元,从网页中提取文本,以产生至少第一组候选关键词,应用语言处理以产生至少第二组候选关键词,并将所述第一组和第二组候选关键词组成第一候选池;(b)候选提取单元,从所述预处理单元接收描述至少所述第一候选池的数据,并产生第二候选池;(c)特征提取单元,接收描述至少所述第二候选池的数据,并针对一般特征和语言特征来分析所述第二候选池;以及(d)分类单元,从所述特征提取单元接收描述至少所述第二候选池的所述数据和相关数据,并确定所述第二候选池中每个候选成为主关键词或次关键词的可能性。
Description
背景技术
关键词提取典型地用作上下文广告***的核心组件,其中基于从页面文本中自动选择的关键词选择与网页内容匹配的广告。为了显示与网页相关、从而可能使用户更感兴趣的广告,需要对文本中出现的许多特征进行评估,以作出哪些关键词准确反映页面内容的决定。
在本文描述的示例性实施例中,关键词提取***将页面url作为输入,并返回由***排序的10个关键词短语作为最高关键词候选。该***首先处理网页文本,并使用它的结构来提取作为关键词候选池的短语。每个短语然后可以由一组特征(例如其在网页上的频率、在文本中的位置、大写及其语言结构(例如,其是否构成名词短语)来描述。基于具有人工标注的关键词的样本网页的集合,该***学习这些特征如何有助于候选短语是否有可能是“好的”关键词的决定。一旦它以这种方式被训练,该***可以被用来识别先前没有见过的网页上的(即,在训练集中所没有的)关键词。
大多数现有的关键词提取***依靠采用统计频率措施(如tf-idf1)的信息检索模型。示例性***的实施例通过使用自然语言处理技术改进该方式以实现改进的性能。一个或多个示例性实施例采用了一种新的关键词候选提取方法,该方法对于短语结构是敏感的,并且可以包括附加的导致更好的机器学习结果的语言特征。
发明内容
一个示例性方面包括一种计算机***,包括:(a)预处理单元,
----------------------
1tf-idf权重(词频-逆文档频率)是通常用于信息检索和文本挖掘中的权重。该权重是用于评估词对于集合或文集中的文档的重要性的统计措施。重要性与词在文档中出现的次数成比例地增大,但是由词在文集中的频率来进行偏移。从网页中提取文本,以产生至少第一组的候选关键词,应用语言处理以产生至少第二组的候选关键词,并将所述第一组和第二组候选关键词组成第一候选池;(b)候选提取单元,从所述预处理单元接收描述至少所述第一候选池的数据,并产生第二候选池;(c)特征提取单元,接收描述至少所述第二候选池的数据,并针对一般特征和语言特征来分析所述第二候选池;以及(d)分类单元,从所述特征提取单元接收描述至少所述第二候选池的所述数据和相关数据,并确定所述第二候选池中每个候选成为主关键词或次关键词的可能性。
在一个或多个示例性实施例及其组合中:(1)所述语言处理的至少一部分是由标记器和解析器来执行的;(2)所述语言处理的至少一部分是由标记器(tokenizer)、解析器、词性标注器(tagger)和命名实体标注器来执行的;(3)所述语言处理的至少一部分是由标记器执行的;(4)所述语言处理的至少一部分是由解析器执行的;(5)所述语言处理的至少一部分是由词性标注器执行的;(6)所述语言处理的至少一部分是由命名实体标注器执行的;(7)所述第一组候选关键词包括元数据文本;(8)所述第二候选池包括名词短语和名词序列;(9)所述第二候选池包括名词短语、名词序列和n元语言;(10)所述一般特征包括以下一个或多个:频率、在文档中的位置、大写;(11)所述语言特征涉及以下一个或多个:词性、短语结构和命名实体信息;(12)所述一般特征包括频率特征,并且所述频率特征包括以下一个或多个:所述网页内的相对词频和词频的对数;(13)确定每个候选是主关键词或次关键词的可能性的所述确定基于注释训练数据;(14)确定每个候选是主关键词或次关键词的可能性的所述确定基于通过组合来自多个注释器的注释输入而创建的训练数据,其中每个注释包括主关键词和次关键词之间的区别;(15)所述一般特征包括频率、在文档中的位置和大写,并且所述语言特征涉及词性、短语结构、和命名实体信息;和/或(16)所述一般特征包括频率特征,所述频率特征包括以下一个或多个:所述网页内的相对词频和词频的对数,以及所述语言特征涉及词性、短语结构和命名实体信息。
另一个方面包括一种包括由计算机处理***实现的步骤的方法,所述步骤包括:(a)从网页提取文本以产生至少第一组候选关键词,应用语言处理以产生至少第二组候选关键词,以及将所述第一组和第二组候选关键词组成第一候选池;(b)接收描述至少所述第一候选池的数据,并产生第二候选池;(c)接收描述至少所述第二候选池的数据,并针对一般特征和语言特征分析所述第二候选池;以及(d)从所述特征提取单元接收描述至少所述第二候选池的所述数据和相关数据,并确定所述第二候选池中每个候选是主关键词或次关键词的可能性。
另一个方面包括一种存储有软件的有形计算机可读介质,可操作用于执行如下步骤:(a)从网页提取文本以产生至少第一组候选关键词,应用语言处理以产生至少第二组候选关键词,以及将所述第一组和第二组候选关键词组成第一候选池;(b)接收描述至少所述第一候选池的数据,并产生第二候选池;(c)接收描述至少所述第二候选池的数据,并针对一般特征和语言特征分析所述第二候选池;以及(d)从所述特征提取单元接收描述至少所述第二候选池的所述数据和相关数据,并确定所述第二候选池中每个候选是主关键词或次关键词的可能性。
根据本文所提供的描述和附图,其它方面和实施例对于本领域技术人员将是显而易见的。
附图说明
图1示出了示例实施例的处理的总览图。
图2示出了可以实现示例实施例的计算机***。
具体实施方式
图1示出了计算机实现的示例性实施例的概述。在本说明书的余下部分中,进一步详细描述每一个组件。
示例预处理单元
在示例性实施例中,在可以从页面中选择可能的关键词短语之前,可以从HTML格式中提取页面的纯文本。该文本可以被进一步处理,以获得有关它的结构的信息,该信息对于关键词提取***是有用的。优选地,***的预处理单元执行提取以及标注和格式化网页文本,以便为随后的候选短语选择阶段和特征提取阶段提供合适的输入。
在预处理阶段,首先可以使用BoilerPipe(例如,见[9])从网页中提取内容文本,其消除了样板内容,仅保留页面的主要文本主体。除了主体文本,可以提取如标题、元描述和元关键词的首部信息,并与BoilerPipe输出组合以形成用于进一步处理的纯文本输入。
然后,页面文本可以被标记,而且标记器的输出传递至词性标注器(例如,见[18])和解析器(例如,见[13])。由于构成名词短语的关键词有一种倾向,解析器输出可用于在文本中查找名词短语。使用解析器而不是分块器(chunker)可能由获得更细粒度的分层短语结构信息(与基本的名词短语块相比)的愿望而激励,以改进关键词候选提取。
由于命名实体(“NE”)(如个人或组织名称)可能是有用的关键词,还可以从网页文本中提取命名实体。优选地使用两个不同的NE***(参见,例如[18]、[4]),以提供更大的一组实体类型的覆盖。
示例性候选提取单元
候选提取可用于选择作为可能关键词的短语,并且可以用作分类器的输入,该分类器估计给定的短语是关键词的可能性。此外,在示例性分类器的训练阶段,候选提取的更好的精度有助于过滤不可能是关键词的词组合,从而降低了负面训练样本的数量,由此提高了正面与负面训练数据的比率(关键词提取任务具有正面和负面样本之间的不平衡,有极少数的正面标签数据)。
在示例性实施例中,关键词提取方法如下执行。首先,通过递归地从解析的文本中提取所有名词短语,形成基础候选集。然后,仅包括名词的(从左到右提取的)所有候选子序列被加入候选集(例如,如果最好的Nixon相机配件是候选,Nixon相机配件、相机配件和配件将被添加到候选集)。最后,向候选集添加从候选短语中提取的所有一元语言(unigram)、二元语言(bigrams)和三元语言(trigrams)。
也可以参照最常见的英语单词的停止列表来过滤候选集。优选地,从候选集中移除包含停止词的一元语言或二元语言。然而,可以保留在短语中部包含停止列表中的词的较长短语。
示例性关键词分类单元
为了识别哪些候选短语是关键词,示例性实施例采用了分类器,该分类器使用输入(候选短语的特征)来估计短语是关键词的概率,并向短语指派输出标签(关键词或非关键词)。可以使用监督机器学习来获得将特征输入映射到关键词标签的分类器功能。也就是说,映射可以由分类器***根据其中“正确”输出的标签已被人类注解者提供的数据集来学习。
为了训练用于示例性***的分类器,可使用最大熵(ME)模型(这有时被称为逻辑回归模型,请参见[11]的介绍)。ME模型从训练数据中导出约束,并假定不包括训练集的最大熵分布。ME分类器的输入由每个关键词候选的值向量组成,其由模型使用以学习与每个特征相关联的权重。给定新的输入数据,然后训练分类器可以计算在给定该候选短语的输入值的情况下短语是关键词的概率。
其中,f是联合特征(输入向量和标签的函数),α是指派给该特征的权重。
--------------------
2CG是指共轭梯度方法,用于求解稀疏线性等式***的标准迭代方法,作为分类器库中的训练方法之一而提供。CG需要以Python和NLTK来安装scipy包(http://www.scipy.ore/)。
为了训练最大熵分类器,可以使用自然语言工具包(NLTK;见[1])中提供的Python库。CG2可被用作训练方法。然而,由于该算法在唯一解上收敛,训练方法的选择对分类器的性能不产生影响,并且本领域技术人员将认识到,在不脱离本文描述的本发明的范围的情况下,可以使用其他的训练方法。例如,可以使用例如支持向量机(rbf核)(见[8])的其他学习方法,但本发明的发明人没有发现超越使用ME模型所获得的结果。
由于正面和负面的训练数据的不平衡(即,训练数据中的大多数候选短语通常不是关键词),可以选择不使用由分类器指派的标签(关键词或非关键词),而是直接基于概率分数对候选进行排序,例如选择具有给定网页中最高概率的10个候选。
示例性特征
可以针对每一个关键词候选来计算特征值集合,并将其用作分类器的输入。特征的选择对分类器的性能起着重要的作用。特征可分为两种类型:(a)一般的非语言特征,以及(b)语言特征。一般特征可类似于[17]中描述的***所采用的特征,并且包括如频率、在文档中的位置和大写之类的信息。语言特征利用词性、短语结构和命名实体信息。在下面更详细地描述两种类型的特征。
表1:示例性分类特征
示例性一般特征
示例性一般特征
频率特征提供与TFxlDF3类似的信息。频率特征可以包括文档内的相对词频、词频的对数以及DF(文档集合中的频率)和logDF值。可以使用来自Google Ngram文集的频率来逼近DF值。优选地,仅使用一元语言和二元语言频率信息来计算DF。对于超过2个单词的候选短语,也可以使用短语中的所有二元语言的DF平均值作为DF值。可以使用平均值,以获得不同长度的短语的类似范围的值。此外,可以使用针对完整的博客集合计算的DF值来替代来自Google Ngram文集的频率。
2.标题
候选短语是否在在文档的标题中。
3.大写
大写单词包括正确的名称或给定文档中标记为重要词的单词。示例性大写特征是:关键词候选中的所有单词是否为大写,以及关键词候选中的至少一个单词是否为大写。
4.位置
关键词候选在文档内第一次出现的相对位置,由单词的个数来计算。例如,如果文档具有20个单词且候选短语的第1个单词是文档中的
-------------------------
3TFxIDF是指词频-逆文档频率,是信息检索中使用的用于评估词的相对重要性的标准分数。其基于词在给定文档中的频率被其在文档集合中的总频率的偏移。针对tf和idf的标准公式是:其中ni,j是考虑的词i在文档j中出现的次数;以及它是集合中所有文档的个数除以包含词i的文档的个数的对数。第5个单词,则位置=5/20=0.25。
5.长度
候选短语中的词的个数。
6.URL
候选短语是否在页面url中。
7.Wiki-业务
可以使用基于***业务的特征来反映作为频繁搜索/查询项的关键词候选的流行度。这个特征集合可以包括:候选短语是否是***标题(包括重定向),以及候选短语的业务数据(如果候选不是***标题,则为0)。业务统计可以基于特定时间段(例如,2010年6月中的20天时间段)上聚集的每小时的***日志。
示例性语言特征
1.名词短语
候选是否为名词短语或包含名词短语。
2.名词
候选短语是否包含至少一个名词,以及候选短语是否仅包括名词。
3.POS标记
指派给候选短语的词性标记的序列。
4.命名实体
关键词候选是否为命名实体,其是否包含命名实体以及指派给候选的命名实体标记(如果候选短语不是NE,则为“O”)。
5.PMI
逐点互信息(PMI)反映短语是否可能是连语。候选短语的PMl分数可以计算如下:
对于二元语言, 其中P(w)是词或短语的相对频率。
对于单个单词,
对于大于2个单词的候选短语,可以将PMI设置为针对短语中所有二元语言的PMI分数的平均值。
示例性估计和数据
示例性训练数据
训练数据可以包括比如500个网页(从博客页面文集中随机选择;参见[3])。可以向注释者呈现从博客页面中提取的纯文本,并指导注释者选择最佳地表达页面内容的关键词。优选地,来自首部的元信息不包括在注释文本中。可选地,没有对可针对单个页面选择的关键词的个数进行限制。还可以注释附加页面,并留出作为未用于训练的测试集。
注释者间的一致性(agreement)和黄金标准
对于每一个页面,优选地由两个注释者选择关键词。然而,对于此任务,注释者间的一致性可能不高(例如,在一个实现中,注释者的kappa4分数是0.49)。低的kappa分数可能由于以下原因:首先,注释者可能标记仅部分匹配的类似短语。其次,当未指定能够选择的关键词的最大数目时,针对给定文本,一个注释者可能比另一个注释者选择更多数目的关键词。
为了创建不依赖于单个注释者的黄金标准(GS),可以合并来自两个注释者的输出。当注释关键词时,可以指导注释者还选择关键词是“主关键词”还是“次关键词”。主关键词可以被定义为捕捉文档的主话题或中心思想的关键词。次关键词可以被定义为提供与文档有关的额外关键信息(例如事件发生的位置、曾提到的附加但是重要的数字
--------------------
4Cohen的kappa系数是一般用于测量分类任务的注释者间的一致性的统计测量。Kappa被计算为其中P(A)是编码器中观察到的一致性,以及P(E)是编码器偶尔一致的概率。0.6-0.7以上的kappa分数被认为是“基本一致”。等)的重要短语。为了创建准确地反映两个注释者的选择的关键词集,可以保留GS中的以下关键词:
1.已经被(一个注释者或两个注释者)标记为主的所有关键词。
2.两个注释者选择了的次关键词。
3.仅由一个人选择的、但是与另一个注释者选择的主关键词部分匹配的次关键词。
在使用GS的示例性实施例中,每一个注释者与标准之间的kappa分数是:对于注释者1是0.75,对于注释者2是0.74。下表2中示出了针对主和次关键词的详细一致性统计。
表2
注释者1/注释者2 | 主 | 次 | 非关键词 |
主 | 1652 | 319 | 1796 |
次 | 437 | 264 | 1777 |
非关键词 | 1069 | 264 | ////// |
示例性候选提取单元
如上所述,示例性实施例使用名词短语作为基础候选集,但是向候选池添加了从名词短语中提取的名词序列和一元语言、二元语言和三元语言。
用于从文本中获得所有可能的候选短语的一种现有方法是将多达长度n(典型地是3-5)的所有n元语言包括在候选集中。这种n元语言方法的严重缺点是其引入了大量噪声(是无意义的短语和/或不可能是潜在的关键词的单词序列的形式)。因此,n元语言方法的精度低。
备选的现有方法是使用语言结构暗示来提取候选。因为关键词倾向于名词短语,来自文本的所有名词短语可以用于形成候选池。然而,该方法比n元语言方法具有明显更低的再调用,意味着许多潜在的关键词未包括在候选集中。
本发明的发明人已经利用示例性实施例中的提取方法对n元语言和名词短语策略的精度、再调用和F措施进行了比较。换言之,本发明的发明人已经评估了将每一种方式用作选择关键词的仅有方法(没有进一步的分类阶段)时的有效性。结果归纳如下表3。
表3:候选提取方法的比较
如表3中所示,n元语言方法具有高于80%的再调用,但是其还是具有三种方法中最低的精度(即,候选集包括大量噪声)。提取名词短语作为候选具有增加精度的优点,但是该方法具有很低的再调用(仅26%),所以丢失潜在关键词的可能性较高。
相反,本发明的方法的示例性实施例与提取名词短语相比提高了再调用。该方法的再调用与n元语言方法相当,但是精度更高。下文描述不同方法与分类器性能相结合的评估结果。
分类器性能
为了评定整体***性能,基于[17]将本发明的***所实现的结果与基线进行比较。在基线***中,候选提取方法是n元语言方法,而且特征包括一般非语言特征(加上NP/名词特征的简单集合)。分析了以下内容:***性能怎样随着(a)组合候选提取方法的使用和(b)在分类阶段添加语言特征而变化。
在将本发明的***和基线相比较时,使用了两种估计措施:
1.R-精度(前n个结果中有多少个候选是关键词,其中n是页面上可能的关键词的总数)。
2.前10分数(类似于R-精度,但是仅取前10个结果,即所有n>10被设为10)。
前10措施用于评估,因为其提供了当具有前10分数的候选被选作关键词输出时分类器如何作为提取***来执行的估计。基于从未在分类器训练中使用的100个网页的提供(held-out)测试集来测试***性能(见表4),并且基于500页面训练集来进行相互确认测试(10次合并,每次大约50个文档;见表5)。
表4:针对提供集的前10分数结果
方法 | 一般特征 | 一般+语言特征 |
N元语言 | 43.71 | 47.24 |
本发明 | 48.28 | 49.84 |
表5:针对相互确认测试的前10分数结果
方法 | 一般特征 | 一般+语言特征 |
N元语言 | 45.97 | 49.01 |
本发明 | 48.21 | 51.74 |
基线和本发明的***之间在结果上的不同在统计上是显著的(根据对相互确认结果的双尾配对t测试,p=0.0001)。超越基线的相对改进是12.55%。
相关实施例
存在用于针对给定网页来选择上下文合适的广告的两种优选方法。一种方法包括将网页文本与广告池直接匹配。在另一种方法中,页面和广告之间的匹配包括中间关键词提取步骤。以下给出每一种方法的示例。
关键词提取
1.KEA[5]
2.GenEx[15],[14]
3.Yih等[17]
4.Hulth[7],[6]
5.其他:[10],[16]
上下文广告
1.Broder等[2]
2.Ribeiro-Neto等[12]
在本文描述的特定的示例性***和方法实施例中,关键词提取优选地包括:(a)预处理,包括从网页提取文本和语言处理,例如词性标注和解析;(b)关键词候选短语的提取;以及(c)使用监督机器学习的候选分类。
本发明的***和方法可以实现改进的性能,这是由于在候选选择和特征提取阶段都使用了语言信息。示例性实施例包括使用分层短语结构的候选选择,导致更小的噪声候选池。可以用于分类的特征还包括语言特征(例如词性和命名实体信息),导致改进的分类器性能。
实施例包括对于本领域技术人员显而易见的计算机组件和计算机实施的步骤。例如,可以以电子方式来执行计算和通信,并且可以使用图形用户接口来显示结果。
图2中描述了该示例性***。计算机100经由网络110与服务器130通信。多个数据源120-121也经由网络110与服务器130、处理器150和/或可操作地计算和/或发送信息的其他组件通信。服务器130可以耦合到一个或更多个存储设备140、一个或更多个处理器150和软件160。
在实施例中,本文描述的计算和等同物完全以电子方式执行。还可以使用其他组件和组件的组合来支持本文描述的处理数据或其他计算,这对于本领域技术人员将是明显的。服务器130可以便于数据从存储设备140向和从处理器150的通信,以及向计算机100的通信。处理器150可以可选地包括本地或联网存储器(未示出)或与之进行通信,该存储器可用于存储临时或其他信息。软件160可以在计算机100、处理器150本地安装和/或中心支持,用于便于计算和应用。
为了便于说明,本文描述的本发明中并非每个步骤或元件都作为计算机***的一部分,但是本领域技术人员将会认识到,每一个步骤或元件可以具有对应的计算机***或软件组件。该计算机***和/或软件组件可以通过描述它们的对应步骤或元件(即,它们的功能)来实现,并且在本发明的范围内。
此外,当描述或请求保护的计算机***具有用于执行特定功能的处理器时,本领域技术人员可以理解,该使用不应被解释为将单个处理器(例如,执行被委派给各个处理器的一些或全部任务)的***排除在外。即,说明书和/或权利要求中指定的处理器的任意组合或全部可以是同一个处理器。所有这些组合在本发明的范围内。
备选地或组合地,可以通过功能上等同的电路(例如数字信号处理器电路或专用集成电路)来执行处理和决策制定。
许多例程要素(例如循环和变量的初始化以及临时变量的使用)本文没有描述。此外,本领域技术人员可以理解,除非另有指出,否则所描述的步骤的特定顺序仅是示意性的,并且可以一般性地改变而不背离本发明的范围。除非另有声明,否则本文描述的处理是无序的,即,可以以任何适当的顺序来执行这些处理。
本领域技术人员可以理解,本文描述的所有步骤在可行的情况下能够通过软件来实现。此外,本领域技术人员可以理解,该软件能够存储在非瞬时计算机可读介质上,并且由一个或更多个计算机处理器来执行。
尽管已经结合本文概述的示例性方面的实施例对本发明做出描述,许多备选、修改和变体对于本领域技术人员来说是明显的。因此,本发明的示例性方面和实施例(如本文所提出)意在是示意性的而非限制。在不背离本发明的精神和范围的前提下,可以进行各种改变。
参考文献
[1]Bird,Steven,Edward Loper and Ewan Klein.Natural LanguageProcessing with Python.O′Reilly Media Inc.,2009.
[2]Broder,Andrei and Fontoura,Marcus and Josifovski,Vanja and Riedel,Lance.A semantic approach to contextual advertising.SIGIR′07:Proceedings of the30th annual international ACM SIGIR conference on Research and development ininformation retrieval,pages 559--566,New York,NY,USA,2007.ACM.
[3]Kevin Burton and Akshay Java and Ian Soboroff.The ICWSM2009Spinn3r Dataset.San Jose.CA,2009.
[4]Finkel,Jenny Rose and Grenager.Trond and Manning,Christopher.Incorporating non-local information into information extraction systems by(iibbssampling.ACL′05:Proceedings of the 43rd Annual Meeting on Association forComputational Linguistics,pages 363--370,Morristown,NJ,USA,2005.Associationfor Computational Linguistics.
[5]Frank,Eibe and Paynter,Gordon W.and Witten,lan H.and Gutwin,Car1 and Nevill-Manning,Craig G.Domain-specific keyphrase extraction.IJCAI′99:Proceedings of the 16th international joint conference on Artificial intellingence,pages668--673,San Francisco,CA,USA,1999.Morgan Kaufmann Publishers Inc.
[6]Hulth,Anette.Automatic Keyword Extraction.Combining MachineLearning and Natural Language Processing.Verlag Dr.Muller,2008.
[7]Hulth,Anette.Improved automatic keyword extraction given morelinguistic knowledge.Proceedings of the 2003 conference on Empirical methods innatural language processing.pages 216--223,Morristown,NJ,USA,2003.Associationfor Computational Linguistics.
[8]Joachims,Thorsten.Making large-scale support vector machine learningpractical.:169--184.1999.
[9]Kohlschǖtter,Christian and Fankhauser,Peter and Nejdl,Wolfgang.Boilerplate detection using shallow text features.WSDM′10:Proceedings of the thirdACM international conference on Web search and data mining,pages 441--450,NewYork,NY,USA,2010.ACM.
[10]Matsuo,Y.and Ishizuka,M.Keyword Extraction from a Documentusing Word Co-occurrence Statistical Information.Transactions of the Japanese,Society for Artificial Intelligence,17:217-223,2002.
[11]Adwait Ratnaparkhi.A Simple Introduction to Maximum EntropyModels for Natural Language Processing.Technical report,IRCS,1997.
[12]Ribeiro-Neto,Berthier and Cristo,Marco and Golgher,Paulo B.andSilva de Moura,Edleno.Impedance coupling in content-targeted advertising.SIGIR′05:Proceeeings of the 28th annual international ACM SIGIR conference on Researchand development in information retrieval,pages 496--503,NeW York,NY,USA,2005.ACM.
[13]Sekine,Satoshi and Ralph Grishman.A corpus based probabilisticgrammar with only two non-terminals.Fourth International Workshop on ParsingTechnology,1995.
[14]Turney,Peter D.Coherent keyphrase extraction via web mining.IJCAI′03:Proceedings of the 18th international joint conference on Artificial intelligence,pages 434--439,San Francisco,CA,USA,2003.Morgan Kaufmann Publishers Inc.
[15]Turney,Peter D.Learning Algorithms for Keyphrase Extraction.Inf.Retr.,2(4):303--336,2000.
[16]Wu,Xiaoyuan and Bolivar,Alvaro.Keyword extraction for contextualadvertisement.WWW′08:Proceeding of the 17th international conference on WorldWide Web,pages 1195--1196.New York.NY,USA,2008.ACM.
[17]Yih,Wen-tau and Goodman,Joshua and Carvalho,Vitor R.Findingadvertising keywords on web pages.WWW′06:Proceedings of the 15th internationalconference on World Wide Web,pages 213--222,NeW York,NY,USA,2006.ACM.
[18]OAK System.http://nlp.cs.nyu.edu/oak/.
Claims (19)
1.一种计算机***,包括:
(a)预处理单元,从网页中提取文本以产生至少第一组候选关键词,应用语言处理以产生至少第二组候选关键词,并将所述第一组候选关键词和第二组候选关键词组成第一候选池;
(b)候选提取单元,从所述预处理单元接收描述至少所述第一候选池的数据,并产生第二候选池;
(c)特征提取单元,接收描述至少所述第二候选池的数据,并针对一般特征和语言特征来分析所述第二候选池;以及
(d)分类单元,从所述特征提取单元接收描述至少所述第二候选池的所述数据和相关数据,并确定所述第二候选池中每个候选是主关键词或次关键词的可能性。
2.根据权利要求1所述的计算机***,其中,所述语言处理的至少一部分是由标记器和解析器来执行的。
3.根据权利要求1所述的计算机***,其中,所述语言处理的至少一部分是由标记器、解析器、词性标注器和命名实体标注器来执行的。
4.根据权利要求1所述的计算机***,其中,所述语言处理的至少一部分是由标记器执行的。
5.根据权利要求1所述的计算机***,其中,所述语言处理的至少一部分是由解析器执行的。
6.根据权利要求1所述的计算机***,其中,所述语言处理的至少一部分是由词性标注器执行的。
7.根据权利要求1所述的计算机***,其中,所述语言处理的至少一部分是由命名实体标注器执行的。
8.根据权利要求1所述的计算机***,其中,所述第一组候选关键词包括元数据文本。
9.根据权利要求1所述的计算机***,其中,所述第二候选池包括名词短语和名词序列。
10.根据权利要求1所述的计算机***,其中,所述第二候选池包括名词短语、名词序列和n元语言。
11.根据权利要求1所述的计算机***,其中,所述一般特征包括以下一个或更多个:频率、文档中的位置和大写。
12.根据权利要求1所述的计算机***,其中,所述语言特征涉及以下一个或更多个:词性、短语结构和命名实体信息。
13.根据权利要求1所述的计算机***,其中,所述一般特征包括频率特征,并且所述频率特征包括以下一个或更多个:所述网页内的相对词频和词频的对数。
14.根据权利要求1所述的计算机***,其中,基于注释训练数据来确定每个候选是主关键词或次关键词的可能性。
15.根据权利要求1所述的计算机***,其中,基于通过组合来自多个注释器的注释输入而创建的训练数据来确定每个候选是主关键词或次关键词的可能性,以及每个注释包括主关键词和次关键词之间的区别。
16.根据权利要求1所述的计算机***,其中,所述一般特征包括频率、文档中的位置和大写,并且所述语言特征涉及词性、短语结构和命名实体信息。
17.根据权利要求1所述的计算机***,其中,所述一般特征包括频率特征,所述频率特征包括以下一个或更多个:所述网页内的相对词频和词频的对数,以及所述语言特征涉及词性、短语结构和命名实体信息。
18.一种包括由计算机处理***实现的步骤的方法,所述步骤包括:
(a)从网页提取文本以产生至少第一组候选关键词,应用语言处理以产生至少第二组候选关键词,以及将所述第一组候选关键词和第二组候选关键词组成第一候选池;
(b)接收描述至少所述第一候选池的数据,并产生第二候选池;
(c)接收描述至少所述第二候选池的数据,并针对一般特征和语言特征分析所述第二候选池;以及
(d)从所述特征提取单元接收描述至少所述第二候选池的所述数据和相关数据,并确定所述第二候选池中每个候选是主关键词或次关键词的可能性。
19.一种存储有软件的有形计算机可读介质,操作用于执行如下步骤:
(a)从网页提取文本以产生至少第一组候选关键词,应用语言处理以产生至少第二组候选关键词,以及将所述第一组和第二组候选关键词组成第一候选池;
(b)接收描述至少所述第一候选池的数据,并产生第二候选池;
(c)接收描述至少所述第二候选池的数据,并针对一般特征和语言特征分析所述第二候选池;以及
(d)从所述特征提取单元接收描述至少所述第二候选池的所述数据和相关数据,并确定所述第二候选池中每个候选是主关键词或次关键词的可能性。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US41039210P | 2010-11-05 | 2010-11-05 | |
US61/410,392 | 2010-11-05 | ||
PCT/US2011/058899 WO2012061462A1 (en) | 2010-11-05 | 2011-11-02 | Systems and methods regarding keyword extraction |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103201718A true CN103201718A (zh) | 2013-07-10 |
Family
ID=46020615
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011800531753A Pending CN103201718A (zh) | 2010-11-05 | 2011-11-02 | 关于关键词提取的***和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8874568B2 (zh) |
EP (1) | EP2635965A4 (zh) |
JP (1) | JP5990178B2 (zh) |
KR (1) | KR101672579B1 (zh) |
CN (1) | CN103201718A (zh) |
WO (1) | WO2012061462A1 (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103473317A (zh) * | 2013-09-12 | 2013-12-25 | 百度在线网络技术(北京)有限公司 | 提取关键词的方法和设备 |
CN104679768A (zh) * | 2013-11-29 | 2015-06-03 | 百度在线网络技术(北京)有限公司 | 从文档中提取关键词的方法和设备 |
CN106991488A (zh) * | 2015-11-16 | 2017-07-28 | Uberple有限公司 | 关键词和资产价值的关联性评估方法及其装置 |
CN107248927A (zh) * | 2017-05-02 | 2017-10-13 | 华为技术有限公司 | 故障定位模型的生成方法、故障定位方法和装置 |
CN107704503A (zh) * | 2017-08-29 | 2018-02-16 | 平安科技(深圳)有限公司 | 用户关键词提取装置、方法及计算机可读存储介质 |
CN110362827A (zh) * | 2019-07-11 | 2019-10-22 | 腾讯科技(深圳)有限公司 | 一种关键词提取方法、装置及存储介质 |
CN110516237A (zh) * | 2019-08-15 | 2019-11-29 | 重庆长安汽车股份有限公司 | 短文本短语提取方法、***及存储介质 |
CN112020707A (zh) * | 2018-01-05 | 2020-12-01 | 国立大学法人九州工业大学 | 标签添加装置、标签添加方法以及程序 |
CN112037774A (zh) * | 2017-10-24 | 2020-12-04 | 北京嘀嘀无限科技发展有限公司 | 用于关键短语识别的***和方法 |
CN112347778A (zh) * | 2020-11-06 | 2021-02-09 | 平安科技(深圳)有限公司 | 关键词抽取方法、装置、终端设备及存储介质 |
CN113703588A (zh) * | 2020-05-20 | 2021-11-26 | 北京搜狗科技发展有限公司 | 一种输入方法、装置和用于输入的装置 |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120076414A1 (en) * | 2010-09-27 | 2012-03-29 | Microsoft Corporation | External Image Based Summarization Techniques |
US8732014B2 (en) * | 2010-12-20 | 2014-05-20 | Yahoo! Inc. | Automatic classification of display ads using ad images and landing pages |
US9558267B2 (en) * | 2011-02-11 | 2017-01-31 | International Business Machines Corporation | Real-time data mining |
US8898163B2 (en) | 2011-02-11 | 2014-11-25 | International Business Machines Corporation | Real-time information mining |
US8983826B2 (en) * | 2011-06-30 | 2015-03-17 | Palo Alto Research Center Incorporated | Method and system for extracting shadow entities from emails |
CN103198057B (zh) * | 2012-01-05 | 2017-11-07 | 深圳市世纪光速信息技术有限公司 | 一种自动给文档添加标签的方法和装置 |
US9613125B2 (en) * | 2012-10-11 | 2017-04-04 | Nuance Communications, Inc. | Data store organizing data using semantic classification |
US9292797B2 (en) | 2012-12-14 | 2016-03-22 | International Business Machines Corporation | Semi-supervised data integration model for named entity classification |
WO2014203264A1 (en) * | 2013-06-21 | 2014-12-24 | Hewlett-Packard Development Company, L.P. | Topic based classification of documents |
EP3063669A4 (en) * | 2013-10-31 | 2017-04-26 | Hewlett-Packard Enterprise Development LP | Classifying document using patterns |
US9384287B2 (en) | 2014-01-15 | 2016-07-05 | Sap Portals Isreal Ltd. | Methods, apparatus, systems and computer readable media for use in keyword extraction |
US8924338B1 (en) | 2014-06-11 | 2014-12-30 | Fmr Llc | Automated predictive tag management system |
KR101624909B1 (ko) * | 2014-12-10 | 2016-05-27 | 주식회사 와이즈넛 | 정규화된 키워드 가중치에 기반한 연관 키워드 추출 방법 |
JP6074820B2 (ja) * | 2015-01-23 | 2017-02-08 | 国立研究開発法人情報通信研究機構 | アノテーション補助装置及びそのためのコンピュータプログラム |
US10140314B2 (en) * | 2015-08-21 | 2018-11-27 | Adobe Systems Incorporated | Previews for contextual searches |
US10169374B2 (en) * | 2015-08-21 | 2019-01-01 | Adobe Systems Incorporated | Image searches using image frame context |
CN105653701B (zh) * | 2015-12-31 | 2019-01-15 | 百度在线网络技术(北京)有限公司 | 模型生成方法及装置、词语赋权方法及装置 |
US10558785B2 (en) | 2016-01-27 | 2020-02-11 | International Business Machines Corporation | Variable list based caching of patient information for evaluation of patient rules |
US10528702B2 (en) | 2016-02-02 | 2020-01-07 | International Business Machines Corporation | Multi-modal communication with patients based on historical analysis |
US10565309B2 (en) * | 2016-02-17 | 2020-02-18 | International Business Machines Corporation | Interpreting the meaning of clinical values in electronic medical records |
US10937526B2 (en) | 2016-02-17 | 2021-03-02 | International Business Machines Corporation | Cognitive evaluation of assessment questions and answers to determine patient characteristics |
US10685089B2 (en) | 2016-02-17 | 2020-06-16 | International Business Machines Corporation | Modifying patient communications based on simulation of vendor communications |
US11037658B2 (en) | 2016-02-17 | 2021-06-15 | International Business Machines Corporation | Clinical condition based cohort identification and evaluation |
US10282356B2 (en) | 2016-03-07 | 2019-05-07 | International Business Machines Corporation | Evaluating quality of annotation |
CN107203542A (zh) * | 2016-03-17 | 2017-09-26 | 阿里巴巴集团控股有限公司 | 词组提取方法及装置 |
US10311388B2 (en) | 2016-03-22 | 2019-06-04 | International Business Machines Corporation | Optimization of patient care team based on correlation of patient characteristics and care provider characteristics |
US10923231B2 (en) | 2016-03-23 | 2021-02-16 | International Business Machines Corporation | Dynamic selection and sequencing of healthcare assessments for patients |
CN105912524B (zh) * | 2016-04-09 | 2019-08-20 | 北京交通大学 | 基于低秩矩阵分解的文章话题关键词提取方法和装置 |
RU2619193C1 (ru) | 2016-06-17 | 2017-05-12 | Общество с ограниченной ответственностью "Аби ИнфоПоиск" | Многоэтапное распознавание именованных сущностей в текстах на естественном языке на основе морфологических и семантических признаков |
US10318562B2 (en) | 2016-07-27 | 2019-06-11 | Google Llc | Triggering application information |
KR101931859B1 (ko) * | 2016-09-29 | 2018-12-21 | (주)시지온 | 전자문서의 대표 단어 선정 방법, 전자 문서 제공 방법, 및 이를 수행하는 컴퓨팅 시스템 |
CN108073568B (zh) * | 2016-11-10 | 2020-09-11 | 腾讯科技(深圳)有限公司 | 关键词提取方法和装置 |
US9965460B1 (en) * | 2016-12-29 | 2018-05-08 | Konica Minolta Laboratory U.S.A., Inc. | Keyword extraction for relationship maps |
US10417268B2 (en) * | 2017-09-22 | 2019-09-17 | Druva Technologies Pte. Ltd. | Keyphrase extraction system and method |
US11216452B2 (en) * | 2017-11-01 | 2022-01-04 | Sap Se | Systems and methods for disparate data source aggregation, self-adjusting data model and API |
KR102019194B1 (ko) | 2017-11-22 | 2019-09-06 | 주식회사 와이즈넛 | 문서 내 핵심 키워드 추출 시스템 및 방법 |
US20190272071A1 (en) * | 2018-03-02 | 2019-09-05 | International Business Machines Corporation | Automatic generation of a hierarchically layered collaboratively edited document view |
US10831803B2 (en) * | 2018-07-26 | 2020-11-10 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for true product word recognition |
US11404058B2 (en) | 2018-10-31 | 2022-08-02 | Walmart Apollo, Llc | System and method for handling multi-turn conversations and context management for voice enabled ecommerce transactions |
US11183176B2 (en) | 2018-10-31 | 2021-11-23 | Walmart Apollo, Llc | Systems and methods for server-less voice applications |
US11195524B2 (en) * | 2018-10-31 | 2021-12-07 | Walmart Apollo, Llc | System and method for contextual search query revision |
US11238850B2 (en) | 2018-10-31 | 2022-02-01 | Walmart Apollo, Llc | Systems and methods for e-commerce API orchestration using natural language interfaces |
CN109977397B (zh) * | 2019-02-18 | 2022-11-15 | 广州市诚毅科技软件开发有限公司 | 基于词性组合的新闻热点提取方法、***及存储介质 |
US20220222442A1 (en) * | 2019-05-31 | 2022-07-14 | Nec Corporation | Parameter learning apparatus, parameter learning method, and computer readable recording medium |
US11874882B2 (en) * | 2019-07-02 | 2024-01-16 | Microsoft Technology Licensing, Llc | Extracting key phrase candidates from documents and producing topical authority ranking |
US11250214B2 (en) | 2019-07-02 | 2022-02-15 | Microsoft Technology Licensing, Llc | Keyphrase extraction beyond language modeling |
CN110377725B (zh) * | 2019-07-12 | 2021-09-24 | 深圳新度博望科技有限公司 | 数据生成方法、装置、计算机设备及存储介质 |
CN110781662B (zh) * | 2019-10-21 | 2022-02-01 | 腾讯科技(深圳)有限公司 | 一种逐点互信息的确定方法和相关设备 |
US10878174B1 (en) * | 2020-06-24 | 2020-12-29 | Starmind Ag | Advanced text tagging using key phrase extraction and key phrase generation |
KR102639979B1 (ko) * | 2020-12-08 | 2024-02-22 | 주식회사 카카오엔터프라이즈 | 주요 키워드 추출 장치, 그것의 제어 방법 및 주요 키워드 추출 프로그램 |
US11379763B1 (en) | 2021-08-10 | 2022-07-05 | Starmind Ag | Ontology-based technology platform for mapping and filtering skills, job titles, and expertise topics |
KR102334255B1 (ko) | 2021-08-31 | 2021-12-02 | (주)네오플로우 | AI 기반 음성서비스의 Text Data 수집 플랫폼 구축 및 통합관리방법 |
KR102334236B1 (ko) | 2021-08-31 | 2021-12-02 | (주)네오플로우 | 음성 변환 Text Data에서 의미있는 키워드 추출 방법과 활용 |
CN114398968B (zh) * | 2022-01-06 | 2022-09-20 | 北京博瑞彤芸科技股份有限公司 | 基于文件相似度对同类获客文件进行标注的方法和装置 |
CN115204146B (zh) * | 2022-07-28 | 2023-06-27 | 平安科技(深圳)有限公司 | 关键词抽取方法、装置、计算机设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050234879A1 (en) * | 2004-04-15 | 2005-10-20 | Hua-Jun Zeng | Term suggestion for multi-sense query |
US20050267871A1 (en) * | 2001-08-14 | 2005-12-01 | Insightful Corporation | Method and system for extending keyword searching to syntactically and semantically annotated data |
US20060287988A1 (en) * | 2005-06-20 | 2006-12-21 | Efficient Frontier | Keyword charaterization and application |
US20080077397A1 (en) * | 2006-09-27 | 2008-03-27 | Oki Electric Industry Co., Ltd. | Dictionary creation support system, method and program |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0765018A (ja) * | 1993-08-31 | 1995-03-10 | Matsushita Electric Ind Co Ltd | キーワード自動抽出装置 |
US6167368A (en) * | 1998-08-14 | 2000-12-26 | The Trustees Of Columbia University In The City Of New York | Method and system for indentifying significant topics of a document |
US7925610B2 (en) * | 1999-09-22 | 2011-04-12 | Google Inc. | Determining a meaning of a knowledge item using document-based information |
JP2004139553A (ja) * | 2002-08-19 | 2004-05-13 | Matsushita Electric Ind Co Ltd | 文書検索システムおよび質問応答システム |
US7139752B2 (en) * | 2003-05-30 | 2006-11-21 | International Business Machines Corporation | System, method and computer program product for performing unstructured information management and automatic text analysis, and providing multiple document views derived from different document tokenizations |
US7555705B2 (en) * | 2003-09-10 | 2009-06-30 | Microsoft Corporation | Annotation management in a pen-based computing system |
JP2006146705A (ja) * | 2004-11-22 | 2006-06-08 | Mitsubishi Electric Corp | 構造化文書曖昧照合装置及びそのプログラム |
US8135728B2 (en) * | 2005-03-24 | 2012-03-13 | Microsoft Corporation | Web document keyword and phrase extraction |
WO2007084616A2 (en) * | 2006-01-18 | 2007-07-26 | Ilial, Inc. | System and method for context-based knowledge search, tagging, collaboration, management and advertisement |
JP4236057B2 (ja) * | 2006-03-24 | 2009-03-11 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 新たな複合語を抽出するシステム |
US8341112B2 (en) * | 2006-05-19 | 2012-12-25 | Microsoft Corporation | Annotation by search |
US8001105B2 (en) * | 2006-06-09 | 2011-08-16 | Ebay Inc. | System and method for keyword extraction and contextual advertisement generation |
JP2008065417A (ja) * | 2006-09-05 | 2008-03-21 | Hottolink Inc | 連想語群検索装置、システム及びコンテンツマッチ型広告システム |
US20080098300A1 (en) * | 2006-10-24 | 2008-04-24 | Brilliant Shopper, Inc. | Method and system for extracting information from web pages |
US20090254512A1 (en) | 2008-04-03 | 2009-10-08 | Yahoo! Inc. | Ad matching by augmenting a search query with knowledge obtained through search engine results |
JP5193669B2 (ja) * | 2008-05-08 | 2013-05-08 | 株式会社野村総合研究所 | 検索システム |
US8386519B2 (en) * | 2008-12-30 | 2013-02-26 | Expanse Networks, Inc. | Pangenetic web item recommendation system |
US8768960B2 (en) | 2009-01-20 | 2014-07-01 | Microsoft Corporation | Enhancing keyword advertising using online encyclopedia semantics |
JP5143057B2 (ja) * | 2009-03-02 | 2013-02-13 | 日本電信電話株式会社 | 重要キーワード抽出装置及び方法及びプログラム |
US20100281025A1 (en) * | 2009-05-04 | 2010-11-04 | Motorola, Inc. | Method and system for recommendation of content items |
BR112012006743A2 (pt) * | 2009-09-26 | 2019-09-24 | Ogilvy Hamish | método para indexar uma pluralidade de documentos, sistema para indexar uma pluralidade de documentos, método para analisar uma porção de texto e recuperar documentos relevantes para a porção de texto, método para refinar os resultados de uma busca, sistema para refinar os resultados de uma busca, sistema para analisar uma porção de texto de entrada e recuperar documentos relevantes para a porção de texto, e mídia legível em computador |
US8463786B2 (en) * | 2010-06-10 | 2013-06-11 | Microsoft Corporation | Extracting topically related keywords from related documents |
-
2011
- 2011-11-02 KR KR1020137011659A patent/KR101672579B1/ko active IP Right Grant
- 2011-11-02 JP JP2013537776A patent/JP5990178B2/ja active Active
- 2011-11-02 CN CN2011800531753A patent/CN103201718A/zh active Pending
- 2011-11-02 EP EP11838723.2A patent/EP2635965A4/en not_active Withdrawn
- 2011-11-02 WO PCT/US2011/058899 patent/WO2012061462A1/en active Application Filing
- 2011-11-02 US US13/287,294 patent/US8874568B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050267871A1 (en) * | 2001-08-14 | 2005-12-01 | Insightful Corporation | Method and system for extending keyword searching to syntactically and semantically annotated data |
US20050234879A1 (en) * | 2004-04-15 | 2005-10-20 | Hua-Jun Zeng | Term suggestion for multi-sense query |
US20060287988A1 (en) * | 2005-06-20 | 2006-12-21 | Efficient Frontier | Keyword charaterization and application |
US20080077397A1 (en) * | 2006-09-27 | 2008-03-27 | Oki Electric Industry Co., Ltd. | Dictionary creation support system, method and program |
Non-Patent Citations (1)
Title |
---|
KUSHAL DAVE ET AL: "Pattern based keyword extraction for contextual advertising", 《CIKM10,PROCEEDINGS OF THE 19TH INTERNATIONAL CONFERENCE ON INFORMATION & KNOWLEDGE MANAGEMENT AND CO-LOCATED WORKSHOPS》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103473317A (zh) * | 2013-09-12 | 2013-12-25 | 百度在线网络技术(北京)有限公司 | 提取关键词的方法和设备 |
CN104679768A (zh) * | 2013-11-29 | 2015-06-03 | 百度在线网络技术(北京)有限公司 | 从文档中提取关键词的方法和设备 |
CN104679768B (zh) * | 2013-11-29 | 2019-08-09 | 百度在线网络技术(北京)有限公司 | 从文档中提取关键词的方法和设备 |
CN106991488A (zh) * | 2015-11-16 | 2017-07-28 | Uberple有限公司 | 关键词和资产价值的关联性评估方法及其装置 |
CN107248927B (zh) * | 2017-05-02 | 2020-06-09 | 华为技术有限公司 | 故障定位模型的生成方法、故障定位方法和装置 |
CN107248927A (zh) * | 2017-05-02 | 2017-10-13 | 华为技术有限公司 | 故障定位模型的生成方法、故障定位方法和装置 |
CN107704503A (zh) * | 2017-08-29 | 2018-02-16 | 平安科技(深圳)有限公司 | 用户关键词提取装置、方法及计算机可读存储介质 |
CN112037774A (zh) * | 2017-10-24 | 2020-12-04 | 北京嘀嘀无限科技发展有限公司 | 用于关键短语识别的***和方法 |
CN112037774B (zh) * | 2017-10-24 | 2024-04-26 | 北京嘀嘀无限科技发展有限公司 | 用于关键短语识别的***和方法 |
CN112020707A (zh) * | 2018-01-05 | 2020-12-01 | 国立大学法人九州工业大学 | 标签添加装置、标签添加方法以及程序 |
CN110362827A (zh) * | 2019-07-11 | 2019-10-22 | 腾讯科技(深圳)有限公司 | 一种关键词提取方法、装置及存储介质 |
CN110362827B (zh) * | 2019-07-11 | 2024-05-14 | 腾讯科技(深圳)有限公司 | 一种关键词提取方法、装置及存储介质 |
CN110516237A (zh) * | 2019-08-15 | 2019-11-29 | 重庆长安汽车股份有限公司 | 短文本短语提取方法、***及存储介质 |
CN110516237B (zh) * | 2019-08-15 | 2022-12-09 | 重庆长安汽车股份有限公司 | 短文本短语提取方法、***及存储介质 |
CN113703588A (zh) * | 2020-05-20 | 2021-11-26 | 北京搜狗科技发展有限公司 | 一种输入方法、装置和用于输入的装置 |
CN112347778A (zh) * | 2020-11-06 | 2021-02-09 | 平安科技(深圳)有限公司 | 关键词抽取方法、装置、终端设备及存储介质 |
CN112347778B (zh) * | 2020-11-06 | 2023-06-20 | 平安科技(深圳)有限公司 | 关键词抽取方法、装置、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
KR20130142124A (ko) | 2013-12-27 |
JP2013544397A (ja) | 2013-12-12 |
KR101672579B1 (ko) | 2016-11-03 |
JP5990178B2 (ja) | 2016-09-07 |
US20120117092A1 (en) | 2012-05-10 |
EP2635965A4 (en) | 2016-08-10 |
US8874568B2 (en) | 2014-10-28 |
EP2635965A1 (en) | 2013-09-11 |
WO2012061462A1 (en) | 2012-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103201718A (zh) | 关于关键词提取的***和方法 | |
Biemann | Creating a system for lexical substitutions from scratch using crowdsourcing | |
Nagamma et al. | An improved sentiment analysis of online movie reviews based on clustering for box-office prediction | |
US20130018824A1 (en) | Sentiment classifiers based on feature extraction | |
US20130159277A1 (en) | Target based indexing of micro-blog content | |
Fan et al. | Using syntactic and semantic relation analysis in question answering | |
US9773166B1 (en) | Identifying longform articles | |
Ketmaneechairat et al. | Natural language processing for disaster management using conditional random fields | |
Das et al. | Temporal analysis of sentiment events–a visual realization and tracking | |
Jianqiang et al. | Combining semantic and prior polarity for boosting twitter sentiment analysis | |
Verberne et al. | Automatic thematic classification of election manifestos | |
Boston et al. | Wikimantic: Toward effective disambiguation and expansion of queries | |
Shi et al. | Mining chinese reviews | |
Helal et al. | Topic modelling in bangla language: An lda approach to optimize topics and news classification | |
Hashemzadeh et al. | Improving keyword extraction in multilingual texts. | |
Yenkikar et al. | AirBERT: A fine-tuned language representation model for airlines tweet sentiment analysis | |
Algamdi et al. | Twitter accounts suggestion: Pipeline technique spacy entity recognition | |
Hailu | Opinion mining from Amharic blog | |
Alshahrani et al. | Word mover's distance for affect detection | |
Premakumara et al. | Application of Summarization and Sentiment Analysis in the Tourism domain | |
Hamzehei et al. | Scalable sentiment analysis for microblogs based on semantic scoring | |
Alashri et al. | Lexi-augmenter: Lexicon-based model for tweets sentiment analysis | |
Thushara et al. | A graph-based model for keyword extraction and tagging of research documents | |
Wenchao et al. | A modified approach to keyword extraction based on word-similarity | |
Elyasir et al. | Opinion mining framework in the education domain |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20130710 |
|
RJ01 | Rejection of invention patent application after publication |