CN113191145A - 关键词的处理方法、装置、电子设备和介质 - Google Patents
关键词的处理方法、装置、电子设备和介质 Download PDFInfo
- Publication number
- CN113191145A CN113191145A CN202110556831.7A CN202110556831A CN113191145A CN 113191145 A CN113191145 A CN 113191145A CN 202110556831 A CN202110556831 A CN 202110556831A CN 113191145 A CN113191145 A CN 113191145A
- Authority
- CN
- China
- Prior art keywords
- keywords
- keyword
- pair
- candidate
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims description 45
- 230000011218 segmentation Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种关键词的处理方法、装置、电子设备和介质，具体涉及计算机技术领域，尤其涉及人工智能技术和自然语言处理技术领域。关键词的处理方法包括：从包括多个语料的语料库中提取多个候选关键词；在所提取的多个候选关键词彼此之间建立关键词的关联对；识别所述多个语料中的实体词和与所述实体词相关联的属性词；以及基于所述关联对以及识别出的实体词和与所述实体词相关联的属性词，生成目标关键词对。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及人工智能技术和自然语言处理技术领域，具体涉及一种关键词的处理方法、装置、电子设备和介质。
背景技术
自然语言处理技术已广泛应用于各个领域。从语料中提取关键词，并根据提取出的关键词自动进行检索、查询、应答等操作，可以大大提高处理速度。通常，关键词提取方法主要基于人工规则或基于深度学习。基于人工规则的方法使用大量的人力，使用人的先验知识对行业的数据进行归类，以提取关键词，需要耗费大量的人力，并且需要具备专业的背景知识才能对数据进行归类。基于深度学习的方法则需要大量的训练数据来训练模型，耗时较长。因此，需要一种快速、准确的关键词提取技术。
发明内容
本公开提供了一种关键词的处理方法、装置、电子设备和介质。
根据本公开的一方面，提供了一种关键词的处理方法，包括：
从包括多个语料的语料库中提取多个候选关键词；
在所提取的多个候选关键词彼此之间建立关键词的关联对；
识别所述多个语料中的实体词和与所述实体词相关联的属性词；以及
基于所述关联对以及识别出的实体词和与所述实体词相关联的属性词，生成目标关键词对。
根据本公开的另一方面，提供了一种关键词的处理装置，包括：
提取模块，从包括多个语料的语料库中提取多个候选关键词；
建立模块，在所提取的多个候选关键词彼此之间建立关键词的关联对；
识别模块，识别所述多个语料中的实体词和与所述实体词相关联的属性词；以及
生成模块，基于所述关联对以及识别出的实体词和与所述实体词相关联的属性词，生成目标关键词对。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开的一方面的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开的一方面的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开的一方面的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的关键词的处理方法的流程图；
图2是根据本公开另一实施例的关键词的处理方法的流程图；
图3是根据本公开实施例的提取候选关键词的方法的流程图；
图4是根据本公开实施例的在所提取的多个候选关键词彼此之间建立关键词的关联对的方法的流程图；
图5是根据本公开实施例的针对接收到的请求语句确定应答语句的示意图；
图6是根据本公开实施例的关键词的处理装置的示意图；以及
图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例的关键词的处理方法100的流程图。
在步骤S110，从包括多个语料的语料库中提取多个候选关键词。在一些实施例中，语料可以包括接收或采集的语句、从数据库中获取的语句等。
针对不同的应用领域，语句可以是该领域的常见问题(FAQ)或者意图数据。例如，在金融领域中，FAQ可以包括“卡片的年费是多少”、“如何办理消费分期”等，意图数据可以包括“帮我提升卡片的额度”、“我想免除卡片的年费”、“我想申请消费分期”等，在电子商务领域，FAQ可以包括“如何办理退货”、“订单多久发货”等，意图数据可以包括“我想申请退货”、“我想合并两个订单的收货地址”等。
在步骤S120，在所提取的多个候选关键词彼此之间建立关键词的关联对。关联对可以由语料库中彼此相关联的两个候选关键词构成。例如，同一簇中的两个彼此相关联的候选关键词构成关联对，或者位于同一条语句中的两个彼此相关联的候选关键词构成关联对。
在一些实施例中，当两个关键词在一条语句中共现的情况下，确定两个关键词的候选关联对，并且针对所确定的多个候选关联对，计算多个候选关联对各自的关联值，得到多个关联值，选择多个候选关联对中关联值高于预定阈值的候选关联对，作为关联对。预定阈值例如为最高关联值的1/5、1/10等。
语句中存在关联的关键词通常位于语句中的“邻近”位置，即相邻或相隔若干个字符，例如，对于以上示例中的语句“帮我提升卡片的额度”，关键词“提升-卡片”构成候选关联对，而对于语句“我想合并两个订单的收货地址”，关键词“合并-订单”构成候选关联对。
在步骤S130，识别多个语料中的实体词和与该实体词相关联的属性词。实体词可以是语料中的词语中具有多个相关联的属性的词语，例如，对于以上示例中的语句“帮我提升卡片的额度”，“卡片”具有可能的多个相关联的属性，因此识别词语“卡片”为实体词。属性词可以是与识别出的实体词相关联的属性，例如，对于以上示例中的语句“帮我提升卡片的额度”，已经识别出实体词“卡片”，进而识别与该实体词相关联的属性词“额度”。
在一些实施例中，实体词具有与之相关联的属性词，使用预定的规则从语句中提取实体词和与该实体词相关联的属性词。使用预定的规则可以是根据词语之间的预定语义关系进行提取。例如，对于同一语句中的两个名词，预定语义关系为(实体词)的(属性词)，则对于以上示例中的语句“帮我提升卡片的额度”，提取出(卡片)的(额度)作为实体词和与该实体词相关联的属性词。
例如，对于以上示例中的语句“帮我提升卡片的额度”，得到短语(卡片)的(额度)，进而得到实体词“卡片”和与其相关联的属性词“额度”。对于语句“我想合并两个订单的收货地址”，得到短语(订单)的(收货地址)，进而得到实体词“订单”和与其相关联的属性词“收货地址”。
在一些实施例中，对于某一实体词，可以按照阈值选取最常出现的若干个业务词。例如，对于诸如“帮我提升卡片的额度”、“我想免除卡片的年费”之类的意图数据，实体词“卡片”具有可能的与其相关联的属性词“额度”、“年费”、“逾期”、“分期”等，可以选取属性词中出现频率高于阈值的属性词作为与其相关联的属性词，而丢弃出现频率小于阈值的属性词。阈值例如可以为最高出现频率的1/3、1/5、1/10等等。对于诸如常见问题之类的语句，在分簇操作之后，一个簇中的数据量较少，可以不丢弃分别与各个实体词相关联的属性词。
在步骤S140，基于关联对以及识别出的实体词和与该实体词相关联的属性词，生成目标关键词对。
在一些实施例中，所建立的关联对包括在一条语句中共现的两个关键词，例如，对于以上示例中的语句“帮我提升卡片的额度”，关联对为“提升-卡片”，与其中的实体词“卡片”相关联的属性词为“额度”，由此生成目标关键词对“提升-卡片”、“提升-额度”和“卡片-额度”。又例如，对于语句“我想合并两个订单的收货地址”，关联对为“合并-订单”，与其中的实体词“订单”相关联的属性词为“收货地址”，由此生成目标关键词对“合并-订单”、“合并-收货地址”和“订单-收货地址”。
本公开的实施例基于在一条语句中共现的两个关联词构成的关联对以及从语料中识别出的实体词和与该实体词相关联的属性词，来生成目标关键词对，也就是说，考虑关键词之间的语义关系，在它们之间建立关联。在该上下文中，在对语句进行检索、查询、应答等操作时，采用所生成的目标关键词对进行检索、查询、应答，而不是采用彼此不相关的关键词进行检索、查询、应答。通过本公开的实施例，可以使提取出的目标关键词对更加精准，并且在进一步的应用中，利用目标关键词对，可以更快速、准确地针对请求语句确定应答语句。
图2是根据本公开另一实施例的关键词的处理方法200的流程图。
在图2中，步骤S220～S250分别与方法100中的步骤S110～S140相对应。此外，在步骤S220之前，还包括步骤S210，对语料进行分簇，以针对每个簇提取候选关键词。在一些实施例中，多个语料可以包括多个类别，将属于一个类别的语料分为一个簇。
具体地，对于FAQ，将标准语句和与标准语句相似的语句分为一个簇。例如，标准语句为“如何提高额度”，相似语句可以为“怎么样提高额度”、“如何才能提高额度”等。对于意图数据，将属于同一意图的语句分为一个簇。例如，意图数据可以包括“我想合并订单”、“我想修改收货地址”等。
在图2中，在步骤S250之后，还包括步骤S260，响应于接收到的请求语句，利用所生成的目标关键词对确定针对所述请求语句的应答语句。
在一些实施例中，请求语句可以为多个请求语句，利用所生成的目标关键词对确定用于该多个请求语句的归一化语句。例如，请求语句1：[卡片的年费是多少]，回复1：[每年300元年费]；请求语句2：[那帮我办理这个]。通过方法100生成目标关键词对：“卡片-年费”、“卡片-办理”，进而得到针对该多个语句的归一化语句：[帮我办理卡片]，并进行应答。又例如，请求语句1：[我的订单什么时候发货]，回复1：[货品备齐后发货]；请求语句2：[可以合并订单吗]，回复2：[可以]；请求语句2：[可以发到一个收货地址]。通过方法100生成目标关键词对：“合并-订单”、“订单-收货地址”，进而得到针对该多个语句的归一化语句：[帮我合并发货]，并确定对应的应答语句。
利用方法200，在从包括多个语料的语料库中提取多个候选关键词之前，对语料进行分簇，可以在每一簇中多个候选关键词之间建立关键词的关联对时，更快速地提取出彼此相关联的关键词的关联对。进一步地，在响应于接收到的请求语句进行应答时，采用所生成的目标关键词对进行检索、查询、应答，而不是采用彼此不相关的关键词进行检索、查询、应答，可以快速、准确地进行应答。
图3是根据本公开实施例的提取候选关键词的方法300的流程图。
在步骤S310，对所述多个语料进行分词处理，以获取语料中的多个关键词和多个关键词各自的词性。分词和词性获取可以采用一般化的分词模型结合特定应用场景的分词模型。特定应用场景的分词模型结合该场景下可能的实体词，对语料进行分词。
在一些实施例中，特定应用场景的分词模型可以采用该特定应用场景下的分词器，并且可以纠正某些特定实体词的切分错误。还可以使用停用词表，以去除通用词的影响。例如，对于电子商务领域，对于语句“帮我查看订单物流进度”，错误分词为“订单物”、“流进度”，利用该场景特定的分词器，则会纠正为“订单”、“物流”和“进度”。
在步骤S320，基于词性对多个关键词进行过滤，以得到具有目标词性的多个关键词，作为多个候选关键词。在一些实施例中，对于步骤S310中获取的词性，将具有目标词性的多个词选取为候选关键词。例如，选取具有名词词性和动词词性的多个词作为候选关键词，又例如，选取具有名词词性和形容词词性的多个词作为候选关键词。
在提取候选关键词的过程中，可以采用各种关键词提取算法，例如基于词频-逆文本频率tf-idf的关键词提取算法。
基于tf-idf的关键词提取算法首先计算每个候选关键词的tf值，即词频值：
其中，ni为当前统计的候选关键词在文件中的出现次数，
是文件中所有候选关键词的出现次数之和。
在统计词频时，对于相连动词，由于其中多个相连的动词可能是重复出现的，或者作为一个词出现，可以只作为一个动词统计，例如，[查下]、[换到]等。对于名词，则不考虑候选关键词之间是否相连，记录全部的词频。
接着，计算该候选关键词的idf值，即逆文本频率指数：
idfi＝文档数/(出现该候选关键词的文档数+1)
统计该候选关键词的文档数时，可以考虑该候选关键词的词频在当前簇中的排序。如果词频数较低，例如处于最后的1/4，则认为该候选关键词出现的频率较低，将其中该簇中删除。最后，根据tf值和idf值，计算该候选关键词的tf-idf值，例如可以根据以下等式来计算：
tf-idfi＝tfi*idfi，
其中，tf_idfi表示当前候选关键词的tf-idf值。
在计算出候选关键词的tf-idf值之后，还可以根据预定规则，选取一部分候选关键词作为最终的候选关键词。例如，选取前若干个高频候选关键词作为最终的候选关键词，或者选取前若干个具有目标词性的高频候选关键词作为最终的候选关键词。
本公开的实施例通过对多个语料进行分词，并基于词性进行过滤，可以更准确的得到具有目标词性的多个词作为候选关键词。
图4是根据本公开实施例的在所提取的多个候选关键词彼此之间建立关键词的关联对的流程图。
在步骤S410，确定两个候选关键词在一条语句中是否共现。在一些实施例中，在一个语句中包括具有第一词性的第一关键词以及具有第二词性的第二关键词且第一关键词与第二关键词邻近情况下，确定第一关键词和第二关键词共现。第一词性可以是名词，第二词性可以是动词。
在一些实施例中，还可以计算两个关键词的共现频率。对于语句中彼此邻近的两个关键词，计算与具有第一词性的第一关键词相对应的具有第二词性的第二关键词的出现频率，并且计算与具有第二词性的第二关键词相对应的具有第一词性的第一关键词的出现频率，通过加权计算得到具有第一词性的第一关键词和具有第二词性的第二关键词的共现频率。
在步骤S420，在确定两个候选关键词在一条语句中共现的情况下，确定两个候选关键词的候选关联对。在一些实施例中，针对所确定的多个候选关联对，计算多个候选关联对各自的关联值，得到多个关联值，并且选择多个候选关联对中关联值高于预定阈值的候选关联对，作为关联对。
在一些实施例中，计算具有第一词性的第一关键词的tf-idf值tf_idf1，并且计算具有第二词性的第二关键词的tf-idf值tf_idf2，根据以下等式得到关联值：
(tf_idf1+tf_idf2)*fco
其中，fco是具有第一词性的第一关键词和具有第二词性的第二关键词的共现频率。
在进一步的实施例中，可以根据多个关联值中的最高关联值来设置该预定阈值。例如，可以将最高关联值的1/10作为阈值，将关联值小于该阈值的候选关联对丢弃。
本公开的实施例选择彼此邻近的两个关键词作为关键词的关联对，并且根据两个关键词中每个关键词的tf-idf值和两个关键词的共现频率得到这两个关键词的关联值，从而可以选择关联值高于预定阈值的候选关联对作为关联对。
图5是根据本公开实施例的针对接收到的请求语句确定应答语句的示意图。
如图5所示，利用方法100或200建立关键词的关联对510。例如，对于以上示例中的语句“帮我提升卡片的额度”，关键词“提升-卡片”构成候选关联对510，而对于语句“我想合并两个订单的收货地址”，关键词“合并-订单”构成候选关联对510。
进一步地，识别实体词和与该实体词相关联的属性词，得到实体词-关联属性词520。对于以上示例中的语句“帮我提升卡片的额度”，得到短语(卡片)的(额度)，进而得到实体词“卡片”和与其相关联的属性词“额度”。对于语句“我想合并两个订单的收货地址”，得到短语(订单)的(收货地址)，进而得到实体词“订单”和与其相关联的属性词“收货地址”。
基于关联对510和实体词和与该实体词相关联的属性词520，来生成目标关键词对530。例如，对于以上示例中的语句“帮我提升卡片的额度”，关联对为“提升-卡片”，与其中的实体词“卡片”相关联的属性词为“额度”，由此生成目标关键词对530：“提升-卡片”、“提升-额度”和“卡片-额度”。又例如，对于语句“我想合并两个订单的收货地址”，关联对为“合并-订单”，与其中的实体词“订单”相关联的属性词为“收货地址”，由此生成目标关键词对530：“合并-订单”、“合并-收货地址”和“订单-收货地址”。
在生成目标关键词对之后，还可以响应于接收到的请求语句540，利用所生成的目标关键词对确定针对请求语句的归一化语句550，以便针对请求语句540生成应答语句560。
在一些实施例中，请求语句可以为多个请求语句，利用所生成的目标关键词对530确定用于该多个请求语句的归一化语句550。例如，请求语句1：[卡片的年费是多少]，回复1：[每年300元年费]；请求语句2：[那帮我办理这个]。通过目标关键词对530：“卡片-年费”、“卡片-办理”，得到针对该多个语句的归一化语句550：[帮我办理卡片]，并生成应答语句560。又例如，请求语句1：[我的订单什么时候发货]，回复1：[货品备齐后发货]；请求语句2：[可以合并订单吗]，回复2：[可以]；请求语句2：[可以发到一个收货地址]。通过目标关键词对530：“合并-订单”、“订单-收货地址”，得到针对该多个语句的归一化语句550：[帮我合并发货]，并生成应答语句560。
本公开的实施例在响应于接收到的请求语句进行应答时，采用所生成的目标关键词对进行检索、查询、应答，而不是采用彼此不相关的关键词进行检索、查询、应答，从而可以快速、准确地进行应答。
本公开还提供了一种关键词的处理装置，用于执行上述任一方法。
图6是根据本公开实施例的关键词的处理装置600的示意图。
如图6所示，关键词的处理装置600包括提取模块610、建立模块620、识别模块630和生成模块640。
提取模块610从包括多个语料的语料库中提取多个候选关键词。在一些实施例中，语料可以包括接收或采集的语句、从数据库中获取的语句等。
针对不同的应用领域，语句可以是该领域的常见问题(FAQ)或者意图数据。例如，在金融领域中，FAQ可以包括“卡片的年费是多少”、“如何办理消费分期”等，意图数据可以包括“帮我提升卡片的额度”、“我想免除卡片的年费”、“我想申请消费分期”等，在电子商务领域，FAQ可以包括“如何办理退货”、“订单多久发货”等，意图数据可以包括“我想申请退货”、“我想合并两个订单的收货地址”等。
建立模块620在所提取的多个候选关键词彼此之间建立关键词的关联对。关联对可以由语料库中彼此相关联的两个候选关键词构成。例如，同一簇中的两个彼此相关联的候选关键词构成关联对，或者位于同一条语句中的两个彼此相关联的候选关键词构成关联对。
在一些实施例中，当两个关键词在一条语句中共现的情况下，确定两个关键词的候选关联对，并且针对所确定的多个候选关联对，计算多个候选关联对各自的关联值，得到多个关联值，选择多个候选关联对中关联值高于预定阈值的候选关联对，作为关联对。预定阈值例如为最高关联值的1/5、1/10等。
语句中存在关联的关键词通常位于语句中的“邻近”位置，即相邻或相隔若干个字符，例如，对于以上示例中的语句“帮我提升卡片的额度”，关键词“提升-卡片”构成候选关联对，而对于语句“我想合并两个订单的收货地址”，关键词“合并-订单”构成候选关联对。
识别模块630识别多个语料中的实体词和与该实体词相关联的属性词。实体词可以是语料中的词语中具有多个相关联的属性的词语，例如，对于以上示例中的语句“帮我提升卡片的额度”，“卡片”具有可能的多个相关联的属性，因此识别词语“卡片”为实体词。属性词可以是与识别出的实体词相关联的属性，例如，对于以上示例中的语句“帮我提升卡片的额度”，已经识别出实体词“卡片”，进而识别与该实体词相关联的属性词“额度”。
在一些实施例中，实体词具有与之相关联的属性词，使用预定的规则从语句中提取实体词和与该实体词相关联的属性词。使用预定的规则可以是根据词语之间的预定语义关系进行提取。例如，对于同一语句中的两个名词，预定语义关系为(实体词)的(属性词)，则对于以上示例中的语句“帮我提升卡片的额度”，提取出(卡片)的(额度)作为实体词和与该实体词相关联的属性词。
例如，对于以上示例中的语句“帮我提升卡片的额度”，得到短语(卡片)的(额度)，进而得到实体词“卡片”和与其相关联的属性词“额度”。对于语句“我想合并两个订单的收货地址”，得到短语(订单)的(收货地址)，进而得到实体词“订单”和与其相关联的属性词“收货地址”。
在一些实施例中，对于某一实体词，可以按照阈值选取最常出现的若干个业务词。例如，对于诸如“帮我提升卡片的额度”、“我想免除卡片的年费”之类的意图数据，实体词“卡片”具有可能的与其相关联的属性词“额度”、“年费”、“逾期”、“分期”等，可以选取属性词中出现频率高于阈值的属性词作为与其相关联的属性词，而丢弃出现频率小于阈值的属性词。阈值例如可以为最高出现频率的1/3、1/5、1/10等等。对于诸如常见问题之类的语句，在分簇操作之后，一个簇中的数据量较少，可以不丢弃分别与各个实体词相关联的属性词。
生成模块640基于关联对以及识别出的实体词和与该实体词相关联的属性词，生成目标关键词对。
在一些实施例中，所建立的关联对包括在一条语句中共现的两个关键词，例如，对于以上示例中的语句“帮我提升卡片的额度”，关联对为“提升-卡片”，与其中的实体词“卡片”相关联的属性词为“额度”，由此生成目标关键词对“提升-卡片”、“提升-额度”和“卡片-额度”。又例如，对于语句“我想合并两个订单的收货地址”，关联对为“合并-订单”，与其中的实体词“订单”相关联的属性词为“收货地址”，由此生成目标关键词对“合并-订单”、“合并-收货地址”和“订单-收货地址”。
本公开的实施例基于在一条语句中共现的两个关联词构成的关联对以及从语料中识别出的实体词和与该实体词相关联的属性词，来生成目标关键词对，也就是说，考虑关键词之间的语义关系，在它们之间建立关联。在该上下文中，在对语句进行检索、查询、应答等操作时，采用所生成的目标关键词对进行检索、查询、应答，而不是采用彼此不相关的关键词进行检索、查询、应答。通过本公开的实施例，可以使提取出的目标关键词对更加精准，并且在进一步的应用中，利用目标关键词对，可以更快速、准确针对请求语句确定应答语句。
进一步地，图6中的提取模块610还可以包括分词模块610a和过滤模块610b。
分词模块610a对多个语料进行分词处理，以获取语料中的多个关键词和多个关键词各自的词性。分词和词性获取可以采用一般化的分词模型结合特定应用场景的分词模型。特定应用场景的分词模型结合该场景下可能的实体词，对语料进行分词。
在一些实施例中，特定应用场景的分词模型可以采用该特定应用场景下的分词器，并且可以纠正某些特定实体词的切分错误。还可以使用停用词表，以去除通用词的影响。例如，对于电子商务领域，对于语句“帮我查看订单物流进度”，错误分词为“订单物”、“流进度”，利用该场景特定的分词器，则会纠正为“订单”、“物流”和“进度”。
过滤模块610b基于词性对多个关键词进行过滤，以得到具有目标词性的多个关键词，作为多个候选关键词。在一些实施例中，对于分词模块610a获取的词性，将具有目标词性的多个词选取为候选关键词。例如，选取具有名词词性和动词词性的多个词作为候选关键词，又例如，选取具有名词词性和形容词词性的多个词作为候选关键词。
在提取候选关键词的过程中，可以采用各种关键词提取算法，例如基于词频-逆文本频率tf-idf的关键词提取算法。
基于tf-idf的关键词提取算法首先计算每个候选关键词的tf值，即词频值：
其中，ni为当前统计的候选关键词在文件中的出现次数，
是文件中所有候选关键词的出现次数之和。
在统计词频时，对于相连动词，由于其中多个相连的动词可能是重复出现的，或者作为一个词出现，可以只作为一个动词统计，例如，[查下]、[换到]等。对于名词，则不考虑候选关键词之间是否相连，记录全部的词频。
接着，计算该候选关键词的idf值，即逆文本频率指数：
idfi＝文档数/(出现该候选关键词的文档数+1)
统计该候选关键词的文档数时，可以考虑该候选关键词的词频在当前簇中的排序。如果词频数较低，例如处于最后的1/4，则认为该候选关键词出现的频率较低，将其中该簇中删除。最后，根据tf值和idf值，计算该候选关键词的tf-idf值，例如可以根据以下等式来计算：
tf_idfi＝tfi*idfi
其中，tf_idfi表示当前候选关键词的tf-idf值。
在计算出候选关键词的tf-idf值之后，还可以根据预定规则，选取一部分候选关键词作为最终的候选关键词。例如，选取前若干个高频候选关键词作为最终的候选关键词，或者选取前若干个具有目标词性的高频候选关键词作为最终的候选关键词。
本公开的实施例通过对多个语料进行分词，并基于词性进行过滤，可以更准确的得到具有目标词性的多个词作为候选关键词。
进一步地，图6中的建立模块620还可以包括第一确定模块620a和第二确定模块620b。
第一确定模块620a确定两个候选关键词在一条语句中是否共现。在一些实施例中，在一个语句中包括具有第一词性的第一关键词以及具有第二词性的第二关键词且第一关键词与第二关键词邻近情况下，确定第一关键词和第二关键词共现。第一词性可以是名词，第二词性可以是动词。
在一些实施例中，还可以计算两个关键词的共现频率。对于语句中彼此邻近的两个关键词，计算与具有第一词性的第一关键词相对应的具有第二词性的第二关键词的出现频率，并且计算与具有第二词性的第二关键词相对应的具有第一词性的第一关键词的出现频率，通过加权计算得到具有第一词性的第一关键词和具有第二词性的第二关键词的共现频率。
第二确定模块620b在确定两个候选关键词在一条语句中共现的情况下，确定两个候选关键词的候选关联对。
在一些实施例中，第二确定模块620b可以包括计算模块6201和选择模块6202(图中未示出)。计算模块6201针对所确定的多个候选关联对，计算多个候选关联对各自的关联值，得到多个关联值。选择模块6202选择多个候选关联对中关联值高于预定阈值的候选关联对，作为关联对。
在一些实施例中，计算模块6201计算具有第一词性的第一关键词的tf-idf值tf_idf1，并且计算具有第二词性的第二关键词的tf-idf值tf_idf2，根据以下等式得到关联值：
(tf_idf1+tf_idf2)*fco
其中，fco是具有第一词性的第一关键词和具有第二词性的第二关键词的共现频率。
在进一步的实施例中，第二确定模块620b还可以包括设置模块6203(图中未示出)，设置模块6203根据多个关联值中的最高关联值来设置该预定阈值。例如，可以将最高关联值的1/10作为阈值，将关联值小于该阈值的候选关联对丢弃。
本公开的实施例选择彼此邻近的两个关键词作为关键词的关联对，并且根据两个关键词中每个关键词的tf-idf值和两个关键词的共现频率得到这两个关键词的关联值，从而可以选择关联值高于预定阈值的候选关联对作为关联对。
进一步地，处理装置600还可以包括应答模块650。应答模块650响应于接收到的请求语句，利用所生成的目标关键词对确定针对所述请求语句的应答语句。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如方法100或200。例如，在一些实施例中，上述方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (25)
1.一种关键词的处理方法，包括：
从包括多个语料的语料库中提取多个候选关键词；
在所提取的多个候选关键词彼此之间建立关键词的关联对；
识别所述多个语料中的实体词和与所述实体词相关联的属性词；以及
基于所述关联对以及识别出的实体词和与所述实体词相关联的属性词，生成目标关键词对。
2.根据权利要求1所述的方法，其中，所述从包括多个语料的语料库中提取多个候选关键词包括：
对所述多个语料进行分词处理，以获取语料中的多个关键词和多个关键词各自的词性；
基于所述词性对所述多个关键词进行过滤，以得到具有目标词性的多个关键词，作为所述多个候选关键词。
3.根据权利要求1或2所述的方法，其中，所述在所提取的多个候选关键词彼此之间建立关键词的关联对包括：
确定两个候选关键词在一条语句中是否共现；
在确定两个候选关键词在一条语句中共现的情况下，确定所述两个候选关键词的候选关联对。
4.根据权利要求3所述的方法，其中，所述确定两个关键词在一条语句中是否共现包括：
在所述一个语句中包括具有第一词性的第一关键词以及具有第二词性的第二关键词且第一关键词与第二关键词邻近的情况下，确定所述第一关键词和所述第二关键词共现。
5.根据权利要求4所述的方法，其中，所述第一词性是名词，所述第二词性是动词。
6.根据权利要求3所述的方法，其中，所述在所提取的多个候选关键词彼此之间建立关键词的关联对包括：
针对所确定的多个候选关联对，计算多个候选关联对各自的关联值，得到多个关联值；以及
选择多个候选关联对中关联值高于预定阈值的候选关联对，作为所述关联对。
7.根据权利要求6所述的方法，其中，根据所述多个关联值中的最高关联值来设置所述预定阈值。
8.根据权利要求6所述的方法，其中，所述针对所确定的多个候选关联对，计算多个候选关联对各自的关联值，得到多个关联值包括：
针对每个候选关联对，基于所述候选关联对中两个关键词各自的词频-逆文本频率tf-idf值以及所述两个关键词的共现频率，计算所述关联值。
9.根据权利要求8所述方法，其中，通过以下等式来计算所述关联值：
(tf_idf1+tf_idf2)*fco，
其中，tf_idf1是两个关键词中一个关键词的tf-idf值，tf_idf2是两个关键词中另一个关键词的tf-idf值，fco是所述两个关键词的共现频率。
10.根据权利要求5所述的方法，基于所述关联对以及识别出的实体词和与所述实体词相关联的属性词，生成目标关键词对包括：
基于所建立的关联对以及所述实体词和与所述实体词相关联的属性词，生成包括第一子关键词对、第二子关键词对及第三子关键词对的目标关键词对，所述第一子关键词对为所述具有第一词性的第一关键词和所述实体词形成的关键词对，所述第二子关键词对为所述具有第一词性的第一关键词和所述属性词形成的关键词对，所述第三子关键词对为所述实体词和所述属性词形成的关键词对。
11.根据权利要求1所述的方法，还包括：
响应于接收到的请求语句，利用所生成的目标关键词对确定针对所述请求语句的应答语句。
12.一种关键词的处理装置，包括：
提取模块，从包括多个语料的语料库中提取多个候选关键词；
建立模块，在所提取的多个候选关键词彼此之间建立关键词的关联对；
识别模块，识别所述多个语料中的实体词和与所述实体词相关联的属性词；以及
生成模块，基于所述关联对以及识别出的实体词和与所述实体词相关联的属性词，生成目标关键词对。
13.根据权利要求12所述的装置，其中，所述提取模块还包括：
分词模块，对所述多个语料进行分词处理，以获取语料中的多个关键词和多个关键词各自的词性；以及
过滤模块，基于所述词性对所述多个关键词进行过滤，以得到具有目标词性的多个关键词，作为所述多个候选关键词。
14.根据权利要求12或13所述的装置，其中，所述建立模块还包括：
第一确定模块，确定两个候选关键词在一条语句中是否共现；以及
第二确定模块，在确定两个候选关键词在一条语句中共现的情况下，确定所述两个候选关键词的候选关联对。
15.根据权利要求14所述的装置，其中，所述第一确定模块在所述一个语句中包括具有第一词性的第一关键词以及具有第二词性的第二关键词且第一关键词与第二关键词邻近的情况下，确定所述第一关键词和所述第二关键词共现。
16.根据权利要求15所述的装置，其中，所述第一词性是名词，所述第二词性是动词。
17.根据权利要求14所述的装置，其中，所述建立模块还包括：
计算模块，针对所确定的多个候选关联对，计算多个候选关联对各自的关联值，得到多个关联值；以及
选择模块，选择多个候选关联对中关联值高于预定阈值的候选关联对，作为所述关联对。
18.根据权利要求17所述的装置，其中，所述建立模块还包括设置模块，所述设置模块根据所述多个关联值中的最高关联值来设置所述预定阈值。
19.根据权利要求17所述的装置，其中，所述计算模块针对每个候选关联对，基于所述候选关联对中两个关键词各自的词频-逆文本频率tf-idf值以及所述两个关键词的共现频率，计算所述关联值。
20.根据权利要求19所述的装置，其中，所述计算模块通过以下等式来计算所述关联值：
(tf_idf1+tf_idf2)*fco，
其中，tf_idf1是两个关键词中一个关键词的tf-idf值，tf_idf2是两个关键词中另一个关键词的tf-idf值，fco是所述两个关键词的共现频率。
21.根据权利要求16所述的装置，其中，所述生成模块基于所建立的关联对以及所述实体词和与所述实体词相关联的属性词，生成包括第一子关键词对、第二子关键词对及第三子关键词对的目标关键词对，所述第一子关键词对为所述具有第一词性的第一关键词和所述实体词形成的关键词对，所述第二子关键词对为所述具有第一词性的第一关键词和所述属性词形成的关键词对，所述第三子关键词对为所述实体词和所述属性词形成的关键词对。
22.根据权利要求12所述的装置，还包括应答模块，所述应答模块响应于接收到的请求语句，利用所生成的目标关键词对确定针对所述请求语句的应答语句。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～11中任一项所述的方法。
25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1～11中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110556831.7A CN113191145B (zh) | 2021-05-21 | 2021-05-21 | 关键词的处理方法、装置、电子设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110556831.7A CN113191145B (zh) | 2021-05-21 | 2021-05-21 | 关键词的处理方法、装置、电子设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113191145A true CN113191145A (zh) | 2021-07-30 |
| CN113191145B CN113191145B (zh) | 2023-08-11 |
Family
ID=76984572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110556831.7A Active CN113191145B (zh) | 2021-05-21 | 2021-05-21 | 关键词的处理方法、装置、电子设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113191145B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569839A (zh) * | 2021-08-31 | 2021-10-29 | 重庆紫光华山智安科技有限公司 | 证件识别方法、***、设备及介质 |
| CN116167455A (zh) * | 2022-12-27 | 2023-05-26 | 北京百度网讯科技有限公司 | 模型训练及数据去重方法、装置、设备及存储介质 |
Citations (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006163998A (ja) * | 2004-12-09 | 2006-06-22 | Nippon Telegr & Teleph Corp <Ntt> | 検索キーワード想起補助装置及び検索キーワード想起補助プログラム |
| US20100005386A1 (en) * | 2007-11-27 | 2010-01-07 | Accenture Global Services Gmbh | Document analysis, commenting, and reporting system |
| CN102591862A (zh) * | 2011-01-05 | 2012-07-18 | 华东师范大学 | 一种基于词共现的汉语实体关系提取的控制方法及装置 |
| CN102708100A (zh) * | 2011-03-28 | 2012-10-03 | 北京百度网讯科技有限公司 | 挖掘相关实体词的关系关键词的方法和装置及其应用 |
| CN102737039A (zh) * | 2011-04-07 | 2012-10-17 | 北京百度网讯科技有限公司 | 索引建立方法、搜索方法和搜索结果排序方法及对应装置 |
| CN102750316A (zh) * | 2012-04-25 | 2012-10-24 | 北京航空航天大学 | 基于语义共现模型的概念关系标签抽取方法 |
| CN103425714A (zh) * | 2012-05-25 | 2013-12-04 | 北京搜狗信息服务有限公司 | 一种搜索方法和*** |
| US8892422B1 (en) * | 2012-07-09 | 2014-11-18 | Google Inc. | Phrase identification in a sequence of words |
| CN104699766A (zh) * | 2015-02-15 | 2015-06-10 | 浙江理工大学 | 一种融合词语关联关系和上下文语境推断的隐式属性挖掘方法 |
| CN105243120A (zh) * | 2015-09-29 | 2016-01-13 | 百度在线网络技术（北京）有限公司 | 一种检索方法及装置 |
| US20160239482A1 (en) * | 2015-02-13 | 2016-08-18 | International Business Machines Corporation | Identifying word-senses based on linguistic variations |
| CN106372117A (zh) * | 2016-08-23 | 2017-02-01 | 电子科技大学 | 一种基于词共现的文本分类方法及其装置 |
| CN107609152A (zh) * | 2017-09-22 | 2018-01-19 | 百度在线网络技术（北京）有限公司 | 用于扩展查询式的方法和装置 |
| CN107679194A (zh) * | 2017-10-09 | 2018-02-09 | 东软集团股份有限公司 | 一种基于文本的实体关系构建方法、装置及设备 |
| CN107766545A (zh) * | 2017-10-31 | 2018-03-06 | 浪潮软件集团有限公司 | 一种科技数据的管理方法及装置 |
| CN107862098A (zh) * | 2017-12-21 | 2018-03-30 | 中通服公众信息产业股份有限公司 | 一种基于全文检索的关联对象检索方法 |
| CN108920456A (zh) * | 2018-06-13 | 2018-11-30 | 北京信息科技大学 | 一种关键词自动抽取方法 |
| US20180365225A1 (en) * | 2017-06-19 | 2018-12-20 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for acquiring semantic fragment of query based on artificial intelligence |
| CN109522419A (zh) * | 2018-11-15 | 2019-03-26 | 北京搜狗科技发展有限公司 | 会话信息补全方法及装置 |
| US20190197104A1 (en) * | 2017-12-21 | 2019-06-27 | International Business Machines Corporation | Relation extraction from a corpus using an information retrieval based procedure |
| CN110162611A (zh) * | 2019-04-23 | 2019-08-23 | 苏宁易购集团股份有限公司 | 一种智能客服应答方法及*** |
| CN110362827A (zh) * | 2019-07-11 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 一种关键词提取方法、装置及存储介质 |
| CN110377724A (zh) * | 2019-07-01 | 2019-10-25 | 厦门美域中央信息科技有限公司 | 一种基于数据挖掘的语料库关键词自动抽取算法 |
| CN110489538A (zh) * | 2019-08-27 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 基于人工智能的语句应答方法、装置及电子设备 |
| CN110597971A (zh) * | 2019-08-22 | 2019-12-20 | 卓尔智联(武汉)研究院有限公司 | 基于神经网络的自动问答装置、方法及可读存储介质 |
| CN110781679A (zh) * | 2019-10-15 | 2020-02-11 | 上海大学 | 一种基于关联语义链网络的新闻事件关键词挖掘方法 |
| CN111078838A (zh) * | 2019-12-13 | 2020-04-28 | 北京小米智能科技有限公司 | 关键词提取方法、关键词提取装置及电子设备 |
| CN111078832A (zh) * | 2019-11-08 | 2020-04-28 | 杭州九阳小家电有限公司 | 一种智能客服的辅助应答方法及*** |
| CN111444330A (zh) * | 2020-03-09 | 2020-07-24 | 中国平安人寿保险股份有限公司 | 提取短文本关键词的方法、装置、设备及存储介质 |
| CN112100357A (zh) * | 2020-09-24 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 引导语的生成方法及装置、电子设备、计算机存储介质 |
| CN112507068A (zh) * | 2020-11-30 | 2021-03-16 | 北京百度网讯科技有限公司 | 文档查询方法、装置、电子设备和存储介质 |
-
2021
- 2021-05-21 CN CN202110556831.7A patent/CN113191145B/zh active Active
Patent Citations (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006163998A (ja) * | 2004-12-09 | 2006-06-22 | Nippon Telegr & Teleph Corp <Ntt> | 検索キーワード想起補助装置及び検索キーワード想起補助プログラム |
| US20100005386A1 (en) * | 2007-11-27 | 2010-01-07 | Accenture Global Services Gmbh | Document analysis, commenting, and reporting system |
| CN102591862A (zh) * | 2011-01-05 | 2012-07-18 | 华东师范大学 | 一种基于词共现的汉语实体关系提取的控制方法及装置 |
| CN102708100A (zh) * | 2011-03-28 | 2012-10-03 | 北京百度网讯科技有限公司 | 挖掘相关实体词的关系关键词的方法和装置及其应用 |
| CN102737039A (zh) * | 2011-04-07 | 2012-10-17 | 北京百度网讯科技有限公司 | 索引建立方法、搜索方法和搜索结果排序方法及对应装置 |
| CN102750316A (zh) * | 2012-04-25 | 2012-10-24 | 北京航空航天大学 | 基于语义共现模型的概念关系标签抽取方法 |
| CN103425714A (zh) * | 2012-05-25 | 2013-12-04 | 北京搜狗信息服务有限公司 | 一种搜索方法和*** |
| US8892422B1 (en) * | 2012-07-09 | 2014-11-18 | Google Inc. | Phrase identification in a sequence of words |
| US20160239482A1 (en) * | 2015-02-13 | 2016-08-18 | International Business Machines Corporation | Identifying word-senses based on linguistic variations |
| CN104699766A (zh) * | 2015-02-15 | 2015-06-10 | 浙江理工大学 | 一种融合词语关联关系和上下文语境推断的隐式属性挖掘方法 |
| CN105243120A (zh) * | 2015-09-29 | 2016-01-13 | 百度在线网络技术（北京）有限公司 | 一种检索方法及装置 |
| CN106372117A (zh) * | 2016-08-23 | 2017-02-01 | 电子科技大学 | 一种基于词共现的文本分类方法及其装置 |
| US20180365225A1 (en) * | 2017-06-19 | 2018-12-20 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for acquiring semantic fragment of query based on artificial intelligence |
| CN107609152A (zh) * | 2017-09-22 | 2018-01-19 | 百度在线网络技术（北京）有限公司 | 用于扩展查询式的方法和装置 |
| US20190095537A1 (en) * | 2017-09-22 | 2019-03-28 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method and apparatus for expanding query |
| CN107679194A (zh) * | 2017-10-09 | 2018-02-09 | 东软集团股份有限公司 | 一种基于文本的实体关系构建方法、装置及设备 |
| CN107766545A (zh) * | 2017-10-31 | 2018-03-06 | 浪潮软件集团有限公司 | 一种科技数据的管理方法及装置 |
| CN107862098A (zh) * | 2017-12-21 | 2018-03-30 | 中通服公众信息产业股份有限公司 | 一种基于全文检索的关联对象检索方法 |
| US20190197104A1 (en) * | 2017-12-21 | 2019-06-27 | International Business Machines Corporation | Relation extraction from a corpus using an information retrieval based procedure |
| CN108920456A (zh) * | 2018-06-13 | 2018-11-30 | 北京信息科技大学 | 一种关键词自动抽取方法 |
| CN109522419A (zh) * | 2018-11-15 | 2019-03-26 | 北京搜狗科技发展有限公司 | 会话信息补全方法及装置 |
| CN110162611A (zh) * | 2019-04-23 | 2019-08-23 | 苏宁易购集团股份有限公司 | 一种智能客服应答方法及*** |
| CN110377724A (zh) * | 2019-07-01 | 2019-10-25 | 厦门美域中央信息科技有限公司 | 一种基于数据挖掘的语料库关键词自动抽取算法 |
| CN110362827A (zh) * | 2019-07-11 | 2019-10-22 | 腾讯科技（深圳）有限公司 | 一种关键词提取方法、装置及存储介质 |
| CN110597971A (zh) * | 2019-08-22 | 2019-12-20 | 卓尔智联(武汉)研究院有限公司 | 基于神经网络的自动问答装置、方法及可读存储介质 |
| CN110489538A (zh) * | 2019-08-27 | 2019-11-22 | 腾讯科技（深圳）有限公司 | 基于人工智能的语句应答方法、装置及电子设备 |
| CN110781679A (zh) * | 2019-10-15 | 2020-02-11 | 上海大学 | 一种基于关联语义链网络的新闻事件关键词挖掘方法 |
| CN111078832A (zh) * | 2019-11-08 | 2020-04-28 | 杭州九阳小家电有限公司 | 一种智能客服的辅助应答方法及*** |
| CN111078838A (zh) * | 2019-12-13 | 2020-04-28 | 北京小米智能科技有限公司 | 关键词提取方法、关键词提取装置及电子设备 |
| CN111444330A (zh) * | 2020-03-09 | 2020-07-24 | 中国平安人寿保险股份有限公司 | 提取短文本关键词的方法、装置、设备及存储介质 |
| CN112100357A (zh) * | 2020-09-24 | 2020-12-18 | 腾讯科技（深圳）有限公司 | 引导语的生成方法及装置、电子设备、计算机存储介质 |
| CN112507068A (zh) * | 2020-11-30 | 2021-03-16 | 北京百度网讯科技有限公司 | 文档查询方法、装置、电子设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 吴海燕: "基于互信息与词语共现的领域术语自动抽取方法研究", 《重庆邮电大学学报》, vol. 25, no. 5, pages 690 - 693 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569839A (zh) * | 2021-08-31 | 2021-10-29 | 重庆紫光华山智安科技有限公司 | 证件识别方法、***、设备及介质 |
| CN113569839B (zh) * | 2021-08-31 | 2024-02-09 | 重庆紫光华山智安科技有限公司 | 证件识别方法、***、设备及介质 |
| CN116167455A (zh) * | 2022-12-27 | 2023-05-26 | 北京百度网讯科技有限公司 | 模型训练及数据去重方法、装置、设备及存储介质 |
| CN116167455B (zh) * | 2022-12-27 | 2023-12-22 | 北京百度网讯科技有限公司 | 模型训练及数据去重方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113191145B (zh) | 2023-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111104794B (zh) | 一种基于主题词的文本相似度匹配方法 | |
| CN107704512B (zh) | 基于社交数据的金融产品推荐方法、电子装置及介质 | |
| CN112989235B (zh) | 基于知识库的内链构建方法、装置、设备和存储介质 | |
| CN113191145B (zh) | 关键词的处理方法、装置、电子设备和介质 | |
| CN113660541B (zh) | 新闻视频的摘要生成方法及装置 | |
| CN110633464A (zh) | 一种语义识别方法、装置、介质及电子设备 | |
| CN106933878B (zh) | 一种信息处理方法及装置 | |
| CN110287493B (zh) | 风险短语识别方法、装置、电子设备及存储介质 | |
| CN111985212A (zh) | 文本关键字识别方法、装置、计算机设备及可读存储介质 | |
| CN107239455B (zh) | 核心词识别方法及装置 | |
| CN115248890B (zh) | 用户兴趣画像的生成方法、装置、电子设备以及存储介质 | |
| CN113033194B (zh) | 语义表示图模型的训练方法、装置、设备和存储介质 | |
| CN114116997A (zh) | 知识问答方法、装置、电子设备及存储介质 | |
| CN113591476A (zh) | 一种基于机器学习的数据标签推荐方法 | |
| CN112926297B (zh) | 处理信息的方法、装置、设备和存储介质 | |
| CN112529627B (zh) | 商品隐式属性抽取方法、装置、计算机设备及存储介质 | |
| CN112528644B (zh) | 实体挂载的方法、装置、设备以及存储介质 | |
| CN114048315A (zh) | 确定文档标签的方法、装置、电子设备和存储介质 | |
| CN114661890A (zh) | 一种知识推荐方法、装置、***及存储介质 | |
| CN114255067A (zh) | 数据定价方法和装置、电子设备、存储介质 | |
| CN114417862A (zh) | 文本匹配方法、文本匹配模型的训练方法和装置 | |
| CN114048376A (zh) | 广告的业务信息挖掘方法、装置、电子设备以及存储介质 | |
| CN110866406A (zh) | 用于翻译集成服务优化方法、电子装置及储存介质 | |
| CN113656592B (zh) | 基于知识图谱的数据处理方法、装置、电子设备和介质 | |
| CN115795023B (zh) | 文档推荐方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |