CN110674320B - 一种检索方法、装置和电子设备 - Google Patents
一种检索方法、装置和电子设备 Download PDFInfo
- Publication number
- CN110674320B CN110674320B CN201910931873.7A CN201910931873A CN110674320B CN 110674320 B CN110674320 B CN 110674320B CN 201910931873 A CN201910931873 A CN 201910931873A CN 110674320 B CN110674320 B CN 110674320B
- Authority
- CN
- China
- Prior art keywords
- value
- resource
- algorithm
- word slot
- optimized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 95
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000015654 memory Effects 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- KCXVZYZYPLLWCC-UHFFFAOYSA-N EDTA Chemical compound OC(=O)CN(CC(O)=O)CCN(CC(O)=O)CC(O)=O KCXVZYZYPLLWCC-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 229960001484 edetic acid Drugs 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/338—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Economics (AREA)
- Library & Information Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Educational Administration (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Game Theory and Decision Science (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了检索方法、装置和电子设备,涉及智能检索领域。检索方法包括:确定请求实体对应的至少一个词槽和多个相关资源;对多个相关资源中的第一资源,基于预定算法,分别获取至少一个词槽中每个词槽与第一资源中的至少一个资源字段的相关度值;对于每个词槽,分别对得到的至少一个相关度值进行预定处理,将处理结果作为相关度值的优化值,将优化值输入预定模型,得到该第一资源的打分值;在多个相关资源中,以打分值高的资源作为目标资源。通过上述方式,利用每个词槽与资源相关度值的优化值作为与请求实体相关资源的排序依据,可以提高资源搜索的准确性。
Description
技术领域
本申请涉及一种计算机技术领域,尤其涉及一种智能检索领域。
背景技术
随着人们对智能音箱的关注度越来越高,市场上出现了各种型号的智能音箱产品。智能音箱产品在外观、功能上大同小异,能体现出产品竞争优势的是服务于音箱背后的云端技术能力,例如语音识别、意图识别、槽位识别、资源定位等。在实际使用中,以往的云端技术往往基于解析结果直接进行数据库查询检索,准确率较低,严重影响用户体验。
发明内容
本申请实施例提供一种检索方法、装置和电子设备,以解决现有技术中的一个或多个技术问题。
第一方面,本申请实施例提供了一种检索方法,包括:
确定请求实体对应的至少一个词槽和多个相关资源;
对多个相关资源中的第一资源,基于预定算法,分别获取至少一个词槽中每个词槽与第一资源中的至少一个资源字段的相关度值;
对于每个词槽,分别对得到的至少一个相关度值进行预定处理,将处理结果作为相关度值的优化值,将优化值输入预定模型,得到该第一资源的打分值;
在多个相关资源中,以打分值高的资源作为目标资源。
通过上述方式,利用每个词槽与资源相关度值的优化值作为与请求实体相关资源的排序依据,可以提高资源搜索的准确性。
在一种实施方式中,预定处理包括:
为至少一个相关度值分配权重值,得到至少一个相关度值与为其分配的权重的乘积;
筛选出乘积的最大值,将乘积的最大值作为相关度值的优化值。
通过上述方案,对于每个词槽,只输出一个最大值反映该词槽与资源的相关程度,避免词槽可能出现在资源的不同字段中造成无意义的累计而使其胜出,从而增加了词槽与资源匹配的准确性。
在一种实施方式中,预定处理还包括:
利用第一资源的热度值,对筛选出乘积的最大值进行优化,得到相关度值的优化值。
通过上述方案,在进行相关度的优化值获取过程中,通过结合资源的热度,可以增加市场更流行的资源增被作为目标资源的概率,使用户与市场流向更为贴近。
在一种实施方式中,将相关度值的优化值输入预定模型,得到第一资源的打分值,包括:
将相关度值的优化值输入结合非连续评价指标的神经网络排序算法模型(LambdaRank),得到第一资源的打分值。
通过上述方案,利用结合非连续评价指标的神经网络排序算法模型,相比于机器学习排序算法模型(RankNet)等,可以在大数据资源作为训练样本时,更快速的完成训练。
在一种实施方式中,预定算法包括以下多种算法中的至少一种:编辑距离算法、精确包含算法、字粒度匹配算法、拼音匹配算法、交叉包含算法、带权重的关键词匹配算法、最佳匹配算法。
通过上述方案,利用不同的算法,多维度的获取词槽与资源的相关度值,从而可以在后续优化过程中,进行择优输出,达到获取最准确相关度值的目的。
第二方面,本申请实施例提供了一种检索装置,包括:
请求实体解析模块,用于确定请求实体对应的至少一个词槽和多个相关资源;
相关度值获取模块,用于对多个相关资源中的第一资源,基于预定算法,分别获取至少一个词槽中每个词槽与第一资源中的至少一个资源字段的相关度值;
资源分数获取模块,用于对于每个词槽,分别对得到的至少一个相关度值进行预定处理,将处理结果作为相关度值的优化值,将优化值输入预定模型,得到第一资源的打分值;
目标资源确定模块,用于在多个相关资源中,以打分值高的资源作为目标资源。
在一种实施方式中,资源分数获取模块包括:
权重分配子模块,用于为至少一个相关度值分配权重值,得到至少一个相关度值与为其分配的权重的乘积;
第一优化子模块,用于筛选出乘积的最大值,将乘积的最大值作为相关度值的优化值。
在一种实施方式中,资源分数获取模块还包括:
第二优化子模块,用于利用第一资源的热度值,对筛选出乘积的最大值进行优化,得到相关度值的优化值。
在一种实施方式中,资源分数获取模块包括:
资源分数获取执行子模块,用于将相关度值的优化值输入结合非连续评价指标的神经网络排序算法模型,得到第一资源的打分值。
在一种实施方式中,相关度值获取模块所基于的预定算法包括以下多种算法中的至少一种:编辑距离算法、精确包含算法、字粒度匹配算法、拼音匹配算法、交叉包含算法、带权重的关键词匹配算法、最佳匹配算法。
第三方面,本申请提供一种电子设备,该电子设备的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中,该装置的结构中包括处理器和存储器,该存储器用于存储支持该装置执行上述检索方法的程序,该处理器被配置为用于执行该存储器中存储的程序。该装置还可以包括通信接口,用于与其他设备或通信网络通信。
第四方面,本发明实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,用于存储检索装置所用的计算机软件指令,其包括用于执行上述检索方法所涉及的程序。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请第一实施例的示意图;
图2是根据本申请第一实施例的示意图;
图3是根据本申请第二实施例的示意图;
图4是根据本申请第三实施例的示意图;
图5是根据本申请第三实施例的示意图;
图6是用来实现本申请实施例的检索方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1示出本申请第一实施例检索方法的流程图。如图1所示,该方法包括以下步骤:
S101:确定请求实体对应的至少一个词槽和多个相关资源。
S102:对多个相关资源中的第一资源,基于预定算法,分别获取至少一个词槽中每个词槽与第一资源中的至少一个资源字段的相关度值。
S103:对于每个词槽,分别对得到的至少一个相关度值进行预定处理,将处理结果作为相关度值的优化值,将优化值输入预定模型,得到第一资源的打分值。
S104:在多个相关资源中,以打分值高的资源作为目标资源。
请求实体可以是用户向智能音箱输入的语音指令,智能音箱将接收到的语音指令上传至云端***。云端***利用语音识别技术以及语义理解技术,可以得到请求实体所对应的意图和至少一个词槽。以请求实体对应的语音指令包括“我想听郭德纲的相声”为例,请求实体所对应的意图可以包括播放音频文件,词槽可以包括“郭德纲”和“相声”。云端***根据该意图和词槽,可以在资源库中进行筛选,得到与该意图和词槽相关的多个资源。
对于多个相关资源中的任意资源,可以分别获取该资源的资源字段,资源字段可以是对资源的文字描述信息。例如,第一资源的资源字段可以包括资源的作者、资源的名称、资源所属的专辑、资源存放的时间和/或资源的大小等文字描述信息。对于第一资源,可以根据预定算法,得到每个词槽与该第一资源的至少一个资源字段的相关度值。该相关度值可以称为原子特征。
可以根据词槽的类型,在第一资源的多个资源字段中选择与该词槽相同类型的资源字段进行相关度值的计算。例如,在词槽包括“郭德纲”的情况下,可以将其类型确定为作者。由此,可以在提取第一资源中的资源的作者对应的字段,例如,第一资源的作者可以包括“郭德纲、于谦”,或者包括“德云社”。则计算词槽“郭德纲”和“郭德纲、于谦”之间的相关度值,或者计算词槽“郭德纲”和“德云社”之间的相关度值。
或者,可以将词槽与第一资源中的多个资源字段分别进行相关度值的计算。例如,第一资源的资源字段包括资源作者和资源名称,其中资源作者可以包括“郭德纲、于谦”,资源名称可以包括“郭德纲相声精选”。则分别计算“郭德纲”和“郭德纲、于谦”之间的相关度值,以及“郭德纲”和“郭德纲相声精选”之间的相关度值。
该预定算法可以包括文本相似度的算法、字符相关度算法等。该相关度值可以以[0~1]之间的数值表示。
对于每个词槽与该第一资源的至少一个资源字段的相关度值,可以采用预定处理对该相关度值进行优化,得到该相关度值的优化值。预定处理可以包括加权、组成相关度值向量等方式。例如,在词槽为“郭德纲”的情况下,第一资源的作者可以包括“郭德纲、于谦”,第一资源的名称可以包括“郭德纲相声精选”。利用预定算法,有可能造成词槽与第一资源的多个资源字段均产生相关度值。例如,第一资源只有资源作者包括“郭德纲”,而第二资源在资源作者、资源名称都包括“郭德纲”,但实际第二资源只是一个关于郭德纲的专访类节目,则有可能造成第二资源因为相关度值高而排在第一资源之前。通过该相关度值的优化值,可以使每个词槽只对应第一资源的一个资源字段,避免累积而使得该资源最终在排名中的位置靠前。
每个词槽与该第一资源的相关度值的优化值输入排序模型,即可得到请求实体与第一资源的相关度打分值。排序模型可以包括:基于神经网络的排序算法模型(RankNet)、结合非连续评价指标的神经网络排序算法模型(LambdaRank)等。通过该排序模型,可以得到第一资源的相关度打分值。
利用上述方法,可以分布获取到请求实体与多个相关资源中的每个资源的相关度打分值。利用上述相关度打分值对多个相关资源进行排序,可以将排序最高的相关资源作为请求实体所对应的首资源,即目标资源。
如图2所示,在一种实施方式中,步骤S103中的预定处理包括:
S1031:为至少一个相关度值分配权重值,得到至少一个相关度值与为其分配的权重的乘积。
S1032:筛选出乘积的最大值,将乘积的最大值作为相关度值的优化值。
权重的分配可以采用随机方式,也可根据权重分配模型进行分配。将每一个相关度值和为其分配的权重进行乘法运算,得到该乘法运算的结果。进一步的,在结果中筛选出最大值作为相关度值的优化值。
权重分配模型可以采用训练好的LambdaRank模型。该模型的表达式包括:表达式(1)中,Loss可以表示损失函数。X可以表示相关度值,式中X包括X1,X2,……,Xn,Xn可以表示第n个相关度值。可以表示每个相关度值的权重。可以表示每个相关度值的偏移向量。可以表示模型参数值(Lambda值),利用以下表达式可以获取该模型参数值: 表达式(2)中,lmdi,j可以表示第i个样本对第j个样本的模型参数值,根据可以得到第i个样本排在第j个样本之前概率。e是底数,si和si可以分别为第i个和第j个样本的标签(label)。|ΔNDCG|可以表示第i个样本排在第j个样本之前的评估指标值。表达式(3)中lmdi可以表示第i个样本的模型参数值,j:{i,j}∈I可以表示是排在第i个样本后面的j个样本,j:{j.i}∈I可以表示排在第i个样本前面的j个样本,I可以表示样本总数。即表示为每个样本的模型参数值。由此可以得到表达式(1)的功能,即在训练过程中,不断试验样本的排名,通过调整每个相关度值的权重和偏移向量使得损失函数的值最小,即最接近样本的标签。通过大量的样本对模型训练,可以得出每个相关度值权重。
每次调整该权重可以利用以下表达式:在表达式(4)中,可以表示当前次(第t+1次)的权重,可以表示上一次(第t次)的权重,lr_rate可以表示学习率,学习率可以包括权重在每次更新时的调整幅度。当训练的结果与样本的标签呈现收敛状态时,表示权重的训练结束。
在一种实施方式中,预定处理还包括:
利用第一资源的热度值,对筛选出乘积的最大值进行优化,得到相关度值的优化值。
第一资源的热度值可以包括第一资源的播放量、完播率等数据。可以利用归一化算法,将播放量和完播率转换成[0~1]之间的数值。例如,在归一化转换后,播放量和完播率分别转换成q1和q2。可以分别为播放量、完播率设置相同的权重,例如0.5,利用q1*0.5+q2*0.5得到第一资源的热度值。另外,还可利用与步骤S1031类似的权重分配方法,分别为播放量、完播率分配权重,在此不再赘述。
对筛选出乘积的最大值进行优化可以包括:利用第一资源的热度值与筛选出乘积的最大值进行乘法运算进行优化。或者,还可以将第一资源的热度值与筛选出乘积的最大值组成向量。例如,该向量可以表示为X’,X’=(x1,播放量,完播率),其中x1=(第一词槽与第一资源相关度值的优化值、第二词槽与第一资源相关度值的优化值、……、第N词槽与第一资源相关度值的优化值)。另外,还包括对于每个词槽的权重确定过程。确定过程可以采用与前述步骤S1031类似的权重分配方法,在此不再赘述。
另外,第一资源的热度值还可以包括第一资源的上线时间、被其他用户的打分值等。
在一种实施方式中,步骤S103中的将相关度值的优化值输入预定模型,得到第一资源的打分值,包括:
将相关度值的优化值输入LambdaRank模型,得到第一资源的打分值。
将与第一资源的相关度的优化值输入到结合非连续评价指标的神经网络排序算法模型后,该模型即可输出第一资源的打分值。打分值可以对应为表达式对于多个资源,采用相同方式可以得到每个资源的打分值,通过比较打分值,即可将打分值最高的资源作为检索实体对应的目标资源。
在一种实施方式中,预定算法包括以下多种算法中的至少一种:编辑距离算法、精确包含算法、字粒度匹配算法、拼音匹配算法、交叉包含算法、带权重的关键词匹配算法、最佳匹配算法。
利用预定算法,可以得到词槽与多个资源的相关程度。预定算法可以包括与获取文本相似(相关)度相关的算法,例如编辑距离算法、精确包含算法、字粒度匹配算法、拼音匹配算法等。此外,还可以包括交叉包含算法、带权重(term)的关键词匹配算法、最佳匹配算法(Best Match25)等。
如图3所示的第二实施例中,根据本申请实施例检索方法还包括以下过程:
以请求实体为用户的语音指令“播放郭德纲的相声”为例。智能音箱将接收到的语音指令上传至云端***。云端***得到请求实体所对应的意图为播放音视频文件,识别出的词槽可以包括“郭德纲”和“相声”。在多个资源中确定出第一资源,第一资源的资源字段可以包括“所在集合:鲁豫有约;名称:郭德纲专访;艺人名称:鲁豫、郭德纲。”
利用N个预定算法,得出“郭德纲”与第一资源的(一个或多个)资源字段的N个相关度值。同理,利用N个预定算法,得出“相声”与第一资源的(一个或多个)资源字段的N个相关度值。利用训练好的非连续评价指标的神经网络排序算法模型得到每个相关度值的权重,即得到N个权重值。分别将每个相关度值和其权重值进行乘法运算,得到N个乘积结果。在N个乘积结果中筛选出最大值,作为“郭德纲”与第一资源的相关度值的优化值,记为MAX1。同理,得到“相声”与第一资源的相关度值的优化值,记为MAX2。
获取第一资源的热度值,将该热度值与请求实体中各个词槽与第一资源的相关度值的优化值作为特征向量,输入LambdaRank模型,该模型根据输入的特征向量得出第一资源的得分值。
通过相同方式,可以得到与请求实体相关的多个资源的得分值,最终选择得分值最高的资源作为目标资源。
结合表1所示,例如,与请求实体相关的资源可以包括4个。按照现有的检索结果,由于第四资源的多个资源字段中都包括“相声”,并且第四资源的热度值也非常高。因此,在现有的检索方法中,会将第四资源作为第一目标资源。第一资源由于多个字段包括了郭德纲,因此会被列为第二目标资源,而真正用户想获取到的第二资源,反而仅会以第三目标资源进行反馈。由此导致了命中率低的情况。
表1
采用本申请方法,如表2~表5所示,分别获取四个资源的得分情况。以表2为例说明。表2所示为第一(对应表1中的序号1)资源的得分情况。第一资源的资源字段包括:鲁豫有约(对应资源所属专辑)、专访郭德纲(上)(对应资源名称)、鲁豫、郭德纲(对应资源作者)、综艺(对应资源类型)。
首先利用不同预定算法,将词槽“郭德纲”与第一资源的资源字段进行计算,得出多个相关度值。例如,编辑距离算法得出的相关度值为1.0,交叉包含算法得出的相关度值为0.7,最佳匹配算法得出的相关度值为0.6,拼音匹配算法得出的相关度值为1.0。分别获取每个相关度值的权重,从而计算出每个相关度值与其权重的乘积,筛选出乘积的最大值作为优化值。在表2中,利用编辑距离算法得出的相关度值与其权重的乘积结果最大,因此将其作为词槽“郭德纲”与第一资源的相关度值优化值。再根据词槽“郭德纲”的权重,得出词槽“郭德纲”与第一资源的特征得分。例如,词槽“郭德纲”的权重可以是1.26,则词槽“郭德纲”的特征得分为最优化值*权重=1.0*1.26=1.26。可以采用与上述方式类似的方式,得出词槽“相声”的特征得分。由于第一资源中并未出现与相声相关的资源字段,因此得出词槽“相声”的特征得分为0。再根据第一资源的热度,例如热度可以是0.7,结合第一资源的热度权重,例如热度权重可以是0.5,得出第一资源的热度特征得分为0.7*0.5=0.35。最终可以将各特征得分求和,作为第一资源的打分值,即1.26+0.35=1.61。
表2
结合表3~表5所示,可以采用与表2类似的方式,分别得出第二至第四资源的打分值,第二资源的打分值为2.90,第三资源的打分值为2.87,第四资源的打分值为1.86。因此,通过比较打分值可以确定,第二资源作为目标资源。相比于现有算法,可以看出采用本申请的方案可以真正提高检索的正确率。经过测试,采用本申请涉及的方案,检索的首位结果准确率提升50%,整体结果满足度提升10%,极大的提高了***的容错能力,提升用户体验。
表3
表4
表5
图4示出本申请第三实施例检索装置的示意图。如图4所示,该装置包括:
请求实体解析模块201,用于确定请求实体对应的至少一个词槽和多个相关资源;
相关度值获取模块202,用于对多个相关资源中的第一资源,基于预定算法,分别获取至少一个词槽中每个词槽与第一资源中的至少一个资源字段的相关度值;
资源分数获取模块203,用于对于每个词槽,分别对得到的至少一个相关度值进行预定处理,将处理结果作为相关度值的优化值,将优化值输入预定模型,得到第一资源的打分值;
目标资源确定模块204,用于在多个相关资源中,以打分值高的资源作为目标资源。
如图5所示,在一种实施方式中,资源分数获取模块203包括:
权重分配子模块2031,用于为至少一个相关度值分配权重值,得到至少一个相关度值与为其分配的权重的乘积;
第一优化子模块2032,用于筛选出乘积的最大值,将乘积的最大值作为相关度值的优化值。
在一种实施方式中,资源分数获取模块203还包括:
第二优化子模块,用于利用第一资源的热度值,对筛选出乘积的最大值进行优化,得到相关度值的优化值。
在一种实施方式中,资源分数获取模块203包括:
资源分数获取执行子模块,用于将相关度值的优化值输入LambdaRank模型,得到第一资源的打分值。
在一种实施方式中,预定算法包括以下多种算法中的至少一种:编辑距离算法、精确包含算法、字粒度匹配算法、拼音匹配算法、交叉包含算法、带权重的关键词匹配算法、最佳匹配算法。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图6所示,是根据本申请实施例的检索方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示,该电子设备包括:一个或多个处理器301、存储器302,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface,GUI)的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器***)。图6中以一个处理器301为例。
存储器302即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的检索方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的检索方法。
存储器302作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的检索方法对应的程序指令/模块(例如,附图4所示的请求实体解析模块201、相关度值获取模块202、资源分数获取模块203、目标资源确定模块204)。处理器301通过运行存储在存储器302中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的检索方法。
存储器302可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据检索方法的电子设备的使用所创建的数据等。此外,存储器302可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器302可选包括相对于处理器301远程设置的存储器,这些远程存储器可以通过网络连接至检索方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
检索方法的电子设备还可以包括:输入装置303和输出装置304。处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接,图6中以通过总线连接为例。
输入装置303可接收输入的数字或字符信息,以及产生与检索方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置304可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(Liquid Crystal Display,LCD)、发光二极管(Light EmittingDiode,LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用集成电路(Application Specific Integrated Circuits,ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(programmable logic device,PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(Cathode Ray Tube,阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(Local Area Network,LAN)、广域网(Wide Area Network,WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,可以分布获取到请求实体与多个相关资源中的每个资源的相关度打分值。利用上述相关度打分值对多个相关资源进行排序,可以将排序最高的相关资源作为请求实体所对应的首资源,即目标资源。利用每个词槽与资源相关度值的优化值作为与请求实体相关资源的排序依据,可以提高资源搜索的准确性。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (10)
1.一种检索方法,其特征在于,包括:
确定请求实体对应的至少一个词槽和多个相关资源;
对所述多个相关资源中的第一资源,基于预定算法,分别获取所述至少一个词槽中每个词槽与所述第一资源中的至少一个资源字段的相关度值;其中,所述资源字段是对资源的文字描述信息;
对于所述每个词槽,分别对得到的至少一个相关度值进行预定处理,将处理结果作为词槽与所述第一资源的相关度值的优化值,将所述优化值输入预定模型,得到所述第一资源的打分值;
在所述多个相关资源中,以打分值高的资源作为目标资源;
其中,所述分别对得到的至少一个相关度值进行预定处理,将处理结果作为词槽与所述第一资源的相关度值的优化值,包括;
为所述至少一个相关度值分配权重值,得到所述至少一个相关度值与为其分配的权重的乘积;
筛选出乘积的最大值,将所述乘积的最大值作为所述相关度值的优化值。
2.根据权利要求1所述的方法,其特征在于,所述将所述乘积的最大值作为所述相关度值的优化值,包括:
利用所述第一资源的热度值,对所述筛选出乘积的最大值进行优化,得到所述相关度值的优化值。
3.根据权利要求1所述的方法,其特征在于,所述将所述相关度值的优化值输入预定模型,得到所述第一资源的打分值,包括:
将所述相关度值的优化值输入结合非连续评价指标的神经网络排序算法模型,得到所述第一资源的打分值。
4.根据权利要求1所述的方法,其特征在于,所述预定算法包括以下多种算法中的至少一种:编辑距离算法、精确包含算法、字粒度匹配算法、拼音匹配算法、交叉包含算法、带权重的关键词匹配算法、最佳匹配算法。
5.一种检索装置,其特征在于,包括:
请求实体解析模块,用于确定请求实体对应的至少一个词槽和多个相关资源;
相关度值获取模块,用于对所述多个相关资源中的第一资源,基于预定算法,分别获取所述至少一个词槽中每个词槽与所述第一资源中的至少一个资源字段的相关度值;其中,所述资源字段是对资源的文字描述信息;
资源分数获取模块,用于对于所述每个词槽,分别对得到的至少一个相关度值进行预定处理,将处理结果作为词槽与所述第一资源的相关度值的优化值,将所述优化值输入预定模型,得到所述第一资源的打分值;
目标资源确定模块,用于在所述多个相关资源中,以打分值高的资源作为目标资源;
其中,所述资源分数获取模块包括:
权重分配子模块,用于为所述至少一个相关度值分配权重值,得到所述至少一个相关度值与为其分配的权重的乘积;
第一优化子模块,用于筛选出乘积的最大值,将所述乘积的最大值作为所述相关度值的优化值。
6.根据权利要求5所述的装置,其特征在于,所述资源分数获取模块还包括:
第二优化子模块,用于利用所述第一资源的热度值,对所述筛选出乘积的最大值进行优化,得到所述相关度值的优化值。
7.根据权利要求5所述的装置,其特征在于,所述资源分数获取模块包括:
资源分数获取执行子模块,用于将所述相关度值的优化值输入结合非连续评价指标的神经网络排序算法模型,得到所述第一资源的打分值。
8.根据权利要求5所述的装置,其特征在于,所述预定算法包括以下多种算法中的至少一种:编辑距离算法、精确包含算法、字粒度匹配算法、拼音匹配算法、交叉包含算法、带权重的关键词匹配算法、最佳匹配算法。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910931873.7A CN110674320B (zh) | 2019-09-27 | 2019-09-27 | 一种检索方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910931873.7A CN110674320B (zh) | 2019-09-27 | 2019-09-27 | 一种检索方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110674320A CN110674320A (zh) | 2020-01-10 |
CN110674320B true CN110674320B (zh) | 2022-03-18 |
Family
ID=69080051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910931873.7A Active CN110674320B (zh) | 2019-09-27 | 2019-09-27 | 一种检索方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110674320B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111274379B (zh) * | 2020-01-15 | 2023-08-29 | 北京百度网讯科技有限公司 | 一种spo的选择方法、装置、电子设备及存储介质 |
CN113268618B (zh) * | 2020-02-17 | 2023-07-25 | 北京百度网讯科技有限公司 | 一种搜索信息评分方法、装置和电子设备 |
CN111324700A (zh) * | 2020-02-21 | 2020-06-23 | 北京声智科技有限公司 | 资源召回方法、装置、电子设备及计算机可读存储介质 |
CN112052390B (zh) * | 2020-09-02 | 2023-07-18 | 北京百度网讯科技有限公司 | 一种资源筛选方法、装置、电子设备及存储介质 |
JP7482335B1 (ja) | 2024-01-09 | 2024-05-13 | 株式会社ビズリーチ | 検索支援システム、検索支援方法及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8365064B2 (en) * | 2009-08-19 | 2013-01-29 | Yahoo! Inc. | Hyperlinking web content |
CN103198103A (zh) * | 2013-03-20 | 2013-07-10 | 微梦创科网络科技(中国)有限公司 | 一种基于密度词聚类的微博推送方法及装置 |
CN103838756A (zh) * | 2012-11-23 | 2014-06-04 | 阿里巴巴集团控股有限公司 | 一种确定推送信息的方法及装置 |
CN105893427A (zh) * | 2015-12-07 | 2016-08-24 | 乐视网信息技术(北京)股份有限公司 | 资源搜索方法以及服务器 |
CN105956148A (zh) * | 2016-05-12 | 2016-09-21 | 北京奇艺世纪科技有限公司 | 资源信息的推荐方法和装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103729374B (zh) * | 2012-10-15 | 2017-04-19 | 北京搜狗信息服务有限公司 | 一种信息搜索方法及搜索引擎 |
CN103577579B (zh) * | 2013-11-08 | 2015-01-21 | 南方电网科学研究院有限责任公司 | 基于用户潜在需求的资源推荐方法及*** |
CN104572931B (zh) * | 2014-12-29 | 2016-06-22 | 北京奇虎科技有限公司 | 一种确定pc网页与移动网页自适应关系的***及方法 |
CN105760504A (zh) * | 2016-02-23 | 2016-07-13 | ***股份有限公司 | 基于浏览器的资源检索方法 |
CN106776741A (zh) * | 2016-11-18 | 2017-05-31 | 北京奇虎科技有限公司 | 一种搜索方法和装置 |
CN110008250B (zh) * | 2019-03-07 | 2024-03-15 | 平安科技(深圳)有限公司 | 基于数据挖掘的社保数据处理方法、装置和计算机设备 |
-
2019
- 2019-09-27 CN CN201910931873.7A patent/CN110674320B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8365064B2 (en) * | 2009-08-19 | 2013-01-29 | Yahoo! Inc. | Hyperlinking web content |
CN103838756A (zh) * | 2012-11-23 | 2014-06-04 | 阿里巴巴集团控股有限公司 | 一种确定推送信息的方法及装置 |
CN103198103A (zh) * | 2013-03-20 | 2013-07-10 | 微梦创科网络科技(中国)有限公司 | 一种基于密度词聚类的微博推送方法及装置 |
CN105893427A (zh) * | 2015-12-07 | 2016-08-24 | 乐视网信息技术(北京)股份有限公司 | 资源搜索方法以及服务器 |
CN105956148A (zh) * | 2016-05-12 | 2016-09-21 | 北京奇艺世纪科技有限公司 | 资源信息的推荐方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110674320A (zh) | 2020-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110674320B (zh) | 一种检索方法、装置和电子设备 | |
CN111125335B (zh) | 问答处理方法、装置、电子设备和存储介质 | |
CN106575503B (zh) | 用于对话理解***的会话上下文建模的方法和*** | |
US11762848B2 (en) | Combining parameters of multiple search queries that share a line of inquiry | |
US9176941B2 (en) | Text inputting method, apparatus and system based on a cache-based language model and a universal language model | |
EP2612261B1 (en) | Internet search related methods and apparatus | |
US9679558B2 (en) | Language modeling for conversational understanding domains using semantic web resources | |
US20210141839A1 (en) | Information search method, apparatus, and system | |
JP2021182168A (ja) | 音声認識システム | |
KR20210040868A (ko) | 정보 검색 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 | |
US9235654B1 (en) | Query rewrites for generating auto-complete suggestions | |
US20170124091A1 (en) | Query Rewriting Using Session Information | |
US10698654B2 (en) | Ranking and boosting relevant distributable digital assistant operations | |
US8874558B1 (en) | Promoting fresh content for authoritative channels | |
US20080021891A1 (en) | Searching a document using relevance feedback | |
US20150242750A1 (en) | Asymmetric Rankers for Vector-Based Recommendation | |
CN112087371A (zh) | 一种即时通讯群组的搜索方法、装置、设备和存储介质 | |
CN111241427B (zh) | 查询自动补全的方法、装置、设备和计算机存储介质 | |
CN111651578B (zh) | 人机对话方法、装置及设备 | |
CN107567620A (zh) | 基于上下文的即时搜索建议 | |
US10289624B2 (en) | Topic and term search analytics | |
CN108304421B (zh) | 一种信息搜索方法及装置 | |
CN113595770B (zh) | 群组点击率预估方法、装置、电子设备和存储介质 | |
CN110659422A (zh) | 检索方法、装置、电子设备及存储介质 | |
US20210089719A1 (en) | Transparent Iterative Multi-concept Semantic Search |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210511 Address after: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing Applicant after: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. Applicant after: Shanghai Xiaodu Technology Co.,Ltd. Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |