CN113539270A - 一种位置识别方法、装置、电子设备和存储介质 - Google Patents
一种位置识别方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113539270A CN113539270A CN202110830026.9A CN202110830026A CN113539270A CN 113539270 A CN113539270 A CN 113539270A CN 202110830026 A CN202110830026 A CN 202110830026A CN 113539270 A CN113539270 A CN 113539270A
- Authority
- CN
- China
- Prior art keywords
- bert
- characters
- text
- target
- place name
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000005516 engineering process Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims description 139
- 238000012795 verification Methods 0.000 claims description 40
- 238000012360 testing method Methods 0.000 claims description 39
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 229910052742 iron Inorganic materials 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种位置识别方法、装置、电子设备和存储介质,其中,该方法包括:在获取到语音数据之后,通过语音识别技术将所述语音数据转化成文本信息;在将所述文本信息输入到预先训练的用于对文字进行模糊识别的定位模型之后,通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字,以将所述文字作为目标文字;针对每个目标文字,从文字与地理位置的对应关系中,查找包含所述目标文字的地理位置信息,以将所述地理位置信息中的地理位置确定为该目标文字所对应的地理位置。本申请实施例通过上述方法,能够提高对语音中的地名识别的准确率。
Description
技术领域
本申请涉及语音识别技术领域,具体而言,涉及一种位置识别方法、装置、电子设备和存储介质。
背景技术
随着语音识别技术的出现,语音这种人机交互方式逐渐应用到更多的场合,在进行位置识别时,也逐渐采用语音录入的方式对语音中的位置进行识别。
发明人在研究中发现,现有技术中通常是通过语音识别技术将语音转换为文本,并通过逐字或逐词对比的方式确定出该文本中的地名。在实际应用时,由于语音识别技术还不够成熟,当语音数据中存在噪声、语调变化、说话方式不统一等干扰时,应用语音识别技术将语音转换成文本的时候会产生一些误差,使得转换之后的文本中的部分词语发生变化,通过逐词或逐字对比的方式识别语音中地名时,准确率较低。
发明内容
有鉴于此,本申请实施例提供了一种位置识别方法、装置、电子设备和存储介质,以解决识别语音中地名的准确率较低的问题。
第一方面,本申请实施例提供了一种位置识别方法,包括:
在获取到语音数据之后,通过语音识别技术将所述语音数据转化成文本信息;
在将所述文本信息输入到预先训练的用于对文字进行模糊识别的定位模型之后,通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字,以将所述文字作为目标文字;
针对每个目标文字,从文字与地理位置的对应关系中,查找包含所述目标文字的地理位置信息,以将所述地理位置信息中的地理位置确定为该目标文字所对应的地理位置。
在一个可行的实施方案中,所述定位模型是通过以下方式训练的:
在获取到多个样本语音数据之后,针对每个样本语音数据,通过语音识别技术将所述样本语音数据转化为训练文本;
为所述训练文本中用于表示地名的名称的首个文字标记第一标识,为用于表示地名的名称的非首个文字标记第二标识,以将携带有所述第一标识和所述第二标识的训练文本作为目标训练文本;
将包含多个目标训练文本的数据集输入到BERT+CRF模型中,以通过有监督学习的方式将所述BERT+CRF模型训练成所述定位模型。
在一个可行的实施方案中,将包含多个目标训练文本的数据集输入到 BERT+CRF模型中,以通过有监督学习的方式将所述BERT+CRF模型训练成所述定位模型,包括:
将所述数据集中的目标训练文件按照预设比例分别放入训练集、验证集和测试集;
在将所述训练集、验证集和测试集分别输入所述BERT+CRF模型后,针对预先为所述BERT+CRF模型设置的每个超参数,通过所述训练集中的至少一个目标训练文本以及该至少一个目标训练文本携带的所述第一标识和第二标识,对该超参数下的所述BERT+CRF模型进行训练,以得到 BERT+CRF模型在该超参数下的参数;其中,所述BERT+CRF模型根据所述参数识别所述文本信息中与地名的语义相似度超过预设阈值的文字;
在得到所述参数之后,针对每个超参数,通过所述验证集对所述 BERT+CRF模型在该超参数下的参数进行验证,以得到该模型在该参数下的第一识别率;其中,第一识别率是所述BERT+CRF模型在该参数下识别所述验证集中的目标训练文本中与地名的语义相似度超过预设阈值的文字的成功率;
在根据所述第一识别率确定所述BERT+CRF模型的超参数之后,通过测试集对所述BERT+CRF模型在该超参数下的参数进行测试,以得到该模型在该参数下的第二识别率;其中,第二识别率是所述BERT+CRF模型在该参数下识别所述测试集中的目标训练文本中与地名的语义相似度超过预设阈值的文字的成功率;
判断所述第二识别率是否大于或等于预设识别率,当所述BERT+CRF 模型的第二识别率大于或等于预设识别率时,将该模型作为所述定位模型,以通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字。
在一个可行的实施方案中,所述文字与地理位置的对应关系是通过以下方式构建的:
在获取到至少一个包含地理位置、用于表示该地理位置名称的文字以及该文字与该地理位置的对应关系的地理位置信息之后,针对所述地理位置信息中的每个地理位置,从该地理位置对应的至少一个地理位置信息中,将该地理位置、用于表示该地理位置名称的至少一个文字或词汇以及该至少一个文字或词汇与该地理位置的对应关系放入该地理位置对应的地理位置集合中;
将所述地理位置集合保存到所述文字与地理位置的对应关系中。
在一个可行的实施方案中,在获取到至少一个包含地理位置、用于表示该地理位置名称的文字以及该文字与该地理位置的对应关系的地理位置信息之前,所述方法还包括:
对于每个标记词汇,将所述标记词汇作为预设地名,并为每个预设地名设置该预设地名对应的地理位置;其中,所述标记词汇为携带目标标识的文字构成的词汇,所述目标标识包括第一标识和第二标识;
针对每个预设地名,将所述预设地名、该预设地名的地理位置以及该预设地名与该地理位置的对应关系保存到该预设地名对应的地理位置信息中。
第二方面,本申请实施例还提供了一种位置识别装置,所述装置包括:
转化单元,用于在获取到语音数据之后,通过语音识别技术将所述语音数据转化成文本信息;
定位单元,用于在将所述文本信息输入到预先训练的用于对文字进行模糊识别的定位模型之后,通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字,以将所述文字作为目标文字;
确定单元,用于针对每个目标文字,从文字与地理位置的对应关系中,查找包含所述目标文字的地理位置信息,以将所述地理位置信息中的地理位置确定为该目标文字所对应的地理位置。
在一个可行的实施方案中,所述装置还包括:
样本单元,用于在获取到多个样本语音数据之后,针对每个样本语音数据,通过语音识别技术将所述样本语音数据转化为训练文本;
标记单元,用于为所述训练文本中用于表示地名的名称的首个文字标记第一标识,为用于表示地名的名称的非首个文字标记第二标识,以将携带有所述第一标识和所述第二标识的训练文本作为目标训练文本;
输入单元,用于将包含多个目标训练文本的数据集输入到BERT+CRF 模型中,以通过有监督学习的方式将所述BERT+CRF模型训练成所述定位模型。
在一个可行的实施方案中,所述输入单元具体用于:
将所述数据集中的目标训练文件按照预设比例分别放入训练集、验证集和测试集;
在将所述训练集、验证集和测试集分别输入所述BERT+CRF模型后,针对预先为所述BERT+CRF模型设置的每个超参数,通过所述训练集中的至少一个目标训练文本以及该至少一个目标训练文本携带的所述第一标识和第二标识,对该超参数下的所述BERT+CRF模型进行训练,以得到 BERT+CRF模型在该超参数下的参数;其中,所述BERT+CRF模型根据所述参数识别所述文本信息中与地名的语义相似度超过预设阈值的文字;
在得到所述参数之后,针对每个超参数,通过所述验证集对所述 BERT+CRF模型在该超参数下的参数进行验证,以得到该模型在该参数下的第一识别率;其中,第一识别率是所述BERT+CRF模型在该参数下识别所述验证集中的目标训练文本中与地名的语义相似度超过预设阈值的文字的成功率;
在根据所述第一识别率确定所述BERT+CRF模型的超参数之后,通过测试集对所述BERT+CRF模型在该超参数下的参数进行测试,以得到该模型在该参数下的第二识别率;其中,第二识别率是所述BERT+CRF模型在该参数下识别所述测试集中的目标训练文本中与地名的语义相似度超过预设阈值的文字的成功率;
判断所述第二识别率是否大于或等于预设识别率,当所述BERT+CRF 模型的第二识别率大于或等于预设识别率时,将该模型作为所述定位模型,以通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字。
在一个可行的实施方案中,所述文字与地理位置的对应关系是通过以下方式构建的:
对齐单元,用于在获取到至少一个包含地理位置、用于表示该地理位置名称的文字以及该文字与该地理位置的对应关系的地理位置信息之后,针对所述地理位置信息中的每个地理位置,从该地理位置对应的至少一个地理位置信息中,将该地理位置、用于表示该地理位置名称的至少一个文字或词汇以及该至少一个文字或词汇与该地理位置的对应关系放入该地理位置对应的地理位置集合中;
第一存储单元,用于将所述地理位置集合保存到所述文字与地理位置的对应关系中。
在一个可行的实施方案中,所述装置还包括:
预设单元,用于在获取到至少一个包含地理位置、用于表示该地理位置名称的文字以及该文字与该地理位置的对应关系的地理位置信息之前,对于每个标记词汇,将所述标记词汇作为预设地名,并为每个预设地名设置该预设地名对应的地理位置;其中,所述标记词汇为携带目标标识的文字构成的词汇,所述目标标识包括第一标识和第二标识;
第二存储单元,用于针对每个预设地名,将所述预设地名、该预设地名的地理位置以及该预设地名与该地理位置的对应关系保存到该预设地名对应的地理位置信息中。
第三方面,本申请实施例还提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如第一方面中任一项所述的方法的步骤。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如第一方面中任一项所述的方法的步骤。
本申请实施例提供的一种位置识别方法、装置、电子设备和存储介质,在获取到语音数据之后,通过语音识别技术将所述语音数据转化成文本信息;在将语音数据转化成文本信息之后,由于语音数据容易受到环境、噪声、信号等干扰,因此通过语音识别技术转换的文本信息会存在一定的误差,这些误差使得文本信息中的部分文字会变更为其他文字,本申请实施例通过定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字,使得当表示地名的部分文字发生变化时,定位模型能够根据对该部分文字进行模糊识别,从而识别出该用于表示地名的文字,并将该至少一个文字作为目标文字;针对每个目标文字,从文字与地理位置的对应关系中,查找包含所述目标文字的地理位置信息,以将所述地理位置信息中的地理位置确定为该目标文字所对应的地理位置。在语音转换文本容易产生误差的情况下,与现有技术中逐词或逐字对比确定地名的方法相比,本申请实施例能够通过定位模型,识别出语音数据中与地名的语义相似度超过预设阈值的文字,即当转换之后的地名存在错别字时,定位模型也能够识别出来,提高对语音中的地名识别的准确率,并为该地名确定该地名对应的地理位置。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例所提供的一种位置识别方法的流程图。
图2示出了本申请实施例所提供的另一种位置识别方法的流程图。
图3示出了本申请实施例所提供的一种位置识别装置的结构示意图。
图4示出了本申请实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要提前说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
需要提前说明的是,本申请实施例涉及到的装置或电子设备等可以执行在单个服务器上,也可以执行在服务器组。服务器组可以是集中式的,也可以是分布式的。在一些实施例中,服务器相对于终端,可以是本地的,也可以是远程的。例如,服务器可以经由网络访问存储在服务请求方终端、服务提供方终端、或数据库、或其任意组合中的信息和/或数据。作为另一示例,服务器可以直接连接到服务请求方终端、服务提供方终端和数据库中至少一个,以访问存储的信息和/或数据。在一些实施例中,服务器可以在云平台上实现;仅作为示例,云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云 (multi-cloud)等,或者它们的任意组合。
另外,本申请实施例涉及到的装置或电子设备可以执行在接入设备或者第三方设备上,具体可以包括:移动设备、平板计算机、膝上型计算机、或机动车辆中的内置设备等,或其任意组合。在一些实施例中,移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等,或其任意组合。在一些实施例中,智能家居设备可以包括智能电器设备的控制设备、智能监控设备、智能电视、智能摄像机、或对讲机等,或其任意组合。在一些实施例中,可穿戴设备可包括智能手环、智能头盔、智能手表、智能配件等、或其任何组合。在一些实施例中,智能移动设备可以包括智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏设备、导航设备等,或其任意组合。在一些实施例中,虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、增强现实头盔等,或其任意组合。例如,虚拟现实设备和/或增强现实设备可以包括各种虚拟现实产品等。
实施例一
图1为本申请实施例一提供的一种位置识别方法的流程图,如图1所示,所述方法通过以下步骤实现:
步骤101、在获取到语音数据之后,通过语音识别技术将所述语音数据转化成文本信息。
具体的,语音数据为包含用户语音的数据,例如,可以是用户发送的一条语音信息、用户的通话数据等。本申请实施例的应用场景为保险行业事故报案以及理赔场景。因此,本申请实施例中,语音数据为用户在进行服务反馈或故障申报时与智能机器人进行的通话数据。在获取到语音数据之后,通过语音识别技术,将语音数据转换成文本信息,并对该文本信息进行清洗。通过清洗文本信息,剔除语音转换过程时在文本信息中产生的乱码、特殊字符等干扰信息,并对空文本进行删除。
步骤102、在将所述文本信息输入到预先训练的用于对文字进行模糊识别的定位模型之后,通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字,以将所述文字作为目标文字。
具体的,定位模型能够对文本信息中的文字进行识别,根据预先为所述定位模型训练得到的参数,识别文本信息中与地名的语义相似度超过预设阈值的文字。目标文字可以是一个字,也可以是由至少两个字构成的词汇。在执行步骤101之后,获取到了清洗之后的文本信息,将该文本信息输入到定位模型中,定位模型对文本信息中的文字进行识别,为识别出的文字标记标识,并对标记了标识的文字进行提取,得到该文本信息中与地名的语义相似度超过预设阈值的目标文字。其中,定位模型的参数决定了提取的目标文字与地名的语义相似度,定位模型训练得到的参数越准确,提取的目标文字与地名的语义相似度就越高。
在实际应用时,当用户的惯用词、说话方式、口音或通话环境、通话噪音、通话信号等问题影响语音通话的质量时,通过语音识别技术将语音转换成文字的时候可能会出现一些误差,例如,将“我今晚去天津”转化成“我今晚去天京”、“我今晚去天井”。因此,通过训练的定位模型,能够将该语音通话数据中的“天京”或“天井”这种与“天津”语义相似的词语作为目标文字识别出来,定位模型的具体训练过程参见步骤211-步骤215。
步骤103、针对每个目标文字,从文字与地理位置的对应关系中,查找包含所述目标文字的地理位置信息,以将所述地理位置信息中的地理位置确定为该目标文字所对应的地理位置。
具体的,所述文字与地理位置的对应关系中包括为至少一个所述地理位置构建的知识图谱;针对每个地理位置,所述知识图谱包括实体、地理位置、实体与地理位置之间的关系以及不同实体之间的关系。知识图谱本质上是语义网络的知识库,是用来表示不同实体之间联系的关系图;其中,关系用来表达不同实体之间的联系;实体是用来表示现实世界中客观存在的事物或规律的名词,例如人名、地名、概念、药物、公司等。
文字与地理位置的对应关系中包含多个地理位置信息或多个地理位置集合,每个地理位置信息或地理位置集合中包含代表该地理位置信息名称的文字、该地理位置信息的地理位置以及该文字与该地理位置的对应关系。在步骤102中定位模型提取出目标文字之后,对于每个目标文字,从文字与地理位置的对应关系中,查找包含目标文字的地理位置信息,将所述地理位置信息中的地理位置确定为该目标文字所对应的地理位置。
当在一个文本信息中只识别出一个目标文字时,根据该目标文字能够唯一确定一个地理位置;当在一个文本信息中识别出多个目标文字时,从所述文字与地理位置的对应关系中,根据为该多个目标文字确定的多个地理位置,确定该文本信息对应的地理位置。
确定文本信息对应的地理位置的规则可以预先设置,本申请实施例不对设置的规则进行限制,可以根据实际情况,对该规则进行调整。例如将该多个目标文字对应范围最小的地理位置确定为该文本信息对应的地理位置,文本信息中的文字为“去北京的广场A观看升旗”,则定位模型能够识别的目标文字为“北京”、“广场A”,则确定该文本信息对应的地理位置为“广场A”所在的地理位置。
在确定出目标文字的地理位置之后,可以将该目标文字以及该目标文字对应的地理位置通过网页或客户端进行显示,也可以将目标文字和该地理位置标记到该条语音信息,或是直接将数据存储、标记并输出给第三方。
例如,在文字与地理位置的对应关系存储有以下地理位置信息:
信息一、北京,北纬39°26′-41°03′,东经115°25′-117°30′。
信息二、上海,北纬30°40′-31°53′,东经120°52′-122°12′。
假设定位模型识别的目标文字为“上海”,则在所述文字与地理位置的对应关系中的地理位置信息中查找目标文字“上海”,则确定信息二为包含目标文字“上海”的地理位置信息,则将信息二中的地理位置“北纬30°40′-31°53′,东经120°52′-122°12′”确定为该目标文字“上海”对应的地理位置。
本申请实施例提供的一种位置识别方法、装置、电子设备和存储介质,在获取到语音数据之后,通过语音识别技术将所述语音数据转化成文本信息;在将语音数据转化成文本信息之后,由于语音数据容易受到环境、噪声、信号等干扰,因此通过语音识别技术转换的文本信息会存在一定的误差,这些误差使得文本信息中的部分文字会变更为其他文字,本申请实施例通过定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字,使得当表示地名的部分文字发生变化时,定位模型能够根据对该部分文字进行模糊识别,从而识别出该用于表示地名的文字,并将该至少一个文字作为目标文字;针对每个目标文字,从文字与地理位置的对应关系中,查找包含所述目标文字的地理位置信息,以将所述地理位置信息中的地理位置确定为该目标文字所对应的地理位置。在语音转换文本容易产生误差的情况下,与现有技术中逐词或逐字对比确定地名的方法相比,本申请实施例能够通过定位模型,识别出语音数据中与地名的语义相似度超过预设阈值的文字,即当转换之后的地名存在错别字时,定位模型也能够识别出来,提高对语音中的地名识别的准确率,并为该地名确定该地名对应的地理位置。
在一个可行的实施方案中,图2为本申请实施例提供的另一种位置识别方法的流程图,如图2所示,所述方法是通过以下步骤实现的:
步骤201、在获取到多个样本语音数据之后,针对每个样本语音数据,通过语音识别技术将所述样本语音数据转化为训练文本。
具体的,在本申请实施例中样本语音数据是从服务器或云端获取的包含用户与智能机器人通话数据的用户历史语音数据。在获取到多个样本语音数据之后,通过语音识别技术,将样本语音数据转换成训练文本,并对训练文本进行清洗,剔除语音转换过程时在训练文本中产生的乱码、特殊字符等干扰信息,并对空文本进行删除。
步骤202、为所述训练文本中用于表示地名的名称的首个文字标记第一标识,为用于表示地名的名称的非首个文字标记第二标识,以将携带有所述第一标识和所述第二标识的训练文本作为目标训练文本。
具体的,在步骤201获取到多个训练文本之后,将训练文本中的所有地名中的第一个文字用第一标识进行标记,将训练文本中所有地名中除第一文字之外的其余文字均用第二标识进行标记。另外,还将与地名无关的文字均用第三标识进行标记。此时,训练文本中所有文字均被标记了第一标识、第二标识或第三标识,将携带有第一标识、第二标识以及第三标识的训练文本作为目标训练文本。
例如,训练文本中的文本为“今晚我要去北京”,则对表示地名的“北京”标记第一标识和第二标识,其中,为“北京”的第一个字“北”标记第一标识;为“北京”中的非第一个字“京”标记第二标识;为“今晚我要去北京”中与地名无关的其他文字“今晚我要去”分别标记第三标识。
或者,训练文本中的文本为“去哏都听相声”,则为“哏都”中的“哏”标记第一标识;为“哏都”中的“都”标记第二标识;为“去”、“听相声”中的每个字分别标记第三标识。
步骤203、将包含多个目标训练文本的数据集输入到BERT+CRF模型中,以通过有监督学习的方式将所述BERT+CRF模型训练成所述定位模型。
具体的,BERT模型(Bidirectional Encoder Representation fromTransformers,一种预训练模型),用于增加词向量模型泛化能力,充分描述字符级、词级、句子级甚至句间关系特征。CRF(Conditional Random Field,条件随机域),用于在观测序列的基础上对目标序列进行建模,重点解决序列化标注的问题。有监督学习是从标签化训练数据集中推断出函数的机器学习任务。本申请实施例中采用的是命名实体识别模型下的BERT+CRF模型,也可以根据实际情况改变所述命名实体识别模型,例如可以采用Electra、Ernie等实体识别模型。BERT+CRF模型的命名实体识别过程实际上是根据输入的句子,预测出其标注序列的过程,能够从训练文本中总结出规则,根据规则进行对未知文本进行预测。
在步骤202为所述目标训练文本标记了第一标识、第二标识和第三标识之后,将多个目标训练文本组成的数据集,输入到BERT+CRF模型中。
在一个可行的实施方案中,在执行步骤203时,具体通过以下步骤实现:
步骤211、将所述数据集中的目标训练文件按照预设比例分别放入训练集、验证集和测试集。
具体的,在本申请实施例中,预设比例为7:2:1,即将数据集中70%的目标训练文本放入训练集,将数据集中20%的目标训练文本放入验证集,将10%的目标训练文本放入测试集。本申请实施例不对预设比例进行限制,可以按照其余比例设置该预设比例。
步骤212、在将所述训练集、验证集和测试集分别输入所述BERT+CRF 模型后,针对预先为所述BERT+CRF模型设置的每个超参数,通过所述训练集中的至少一个目标训练文本以及该至少一个目标训练文本携带的所述第一标识和第二标识,对该超参数下的所述BERT+CRF模型进行训练,以得到BERT+CRF模型在该超参数下的参数;其中,所述BERT+CRF模型根据所述参数识别所述文本信息中与地名的语义相似度超过预设阈值的文字。
具体的,参数是模型可以根据数据可以自动学习出的变量,比如深度学习的权重、偏差等。超参数是用来确定模型的一些参数,针对同一个模型,超参数不同,该模型在不同的超参数下也是不同的,超参数一般就是根据经验确定的变量。例如,在深度学习中,超参数有:学习速率、迭代次数、层数、每层神经元的个数等等。预设阈值是预先设置的,根据实际情况可以设置预设阈值为100%、90%等。
将训练集、验证集和测试集分别输入所述BERT+CRF模型中,通过训练集对该模型进行训练,通过验证集对训练后的模型进行验证,通过测试集对验证过的模型进行测试。在对BERT+CRF模型进行训练之前,为该模型设置多个超参数,在每个超参数下通过训练集训练BERT+CRF模型在该超参数下的参数。在将训练集输入到BERT+CRF模型之后,将训练集的目标训练文本中携带第一标识和第二标识的文字作为期望输出值,通过 BERT+CRF模型对训练集中的目标训练文本进行分析,得到实际输出值,通过不断调整实际输出值和期望输出值之间的误差,确定出该BERT+CRF 模型在该超参数下的参数,使得BERT+CRF模型能够根据该参数产生预测未知样本的能力。例如,当同一个模型设置的迭代次数(超参数)不同时,该模型在不同的迭代次数下,通过训练集训练得到的参数也是不同的,不同的参数使得该模型对在不同的超参数下识别与地名的语义相似度超过预设阈值的文字的能力也是不同的。超参数设置的越准确,模型在该超参数下训练得到的参数识别的文字与地名的语义相似度就越高。
步骤213、在得到所述参数之后,针对每个超参数,通过所述验证集对所述BERT+CRF模型在该超参数下的参数进行验证,以得到该模型在该参数下的第一识别率;其中,第一识别率是所述BERT+CRF模型在该参数下识别所述验证集中的目标训练文本中与地名的语义相似度超过预设阈值的文字的成功率。
具体的,在执行步骤212之后,得到了该模型在不同超参数下分别对应的参数。针对每个超参数下对应的BERT+CRF模型,将所述验证集输入到该超参数下的BERT+CRF模型中,根据BERT+CRF模型在该超参数下的参数,能够对验证集的目标训练文本中的文字进行识别,通过对比识别结果和目标训练文本所携带标识的标识结果,计算第一识别率。其中,识别结果是指BERT+CRF模型在该参数下对验证集的目标训练文本中的文字的识别情况。第一识别率为识别成功的地名的数量与目标训练文本中地名的总数量的比值。
例如,当验证集中的其中一个目标训练文本中的文本信息为“今天坐高铁去北京玩”,则验证集中事先为目标训练文本的“今天坐高铁去”、“玩”七个字分别标记第三标识,为“北”标记第一标识,为“京”标记第二标识;
针对其中一个超参数下的模型,将目标训练文本中的文本信息“今天坐高铁去北京玩”输入到训练好的模型之后,该模型通过训练得到的参数,为文本信息中的文字标记分别用于表示第一标识、第二标识和第三标识的第一验证标识、第二验证标识和第三验证标识,若模型根据该参数为“今天坐高铁去”、“玩”七个字分别标记第三验证标识,为“北”标记第一验证标识,为“京”标记第二验证标识。则根据与第一标识和第二标识构成的词汇进行对比,该模型能够识别出“北京”这个地名,则对于该目标训练文本,得到的第一识别率为100%,当验证集中的目标训练文本为多个时,计算该模型对于整个验证集的第一识别率。
步骤214、在根据所述第一识别率确定所述BERT+CRF模型的超参数之后,通过测试集对所述BERT+CRF模型在该超参数下的参数进行测试,以得到该模型在该参数下的第二识别率;其中,第二识别率是所述 BERT+CRF模型在该参数下识别所述测试集中的目标训练文本中与地名的语义相似度超过预设阈值的文字的成功率。
具体的,在执行步骤213后,已经得到了该模型的多个第一识别率,将最高的第一识别率对应的模型的超参数确定为该BERT+CRF模型的超参数;或者,将超过阈值的第一识别率所对应的模型的超参数确定为该 BERT+CRF模型的超参数;本申请实施例不会确定超参数的方法进行限制。当为该BERT+CRF模型确定超参数之后,将测试集中的目标训练文件作为测试样本,通过测试集对所述BERT+CRF模型在该超参数下的参数进行测试。第二识别率与第一识别率的计算方法相同。
步骤215、判断所述第二识别率是否大于或等于预设识别率,当所述 BERT+CRF模型的第二识别率大于或等于预设识别率时,将该模型作为所述定位模型,以通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字。
具体的,在步骤214之后,已经得到了对该模型测试得到的第二识别率,判断第二识别率是否大于预设识别率。当第二识别率小于预设识别率时,则认为训练得到的该超参数下的定位模型对于地名的识别效果并不理想,需要重新调整模型的超参数并训练该超参数下的所述定位模型,或是将BERT+CRF模型更换为其他的命名实体识别模型进行训练。当第二识别率大于预设识别率时,认为得到该第二识别率的模型能够达到对文本中地名的识别精度,可以将该模型作为定位模型,从而通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字。
在一个可行的实施方案中,所述文字与地理位置的对应关系是通过以下步骤构建的:
在获取到至少一个包含地理位置、用于表示该地理位置名称的文字以及该文字与该地理位置的对应关系的地理位置信息之后,针对所述地理位置信息中的每个地理位置,从该地理位置对应的至少一个地理位置信息中,将该地理位置、用于表示该地理位置名称的至少一个文字或词汇以及该至少一个文字或词汇与该地理位置的对应关系放入该地理位置对应的地理位置集合中;将所述地理位置集合保存到所述文字与地理位置的对应关系中。
具体的,地理位置信息可以是通过网络爬取、整理历史业务数据等方法得到的。其中,历史业务数据中有包含地理位置、用于表示该地理位置名称的文字以及该文字与该地理位置的对应关系的地理位置信息。对地理位置信息进行实体消歧、实体对齐和属性对齐等操作,目的是为了将地理位置相同、地名不同的地理位置信息在整理到同一个地理位置集合中。在地理位置集合中,每个地名都唯一对应一个地理位置,每个地理位置对应至少一个地名。
例如,假设存在以下多个地理位置信息:
信息一、山东,北纬34°22.9′-38°24.01′,东经114°47.5′-122° 42.3′。
信息二、齐鲁,北纬34°22.9′-38°24.01′,东经114°47.5′-122° 42.3′。
信息三、北京,北纬39°26′-41°03′,东经115°25′-117°30′。
信息四、帝都,北纬39°26′-41°03′,东经115°25′-117°30′。
信息五、背京,北纬39°26′-41°03′,东经115°25′-117°30′。
则整理之后的地理信息集合为:
集合一、(山东、齐鲁;北纬34°22.9′-38°24.01′,东经114°47.5′ -122°42.3′)。
集合二、(北京、帝都、背京;39°26′-41°03′,东经115°25′-117° 30′)。
所述文字与地理位置的对应关系中还包括从历史业务数据和网络等渠道获取的文字、地理位置以及文字与地理位置之间的关系。
例如,“张三居住在北京”,其中“张三”和“北京”均为关系图谱中的实体,在本申请实施例中,“北京”为用于表示地理位置的实体,对应着知识图谱中表示北京的经纬度的地理位置,“张三”为与用于表示地理位置的实体“北京”有关系的实体,“张三”与“北京”之间的关系为“居住在”。则当识别出“北京”时,可以根据“北京”关联到“张三”;当识别出“张三”时,可以根据“张三”关联到“北京”。以便根据这些文字之间的关联,提高确定的地理位置的准确性。
例如,当知识图谱中包含“张三”、“北京”以及“张三”与“北京”的关系之后,当文本信息中出现“张三居住在贝京”这种带有错别字的信息之后,也能从所述文字与地理位置的对应关系中推理出地理位置为北京所在的地理位置。
在本申请实施例中,知识图谱主要用于表示地理位置的实体之间的关系。
例如:根据历史业务信息或网络获取得到的信息,整理出以下文本:
文本一、去北京的广场A。
文本二、广场B在广场A的旁边。
则上述文本中的“北京”、“广场A”、“广场B”都属于用于表示地理位置的实体,各个实体之间的关系为,“广场A”属于“北京”,“广场B”和“广场A”相邻,则“北京”和“广场B”之间通过“广场A”产生联系,将所述联系保存到所述文字与地理位置的对应关系中。
在一个可行的实施方案中,在获取到至少一个包含地理位置、用于表示该地理位置名称的文字以及该文字与该地理位置的对应关系的地理位置信息之前,还需要执行以下步骤:
对于每个标记词汇,将所述标记词汇作为预设地名,并为每个预设地名设置该预设地名对应的地理位置;其中,所述标记词汇为携带目标标识的文字构成的词汇,所述目标标识包括第一标识和第二标识。针对每个预设地名,将所述预设地名、该预设地名的地理位置以及该预设地名与该地理位置的对应关系保存到该预设地名对应的地理位置信息中。
具体的,在执行步骤202时,对于训练文本中用于表示地名的每个文字,都标记了第一标识或第二标识。对于每个携带有第一标识的文字,以及每个携带有第一标识和至少一个第二标识的文字构成的词汇,将该文字或词汇作为预设地名,并为每个预设地名设置该预设地名对应的地理位置,根据该预设地名和该地理位置,设置该预设地名对应的地理位置信息。
例如,在目标训练文本中分别标记了“北京”、“背京”、“天津”、“天京”、“鲁”、“山东”等文字。为“北”、“背”“天”、“鲁”、“山”标记第一标识;为“京”、“京”、“津”、“京”、“东”标记第二标识;将由携带有第一标识的文字“鲁”作为第一预设地名;将由携带有第一标识和第二标识的文字构成的词汇“北京”、“背京”、“天津”、“天京”、“山东”作为第二预设地名、第三预设地名、第四预设地名、第五预设地名、第六预设地名。分别为该六个预设地名设置对应的地理位置。并针对每个预设地名,将所述预设地名、该预设地名的地理位置以及该预设地名与该地理位置的对应关系保存到该预设地名对应的地理位置信息中,则对应六个预设地名,设置六个地理位置信息:
信息一、鲁,北纬34°22.9′-38°24.01′,东经114°47.5′-122° 42.3′。
信息二、北京,北纬39°26′-41°03′,东经115°25′-117°30′。
信息三、背京,北纬39°26′-41°03′,东经115°25′-117°30′。
信息四、天津,北纬38°34′-40°15′,东经116°43′-118°04′。
信息五、天京,北纬38°34′-40°15′,东经116°43′-118°04′。
信息六、山东,北纬34°22.9′-38°24.01′,东经114°47.5′-122° 42.3′。
实施例二
图3为本申请实施例提供的一种位置识别装置的结构示意图,如图3 所示,所述装置包括:转化单元301、定位单元302、确定单元303。
转化单元301,用于在获取到语音数据之后,通过语音识别技术将所述语音数据转化成文本信息。
定位单元302,用于在将所述文本信息输入到预先训练的用于对文字进行模糊识别的定位模型之后,通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字,以将所述文字作为目标文字。
确定单元303,用于针对每个目标文字,从文字与地理位置的对应关系中,查找包含所述目标文字的地理位置信息,以将所述地理位置信息中的地理位置确定为该目标文字所对应的地理位置。
在一个可行的实施方案中,所述装置还包括:
样本单元,用于在获取到多个样本语音数据之后,针对每个样本语音数据,通过语音识别技术将所述样本语音数据转化为训练文本。
标记单元,用于为所述训练文本中用于表示地名的名称的首个文字标记第一标识,为用于表示地名的名称的非首个文字标记第二标识,以将携带有所述第一标识和所述第二标识的训练文本作为目标训练文本。
输入单元,用于将包含多个目标训练文本的数据集输入到BERT+CRF 模型中,以通过有监督学习的方式将所述BERT+CRF模型训练成所述定位模型。
在一个可行的实施方案中,所述输入单元具体用于:
将所述数据集中的目标训练文件按照预设比例分别放入训练集、验证集和测试集。
在将所述训练集、验证集和测试集分别输入所述BERT+CRF模型后,针对预先为所述BERT+CRF模型设置的每个超参数,通过所述训练集中的至少一个目标训练文本以及该至少一个目标训练文本携带的所述第一标识和第二标识,对该超参数下的所述BERT+CRF模型进行训练,以得到 BERT+CRF模型在该超参数下的参数;其中,所述BERT+CRF模型根据所述参数识别所述文本信息中与地名的语义相似度超过预设阈值的文字。
在得到所述参数之后,针对每个超参数,通过所述验证集对所述BERT+CRF模型在该超参数下的参数进行验证,以得到该模型在该参数下的第一识别率;其中,第一识别率是所述BERT+CRF模型在该参数下识别所述验证集中的目标训练文本中与地名的语义相似度超过预设阈值的文字的成功率。
在根据所述第一识别率确定所述BERT+CRF模型的超参数之后,通过测试集对所述BERT+CRF模型在该超参数下的参数进行测试,以得到该模型在该参数下的第二识别率;其中,第二识别率是所述BERT+CRF模型在该参数下识别所述测试集中的目标训练文本中与地名的语义相似度超过预设阈值的文字的成功率。
判断所述第二识别率是否大于或等于预设识别率,当所述BERT+CRF 模型的第二识别率大于或等于预设识别率时,将该模型作为所述定位模型,以通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字。
在一个可行的实施方案中,所述文字与地理位置的对应关系是通过以下方式构建的:
对齐单元,用于在获取到至少一个包含地理位置、用于表示该地理位置名称的文字以及该文字与该地理位置的对应关系的地理位置信息之后,针对所述地理位置信息中的每个地理位置,从该地理位置对应的至少一个地理位置信息中,将该地理位置、用于表示该地理位置名称的至少一个文字或词汇以及该至少一个文字或词汇与该地理位置的对应关系放入该地理位置对应的地理位置集合中。
第一存储单元,用于将所述地理位置集合保存到所述文字与地理位置的对应关系中。
在一个可行的实施方案中,所述装置还包括:
预设单元,用于在获取到至少一个包含地理位置、用于表示该地理位置名称的文字以及该文字与该地理位置的对应关系的地理位置信息之前,对于每个标记词汇,将所述标记词汇作为预设地名,并为每个预设地名设置该预设地名对应的地理位置;其中,所述标记词汇为携带目标标识的文字构成的词汇,所述目标标识包括第一标识和第二标识。
第二存储单元,用于针对每个预设地名,将所述预设地名、该预设地名的地理位置以及该预设地名与该地理位置的对应关系保存到该预设地名对应的地理位置信息中。
本申请实施例提供的一种位置识别方法、装置、电子设备和存储介质,在获取到语音数据之后,通过语音识别技术将所述语音数据转化成文本信息;在将语音数据转化成文本信息之后,由于语音数据容易受到环境、噪声、信号等干扰,因此通过语音识别技术转换的文本信息会存在一定的误差,这些误差使得文本信息中的部分文字会变更为其他文字,本申请实施例通过定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字,使得当表示地名的部分文字发生变化时,定位模型能够根据对该部分文字进行模糊识别,从而识别出该用于表示地名的文字,并将该至少一个文字作为目标文字;针对每个目标文字,从文字与地理位置的对应关系中,查找包含所述目标文字的地理位置信息,以将所述地理位置信息中的地理位置确定为该目标文字所对应的地理位置。在语音转换文本容易产生误差的情况下,与现有技术中逐词或逐字对比确定地名的方法相比,本申请实施例能够通过定位模型,识别出语音数据中与地名的语义相似度超过预设阈值的文字,即当转换之后的地名存在错别字时,定位模型也能够识别出来,提高对语音中的地名识别的准确率,并为该地名确定该地名对应的地理位置。
实施例三
图4为本申请实施例三提供的一种电子设备的结构示意图,包括:处理器401、存储介质402和总线403,所述存储介质402存储有所述处理器 401可执行的机器可读指令,当电子设备运行如实施例一中的方法时,所述处理器401与所述存储介质402之间通过总线403通信,所述处理器401 执行所述机器可读指令,以执行如实施例一中的步骤。
在本申请实施例中,所述存储介质402还可以执行其它机器可读指令,以执行如实施例一中其它所述的方法,关于具体执行的方法步骤和原理参见实施例一的说明,在此不再详细赘述。
实施例四
本申请实施例四还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行,以执行如实施例一中的步骤。
在本申请实施例中,该计算机程序被处理器运行时还可以执行其它机器可读指令,以执行如实施例一中其它所述的方法,关于具体执行的方法步骤和原理参见实施例一的说明,在此不再详细赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、 RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种位置识别方法,其特征在于,包括:
在获取到语音数据之后,通过语音识别技术将所述语音数据转化成文本信息;
在将所述文本信息输入到预先训练的用于对文字进行模糊识别的定位模型之后,通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字,以将所述文字作为目标文字;
针对每个目标文字,从文字与地理位置的对应关系中,查找包含所述目标文字的地理位置信息,以将所述地理位置信息中的地理位置确定为该目标文字所对应的地理位置。
2.根据权利要求1所述的方法,其特征在于,所述定位模型是通过以下方式训练的:
在获取到多个样本语音数据之后,针对每个样本语音数据,通过语音识别技术将所述样本语音数据转化为训练文本;
为所述训练文本中用于表示地名的名称的首个文字标记第一标识,为用于表示地名的名称的非首个文字标记第二标识,以将携带有所述第一标识和所述第二标识的训练文本作为目标训练文本;
将包含多个目标训练文本的数据集输入到BERT+CRF模型中,以通过有监督学习的方式将所述BERT+CRF模型训练成所述定位模型。
3.根据权利要求2所述的方法,其特征在于,将包含多个目标训练文本的数据集输入到BERT+CRF模型中,以通过有监督学习的方式将所述BERT+CRF模型训练成所述定位模型,包括:
将所述数据集中的目标训练文件按照预设比例分别放入训练集、验证集和测试集;
在将所述训练集、验证集和测试集分别输入所述BERT+CRF模型后,针对预先为所述BERT+CRF模型设置的每个超参数,通过所述训练集中的至少一个目标训练文本以及该至少一个目标训练文本携带的所述第一标识和第二标识,对该超参数下的所述BERT+CRF模型进行训练,以得到BERT+CRF模型在该超参数下的参数;其中,所述BERT+CRF模型根据所述参数识别所述文本信息中与地名的语义相似度超过预设阈值的文字;
在得到所述参数之后,针对每个超参数,通过所述验证集对所述BERT+CRF模型在该超参数下的参数进行验证,以得到该模型在该参数下的第一识别率;其中,第一识别率是所述BERT+CRF模型在该参数下识别所述验证集中的目标训练文本中与地名的语义相似度超过预设阈值的文字的成功率;
在根据所述第一识别率确定所述BERT+CRF模型的超参数之后,通过测试集对所述BERT+CRF模型在该超参数下的参数进行测试,以得到该模型在该参数下的第二识别率;其中,第二识别率是所述BERT+CRF模型在该参数下识别所述测试集中的目标训练文本中与地名的语义相似度超过预设阈值的文字的成功率;
判断所述第二识别率是否大于或等于预设识别率,当所述BERT+CRF模型的第二识别率大于或等于预设识别率时,将该模型作为所述定位模型,以通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字。
4.根据权利要求2所述的方法,其特征在于,所述文字与地理位置的对应关系是通过以下方式构建的:
在获取到至少一个包含地理位置、用于表示该地理位置名称的文字以及该文字与该地理位置的对应关系的地理位置信息之后,针对所述地理位置信息中的每个地理位置,从该地理位置对应的至少一个地理位置信息中,将该地理位置、用于表示该地理位置名称的至少一个文字或词汇以及该至少一个文字或词汇与该地理位置的对应关系放入该地理位置对应的地理位置集合中;
将所述地理位置集合保存到所述文字与地理位置的对应关系中。
5.根据权利要求4所述的方法,其特征在于,在获取到至少一个包含地理位置、用于表示该地理位置名称的文字以及该文字与该地理位置的对应关系的地理位置信息之前,所述方法还包括:
对于每个标记词汇,将所述标记词汇作为预设地名,并为每个预设地名设置该预设地名对应的地理位置;其中,所述标记词汇为携带目标标识的文字构成的词汇,所述目标标识包括第一标识和第二标识;
针对每个预设地名,将所述预设地名、该预设地名的地理位置以及该预设地名与该地理位置的对应关系保存到该预设地名对应的地理位置信息中。
6.一种位置识别装置,其特征在于,所述装置包括:
转化单元,用于在获取到语音数据之后,通过语音识别技术将所述语音数据转化成文本信息;
定位单元,用于在将所述文本信息输入到预先训练的用于对文字进行模糊识别的定位模型之后,通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字,以将所述文字作为目标文字;
确定单元,用于针对每个目标文字,从文字与地理位置的对应关系中,查找包含所述目标文字的地理位置信息,以将所述地理位置信息中的地理位置确定为该目标文字所对应的地理位置。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
样本单元,用于在获取到多个样本语音数据之后,针对每个样本语音数据,通过语音识别技术将所述样本语音数据转化为训练文本;
标记单元,用于为所述训练文本中用于表示地名的名称的首个文字标记第一标识,为用于表示地名的名称的非首个文字标记第二标识,以将携带有所述第一标识和所述第二标识的训练文本作为目标训练文本;
输入单元,用于将包含多个目标训练文本的数据集输入到BERT+CRF模型中,以通过有监督学习的方式将所述BERT+CRF模型训练成所述定位模型。
8.根据权利要求7所述的装置,其特征在于,所述输入单元具体用于:
将所述数据集中的目标训练文件按照预设比例分别放入训练集、验证集和测试集;
在将所述训练集、验证集和测试集分别输入所述BERT+CRF模型后,针对预先为所述BERT+CRF模型设置的每个超参数,通过所述训练集中的至少一个目标训练文本以及该至少一个目标训练文本携带的所述第一标识和第二标识,对该超参数下的所述BERT+CRF模型进行训练,以得到BERT+CRF模型在该超参数下的参数;其中,所述BERT+CRF模型根据所述参数识别所述文本信息中与地名的语义相似度超过预设阈值的文字;
在得到所述参数之后,针对每个超参数,通过所述验证集对所述BERT+CRF模型在该超参数下的参数进行验证,以得到该模型在该参数下的第一识别率;其中,第一识别率是所述BERT+CRF模型在该参数下识别所述验证集中的目标训练文本中与地名的语义相似度超过预设阈值的文字的成功率;
在根据所述第一识别率确定所述BERT+CRF模型的超参数之后,通过测试集对所述BERT+CRF模型在该超参数下的参数进行测试,以得到该模型在该参数下的第二识别率;其中,第二识别率是所述BERT+CRF模型在该参数下识别所述测试集中的目标训练文本中与地名的语义相似度超过预设阈值的文字的成功率;
判断所述第二识别率是否大于或等于预设识别率,当所述BERT+CRF模型的第二识别率大于或等于预设识别率时,将该模型作为所述定位模型,以通过所述定位模型识别所述文本信息中与地名的语义相似度超过预设阈值的文字。
9.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1至5中任一项所述位置识别方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如权利要求1至5中任一项所述位置识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110830026.9A CN113539270B (zh) | 2021-07-22 | 2021-07-22 | 一种位置识别方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110830026.9A CN113539270B (zh) | 2021-07-22 | 2021-07-22 | 一种位置识别方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113539270A true CN113539270A (zh) | 2021-10-22 |
CN113539270B CN113539270B (zh) | 2024-04-02 |
Family
ID=78120425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110830026.9A Active CN113539270B (zh) | 2021-07-22 | 2021-07-22 | 一种位置识别方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113539270B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101158584A (zh) * | 2007-11-15 | 2008-04-09 | 熊猫电子集团有限公司 | 车载gps的语音目的地导航实现方法 |
CN102426015A (zh) * | 2011-09-06 | 2012-04-25 | 深圳市凯立德科技股份有限公司 | 一种导航***兴趣点的搜索方法及位置服务终端 |
CN102867511A (zh) * | 2011-07-04 | 2013-01-09 | 余喆 | 自然语音识别方法和装置 |
CN103020230A (zh) * | 2012-12-14 | 2013-04-03 | 中国科学院声学研究所 | 一种语义模糊匹配方法 |
CN106782560A (zh) * | 2017-03-06 | 2017-05-31 | 海信集团有限公司 | 确定目标识别文本的方法及装置 |
CN109785840A (zh) * | 2019-03-05 | 2019-05-21 | 湖北亿咖通科技有限公司 | 自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质 |
CN110956955A (zh) * | 2019-12-10 | 2020-04-03 | 苏州思必驰信息科技有限公司 | 一种语音交互的方法和装置 |
CN110968800A (zh) * | 2019-11-26 | 2020-04-07 | 北京明略软件***有限公司 | 一种信息推荐方法、装置、电子设备及可读存储介质 |
CN111797182A (zh) * | 2020-05-29 | 2020-10-20 | 深圳市跨越新科技有限公司 | 一种地址编码解析方法及*** |
CN112539762A (zh) * | 2020-11-26 | 2021-03-23 | 中国联合网络通信集团有限公司 | 导航方法和车载导航设备 |
CN112566017A (zh) * | 2020-11-23 | 2021-03-26 | 广东美她实业投资有限公司 | 基于智能耳机的乘坐地铁提醒方法、设备及可读存储介质 |
CN112633003A (zh) * | 2020-12-30 | 2021-04-09 | 平安科技(深圳)有限公司 | 一种地址识别方法、装置、计算机设备及存储介质 |
-
2021
- 2021-07-22 CN CN202110830026.9A patent/CN113539270B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101158584A (zh) * | 2007-11-15 | 2008-04-09 | 熊猫电子集团有限公司 | 车载gps的语音目的地导航实现方法 |
CN102867511A (zh) * | 2011-07-04 | 2013-01-09 | 余喆 | 自然语音识别方法和装置 |
CN102426015A (zh) * | 2011-09-06 | 2012-04-25 | 深圳市凯立德科技股份有限公司 | 一种导航***兴趣点的搜索方法及位置服务终端 |
CN103020230A (zh) * | 2012-12-14 | 2013-04-03 | 中国科学院声学研究所 | 一种语义模糊匹配方法 |
CN106782560A (zh) * | 2017-03-06 | 2017-05-31 | 海信集团有限公司 | 确定目标识别文本的方法及装置 |
CN109785840A (zh) * | 2019-03-05 | 2019-05-21 | 湖北亿咖通科技有限公司 | 自然语言识别的方法、装置及车载多媒体主机、计算机可读存储介质 |
CN110968800A (zh) * | 2019-11-26 | 2020-04-07 | 北京明略软件***有限公司 | 一种信息推荐方法、装置、电子设备及可读存储介质 |
CN110956955A (zh) * | 2019-12-10 | 2020-04-03 | 苏州思必驰信息科技有限公司 | 一种语音交互的方法和装置 |
CN111797182A (zh) * | 2020-05-29 | 2020-10-20 | 深圳市跨越新科技有限公司 | 一种地址编码解析方法及*** |
CN112566017A (zh) * | 2020-11-23 | 2021-03-26 | 广东美她实业投资有限公司 | 基于智能耳机的乘坐地铁提醒方法、设备及可读存储介质 |
CN112539762A (zh) * | 2020-11-26 | 2021-03-23 | 中国联合网络通信集团有限公司 | 导航方法和车载导航设备 |
CN112633003A (zh) * | 2020-12-30 | 2021-04-09 | 平安科技(深圳)有限公司 | 一种地址识别方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113539270B (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110795543B (zh) | 基于深度学习的非结构化数据抽取方法、装置及存储介质 | |
CN110781663B (zh) | 文本分析模型的训练方法及装置、文本分析方法及装置 | |
CN108388559B (zh) | 地理空间应用下的命名实体识别方法及***、计算机程序 | |
CN110020433B (zh) | 一种基于企业关联关系的工商高管人名消歧方法 | |
US20140351228A1 (en) | Dialog system, redundant message removal method and redundant message removal program | |
CN110276023B (zh) | Poi变迁事件发现方法、装置、计算设备和介质 | |
CN110674255B (zh) | 文本内容审核方法及装置 | |
CN116795973B (zh) | 基于人工智能的文本处理方法及装置、电子设备、介质 | |
EP4113357A1 (en) | Method and apparatus for recognizing entity, electronic device and storage medium | |
CN108228567B (zh) | 用于提取组织机构的简称的方法和装置 | |
CN114840671A (zh) | 对话生成方法、模型的训练方法、装置、设备及介质 | |
CN109582954A (zh) | 用于输出信息的方法和装置 | |
CN116089873A (zh) | 模型训练方法、数据分类分级方法、装置、设备及介质 | |
CN115017425B (zh) | 地点检索方法、装置、电子设备以及存储介质 | |
CN110851546A (zh) | 一种验证、模型的训练、模型的共享方法、***及介质 | |
CN113392197A (zh) | 问答推理方法、装置、存储介质及电子设备 | |
CN113779190B (zh) | 事件因果关系识别方法、装置、电子设备与存储介质 | |
CN110991183A (zh) | 问题的谓词确定方法、装置、设备及存储介质 | |
CN114186041A (zh) | 一种答案输出方法 | |
CN112069833B (zh) | 日志分析方法、日志分析装置及电子设备 | |
CN117688946A (zh) | 基于大模型的意图识别方法、装置、电子设备和存储介质 | |
CN117312562A (zh) | 内容审核模型的训练方法、装置、设备及存储介质 | |
CN116976321A (zh) | 文本处理方法、装置、计算机设备、存储介质和程序产品 | |
CN114417974B (zh) | 模型训练方法、信息处理方法、装置、电子设备和介质 | |
CN113539270A (zh) | 一种位置识别方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |