CN112559885B - 地图兴趣点的训练模型确定方法、装置及电子设备 - Google Patents
地图兴趣点的训练模型确定方法、装置及电子设备 Download PDFInfo
- Publication number
- CN112559885B CN112559885B CN202011561079.7A CN202011561079A CN112559885B CN 112559885 B CN112559885 B CN 112559885B CN 202011561079 A CN202011561079 A CN 202011561079A CN 112559885 B CN112559885 B CN 112559885B
- Authority
- CN
- China
- Prior art keywords
- poi
- training
- model
- error value
- training model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 159
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000000873 masking effect Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 13
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000004590 computer program Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 235000015278 beef Nutrition 0.000 description 6
- 235000012149 noodles Nutrition 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 235000014347 soups Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种地图兴趣点的训练模型确定方法、装置及电子设备，涉及深度学习领域的自然语言处理和大数据技术领域，所述方法包括：获取与兴趣点POI相关的至少一类预训练任务；根据预训练任务，确定第一阶段的训练模型；根据第一阶段的训练模型的参数以及至少一类与POI相关的专有任务，确定第二阶段的训练模型。本申请可以提高在地图POI名称领域的所有下游自然语言处理任务的性能，并且可以作为通用的一个模型参数进行发布，极大提高地图POI的处理效率。
Description
技术领域
本申请公开了一种地图兴趣点的训练模型确定方法、装置、设备、介质及程序产品，尤其涉及深度学习技术领域，具体涉及自然语言处理和大数据。
背景技术
地图类应用利用互联网技术连接真实世界，随着5G和AI的发展，地图行业的数据越来越庞大和丰富，其中除了招牌图像等影像数据，还包括了招牌图像上的POI(Point ofInteresting，兴趣点)名称等文本数据，智能情报中的文本数据等，这一类文本数据都直接或者间接的和POI的名称相关。
POI领域中使用的模型各异，这导致了很多模型无法共享一部分的领域知识，例如LSTM这一类模型都需要从头开始训练相关任务，无法从与之相关的一类任务中汲取领域知识。
现有的预训练模型的参数是在通用语料库上进行反复训练获取的，还不具备POI领域的知识，POI领域中很多语义关系和特征都与通用文本具有很大的差距。虽然可以使用其提供的预训练参数来进行微调，但是在实际工程上效果不好，无法共享进行迁移训练。
发明内容
本申请提供了一种地图兴趣点的训练模型确定方法、装置、设备、介质及程序产品。
根据本申请的一方面，提供了一种地图兴趣点的训练模型确定方法，所述方法包括：
获取与兴趣点POI相关的至少一类预训练任务；
根据所述预训练任务，确定第一阶段的训练模型；
根据所述第一阶段的训练模型的参数以及至少一类与所述POI相关的专有任务，确定第二阶段的训练模型。
根据本申请的另一方面，提供了一种地图兴趣点的训练模型确定装置，包括：
获取模块，用于获取与兴趣点POI相关的至少一类预训练任务；
第一处理模块，用于根据所述预训练任务，确定第一阶段的训练模型；
第二处理模块，用于根据所述第一阶段的训练模型的参数以及至少一类与所述POI相关的专有任务，确定第二阶段的训练模型。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请提供的地图兴趣点的训练模型确定方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请提供的地图兴趣点的训练模型确定方法。
根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本申请提供的地图兴趣点的训练模型确定方法。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请提供的一种地图兴趣点的训练模型确定方法的流程图；
图2为本申请提供的另一种地图兴趣点的训练模型确定方法的流程示意图；
图3为本申请提供的一种地图兴趣点的训练模型确定方法中第一阶段、第二阶段实现流程的示意图；
图4为本申请实施例提供的一种确定第二阶段的训练模型的方法的流程示意图；
图5为本申请提供的一种地图兴趣点的训练模型确定方法的坐标嵌入层的结构图；
图6为本申请提供的一种地图兴趣点的训练模型确定方法装置的结构图；
图7是用来实现本申请实施例的地图兴趣点的训练模型确定方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的地图兴趣点的训练模型确定方法、装置、设备、介质及程序产品。
图1为本申请实施例提供的一种地图兴趣点的训练模型确定方法的流程示意图。
本申请实施例以该训练模型确定方法被配置于训练模型确定装置中来举例说明，该训练模型确定装置可以应用于任一电子设备中，以使该电子设备可以执行训练模型确定功能。
其中，电子设备可以为个人电脑(Personal Computer，简称PC)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作***的硬件设备。
如图1所示，该地图兴趣点的训练模型确定方法，可以包括以下步骤：步骤S101，获取与兴趣点POI相关的至少一类预训练任务。
步骤S102，根据预训练任务，确定第一阶段的训练模型。
步骤S103，根据第一阶段的训练模型的参数以及至少一类与POI相关的专有任务，确定第二阶段的训练模型。
本申请的该实施例，分阶段进行预训练，第一阶段的训练获取一个POI领域弱相关的语言模型，其优化的目标在于将在通用领域低困惑度而在POI领域高困惑度的模型转换为在POI领域低困惑度的模型。第二阶段的训练在进一步进化语言模型在POI领域的深层语义提取任务，提高相应任务的评价指标，从而获取一个POI领域强相关的通用语言模型。
在上述实施例的基础上，本申请提出了另一种地图兴趣点的训练模型确定方法。
图2为本申请实施例提出的另一种地图兴趣点的训练模型确定方法的流程示意图。
如图2所示，该地图兴趣点的训练模型确定方法，还可以包括以下步骤：
步骤S201，获取和POI相关的掩码语言模型、下个语句预测模型和整字掩盖模型中的至少一个。
这里，掩码语言模型通过将POI名称中的字使用[mask]随机掩盖，使用语言模型去预测这个被掩盖的字；
下个语句预测模型通过将较长POI名称进行截断分为两个文本段，或者利用具有别名的POI名称组成文本对的形式，输入至网络中进行编码，最终选择第一个标志位[CLS]对应的特征作为分类器的输入特征进行分类；
整字掩盖模型是针对具有词级别含义的两个字统一进行掩盖。
步骤S202，采用掩码语言模型，对输入的POI名称进行编码，获得第一误差值。
具体实现时，将POI名称中的字符使用掩盖函数随机掩盖，预测被掩盖的位置上的字符，将预测的字符与被掩盖的位置上实际的字符进行比较，获得第一误差值。
步骤S203，采用下个语句预测模型，对输入的POI名称进行编码，获得第二误差值。
具体实现时，将POI名称分为至少两个文本段，根据第一文本段预测第二文本段，将预测的第二文本段与真实的第二文本段进行比较，获得第二误差值。
步骤S204，采用整字掩盖模型，对输入的POI名称进行编码，获得第三误差值。
具体实现时，将POI名称中的词级别的多个字符使用掩盖函数随机掩盖，预测被掩盖的位置上的词，将预测的词与被掩盖的位置上实际的词进行比较，获得第三误差值。
步骤S205，确定第一误差值、第二误差值以及第三误差值的总和，将总和作为第一阶段的训练模型的输出。
其中，总和＝第一误差值+第二误差值+第三误差值。如图3所示，是POI(兴趣点)预训练算法中第一阶段和第二阶段所进行的任务实现流程图，POI预训练算法具体分为两个训练阶段，每个阶段包含相应的预训练任务，第一阶段直接利用多任务学习进行预训练，其中MLM是掩码语言模型(Mask Language Model)，NSP是下个语句预测(Next SentencePrediction)，WWM是整字掩盖(Whole Word Mask)；
这里，掩码语言模型通过将POI名称中的字使用[mask]随机掩盖，使用语言模型去预测这个被掩盖的字，例如将『兰州牛肉拉面』掩盖为『[CLS]兰州[mask]肉拉面[SEP]』，输入至预训练模型中进行编码，并预测[mask]位置上的实际的字『牛』；
下个语句预测模型通过将较长POI名称进行截断分为两个文本段，或者利用具有别名的POI名称组成文本对的形式，输入至网络中进行编码，最终选择第一个标志位[CLS]对应的特征作为分类器的输入特征进行分类，例如将『兰州牛肉拉面(后厂村店)』编码为『[CLS]兰州牛肉拉面[SEP]后厂村店[SEP]』输入编码器中进行分类，当然也可以随机抽样两个不同的POI进行组合；
整字掩盖：和MLM具有相似点，唯一不同的是针对具有词级别含义的两个字统一进行掩盖，加入领域知识，例如将『兰州牛肉拉面』直接掩盖为『[CLS]兰州[mask][mask]拉面[SEP]』。
可以说明的是，该实施例中，第一阶段预训练内容包括掩码语言模型、下个语句预测模型和整字掩盖模型，分别得出第一误差值loss1、第二误差值loss2和第三误差值loss3，通过对第一误差值loss1、第二误差值loss2和第三误差值loss3的求总和，得到第一阶段模型的输出，即公式loss＝loss1+loss2+loss3，loss即为第一阶段模型的输出。
步骤S206，根据第一阶段的训练模型的参数以及至少一类与POI相关的专有任务，确定第二阶段的训练模型。
需要说明的是，步骤S206的实现过程，可以参见上述实施例中步骤S103的实现过程，在此不再赘述。
在上述实施例的基础上，在确定第二阶段的训练模型时，可以在第一阶段的训练模型的参数最小的情况下，对第一类与POI相关的专有任务进行训练，下面结合图4进行详细介绍，图4为本申请实施例提供的一种确定第二阶段的训练模型的方法的流程示意图。
如图4所示，该方法还可以包括以下步骤：
步骤S401，在第一阶段的训练模型的参数最小的情况下，对第一类与POI相关的专有任务进行训练，得到第一结果。
步骤S402，基于第一结果，对输入的第N+1类与POI相关的专有任务进行训练，得到第N+1个结果，N为正整数。
本申请实施例中，通过对输入的第N+1类与POI相关的专有任务进行POI场景下的命名实体识别，并进行POI分类、POI匹配、标签分类、首字母匹配处理中的至少一项。
POI分类包括：分辨一个POI是否是真实的POI名称；
POI匹配包括：匹配两段文本是否为同一个POI；
标签分类包括：为每一个POI对应一个标签；首字母匹配包括：将POI名称的拼音字母首部进行拼接，并与POI名称进行匹配。
如图3所示，第二阶段的训练通过一种持续性的学习方法框架进行多任务学习：
将已完成第一阶段预训练的POI名称进行预训练任务1；
进行预训练任务1与预训练任务2；
再进行预训练任务1、预训练任务2和预训练任务3；
最后进行预训练任务1、预训练任务2、预训练任务3，……，预训练任务N-1、预训练任务N，N为正整数，得到满意的POI名称学习结果。
需要说明的是预训练任务1、预训练任务2、预训练任务3，……，预训练任务N-1、预训练任务N中的预训练任务可以包括：兴趣点命名实体识别(POI NER)、兴趣点分类(POIclassify)、兴趣点匹配(POI match)、标签分类(Tag classify)、首字母匹配(Capitalmatch)。
预训练任务1、预训练任务2、预训练任务3，……，预训练任务N-1、预训练任务N是与POI相关的专有任务。
对所述POI场景下的命名实体识别、POI分类、POI匹配、标签分类和首字母匹配进行说明：
命名实体识别(POI NER)：POI场景下的命名实体识别任务，通过抽取语言模型的特征，输入至条件随机场中进行概率计算，分配每一个字所属于的类别，此处一般使用BIO标记法，与传统的NER任务相同；
POI分类(POI classify)：分辨一个POI是否是真实的POI名称，这部分的正样本可以直接从POI数据库中选择，然后再从通用语料库或者较为混淆的短语中选择一些负样本；
POI匹配(POI match)：匹配两段文本是否为同一个POI，这部分可以使用一些数据增强的方法来对原始POI名称进行增强，例如将后缀名进行剔除，增加额外的噪声文本等方法来获取和POI相似的文本作为正样本，负样本可以直接将不同POI进行搭配，也可以将原始POI的核心词进行剔除进行组合；
标签分类(tag classify)：在POI领域中，每一个POI都对应了一个相应的Tag，例如『麻辣烫』对应的是『美食』Tag，『群光广场』对应的是『购物广场』Tag，这些Tag信息对于分析POI的性质极为重要，所以在语言模型中加入Tag classify任务对POI的类别进行细粒度分类；
首字母匹配(Capital match)：这部分通过将POI名称的拼音字母首部进行拼接然后与POI名称进行匹配，例如将『王记麻辣香锅』与『wjmlxg』进行相互匹配，使其能够适用于例如在WiFi名称关联POI的场景。
该实施例中，对第一类与POI相关的专有任务进行训练，得到第一结果；
基于第一结果，对输入的第二类与POI相关的专有任务进行训练，得到第二结果；这里，对输入的第二类与POI相关的专有任务进行训练，并进行POI分类；
基于第二结果，对输入的第三类与POI相关的专有任务进行训练，得到第三结果；这里，对输入的第三类与POI相关的专有任务进行训练，并进行POI分类以及POI匹配；
基于第三结果，对输入的第四类与POI相关的专有任务进行训练，得到第四结果；这里，对输入的第四类与POI相关的专有任务进行训练，并进行POI分类、POI匹配以及标签分类；
基于第四结果，对输入的第五类与POI相关的专有任务进行训练，得到第五结果；这里，对输入的第五类与POI相关的专有任务进行训练，并进行POI分类、POI匹配、标签分类以及首字母匹配；
基于该方法，可以进一步进行对第六类至第N类与POI相关的专有任务进行训练；
这里，该第二阶段的训练模型，利用第一阶段训练完毕的模型参数进一步进行微调训练，但是这里使用一种持续预训练的思路，模型训练是循序渐进的，每次增加一个任务加大难度。第一阶段通过降低语言模型的困惑度，使其理解编码了POI领域的有效信息，第二阶段则通过提高任务的难度和复杂度进一步对语言模型进行训练，微调其中的参数，使得模型更加的通用和鲁棒。
在上述实施例的基础上，本申请的一可选实施例中，该地图兴趣点的训练模型确定方法，还可以包括：
将POI的位置信息嵌入第一阶段的训练模型。
其中，POI的位置信息通过以下方式确定：对POI所处的一预设范围内的区域进行网格化，将POI所处的网格作为POI的位置信息；网格的大小根据区域内POI的密度确定。
如图5所示，本申请针对POI领域的坐标位置信息，在预训练模型的输入嵌入层中额外增加一个坐标嵌入层的Embedding(嵌入)，通过将区域进行网格化，在有限空间中得到有限个数的坐标嵌入，网格可以针对POI密度不同而自适应地更改面积大小，这样就能够结合真实世界的位置信息对POI进行建模，有效的区别在不同区域而POI名称相同的情况。在文本匹配或者是搜索推荐领域等对位置信息有需求的场合适用。
其中，图5中，坐标嵌入是针对POI领域网格化后对应的坐标信息；位置嵌入是所对应的POI名称的位置信息；段落嵌入是对应的POI名称文本对应的段落数信息；字嵌入是对应的POI名称对应的文本信息。
本申请的上述实施例可以大大的提高在地图POI名称领域的所有下游任务的性能，并且可以作为通用的一个模型参数进行发布，极大提高了地图POI团队协作的效率，节约研发成本。
为了实现上述实施例，本申请提出了一种地图兴趣点的训练模型确定装置。
图6为本申请实施例提供的一种地图兴趣点的训练模型确定装置的结构示意图。
如图6所示，该地图兴趣点的训练模型确定装置600，可以包括：获取模块610、第一处理模块620以及第二处理模块630。
其中，获取模块610，用于获取与兴趣点POI相关的至少一类预训练任务。
第一处理模块620，用于根据预训练任务，确定第一阶段的训练模型。
第二处理模块630，用于根据第一阶段的训练模型的参数以及至少一类与POI相关的专有任务，确定第二阶段的训练模型。
可选的，获取模块610具体用于：获取和POI相关的掩码语言模型、下个语句预测模型和整字掩盖模型中的至少一个。
可选的，第一处理模块620，可以包括：
第一编码单元，用于采用所述掩码语言模型，对输入的POI名称进行编码，获得第一误差值。
第二编码单元，用于采用所述下个语句预测模型，对输入的POI名称进行编码，获得第二误差值；
第三编码单元，用于采用所述整字掩盖模型，对输入的POI名称进行编码，获得第三误差值；
确定单元，用于确定所述第一误差值、第二误差值以及第三误差值的总和，将所述总和作为第一阶段的训练模型的输出。
可选的，第一编码单元，还可以用于：
将POI名称中的字符使用掩盖函数随机掩盖，预测被掩盖的位置上的字符，将预测的所述字符与被掩盖的位置上实际的字符进行比较，获得第一误差值。
可选地，第二编码单元，还可以用于：
将POI名称分为至少两个文本段，根据第一文本段预测第二文本段，将预测的第二文本段与真实的第二文本段进行比较，获得第二误差值。
可选地，第三编码单元，还可以用于：
将POI名称中的词级别的多个字符使用掩盖函数随机掩盖，预测被掩盖的位置上的词，将预测的词与被掩盖的位置上实际的词进行比较，获得第三误差值。
可选地，第二处理模块620，还可以包括：
第一训练单元，用于在所述第一阶段的训练模型的参数最小的情况下，对第一类与所述POI相关的专有任务进行训练，得到第一结果；
第二训练单元，用于基于所述第一结果，对输入的第N+1类与所述POI相关的专有任务进行训练，得到第N+1个结果，N为正整数。
可选地，第二训练单元，还可以用于：
对输入的第N+1类与POI相关的专有任务进行POI场景下的命名实体识别，并进行POI分类、POI匹配、标签分类、首字母匹配处理中的至少一项；
POI分类包括：分辨一个POI是否是真实的POI名称；
POI匹配包括：匹配两段文本是否为同一个POI；
标签分类包括：为每一个POI对应一个标签；
首字母匹配包括：将POI名称的拼音字母首部进行拼接，并与POI名称进行匹配。
可选的，地图兴趣点的训练模型确定装置40还可以包括：
嵌入模块，用于将POI的位置信息嵌入第一阶段的训练模型。其中，POI的位置信息通过以下方式确定：
对POI所处的一预设范围内的区域进行网格化，将POI所处的网格作为POI的位置信息；所述网格的大小根据区域内POI的密度确定。
本实施例提供的装置能够实现上述实施例中所示的方法实施例中实现的各个过程，且可以达到相同有益效果，为避免重复，这里不再赘述。
为了实现上述实施例，本申请提出了一种电子设备，包括：
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例中所述的地图兴趣点的训练模型确定方法。
为了实现上述实施例，本申请提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述实施例中所述的地图兴趣点的训练模型确定方法。
为了实现上述实施例，本申请提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述实施例中所述的地图兴趣点的训练模型确定方法。
根据本申请的实施例，本申请还提供了一种电子设备、一种存储有计算机指令的非瞬时计算机可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本申请的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如图像样本处理方法。例如，在一些实施例中，图像样本处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。
在一些实施例中，计算机程序的部分或者全部可以经由ROM702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM703并由计算单元701执行时，可以执行上文描述的方法708的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像样本处理方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，计算机可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。计算机可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (16)
1.一种地图兴趣点的训练模型确定方法，所述方法包括：
获取和POI相关的掩码语言模型、下个语句预测模型和整字掩盖模型中的至少一个预训练任务；
根据所述预训练任务，确定第一阶段的训练模型；
在所述第一阶段的训练模型的参数最小的情况下，对第一类与所述POI相关的专有任务进行训练，得到第一结果；
基于所述第一结果，对输入的第N+1类与所述POI相关的专有任务进行训练，得到第N+1个结果，N为正整数；
其中，对输入的第N+1类与所述POI相关的专有任务进行训练，包括：
对输入的第N+1类与所述POI相关的专有任务进行POI场景下的命名实体识别，并进行POI分类、POI匹配、标签分类、首字母匹配处理中的至少一项；
所述POI分类包括：分辨一个POI是否是真实的POI名称；
所述POI匹配包括：匹配两段文本是否为同一个POI；
所述标签分类包括：为每一个POI对应一个标签；
所述首字母匹配包括：将POI名称的拼音字母首部进行拼接，并与POI名称进行匹配。
2.根据权利要求1所述的训练模型确定方法，其中，根据所述预训练任务，确定第一阶段的训练模型，包括：
采用所述掩码语言模型，对输入的POI名称进行编码，获得第一误差值；
采用所述下个语句预测模型，对输入的POI名称进行编码，获得第二误差值；
采用所述整字掩盖模型，对输入的POI名称进行编码，获得第三误差值；
确定所述第一误差值、所述第二误差值以及所述第三误差值的总和，将所述总和作为第一阶段的训练模型的输出。
3.根据权利要求2所述的训练模型确定方法，其中，采用所述掩码语言模型，对输入的POI名称进行编码，获得第一误差值，包括：
将POI名称中的字符使用掩盖函数随机掩盖，预测被掩盖的位置上的字符，将预测的所述字符与被掩盖的位置上实际的字符进行比较，获得第一误差值。
4.根据权利要求2所述的训练模型确定方法，其中，采用所述下个语句预测模型，对输入的POI名称进行编码，获得第二误差值，包括：
将POI名称分为至少两个文本段，根据第一文本段预测第二文本段，将预测的所述第二文本段与真实的第二文本段进行比较，获得第二误差值。
5.根据权利要求2所述的训练模型确定方法，其中，采用所述整字掩盖模型，对输入的POI名称进行编码，获得第三误差值，包括：
将POI名称中的词级别的多个字符使用掩盖函数随机掩盖，预测被掩盖的位置上的词，将预测的所述词与被掩盖的位置上实际的词进行比较，获得第三误差值。
6.根据权利要求1所述的训练模型确定方法，其中，还包括：
将POI的位置信息嵌入所述第一阶段的训练模型。
7.根据权利要求6所述的训练模型确定方法，其中，所述POI的位置信息通过以下方式确定：
对POI所处的一预设范围内的区域进行网格化，将POI所处的网格作为所述POI的位置信息；所述网格的大小根据所述区域内POI的密度确定。
8.一种地图兴趣点的训练模型确定装置，包括：
获取模块，用于获取和POI相关的掩码语言模型、下个语句预测模型和整字掩盖模型中的至少一个预训练任务；
第一处理模块，用于根据所述预训练任务，确定第一阶段的训练模型；
第一训练单元，用于在所述第一阶段的训练模型的参数最小的情况下，对第一类与所述POI相关的专有任务进行训练，得到第一结果；
第二训练单元，用于基于所述第一结果，对输入的第N+1类与所述POI相关的专有任务进行训练，得到第N+1个结果，N为正整数；
其中，所述第二训练单元，还用于：
对输入的第N+1类与所述POI相关的专有任务进行POI场景下的命名实体识别，并进行POI分类、POI匹配、标签分类、首字母匹配处理中的至少一项；
所述POI分类包括：分辨一个POI是否是真实的POI名称；
所述POI匹配包括：匹配两段文本是否为同一个POI；
所述标签分类包括：为每一个POI对应一个标签；
所述首字母匹配包括：将POI名称的拼音字母首部进行拼接，并与POI名称进行匹配。
9.根据权利要求8所述的训练模型确定装置，其中，所述第一处理模块，包括：
第一编码单元，用于采用所述掩码语言模型，对输入的POI名称进行编码，获得第一误差值；
第二编码单元，用于采用所述下个语句预测模型，对输入的POI名称进行编码，获得第二误差值；
第三编码单元，用于采用所述整字掩盖模型，对输入的POI名称进行编码，获得第三误差值；
确定单元，用于确定所述第一误差值、所述第二误差值以及所述第三误差值的总和，将所述总和作为第一阶段的训练模型的输出。
10.根据权利要求9所述的训练模型确定装置，其中，所述第一编码单元，还用于：
将POI名称中的字符使用掩盖函数随机掩盖，预测被掩盖的位置上的字符，将预测的所述字符与被掩盖的位置上实际的字符进行比较，获得第一误差值。
11.根据权利要求9所述的训练模型确定装置，其中，所述第二编码单元，还用于：
将POI名称分为至少两个文本段，根据第一文本段预测第二文本段，将预测的所述第二文本段与真实的第二文本段进行比较，获得第二误差值。
12.根据权利要求9所述的训练模型确定装置，其中，所述第三编码单元，还用于：
将POI名称中的词级别的多个字符使用掩盖函数随机掩盖，预测被掩盖的位置上的词，将预测的所述词与被掩盖的位置上实际的词进行比较，获得第三误差值。
13.根据权利要求8所述的训练模型确定装置，其中，所述装置，还包括：
嵌入模块，用于将POI的位置信息嵌入所述第一阶段的训练模型。
14.根据权利要求13所述的训练模型确定装置，其中，所述POI的位置信息通过以下方式确定：
对POI所处的一预设范围内的区域进行网格化，将POI所处的网格作为所述POI的位置信息；所述网格的大小根据所述区域内POI的密度确定。
15.一种电子设备，包括：
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的地图兴趣点的训练模型确定方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的地图兴趣点的训练模型确定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011561079.7A CN112559885B (zh) | 2020-12-25 | 2020-12-25 | 地图兴趣点的训练模型确定方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011561079.7A CN112559885B (zh) | 2020-12-25 | 2020-12-25 | 地图兴趣点的训练模型确定方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112559885A CN112559885A (zh) | 2021-03-26 |
| CN112559885B true CN112559885B (zh) | 2024-01-12 |
Family
ID=75032634
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011561079.7A Active CN112559885B (zh) | 2020-12-25 | 2020-12-25 | 地图兴趣点的训练模型确定方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112559885B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113342912B (zh) * | 2021-05-24 | 2022-03-18 | 北京百度网讯科技有限公司 | 地理位置区域的编码方法、建立编码模型的方法及装置 |
| CN113705628B (zh) * | 2021-08-06 | 2024-02-06 | 北京百度网讯科技有限公司 | 预训练模型的确定方法、装置、电子设备以及存储介质 |
| CN113836925B (zh) * | 2021-09-16 | 2023-07-07 | 北京百度网讯科技有限公司 | 预训练语言模型的训练方法、装置、电子设备及存储介质 |
| CN114357105B (zh) * | 2022-03-10 | 2022-06-10 | 北京百度网讯科技有限公司 | 地理预训练模型的预训练方法及模型微调方法 |
| CN114970741B (zh) * | 2022-06-15 | 2024-06-28 | 北京百度网讯科技有限公司 | 数据处理方法、装置及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2977916A1 (en) * | 2013-03-18 | 2016-01-27 | Baidu Online Network Technology (Beijing) Co., Ltd | Search suggestion method and apparatus for map search, and computer storage medium and device |
| CN106372666A (zh) * | 2016-08-31 | 2017-02-01 | 同观科技（深圳）有限公司 | 一种目标识别方法及装置 |
| CN108304873A (zh) * | 2018-01-30 | 2018-07-20 | 深圳市国脉畅行科技股份有限公司 | 基于高分辨率光学卫星遥感影像的目标检测方法及其*** |
| CN110909145A (zh) * | 2019-11-29 | 2020-03-24 | 支付宝(杭州)信息技术有限公司 | 针对多任务模型的训练方法及装置 |
| CN111144115A (zh) * | 2019-12-23 | 2020-05-12 | 北京百度网讯科技有限公司 | 预训练语言模型获取方法、装置、电子设备和存储介质 |
| CN111967599A (zh) * | 2020-08-25 | 2020-11-20 | 百度在线网络技术（北京）有限公司 | 用于训练模型的方法、装置、电子设备及可读存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241225B (zh) * | 2018-08-27 | 2022-03-25 | 百度在线网络技术（北京）有限公司 | 兴趣点竞争关系挖掘方法、装置、计算机设备及存储介质 |
-
2020
- 2020-12-25 CN CN202011561079.7A patent/CN112559885B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2977916A1 (en) * | 2013-03-18 | 2016-01-27 | Baidu Online Network Technology (Beijing) Co., Ltd | Search suggestion method and apparatus for map search, and computer storage medium and device |
| CN106372666A (zh) * | 2016-08-31 | 2017-02-01 | 同观科技（深圳）有限公司 | 一种目标识别方法及装置 |
| CN108304873A (zh) * | 2018-01-30 | 2018-07-20 | 深圳市国脉畅行科技股份有限公司 | 基于高分辨率光学卫星遥感影像的目标检测方法及其*** |
| CN110909145A (zh) * | 2019-11-29 | 2020-03-24 | 支付宝(杭州)信息技术有限公司 | 针对多任务模型的训练方法及装置 |
| CN111144115A (zh) * | 2019-12-23 | 2020-05-12 | 北京百度网讯科技有限公司 | 预训练语言模型获取方法、装置、电子设备和存储介质 |
| CN111967599A (zh) * | 2020-08-25 | 2020-11-20 | 百度在线网络技术（北京）有限公司 | 用于训练模型的方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| "Personalized POI Embedding for Successive POI Recommendation with Large-scale Smart Card Data";Jin-Young Kim 等;《IEEE》;全文 * |
| 基于双向LSTM和两阶段方法的触发词识别;何馨宇;李丽双;;中文信息学报(06);全文 * |
| 预训练语言模型在中文电子病历命名实体识别上的应用;吴小雪;张庆辉;;电子质量(09);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112559885A (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112559885B (zh) | 地图兴趣点的训练模型确定方法、装置及电子设备 | |
| CN113313022B (zh) | 文字识别模型的训练方法和识别图像中文字的方法 | |
| CN113361578B (zh) | 图像处理模型的训练方法、装置、电子设备及存储介质 | |
| US20230011678A1 (en) | Method for predicting protein-protein interaction | |
| WO2023015939A1 (zh) | 用于文本检测的深度学习模型训练方法及文本检测方法 | |
| CN113407610B (zh) | 信息抽取方法、装置、电子设备和可读存储介质 | |
| CN114841274B (zh) | 语言模型的训练方法、装置、电子设备和存储介质 | |
| CN112507118A (zh) | 信息分类抽取方法、装置和电子设备 | |
| CN113836925A (zh) | 预训练语言模型的训练方法、装置、电子设备及存储介质 | |
| CN113053367A (zh) | 语音识别方法、语音识别的模型训练方法以及装置 | |
| CN114416976A (zh) | 文本标注方法、装置及电子设备 | |
| CN114417878B (zh) | 语义识别方法、装置、电子设备及存储介质 | |
| CN116340548A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
| CN115293149A (zh) | 一种实体关系识别方法、装置、设备及存储介质 | |
| CN113553428B (zh) | 文档分类方法、装置及电子设备 | |
| CN112699237B (zh) | 标签确定方法、设备和存储介质 | |
| CN116662484A (zh) | 一种文本正则化方法、装置、设备以及存储介质 | |
| CN114691918B (zh) | 基于人工智能的雷达图像检索方法、装置以及电子设备 | |
| CN113361522B (zh) | 用于确定字符序列的方法、装置和电子设备 | |
| CN114817476A (zh) | 语言模型的训练方法、装置、电子设备和存储介质 | |
| CN114417862A (zh) | 文本匹配方法、文本匹配模型的训练方法和装置 | |
| CN114973333A (zh) | 人物交互检测方法、装置、设备以及存储介质 | |
| CN114841172A (zh) | 文本匹配双塔模型的知识蒸馏方法、装置及程序产品 | |
| CN113051926A (zh) | 文本抽取方法、设备和存储介质 | |
| CN112560481A (zh) | 语句处理方法、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |