CN114357105A - 地理预训练模型的预训练方法及模型微调方法 - Google Patents

Abstract

本公开提供了一种地理预训练模型的预训练方法及模型微调方法，涉及深度学习、图结构等人工智能技术领域。该方法包括：获取样本节点序列，样本节点序列基于预设的兴趣点异构图和随机游走算法生成，兴趣点异构图包括由各兴趣点充当的各节点和连接各节点的边，节点名为相应兴趣点的地名，边表征相应节点之间在真实世界存在的关联关系；将样本节点序列作为训练样本输入初始地理预训练模型；控制初始地理预训练模型按照预设的训练目标进行训练，将达到训练目标的当前地理预训练模型输出为目标地理预训练模型。通过将异构的、多模态的地理知识融入进模型的预训练过程，提升了地理位置相关下游任务的效果。

Description

地理预训练模型的预训练方法及模型微调方法

技术领域

本公开涉及数据处理技术领域，具体涉及深度学习、图结构等人工智能技术领域，尤其涉及一种地理预训练模型的预训练方法和地理预训练模型的模型微调方法，以及对应的装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术

区别于其它领域，地图领域比较特殊，地图领域的信息处理过程往往需要与现实世界产生关联。例如，在地图检索引擎中，当用户输入一个搜索词（或称查询词）时，候选兴趣点（英文全称：Point of Interest，英文缩写为：POI）本身的位置和它与用户当前所在位置的距离都是非常重要的排序特征。

而地图领域的文本数据以结构化的POI数据为主，此类数据中包含的信息较为精简和有限，通常只有名称、别名、地址、类别这几类信息。而地图领域与现实世界关联性比较强的信息往往不是以文本表示的，因此只在文本维度对模型进行预训练无法充分利用地图领域的时空大数据让预训练模型蕴含的信息与现实世界产生一定的关联。

发明内容

本公开实施例提出了一种地理预训练模型的预训练方法、地理预训练模型的模型微调方法，以及对应的装置、电子设备、计算机可读存储介质及计算机程序产品。

第一方面，本公开实施例提出了一种地理预训练模型的预训练方法，包括：获取样本节点序列；其中，样本节点序列基于预设的兴趣点异构图和随机游走算法生成，兴趣点异构图包括由各兴趣点充当的各节点和连接各节点的边，节点名为相应兴趣点的地名，边表征相应节点之间在真实世界存在的关联关系；将样本节点序列作为训练样本输入初始地理预训练模型；控制初始地理预训练模型按照预设的训练目标进行训练，并将达到训练目标的当前地理预训练模型输出为目标地理预训练模型；其中，训练目标包括指导模型从训练样本中学习到兴趣点的地名与预设位置编码之间的映射关系的子目标，预设位置编码对应于相应兴趣点在真实世界所处的地理区块。

第二方面，本公开实施例提出了一种地理预训练模型的预训练装置，包括：样本节点序列获取单元，被配置成获取样本节点序列；其中，样本节点序列基于预设的兴趣点异构图和随机游走算法生成，兴趣点异构图包括由各兴趣点充当的各节点和连接各节点的边，节点名为相应兴趣点的地名，边表征相应节点之间在真实世界存在的关联关系；训练样本输入单元，被配置成将样本节点序列作为训练样本输入初始地理预训练模型；地理预训练模型训练单元，被配置成控制初始地理预训练模型按照预设的训练目标进行训练，并将达到训练目标的当前地理预训练模型输出为目标地理预训练模型；其中，训练目标包括指导模型从训练样本中学习到兴趣点的地名与预设位置编码之间的映射关系的子目标，预设位置编码对应于相应兴趣点在真实世界所处的地理区块。

第三方面，本公开实施例提出了一种地理预训练模型的模型微调方法，包括：获取目标地理预训练模型；其中，目标地理预训练模型根据如第一方面中任一项的地理预训练模型训练方法得到；获取地图应用的新功能需求，并确定与新功能需求对应的新训练样本；在目标地理预训练模型的基础上，通过模型微调技术和新训练样本，生成与新功能需求对应的新地理模型。

第四方面，本公开实施例提出了一种地理预训练模型的模型微调装置，包括：目标地理预训练模型获取单元，被配置成获取目标地理预训练模型；其中，目标地理预训练模型根据如第二方面中任一项的地理预训练模型训练装置得到；新训练样本确定单元，被配置成获取地图应用的新功能需求，并确定与新功能需求对应的新训练样本；新地理模型生成单元，被配置成在目标地理预训练模型的基础上，通过模型微调技术和新训练样本，生成与新功能需求对应的新地理模型。

第五方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第一方面中任一实现方式描述的地理预训练模型的预训练方法或如第三方面中任一实现方式描述的地理预训练模型的模型微调方法。

第六方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第一方面中任一实现方式描述的地理预训练模型的预训练方法或如第三方面中任一实现方式描述的地理预训练模型的模型微调方法。

第七方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第一方面中任一实现方式描述的地理预训练模型的预训练方法或如第三方面中任一实现方式描述的地理预训练模型的模型微调方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开可以应用于其中的示例性***架构；

图2为本公开实施例提供的一种地理预训练模型的预训练方法的流程图；

图3为本公开实施例提供的一种兴趣点的空间知识的示意图；

图4为本公开实施例提供的一种样本节点序列生成方法的流程图；

图5为本公开实施例提供的一种兴趣点异构图生成过程的示意图；

图6为本公开实施例提供的一种地理预训练模型中不同功能层处理样本节点序列的过程示意图；

图7为本公开实施例提供的一种用于学习文本与预设位置编码之间映射关系的训练目标的示意图；

图8为本公开实施例提供的一种地理预训练模型的模型微调方法的流程图；

图9为本公开实施例提供的一种地理预训练模型的预训练装置的结构框图；

图10为本公开实施例提供的一种地理预训练模型的模型微调装置的结构框图；

图11为本公开实施例提供的一种适用于执行地理预训练模型的预训练方法和/或地理预训练模型的模型微调方法的电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

图1示出了可以应用本申请的地理预训练模型的预训练及微调方法，以及对应的装置、电子设备及计算机可读存储介质的实施例的示例性***架构100。

如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103和服务器105上可以安装有各种用于实现两者之间进行信息通讯的应用，例如模型训练类应用、模型微调类应用、地图相关数据处理类应用等。

终端设备101、102、103和服务器105可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等；当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器；服务器为软件时，可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。

服务器105通过内置的各种应用可以提供各种服务，以可以提供地理预训练模型的预训练服务的模型训练类应用为例，服务器105在运行该模型训练类应用时可实现如下效果：首先，获取样本节点序列，该样本节点序列基于预设的兴趣点异构图和随机游走算法预先生成，该兴趣点异构图包括由各兴趣点充当的各节点和连接各节点的边，节点名为相应兴趣点的地名，边表征相应节点之间在真实世界存在的关联关系；然后，将该样本节点序列作为训练样本输入初始地理预训练模型；最后，控制该初始地理预训练模型按照预设的训练目标进行训练，并将达到该训练目标的当前地理预训练模型输出为目标地理预训练模型，该训练目标包括指导模型从训练样本中学习到兴趣点的地名与预设位置编码之间的映射关系的子目标，该预设位置编码对应于相应兴趣点在真实世界所处的地理区块。

经过上述模型训练过程所得到的目标地理预训练模型，可以在实际中应用于与地理位置相关的技术领域（例如地图领域），从而更好的满足这些技术领域日益增长的与地理知识相关的新功能需求，通过模型微调技术在地理预训练模型的基础上，快速得到与新功能需求对应的新地理模型。

这一过程可以通过模型微调类应用来实现，服务器105在运行该模型微调类应用时可实现如下效果：首先，获取目标地理预训练模型；然后，获取地图应用的新功能需求，并确定与新功能需求对应的新训练样本；最后，在目标地理预训练模型的基础上，通过模型微调技术和新训练样本，生成与新功能需求对应的新地理模型。

无论是模型训练还是模型微调，都需要占用较多的运算资源和较强的运算能力，因此本申请后续各实施例所提供的地理预训练模型的预训练方法或地理预训练模型的模型微调方法一般由拥有较强运算能力、较多运算资源的服务器105来执行，相应地，地理预训练模型的预训练装置或地理预训练模型的模型微调装置一般也设置于服务器105中。但同时也需要指出的是，在终端设备101、102、103也具有满足要求的运算能力和运算资源时，终端设备101、102、103也可以通过其上安装的模型训练类应用或模型微调类应用完成上述本交由服务器105做的各项运算，进而输出与服务器105同样的结果。相应的，地理预训练模型的预训练装置或地理预训练模型的模型微调装置也可以设置于终端设备101、102、103中。在此种情况下，示例性***架构100也可以不包括服务器105和网络104。

另外，用于训练得到目标地理预训练模型的服务器（或终端设备）可以不同于在目标地理预训练模型基础上进行模型微调操作的服务器（或终端设备），以分割不同的模型操作。特殊的，经由服务器105训练得到的目标地理预训练模型或新地理模型也可以通过模型蒸馏的方式得到适合置入终端设备101、102、103的轻量级的模型，即可以根据实际需求的识别准确度灵活选择使用终端设备101、102、103中的轻量级模型，还是选择使用服务器105中的较复杂模型。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

为便于理解本公开所提供的技术方案，首先请参考图2提供的一种地理预训练模型的预训练方法的流程图，其中流程200包括以下步骤。

步骤201：获取样本节点序列。

本步骤旨在由地理预训练模型的预训练方法的执行主体（例如图1所示的服务器105）获取基于预设的兴趣点异构图和随机游走算法生成的样本节点序列。其中，该兴趣点异构图包括由各兴趣点充当的各节点和连接各节点的边，节点名为相应兴趣点的地名，边表征相应节点之间在真实世界存在的关联关系。

可知，兴趣点的地名通常表现为文本形式，而为了体现不同节点之间的位置关联，又需要结合通常表现为数字形式的空间知识。其中，地名(toponym)主要指地理位置实体（如POI、街道和地区）的名称。而空间知识主要包含一个地理位置实体的具***置（通常以地理坐标形式表示）、不同地理实体之间的空间关系（通常以三元组的形式表示）和人类移动轨迹（通常以ID序列的形式表示），可参见图3所示的示意图。

据上述对地名知识和空间知识的描述可知，要将其利用起来需要克服两个问题：1）异构数据集成，即如何将模态不同的文本（包含地名知识），和数字，三元组，序列（包含空间知识）等输入有机结合起来作为预训练模型的统一输入；2）模态差异，即如何将不同模态的数据在同一个隐式空间表示，使得模型可以充分学习到不同模态所蕴含的知识并可以在下游任务中得到充分应用。

本实施例将通过文本表示的地名知识和通过数字表示的空间知识这两种不同模态的知识（即异构）以图的方式有机结合起来，从而得到预训练模型的统一输入，也就是说节点名体现了地名知识、各节点之间存在的边体现了空间知识，进而使得异构图本身包含了两种模态的知识。

随机游走算法（random walk）也称随机漫步算法，随机行走本意等是指基于过去的表现，无法预测将来的发展步骤和方向，在本实施例中，用于在过去的行进轨迹的基础上，生成其它可能的节点序列，以大量获取训练样本。

顾名思义，通过随机游走算法生成的样本节点序列是一个按照时序排列的节点序列，在使用编号01-10命名的10个不同兴趣点的情况下，一个示例性样本节点序列可以表现为：01-03-08-04，即这是一个游走长度为4的样本节点序列，按照时间顺序先经过了编号为01的兴趣点、接着经过了编号为03的兴趣点，之后又经过了编号为08的兴趣点，最后经过了编号为04的兴趣点。需要说明的是，游走长度、游走方向、每条边的游走权重等算法参数均可以基于实际情况和实际需求自行设定，此处不做具体限定。

步骤202：将样本节点序列作为训练样本输入初始地理预训练模型。

在步骤201的基础上，本步骤旨在由上述执行主体将每条样本节点序列均作为训练样本输入初始地理预训练模型。具体的，根据初始地理预训练模型的模型特性，在将训练样本输入初始地理预训练模型时，可查看是否支持批量输入或并行输入，以提升训练样本的输入效率和训练效率。

步骤203：控制初始地理预训练模型按照预设的训练目标进行训练，并将达到训练目标的当前地理预训练模型输出为目标地理预训练模型。

在步骤202的基础上，本步骤旨在由上述执行主体按照预设的训练目标来从输入的训练样本进行知识学习，进而最终将达到训练目标的当前地理预训练模型输出为目标地理预训练模型。其中，训练目标是用于指导模型如何从训练样本中学习知识、学习怎样的知识的目标，使得更准确、更好的学习到所需的知识。

由于样本节点序列中同时包含以文本表示的地名知识和以数字表示的空间知识，训练目标可以针对性的分成对应的两个，例如分为用于指导学习以文本形式展现的地名知识的第一子训练目标，和用于指导模型学习文本与其表示的实体在真实世界坐标的映射关系的第二子训练目标，从而有效学习到空间知识。考虑到文本与真实世界坐标之间的映射关系寻找难度大，还可以将其转换为寻求学习文本与其对应兴趣点所属真实世界的地理区块的映射关系，而该地理区块则可以采用基于真实世界坐标确定出的预设位置编码，以通过位置编码来降低映射关系的寻找难度。

训练目标包括指导模型从训练样本中学习到兴趣点的地名与预设位置编码之间的映射关系的子目标，预设位置编码对应于相应兴趣点在真实世界所处的地理区块。

本公开实施例提供的地理预训练模型训练方法，通过将以文本形式表示的地名知识和以数字形式表示的空间知识，以异构图的图结构有机融合在一起，得以克服多模态地理知识存在的模态差异，借助能够处理图数据的初始地理预训练模型就可以在同一个隐式空间更好的学习不同模态的地理知识，进而为地理位置相关的下游任务提供一个较好的地理预训练模型，提升下游任务的任务实现效果。

在上述实施例的基础上，还可以在兴趣点异构图中增加依附于各节点的前置搜索节点，其中，该前置搜索节点记录有相应的兴趣点被选择之前的接收到的搜索词，以通过前置搜索节点与节点之间的前置关系，使得生成的样本节点序列中包含兴趣点的搜索词，进而使得地理预训练模型在训练中也结合搜索词，提升寻找不同兴趣点之间关联的准确性和全面性。

在上述实施例中，兴趣点异构图中的边用于表征相应节点之间在真实世界存在的关联关系，还可以根据不同类型的关联关系，将边划分为实线边和虚线边，其中，实线边基于用户历史出行轨迹中记录的兴趣点时间序列确定得到，实线边表征不同节点之间的出行逻辑关联；虚线边表征处于相同地理区块内的不同节点之间的同区块关联。进而通过增加虚线边表示的同区块关联，可以在后续基于随机游走算法生成样本节点序列时，因同区块关联提供的节点替换方式或游走长度提升方式，得到更多可能的节点序列，最终通过提升训练样本的数量级来提升模型训练效果。

请参考图4，图4为本公开实施例提供的一种样本节点序列生成方法的流程图，即针对如何获取步骤201所需的样本节点序列提供了一种具体的实现方式。其中流程400包括以下步骤。

步骤401：从地图应用获取用户搜索日志和兴趣点数据库。

本步骤旨在由执行主体（可以仍为图1所示服务器105，也可以是区别于服务105的其它服务器或其它具有运算能力的设备）从地图应用获取用户搜索日志和兴趣点数据库。

该兴趣点数据库记录有各兴趣点的地名知识和空间知识。地名知识主要指地名，而地名主要指地理位置实体（如POI、街道和地区）的名称；空间知识主要包含一个地理位置实体的具***置（通常以地理坐标形式表示）、不同地理实体之间的空间关系（通常以三元组的形式表示）和人类移动轨迹（通常以ID序列的形式表示），可参见图3所示的示意图。

步骤402：从用户搜索日志提取与用户每次搜索对应的搜索词和所实际选择的兴趣点，以及与用户出行轨迹对应的兴趣点时间序列。

其中，兴趣点时间序列则是将用户出行轨迹中涉及的多个兴趣点按照到达的时间先后顺序进行排列得到。

步骤403：将每个兴趣点作为节点，并根据对应的搜索词建立依附于相应节点的前置搜索节点。

步骤404：根据兴趣点时间序列建立存在出行逻辑关联的相应节点之间的实线边连接。

步骤405：根据空间知识中的各地理区块边界和各兴趣点的真实世界坐标，建立存在同区块关联的相应节点之间的虚线边连接，得到兴趣点异构图。

实际所构建出的兴趣点异构图可参见图5所示的示意图。图5所示的兴趣点包含两种节点：POI节点和前置搜索节点（用户选择POI时输入的搜索词）；三种边：点击边（图中搜索-点击-POI，即用户用该搜索词搜索了POI），地块共现边（图中POI-共同出现-POI，即两个POI出现在了同一区块，区块预先通过S2 geometry库提供的划分方式划分得到），和移动轨迹边（图中起点-到-终点，即用户先后放达的两个POI）。

步骤406：在兴趣点异构图上通过随机游走算法进行随机游走操作，得到样本节点序列。

具体的，通过按照实际情况设定的随机游走算法参数，即可快速、高效率的得到大量样本节点序列。

即本实施例所提供的技术方案，从用户搜索日志和兴趣点数据库入手，后续既通过设置前置搜索节点来将搜索词引入样本节点序列，又通过设置体现出行逻辑关联的实线边和体现同区块关联的虚线边，来对用户出行轨迹未记录的可能轨迹进行拓展，进而不仅使得后续得到的样本阶段序列包含有更多更有价值的知识、又增加了样本节点序列的数量级，最终共同起到提升地理预训练模型对相关地理知识学习的全面性和准确性的效果。

为了尽可能的提升目标地理预训练模型的训练效果，以及考虑到训练样本是一个节点序列，因此还可以设置初始地理预训练模型包括第一转换（Tranformer）层、聚合（TranSAGE）层、第二转换（Tranformer）层，请对应参见图6所示的示意图。如图6所示，第一转换层（即图6所示的Transformer（L12））用于将构成样本节点序列的每个节点的节点信息分别进行第一特征编码，得到节点分类编码（即图6所示的

）和节点上下文编码（即图6所示的

），聚合层（即图6所示的TranSAGE层）用于将每个节点的节点分类编码结合其它节点的节点分类编码进行特征聚合，得到聚合后节点分类编码（即图6所示的

），第二转换层（即图6所示的Transformer（L1））用于将每个节点的聚合后节点分类编码和节点上下文编码分别进行第二特征编码，每个第二特征编码的结果将根据节点信息包含的知识表现形式进行对应的预训练目标的训练。

为便于理解上述技术方案，此处还通过一种具体的运算方式来进一步详细的解释上述的数据处理过程。

在兴趣点异构图上随机游走得到输入文档

后，首先用sentence-piece算法将其中的每个节点

的文本表示转化为子词（subword）序列

。随后我们用transformer层对

进行编码：

。

随后，用一个基于transformer的聚合层建模输入序列中的图结构，为了高效运算，只用每个节点的序列聚合表示

进行如下计算：

；

；

；

。

其中，

和

是根据不同节点种类和适配不同参数的两个线性层。

随后，将聚合后的表示

与其原上下文

表示首尾相连并用另外一个transform层进行建模，

，

将用于进行预训练任务。

上例仅作为结合上述思想在某个应用场景下的具体实现，本领域技术人员可基于上述第一转换层、聚合层、第二转换层所反映出的数据处理思想，结合不同的实际情况，得到多种变种和适应性调整，此处不再一一列举。

在上述任意实施例的基础上，考虑到文本与真实世界坐标之间的映射关系寻找难度大，还可以将其转换为寻求学习文本与其对应兴趣点所属真实世界的地理区块的映射关系，而该地理区块则可以采用基于真实世界坐标确定出的预设位置编码，以通过位置编码来降低映射关系的寻找难度。

一种预设位置编码的编码规则可以为。

将真实世界用按预设的区块划分方式（例如可以使用S2 geometry库提供的划分标准）分成多个地理区块。

控制每个地理区块各自对应一个编码令牌（可以称Token）；其中，编码令牌的长度对应所代表的区块划分粒度等级，区块划分粒度等级每增加两级，编码令牌的长度增加一，相邻地理区块划分粒度等级（例如级别为2n-1和2n）的编码令牌仅有最后一位编码不同。

而为了尽可能高效地预测多个层级的编码令牌，可以将预测任务转化为构成编码令牌的每位编码进行位置预测，例如分别对如下三个内容预测其对应的标签：1）编码令牌在2n-1级别的字符；2）编码令牌在2n级别的字符；3）编码令牌在2n-1和2n级别所共享的倒数第二个字符。

如图7所示，训练目标是为了地理预训练模型学习到文本表示的兴趣点地名与其在真实世界的所处地理区块之间的映射关系，例如输入的是A国B市C区D路X号Y园区，其输出是该地址所关联坐标的多层级的字符化表达（例如图7所示中所示的35f1c、35f1b、35f1ac、35f1a9）。

需要说明的是，本实施例仅是提供了一种示例性的预设位置编码的编码规则，预设位置编码的位数的规则和具体细节均可以结合实际情况自行调整，只要能够实现通过预设位置编码来降低文本与地理区块编码之间映射关系的寻找、难度即可。

上述各实施例从各个方面阐述了如何通过预训练得到地理预训练模型，下述将通过图8所示的实施例，描述如果将该地理预训练模型作为一个可利用的“中间件”或“半成品”来为地理相关技术领域（例如地图领域）的其它下游任务提供帮助，以使下游任务可以在该“半成品”的基础上通过少量样本的少量训练，得到一个较高准确性、效果较好的新地理模型。

图8通过流程800提供了一种地理预训练模型的模型微调方法，包括如下步骤。

步骤801：获取目标地理预训练模型。

步骤802：获取地图应用的新功能需求，并确定与新功能需求对应的新训练样本。

步骤803：在目标地理预训练模型的基础上，通过模型微调技术和新训练样本，生成与新功能需求对应的新地理模型。

模型微调技术的原理，相当于将之前已经训练好的目标地理预训练模型的模型参数，作为新地理模型的初始化模型参数，从而通过参数继承的方式直接拥有较好的模型结构，而使用模型微调技术的前提则应该是新功能需求与目标地理预训练模型所具有的能力强相关，因此可以后续仅通过少量的新训练样本快速得到一个效果较好的、用于实现新功能需求的新地理模型。

具体的，由于目标地理预训练模型是融合了兴趣点的地名知识和空间知识，通过学习找到了不同兴趣点之间存在的各种关联，因此只要新功能需求与所学习到的知识相关，即可通过这种方式提升效果。

以下分别介绍两种新功能需求。

其一，在新功能需求为同类兴趣点推荐时，确定与同类兴趣点推荐对应的用户调查问卷，然后根据用户调查问卷中记录的内容生成新训练样本；

后续即可在目标地理预训练模型的基础上，通过模型微调技术和新训练样本，生成用于根据当前兴趣点推荐同类兴趣点的新地理模型，即此时的新地理模型就可以为用户根据当前兴趣点推荐同类兴趣点，这个新功能需求可以利用目标地理预训练模型从构成兴趣点异构图的虚线边学习到的同区块逻辑关联（来源于同类型兴趣点通常会“扎堆”出现、存在“聚集性”的特点），进而基于同区块关联向用户推荐与当前兴趣点具有同类型的其它兴趣点。

其二，在新功能需求为随意逛逛时，也可以通过问卷或其它形式得到少量的新训练样本。后续即可在目标地理预训练模型的基础上，通过模型微调技术和新训练样本，生成用于根据当前兴趣点推荐其它兴趣点的新地理模型。即此时的新地理模型就可以为用户根据当前兴趣点推荐一些其它的兴趣点，这个新功能需求可以利用目标地理预训练模型从构成兴趣点异构图的实线边学习到的出行逻辑关联，进而基于出行逻辑关联向用户推荐与当前兴趣点具有出行逻辑关系的其它兴趣点，以通过这种关联来满足用户的随意逛逛的需求。

进一步参考图9和图10，作为对上述各图所示方法的实现，本公开分别提供了一种地理预训练模型的预训练装置和一种地理预训练模型的模型微调装置的实施例，地理预训练模型的预训练装置的实施例与图2所示的地理预训练模型的预训练方法的实施例相对应，地理预训练模型的模型微调装置的实施例与图8所示的地理预训练模型的模型微调方法的实施例相对应。上述装置具体可以应用于各种电子设备中。

如图9所示，本实施例的地理预训练模型的预训练装置900可以包括：样本节点序列获取单元901、训练样本输入单元902、预训练单元903。其中，样本节点序列获取单元901，被配置成获取样本节点序列；其中，样本节点序列基于预设的兴趣点异构图和随机游走算法生成，兴趣点异构图包括由各兴趣点充当的各节点和连接各节点的边，节点名为相应兴趣点的地名，边表征相应节点之间在真实世界存在的关联关系；训练样本输入单元902，被配置成将样本节点序列作为训练样本输入初始地理预训练模型；预训练单元903，被配置成控制初始地理预训练模型按照预设的训练目标进行训练，并将达到训练目标的当前地理预训练模型输出为目标地理预训练模型；其中，训练目标包括指导模型从训练样本中学习到兴趣点的地名与预设位置编码之间的映射关系的子目标，预设位置编码对应于相应兴趣点在真实世界所处的地理区块。

在本实施例中，地理预训练模型的预训练装置900中：样本节点序列获取单元901、训练样本输入单元902、预训练单元903的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，兴趣点异构图还可以包括：依附于各节点的前置搜索节点，前置搜索节点记录有相应的兴趣点被选择之前的接收到的搜索词。

在本实施例的一些可选的实现方式中，边包括实线边和虚线边，实线边基于用户历史出行轨迹中记录的兴趣点时间序列确定得到，实线边表征不同节点之间的出行逻辑关联，虚线边表征处于相同地理区块内的不同节点之间的同区块关联。

在本实施例的一些可选的实现方式中，地理预训练模型的预训练装置900还可以包括：被配置成基于兴趣点异构图和随机游走算法生成样本节点序列的样本节点序列生成单元，样本节点序列生成单元可以被进一步配置成。

从地图应用获取用户搜索日志和兴趣点数据库；其中，兴趣点数据库记录有各兴趣点的地名知识和空间知识。

从用户搜索日志提取与用户每次搜索对应的搜索词和所实际选择的兴趣点，以及与用户出行轨迹对应的兴趣点时间序列。

将每个兴趣点作为节点，并根据对应的搜索词建立依附于相应节点的前置搜索节点。

根据兴趣点时间序列建立存在出行逻辑关联的相应节点之间的实线边连接。

根据空间知识中的各地理区块边界和各兴趣点的真实世界坐标，建立存在同区块关联的相应节点之间的虚线边连接，得到兴趣点异构图。

在兴趣点异构图上通过随机游走算法进行随机游走操作，得到样本节点序列。

在本实施例的一些可选的实现方式中，初始地理预训练模型包括第一转换层、聚合层、第二转换层，第一转换层用于将构成样本节点序列的每个节点的节点信息分别进行第一特征编码，得到节点分类编码和节点上下文编码，聚合层用于将每个节点的节点分类编码结合其它节点的节点分类编码进行特征聚合，得到聚合后节点分类编码，第二转换层用于将每个节点的聚合后节点分类编码和节点上下文编码分别进行第二特征编码。

在本实施例的一些可选的实现方式中，预设位置编码的编码规则包括：将真实世界用按预设的区块划分方式分成多个地理区块；控制每个地理区块各自对应一个编码令牌；其中，编码令牌的长度对应所代表的区块划分粒度等级，区块划分粒度等级每增加两级，编码令牌的长度增加一，相邻地理区块划分粒度等级的编码令牌仅有最后一位编码不同。

作为与地理预训练模型训练方法的方法实施例对应存在的装置实施例，本实施例提供的地理预训练模型训练装置，通过将以文本形式表示的地名知识和以数字形式表示的空间知识，以异构图的图结构有机融合在一起，得以克服多模态地理知识存在的模态差异，借助能够处理图数据的初始地理预训练模型就可以在同一个隐式空间更好的学习不同模态的地理知识，进而为地理位置相关的下游任务提供一个较好的地理预训练模型，提升对下游任务的任务实现效果。

如图10所示，本实施例的地理预训练模型的模型微调装置1000可以包括：目标地理预训练模型获取单元1001、新训练样本确定单元1002、新地理模型生成单元1003。其中，目标地理预训练模型获取单元1001，被配置成获取目标地理预训练模型；其中，目标地理预训练模型根据如图9的地理预训练模型训练装置得到；新训练样本确定单元1002，被配置成获取地图应用的新功能需求，并确定与新功能需求对应的新训练样本；新地理模型生成单元1003，被配置成在目标地理预训练模型的基础上，通过模型微调技术和新训练样本，生成与新功能需求对应的新地理模型。

在本实施例中，地理预训练模型的模型微调装置1000中：目标地理预训练模型获取单元1001、新训练样本确定单元1002、新地理模型生成单元1003的具体处理及其所带来的技术效果可分别如图8所示的地理预训练模型的模型微调方法的实施例中记载的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，新训练样本确定单元1002可以包括被配置成确定与新功能需求对应的新训练样本的新训练样本确定子单元，新训练样本确定子单元可以被进一步配置成。

响应于新功能需求为同类兴趣点推荐，确定与同类兴趣点推荐对应的用户调查问卷。

根据用户调查问卷生成新训练样本。

对应的，新地理模型生成单元1003可以被进一步配置成。

在目标地理预训练模型的基础上，通过模型微调技术和新训练样本，生成用于根据当前兴趣点推荐同类兴趣点的新地理模型。

在本实施例的一些可选的实现方式中，新地理模型生成单元1003可以被进一步配置成。

响应于新功能需求为随意逛逛，在目标地理预训练模型的基础上，通过模型微调技术和新训练样本，生成用于根据当前兴趣点推荐同区块其它兴趣点的新地理模型。

作为与地理预训练模型的模型微调方法的方法实施例对应存在的装置实施例，本实施例提供的地理预训练模型的模型微调装置，在目标地理预训练模型的基础上，结合新功能需求和模型微调技术，可以快速基于包含更多地理知识的目标地理预训练模型来得到实际用于满足新功能需求的新地理模型。

根据本公开的实施例，本公开还提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现上述任一实施例描述的地理预训练模型的预训练方法和/或地理预训练模型的模型微调方法。

根据本公开的实施例，本公开还提供了一种可读存储介质，该可读存储介质存储有计算机指令，该计算机指令用于使计算机执行时能够实现上述任一实施例描述的地理预训练模型的预训练方法和/或地理预训练模型的模型微调方法。

本公开实施例提供了一种计算机程序产品，该计算机程序在被处理器执行时能够实现上述任一实施例描述的地理预训练模型的预训练方法和/或地理预训练模型的模型微调方法。

图11示出了可以用来实施本公开的实施例的示例电子设备1100的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器（ROM）1102中的计算机程序或者从存储单元1108加载到随机访问存储器（RAM）1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出（I/O）接口1105也连接至总线1104。

设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如地理预训练模型的预训练方法和/或地理预训练模型的模型微调方法。例如，在一些实施例中，地理预训练模型的预训练方法和/或地理预训练模型的模型微调方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的地理预训练模型的预训练方法和/或地理预训练模型的模型微调方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行地理预训练模型的预训练方法和/或地理预训练模型的模型微调方法。

本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上***的***（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的***和技术实施在包括后台部件的计算***（例如，作为数据服务器）、或者包括中间件部件的计算***（例如，应用服务器）、或者包括前端部件的计算***（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将***的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器（VPS，Virtual Private Server）服务中存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种地理预训练模型的预训练方法，包括：

获取样本节点序列；其中，所述样本节点序列基于预设的兴趣点异构图和随机游走算法生成，所述兴趣点异构图包括由各兴趣点充当的各节点和连接各所述节点的边，所述节点名为相应兴趣点的地名，所述边表征相应节点之间在真实世界存在的关联关系；

将所述样本节点序列作为训练样本输入初始地理预训练模型；

控制所述初始地理预训练模型按照预设的训练目标进行训练，并将达到所述训练目标的当前地理预训练模型输出为目标地理预训练模型；其中，所述训练目标包括指导模型从所述训练样本中学习到兴趣点的地名与预设位置编码之间的映射关系的子目标，所述预设位置编码对应于相应兴趣点在真实世界所处的地理区块。

2.根据权利要求1所述的方法，其中，所述兴趣点异构图还包括：依附于各所述节点的前置搜索节点，所述前置搜索节点记录有相应的兴趣点被选择之前的接收到的搜索词。

3.根据权利要求1所述的方法，其中，所述边包括实线边和虚线边，所述实线边基于用户历史出行轨迹中记录的兴趣点时间序列确定得到，所述实线边表征不同节点之间的出行逻辑关联，所述虚线边表征处于相同地理区块内的不同节点之间的同区块关联。

4.根据权利要求1所述的方法，还包括：基于所述兴趣点异构图和所述随机游走算法生成所述样本节点序列，所述基于所述兴趣点异构图和所述随机游走算法生成所述样本节点序列，包括：

从地图应用获取用户搜索日志和兴趣点数据库；其中，所述兴趣点数据库记录有各兴趣点的地名知识和空间知识；

从所述用户搜索日志提取与用户每次搜索对应的搜索词和所实际选择的兴趣点，以及与用户出行轨迹对应的兴趣点时间序列；

将每个兴趣点作为节点，并根据对应的搜索词建立依附于相应节点的前置搜索节点；

根据所述兴趣点时间序列建立存在出行逻辑关联的相应节点之间的实线边连接；

根据所述空间知识中的各地理区块边界和各兴趣点的真实世界坐标，建立存在同区块关联的相应节点之间的虚线边连接，得到所述兴趣点异构图；

在所述兴趣点异构图上通过所述随机游走算法进行随机游走操作，得到所述样本节点序列。

5.根据权利要求1所述的方法，其中，所述初始地理预训练模型包括第一转换层、聚合层、第二转换层，所述第一转换层用于将构成所述样本节点序列的每个节点的节点信息分别进行第一特征编码，得到节点分类编码和节点上下文编码，所述聚合层用于将每个节点的节点分类编码结合其它节点的节点分类编码进行特征聚合，得到聚合后节点分类编码，所述第二转换层用于将每个节点的聚合后节点分类编码和节点上下文编码分别进行第二特征编码。

6.根据权利要求1-5任一项所述的方法，其中，所述预设位置编码的编码规则包括：将真实世界用按预设的区块划分方式分成多个地理区块；控制每个地理区块各自对应一个编码令牌；其中，所述编码令牌的长度对应所代表的区块划分粒度等级，区块划分粒度等级每增加两级，所述编码令牌的长度增加一，相邻地理区块划分粒度等级的编码令牌仅有最后一位编码不同。

7.一种地理预训练模型的模型微调方法，包括：

获取目标地理预训练模型；其中，所述目标地理预训练模型根据权利要求1-6任一项所述的地理预训练模型训练方法得到；

获取地图应用的新功能需求，并确定与新功能需求对应的新训练样本；

在所述目标地理预训练模型的基础上，通过模型微调技术和所述新训练样本，生成与所述新功能需求对应的新地理模型。

8.根据权利要求7所述的方法，其中，所述确定与新功能需求对应的新训练样本，包括；

响应于所述新功能需求为同类兴趣点推荐，确定与同类兴趣点推荐对应的用户调查问卷；

根据所述用户调查问卷生成所述新训练样本；

对应的，所述在所述目标地理预训练模型的基础上，通过模型微调技术和所述新训练样本，生成与所述新功能需求对应的新地理模型，包括：

在所述目标地理预训练模型的基础上，通过模型微调技术和所述新训练样本，生成用于根据当前兴趣点推荐同类兴趣点的新地理模型。

9.根据权利要求7所述的方法，其中，所述在所述目标地理预训练模型的基础上，通过模型微调技术和所述新训练样本，生成与所述新功能需求对应的新地理模型，包括：

响应于所述新功能需求为随意逛逛，在所述目标地理预训练模型的基础上，通过模型微调技术和所述新训练样本，生成用于根据当前兴趣点推荐其它兴趣点的新地理模型。

10.一种地理预训练模型的预训练装置，包括：

样本节点序列获取单元，被配置成获取样本节点序列；其中，所述样本节点序列基于预设的兴趣点异构图和随机游走算法生成，所述兴趣点异构图包括由各兴趣点充当的各节点和连接各所述节点的边，所述节点名为相应兴趣点的地名，所述边表征相应节点之间在真实世界存在的关联关系；

训练样本输入单元，被配置成将所述样本节点序列作为训练样本输入初始地理预训练模型；

预训练单元，被配置成控制所述初始地理预训练模型按照预设的训练目标进行训练，并将达到所述训练目标的当前地理预训练模型输出为目标地理预训练模型；其中，所述训练目标包括指导模型从所述训练样本中学习到兴趣点的地名与预设位置编码之间的映射关系的子目标，所述预设位置编码对应于相应兴趣点在真实世界所处的地理区块。

11.根据权利要求10所述的装置，其中，所述兴趣点异构图还包括：依附于各所述节点的前置搜索节点，所述前置搜索节点记录有相应的兴趣点被选择之前的接收到的搜索词。

12.根据权利要求10所述的装置，其中，所述边包括实线边和虚线边，所述实线边基于用户历史出行轨迹中记录的兴趣点时间序列确定得到，所述实线边表征不同节点之间的出行逻辑关联，所述虚线边表征处于相同地理区块内的不同节点之间的同区块关联。

13.根据权利要求10所述的装置，还包括：被配置成基于所述兴趣点异构图和所述随机游走算法生成所述样本节点序列的样本节点序列生成单元，所述样本节点序列生成单元被进一步配置成：

从地图应用获取用户搜索日志和兴趣点数据库；其中，所述兴趣点数据库记录有各兴趣点的地名知识和空间知识；

从所述用户搜索日志提取与用户每次搜索对应的搜索词和所实际选择的兴趣点，以及与用户出行轨迹对应的兴趣点时间序列；

将每个兴趣点作为节点，并根据对应的搜索词建立依附于相应节点的前置搜索节点；

根据所述兴趣点时间序列建立存在出行逻辑关联的相应节点之间的实线边连接；

根据所述空间知识中的各地理区块边界和各兴趣点的真实世界坐标，建立存在同区块关联的相应节点之间的虚线边连接，得到所述兴趣点异构图；

在所述兴趣点异构图上通过所述随机游走算法进行随机游走操作，得到所述样本节点序列。

14.根据权利要求10所述的装置，其中，所述初始地理预训练模型包括第一转换层、聚合层、第二转换层，所述第一转换层用于将构成所述样本节点序列的每个节点的节点信息分别进行第一特征编码，得到节点分类编码和节点上下文编码，所述聚合层用于将每个节点的节点分类编码结合其它节点的节点分类编码进行特征聚合，得到聚合后节点分类编码，所述第二转换层用于将每个节点的聚合后节点分类编码和节点上下文编码分别进行第二特征编码。

15.根据权利要求10-14任一项所述的装置，其中，所述预设位置编码的编码规则包括：将真实世界用按预设的区块划分方式分成多个地理区块；控制每个地理区块各自对应一个编码令牌；其中，所述编码令牌的长度对应所代表的区块划分粒度等级，区块划分粒度等级每增加两级，所述编码令牌的长度增加一，相邻地理区块划分粒度等级的编码令牌仅有最后一位编码不同。

16.一种地理预训练模型的模型微调装置，包括：

目标地理预训练模型获取单元，被配置成获取目标地理预训练模型；其中，所述目标地理预训练模型根据权利要求10-15任一项所述的地理预训练模型训练装置得到；

新训练样本确定单元，被配置成获取地图应用的新功能需求，并确定与新功能需求对应的新训练样本；

新地理模型生成单元，被配置成在所述目标地理预训练模型的基础上，通过模型微调技术和所述新训练样本，生成与所述新功能需求对应的新地理模型。

17.根据权利要求16所述的装置，其中，新训练样本确定单元包括被配置成确定与新功能需求对应的新训练样本的新训练样本确定子单元，所述新训练样本确定子单元被进一步配置成；

响应于所述新功能需求为同类兴趣点推荐，确定与同类兴趣点推荐对应的用户调查问卷；

根据所述用户调查问卷生成所述新训练样本；

对应的，所述新地理模型生成单元被进一步配置成：

在所述目标地理预训练模型的基础上，通过模型微调技术和所述新训练样本，生成用于根据当前兴趣点推荐同类兴趣点的新地理模型。

18.根据权利要求16所述的装置，其中，所述新地理模型生成单元被进一步配置成：

响应于所述新功能需求为随意逛逛，在所述目标地理预训练模型的基础上，通过模型微调技术和所述新训练样本，生成用于根据当前兴趣点推荐其它兴趣点的新地理模型。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的地理预训练模型的预训练方法和/或权利要求7-9任一项所述的地理预训练模型的模型微调方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的地理预训练模型的预训练方法和/或权利要求7-9任一项所述的地理预训练模型的模型微调方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-6中任一项所述的地理预训练模型的预训练方法和/或权利要求7-9任一项所述的地理预训练模型的模型微调方法。

Images