CN111737383B - 提取地理位置点空间关系的方法、训练提取模型的方法及装置 - Google Patents

提取地理位置点空间关系的方法、训练提取模型的方法及装置 Download PDF

Info

Publication number
CN111737383B
CN111737383B CN202010438214.2A CN202010438214A CN111737383B CN 111737383 B CN111737383 B CN 111737383B CN 202010438214 A CN202010438214 A CN 202010438214A CN 111737383 B CN111737383 B CN 111737383B
Authority
CN
China
Prior art keywords
layer
training
spatial relationship
text
geographic position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010438214.2A
Other languages
English (en)
Other versions
CN111737383A (zh
Inventor
黄际洲
王海峰
张伟
范淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Priority to CN202010438214.2A priority Critical patent/CN111737383B/zh
Publication of CN111737383A publication Critical patent/CN111737383A/zh
Priority to KR1020227019541A priority patent/KR20220092624A/ko
Priority to JP2022543197A priority patent/JP2023510906A/ja
Priority to US17/427,122 priority patent/US20220327421A1/en
Priority to EP20913065.7A priority patent/EP3940552A4/en
Priority to PCT/CN2020/131305 priority patent/WO2021232724A1/zh
Application granted granted Critical
Publication of CN111737383B publication Critical patent/CN111737383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种提取地理位置点空间关系的方法、训练提取模型的方法及装置，涉及大数据技术领域。具体实现方案为：获取第二训练数据，所述第二训练数据包括：文本以及对文本中地理位置点、地理位置点空间关系信息的标注；利用所述第二训练数据训练地理位置点空间关系提取模型，所述地理位置点空间关系提取模型包括嵌入层、Transformer层和映射层；所述地理位置点空间关系提取模型用于从输入的文本中提取地理位置点空间关系信息。本申请能够从互联网文本中提取地理位置点空间关系信息，解决了因地理位置点的坐标误差或楼层关系而导致的空间关系不准确或无法自动生成的问题。

Description

提取地理位置点空间关系的方法、训练提取模型的方法及 装置
技术领域
本申请涉及计算机应用技术领域，特别涉及大数据技术领域。
背景技术
地图主要的目标就是刻画真实世界，让用户的出行更简单。地理位置点的高精知识图谱是满足用户在地图找点和出行等核心诉求的基础。而地理位置点空间关系是知识图谱的必备要素之一，可以实现更准确的逻辑推理查询。
目前，挖掘地理位置点空间关系的一种方法是利用地理位置点的坐标自动生成，但是该方法依赖坐标的准确度，而地理位置点的坐标误差一般在几十米甚至百米以上，导致该方法生成的地理位置点空间关系不准确。特别是楼层关系，无法通过坐标自动生成。
发明内容
有鉴于此，本申请通过以下技术方案解决现有技术中的上述技术问题。
第一方面，本申请提供了一种训练地理位置点空间关系提取模型的方法，该方法包括：
获取第二训练数据，所述第二训练数据包括：文本以及对文本中地理位置点、地理位置点空间关系信息的标注；
利用所述第二训练数据训练地理位置点空间关系提取模型，所述地理位置点空间关系提取模型包括嵌入层、Transformer层和映射层；
所述地理位置点空间关系提取模型用于从输入的互联网文本中提取地理位置点空间关系信息。
第二方面，本申请还提供了一种提取地理位置点空间关系的方法，该方法包括：
从互联网获取包含地理位置点信息的文本；
将所述文本输入预先训练得到的地理位置点空间关系提取模型，获取所述地理位置点空间关系提取模型输出的空间关系的信息；其中所述地理位置空间关系提取模型包括嵌入层、Transformer层和映射层。
第三方面，本申请提供了一种训练地理位置点空间关系提取模型的装置，该装置包括：
第二获取单元，用于获取第二训练数据，所述第二训练数据包括：文本以及对文本中地理位置点、地理位置点空间关系信息的标注；
第二训练单元，用于利用所述第二训练数据训练地理位置点空间关系提取模型，所述地理位置点空间关系提取模型包括嵌入层、Transformer层和映射层；
所述地理位置点空间关系提取模型用于从输入的文本中提取地理位置点空间关系信息。
第四方面，本申请还提供了一种提取地理位置点空间关系的装置，该装置包括：
获取单元，用于从互联网获取包含地理位置点信息的文本；
提取单元，用于将所述文本输入预先训练得到的地理位置点空间关系提取模型，获取所述地理位置点空间关系提取模型输出的空间关系的信息；其中所述地理位置空间关系提取模型包括嵌入层、Transformer层和映射层。
第五方面，本申请提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的方法。
第六方面，本申请还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述任一项所述的方法。
由以上技术方案可以看出，本申请能够从互联网文本中提取地理位置点空间关系信息，解决了因地理位置点的坐标误差而导致的空间关系不准确的问题，或楼层关系无法自动生成的问题。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1示出了可以应用本申请实施例的方法或装置的示例性***架构；
图2为本申请实施例一提供的提取地理位置点空间关系的方法流程图；
图3为本申请实施例一提供的地理位置点空间关系提取模型的结构示意图；
图4为本申请实施例二提供的训练地理位置点空间关系提取模型的方法流程图；
图5为本申请实施例三提供的训练地理位置点空间关系提取模型的方法流程图；
图6a为本申请实施例三提供的预训练模型的结构示意图；
图6b为基本申请实施例三提供的地理位置点空间关系提取模型的结构示意图；
图7为本申请实施例四提供的训练地理位置点空间关系提取模型的装置结构图；
图8为本申请实施例五提供的提取地理位置点空间关系的装置结构图；
图9是用来实现本申请实施例的方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了可以应用本申请实施例的方法或装置的示例性***架构。如图1所示，该***架构可以包括终端设备101和102，网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101和102通过网络103与服务器104交互。终端设备101和102上可以安装有各种应用，例如地图类应用、网页浏览器应用、通信类应用等。
终端设备101和102可以是能够运行地图类应用的各类用户设备。包括但不限于智能手机、平板电脑、PC、智能电视等等。本申请所提供的提取地理位置点空间关系的装置可以设置并运行于上述服务器104中，也可以运行于独立于服务器104的设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。服务器104可以与地图数据库105之间进行交互，具体地，服务器104可以从地图数据库105中获取数据，也可以将数据存储于地图数据库105中。地图数据库105中存储有包括POI信息的地图数据。
例如，提取地理位置点空间关系的装置设置并运行于上述服务器104中，服务器104采用本申请实施例提供的方法进行地理位置点空间关系的提取，然后利用获取的地理位置点的空间关系更新地图数据库105。服务器104能够响应于终端设备101、102的查询请求，查询地图数据库105，并向终端设备101、102返回所查询地理位置点的相关信息，包括基于地理位置点空间关系所产生的信息。
服务器104可以是单一服务器，也可以是多个服务器构成的服务器群组。另外104除了以服务器的形式存在之外，也可以是具有较高计算性能的其他计算机***或处理器。应该理解，图1中的终端设备、网络、服务器和数据库的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器和数据库。
互联网中存在与地理位置相关的大量情报，这些情报里面会提到对应的地理位置与其他地理位置的空间关系，我们可以利用文本解析技术，从这些情报中自动的构建地理位置间的地理空间位置关系。下面分别结合实施例对这两个部分进行详细描述。
本申请中涉及的地理位置点指的是地图类应用中的地理位置点，该地理位置点可以供用户查询、浏览，向用户展现等。这些地理位置点具有经纬度、名称、行政地址、类型等基本属性。其中地理位置点可以包括但不限于POI(Point Of Interest，兴趣点)、AOI(Areaof Interest，兴趣面)、ROI(Regin of Interest，兴趣区域)等。在后续实施例中均以POI为例进行描述。POI是地理信息***中的一个术语，泛指一切可以抽象为点的地理对象，一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站、一所学校、一个医院，等等。POI的主要用途是对事物或事件的位置进行描述，从而增强对事物或事件位置的描述能力和查询能力。
实施例一、
图2为本申请实施例一提供的提取地理位置点空间关系的方法流程图，如图中所示，该方法可以包括以下步骤：
在201中，从互联网获取包含地理位置点信息的文本。
在本申请中，可以从地理位置点关联的官网中获取包含地理位置点信息的文本，例如从海底捞官网上获取到“海底捞北京市海淀区清河中街五彩城购物中心六层”的文本，从招商银行获取到“招商银行北京清华园支行海淀区清华科技园，科技大厦B座G层，清华大学东门向南200米”。
除了上述数据源之外，也可以从其他数据源获取包含地理位置点信息的文本。
在202中，将该文本输入预先训练得到的地理位置点空间关系提取模型，获取地理位置点空间关系提取模型输出的空间关系的信息；其中地理位置空间关系提取模型包括嵌入层、Transformer层和映射层。
本申请实施例中涉及的空间关系的信息可以包括：空间关系的类型和取值。空间关系的类型主要包括一些方位上的空间关系类型，例如东、南、西、北、东南、东北、西南、西北、左边、右边、楼上、楼下、楼层、楼栋等等。取值可以包括距离的取值、楼层的取值、楼栋的取值等等。
本申请实施例中涉及的地理位置点空间关系提取模型的结构可以如图3中所示，嵌入层可以包括多个嵌入层。
首先，对于文本可以看作由至少一个语句构成的序列，首先可以在文本之前增加分隔符[CLS]，语句之间增加分隔符[SEP]，每个字符和分隔符都分别作为一个Token。输入序列X可以表示成X＝{x1,x2,…,xn},n为Token的数量，xi表示其中一个Token。需要说明的是，本申请中嵌入层以字符为粒度作为Token，能够有效解决长尾词的问题。
第一嵌入层，图中表示为Token Embedding，用于对文本中各Token(元素)进行字符编码，文本中的Token可以包括文本中的字符以及分隔符。
第二嵌入层，图中表示为Position Embedding，用于对各Token进行位置编码，可以对各Token在文本中的位置信息，例如对各Token按顺序进行位置编号，对各位置编号进行编码。
第三嵌入层，图中表示为Sentence Embedding，用于对各Token所属语句标识进行编码。例如对文本中的语句进行按顺序编号作为语句标识，对各Token所属语句标识进行编码。
经过上述各嵌入层后，各Token、位置信息和所属语句标识被转化为稠密向量表示。其中，ei表示第i个Token的向量表示，
Figure BDA0002503094390000061
表示第i个Token作为字符的向量表示，是通过查找词向量矩阵，将字符转换成稠密向量得到的。
Figure BDA0002503094390000062
表示第i个Token的位置的向量表示，是通过查找词向量矩阵，将位置转换为稠密向量得到的。
Figure BDA0002503094390000063
表示第i个Token所述语句标识的向量表示，是通过查找词向量矩阵，将语句表示转换为稠密向量得到的。
各嵌入层的编码结果输出至Transformer层(图中表示为multi-layertransformer)，Transformer层进行多层的Attention(注意力)机制处理后，输出隐向量。例如，将一个稠密向量序列E＝{e1，e2，…，en}，输出是包含上下文信息的隐向量序列h＝φθ(E)＝{h1，h2，…，hn}。其中，n为输入的序列长度，即包含的Token数量。
映射层可以包括CRF(Conditional Random Field，条件随机场)，用于利用Transformer层输出的隐向量，预测输入模型的文本包含的空间关系的信息。
在得到隐向量的序列h＝{h1，h2，…，hn}后，我们使用CRF预测标签，从而得到模型的输出Y＝{y1，y2，…，yn}，其中yi是对应的输入xi的预测标签。
对于每个token xi，我们可以通过如下公式得到一个概率分布
Figure BDA0002503094390000071
Figure BDA0002503094390000072
其中
Figure BDA0002503094390000073
即是一个d×c维的向量，为权重参数向量，c代表了输出标签的数量。
随后对于每个预测序列Y＝{y1，y2，…，yn}，我们可以得到这个序列的得分：
Figure BDA0002503094390000074
其中
Figure BDA0002503094390000075
是表示所有从yi到yi+1的转移概率矩阵。
最终，我们可以使用softmax(全连接层)层得到每个预测序列Y的概率Pr：
Figure BDA0002503094390000076
其中，
Figure BDA0002503094390000077
指得到的所有预测序列中的任一个。
最终取概率最大的预测序列Y，该预测序列中包括对地理位置点空间关系信息的预测，包括空间关系的类型和取值。更进一步地，预测序列中还包括对地理位置点的预测。最终可以表示成一个四元组R＝<S,O,P,A>，其中，S和O为地理位置点，P为空间关系类型，A为空间关系取值。
经过上述地理位置点空间关系提取模型后，输入文本“海底捞北京市海淀区清河中街五彩城购物中心六层”从中提取出地理位置点“海底捞”和“五彩城”的空间关系类型为“楼层”，取值为“6层”，可以表示成一个四元组R＝<海底捞，五彩城，楼层，6层>。
输入文本“招商银行北京清华园支行海淀区清华科技园，科技大厦B座G层，清华大学东门向南200米”从中提取出地理位置点“招商银行”和“清华大学东门”的空间位置关系类型为“南”，取值为“200米”，可以表示成四元组R＝<招商银行，清华大学东门，南，200米>。
从该实施例中可以看出，本申请能够从互联网中包含地理位置点信息的文本中提取出地理位置点空间关系信息。
并且，本申请实施例中定义了一套表示空间关系的描述体系，与常识类知识图谱中的三元组<实体1，实体2，关系>类似，采用<地理位置点1，地理位置点2，空间关系类型，空间关系取值>，使得空间关系的表达更规范统一，使得空间关系知识的***化的计算、推理、存储成为可能。
在上述提取地理位置点空间关系信息的过程中，地理位置点空间关系提取模型是重点之一。在了解了上述模型结构之外，下面结合实施例对上述模型的训练过程进行详细描述。
实施例二、
图4为本申请实施例二提供的训练地理位置点空间关系提取模型的方法流程图，如图4中所示，该方法包括以下步骤：
在401中，获取训练数据，训练数据包括：文本以及对文本中地理位置点、地理位置点空间关系信息的标注。
在本实施例中，可以通过人工标注的方式来构建训练样本。例如从地理位置关联的官网数据中抓取地址数据，并对其进行标注。
例如，从海底捞官网中的官网数据中抓取地址数据，并对其进行人工标注。比如从海底捞官网中抓取地址数据“北京市海淀区清河中街五彩城购物中心六层”，并对其进行人工标注，标注出其中的POI、空间关系的类型和取值。表1为对该文本进行标注的示例：
表1
Figure BDA0002503094390000081
其中，X表征文本，Y表征标注的标签。其中，“O”表示结束，在本申请实施例中“O”即为不属于POI、空间关系的类型和取值中任一种。“B”表示开始，例如“POI_B”表示POI标签的开始字符，“VAL_B”表示空间关系取值的开始字符，“LOF_B”表示空间关系类型的开始字符。“I”表示中间，例如“POI_I”表示POI标签的中间字符。经过标注后，可以看出，“五彩城购物中心”被标注为POI标签，“层”被标注为空间关系类型标签，“6”被标注为空间关系取值标签。
除此之外，也可以采用人工构建文本并进行标注的方式来构建训练样本，或者从其他数据源来获取高质量的文本并进行人工标注。
在402中，利用训练数据训练地理位置点空间关系提取模型，其中，地理位置点空间关系提取模型包括嵌入层、Transformer层和映射层，训练目标包括：映射层对训练数据中文本的标签预测符合训练数据中的标注。
地理位置点空间关系提取模型的结构仍如图3中所示，与实施例一中类似地，嵌入层可以包括多个嵌入层。
首先，对于文本可以看作由至少一个语句构成的序列，首先可以在文本之前增加分隔符[CLS]，语句之间增加分隔符[SEP]，每个字符和分隔符都分别作为一个Token。
第一嵌入层，图中表示为Token Embedding，用于对文本中各Token(元素)进行字符编码，文本中的Token可以包括文本中的字符以及分隔符。
第二嵌入层，图中表示为Position Embedding，用于对各Token进行位置编码，可以对各Token在文本中的位置信息，例如对各Token按顺序进行位置编号，对各位置编号进行编码。
第三嵌入层，图中表示为Sentence Embedding，用于对各Token所属语句标识进行编码。例如对文本中的语句进行按顺序编号作为语句标识，对各Token所属语句标识进行编码。
对于上述三种输入可以表示成：
Figure BDA0002503094390000091
其中，ei表示第i个Token的向量表示，
Figure BDA0002503094390000092
表示第i个Token作为字符的向量表示，是通过查找词向量矩阵，将字符转换成稠密向量得到的。
Figure BDA0002503094390000093
表示第i个Token的位置的向量表示，是通过查找词向量矩阵，将位置转换为稠密向量得到的。
Figure BDA0002503094390000094
表示第i个Token所述语句标识的向量表示，是通过查找词向量矩阵，将语句表示转换为稠密向量得到的。
各嵌入层的编码结果的稠密向量表示输出至Transformer层，Transformer层进行多层的Attention(注意力)机制处理后，输出隐向量。例如，将一个稠密向量序列E＝{e1，e2，…，en}，输出是包含上下文信息的隐向量序列h＝φθ(E)＝{h1，h2，…，hn}。其中，n为输入的序列长度，即包含的Token数量。
映射层可以包括CRF，用于利用Transformer层输出的隐向量，预测输入模型的文本包含的空间关系的信息。
在得到隐向量的序列h＝{h1，h2，…，hn}后，我们使用CRF预测标签，从而得到模型的输出Y＝{y1，y2，…，yn}，其中yi是对应的输入xi的预测标签。
对于每个token xi，我们可以通过如下公式得到一个概率分布
Figure BDA0002503094390000095
Figure BDA0002503094390000101
其中
Figure BDA0002503094390000102
即是一个d×c维的向量，为权重参数向量，c代表了输出标签的数量。
随后对于每个预测序列Y＝{y1，y2，…，yn}，我们可以得到这个序列的得分：
Figure BDA0002503094390000103
其中
Figure BDA0002503094390000104
是表示所有从yi到yi+1的转移概率矩阵。
最终，我们可以使用softmax(全连接层)层得到每个预测序列Y的概率Pr：
Figure BDA0002503094390000105
其中，
Figure BDA0002503094390000106
指得到的所有预测序列中的任一个。在训练阶段，最大似然损失函数可以为：
Figure BDA0002503094390000107
整个模型的损失函数可以表示为：
Figure BDA0002503094390000108
其中，Θ代表模型的所有参数，λ是正则化的超参数，λ需要人工调参确定。
在训练过程中，实际上训练目标为：尽量使得CRF对文本的标签预测符合训练数据中的标注。也就是说，利用上述损失函数调整嵌入层、Transformer层和CRF层的模型参数，尽量最小化损失函数的取值。
训练一个好的模型需要大规模高质量的训练数据，上述训练数据中，同时包含地理位置点、地理位置点空间关系信息，且满足一定质量要求的训练数据较少，且需要人工标注。这就造成高质量训练数据获取困难，为了解决这一问题，本申请实施例中提供了一种优选实施例，采用预训练+fine-tuning(优化调整)的方式进行地理位置点空间关系提取模型的训练。在预训练过程中可以利用从互联网挖掘出的文本构成第一训练数据，这些第一训练数据的质量要求不高，可以得到数量较大的第一训练数据。在fine-tuning阶段采用官网文本进行人工标注构成第二训练数据，这些训练数据质量很高，数量较少，可以在预训练过程中得到的模型参数基础上进行进一步调优。下面结合实施例三对该方式进行描述。
实施例三、
图5为本申请实施例三提供的训练地理位置点空间关系提取模型的方法流程图，如图5中所示，该方法包括以下步骤：
在501中，获取第一训练数据，第一训练数据包括：文本以及对文本中地理位置点、地理位置点空间关系的标注。
如上所述地，第一训练数据可以是从互联网中挖掘出的包含地理位置点、地理位置点空间关系类型关键词的文本作为预训练数据，这部分训练数据准确率较低，相比较人工精标数据，属于弱标注数据。本申请中并不限于从互联网中挖掘上述文本的具体方式，最简单的方式之一就是预先构建地理位置点空间关系类型关键词的词典，利用该词典以及地图数据库中地理位置点名称在互联网的海量文本中进行匹配，从而获得上述文本。其中文本中关于地理位置点和地理位置点空间关系类型的标注也可以基于上述词典和地图数据库中地理位置点名称自动匹配实现。由于不需要大量的人工参与，因此预训练所需要的第一训练数据可以是大规模的、海量的数据，从而能够保证预训练模型的训练要求。
在502中，利用第一训练数据，训练预训练模型，预训练模型包括：嵌入层、Transformer层和至少一个任务层。
预训练模型的结构可以如图6a中所示，嵌入层和Transformer层的结构和用途与实施例一和二中相似，唯一不同的地方在于，嵌入层还可以包括对输入文本所用于的任务层标识进行编码的第四嵌入层，图中表示为Task Embedding。对于第一训练数据而言，会采用不同的形式用于后续不同的任务层，各任务层的描述参见后续步骤的描述。如图6a中所示，若当前第一训练数据的形式用于标识为2的任务层，则各Token的任务层标识均为2。
其他嵌入层和Transformer层的结构和用途在此不做赘述。
重点介绍任务层。本实施例中Transformer层输出的隐向量输入至各任务层。任务层至少包括掩码(masking)预测任务层、空间关系预测任务层和地理位置点预测任务层中的至少一种。
其中，掩码预测任务层，用于基于Trasformer层输出的隐向量，预测第一训练数据的文本中掩码部分的内容，训练目标为最小化预测结果与掩码部分对应实际内容的差异。
对于第一训练数据的文本，可以采用掩码字符，或者掩码地理位置点的方式。在对文本进行掩码时可以采用随机的方式，也可以由用户指定规则。举个例子：
对于“北京市海淀区清河中街五彩城购物中心6层”的文本，若随机对字符进行掩码，则可以得到：
“北京市海【mask】区清河中街五彩城购【mask】中心6层”，其中【mask】指代掩码部分，对应的实际内容分别为“淀”和“物”。
若随机对POI进行掩码，则可以得到：
“北京市海淀区清河中街【mask】【mask】【mask】【mask】【mask】【mask】【mask】6层”，其中【mask】指代掩码部分，对应的实际内容分别为“五”、“彩”、“城”、“购”、“物”、“中”和“心”。
空间关系预测任务层，用于基于Transformer层输出的隐向量，预测第一训练数据的文本描述的空间关系，训练目标为预测结果符合对应空间关系标注。
本任务层可以基于文本X，文本中给定的地理位置S、地理位置O，来预测空间关系P，用公式表示为预测概率：Pr＝F(P|X,S,O)。该任务层可以看做是一个多分类任务，采用交叉熵来确定损失函数。
地理位置点预测任务层，用于基于Transformer层输出的隐向量，预测第一训练数据的文本包含的地理位置点，训练目标为预测结果符合对应地理位置点标注。
本任务层基于描述两个地理位置点空间关系的文本X，文本中给定的其中一个地理位置点S或O，空间关系类型P，来预测另外一个地理位置点O或S。用公式表示为预测概率：Pr＝F(O|X,S,P)，或者，Pr＝F(S|X,P,O)。该任务层可以看做是一个多分类任务，采用交叉熵来确定损失函数。
上述各任务层可以采用全连接方式、分类器方式等来实现。在进行预训练模型的训练时，各任务层交替进行训练或者同时训练。利用被训练的任务层的训练目标对应的损失函数，优化嵌入层、Transformer层和被训练的任务层的模型参数。
可以看出本申请采用多任务学习的方式，能够在多个任务间共享知识，从而得到更好的预训练模型。
若采用各任务层交替训练的方式，则每次可以按顺序或者随机选择一个任务层进行训练，每次利用被选择任务层的损失函数来优化嵌入层、Transformer层和被训练的任务层的模型参数。
若采用各任务层同时训练的方式，则每次可以同时训练所有任务，并根据每个任务的损失函数构建联合损失函数，例如可以采用对各任务的损失函数进行加权求和的处理方式，其中加权系数可以采用人工调参的方式确定，例如采用实验值或经验值等。然后利用联合损失函数来优化嵌入层、Transformer层和所有任务层的模型参数。
在503中，获取第二训练数据，第二训练数据包括：文本以及对文本中地理位置点、地理位置点空间关系的类型和取值的标注。
该第二训练数据与实施例二中步骤401中获取的训练数据相同，在此不做赘述。
在504中，基于预训练模型训练得到的嵌入层和Transformer层，利用第二训练数据训练地理位置点空间关系提取模型，地理位置点空间关系提取模型包括嵌入层、Transformer层和映射层。
本步骤实际上是fine-tuning环节，对于在预训练过程中已经训练得到的预训练模型，嵌入层和Transformer层的处理已经较为完善，因此其模型参数已经趋于稳定，本步骤中fine-tuning环节的训练过程中，可以将预训练模型已经训练得到的嵌入层和Transformer层直接拿来继续进行地理位置点空间关系提取模型的训练，即将CRF层替换上述的任务层，让Transformer层输出的隐向量直接输入CRF层。
另外，在本实施例中，采用图6a所示结构的预训练模型，若嵌入层还包括TaskEmbedding层，则在fine-tuning阶段的输入也包含Task Embedding层，此时各Token所属任务的编码可以为随机取的任意值，对应结构如图6b中所示。相应地，训练结束后利用地理位置点空间关系提取模型提取空间关系时，嵌入层也包括Task Embedding层，各Token所属任务的编码也可以为随机取的任意值。
由于采用人工标注的高精训练数据即第二训练数据与大规模弱标注数据即第一训练数据是相似的，并且人工标注的高精训练数据的规模较小，为了减少过拟合的风险，可以固定嵌入层、Transformer层对的模型参数不变，在本步骤的训练过程中只对映射层例如CRF层的模型参数进行优化(微调)。
关于地理位置点空间关系提取模型的训练原理与实施例二中的描述类似，在此不做赘述。
以上是对本申请所提供方法进行的详细描述，下面结合实施例对本申请所提供的装置进行详细描述。
实施例四、
图7为本申请实施例四提供的训练地理位置点空间关系提取模型的装置结构图，如图7中所示，该装置可以包括：第二获取单元01和第二训练单元02，还可以进一步包括第一获取单元03和第一训练单元04。其中各组成单元的主要功能如下：
第二获取单元01，用于获取第二训练数据，第二训练数据包括：文本以及对文本中地理位置点、地理位置点空间关系信息的标注。
在本实施例中，可以通过人工标注的方式来构建训练样本。例如从地理位置关联的官网数据中抓取地址数据，并对其进行标注。除此之外，也可以采用人工构建文本并进行标注的方式来构建训练样本，或者从其他数据源来获取高质量的文本并进行人工标注。
第二训练单元02，用于利用第二训练数据训练地理位置点空间关系提取模型，地理位置点空间关系提取模型包括嵌入层、Transformer层和映射层。其中，训练得到的地理位置点空间关系提取模型用于从输入的文本中提取地理位置点空间关系信息。
上述的嵌入层包括：用于对文本中各Token进行字符编码的第一嵌入层、用于对各Token进行位置编码的第二嵌入层、用于对各Token所属语句标识进行编码的第三嵌入层。
映射层可以包括，用于利用Transformer层输出的隐向量，预测文本包含的空间关系的信息。
地理位置点空间关系提取模型的训练目标包括：映射层对文本的标签预测符合第二训练数据中的标注。
训练一个好的模型需要大规模高质量的训练数据，上述训练数据中，同时包含地理位置点、地理位置点空间关系信息，且满足一定质量要求的训练数据较少，且需要人工标注。这就造成高质量训练数据获取困难，为了解决这一问题，本申请实施例中提供了一种优选实施例，采用预训练+fine-tuning(优化调整)的方式进行地理位置点空间关系提取模型的训练。在预训练过程中可以利用从互联网挖掘出的文本构成第一训练数据，这些文本的质量要求不高，可以得到数量较大的第一训练数据。在fine-tuning阶段采用高精度文本进行人工标注构成第二训练数据，这些文本质量很高，数量较少，可以在预训练过程中得到的模型参数基础上进行进一步调优。
这种情况下，该装置还包括：
第一获取单元03，用于获取第一训练数据，第一训练数据包括：文本以及对文本中地理位置点、地理位置点空间关系的标注。
第一训练数据可以是从互联网中挖掘出的包含地理位置点、地理位置点空间关系类型关键词的文本作为预训练数据，这部分训练数据准确率较低，相比较人工精标数据，属于弱标注数据。本申请中并不限于从互联网中挖掘上述文本的具体方式，最简单的方式之一就是预先构建地理位置点空间关系类型关键词的词典，利用该词典以及地图数据库中地理位置点名称在互联网的海量文本中进行匹配，从而获得上述文本。其中文本中关于地理位置点和地理位置点空间关系类型的标注也可以基于上述词典和地图数据库中地理位置点名称自动匹配实现。由于不需要大量的人工参与，因此预训练所需要的第一训练数据可以是大规模的、海量的数据，从而能够保证预训练模型的训练要求。
第一训练单元04，用于利用第一训练数据，训练预训练模型，预训练模型包括：嵌入层、Transformer层和至少一个任务层。
第二训练单元02在利用第二训练数据训练地理位置点空间提取模型时，基于预训练模型训练得到的嵌入层和Transformer层。
上述至少一个任务层包括：掩码预测任务层、空间关系预测任务层和地理位置点预测任务层中的至少一种。
其中，掩码预测任务层，用于基于Transformer层输出的隐向量，预测第一训练数据的文本中掩码部分的内容，训练目标为预测结果符合掩码部分对应实际内容。
空间关系预测任务层，用于基于Transformer层输出的隐向量，预测第一训练数据的文本描述的空间关系，训练目标为预测结果符合对应空间关系标注。
地理位置点预测任务层，用于基于Transformer层输出的隐向量，预测第一训练数据的文本包含的地理位置点，训练目标为预测结果符合对应地理位置点标注。
上述至少一个任务层交替训练或同时训练，利用被训练的任务层的训练目标对应的损失函数，优化嵌入层、Transformer层和被训练的任务层的模型参数。
由于采用人工标注的高精训练数据即第二训练数据与大规模弱标注数据即第一训练数据是相似的，并且人工标注的高精训练数据的规模较小。为了减少过拟合的风险，作为一种优选的实施方式，第二训练单元02在利用第二训练数据训练地理位置点空间提取模型时，采用与训练模型训练得到的嵌入层和Transformer层的模型参数并保持不变，优化映射层的模型参数，直至达到地理位置点空间提取模型的训练目标。
实施例五、
图8为本申请实施例五提供的提取地理位置点空间关系的装置结构图，如图8中所示，该装置可以包括：获取单元11和提取单元12。其中各组成单元的主要功能如下：
获取单元11，用于从互联网获取包含地理位置点信息的文本。
提取单元12，用于将文本输入预先训练得到的地理位置点空间关系提取模型，获取地理位置点空间关系提取模型输出的空间关系的信息；其中地理位置空间关系提取模型包括嵌入层、Transformer层和映射层。
其中，上述嵌入层包括：用于对文本中各Token进行字符编码的第一嵌入层、用于对各Token进行位置编码的第二嵌入层、用于对各Token所属语句标识进行编码的第三嵌入层。
映射层包括CRF，用于利用Transformer层输出的隐向量，预测文本包含的空间关系的信息。
在通过本申请实施例所提供的方式提取出地理位置点空间关系后，可以采用<地理位置点1，地理位置点2，空间关系类型，空间关系取值>的四元组格式，使得空间关系的表达更规范统一，使得空间关系知识的***化的计算、推理、存储成为可能。
可以实现诸如如下应用场景：
用户输入query(查询)“清华大学附近有星巴克吗？”，如果数据库中有以下地理位置点空间关系：<清华科技园，清华大学东南门，南，100米>，<威新国际大厦，清华科技园，楼栋，9>，<星巴克，威新国际大厦，楼层，1>，通过这三个关系的推理，我们可以准确地给出答案”清华大学东南门向南100米的清华科技园威新国际大厦1层有星巴克”，并给出对应的地理位置”星巴克”。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的方法对应的程序指令/模块。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据该电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至该电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
该电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与该电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (20)

1.一种训练地理位置点空间关系提取模型的方法，包括：
获取第一训练数据，所述第一训练数据包括文本以及对文本中的地理位置点和/或地理位置点空间关系信息的标注；
利用所述第一训练数据训练预训练模型，所述预训练模型包括嵌入层、Transformer层，还包括掩码预测任务层、空间关系预测任务层和地理位置点预测任务层中的至少一种；所述掩码预测任务层，用于基于所述Transformer层输出的隐向量，预测所述第一训练数据的文本中掩码部分的内容，训练目标为预测结果符合掩码部分对应实际内容；所述空间关系预测任务层，用于基于所述Transformer层输出的隐向量，预测所述第一训练数据的文本描述的空间关系，训练目标为预测结果符合对应空间关系标注；所述地理位置点预测任务层，用于基于所述Transformer层输出的隐向量，预测所述第一训练数据的文本包含的地理位置点，训练目标为预测结果符合对应地理位置点标注；
获取第二训练数据，所述第二训练数据包括：文本以及对文本中地理位置点、地理位置点空间关系信息的标注，所述第二训练数据的标注质量高于所述第一训练数据的标注质量；
利用所述第二训练数据训练地理位置点空间关系提取模型，所述地理位置点空间关系提取模型包括训练所述预训练模型得到的所述嵌入层和Transformer层，还包括映射层；
其中，训练得到的地理位置点空间关系提取模型用于从输入的互联网文本中提取地理位置点空间关系信息。
2.根据权利要求1所述的方法，其中，所述嵌入层包括：用于对文本中各Token进行字符编码的第一嵌入层、用于对各Token进行位置编码的第二嵌入层、用于对各Token所属语句标识进行编码的第三嵌入层；
所述映射层包括条件随机场CRF，用于利用所述Transformer层输出的隐向量，预测所述文本包含的空间关系的信息。
3.根据权利要求1所述的方法，其中，所述地理位置点空间关系提取模型的训练目标包括：所述映射层对所述文本的标签预测符合所述第二训练数据中的标注。
4.根据权利要求1至3中任一项所述的方法，其中，所述嵌入层还包括：用于对输入文本所用于的任务层标识进行编码的第四嵌入层。
5.根据权利要求1所述的方法，其中，所述掩码预测任务层、空间关系预测任务层和地理位置点预测任务层中的至少一种交替训练或同时训练，利用被训练的任务层的训练目标对应的损失函数，优化所述嵌入层、Transformer层和被训练的任务层的模型参数。
6.根据权利要求1所述的方法，其中，在利用所述第二训练数据训练地理位置点空间提取模型时，基于所述预训练模型训练得到的所述嵌入层和所述Transformer层包括：
在利用所述第二训练数据训练地理位置点空间提取模型时，采用与所述 训练模型训练得到的所述嵌入层和所述Transformer层的模型参数并保持不变，优化所述映射层的模型参数，直至达到所述地理位置点空间提取模型的训练目标。
7.一种提取地理位置点空间关系的方法，包括：
从互联网获取包含地理位置点信息的文本；
将所述文本输入预先训练得到的地理位置点空间关系提取模型，获取所述地理位置点空间关系提取模型输出的空间关系的信息；其中所述地理位置空间关系提取模型采用如权利要求1至6中任一项所述的方法预先训练得到。
8.根据权利要求7所述的方法，其中，所述嵌入层包括：用于对文本中各Token进行字符编码的第一嵌入层、用于对各Token进行位置编码的第二嵌入层、用于对各Token所属语句标识进行编码的第三嵌入层；
所述映射层包括条件随机场CRF，用于利用所述Transformer层输出的隐向量，预测所述文本包含的空间关系的信息。
9.根据权利要求7或8所述的方法，其中，所述空间关系的信息包括：空间关系的类型和取值。
10.一种训练地理位置点空间关系提取模型的装置，包括：
第一获取单元，用于获取第一训练数据，所述第一训练数据包括文本以及对文本中的地理位置点和/或地理位置点空间关系信息的标注；
第一训练单元，用于利用所述第一训练数据训练预训练模型，所述预训练模型包括嵌入层、Transformer层，还包括掩码预测任务层、空间关系预测任务层和地理位置点预测任务层中的至少一种；所述掩码预测任务层，用于基于所述Transformer层输出的隐向量，预测所述第一训练数据的文本中掩码部分的内容，训练目标为预测结果符合掩码部分对应实际内容；所述空间关系预测任务层，用于基于所述Transformer层输出的隐向量，预测所述第一训练数据的文本描述的空间关系，训练目标为预测结果符合对应空间关系标注；所述地理位置点预测任务层，用于基于所述Transformer层输出的隐向量，预测所述第一训练数据的文本包含的地理位置点，训练目标为预测结果符合对应地理位置点标注；
第二获取单元，用于获取第二训练数据，所述第二训练数据包括：文本以及对文本中地理位置点、地理位置点空间关系信息的标注，所述第二训练数据的标注质量高于所述第一训练数据的标注质量；
第二训练单元，用于利用所述第二训练数据训练地理位置点空间关系提取模型，所述地理位置点空间关系提取模型包括训练所述预训练模型得到的所述嵌入层和Transformer层，还包括映射层；
所述地理位置点空间关系提取模型用于从输入的文本中提取地理位置点空间关系信息。
11.根据权利要求10所述的装置，其中，所述嵌入层包括：用于对文本中各Token进行字符编码的第一嵌入层、用于对各Token进行位置编码的第二嵌入层、用于对各Token所属语句标识进行编码的第三嵌入层；
所述映射层包括条件随机场CRF，用于利用所述Transformer层输出的隐向量，预测所述文本包含的空间关系的信息。
12.根据权利要求10所述的装置，其中，所述地理位置点空间关系提取模型的训练目标包括：所述映射层对所述文本的标签预测符合所述第二训练数据中的标注。
13.根据权利要求10至12中任一项所述的装置，其中，所述嵌入层还包括：用于对输入文本所用于的任务层标识进行编码的第四嵌入层。
14.根据权利要求10所述的装置，其中，所述掩码预测任务层、空间关系预测任务层和地理位置点预测任务层中的至少一种交替训练或同时训练，利用被训练的任务层的训练目标对应的损失函数，优化所述嵌入层、Transformer层和被训练的任务层的模型参数。
15.根据权利要求10所述的装置，其中，所述第二训练单元，具体用于：在利用所述第二训练数据训练地理位置点空间提取模型时，采用与所述 训练模型训练得到的所述嵌入层和所述Transformer层的模型参数并保持不变，优化所述映射层的模型参数，直至达到所述地理位置点空间提取模型的训练目标。
16.一种提取地理位置点空间关系的装置，包括：
获取单元，用于从互联网获取包含地理位置点信息的文本；
提取单元，用于将所述文本输入预先训练得到的地理位置点空间关系提取模型，获取所述地理位置点空间关系提取模型输出的空间关系的信息；其中所述地理位置空间关系提取模型由权利要求10至15中任一项所述的装置预先训练得到。
17.根据权利要求16所述的装置，其中，所述嵌入层包括：用于对文本中各Token进行字符编码的第一嵌入层、用于对各Token进行位置编码的第二嵌入层、用于对各Token所属语句标识进行编码的第三嵌入层；
所述映射层包括条件随机场CRF，用于利用所述Transformer层输出的隐向量，预测所述文本包含的空间关系的信息。
18.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
19.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。
20.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
CN202010438214.2A 2020-05-21 2020-05-21 提取地理位置点空间关系的方法、训练提取模型的方法及装置 Active CN111737383B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010438214.2A CN111737383B (zh) 2020-05-21 2020-05-21 提取地理位置点空间关系的方法、训练提取模型的方法及装置
KR1020227019541A KR20220092624A (ko) 2020-05-21 2020-11-25 지리적 위치 포인트 공간 관계를 추출하는 방법, 추출 모델을 트레이닝하는 방법 및 장치
JP2022543197A JP2023510906A (ja) 2020-05-21 2020-11-25 地理的位置ポイント空間関係を抽出する方法、抽出モデルをトレーニングする方法、及び装置
US17/427,122 US20220327421A1 (en) 2020-05-21 2020-11-25 Method for extracting geographic location point spatial relationship, and method and apparatus for training an extraction model
EP20913065.7A EP3940552A4 (en) 2020-05-21 2020-11-25 METHOD FOR EXTRACTING SPATIAL RELATIONSHIPS FROM GEOLOCATION POINTS, METHOD FOR TRAINING MODEL EXTRACTION AND DEVICES
PCT/CN2020/131305 WO2021232724A1 (zh) 2020-05-21 2020-11-25 提取地理位置点空间关系的方法、训练提取模型的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010438214.2A CN111737383B (zh) 2020-05-21 2020-05-21 提取地理位置点空间关系的方法、训练提取模型的方法及装置

Publications (2)

Publication Number Publication Date
CN111737383A CN111737383A (zh) 2020-10-02
CN111737383B true CN111737383B (zh) 2021-11-23

Family

ID=72647638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010438214.2A Active CN111737383B (zh) 2020-05-21 2020-05-21 提取地理位置点空间关系的方法、训练提取模型的方法及装置

Country Status (6)

Country Link
US (1) US20220327421A1 (zh)
EP (1) EP3940552A4 (zh)
JP (1) JP2023510906A (zh)
KR (1) KR20220092624A (zh)
CN (1) CN111737383B (zh)
WO (1) WO2021232724A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111737383B (zh) * 2020-05-21 2021-11-23 百度在线网络技术（北京）有限公司 提取地理位置点空间关系的方法、训练提取模型的方法及装置
CN112184178A (zh) * 2020-10-14 2021-01-05 深圳壹账通智能科技有限公司 邮件内容提取方法、装置、电子设备及存储介质
CN112269925B (zh) * 2020-10-19 2024-03-22 北京百度网讯科技有限公司 一种获取地理位置点信息的方法和装置
CN112347738B (zh) * 2020-11-04 2023-09-15 平安直通咨询有限公司上海分公司 基于裁判文书的双向编码器表征量模型优化方法和装置
CN112380849B (zh) * 2020-11-20 2024-05-28 北京百度网讯科技有限公司 生成兴趣点提取模型和提取兴趣点的方法和装置
CN113947147B (zh) * 2021-10-18 2023-04-18 北京百度网讯科技有限公司 目标地图模型的训练方法、定位方法及相关装置
CN114418093B (zh) * 2022-01-19 2023-08-25 北京百度网讯科技有限公司 训练路径表征模型、输出信息的方法和装置
CN114443983A (zh) * 2022-02-08 2022-05-06 阿里巴巴（中国）有限公司 模型训练、应用方法及计算机存储介质
CN115048478B (zh) * 2022-08-12 2022-10-21 深圳市其域创新科技有限公司 智能设备地理信息图谱的构建方法、设备和***
CN118013464B (zh) * 2024-04-07 2024-07-23 浙江口碑网络技术有限公司 一种地理交通数据处理方法、装置和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180045A (zh) * 2016-03-10 2017-09-19 中国科学院地理科学与资源研究所 一种互联网文本蕴含地理实体关系的抽取方法
CN110083831A (zh) * 2019-04-16 2019-08-02 武汉大学 一种基于BERT-BiGRU-CRF的中文命名实体识别方法
CN110489555A (zh) * 2019-08-21 2019-11-22 创新工场(广州)人工智能研究有限公司 一种结合类词信息的语言模型预训练方法
CN110570920A (zh) * 2019-08-20 2019-12-13 华东理工大学 一种基于集中注意力模型的实体、关系联合学习方法
CN110781683A (zh) * 2019-11-04 2020-02-11 河海大学 一种实体关系联合抽取方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058617B1 (en) * 1996-05-06 2006-06-06 Pavilion Technologies, Inc. Method and apparatus for training a system model with gain constraints
US8229728B2 (en) * 2008-01-04 2012-07-24 Fluential, Llc Methods for using manual phrase alignment data to generate translation models for statistical machine translation
US11226945B2 (en) * 2008-11-14 2022-01-18 Georgetown University Process and framework for facilitating information sharing using a distributed hypergraph
JP5390840B2 (ja) * 2008-11-27 2014-01-15 株式会社日立製作所 情報分析装置
US9378065B2 (en) * 2013-03-15 2016-06-28 Advanced Elemental Technologies, Inc. Purposeful computing
CN107783960B (zh) * 2017-10-23 2021-07-23 百度在线网络技术（北京）有限公司 用于抽取信息的方法、装置和设备
CN108920457B (zh) * 2018-06-15 2022-01-04 腾讯大地通途（北京）科技有限公司 地址识别方法和装置及存储介质
JP6975118B2 (ja) * 2018-09-26 2021-12-01 Kddi株式会社 抽出装置及びプログラム
CN109460434B (zh) * 2018-10-25 2020-11-03 北京知道创宇信息技术股份有限公司 数据提取模型建立方法及装置
CN109753566B (zh) * 2019-01-09 2020-11-24 大连民族大学 基于卷积神经网络的跨领域情感分析的模型训练方法
CN110457420B (zh) * 2019-08-13 2024-04-16 腾讯云计算（北京）有限责任公司 兴趣点位置识别方法、装置、设备及存储介质
CN110716999B (zh) * 2019-09-05 2021-10-22 武汉大学 基于包含定性方位和定量距离的位置描述的poi定位方法
CN110851738B (zh) * 2019-10-28 2021-03-19 百度在线网络技术（北京）有限公司 获取poi状态信息的方法、装置、设备和计算机存储介质
CN111737383B (zh) * 2020-05-21 2021-11-23 百度在线网络技术（北京）有限公司 提取地理位置点空间关系的方法、训练提取模型的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107180045A (zh) * 2016-03-10 2017-09-19 中国科学院地理科学与资源研究所 一种互联网文本蕴含地理实体关系的抽取方法
CN110083831A (zh) * 2019-04-16 2019-08-02 武汉大学 一种基于BERT-BiGRU-CRF的中文命名实体识别方法
CN110570920A (zh) * 2019-08-20 2019-12-13 华东理工大学 一种基于集中注意力模型的实体、关系联合学习方法
CN110489555A (zh) * 2019-08-21 2019-11-22 创新工场(广州)人工智能研究有限公司 一种结合类词信息的语言模型预训练方法
CN110781683A (zh) * 2019-11-04 2020-02-11 河海大学 一种实体关系联合抽取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结合实体词与句子语义的地理实体关系抽取;王海波 等;《测绘科学技术学报》;20181231;第35卷(第6期);第633-636页 *

Also Published As

Publication number Publication date
CN111737383A (zh) 2020-10-02
KR20220092624A (ko) 2022-07-01
US20220327421A1 (en) 2022-10-13
EP3940552A4 (en) 2022-05-11
WO2021232724A1 (zh) 2021-11-25
JP2023510906A (ja) 2023-03-15
EP3940552A1 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
CN111737383B (zh) 提取地理位置点空间关系的方法、训练提取模型的方法及装置
CN111767359B (zh) 兴趣点分类方法、装置、设备以及存储介质
US11630560B2 (en) Map information display method and apparatus, electronic device, and computer storage medium
CN111931067A (zh) 兴趣点推荐方法、装置、设备和介质
CN111666292B (zh) 用于检索地理位置的相似度模型建立方法和装置
CN110688449A (zh) 基于深度学习的地址文本处理方法、装置、设备及介质
KR20220026999A (ko) 목적지 예측 방법, 장치, 전자 기기 및 저장 매체
CN111241838B (zh) 文本实体的语义关系处理方法、装置及设备
CN111737559A (zh) 资源排序方法、训练排序模型的方法及对应装置
CN113836925A (zh) 预训练语言模型的训练方法、装置、电子设备及存储介质
CN113657100A (zh) 实体识别方法、装置、电子设备及存储介质
CN113947147A (zh) 目标地图模型的训练方法、定位方法及相关装置
CN112559885A (zh) 地图兴趣点的训练模型确定方法、装置及电子设备
CN114579882A (zh) 地址查询方法、获取地理编码预测模型的方法及对应装置
CN112507103A (zh) 任务型对话及模型训练方法、装置、设备和存储介质
CN111666461A (zh) 检索地理位置的方法、装置、设备和计算机存储介质
CN113326363B (zh) 搜索方法及装置、预测模型训练方法及装置、电子设备
CN113902005A (zh) 语言模型的预训练方法、装置、设备和存储介质
CN112380849B (zh) 生成兴趣点提取模型和提取兴趣点的方法和装置
CN112269925B (zh) 一种获取地理位置点信息的方法和装置
CN112861023B (zh) 地图信息处理方法、装置、设备、存储介质及程序产品
CN114925680A (zh) 物流兴趣点信息生成方法、装置、设备和计算机可读介质
Wang et al. Construction of bilingual knowledge graph based on meteorological simulation
CN113255398A (zh) 兴趣点判重方法、装置、设备和存储介质
CN110851569B (zh) 数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant