CN117131223A - 信息处理方法、装置、电子设备及存储介质 - Google Patents

信息处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117131223A
CN117131223A CN202210529869.XA CN202210529869A CN117131223A CN 117131223 A CN117131223 A CN 117131223A CN 202210529869 A CN202210529869 A CN 202210529869A CN 117131223 A CN117131223 A CN 117131223A
Authority
CN
China
Prior art keywords
ith
region
poi
regions
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210529869.XA
Other languages
English (en)
Inventor
肖淙曦
周景博
黄际洲
祝恒书
窦德景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210529869.XA priority Critical patent/CN117131223A/zh
Publication of CN117131223A publication Critical patent/CN117131223A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了信息处理方法、装置、电子设备及存储介质，涉及人工智能技术领域。具体实现方案为：基于N个区域分别对应的兴趣点POI数据以及图像数据，生成所述N个区域分别对应的POI特征和图像特征；N为正整数；基于所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征，生成所述N个区域分别对应的多模态特征。本公开实施例能够保证最终得到的各个区域的多模态特征更加准确，为下游处理提供更加准确的输入数据，从而可以使得后续下游处理也得到更加准确的结果。

Description

信息处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及人工智能技术领域。
背景技术
随着全球城市化程度逐步提高，大规模、多模态的城市数据也日益丰富，例如地图中的兴趣点(Point of interest，POI)数据和卫星图像数据，这些数据为多角度的城市区域表征提供了基础。然而，如何使用多种类型的数据，对城市的区域进行更加准确的特征表示，从而为下游任务提供更加准确的输入数据，就成为需要解决的问题。
发明内容
本公开提供了一种信息处理方法、装置、电子设备及存储介质。
根据本公开的第一方面，提供了一种信息处理方法，包括：
基于N个区域分别对应的兴趣点POI数据以及图像数据，生成所述N个区域分别对应的POI特征和图像特征；N为正整数；
基于所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征，生成所述N个区域分别对应的多模态特征。
根据本公开的第二方面，提供了一种信息处理装置，包括：
区域特征生成模块，用于基于N个区域分别对应的兴趣点POI数据以及图像数据，生成所述N个区域分别对应的POI特征和图像特征；N为正整数；
第一处理模块，用于基于所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征，生成所述N个区域分别对应的多模态特征。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行前述第一方面的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行前述方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
本实施例提供的方案，就可以通过N个区域的相邻关系、所述N个区域分别对应的POI特征、图像特征，得到该N个区域分别对应的多模态特征。如此，可以在表征各个区域的特征的时候引入跨模态的相关信息，与仅采用单模态表征各个区域特征的方式相比，可以保证最终得到的各个区域的多模态特征更加准确；进而，为下游处理提供更加准确的输入数据，从而可以使得后续下游处理也得到更加准确的结果。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开一实施例的信息处理方法的流程示意图一；
图2是根据本公开一实施例的信息处理方法的流程示意图二；
图3是根据本公开一实施例的信息处理方法中第一预设子模型的处理流程示意图；
图4是根据本公开一实施例的信息处理装置的一种组成结构示意图；
图5是根据本公开另一实施例的信息处理装置的另一种组成结构示意图；
图6是用来实现本公开实施例的信息处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开第一方面实施例提供一种信息处理方法，如图1所示，包括：
S101：基于N个区域分别对应的兴趣点(Point of interest，POI)数据以及图像数据，生成所述N个区域分别对应的POI特征和图像特征；N为正整数；
S102：基于所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征，生成所述N个区域分别对应的多模态特征。
本实施例提供的信息处理方法可以应用于电子设备，具体的该电子设备可以为服务器或者可以为终端设备。
所述N个区域可以是目标范围内的N个区域。从该目标范围内确定N个区域的方式可以是：将该目标范围采用目标粒度进行划分，得到该目标范围内包含的N个区域。其中，所述目标范围可以根据实际情况选择，比如可以为一个城市覆盖的范围作为该目标范围，或者可以为一个省覆盖的范围作为该目标范围，或者还可以有其他的目标范围选择方式，这里不做穷举。该目标粒度的单位也可以根据实际情况设置，比如目标粒度的单位可以为米、千米、厘米等等，这里不做穷举；相应的，所述目标粒度可以根据实际情况确定，比如可以为10乘10，或者可以为20乘10，或者可以为50乘50等等，同样不做穷举。在本实施例中，将该目标范围内可以包含的区域的数量表示为N；需要理解的是，前述N仅用于表示任意一次划分得到的区域的数量，不表示不同的目标范围和/或不同的目标粒度所划分得到的区域的数量为相同的，换句话说，不同的目标范围和/或不同的目标粒度所划分得到的区域的数量N可以不同。
所述N个区域中任意一个区域的POI数据，可以包括该区域内的一个或多个POI中各个POI数据。也就是说，任意一个区域的POI数据的数量可以为一个或多个，本实施例不对其进行限定。
所述N个区域中任意一个区域的图像数据，可以为预先获取的；示例性的，该任意一个区域的图像数据可以为该任意一个区域的卫星图像数据。
可见，通过采用上述方案，就可以通过N个区域的相邻关系、所述N个区域分别对应的POI特征、图像特征，得到该N个区域分别对应的多模态特征。如此，可以在表征各个区域的特征的时候引入跨模态的相关信息，与仅采用单模态表征各个区域特征的方式相比，可以保证最终得到的各个区域的多模态特征更加准确；进而，为下游处理提供更加准确的输入数据，从而可以使得后续下游处理也得到更加准确的结果。
在一种实施方式中，所述基于N个区域分别对应的兴趣点POI数据以及图像数据，生成所述N个区域分别对应的POI特征和图像特征，包括：
基于所述N个区域分别对应的POI数据，得到所述N个区域中第i个区域的第i个POI分布特征、第i个POI距离特征以及第i个设施分布特征，基于所述第i个POI分布特征、所述第i个POI距离特征以及所述第i个设施分布特征，生成所述第i个区域的第i个POI特征；以及对所述第i个区域的第i个图像数据进行特征提取，得到所述第i个区域的第i个图像特征；其中，i为小于等于N的正整数。
前述第i个区域为所述N个区域中的任意之一，由于针对所述N个区域中每个区域的处理方式均为相同的，因此不做一一赘述。还应理解，在实际处理中，可以将所述N个区域中每个区域均分别作为第i个区域，并行执行上述处理最终得到每个区域的POI特征和图像特征。为了便于理解，本实施例下文中采用第i个区域进行具体说明。
需要说明的是，前述基于N个区域分别对应的兴趣点POI数据以及图像数据，生成所述N个区域分别对应的POI特征和图像特征的处理中，生成所述N个区域中每一个区域分别对应的POI特征的处理和生成每一个区域分别对应的图像特征的处理，可以是同时执行的，或者可以先后执行的，本实施例不对其执行顺序进行限定。
所述N个区域分别对应的POI数据，可以包括：所述N个区域中全部区域内的一个或多个POI数据；进一步地，该N个区域中每一个区域均可以包含一个或多个POI数据，并且不同区域内包含的POI数据的数量可以相同或不同。任意一个POI数据可以包括：该POI的名称、该POI的位置、该POI的POI种类。其中，该POI的位置可以采用地理坐标表示，比如可以为该POI的中心点的经纬度信息。该POI的POI种类，可以为多种预设POI种类中任意之一；所述多种预设POI种类可以根据实际情况设置，比如，所述多种预设POI种类包括以下至少之一：商场、学校、旅游景点、医院、加油站等等，这里仅为示例性说明，在实际处理中，还可以将所述多种预设种类可以在前述基础上包含其他更多种类，只是不做穷举。
基于所述N个区域分别对应的POI数据，得到所述N个区域中第i个区域的第i个POI分布特征的一种处理方式，可以包括：从所述N个区域的所述第i个区域的第i组POI数据中，获取所述第i个区域包含的一个或多个POI分别对应的POI种类；基于所述一个或多个POI分别对应的POI种类，确定所述第i个区域的POI种类分布特征；将该第i区域的POI种类分布特征作为所述第i个POI分布特征。
具体的，前述基于所述一个或多个POI分别对应的POI种类，确定所述第i个区域的POI种类分布特征，可以指的是：基于所述一个或多个POI分别对应的POI种类，确定所述多种预设POI种类中每种预设POI种类所分别对应的POI的数量；将每种预设POI种类对应的POI的数量、与所述第i个区域的POI总数量相除，得到每种预设POI种类在该第i个区域的占比；基于所述每种预设POI种类在该第i个区域的占比，生成所述第i个区域的POI种类分布特征。
其中，所述基于所述每种预设POI种类在该第i个区域的占比，生成所述第i个区域的POI种类分布特征，可以为：将所述每种预设POI种类在该第i个区域的占比拼接，得到所述第i个区域的POI种类分布特征；或者，将所述每种预设POI种类在该第i个区域的占比转换为预设进制后进行拼接，得到所述第i个区域的POI种类分布特征。其中，预设进制可以为二进制、8进制、16进制中任意一种，这里不对其进行限定。应理解，上述拼接的顺序可以为预设的，比如，预先可以得知预设POI种类为3种，分别为预设POI种类1、预设POI种类2、预设POI种类3，则可以预先设置拼接的顺序为预设POI种类1的占比、预设POI种类2的占比、预设POI种类3的占比。这里仅为示例性说明，实际处理中预设POI种类的数量可以更多，实际拼接的顺序也可以不限于以上示例，只是这里不再穷举。
举例来说，所述多种预设POI种类包括：商场、学校、医院、旅游景点这四个；在第i个区域中包含10个POI，其中有8个POI的POI种类为商场，1个POI的POI种类为医院，1个POI的POI种类为旅游景点。上述将每种预设POI种类对应的POI的数量、与所述第i个区域的POI总数量相除，得到每种预设POI种类在该第i个区域的占比，可以为：将预设POI种类为商场的POI的数量8、与所述第i个区域的POI总数量10相除，得到预设POI种类为商场的POI的占比为0.8；以此类推，可以得到预设POI得到预设POI种类为医院的POI的占比为0.1，预设POI种类为旅游景点的POI的占比为0.1，预设POI种类为学校的POI的占比为0。上述将所述每种预设POI种类在该第i个区域的占比，作为所述第i个区域的POI种类分布特征，可以指的是：将所述每种预设POI种类在该第i个区域的占比进行拼接，得到所述第i个区域的POI种类分布特征。
基于所述N个区域分别对应的POI数据，得到所述N个区域中第i个区域的第i个POI分布特征的另一种处理方式，可以包括：
从所述N个区域的所述第i个区域的第i组POI数据中，获取所述第i个区域包含的一个或多个POI分别对应的POI种类；基于所述一个或多个POI分别对应的POI种类，确定所述第i个区域的POI种类分布特征；
从包含第i个区域的K个参考区域的K组POI数据中，获取所述K个参考区域包含的一个或多个参考POI的POI种类；基于所述一个或多个参考POI的POI种类，确定该K个参考区域的参考POI种类分布特征；K为大于等于1的整数；
将所述第i个区域的POI种类分布特征、以及该K个参考区域的参考POI种类分布特征进行拼接，得到所述第i个POI分布特征。
这种处理方式中，前述确定所述第i个区域的POI种类分布特征的处理、和确定该K个参考区域的参考POI种类分布特征的处理，可以为并行处理的，也可以为先后执行的，这里不对其执行顺序进行限定。
其中，所述包含第i个区域的K个参考区域，指的包括：该第i个区域、以及与该第i个区域空间相邻的K-1个参考区域。K的数量可以为固定数量，比如，K可以等于9，或者K可以等于25等等，这里不对其全部可能的取值进行穷举。假设，若K等于9，则所述与该第i个区域空间相邻的8个参考区域，可以分别位于第i个区域的北侧、东侧、南侧、西侧、东北侧、东南侧、西南侧、西北侧。
所述从所述N个区域的所述第i个区域的第i组POI数据中，获取所述第i个区域包含的一个或多个POI分别对应的POI种类；基于所述一个或多个POI分别对应的POI种类，确定所述第i个区域的POI种类分布特征，与前述实施例的处理方式相同，不做重复说明。
所述从包含第i个区域的K个参考区域的K组POI数据中，获取所述K个参考区域包含的一个或多个参考POI的POI种类，可以指的是，从包含第i个区域的K个参考区域的K组POI数据中，获取所述K个参考区域包含的全部参考POI中每个POI的POI种类；或者，可以指的是从包含第i个区域的K个参考区域的K组POI数据中，获取所述K个参考区域中，每一个参考区域包含的一个或多个参考POI的POI种类。
相应的，所述基于所述一个或多个参考POI的POI种类，确定该K个参考区域的参考POI种类分布特征，可以包括：基于所述K个参考区域包含的全部参考POI中每个POI的POI种类，确定所述多种预设POI种类中每种预设POI种类所分别对应的参考POI的数量；将每种预设POI种类对应的参考POI的数量、与所述全部参考POI的总数量相除，得到每种预设POI种类在该K个参考区域的占比；基于所述每种预设POI种类在该K个参考区域的占比，生成该K个参考区域的参考POI种类分布特征。
举例来说，所述多种预设POI种类包括：商场、学校、医院、旅游景点这四个；在包含所述第i个区域的K个参考区域中总共包含20个参考POI，其中有10个参考POI的POI种类为商场，4个参考POI的POI种类为医院，6个参考POI的POI种类为旅游景点。将预设POI种类为商场的POI的数量10、与所述K个参考区域中的参考POI总数量20相除，得到预设POI种类为商场的参考POI的占比为0.5；以此类推，可以得到预设POI得到预设POI种类为医院的参考POI的占比为0.2，预设POI种类为旅游景点的参考POI的占比为0.3，预设POI种类为学校的参考POI的占比为0。将所述每种预设POI种类在该K个参考区域的占比进行拼接，得到该K个参考区域的参考POI种类分布特征。
所述基于所述每种预设POI种类在该K个参考区域的占比，生成该K个参考区域的参考POI种类分布特征，可以为：将所述每种预设POI种类在该K个参考区域的占比进行拼接，得到该K个参考区域的参考POI种类分布特征；或者，将所述每种预设POI种类在该K个参考区域的占比转换为预设进制后进行拼接，得到该K个参考区域的参考POI种类分布特征。
所述将所述第i个区域的POI种类分布特征、以及该K个参考区域的参考POI种类分布特征进行拼接，得到所述第i个POI分布特征，可以指的是，将所述第i个区域的POI种类分布特征、以及该K个参考区域的参考POI种类分布特征，按照预设拼接顺序进行拼接，得到所述第i个POI分布特征。其中预设拼接顺序可以为根据实际情况设置的，不对其进行限定。
基于所述N个区域分别对应的POI数据，得到所述N个区域中第i个区域的第i个POI距离特征的处理方式，可以包括：基于所述N个区域中包含的一个或多个POI数据，确定所述一个或多个POI分别对应的位置以及POI种类；基于所述第i个区域的中心位置、多个预设POI种类中每个预设POI种类中的POI的位置，确定所述第i个区域、与所述多种预设POI种类中每个预设POI种类的POI之间的最近距离；基于所述第i个区域、与所述多种预设POI种类中每个预设POI种类的POI之间的最近距离，生成所述第i个区域的第i个POI距离特征。
其中，所述N个区域中包含的一个或多个POI数据，可以指的是所述N个区域中，全部区域内包含的全部POI数据。前述已经说明，任意一个POI数据中可以包括POI的位置、POI的名称和POI的POI种类。前述也已经对所述多个预设POI种类做了说明，这里不做赘述。
所述第i个区域的中心位置，可以是该第i个区域的中心点的坐标，具体可以采用经纬度来表示，这里不对其全部可能的表示方式进行穷举。相应的，所述基于所述第i个区域的中心位置、多个预设POI种类中每个预设POI种类中的POI的位置，确定所述第i个区域、与所述多种预设POI种类中每个预设POI种类的POI之间的最近距离，可以包括：基于所述第i个区域的中心位置，以及所述多个预设POI种类中第k个预设POI种类中一个或多个POI的位置，确定所述第i个区域的中心位置、与所述第k个预设POI种类中一个或多个POI之间的最近距离；k为正整数。其中第k个预设POI种类为所述多个预设POI种类中任意之一，针对所述多个预设POI种类中不同的预设POI种类的处理，与前述第k个预设POI种类的处理均为相同的，因此不做一一赘述。
示例性的，假设多个预设POI种类为3个，分别为预设POI种类1、预设POI种类2和预设POI种类3；其中，N个区域包含的全部POI数据中，POI种类为预设POI种类1的POI有30个；分别基于第i个区域的中心位置、以及预设POI种类1的30个POI的位置，计算得到第i个区域的中心位置与预设POI种类1的30个POI之间的距离；从第i个区域的中心位置与预设POI种类1的30个POI之间的距离中，选取最近距离作为前述第i个区域与预设POI种类1的POI之间的最近距离。其他预设POI种类2和预设POI种类3的处理方式与前述示例是相同的，因此不做重复说明。
所述基于所述第i个区域、与所述多种预设POI种类中每个预设POI种类的POI之间的最近距离，生成所述第i个区域的第i个POI距离特征，可以是，将所述第i个区域、与所述多种预设POI种类中每个预设POI种类的POI之间的最近距离进行拼接，得到所述第i个区域的第i个POI距离特征。其中，拼接的方式可以基于距离预设拼接顺序执行，该距离预设拼接顺序可以根据实际情况设置，比如，多个预设POI种类的数量有3个，该距离预设拼接顺序可以为基于多个预设POI种类来设置的，比如，将距离预设拼接顺序设置为预设POI种类1、预设POI种类2和预设POI种类3的顺序。
基于所述N个区域分别对应的POI数据，得到所述N个区域中第i个区域的第i个设施分布特征的处理方式，可以包括：
基于所述N个区域中包含的POI数据，确定指定范围内包含的一个或多个POI中每个POI的POI种类；其中，所述指定范围中包含所述第i个区域；
基于所述指定范围内包含的一个或多个POI中每个POI的POI种类，判断该指定范围内是否包含全部指定的POI种类；
在确定该指定范围内包含全部指定的POI种类的情况下，确定所述第i个区域的第i个设施分布特征取值为第一值；在确定该指定范围内不包含全部指定的POI种类的情况下，确定所述第i个区域的第i个设施分布特征取值为第二值。
其中，所述指定范围可以为：仅包含所述第i个区域。或者，该指定范围可以为：以所述第i个区域的中心，向外延伸指定距离后覆盖的全部区域。其中，所述指定距离可以根据实际情况设置，比如可以为1公里、或更长或更短，这里不做限定。以所述第i个区域的中心，向外延伸指定距离后覆盖的全部区域，可以为：以所述第i个区域的边缘位置起，向外延伸指定距离后覆盖的全部区域；举例来说，假设该第i个区域为：以经度a1纬度b1为中心、128米乘128米大小的原始正方形区域；则可以是在第i个区域的四个边分别为起始位置，分别向外延伸(即向中心点的反方向延伸)指定距离后，可以得到一个新的正方形区域，该新的正方形区域则为前述指定范围。
其中，所述第一值与所述第二值不同，示例性的，所述第一值可以为1，所述第二值可以为0；又或者，所述第一值可以为0，所述第二值可以为1；或者，所述第一值可以为01，所述第二值可以为10，或者反之。应理解，前述仅为示例性说明，只要所述第一值和第二值不同就均在本实施例保护范围内。
所述全部指定的POI种类，可以为根据实际情况确定的。该全部指定的POI种类，可以为前述多种预设POI种类中的至少之一。比如，该全部指定的POI种类可以为前述多种预设POI种类的全部预设POI种类。又比如，前述预设POI种类包含预设POI种类1、预设POI种类2和预设POI种类3，全部指定的POI种类可以包含前述预设POI种类1和预设POI种类2。应理解，这里仅为示例性说明，实际处理中，只要全部指定的POI种类为所述多种预设POI种类中的至少之一，就在本实施例保护范围内，不做穷举。
通过以上处理可以基于所述N个区域分别对应的POI数据，得到所述N个区域中第i个区域的第i个POI分布特征、第i个POI距离特征以及第i个设施分布特征。在此基础上，所述基于所述第i个POI分布特征、所述第i个POI距离特征以及所述第i个设施分布特征，生成所述第i个区域的第i个POI特征，可以包括：将所述第i个POI分布特征、所述第i个POI距离特征以及所述第i个设施分布特征进行拼接，得到所述第i个区域的第i个POI特征。该拼接处理可以为基于POI特征预设拼接顺序实现，该POI特征预设拼接顺序可以根据实际情况设置，比如设置该POI特征预设拼接顺序为：所述第i个POI分布特征、所述第i个POI距离特征以及所述第i个设施分布特征的顺序；或者，该设置POI特征预设拼接顺序为：所述第i个POI距离特征、所述第i个POI分布特征、所述第i个设施分布特征的顺序。这里不对该POI特征预设拼接顺序全部可能的情况进行穷举。
前述第i个区域的第i个图像数据，具体可以为该第i个区域的第i个卫星图像数据。第i个卫星图像数据可以为256×256(单位可以为像素)的RGB图像。关于获取任意一个区域的卫星图像数据的方式，可以是预先获取并保存的，也可以是需要的时候从卫星地面站的数据库提取的，本实施例不做限定。
所述对所述第i个区域的第i个图像数据进行特征提取，得到所述第i个区域的第i个图像特征，具体可以为：将所述第i个区域的第i个图像数据输入图像处理模型进行特征提取，得到所述图像处理模型输出的所述第i个区域的所述第i个图像特征。
其中，所述第i个图像特征可以为多维向量，具体的向量的维度数量可以与该图像处理模型相关，示例性的，该第i个图像特征可以为4096维向量。
所述图像处理模型可以为基于原始图像处理模型得到的，比如，该图像处理模型可以为：从所述原始图像处理模型中去掉最后的一层或多层连接层后，得到该图像处理模型；其中，去掉的连接层的数量可以根据实际的原始图像处理模型相关。举例来说，该原始图像处理模型可以为牛津大学几何组(Visual Geometry Group，VGG)16模型；通过移除VGG16模型的最后快两个全连接层得到本实施例所要使用的图像处理模型。本实施例采用图像处理模型对图像数据进行处理以提取图像特征，这样可以避免由于像素级的图像数据维度较高，而直接使用像素级的图像数据进行后续的目标模型训练的处理时，可能会带来训练目标模型容易造成过拟合的问题。
前述已经说明，可以将该目标范围对应的区域图表示为G＝(V,E,A,X)，其中X表示区域特征矩阵，通过前述处理，可以得到各个区域的POI特征以及图像特征，相应的，可以基于各个区域的POI特征以及图像特征构建前述目标范围对应的区域图中的区域特征矩阵中各个区域对应的节点的区域特征，比如，可以在第i个区域所对应的区域特征矩阵的位置处，设置该第i个区域的POI特征和图像特征。
可见，通过采用上述方案，就可以基于所述N个区域分别对应的POI数据进行处理，得到N个区域中第i个区域的POI特征，以及基于N个区域中第i个区域的图像数据进行特征提取，得到第i个区域的图像特征。如此，能够在使用各个区域的POI特征以及图像特征，生成多模态特征时，得到更加准确的多模态特征。
在一种实施方式中，所述方法还可以包括：
基于所述N个区域的空间特征，确定所述N个区域分别对应的空间相邻区域，并基于预设路网连通数据，确定所述N个区域分别对应的连通相邻区域；
将所述N个区域分别对应的空间相邻区域、所述N个区域分别对应的连通相邻区域，作为所述N个区域分别对应的相邻区域；
基于所述N个区域分别对应的相邻区域，生成所述N个区域的相邻关系。
所述N个区域的空间特征，具体可以指的是，所述N个区域中各个区域的地理位置。示例性的，所述N个区域中各个区域的地理位置，可以采用所述N个区域中各个区域的中心位置的经纬度来表示。
所述基于所述N个区域的空间特征，确定所述N个区域分别对应的空间相邻区域，可以包括：基于所述N个区域中各个区域的地理位置，以及第i个区域的地理位置，确定与所述第i个区域空间相邻的M个空间相邻区域；i为小于等于N的正整数，M可以为正整数。应理解，第i个区域为所述N个区域中任意之一，对所述N个区域中的任意一个区域均可以采用上述方式，得到任意一个区域的M个空间相邻区域，只是不做一一赘述。
一种示例中，M可以等于8，也就是，所述与所述第i个区域空间相邻的M个空间相邻区域，可以为与所述第i个区域空间相邻的8个空间相邻区域。具体的，可以将所述第i个区域作为中间区域，得到3×3个区域(即9个区域)，这9个区域中除去所述第i个区域之外，剩余的8个区域为与该第i个区域空间相邻的8个区域。
所述基于预设路网连通数据，确定所述N个区域分别对应的连通相邻区域，具体可以包括：基于所述预设路网连通数据中各个预设路网节点的位置，确定所述N个区域中所述第i个区域所对应的目标路网节点；确定所述目标路网节点通过一个或多个预设路网边，能够连接到的一个或多个候选路网节点；以所述目标路网节点为起点，从所述一个或多个候选路网节点中，确定在预设连通范围内的一个或多个候选路网节点；将所述在预设连通范围内的一个或多个候选路网节点所分别对应的一个或多个区域，作为所述第i个区域的一个或多个连通相邻区域。
其中，所述预设路网连通数据还可以称为路网数据，其中可以包含多个预设路网节点、以及多个预设路网边；所述多个预设路网边中每一个预设路网边用于连接两个预设路网节点。所述预设连通范围可以根据实际情况设置，比如，可以设置为5个预设路网边，或者还可以更多或更少，这里不对其进行限定。也就是说，前述以所述目标路网节点为起点，从所述一个或多个候选路网节点中，确定在预设连通范围内的一个或多个候选路网节点，可以包括：以所述目标路网节点为起点，从所述一个或多个候选路网节点中，确定在5个预设路网边内的一个或多个候选路网节点。
前述处理通过引入预设路网连通数据来建立区域间的连通相邻区域，这是由于预设路网连通数据作为城市交通***中最核心的部分，对捕捉跨区域的功能关联性有重要作用。而采用本实施例划分得到的多个区域之间可能空间分布不相邻，但是通过预设路网连通数据确定可以连接，因此这样可以更全面地获取到各个区域之间的相关性。
所述将所述N个区域分别对应的空间相邻区域、所述N个区域分别对应的连通相邻区域，作为所述N个区域分别对应的相邻区域，可以指的是，将所述N个区域中的所述第i个区域的空间相邻区域和所述第i个区域的连通相邻区域，均作为所述第i个区域的相邻区域。由于第i个区域为所述N个区域中任意之一，因此对该N个区域中的各个区域的处理与前述相同，因此不做一一赘述。
所述基于所述N个区域分别对应的相邻区域，生成所述N个区域的相邻关系，可以为：将所述N个区域分别对应的相邻区域作为区域邻接矩阵中的元素，得到表示所述N个区域的相邻关系的所述区域邻接矩阵。
结合前述实施例提供的方案，可以将目标范围划分为N个区域，也就是可以将目标范围网格化，假设该目标范围为一个城市，则可以是将城市网格化。在将该目标范围网格化之后，本实施例可以构建起该目标范围对应的区域图(或称为城市区域图)。该目标范围对应的区域图可以用于描述区域的特点及区域间的关系；该目标范围对应的区域图中，可以将N个区域中每个区域作为该目标范围对应的区域图中的一个节点，假设将该目标范围对应的区域图表示为G＝(V,E,A,X)，其中V表示由各个区域构成的节点集合，X表示区域特征矩阵，E表示边，A表示区域邻接矩阵即区域的相邻关系。
具体的，该目标范围对应的区域图中V可以为各个区域分别对应的节点的标识组成的集合。该目标范围对应的区域图中X可以为各个区域分别对应的特征所组成的矩阵，该各个区域分别对应的特征可以包括各个区域分别对应的POI特征和图像特征，比如V1对应的特征为{POI特征1、图像特征1}，该V1对应的特征可以作为X(区域特征矩阵)中的一个元素，以此类推，各个区域分别对应的特征组成上述区域特征矩阵。该目标范围对应的区域图中E可以表示各个区域分别对应的节点中可能存在的边，比如V1和V2之间可以存在一条边。该目标范围对应的区域图中A可以指的是通过前述实施例构建得到的表示所述N个区域的相邻关系的所述区域邻接矩阵；比如该区域邻接矩阵中，A12＝1则表示V1和V2两个区域之间相邻，A13＝0则表示V1和V3两个区域之间不相邻。需要指出的是，任意两个区域之间的相邻关系，可以包括空间相邻和连通相邻，也就是说，若两个区域之间空间相邻，则其中一个区域为另一个区域的空间相邻区域；若两个区域之间连通相邻，则其中一个区域为另一个区域的连通相邻区域，应理解，在本实施例后续方案中，将一个区域的连通相邻区域以及空间相邻区域，均称为该区域的相邻区域；还应理解的是，任意一个区域可以具备一个或多个相邻区域，本实施例不对一个区域可以具备的相邻区域的数量进行限定。
可见，通过采用上述方案，就可以从区域的空间特征以及预设路网连通数据，分别确定区域的空间相邻区域以及连通相邻区域，从而可以更加准确的表示各个区域的相邻关系，使得后续处理可以提取到更加全面且准确的相邻区域，进而保证生成的多模态特征更加准确。
在一种实施方式中，所述基于所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征，生成所述N个区域分别对应的多模态特征，包括：将所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征输入第一预设子模型，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征。
这里，所述第一预设子模型具体可以为基于互注意力机制的图神经预设网络，或者，还可以为其他类型的预设网络，这里不对其全部可能的架构进行穷举。
在前述实施例提供的方案中，可以得到所述目标范围对应的区域图，该目标范围对应的区域图中可以包括所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征；相应的，所述将所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征输入第一预设子模型，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征，可以是：将所述目标范围对应的区域图输入第一预设子模型，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征。其中，在所述第一预设子模型中，可以基于所述目标范围对应的区域图包含的所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征进行处理，以得到所述N个区域分别对应的多模态特征。
可见，通过采用上述方案，就可以通过第一预设子模型对前述构建的所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征进行处理，以得到多模态特征，从而保证高效且准确的为下游处理提供输入信息，提升了整体处理效率以及准确性。
在一种实施方式中，所述方法还可以包括：将所述N个区域分别对应的多模态特征输入第二预设子模型，得到所述第二预设子模型输出的预测信息；
基于所述预测信息确定损失函数，基于所述损失函数反向传导更新所述第一预设子模型、所述第二预设子模型；
在确定所述第一预设子模型和所述第二预设子模型完成训练的情况下，得到训练后的第一目标子模型和第二目标子模型。
这里，所述第二预设子模型可以为根据本次训练所要得到的训练目标相关，比如，本次训练需要得到一个多分类结果，也就是本次训练针对了多分类任务，则该第二预设子模型可以为回归模型。相应的，随着选取的第二预设子模型的不同，可以使用的损失函数的类型也是不同的；仍然以前述多分类任务为例，则采用的损失函数的类型可以为交叉熵损失函数。应理解的是，具体的训练目标可以根据实际情况确定结合不同的训练目标可以选取不同的第二预设子模型，相应的，随着选取的第二预设子模型的类型的不同，使用的损失函数的类型也可以不同，本实施例对全部的可能性进行穷举。
前述将所述N个区域分别对应的多模态特征输入第二预设子模型，得到所述第二预设子模型输出的预测信息，可以指的是，将所述N个区域分别对应的多模态特征输入第二预设子模型，在所述第二预设子模型中对所述N个区域分别对应的多模态特征进行处理，得到所述第二预设子模型输出的预测信息。
前述损失函数的具体类型可以为根据本次选取的所述第二预设子模型的类型相关，该损失函数可以为一个或多个，比如可以为第一损失函数以及第二损失函数进行权重加和构成损失函数，或者，可以仅有一个损失函数，这里不对其全部可能的类型进行穷举。
确定所述第一预设子模型和所述第二预设子模型完成训练的方式，可以包括：训练的循环次数达到预设门限值；损失函数不再变化或小于指定值等等。所述预设门限值可以根据实际情况设置，比如可以为100次、50次等等。本实施例不对确定所述第一预设子模型和所述第二预设子模型完成训练可能的全部收敛条件进行穷举。
需要理解的是，在得到前述第一目标子模型和第二目标子模型之后，可以使用前述第一目标子模型和第二目标子模型进行实际预测处理，具体的处理与前述进行训练时确定的训练目标相关，仍然以多分类任务为例，实际使用可以为：将多个区域的相邻关系、多个区域分别对应的POI特征和图像特征输出所述第一目标子模型，得到所述第一目标子模型输出的该多个区域分别对应的多模态特征；将该多个区域分别对应的多模态特征输入所述第二目标子模型，得到所述第二目标子模型输出的分类结果。
结合图2，对本实施例提供的前述方案进行示例性说明：
S201：获取N个区域分别对应的POI数据和图像数据，并获取预设路网连通数据；
S202：基于N个区域分别对应的POI数据以及图像数据，生成所述N个区域分别对应的POI特征和图像特征；
S203：基于所述预设路网连通数据、所述N个区域的空间特征，生成所述N个区域的相邻关系。
具体的，本步骤可以包括：基于所述N个区域的空间特征，确定所述N个区域分别对应的空间相邻区域，并基于预设路网连通数据，确定所述N个区域分别对应的连通相邻区域；将所述N个区域分别对应的空间相邻区域、所述N个区域分别对应的连通相邻区域，作为所述N个区域分别对应的相邻区域；基于所述N个区域分别对应的相邻区域，生成所述N个区域的相邻关系。
前述S202和S203的处理顺序可以为并行处理，也可以先执行S202再执行S203，还可以先执行S203再执行S202，本实施例不对其进行限定。
另外，还需要指出的是，完成S202和S203的处理之后，可以得到目标范围对应的区域图，关于该目标范围对应的区域图的详细说明，在前述实施例已经描述，这里不做赘述。
S204：将所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征输入第一预设子模型，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征。
S205：将所述N个区域分别对应的多模态特征输入第二预设子模型，得到所述第二预设子模型输出的预测信息。
S206：基于所述预测信息确定损失函数，基于所述损失函数反向传导更新所述第一预设子模型、所述第二预设子模型。
在完成前述S206之后，还可以包括：在确定所述第一预设子模型和所述第二预设子模型完成训练的情况下，得到训练后的第一目标子模型和第二目标子模型。
可见，通过采用上述方案，就可以在确定第一预设子模型完成处理之后的下游任务使用的第二预设子模型，通过将第一预设子模型得到的多模态特征进行后续处理，直至得到训练后的第一目标子模型和第二目标子模型。由于第一预设子模型为第二预设子模型提供的输入为更加准确的多模态特征，因此可以使得第二预设子模型能够得到更加准确的输出，因此在完成训练得到第一目标子模型和第二目标子模型后，可以使用第一目标子模型和第二目标子模型在实际使用的时候，得到更加准确的输出信息。
在一种实施方式中，所述将所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征输入第一预设子模型，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征，包括：
将所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征输入所述第一预设子模型，在所述第一预设子模型中基于所述N个区域的相邻关系、以及所述N个区域分别对应的POI特征和图像特征，生成所述N个区域分别对应的第一跨模态向量以及第二跨模态向量；
在所述第一预设子模型中对所述N个区域分别对应的所述第一跨模态向量以及所述第二跨模态向量进行处理，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征。
这里，所述在所述第一预设子模型中基于所述N个区域的相邻关系、以及所述N个区域分别对应的POI特征和图像特征，生成所述N个区域分别对应的第一跨模态向量以及第二跨模态向量，具体可以包括：
在所述第一预设子模型中基于所述N个区域的相邻关系确定所述N个区域分别对应的相邻区域；基于所述N个区域分别对应的相邻区域的POI特征、以及所述N个区域分别对应的图像特征，生成所述N个区域分别对应的第一跨模态向量，以及基于所述N个区域分别对应的相邻区域的图像特征、以及所述N个区域分别对应的POI特征，生成所述N个区域分别对应的第二跨模态向量。
所述在所述第一预设子模型中对所述N个区域分别对应的所述第一跨模态向量以及所述第二跨模态向量进行处理，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征，可以包括：在所述第一预设子模型中对所述N个区域分别对应的所述第一跨模态向量以及所述第二跨模态向量进行拼接，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征。
可见，通过采用上述方案，可以在所述第一预设模型中，对N个区域分别对应的相邻区域、以及N个区域分别对应的POI特征以及图像特性进行融合处理，以得到多个跨模态向量，最终基于多个跨模态向量生成多模态特征。如此，可以对各个区域进行跨模态向量的表征，保证了采用多模态特征进行下游模型的训练时，使得训练得到的第一目标子模型和第二目标子模型能够更加准确的进行预测处理。
在一种实施方式中，所述在所述第一预设子模型中基于所述N个区域的相邻关系、以及所述N个区域分别对应的POI特征和图像特征，生成所述N个区域分别对应的第一跨模态向量以及第二跨模态向量，包括：
在所述第一预设子模型中从所述N个区域的相邻关系中，获取所述N个区域中第i个区域的相邻区域；在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个图像特征，生成所述第i个区域的所述第一跨模态向量，并在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个POI特征，生成所述第i个区域对应的所述第二跨模态向量。
前述实施例已经说明，所述N个区域的相邻关系中包含所述N个区域中各个区域的相邻区域。相应的，所述在所述第一预设子模型中从所述N个区域的相邻关系中，获取所述N个区域中第i个区域的相邻区域，可以指的是，在所述第一预设子模型中从所述N个区域的相邻关系中，直接提取得到该第i个区域的相邻区域。前述也已经说明，针对所述N个区域中的各个区域，均会得到对应的POI特征以及图像特征。相应的，在所述第一预设子模型中可以获取到第i个区域的相邻区域对应的POI特征和图像特征。
应理解的是，所述第i个区域的相邻区域的数量可以为一个或多个。相应的，所述在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个图像特征，生成所述第i个区域的所述第一跨模态向量，并基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个POI特征，生成所述第i个区域对应的所述第二跨模态向量，可以包括：在所述第一预设子模型中基于所述第i个区域的一个或多个相邻区域中每个相邻区域的POI特征、所述第i个区域的第i个图像特征，生成所述第i个区域的所述第一跨模态向量，并在所述第一预设子模型中基于所述第i个区域的一个或多个相邻区域中每个相邻区域的图像特征、所述第i个区域的第i个POI特征，生成所述第i个区域对应的所述第二跨模态向量。另外，由于前述第i个区域为所述N个区域中任意之一，因此针对所述N个区域中各个区域均可以采用以上方式，得到各个区域分别对应的第一跨模态向量以及第二跨模态向量，只是不做一一赘述。
可见，通过采用上述方案，就可以基于各个区域的相邻区域的POI特征以及本区域的图像特征，得到本区域的第一跨模态向量，并基于各个区域的相邻区域的图像特征以及本区域的POI特征，得到本区域的第二跨模态向量。如此，可以使得各个区域融合相邻区域的特征，对各个区域进行跨模态向量的表征，保证了后续基于各个区域的跨模态向量生成的多模态特征更加准确，从而采用多模态特征进行下游模型的训练，可以使得训练得到的第一目标子模型和第二目标子模型能够更加准确的进行预测处理。
在一种实施方式中，所述在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个图像特征，生成所述第i个区域的所述第一跨模态向量，包括：在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个图像特征，得到所述第i个区域的第一跨模态权重值；基于所述第i个区域的第一跨模态权重值、以及所述第i个区域的相邻区域的POI特征，得到所述第i个区域的所述第一跨模态向量；
所述在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个POI特征，生成所述第i个区域对应的所述第二跨模态向量，包括：在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个POI特征，得到所述第i个区域的第二跨模态权重值；基于所述第i个区域的第二跨模态权重值、以及所述第i个区域的相邻区域的图像特征，得到所述第i个区域的所述第二跨模态向量。
其中，在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个图像特征，得到所述第i个区域的第一跨模态权重值，可以包括：在所述第一预设子模型中基于所述第i个区域的第j个相邻区域的第j个POI特征、所述第i个区域的第i个图像特征，得到所述第i个区域与所述第j个相邻区域之间的第一跨模态权重值；j为小于或等于N的正整数。
所述第i个区域可以包括一个或多个相邻区域，该第j个相邻区域可以为所述第i个区域的所述一个或多个相邻区域中任意之一。应理解，针对第i个区域的每一个相邻区域，均可以采用上述处理，得到第i个区域与每个相邻区域之间的第一跨模态权重值，只是不做一一赘述。
具体的，在所述第一预设子模型中基于所述第i个区域的第j个相邻区域的第j个POI特征、所述第i个区域的第i个图像特征，得到所述第i个区域与所述第j个相邻区域之间的第一跨模态权重值，可以包括：在所述第一预设子模型中基于第一POI特征变换矩阵、以及所述第j个相邻区域的第j个POI特征，得到变换后的第j个POI特征；在所述第一预设子模型中基于第一图像变换矩阵、以及所述第i个区域的第i个图像特征，得到变换后的第i个图像特征；在所述第一预设子模型中将所述变换后的第j个POI特征和变换后的第i个图像特征进行拼接，得到第一向量；基于预设第一参数向量以及所述第一向量相乘后，采用目标激活函数进行计算，得到所述第i个区域与所述第j个相邻区域之间的第一跨模态权重值。
其中，所述第一图像特征变换矩阵中的参数在后续结合第二预设子模型进行训练的过程中，可以根据损失函数进行反向传导而调整。所述第一POI特征变换矩阵中的参数，同样在后续结合第二预设子模型训练过程中，可以根据损失函数进行反向传导而调整。所述预设第一参数向量，同样可以为在后续结合第二预设子模型训练过程中，可以根据损失函数进行反向传导而调整的。
所述在所述第一预设子模型中基于所述第i个区域的第一跨模态权重值、以及所述第i个区域的相邻区域的POI特征，得到所述第i个区域的所述第一跨模态向量，包括：在所述第一预设子模型中基于所述第i个区域与各个相邻区域之间的第一跨模态权重值，确定所述第i个区域与所述各个区域之间的归一化第一跨模态权重值；在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第一跨模态权重值、以及所述各个相邻区域的POI特征，确定所述第i个区域的第一跨模态向量。
其中，所述在所述第一预设子模型中基于所述第i个区域与各个相邻区域之间的第一跨模态权重值，确定所述第i个区域与所述各个区域之间的归一化第一跨模态权重值，可以包括：在所述第一预设子模型中基于所述第i个区域与第j个相邻区域之间的第一跨模态权重值、与各个相邻区域的第一跨模态权重值的和相除，得到所述第i个区域与所述第j个相邻区域之间的归一化第一跨模态权重值。
所述在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第一跨模态权重值、以及所述各个相邻区域的POI特征，确定所述第i个区域的第一跨模态向量，可以包括：在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第一跨模态权重值、以及所述各个相邻区域的POI特征，计算得到第i个区域的各个第一跨模态子向量；将所述第i个区域的各个第一跨模态子向量相加后，基于目标激活函数计算得到所述第i个区域的第一跨模态向量。
其中，所述在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第一跨模态权重值、以及所述各个相邻区域的POI特征，确定所述第i个区域的第一跨模态向量，可以包括：在所述第一预设子模型中基于所述第i个区域与所述第j个相邻区域之间的归一化第一跨模态权重值、所述第i个区域的第j个相邻区域的POI特征、以及所述第一POI特征变换矩阵相乘，得到所述第i个区域的第j个第一跨模态子向量。
前述在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个POI特征，得到所述第i个区域的第二跨模态权重值，可以包括：在所述第一预设子模型中基于所述第i个区域的第j个相邻区域的第j个图像特征、所述第i个区域的第i个POI特征，得到所述第i个区域与所述第j个相邻区域之间的第二跨模态权重值；j为正整数。应理解，针对第i个区域的每一个相邻区域，均可以采用上述处理，得到第i个区域与每个相邻区域之间的第二跨模态权重值，只是不做一一赘述。
具体的，在所述第一预设子模型中基于所述第i个区域的第j个相邻区域的第j个图像特征、所述第i个区域的第i个POI特征，得到所述第i个区域与所述第j个相邻区域之间的第二跨模态权重值，可以包括：在所述第一预设子模型中基于第二图像特征变换矩阵、以及所述第j个相邻区域的第j个图像特征，得到变换后的第j个图像特征；基于第二POI特征变换矩阵、以及所述第i个区域的第i个POI特征，得到变换后的第i个POI特征；将所述变换后的第j个图像特征和变换后的第i个POI特征进行拼接，得到第二向量；基于预设第二参数向量以及所述第二向量相乘后，采用目标激活函数进行计算，得到所述第i个区域与所述第j个相邻区域之间的第二跨模态权重值。
其中，所述第二图像特征变换矩阵中的参数在后续结合第二预设子模型进行训练的过程中，可以根据损失函数进行反向传导而调整。所述第二POI特征变换矩阵中的参数，同样在后续结合第二预设子模型训练过程中，可以根据损失函数进行反向传导而调整。所述预设第二参数向量，同样可以为在后续结合第二预设子模型训练过程中，可以根据损失函数进行反向传导而调整的。
所述在所述第一预设子模型中基于所述第i个区域的第二跨模态权重值、以及所述第i个区域的相邻区域的图像特征，得到所述第i个区域的所述第二跨模态向量，包括：在所述第一预设子模型中基于所述第i个区域与各个相邻区域之间的第二跨模态权重值，确定所述第i个区域与所述各个区域之间的归一化第二跨模态权重值；在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第二跨模态权重值、以及所述各个相邻区域的图像特征，确定所述第i个区域的第二跨模态向量。
其中，所述在所述第一预设子模型中基于所述第i个区域与各个相邻区域之间的第二跨模态权重值，确定所述第i个区域与所述各个区域之间的归一化第二跨模态权重值，可以包括：在所述第一预设子模型中基于所述第i个区域与第j个相邻区域之间的第二跨模态权重值、与各个相邻区域的第二跨模态权重值的和相除，得到所述第i个区域与所述第j个相邻区域之间的归一化第二跨模态权重值。
所述在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第二跨模态权重值、以及所述各个相邻区域的图像特征，确定所述第i个区域的第二跨模态向量，可以包括：在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第二跨模态权重值、以及所述各个相邻区域的图像特征，计算得到第i个区域的各个第二跨模态子向量；在所述第一预设子模型中将所述第i个区域的各个第二跨模态子向量相加后，基于目标激活函数计算得到所述第i个区域的第二跨模态向量。
其中，所述在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第二跨模态权重值、以及所述各个相邻区域的图像特征，计算得到第i个区域的各个第二跨模态子向量，可以包括：在所述第一预设子模型中基于所述第i个区域与所述第j个相邻区域之间的归一化第二跨模态权重值、所述第i个区域的第j个相邻区域的图像特征、以及所述第一图像特征变换矩阵相乘，得到所述第i个区域的第j个第二跨模态子向量。
可见，通过采用上述方案，就可以对各个区域任何相邻区域的不同类型的特征分别生成多个跨模态向量，如此，可以使得各个区域的跨模态向量生成的多模态特征更加准确，从而采用多模态特征进行下游模型的训练，可以使得训练得到的目标模型能够更加准确的进行预测处理。
在一种实施方式中，所述在所述第一预设子模型中基于所述N个区域分别对应的所述第一跨模态向量以及所述第二跨模态向量，生成所述N个区域分别对应的多模态特征，包括：
在所述第一预设子模型中基于所述N个区域中所述第i个区域的所述第一跨模态向量、所述第i个区域的第一同模态向量，得到所述第i个区域的第一多模向量；并在所述第一预设子模型中基于所述N个区域中所述第i个区域的所述第二跨模态向量、所述第i个区域的第二同模态向量，得到所述第i个区域的第二多模向量；基于所述第i个区域的第一多模向量和所述第i个区域的第二多模向量，生成所述第i个区域对应的多模态特征。
在所述第一预设子模型中基于所述N个区域中所述第i个区域的所述第一跨模态向量、所述第i个区域的第一同模态向量，得到所述第i个区域的第一多模向量，可以包括：在所述第一预设子模型中基于聚合函数对所述N个区域中所述第i个区域的所述第一跨模态向量、所述第i个区域的第一同模态向量进行聚合，得到所述第i个区域的第一多模向量。同样的，在所述第一预设子模型中基于所述N个区域中所述第i个区域的所述第二跨模态向量、所述第i个区域的第二同模态向量，得到所述第i个区域的第二多模向量，可以包括：在所述第一预设子模型中基于聚合函数对所述N个区域中所述第i个区域的所述第二跨模态向量、所述第i个区域的第二同模态向量进行聚合，得到所述第i个区域的第二多模向量。
其中，所述聚合函数可以根据实际情况设置，该聚合函数可以采用拼接、求和、或者注意力机制等方式中任意之一，这里不对其进行穷举。
基于所述第i个区域的第一多模向量和所述第i个区域的第二多模向量，生成所述第i个区域对应的多模态特征，可以指的是：将所述第i个区域的第一多模向量和所述第i个区域的第二多模向量进行拼接，得到所述第i个区域对应的多模态特征。
可见，通过采用上述方案，可以在最终得到多模态特征的处理中，不仅融合相邻区域的不同模态的特征，还融合相邻区域的相同模态的特征，从而使得对各个区域的表征更加准确，为下游任务提供了更加准确的参考特征。
在一种实施方式中，所述方法还包括：
在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个图像特征，生成所述第i个区域的第一同模态权重；基于所述第i个区域的第i个图像特征、所述第i个区域的第一同模态权重，生成所述第i个区域的第一同模态向量；
以及在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个POI特征，生成所述第i个区域的第二同模态权重；基于所述第i个区域的第i个POI特征、所述第i个区域的第二同模态权重，生成所述第i个区域的第二同模态向量。
其中，在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个图像特征，生成所述第i个区域的第一同模态权重，可以包括：在所述第一预设子模型中基于所述第i个区域的第j个相邻区域的第j个图像特征、所述第i个区域的第i个图像特征，得到所述第i个区域与所述第j个相邻区域之间的第一同模态权重值；j为正整数。
前述已经说明，所述第i个区域可以包括一个或多个相邻区域，该第j个相邻区域可以为所述第i个区域的所述一个或多个相邻区域中任意之一。应理解，针对第i个区域的每一个相邻区域，均可以采用上述处理，得到第i个区域与每个相邻区域之间的第一跨模态权重值，只是不做一一赘述。
具体的，在所述第一预设子模型中基于所述第i个区域的第j个相邻区域的第j个图像特征、所述第i个区域的第i个图像特征，得到所述第i个区域与所述第j个相邻区域之间的第一同模态权重值，可以包括：在所述第一预设子模型中基于第三图像变换矩阵、以及所述第j个相邻区域的第j个图像特征，得到变换后的第j个图像特征；基于第三图像变换矩阵、以及所述第i个区域的第i个图像特征，得到变换后的第i个图像特征；将所述变换后的第j个图像特征和变换后的第i个图像特征进行拼接，得到第三向量；基于预设第三参数向量以及所述第四向量相乘后，采用目标激活函数进行计算，得到所述第i个区域与所述第j个相邻区域之间的第一同模态权重值。
其中，所述第三图像变换变换矩阵中的参数在后续进行模型训练过程中，可以根据损失函数进行反向传导而调整。所述预设第三参数向量，同样可以为在后续进行模型训练过程中，可以根据损失函数进行反向传导而调整。
所述基于所述第i个区域的第i个图像特征、所述第i个区域的第一同模态权重，生成所述第i个区域的第一同模态向量，包括：在所述第一预设子模型中基于所述第i个区域与各个相邻区域之间的第一同模态权重值，确定所述第i个区域与所述各个区域之间的归一化第一同模态权重值；在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第一同模态权重值、以及所述第i个区域的第i个图像特征，确定所述第i个区域的第一同模态向量。
其中，所述在所述第一预设子模型中基于所述第i个区域与各个相邻区域之间的第一同模态权重值，确定所述第i个区域与所述各个区域之间的归一化第一同模态权重值，可以包括：在所述第一预设子模型中基于所述第i个区域与第j个相邻区域之间的第一同模态权重值、与各个相邻区域的第一同模态权重值的和相除，得到所述第i个区域与所述第j个相邻区域之间的归一化第一同模态权重值。
所述在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第一同模态权重值、以及所述第i个区域的第i个图像特征，确定所述第i个区域的第一同模态向量，可以包括：在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第一同模态权重值、以及所述第i个区域的第i个图像特征，计算得到第i个区域的各个第一同模态子向量；将所述第i个区域的各个第一同模态子向量相加后，基于目标激活函数计算得到所述第i个区域的第一同模态向量。
其中，所述在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第一同模态权重值、以及所述第i个区域的第i个图像特征，确定所述第i个区域的第一同模态向量，可以包括：在所述第一预设子模型中基于所述第i个区域与所述第j个相邻区域之间的归一化第一跨模态权重值、所述第i个区域的第i个图像特征、以及所述第三图像特征变换矩阵相乘，得到所述第i个区域的第j个第一同模态子向量。
在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个POI特征，生成所述第i个区域的第二同模态权重，可以包括：在所述第一预设子模型中基于所述第i个区域的第j个相邻区域的第j个POI特征、所述第i个区域的第i个POI特征，得到所述第i个区域与所述第j个相邻区域之间的第二同模态权重值；j为正整数。
应理解，针对第i个区域的每一个相邻区域，均可以采用上述处理，得到第i个区域与每个相邻区域之间的第一跨模态权重值，只是不做一一赘述。
具体的，在所述第一预设子模型中基于所述第i个区域的第j个相邻区域的第j个POI特征、所述第i个区域的第i个POI特征，得到所述第i个区域与所述第j个相邻区域之间的第二同模态权重值，可以包括：在所述第一预设子模型中基于第三POI变换矩阵、以及所述第j个相邻区域的第j个POI特征，得到变换后的第j个POI特征；基于第三POI变换矩阵、以及所述第i个区域的第i个POI特征，得到变换后的第i个POI特征；将所述变换后的第j个POI特征和变换后的第i个POI特征进行拼接，得到第四向量；基于预设第四参数向量以及所述第四向量相乘后，采用目标激活函数进行计算，得到所述第i个区域与所述第j个相邻区域之间的第二同模态权重值。
其中，所述第三POI变换变换矩阵中的参数在后续进行模型训练过程中，可以根据损失函数进行反向传导而调整。所述预设第四参数向量，同样可以为在后续进行模型训练过程中，可以根据损失函数进行反向传导而调整。
所述基于所述第i个区域的第i个POI特征、所述第i个区域的第二同模态权重，生成所述第i个区域的第二同模态向量，包括：在所述第一预设子模型中基于所述第i个区域与各个相邻区域之间的第二同模态权重值，确定所述第i个区域与所述各个区域之间的归一化第二同模态权重值；在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第二同模态权重值、以及所述第i个区域的第i个POI特征，确定所述第i个区域的第二同模态向量。
其中，所述在所述第一预设子模型中基于所述第i个区域与各个相邻区域之间的第二同模态权重值，确定所述第i个区域与所述各个区域之间的归一化第二同模态权重值，可以包括：在所述第一预设子模型中基于所述第i个区域与第j个相邻区域之间的第二同模态权重值、与各个相邻区域的第二同模态权重值的和相除，得到所述第i个区域与所述第j个相邻区域之间的归一化第二同模态权重值。
所述在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第二同模态权重值、以及所述第i个区域的第i个POI特征，确定所述第i个区域的第二同模态向量，可以包括：在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第一同模态权重值、以及所述第i个区域的第i个POI特征，计算得到第i个区域的各个第二同模态子向量；将所述第i个区域的各个第二同模态子向量相加后，基于目标激活函数计算得到所述第i个区域的第二同模态向量。
其中，所述在所述第一预设子模型中基于所述第i个区域与各个区域之间的归一化第二同模态权重值、以及所述第i个区域的第i个POI特征，确定所述第i个区域的第二同模态向量，可以包括：在所述第一预设子模型中基于所述第i个区域与所述第j个相邻区域之间的归一化第二跨模态权重值、所述第i个区域的第i个POI特征、以及所述第三POI特征变换矩阵相乘，得到所述第i个区域的第j个第二同模态子向量。
结合图3对前述第一预设子模型中的处理进行示例性说明：
在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征(图3中表示为)、所述第i个区域的第i个图像特征(图3中表示为/>)，生成所述第i个区域的第一同模态权重(图3中表示为/>)；基于所述第i个区域的第i个图像特征、所述第i个区域的第一同模态权重、预设第三参数向量(图3中表示为aP←P)，生成所述第i个区域的第一同模态向量(图3中表示为/>)；在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征(图3中表示为/>)、所述第i个区域的第i个POI特征(图3中表示为/>)、预设第四参数向量(图3中表示为aI←I)，生成所述第i个区域的第二同模态权重(图3中表示为/>)；基于所述第i个区域的第i个POI特征、所述第i个区域的第二同模态权重、预设第四参数向量，生成所述第i个区域的第二同模态向量(图3中表示为/>)。
执行上述处理的同时，还可以执行以下处理：在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征(图3中表示为)、所述第i个区域的第i个图像特征(图3中表示为/>)、预设第一参数向量(图3中表示为aI←P)，得到所述第i个区域的第一跨模态权重值(图3中表示为/>)；基于所述第i个区域的第一跨模态权重值、以及所述第i个区域的相邻区域的POI特征，得到所述第i个区域的所述第一跨模态向量(图3中表示为/>)；以及在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征(图3中表示为/>)、所述第i个区域的第i个POI特征(图3中表示为/>)、预设第二参数向量(图3中表示为aP←I)，得到所述第i个区域的第二跨模态权重值(图3中表示为/>)；基于所述第i个区域的第二跨模态权重值、以及所述第i个区域的相邻区域的图像特征，得到所述第i个区域的所述第二跨模态向量(图3中表示为/>)。
完成前述处理之后，执行以下处理：在所述第一预设子模型中基于所述N个区域中所述第i个区域的所述第一跨模态向量、所述第i个区域的第一同模态向量，得到所述第i个区域的第一多模向量；并基于所述N个区域中所述第i个区域的所述第二跨模态向量、所述第i个区域的第二同模态向量，得到所述第i个区域的第二多模向量；最后基于所述第i个区域的第一多模向量和所述第i个区域的第二多模向量，生成所述第i个区域对应的多模态特征。
可见，通过采用上述方案，可以融合相邻区域的相同模态的特征，从而在基于该融合了相邻区域的相同模态的特征、以及融合了相邻区域的跨模态特征生成多模态特征时，使得该多模态特征对各个区域的表征更加准确，为下游任务提供了更加准确的输入数据。
本公开第二方面实施例提供一种信息处理装置，如图4所示，包括：
区域特征生成模块401，用于基于N个区域分别对应的兴趣点POI数据以及图像数据，生成所述N个区域分别对应的POI特征和图像特征；N为正整数；
第一处理模块402，用于基于所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征，生成所述N个区域分别对应的多模态特征。
所述区域特征生成模块401，用于基于所述N个区域分别对应的POI数据，得到所述N个区域中第i个区域的第i个POI分布特征、第i个POI距离特征以及第i个设施分布特征，基于所述第i个POI分布特征、所述第i个POI距离特征以及所述第i个设施分布特征，生成所述第i个区域的第i个POI特征；以及对所述第i个区域的第i个图像数据进行特征提取，得到所述第i个区域的第i个图像特征。
在图4的基础上，如图5所示，所述装置还包括：
相邻关系生成模块501，用于基于所述N个区域的空间特征，确定所述N个区域分别对应的空间相邻区域，并基于预设路网连通数据，确定所述N个区域分别对应的连通相邻区域；将所述N个区域分别对应的空间相邻区域、所述N个区域分别对应的连通相邻区域，作为所述N个区域分别对应的相邻区域；基于所述N个区域分别对应的相邻区域，生成所述N个区域的相邻关系。
所述第一处理模块402，用于将所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征输入第一预设子模型，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征。
所述的装置还包括：第二处理模块502，用于将所述N个区域分别对应的多模态特征输入第二预设子模型，得到所述第二预设子模型输出的预测信息；基于所述预测信息确定损失函数，基于所述损失函数反向传导更新所述第一预设子模型、所述第二预设子模型；在确定所述第一预设子模型和所述第二预设子模型完成训练的情况下，得到训练后的第一目标子模型和第二目标子模型。
所述第一处理模块402，用于将所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征输入所述第一预设子模型，在所述第一预设子模型中基于所述N个区域的相邻关系、以及所述N个区域分别对应的POI特征和图像特征，生成所述N个区域分别对应的第一跨模态向量以及第二跨模态向量；在所述第一预设子模型中对所述N个区域分别对应的所述第一跨模态向量以及所述第二跨模态向量进行处理，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征。
所述第一处理模块402，用于在所述第一预设子模型中从所述N个区域的相邻关系中，获取所述N个区域中第i个区域的相邻区域；在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个图像特征，生成所述第i个区域的所述第一跨模态向量，并在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个POI特征，生成所述第i个区域对应的所述第二跨模态向量；i为小于等于N的正整数。
所述第一处理模块402，用于在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个图像特征，得到所述第i个区域的第一跨模态权重值；基于所述第i个区域的第一跨模态权重值、以及所述第i个区域的相邻区域的POI特征，得到所述第i个区域的所述第一跨模态向量；以及在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个POI特征，得到所述第i个区域的第二跨模态权重值；基于所述第i个区域的第二跨模态权重值、以及所述第i个区域的相邻区域的图像特征，得到所述第i个区域的所述第二跨模态向量。
所述第一处理模块402，用于在所述第一预设子模型中基于所述N个区域中所述第i个区域的所述第一跨模态向量、所述第i个区域的第一同模态向量，得到所述第i个区域的第一多模向量；并基于所述N个区域中所述第i个区域的所述第二跨模态向量、所述第i个区域的第二同模态向量，得到所述第i个区域的第二多模向量；基于所述第i个区域的第一多模向量和所述第i个区域的第二多模向量，生成所述第i个区域对应的多模态特征。
所述第一处理模块402，用于在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个图像特征，生成所述第i个区域的第一同模态权重；基于所述第i个区域的第i个图像特征、所述第i个区域的第一同模态权重，生成所述第i个区域的第一同模态向量；
以及在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个POI特征，生成所述第i个区域的第二同模态权重；基于所述第i个区域的第i个POI特征、所述第i个区域的第二同模态权重，生成所述第i个区域的第二同模态向量。
本实施例中，所述信息处理装置可以具体设置在电子设备中，比如可以为服务器。或者，前述信息处理装置的不同模块设置在不同的电子设备中。或者，前述信息处理装置的至少部分模块设置在同一个电子设备中，剩余模块设置在另一个电子设备中，本实施例不进行穷举。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理。例如信息处理方法，在一些实施例中，上文所描述的信息处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文所描述的信息处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上文所描述的信息处理方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程信息处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (23)

1.一种信息处理方法，包括：
基于N个区域分别对应的兴趣点POI数据以及图像数据，生成所述N个区域分别对应的POI特征和图像特征；N为正整数；
基于所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征，生成所述N个区域分别对应的多模态特征。
2.根据权利要求1所述的方法，其中，所述基于N个区域分别对应的POI数据以及图像数据，生成所述N个区域分别对应的POI特征和图像特征，包括：
基于所述N个区域分别对应的POI数据，得到所述N个区域中第i个区域的第i个POI分布特征、第i个POI距离特征以及第i个设施分布特征，基于所述第i个POI分布特征、所述第i个POI距离特征以及所述第i个设施分布特征，生成所述第i个区域的第i个POI特征；以及对所述第i个区域的第i个图像数据进行特征提取，得到所述第i个区域的第i个图像特征；i为小于等于N的正整数。
3.根据权利要求1所述的方法，还包括：
基于所述N个区域的空间特征，确定所述N个区域分别对应的空间相邻区域，并基于预设路网连通数据，确定所述N个区域分别对应的连通相邻区域；
将所述N个区域分别对应的空间相邻区域、所述N个区域分别对应的连通相邻区域，作为所述N个区域分别对应的相邻区域；
基于所述N个区域分别对应的相邻区域，生成所述N个区域的相邻关系。
4.根据权利要求1-3任一项所述的方法，其中，所述基于所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征，生成所述N个区域分别对应的多模态特征，包括：
将所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征输入第一预设子模型，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征。
5.根据权利要求4所述的方法，还包括：
将所述N个区域分别对应的多模态特征输入第二预设子模型，得到所述第二预设子模型输出的预测信息；
基于所述预测信息确定损失函数，基于所述损失函数反向传导更新所述第一预设子模型、所述第二预设子模型；
在确定所述第一预设子模型和所述第二预设子模型完成训练的情况下，得到训练后的第一目标子模型和第二目标子模型。
6.根据权利要求4所述的方法，其中，所述将所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征输入第一预设子模型，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征，包括：
将所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征输入所述第一预设子模型，在所述第一预设子模型中基于所述N个区域的相邻关系、以及所述N个区域分别对应的POI特征和图像特征，生成所述N个区域分别对应的第一跨模态向量以及第二跨模态向量；
在所述第一预设子模型中对所述N个区域分别对应的所述第一跨模态向量以及所述第二跨模态向量进行处理，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征。
7.根据权利要求6所述的方法，其中，所述在所述第一预设子模型中基于所述N个区域的相邻关系、以及所述N个区域分别对应的POI特征和图像特征，生成所述N个区域分别对应的第一跨模态向量以及第二跨模态向量，包括：
在所述第一预设子模型中从所述N个区域的相邻关系中，获取所述N个区域中第i个区域的相邻区域；在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个图像特征，生成所述第i个区域的所述第一跨模态向量，并在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个POI特征，生成所述第i个区域对应的所述第二跨模态向量。
8.根据权利要求7所述的方法，其中，所述在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个图像特征，生成所述第i个区域的所述第一跨模态向量，包括：在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个图像特征，得到所述第i个区域的第一跨模态权重值；基于所述第i个区域的第一跨模态权重值、以及所述第i个区域的相邻区域的POI特征，得到所述第i个区域的所述第一跨模态向量；
所述在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个POI特征，生成所述第i个区域对应的所述第二跨模态向量，包括：在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个POI特征，得到所述第i个区域的第二跨模态权重值；基于所述第i个区域的第二跨模态权重值、以及所述第i个区域的相邻区域的图像特征，得到所述第i个区域的所述第二跨模态向量。
9.根据权利要求8所述的方法，其中，所述在所述第一预设子模型中基于所述N个区域分别对应的所述第一跨模态向量以及所述第二跨模态向量，生成所述N个区域分别对应的多模态特征，包括：
在所述第一预设子模型中基于所述N个区域中所述第i个区域的所述第一跨模态向量、所述第i个区域的第一同模态向量，得到所述第i个区域的第一多模向量；并基于所述N个区域中所述第i个区域的所述第二跨模态向量、所述第i个区域的第二同模态向量，得到所述第i个区域的第二多模向量；
基于所述第i个区域的第一多模向量和所述第i个区域的第二多模向量，生成所述第i个区域对应的多模态特征。
10.根据权利要求9所述的方法，还包括：
在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个图像特征，生成所述第i个区域的第一同模态权重；基于所述第i个区域的第i个图像特征、所述第i个区域的第一同模态权重，生成所述第i个区域的第一同模态向量；
以及在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个POI特征，生成所述第i个区域的第二同模态权重；基于所述第i个区域的第i个POI特征、所述第i个区域的第二同模态权重，生成所述第i个区域的第二同模态向量。
11.一种信息处理装置，包括：
区域特征生成模块，用于基于N个区域分别对应的兴趣点POI数据以及图像数据，生成所述N个区域分别对应的POI特征和图像特征；N为正整数；
第一处理模块，用于基于所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征，生成所述N个区域分别对应的多模态特征。
12.根据权利要求11所述的装置，其中，所述区域特征生成模块，用于基于所述N个区域分别对应的POI数据，得到所述N个区域中第i个区域的第i个POI分布特征、第i个POI距离特征以及第i个设施分布特征，基于所述第i个POI分布特征、所述第i个POI距离特征以及所述第i个设施分布特征，生成所述第i个区域的第i个POI特征；以及对所述第i个区域的第i个图像数据进行特征提取，得到所述第i个区域的第i个图像特征；i为小于等于N的正整数。
13.根据权利要求11所述的装置，还包括：
相邻关系生成模块，用于基于所述N个区域的空间特征，确定所述N个区域分别对应的空间相邻区域，并基于预设路网连通数据，确定所述N个区域分别对应的连通相邻区域；将所述N个区域分别对应的空间相邻区域、所述N个区域分别对应的连通相邻区域，作为所述N个区域分别对应的相邻区域；基于所述N个区域分别对应的相邻区域，生成所述N个区域的相邻关系。
14.根据权利要求11-13任一项所述的装置，其中，所述第一处理模块，用于将所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征输入第一预设子模型，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征。
15.根据权利要求14所述的装置，还包括：
第二处理模块，用于将所述N个区域分别对应的多模态特征输入第二预设子模型，得到所述第二预设子模型输出的预测信息；基于所述预测信息确定损失函数，基于所述损失函数反向传导更新所述第一预设子模型、所述第二预设子模型；在确定所述第一预设子模型和所述第二预设子模型完成训练的情况下，得到训练后的第一目标子模型和第二目标子模型。
16.根据权利要求14所述的装置，其中，所述第一处理模块，用于将所述N个区域的相邻关系、以及所述N个区域分别对应的所述POI特征和所述图像特征输入所述第一预设子模型，在所述第一预设子模型中基于所述N个区域的相邻关系、以及所述N个区域分别对应的POI特征和图像特征，生成所述N个区域分别对应的第一跨模态向量以及第二跨模态向量；在所述第一预设子模型中对所述N个区域分别对应的所述第一跨模态向量以及所述第二跨模态向量进行处理，得到所述第一预设子模型输出的所述N个区域分别对应的多模态特征。
17.根据权利要求16所述的装置，其中，所述第一处理模块，用于在所述第一预设子模型中从所述N个区域的相邻关系中，获取所述N个区域中第i个区域的相邻区域；在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个图像特征，生成所述第i个区域的所述第一跨模态向量，并在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个POI特征，生成所述第i个区域对应的所述第二跨模态向量。
18.根据权利要求17所述的装置，其中，所述第一处理模块，用于在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个图像特征，得到所述第i个区域的第一跨模态权重值；基于所述第i个区域的第一跨模态权重值、以及所述第i个区域的相邻区域的POI特征，得到所述第i个区域的所述第一跨模态向量；以及在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个POI特征，得到所述第i个区域的第二跨模态权重值；基于所述第i个区域的第二跨模态权重值、以及所述第i个区域的相邻区域的图像特征，得到所述第i个区域的所述第二跨模态向量。
19.根据权利要求18所述的装置，其中，所述第一处理模块，用于在所述第一预设子模型中基于所述N个区域中所述第i个区域的所述第一跨模态向量、所述第i个区域的第一同模态向量，得到所述第i个区域的第一多模向量；并基于所述N个区域中所述第i个区域的所述第二跨模态向量、所述第i个区域的第二同模态向量，得到所述第i个区域的第二多模向量；基于所述第i个区域的第一多模向量和所述第i个区域的第二多模向量，生成所述第i个区域对应的多模态特征。
20.根据权利要求19所述的装置，其中，所述第一处理模块，用于在所述第一预设子模型中基于所述第i个区域的相邻区域的图像特征、所述第i个区域的第i个图像特征，生成所述第i个区域的第一同模态权重；基于所述第i个区域的第i个图像特征、所述第i个区域的第一同模态权重，生成所述第i个区域的第一同模态向量；
以及在所述第一预设子模型中基于所述第i个区域的相邻区域的POI特征、所述第i个区域的第i个POI特征，生成所述第i个区域的第二同模态权重；基于所述第i个区域的第i个POI特征、所述第i个区域的第二同模态权重，生成所述第i个区域的第二同模态向量。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。
CN202210529869.XA 2022-05-16 2022-05-16 信息处理方法、装置、电子设备及存储介质 Pending CN117131223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210529869.XA CN117131223A (zh) 2022-05-16 2022-05-16 信息处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210529869.XA CN117131223A (zh) 2022-05-16 2022-05-16 信息处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117131223A true CN117131223A (zh) 2023-11-28

Family

ID=88851318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210529869.XA Pending CN117131223A (zh) 2022-05-16 2022-05-16 信息处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117131223A (zh)

Similar Documents

Publication Publication Date Title
US20230394669A1 (en) Point cloud segmentation method and apparatus, device, and storage medium
CN112800915A (zh) 建筑物变化检测方法、装置、电子设备以及存储介质
CN112884837A (zh) 道路定位方法、装置、设备及存储介质
CN113947147A (zh) 目标地图模型的训练方法、定位方法及相关装置
CN114357105A (zh) 地理预训练模型的预训练方法及模型微调方法
CN114648676A (zh) 点云处理模型的训练和点云实例分割方法及装置
CN110633717A (zh) 一种目标检测模型的训练方法和装置
CN114626169A (zh) 交通路网优化方法、装置、设备、可读存储介质及产品
CN115170815A (zh) 视觉任务处理及模型训练的方法、装置、介质
CN115359308A (zh) 模型训练、难例识别方法、装置、设备、存储介质及程序
CN117079148B (zh) 城市功能区的识别方法、装置、设备和介质
CN113932796A (zh) 高精地图车道线生成方法、装置和电子设备
CN113326449A (zh) 预测交通流量的方法、装置、电子设备和介质
CN115049730B (zh) 零件装配方法、装置、电子设备及存储介质
CN115687587A (zh) 一种基于位置信息的物联设备与空间对象关联匹配方法、装置、设备及介质
CN113361519B (zh) 目标处理方法、目标处理模型的训练方法及其装置
CN117131223A (zh) 信息处理方法、装置、电子设备及存储介质
CN113255769B (zh) 化合物属性预测模型训练方法和化合物属性预测方法
CN112527673B (zh) 站点测试方法、装置、电子设备及可读存储介质
CN114691691A (zh) 基于Geohash的空间数据处理方法、装置及电子设备
CN113570067A (zh) 分布式***的同步方法、装置及程序产品
CN114329236A (zh) 一种数据处理方法及装置
CN113255770A (zh) 化合物属性预测模型训练方法和化合物属性预测方法
CN114625984B (zh) 兴趣点验证方法、装置、电子设备及存储介质
CN111950572A (zh) 训练分类器的方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination