CN112396081A - 一种数据融合方法和装置 - Google Patents
一种数据融合方法和装置 Download PDFInfo
- Publication number
- CN112396081A CN112396081A CN201910763264.5A CN201910763264A CN112396081A CN 112396081 A CN112396081 A CN 112396081A CN 201910763264 A CN201910763264 A CN 201910763264A CN 112396081 A CN112396081 A CN 112396081A
- Authority
- CN
- China
- Prior art keywords
- data
- region
- area
- longitude
- latitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据融合方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:将所有数据集的其中任意两个数据集融合为一个新数据集,重复上述融合操作,直到各数据集总数量为1时不再继续融合操作,对于被执行融合操作的第一、二数据集,遍历第一数据集中各第一区域数据,根据第一区域数据中的地理位置信息确定对应的第一区域的邻域区间;根据第二数据集中各第二区域数据,选出地理位置位于邻域区间内的目标第二区域;将目标第二区域与该第一区域进行文本匹配;将文本匹配成功的目标第二区域数据合并到该第一区域数据中;遍历完毕后将第二数据集中未进行合并的剩余第二区域数据加入第一数据集。能减小计算量,提高数据融合速度。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据融合方法和装置。
背景技术
在区域数据融合的场景中,需要对多个不同数据来源之间的区域数据融合,或者将某一数据来源内部的区域数据融合。例如,用于房产评估的房产数据,通常有多个数据来源,需要对这些数据源的房产数据进行融合,以方便更精准地剔除异常值、计算平均价格。现有的房产数据融合方案包括小区名匹配法和最近小区匹配法,前者需要将任意两两小区名之间都进行匹配,而后者需要对任意两两小区间的距离都进行计算。由于现有方案要对每个小区求与所有小区的正则结果或距离,计算量是数据总量的平方,计算量过大,严重影响数据融合的速度。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
现有方案计算量过大,严重影响数据融合的速度。
发明内容
有鉴于此,本发明实施例提供一种数据融合方法和装置,能够减小计算量,提高数据融合的速度。
为实现上述目的,根据本发明实施例的一个方面,提供了一种数据融合方法。
一种数据融合方法,包括:将所有数据集的其中任意两个数据集融合为一个新的数据集,并重复上述融合操作,直到各数据集总数量为1时,不再继续所述融合操作,得到最终融合后的数据集;其中,对于被执行所述融合操作的任意两个数据集:第一数据集和第二数据集,所述融合操作包括:遍历所述第一数据集中的各第一区域数据,对每个第一区域数据:根据该第一区域数据中的地理位置信息确定对应的第一区域的邻域区间;根据所述第二数据集中的各第二区域数据,选出地理位置位于所述邻域区间内的目标第二区域;将选出的目标第二区域与该第一区域进行文本匹配;将所述文本匹配成功的目标第二区域数据合并到该第一区域数据中;当所有第一区域数据遍历完毕,将所述第二数据集中未进行所述合并的剩余第二区域数据加入到所述第一数据集中,从而融合得到所述新的数据集。
可选地,所述地理位置信息包括经纬度信息,根据该第一区域数据中的地理位置信息确定对应的第一区域的邻域区间的步骤,包括:利用预设的距离阈值、地球半径、该第一区域数据中的经纬度信息,通过几何运算确定该第一区域的邻域的东、西边界经度,以及南、北边界纬度;根据所述东、西边界经度,以及南、北边界纬度,得到该第一区域的邻域区间,所述邻域区间包括由所述东、西边界经度确定的经度区间,以及由所述南、北边界纬度确定的纬度区间。
可选地,利用预设的距离阈值、地球半径、该第一区域数据中的经纬度信息,进行如下的几何运算,以确定该第一区域的邻域的东、西边界经度,以及南、北边界纬度:
latsouth=arcsin[cos(d/R)×sinlat0-sin(d/R)×coslat0];
latnorth=arcsin[cos(d/R)×sinlat0+sin(d/R)×coslat0];
其中,lonwest表示该第一区域的邻域的西边界经度,loneast表示该第一区域的邻域的东边界经度,latsouth表示该第一区域的邻域的南边界纬度,latnorth表示该第一区域的邻域的北边界纬度,lon0表示该第一区域的经度,lat0表示该第一区域的纬度,所述lon0和所述lat0的值从该第一区域数据中的经纬度信息得到,d为所述预设的距离阈值,R表示地球半径。
可选地,根据所述第二数据集中的各第二区域数据,选出地理位置位于所述邻域区间内的目标第二区域的步骤,包括:将每个第二区域数据中的经度与所述东、西边界经度比较,纬度与所述南、北边界纬度比较,以判断所述第二区域数据对应的第二区域的经度、纬度是否分别落入所述经度区间和所述纬度区间内;将经度落入所述经度区间内、且纬度落入所述纬度区间内的第二区域选为所述目标第二区域。
根据本发明实施例的另一方面,提供了一种数据融合装置。
一种数据融合装置,包括以下各模块:区域数据遍历模块、邻域区间确定模块、目标区域选取模块、文本匹配模块、数据合并模块,通过所述各模块将所有数据集的其中任意两个数据集融合为一个新的数据集,并重复上述融合操作,直到各数据集总数量为1时,不再继续所述融合操作,得到最终融合后的数据集;其中,对于被执行所述融合操作的任意两个数据集:第一数据集和第二数据集,所述区域数据遍历模块用于遍历所述第一数据集中的各第一区域数据,对每个第一区域数据:所述邻域区间确定模块用于根据该第一区域数据中的地理位置信息确定对应的第一区域的邻域区间;所述目标区域选取模块用于根据所述第二数据集中的各第二区域数据,选出地理位置位于所述邻域区间内的目标第二区域;所述文本匹配模块用于将选出的目标第二区域与该第一区域进行文本匹配;所述数据合并模块用于将所述文本匹配成功的目标第二区域数据合并到该第一区域数据中;当所有第一区域数据遍历完毕,所述数据合并模块还用于将所述第二数据集中未进行所述合并的剩余第二区域数据加入到所述第一数据集中,从而融合得到所述新的数据集。
可选地,所述地理位置信息包括经纬度信息,所述邻域区间确定模块还用于:利用预设的距离阈值、地球半径、该第一区域数据中的经纬度信息,通过几何运算确定该第一区域的邻域的东、西边界经度,以及南、北边界纬度;根据所述东、西边界经度,以及南、北边界纬度,得到该第一区域的邻域区间,所述邻域区间包括由所述东、西边界经度确定的经度区间,以及由所述南、北边界纬度确定的纬度区间。
可选地,所述邻域区间确定模块包括邻域边界确定子模块,用于:利用预设的距离阈值、地球半径、该第一区域数据中的经纬度信息,进行如下的几何运算,以确定该第一区域的邻域的东、西边界经度,以及南、北边界纬度:
latsouth=arcsin[cos(d/R)×sinlat0-sin(d/R)×coslat0];
latnorth=arcsin[cos(d/R)×sinlat0+sin(d/R)×coslat0];
其中,lonwest表示该第一区域的邻域的西边界经度,loneast表示该第一区域的邻域的东边界经度,latsouth表示该第一区域的邻域的南边界纬度,latnorth表示该第一区域的邻域的北边界纬度,lon0表示该第一区域的经度,lat0表示该第一区域的纬度,所述lon0和所述lat0的值从该第一区域数据中的经纬度信息得到,d为所述预设的距离阈值,R表示地球半径。
可选地,所述目标区域选取模块还用于:将每个第二区域数据中的经度与所述东、西边界经度比较,纬度与所述南、北边界纬度比较,以判断所述第二区域数据对应的第二区域的经度、纬度是否分别落入所述经度区间和所述纬度区间内;将经度落入所述经度区间内、且纬度落入所述纬度区间内的第二区域选为所述目标第二区域。
根据本发明实施例的又一方面,提供了一种电子设备。
一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现本发明提供的数据融合方法。
根据本发明实施例的又一方面,提供了一种计算机可读介质。
一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明提供的数据融合方法。
上述发明中的一个实施例具有如下优点或有益效果:对第一数据集中的每一区域都计算邻域区间,并从第二数据集的区域数据中选出地理位置位于该计算出的邻域区间内的区域,在邻域区间的范围内进行区域间的文本匹配,省去了对所有区域数据的距离计算和排序,能够减小计算量,提高数据融合的速度。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明一个实施例的数据融合操作流程示意图;
图2是根据本发明一个实施例的房产数据融合流程示意图;
图3是根据本发明一个实施例的数据融合装置的主要模块示意图;
图4是本发明实施例可以应用于其中的示例性***架构图;
图5是适于用来实现本发明实施例的终端设备或服务器的计算机***的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本领域技术技术人员知道,本发明的实施方式可以实现为一种***、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
图1是根据本发明一个实施例的数据融合操作流程示意图。
本发明一个实施例的数据融合方法主要包括:将所有数据集的其中任意两个数据集融合为一个新的数据集,并重复上述融合操作,直到各数据集总数量为1时,不再继续所述融合操作,得到最终融合后的数据集。本发明的数据集是区域数据的集合。
其中,对于被执行所述融合操作的任意两个数据集:第一数据集和第二数据集,所述融合操作的流程如图1所示,主要包括如下的步骤S101至步骤S106。
步骤S101:遍历第一数据集中的各第一区域数据,对每个第一区域数据执行S102至S105。
第一区域数据是指第一数据集中的区域数据,每个第一区域数据对应的区域即为第一区域。
步骤S102:根据该第一区域数据中的地理位置信息确定对应的第一区域的邻域区间。
第一区域数据包括第一区域的地理位置信息,地理位置信息可以包括经纬度信息。第一区域的经纬度的具体数值与第一数据集的经纬度选取标准相关。对于同一个区域的经纬度,不同数据集对该区域的经纬度选取标准通常是不一致的,例如,各类地图对同一区域提供的经纬度信息可能相差数米甚至数百米(以区域中某个点的经纬度作为该区域的经纬度,不同地图选取的点不同),因此不同数据集的区域数据需要进行数据融合。
步骤S102具体包括:利用预设的距离阈值、地球半径、该第一区域数据中的经纬度信息,通过几何运算确定该第一区域的邻域的东、西边界经度,以及南、北边界纬度;根据该东、西边界经度,以及南、北边界纬度,得到该第一区域的邻域区间。
第一区域的邻域区间包括由上述东、西边界经度确定的经度区间,以及由上述南、北边界纬度确定的纬度区间。
预设的距离阈值是一个经验值,可以根据需要调整,以房产数据融合为例,预设的距离阈值通常设置为4公里。
第一区域的邻域是指第一区域相邻的地理区域。
具体地,利用预设的距离阈值、地球半径、该第一区域数据中的经纬度信息,可以进行如下的几何运算,以确定该第一区域的邻域的东、西边界经度,以及南、北边界纬度:
latsouth=arcsin[cos(d/R)×sinlat0-sin(d/R)×coslat0];
latnorth=arcsin[cos(d/R)×sinlat0+sin(d/R)×coslat0];
其中,lonwest表示该第一区域的邻域的西边界经度,loneast表示该第一区域的邻域的东边界经度,latsouth表示该第一区域的邻域的南边界纬度,latnorth表示该第一区域的邻域的北边界纬度,lon0表示该第一区域的经度,lat0表示该第一区域的纬度,lon0和lat0的值从该第一区域数据中的经纬度信息得到,d为预设的距离阈值,R表示地球半径(6371公里)。
根据上式,经度区间即为:[loneast,lonwest],纬度区间即为[latsouth,latnorth]。
步骤S103:根据第二数据集中的各第二区域数据,选出地理位置位于该邻域区间内的目标第二区域。
第二区域数据是指第二数据集中的区域数据。每个第二区域数据对应的区域即为第二区域。
步骤S103具体包括,将每个第二区域数据中的经度(为第二区域的经度)与上述东、西边界经度比较,纬度(为第二区域的纬度)与上述南、北边界纬度比较,以判断第二区域数据对应的第二区域的经度、纬度是否分别落入第一区域的经度区间和第一区域的纬度区间内;将经度落入该经度区间内、且纬度落入该纬度区间内的第二区域选为目标第二区域。
第二区域的经纬度的具体数值与第二数据集的经纬度选取标准相关,可参照上文对第一区域经纬度的相关内容的介绍。
步骤S104:将选出的目标第二区域与该第一区域进行文本匹配。
具体地,是将选出的每个目标第二区域分别与该第一区域进行文本匹配,文本可以是区域名称、区域地址信息、区域行政区划信息、区域开发商信息、区域管理方信息(例如物业公司信息)等的一种或多种。
步骤S105:将文本匹配成功情况下的目标第二区域数据合并到该第一区域数据中。
在文本匹配不成功的情况下,不执行合并。
其中,在步骤S104中根据设定的规则进行匹配,若产生的结果不为空,即表示匹配成功;否则匹配不成功。设定的规则例如,在进行文本匹配时可以利用真子集关系判断、编辑距离等规则来进行匹配。
对当前遍历到的第一区域数据执行完S102至S105之后,继续遍历下一第一区域数据。
步骤S106:当所有第一区域数据遍历完毕,将第二数据集中未进行上述合并的剩余第二区域数据加入到第一数据集中,从而得到新的数据集。
本实施例的数据融合方法可以适用于两个数据集的区域数据融合,也可以适用于更多数据集的区域数据融合。在两个数据集的区域数据融合场景中,可将该两个数据集中的任意一个作为第一数据集、另一个作为第二数据集,执行上述步骤S101至步骤S106,即完成了数据融合过程。在更多数据集的区域数据融合场景中,以三个数据集的区域数据融合为例,可以以其中两个数据集作为第一数据集和第二数据集,执行上述步骤S101至步骤S106,从而将该两个数据集融合为一个新的数据集,再以该新的数据集和剩余的一个数据集分别作为第一数据集和第二数据集,再次执行上述步骤S101至步骤S106,最终得到融合后的数据。以此类推,对于4个或以上的数据集的区域数据融合本发明实施例也可以实现。
此外,对于只有两个数据集的区域数据融合场景,该两个数据集可以是不同的数据集,也可以是相同的数据集。在两个数据集是不同数据集的情况下,本实施例可以实现快速地对不同数据来源之间的区域数据融合;在两个数据集是相同数据集的情况下,本实施例可以实现快速地将某一数据来源内部的区域数据融合。本实施例可以大大减少计算量,加快数据融合速度。
图2是根据本发明一个实施例的房产数据融合流程示意图。
本实施例仅以对房产数据集A与房产数据集B的房产数据进行融合为例来介绍本发明的数据融合方法,房产数据融合具体指将小区数据的融合。本发明实施例不仅限于对房产数据的融合,还适用于对其他业务场景下的区域数据的融合,此外,参照本流程和对图1流程的介绍,本领域技术人员还可以对更多的房产数据集(3个及以上房产数据集)进行数据融合。
图2中,房产数据集A与房产数据集B均包括多个小区数据,且房产数据集A与房产数据集B可以是不同来源的数据集,也可以是同一数据集。对于不同来源的数据集,本发明实施例可以实现数据集间的数据融合,对于同一数据集,本发明实施例可以实现本数据集内部的数据融合。房产数据融合流程包括:
遍历房产数据集A中的各小区数据;
将当前被遍历到的小区数据记作a小区数据,其对应的小区为a小区;
利用预设的距离阈值、地球半径、a小区的经度和纬度确定a小区的邻域区间,即计算a小区邻域对应的经度区间[loneast,lonwest],和纬度区间[latsouth,latnorth],该经度区间和纬度区间所限定的a小区相邻的地理区域的范围即为该邻域区间;
从房产数据集B中的各小区数据中选出地理位置位于a小区的邻域区间内的小区数据集合W,即判断房产数据集B中的各小区数据对应的小区中,哪些小区满足经度处于[loneast,lonwest]的范围内且纬度处于[latsouth,latnorth]的范围内,将满足条件的小区选取出来,得到小区数据集合W;
将a小区数据中的a小区名与小区数据集合W中每个小区的小区名进行匹配,若匹配成功,则将小区数据集合W中的该小区数据合并到a小区数据中,否则跳过(即不执行数据合并)。由于在房产评估等业务场景中对异常值容忍度低,因此本实施例在进行小区名匹配时可以利用真子集关系判断、编辑距离等规则,以确保匹配成功的两小区数据必然对应同一个小区。
判断a小区数据是否为房产数据集A中被遍历到的最后一个小区数据,若是,则将房产数据集B的未合并到a小区数据中的剩余小区数据加入到房产数据集A中,所得到的新的房产数据集A即为融合后的数据集,结束流程;否则继续遍历房产数据集A中的其他小区数据。
其中,将小区数据集合W中的一小区数据(记作b小区数据)合并到a小区数据中,具体包括:将b小区数据拷贝到a小区数据中,并且将b小区数据的小区名纳入到房产数据集A中a小区数据的小区别名字段,相应地将b小区的经纬度也纳入到房产数据集A中a小区数据的小区经纬度别名字段,然后删除房产数据集B中该b小区数据。
将房产数据集B的未合并到a小区数据中的剩余小区数据加入到房产数据集A中,具体包括:将房产数据集B的未合并到a小区数据中的剩余小区数据拷贝到房产数据集A中,并将该剩余小区数据从房产数据集B中删除。
本实施例对于将a小区与小区数据集合W中每个小区进行文本匹配是以小区名匹配为例进行说明。本实施例还可以通过按照其他信息进行文本匹配,例如将a小区与小区数据集合W中每个小区进行行政区划匹配、地址匹配、开发商匹配、物业公司匹配等的一种或多种实施方式来进行文本匹配。
由于现有技术需要计算每两个小区的距离,并对计算出的距离排序,或者对每两小区名之间都进行匹配,现有技术在数据量很大时需付出较大的时间代价,并且计算量都比较大,减慢了数据融合的速度,而本发明实施例只需要通过四个边界(即a小区邻域的东、西边界经度以及南、北边界纬度)确定a小区的邻域区间,通过该邻域区间来判断房产数据集B中哪些是需要合并到a小区数据中的小区数据,省去了对所有数据的距离计算和排序,大大减小了计算量和时间消耗,提高数据融合的速度。
图3是根据本发明一个实施例的数据融合装置的主要模块示意图。
如图3所示,本发明一个实施例的数据融合装置300主要包括以下各模块:区域数据遍历模块301、邻域区间确定模块302、目标区域选取模块303、文本匹配模块304、数据合并模块305。
数据融合装置300通过上述各模块将所有数据集的其中两个数据集融合为一个新的数据集,并重复该融合操作,直到各数据集总数量为1时,不再继续融合操作,得到最终融合后的数据集;其中,对于被执行融合操作的任意两个数据集:第一数据集和第二数据集,
区域数据遍历模块301用于遍历第一数据集中的各第一区域数据。对每个第一区域数据:
邻域区间确定模块302用于根据该第一区域数据中的地理位置信息确定对应的第一区域的邻域区间。
目标区域选取模块303用于根据第二数据集中的各第二区域数据,选出地理位置位于该邻域区间内的目标第二区域。
文本匹配模块304用于将选出的目标第二区域与该第一区域进行文本匹配。
数据合并模块305用于将文本匹配成功的目标第二区域数据合并到该第一区域数据中。
当所有第一区域数据遍历完毕,数据合并模块305还用于将第二数据集中未进行上述合并的剩余第二区域数据加入到第一数据集中,从而得到新的数据集。
地理位置信息可以包括经纬度信息。
邻域区间确定模块302具体可以用于:利用预设的距离阈值、地球半径、该第一区域数据中的经纬度信息,通过几何运算确定该第一区域的邻域的东、西边界经度,以及南、北边界纬度;根据所述东、西边界经度,以及南、北边界纬度,得到该第一区域的邻域区间,邻域区间包括由该东、西边界经度确定的经度区间,以及由该南、北边界纬度确定的纬度区间。
邻域区间确定模块302可以包括邻域边界确定子模块,用于:
利用预设的距离阈值、地球半径、该第一区域数据中的经纬度信息,进行如下的几何运算,以确定该第一区域的邻域的东、西边界经度,以及南、北边界纬度:
latsouth=arcsin[cos(d/R)×sinlat0-sin(d/R)×coslat0];
latnorth=arcsin[cos(d/R)×sinlat0+sin(d/R)×coslat0];
其中,lonwest表示该第一区域的邻域的西边界经度,loneast表示该第一区域的邻域的东边界经度,latsouth表示该第一区域的邻域的南边界纬度,latnorth表示该第一区域的邻域的北边界纬度,lon0表示该第一区域的经度,lat0表示该第一区域的纬度,所述lon0和所述lat0的值从该第一区域数据中的经纬度信息得到,d为所述预设的距离阈值,R表示地球半径。
目标区域选取模块303具体可以用于:将每个第二区域数据中的经度与该第一区域的邻域的东、西边界经度比较,纬度与该第一区域的邻域的南、北边界纬度比较,以判断第二区域数据对应的第二区域的经度、纬度是否分别落入该经度区间和纬度区间内;将经度落入该经度区间内、且纬度落入该纬度区间内的第二区域选为目标第二区域。
另外,在本发明实施例中数据融合装置的具体实施内容,在上面所述数据融合方法中已经详细说明了,故在此重复内容不再说明。
图4示出了可以应用本发明实施例的数据融合方法或数据融合装置的示例性***架构400。
如图4所示,***架构400可以包括终端设备401、402、403,网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互,以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用,例如网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器,例如对用户利用终端设备401、402、403所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如区域信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的数据融合方法一般由服务器405执行,相应地,数据融合装置一般设置于服务器405中。
应该理解,图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图5,其示出了适于用来实现本申请实施例的终端设备或服务器的计算机***500的结构示意图。图5示出的终端设备或服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算机***500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有***500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的***中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括区域数据遍历模块、邻域区间确定模块、目标区域选取模块、文本匹配模块、数据合并模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,邻域区间确定模块还可以被描述为“用于根据该第一区域数据中的地理位置信息确定对应的第一区域的邻域区间的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:将所有数据集的其中两个数据集融合为一个新的数据集,并重复上述融合操作,直到各数据集总数量为1时,不再继续所述融合操作,得到最终融合后的数据集;其中,对于被执行所述融合操作的任意两个数据集:第一数据集和第二数据集,所述融合操作包括:遍历所述第一数据集中的各第一区域数据,对每个第一区域数据:根据该第一区域数据中的地理位置信息确定对应的第一区域的邻域区间;根据所述第二数据集中的各第二区域数据,选出地理位置位于所述邻域区间内的目标第二区域;将选出的目标第二区域与该第一区域进行文本匹配;将所述文本匹配成功的目标第二区域数据合并到该第一区域数据中;当所有第一区域数据遍历完毕,将所述第二数据集中未进行所述合并的剩余第二区域数据加入到所述第一数据集中,从而得到所述新的数据集。
根据本发明实施例的技术方案,将所有数据集的其中两个数据集融合为一个新的数据集,并重复上述融合操作,直到各数据集总数量为1时,不再继续所述融合操作,其中,对于被执行融合操作的第一数据集和第二数据集,遍历第一数据集中的各第一区域数据,对每个第一区域数据:根据该第一区域数据中的地理位置信息确定对应的第一区域的邻域区间;根据第二数据集中的各第二区域数据,选出地理位置位于邻域区间内的目标第二区域;将选出的目标第二区域与该第一区域进行文本匹配;将文本匹配成功的目标第二区域数据合并到该第一区域数据中;当所有第一区域数据遍历完毕,将第二数据集中未进行合并的剩余第二区域数据加入到第一数据集中。能够减小计算量,提高数据融合的速度。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种数据融合方法,其特征在于,包括:将所有数据集的其中任意两个数据集融合为一个新的数据集,并重复上述融合操作,直到各数据集总数量为1时,不再继续所述融合操作,得到最终融合后的数据集;其中,对于被执行所述融合操作的任意两个数据集:第一数据集和第二数据集,所述融合操作包括:
遍历所述第一数据集中的各第一区域数据,对每个第一区域数据:根据该第一区域数据中的地理位置信息确定对应的第一区域的邻域区间;根据所述第二数据集中的各第二区域数据,选出地理位置位于所述邻域区间内的目标第二区域;将选出的目标第二区域与该第一区域进行文本匹配;将所述文本匹配成功的目标第二区域数据合并到该第一区域数据中;
当所有第一区域数据遍历完毕,将所述第二数据集中未进行所述合并的剩余第二区域数据加入到所述第一数据集中,从而融合得到所述新的数据集。
2.根据权利要求1所述的方法,其特征在于,所述地理位置信息包括经纬度信息,
根据该第一区域数据中的地理位置信息确定对应的第一区域的邻域区间的步骤,包括:
利用预设的距离阈值、地球半径、该第一区域数据中的经纬度信息,通过几何运算确定该第一区域的邻域的东、西边界经度,以及南、北边界纬度;
根据所述东、西边界经度,以及南、北边界纬度,得到该第一区域的邻域区间,所述邻域区间包括由所述东、西边界经度确定的经度区间,以及由所述南、北边界纬度确定的纬度区间。
3.根据权利要求2所述的方法,其特征在于,利用预设的距离阈值、地球半径、该第一区域数据中的经纬度信息,进行如下的几何运算,以确定该第一区域的邻域的东、西边界经度,以及南、北边界纬度:
latsouth=arcsin[cos(d/R)×sinlat0-sin(d/R)×coslat0];
latnorth=arcsin[cos(d/R)×sinlat0+sin(d/R)×coslat0];
其中,lonwest表示该第一区域的邻域的西边界经度,loneast表示该第一区域的邻域的东边界经度,latsouth表示该第一区域的邻域的南边界纬度,latnorth表示该第一区域的邻域的北边界纬度,lon0表示该第一区域的经度,lat0表示该第一区域的纬度,所述lon0和所述lat0的值从该第一区域数据中的经纬度信息得到,d为所述预设的距离阈值,R表示地球半径。
4.根据权利要求2或3所述的方法,其特征在于,根据所述第二数据集中的各第二区域数据,选出地理位置位于所述邻域区间内的目标第二区域的步骤,包括:
将每个第二区域数据中的经度与所述东、西边界经度比较,纬度与所述南、北边界纬度比较,以判断所述第二区域数据对应的第二区域的经度、纬度是否分别落入所述经度区间和所述纬度区间内;
将经度落入所述经度区间内、且纬度落入所述纬度区间内的第二区域选为所述目标第二区域。
5.一种数据融合装置,其特征在于,包括以下各模块:区域数据遍历模块、邻域区间确定模块、目标区域选取模块、文本匹配模块、数据合并模块,通过所述各模块将所有数据集的其中任意两个数据集融合为一个新的数据集,并重复上述融合操作,直到各数据集总数量为1时,不再继续所述融合操作,得到最终融合后的数据集;其中,对于被执行所述融合操作的任意两个数据集:第一数据集和第二数据集,
所述区域数据遍历模块用于遍历所述第一数据集中的各第一区域数据,对每个第一区域数据:
所述邻域区间确定模块用于根据该第一区域数据中的地理位置信息确定对应的第一区域的邻域区间;
所述目标区域选取模块用于根据所述第二数据集中的各第二区域数据,选出地理位置位于所述邻域区间内的目标第二区域;
所述文本匹配模块用于将选出的目标第二区域与该第一区域进行文本匹配;
所述数据合并模块用于将所述文本匹配成功的目标第二区域数据合并到该第一区域数据中;
当所有第一区域数据遍历完毕,所述数据合并模块还用于将所述第二数据集中未进行所述合并的剩余第二区域数据加入到所述第一数据集中,从而融合得到所述新的数据集。
6.根据权利要求5所述的装置,其特征在于,所述地理位置信息包括经纬度信息,
所述邻域区间确定模块还用于:
利用预设的距离阈值、地球半径、该第一区域数据中的经纬度信息,通过几何运算确定该第一区域的邻域的东、西边界经度,以及南、北边界纬度;
根据所述东、西边界经度,以及南、北边界纬度,得到该第一区域的邻域区间,所述邻域区间包括由所述东、西边界经度确定的经度区间,以及由所述南、北边界纬度确定的纬度区间。
7.根据权利要求6所述的装置,其特征在于,所述邻域区间确定模块包括邻域边界确定子模块,用于:
利用预设的距离阈值、地球半径、该第一区域数据中的经纬度信息,进行如下的几何运算,以确定该第一区域的邻域的东、西边界经度,以及南、北边界纬度:
latsouth=arcsin[cos(d/R)×sinlat0-sin(d/R)×coslat0];
latnorth=arcsin[cos(d/R)×sinlat0+sin(d/R)×coslat0];
其中,lonwest表示该第一区域的邻域的西边界经度,loneast表示该第一区域的邻域的东边界经度,latsouth表示该第一区域的邻域的南边界纬度,latnorth表示该第一区域的邻域的北边界纬度,lon0表示该第一区域的经度,lat0表示该第一区域的纬度,所述lon0和所述lat0的值从该第一区域数据中的经纬度信息得到,d为所述预设的距离阈值,R表示地球半径。
8.根据权利要求6或7所述的装置,其特征在于,所述目标区域选取模块还用于:
将每个第二区域数据中的经度与所述东、西边界经度比较,纬度与所述南、北边界纬度比较,以判断所述第二区域数据对应的第二区域的经度、纬度是否分别落入所述经度区间和所述纬度区间内;
将经度落入所述经度区间内、且纬度落入所述纬度区间内的第二区域选为所述目标第二区域。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910763264.5A CN112396081A (zh) | 2019-08-19 | 2019-08-19 | 一种数据融合方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910763264.5A CN112396081A (zh) | 2019-08-19 | 2019-08-19 | 一种数据融合方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112396081A true CN112396081A (zh) | 2021-02-23 |
Family
ID=74603359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910763264.5A Pending CN112396081A (zh) | 2019-08-19 | 2019-08-19 | 一种数据融合方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112396081A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115983636A (zh) * | 2022-12-26 | 2023-04-18 | 深圳市中政汇智管理咨询有限公司 | 风险评估方法、装置、设备及存储介质 |
-
2019
- 2019-08-19 CN CN201910763264.5A patent/CN112396081A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115983636A (zh) * | 2022-12-26 | 2023-04-18 | 深圳市中政汇智管理咨询有限公司 | 风险评估方法、装置、设备及存储介质 |
CN115983636B (zh) * | 2022-12-26 | 2023-11-17 | 深圳市中政汇智管理咨询有限公司 | 风险评估方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107302597B (zh) | 消息文案推送方法和装置 | |
US10169085B2 (en) | Distributed computing of a task utilizing a copy of an original file stored on a recovery site and based on file modification times | |
CN113253319B (zh) | 基于车辆gps的路网提取和轨迹纠偏方法和*** | |
CN110941686A (zh) | 一种定位地图处理的方法和装置 | |
CN110689804A (zh) | 用于输出信息的方法和装置 | |
CN112988933A (zh) | 地址信息管理的方法和装置 | |
CN110209748B (zh) | 索引地理围栏的方法和装置 | |
CN111738316A (zh) | 零样本学习的图像分类方法、装置及电子设备 | |
CN110852720A (zh) | 文档的处理方法、装置、设备及存储介质 | |
CN113918659A (zh) | 数据操作方法、装置、存储介质及电子设备 | |
CN110059260B (zh) | 一种推荐方法、装置、设备和介质 | |
CN112396081A (zh) | 一种数据融合方法和装置 | |
CN111044062A (zh) | 路径规划、推荐方法和装置 | |
CN116433388B (zh) | 数据存储资源划分方法、装置、电子设备和计算机介质 | |
CN109542743B (zh) | 日志校验方法、装置、电子设备及计算机可读存储介质 | |
CN108810130B (zh) | 一种分配请求规划的方法和装置 | |
CN109029476B (zh) | 一种用于确定可达区域的方法和装置 | |
CN111400520A (zh) | 人脸识别库的构建方法、人脸支付方法、装置和*** | |
CN115100231A (zh) | 一种区域边界的确定方法和装置 | |
CN110274593B (zh) | 一种路径规划的方法和装置 | |
CN112699289A (zh) | 房源信息聚合展示方法、装置、电子设备和计算机可读介质 | |
CN116347346B (zh) | 一种围栏绘制方法和装置 | |
CN111161067A (zh) | 一种交易路由的确定方法和装置 | |
CN111177588B (zh) | 兴趣点检索方法和装置 | |
CN116541421B (zh) | 地址查询信息生成方法、装置、电子设备与计算机介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |