CN104657396B - 数据迁移方法及装置 - Google Patents

数据迁移方法及装置 Download PDF

Info

Publication number
CN104657396B
CN104657396B CN201310603825.8A CN201310603825A CN104657396B CN 104657396 B CN104657396 B CN 104657396B CN 201310603825 A CN201310603825 A CN 201310603825A CN 104657396 B CN104657396 B CN 104657396B
Authority
CN
China
Prior art keywords
data
platform
data packet
field
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310603825.8A
Other languages
English (en)
Other versions
CN104657396A (zh
Inventor
张振链
李波
侯锦坤
陈俊雄
何小琴
刘峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201310603825.8A priority Critical patent/CN104657396B/zh
Priority to PCT/CN2014/081904 priority patent/WO2015074427A1/en
Priority to TW103140226A priority patent/TWI550417B/zh
Priority to US14/594,337 priority patent/US9661109B2/en
Publication of CN104657396A publication Critical patent/CN104657396A/zh
Priority to HK15109527.6A priority patent/HK1208934A1/zh
Application granted granted Critical
Publication of CN104657396B publication Critical patent/CN104657396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08Protocols for interworking; Protocol conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种数据迁移方法及装置,其方法包括:获取第一平台的数据包;对数据包进行解析,获取数据包的数据结构字段;将数据包的数据结构字段与预设的第一字段映射关系表进行匹配;当匹配成功后,采用预设的匹配关联规则将数据包与第二平台进行匹配关联;根据关联结果将数据包转换并迁移至第二平台。本发明可以有效实现不同平台之间数据的平滑迁移,且提高了数据迁移效率,降低了用户操作成本。

Description

数据迁移方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据迁移方法及装置。
背景技术
在计算机领域,当两个平台之间数据结构一样且字段值也一样的情况下,可以实现将数据包从一个平台顺利导入另一平台,但是,由于电子商务平台众多,各平台的数据结构、类目结构和属性结构可能不一样,由此使得平台之间数据包的平滑导入成为一个难题。
目前,对于两个平台之间数据结构不一样且字段值也不一样的情形,在进行数据导入时,需要通过大量人工操作来进行关联导入,无法做到智能化,导致用户操作成本高,使用效率低。
发明内容
本发明实施例提供一种数据迁移方法及装置,旨在有效实现不同平台之间数据的平滑迁移,提高数据迁移效率,降低操作成本。
本发明实施例提出一种数据迁移方法,包括:
获取第一平台的数据包;
对所述数据包进行解析,获取所述数据包的数据结构字段;
将所述数据包的数据结构字段与预设的第一字段映射关系表进行匹配;
当匹配成功后,采用预设的匹配关联规则将所述数据包与第二平台进行匹配关联;
根据关联结果将所述数据包转换并迁移至所述第二平台。
本发明实施例还提出一种数据迁移装置,包括:
数据包获取模块,用于获取第一平台的数据包;
解析模块,用于对所述数据包进行解析,获取所述数据包的数据结构字段;
匹配模块,用于将所述数据包的数据结构字段与预设的第一字段映射关系表进行匹配;
匹配关联模块,用于当匹配成功后,采用预设的匹配关联规则将所述数据包与第二平台进行匹配关联;
转换迁移模块,用于根据关联结果将所述数据包转换并迁移至所述第二平台。
本发明实施例提出的一种数据迁移方法及装置,在迁移第一平台的数据包时,对该数据包进行解析,获取该数据包的数据结构字段,将该数据包的数据结构字段与预设的第一字段映射关系表进行匹配;当匹配成功后,采用预设的匹配关联规则将所述数据包与第二平台进行匹配关联,根据关联结果将数据包转换并迁移至第二平台,由此可以有效的解决由于不同平台数据结构字段不同而导致的无法智能导入数据的问题,而且提高了数据迁移效率,降低了用户操作成本。
附图说明
图1是本发明实施例涉及的硬件运行环境示意图;
图2是本发明数据迁移方法第一实施例的流程示意图;
图3a是本发明实施例中第一字段映射关系表的结构示意图;
图3b是本发明实施例中分批进行数据迁移的示意图;
图4a是本发明实施例中采用预设的匹配关联规则将数据包与第二平台进行匹配关联的一种流程示意图;
图4b是本发明实施例中采用预设的匹配关联规则将数据包与第二平台进行匹配关联的另一种流程示意图;
图5是本发明数据迁移方法第二实施例的流程示意图;
图6是本发明数据迁移方法第三实施例的流程示意图;
图7是本发明数据迁移装置第一实施例的功能模块示意图;
图8是本发明数据迁移装置实施例中匹配关联模块的结构示意图;
图9是本发明数据迁移装置第二实施例的功能模块示意图。
为了使本发明的技术方案更加清楚、明了,下面将结合附图作进一步详述。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例方案主要针对不同平台之间数据包的迁移,比如跨电子商务平台的商品数据包数据迁移,以电子商务平台(但不限于电子商品平台)为例,由于电子商务平台众多,各个平台的数据结构、类目结构和属性结构也各不一样,而类目结构决定了属性结构,属于上下级关系,因此迁移两个平台之间的商品数据包需要解决数据结构不同、类目结构不同和属性结构不同三个方面的问题。本发明实施例方案以电子商务平台之间的数据迁移进行举例,采用相似度匹配、建立数据模型、用户操作记忆等方法,智能的处理不同平台不同数据结构、不同类目结构和不同属性结构的场景下,不同字段之间商品数据的平滑迁移,以提高数据迁移效率,降低用户操作成本。
如图1所示,本发明实施例涉及的硬件运行环境包括多个平台,可以实现多个不同平台之间不同数据结构、不同类目结构和不同属性结构的场景下,不同字段之间数据的平滑迁移。图1中以第一平台10和第二平台20两个平台之间数据的迁移进行举例。
其中,第一平台10和第二平台20通过网络通信连接,两个平台具体可以为同类平台,比如同为电子商务平台;第二平台20为用户当前操作的平台,第一平台10为相对第二平台20的其它平台,用户需要将第一平台10的数据迁移到第二平台20。具体地,基于上述图1所示的硬件架构,如图2所示,提出本发明第一实施例的数据迁移方法,包括:
步骤S101,获取第一平台的数据包;
首先,在用户当前操作的第二平台上,上传第一平台的数据包,其中,第一平台的数据包的选取可以直接从第一平台获取,也可以从后台服务器获取,在此不作具体限定。
步骤S102,对所述数据包进行解析,获取所述数据包的数据结构字段;
步骤S103,将所述数据包的数据结构字段与预设的第一字段映射关系表进行匹配;
其中,对于数据结构,以电子商务平台为例,数据结构包括商品的类目字段、品名字段等,比如一个数据结构包括的数据结构字段有:类目名称、商品名称、商品价格等。
由于不同的平台数据结构字段可能不相同,因此,为了实现不同数据结构之间数据的平滑迁移,本实施例预先配置有第一平台与第二平台之间商品数据结构字段之间的映射关系,并由此形成第一字段映射关系表,可以参考图3 a所示,该第一字段映射关系表中记录了第一平台的数据与第二平台的数据中数据结构字段之间的映射关系,比如图3a中,第一平台的字段A与第二平台的字段1相对应,第一平台的字段B与第二平台的字段2相对应,等等。
在获取到第一平台的数据包后,通过解析该数据包得到该数据包的数据结构字段,以便根据该数据结构字段查找第一字段映射关系表进行匹配,判断当前第一平台与第二平台的数据结构是否相同或相似,即能否匹配上,若两者能够匹配,则认为第一平台与第二平台的数据结构相同或相似,适合数据迁移,并作为后续进一步匹配判断的依据。
当在第一字段映射关系表中未找到与第一平台的数据结构字段相对应的第二平台数据结构字段时,则认为匹配失败,***可以提示用户当前操作无法完成数据迁移,当然也可以采用其他方式来完成数据的迁移。
步骤S104,当匹配成功后,采用预设的匹配关联规则将所述数据包与第二平台进行匹配关联;
当匹配成功后,本实施例可以采用自动匹配,或者自动匹配加人工匹配的方式来实现第一平台数据包与第二平台的匹配关联,实现不同字段之间商品数据的平滑迁移,以提高数据迁移效率,降低用户操作成本。
其中,自动匹配可以采用相似度匹配、建立数据模型、用户操作记忆等方法,以智能处理不同平台不同数据结构、不同类目结构和不同属性结构场景下,不同字段之间商品数据的平滑迁移。
以电子商务平台为例,其中,类目结构与属性结构两者属于上下级关系,类目结构中包括商品类目字段下的各个子类目或属性字段等;
属性结构包括商品的各个属性信息,比如手机类目下手机的型号等。
步骤S105,根据关联结果将所述数据包转换并迁移至所述第二平台。
在将第一平台的数据包与第二平台进行匹配关联后,根据关联结果将数据包转换并迁移至第二平台。
如图3b所示,由于数据包中可能存在不同类目的商品,因此,作为一种较佳实施方式,可以采用分批处理,比如,可以优先处理商品数量最多的类目,再处理商品数量次多的类目,以此类推,直至数据迁移完毕。
更为具体地,如图4a所示,作为一种实施方式,上述步骤S104中:采用预设的匹配关联规则将所述数据包与第二平台进行匹配关联的过程可以包括:
步骤S1041,解析所述数据包,获取所述数据包的类目结构字段;
步骤S1042,将所述数据包的类目结构字段与预设的第二字段映射关系表进行匹配;当匹配成功时,进入步骤S1043;当匹配未成功时,进入步骤S1044;
步骤S1043,将数据包中匹配的类目结构字段与所述第二平台对应类目结构字段进行关联;
步骤S1044,采用相似度方法获取所述数据包中类目结构字段与所述第二平台中对应的类目结构字段的相似度,并判断该相似度是否达到第一设定阈值,若是,则进入步骤S1043;否则,进入步骤S1045;
步骤S1045,采用预先建立的数学模型获取所述数据包中类目结构字段与所述第二平台中对应的类目结构字段的关联次数;
步骤S1046,判断最高的关联次数是否达到设定的第二阈值;若是,则进入步骤S1047;否则,进入步骤S1048;
步骤S1047,将关联次数最高且关联次数达到设定的第二阈值的两类目结构字段进行关联。
步骤S1048,采用用户操作记忆的方法向用户展示所述第二平台中最近预定时间用户使用的类目结构字段,供用户选择关联,并将关联记录写入所述数据模型中;和/或展示所述第二平台中当前用户的类目结构字段供用户选择关联,并将关联记录写入所述数据模型中;和/或展示所述第二平台中所有类目结构字段供用户选择关联,并将关联记录写入所述数据模型中。
具体地,为了实现不同类目结构字段之间的匹配关联,本实施例还预先配置了第一平台与第二平台之间商品数据类目字段之间的映射关系,并由此形成第二字段映射关系表。
在实现不同类目结构字段之间的匹配关联时,首先通过解析第一平台的数据包获取该数据包的类目结构字段,然后将获取的数据包的类目结构字段与预设的第二字段映射关系表进行匹配,判断数据包里的商品类目字段是否已经和当前第二平台存在映射关系,若是,则匹配成功。
当匹配成功时,将数据包中匹配的类目结构字段与第二平台对应类目结构字段进行关联。
当匹配未成功时,则采取以下方案将第一平台数据包内的商品类目字段与当前第二平台相对应商品类目字段进行匹配:
采用相似度匹配方法校验当前第二平台是否有类目结构字段与数据包内类目结构字段相似度达到第二平台所设置阀值(即本实施例所称第一设定阈值),若有,则将数据包中匹配的类目结构字段与第二平台对应类目结构字段进行关联;若没有,则可以采用数据模型或者人工匹配的方式来实现两平台不同类目结构字段之间的匹配关联。
具体地,在本实施例中,作为一种实现方式,当采用相似度方法获取的数据包中类目结构字段与第二平台中对应的类目结构字段的相似度未达到第一设定阈值时,可以通过预先建立的数据模型来实现两平台不同类目结构字段之间的匹配关联。比如,记录第一平台用户选择数据包内商品类目字段A 与第二平台字段B的关联次数,若该关联次数达到第二平台所设置的阀值(即本实施例所称第二设定阈值)且高于商品类目字段A与第二平台其他字段关联的次数,则自动将这两个字段进行关联。由此,基于上述原理预先建立数学模型,后续通过该预先建立的数据模型来实现两平台不同类目结构字段之间的匹配关联。
当然,若该关联次数未达到第二平台所设置的第二设定阀值时,也可以采用其他方法比如用户操作记忆的方法或者人工匹配方法来实现两平台不同类目结构字段之间的匹配关联。
具体地,比如可以采用用户操作记忆的方法展示用户最近常用类目供用户选择关联,并将其关联记录自动记录到数据模型中,以便后续可以依据此更新后的数据模型进行两平台不同类目结构字段之间的匹配关联。
进一步地,比如还可以展示该用户店铺的所经营类目供用户选择,并将其关联记录自动记录到数据模型中,以便后续可以依据此更新后的数据模型进行两平台不同类目结构字段之间的匹配关联。
更进一步地,比如还可以展示平台所有类目供用户选择,并将其关联记录自动记录到数据模型中,以便后续可以依据此更新后的数据模型进行两平台不同类目结构字段之间的匹配关联。
如图4b所示,作为另一种实施方式,上述步骤S104中:采用预设的匹配关联规则将所述数据包与第二平台进行匹配关联的步骤在上述步骤S1049 之后还可以包括:
步骤S1049,对关联后的类目结构字段中的属性结构字段进行匹配关联。
本实施方式相比上述图4a所示的实施方式,还可以结合属性结构字段来实现两平台不同属性结构字段之间的匹配关联。
其中,不同属性结构字段之间的匹配关联的具体实现方案,可以采用与上述图4a所示的不同类目结构字段之间的匹配关联的方案相似的方案,即可以采用相似度匹配、建立数据模型、用户操作记忆等方法,或者还可以结合人工匹配方法等,在此不再赘述。
本实施例通过上述方案,在迁移第一平台的数据包时,通过对该数据包进行解析,获取该数据包的数据结构字段,将该数据包的数据结构字段与预设的第一字段映射关系表进行匹配;当匹配成功后,采用预设的匹配关联规则将所述数据包与第二平台进行匹配关联,根据关联结果将数据包转换并迁移至第二平台,由此可以有效的解决由于不同平台数据结构字段不同而导致的无法智能导入数据的问题,而且提高了数据迁移效率,降低了用户操作成本。
如图5所示,本发明第二实施例提出一种数据迁移方法,在上述第一实施例的基础上,在上述步骤S101之前还可以包括:
步骤S90,基于用户操作习惯建立数据模型。
步骤S100,配置所述第一平台与第二平台之间的第一字段映射关系表和第二字段映射关系表。
本实施例与上述第一实施例的区别在于,本实施例还包括建立数据模型以及配置相应的字段映射关系表的方案。
其中,在建立数据模型时,可以基于用户的操作***台用户选择数据包内商品类目字段A与第二平台字段B的关联次数,若该关联次数达到第二平台所设置的阀值且高于商品类目字段A与第二平台其他字段关联的次数,则自动将这两个字段进行关联。由此,基于上述原理建立数学模型,后续通过该建立的数据模型来实现两平台不同类目结构字段或者不同属性结构字段之间的匹配关联。该数学模型还可以根据后续的不断学习而更新。
对于字段映射关系表的建立,则可以根据用户选择或者实际经验,分别建立记录第一平台与第二平台之间商品数据结构字段之间映射关系的第一字段映射关系表,以及建立记录第一平台与第二平台之间商品类目结构字段之间映射关系的第二字段映射关系表,以此作为第一平台数据包与第二平台进行匹配关联的依据。
由此,通过上述方案,可以实现第一平台数据包与第二平台之间的匹配关联,进而有效实现不同平台之间数据的平滑迁移,提高数据迁移效率,降低操作成本。
需要说明的是,上述步骤S90和步骤S100还可以在上述步骤S102之前或者在步骤S102和步骤S103之间实施。
如图6所示,本发明第三实施例提出一种数据迁移方法,在上述第二实施例的基础上,在上述步骤S104之后还包括:
步骤S106,将关联后的数据包中的数据保存至临时表;
所述根据关联结果将所述数据包迁移至所述第二平台的步骤包括:
根据关联结果从所述临时表中获取关联数据迁移至所述第二平台。
本实施例与上述第一实施例的区别在于,本实施例在采用预设的匹配关联规则将所述数据包与第二平台进行匹配关联后,还将关联后的数据包中的数据保存至临时表,当第一平台的数据包中所有数据均匹配关联完后,再从临时表中获取关联数据迁移至第二平台,由此,可以保证数据迁移的完整性与准确性。
如图7所示,本发明第一实施例提出一种数据迁移装置,包括:数据包获取模块201、解析模块202、匹配模块203、匹配关联模块204及转换迁移模块205,其中:
数据包获取模块201,用于获取第一平台的数据包;
解析模块202,用于对所述数据包进行解析,获取所述数据包的数据结构字段;
匹配模块203,用于将所述数据包的数据结构字段与预设的第一字段映射关系表进行匹配;
匹配关联模块204,用于当匹配成功后,采用预设的匹配关联规则将所述数据包与第二平台进行匹配关联;
转换迁移模块205,用于根据关联结果将所述数据包转换并迁移至所述第二平台。
本实施例方案涉及第一平台和第二平台,该第一平台和第二平台具体可以为同类平台,比如同为电子商务平台;其中,第二平台为用户当前操作的平台,第一平台为相对第二平台的其它平台,用户需要将第一平台的数据迁移到第二平台。本实施例数据迁移装置可以设置在第一平台上,也可以设置在第二平台上,还可以独立于第一平台和第二平台设置。本实施例以数据迁移装置可以设置在第二平台上进行举例说明。
首先,在用户当前操作的第二平台上,数据包获取模块201上传第一平台的数据包,其中,第一平台的数据包的选取可以直接从第一平台获取,也可以从后台服务器获取,在此不作具体限定。
其中,对于数据结构,以电子商务平台为例,数据结构包括商品的类目字段、品名字段等,比如一个数据结构包括的数据结构字段有:类目名称、商品名称、商品价格等。
由于不同的平台数据结构字段可能不相同,因此,为了实现不同数据结构之间数据的平滑迁移,本实施例预先配置有第一平台与第二平台之间商品数据结构字段之间的映射关系,并由此形成第一字段映射关系表,可以参考图3 a所示,该第一字段映射关系表中记录了第一平台的数据与第二平台的数据中数据结构字段之间的映射关系,比如,图3 a中,第一平台的字段A与第二平台的字段1相对应,等等。
在获取到第一平台的数据包后,解析模块202通过解析该数据包得到该数据包的数据结构字段,以便匹配模块203根据该数据结构字段查找第一字段映射关系表进行匹配,判断当前第一平台与第二平台的数据结构是否相同或相似,即能否匹配上,若两者能够匹配,则认为第一平台与第二平台的数据结构相同或相似,适合数据迁移,并作为后续进一步匹配判断的依据。
当在第一字段映射关系表中未找到与第一平台的数据结构字段相对应的第二平台数据结构字段时,则认为匹配失败,***可以提示用户当前操作无法完成数据迁移,当然也可以采用其他方式来完成数据的迁移。
当匹配成功后,匹配关联模块204采用预设的匹配关联规则将所述数据包与第二平台进行匹配关联。具体地,本实施例可以采用自动匹配,或者自动匹配加人工匹配的方式来实现第一平台数据包与第二平台的匹配关联,实现不同字段之间商品数据的平滑迁移,以提高数据迁移效率,降低用户操作成本。
其中,自动匹配可以采用相似度匹配、建立数据模型、用户操作记忆等方法,以智能处理不同平台不同数据结构、不同类目结构和不同属性结构场景下,不同字段之间商品数据的平滑迁移。
以电子商务平台为例,其中,类目结构与属性结构两者属于上下级关系,类目结构中包括商品类目字段下的各个子类目或属性字段等;
属性结构包括商品的各个属性信息,比如手机类目下手机的型号等。
在将第一平台的数据包与第二平台进行匹配关联后,通过转换迁移模块 205根据关联结果将数据包转换并迁移至第二平台。
如图3 b所示,由于数据包中可能存在不同类目的商品,因此,作为一种较佳实施方式,可以采用分批处理,比如,可以优先处理商品数量最多的类目,再处理商品数量次多的类目,以此类推,直至数据迁移完毕。
更为具体地,如图8所示,上述匹配关联模块204可以包括:解析单元 2041、匹配单元2042及关联单元2043,其中:
解析单元2041,用于解析所述数据包,获取所述数据包的类目结构字段;
匹配单元2042,用于将所述数据包的类目结构字段与预设的第二字段映射关系表进行匹配;
关联单元2043,用于当匹配成功时,将数据包中匹配的类目结构字段与所述第二平台对应类目结构字段进行关联;当匹配未成功时,采用相似度方法获取所述数据包中类目结构字段与所述第二平台中对应的类目结构字段的相似度,并判断该相似度是否达到第一设定阈值,若是,则将数据包中匹配的类目结构字段与所述第二平台对应类目结构字段进行关联。
进一步地,所述关联单元2043,还用于当相似度未达到第一设定阈值时,采用预先建立的数学模型获取所述数据包中类目结构字段与所述第二平台中对应的类目结构字段的关联次数;将关联次数最高且关联次数达到设定的第二阈值的两类目结构字段进行关联。
进一步地,所述关联单元2043,还用于当获取的所述关联次数未达到设定的第二阈值时,采用用户操作记忆的方法向用户展示所述第二平台中最近预定时间用户使用的类目结构字段,供用户选择关联,并将关联记录写入所述数据模型中;和/或展示所述第二平台中当前用户的类目结构字段供用户选择关联,并将关联记录写入所述数据模型中;和/或展示所述第二平台中所有类目结构字段供用户选择关联,并将关联记录写入所述数据模型中。
进一步地,所述关联单元2043,还用于对关联后的类目结构字段中的属性结构字段进行匹配关联。
具体地,为了实现不同类目结构字段之间的匹配关联,本实施例还预先配置了第一平台与第二平台之间商品数据类目字段之间的映射关系,并由此形成第二字段映射关系表。
在实现不同类目结构字段之间的匹配关联时,首先通过解析第一平台的数据包获取该数据包的类目结构字段,然后将获取的数据包的类目结构字段与预设的第二字段映射关系表进行匹配,判断数据包里的商品类目字段是否已经和当前第二平台存在映射关系,若是,则匹配成功,当匹配成功时,将数据包中匹配的类目结构字段与第二平台对应类目结构字段进行关联。
当匹配未成功时,则采取以下方案将第一平台数据包内的商品类目字段与当前第二平台相对应商品类目字段进行匹配:
采用相似度匹配方法校验当前第二平台是否有类目结构字段与数据包内类目结构字段相似度达到第二平台所设置阀值(即本实施例所称第一设定阈值),若有,则将数据包中匹配的类目结构字段与第二平台对应类目结构字段进行关联;若没有,则可以采用数据模型或者人工匹配的方式来实现两平台不同类目结构字段之间的匹配关联。
具体地,在本实施例中,作为一种实现方式,当采用相似度方法获取的数据包中类目结构字段与第二平台中对应的类目结构字段的相似度未达到第一设定阈值时,可以通过预先建立的数据模型来实现两平台不同类目结构字段之间的匹配关联。比如,记录第一平台用户选择数据包内商品类目字段A 与第二平台字段B的关联次数,若该关联次数达到第二平台所设置的阀值(即本实施例所称第二设定阈值)且高于商品类目字段A与第二平台其他字段关联的次数,则自动将这两个字段进行关联。由此,基于上述原理预先建立数学模型,后续通过该预先建立的数据模型来实现两平台不同类目结构字段之间的匹配关联。
当然,若该关联次数未达到第二平台所设置的第二设定阀值时,也可以采用其他方法比如用户操作记忆的方法或者人工匹配方法来实现两平台不同类目结构字段之间的匹配关联。
具体地,比如可以采用用户操作记忆的方法展示用户最近常用类目供用户选择关联,并将其关联记录自动记录到数据模型中,以便后续可以依据此更新后的数据模型进行两平台不同类目结构字段之间的匹配关联。
进一步地,比如还可以展示该用户店铺的所经营类目供用户选择,并将其关联记录自动记录到数据模型中,以便后续可以依据此更新后的数据模型进行两平台不同类目结构字段之间的匹配关联。
更进一步地,比如还可以展示平台所有类目供用户选择,并将其关联记录自动记录到数据模型中,以便后续可以依据此更新后的数据模型进行两平台不同类目结构字段之间的匹配关联。
此外,还可以结合属性结构字段来实现两平台不同属性结构字段之间的匹配关联。
其中,不同属性结构字段之间的匹配关联的具体实现方案,可以采用与上述不同类目结构字段之间的匹配关联的方案相似的方案,即可以采用相似度匹配、建立数据模型、用户操作记忆等方法,或者还可以结合人工匹配方法等,在此不再赘述。
本实施例通过上述方案,在迁移第一平台的数据包时,通过对该数据包进行解析,获取该数据包的数据结构字段,将该数据包的数据结构字段与预设的第一字段映射关系表进行匹配;当匹配成功后,采用预设的匹配关联规则将所述数据包与第二平台进行匹配关联,根据关联结果将数据包转换并迁移至第二平台,由此可以有效的解决由于不同平台数据结构字段不同而导致的无法智能导入数据的问题,而且提高了数据迁移效率,降低了用户操作成本。
如图9所示,本发明第二实施例提出一种数据迁移装置,在上述第一实施例所示的基础上,还包括:
模型建立模块199,用于根据用户操作习惯建立所述数据模型。
配置模块200,用于配置所述第一平台与第二平台之间的第一字段映射关系表和第二字段映射关系表。
本实施例与上述第一实施例的区别在于,本实施例还包括建立数据模型以及配置相应的字段映射关系表的方案。
其中,在建立数据模型时,可以基于用户的操作***台用户选择数据包内商品类目字段A与第二平台字段B的关联次数,若该关联次数达到第二平台所设置的阀值且高于商品类目字段A与第二平台其他字段关联的次数,则自动将这两个字段进行关联。由此,基于上述原理建立数学模型,后续通过该建立的数据模型来实现两平台不同类目结构字段或者不同属性结构字段之间的匹配关联。该数学模型还可以根据后续的不断学习而更新。
对于字段映射关系表的建立,则可以根据用户选择或者实际经验,分别建立记录第一平台与第二平台之间商品数据结构字段之间映射关系的第一字段映射关系表,以及建立记录第一平台与第二平台之间商品类目结构字段之间映射关系的第二字段映射关系表,以此作为第一平台数据包与第二平台进行匹配关联的依据。
由此,通过上述方案,可以实现第一平台数据包与第二平台之间的匹配关联,进而有效实现不同平台之间数据的平滑迁移,提高数据迁移效率,降低操作成本。
需要说明的是,本实施例对上述模型建立模块199与配置模块200的连接位置不作具体限定。
还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (17)

1.一种数据迁移方法,其特征在于,包括:
获取第一平台的数据包;
对所述数据包进行解析,获取所述数据包的数据结构字段;
将所述数据包的数据结构字段与预设的第一字段映射关系表进行匹配;所述第一字段映射关系表中记录了所述第一平台的数据与第二平台的数据中数据结构字段之间的映射关系;
当所述数据结构字段与预设的第一字段映射关系表匹配成功后,解析所述数据包,获取所述数据包的类目结构字段;
将所述数据包的类目结构字段与预设的第二字段映射关系表进行匹配;
当所述类目结构字段与预设的第二字段映射关系表匹配成功时,将数据包中匹配的类目结构字段与所述第二平台对应类目结构字段进行关联;
当所述类目结构字段与预设的第二字段映射关系表匹配未成功时,采用相似度方法获取所述数据包中类目结构字段与所述第二平台中对应的类目结构字段的相似度,并判断该相似度是否达到第一设定阈值,若是,则将数据包中匹配的类目结构字段与所述第二平台对应类目结构字段进行关联;
根据关联结果将所述数据包转换并迁移至所述第二平台。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当相似度未达到第一设定阈值时,采用预先建立的数据模型获取所述数据包中类目结构字段与所述第二平台中对应的类目结构字段的关联次数;
将关联次数最高且关联次数达到设定的第二阈值的两类目结构字段进行关联。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
当获取的所述关联次数未达到设定的第二阈值时,采用用户操作记忆的方法向用户展示所述第二平台中最近预定时间用户使用的类目结构字段,供用户选择关联,并将关联记录写入所述数据模型中;和/或
展示所述第二平台中当前用户的类目结构字段供用户选择关联,并将关联记录写入所述数据模型中;和/或
展示所述第二平台中所有类目结构字段供用户选择关联,并将关联记录写入所述数据模型中。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
对关联后的类目结构字段中的属性结构字段进行匹配关联。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
基于用户操作习惯建立所述数据模型。
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述将数据包的数据结构字段与预设的第一字段映射关系表进行匹配的步骤之前还包括:
配置所述第一平台与第二平台之间的第一字段映射关系表和第二字段映射关系表。
7.根据权利要求1-5中任一项所述的方法,其特征在于,所述根据关联结果将所述数据包迁移至所述第二平台的步骤包括:
根据关联结果将所述数据包中的类目数据分批迁移至所述第二平台。
8.根据权利要求1-5中任一项所述的方法,其特征在于,所述方法还包括:
将关联后的数据包中的数据保存至临时表;
所述根据关联结果将所述数据包迁移至所述第二平台的步骤包括:
根据关联结果从所述临时表中获取关联数据迁移至所述第二平台。
9.一种数据迁移装置,其特征在于,包括:
数据包获取模块,用于获取第一平台的数据包;
解析模块,用于对所述数据包进行解析,获取所述数据包的数据结构字段;
匹配模块,用于将所述数据包的数据结构字段与预设的第一字段映射关系表进行匹配;所述第一字段映射关系表中记录了所述第一平台的数据与第二平台的数据中数据结构字段之间的映射关系;
匹配关联模块,用于当所述数据结构字段与预设的第一字段映射关系表匹配成功后,采用预设的匹配关联规则将所述数据包与所述第二平台进行匹配关联;
转换迁移模块,用于根据关联结果将所述数据包转换并迁移至所述第二平台;
所述匹配关联模块包括:
解析单元,用于当所述数据结构字段与预设的第一字段映射关系表匹配成功后,解析所述数据包,获取所述数据包的类目结构字段;
匹配单元,用于将所述数据包的类目结构字段与预设的第二字段映射关系表进行匹配;
关联单元,用于当所述类目结构字段与预设的第二字段映射关系表匹配成功时,将数据包中匹配的类目结构字段与所述第二平台对应类目结构字段进行关联;当所述类目结构字段与预设的第二字段映射关系表匹配未成功时,采用相似度方法获取所述数据包中类目结构字段与所述第二平台中对应的类目结构字段的相似度,并判断该相似度是否达到第一设定阈值,若是,则将数据包中匹配的类目结构字段与所述第二平台对应类目结构字段进行关联。
10.根据权利要求9所述的装置,其特征在于,
所述关联单元,还用于当相似度未达到第一设定阈值时,采用预先建立的数据模型获取所述数据包中类目结构字段与所述第二平台中对应的类目结构字段的关联次数;
将关联次数最高且关联次数达到设定的第二阈值的两类目结构字段进行关联。
11.根据权利要求10所述的装置,其特征在于,
所述关联单元,还用于当获取的所述关联次数未达到设定的第二阈值时,采用用户操作记忆的方法向用户展示所述第二平台中最近预定时间用户使用的类目结构字段,供用户选择关联,并将关联记录写入所述数据模型中;和/或展示所述第二平台中当前用户的类目结构字段供用户选择关联,并将关联记录写入所述数据模型中;和/或展示所述第二平台中所有类目结构字段供用户选择关联,并将关联记录写入所述数据模型中。
12.根据权利要求11所述的装置,其特征在于,
所述关联单元,还用于对关联后的类目结构字段中的属性结构字段进行匹配关联。
13.根据权利要求10所述的装置,其特征在于,还包括:
模型建立模块,用于基于用户操作习惯建立所述数据模型。
14.根据权利要求9-13中任一项所述的装置,其特征在于,还包括:
配置模块,用于配置所述第一平台与第二平台之间的第一字段映射关系表和第二字段映射关系表。
15.根据权利要求9-13中任一项所述的装置,其特征在于,
所述转换迁移模块,还用于根据关联结果将所述数据包中的类目数据分批迁移至所述第二平台。
16.根据权利要求9-13中任一项所述的装置,其特征在于,
所述匹配关联模块,还用于将关联后的数据包中的数据保存至临时表;
所述转换迁移模块,还用于根据关联结果从所述临时表中获取关联数据迁移至所述第二平台。
17.一种存储介质,其特征在于,所述存储介质存储有可执行指令,用于引起处理器执行时,实现权利要求1至8任一项所述的数据迁移方法。
CN201310603825.8A 2013-11-25 2013-11-25 数据迁移方法及装置 Active CN104657396B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201310603825.8A CN104657396B (zh) 2013-11-25 2013-11-25 数据迁移方法及装置
PCT/CN2014/081904 WO2015074427A1 (en) 2013-11-25 2014-07-09 Systems and methods for data migration
TW103140226A TWI550417B (zh) 2013-11-25 2014-11-20 資料遷移方法及裝置
US14/594,337 US9661109B2 (en) 2013-11-25 2015-01-12 Systems and methods for data migration
HK15109527.6A HK1208934A1 (zh) 2013-11-25 2015-09-29 數據遷移方法及裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310603825.8A CN104657396B (zh) 2013-11-25 2013-11-25 数据迁移方法及装置

Publications (2)

Publication Number Publication Date
CN104657396A CN104657396A (zh) 2015-05-27
CN104657396B true CN104657396B (zh) 2020-04-24

Family

ID=53178891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310603825.8A Active CN104657396B (zh) 2013-11-25 2013-11-25 数据迁移方法及装置

Country Status (5)

Country Link
US (1) US9661109B2 (zh)
CN (1) CN104657396B (zh)
HK (1) HK1208934A1 (zh)
TW (1) TWI550417B (zh)
WO (1) WO2015074427A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106469182B (zh) * 2015-08-21 2019-12-06 阿里巴巴集团控股有限公司 一种基于映射关系的信息推荐方法及装置
CN107230123A (zh) * 2016-03-25 2017-10-03 阿里巴巴集团控股有限公司 商品映射方法、装置及设备
CN107273104B (zh) * 2016-04-08 2021-05-28 创新先进技术有限公司 一种配置数据结构的处理方法及装置
CN106021380A (zh) * 2016-05-12 2016-10-12 中国商用飞机有限责任公司 基于维修工程分析数据编制飞机技术出版物的方法及装置
CN106844034B (zh) * 2017-01-25 2018-05-15 国家电网公司 一种信息***分批迁移的***分划方法及装置
CZ307278B6 (cs) * 2017-03-07 2018-05-09 Krieg Jaroslav Způsob přenášení struktur a datových souborů mezi zdrojovým a cílovým systémem a systém k jeho provádění
CN107169278A (zh) * 2017-05-10 2017-09-15 成都智信电子技术有限公司 一种数据治理方法及医疗信息化***
CN109389450B (zh) * 2017-08-08 2022-04-19 阿里巴巴集团控股有限公司 一种关联属性信息和生成数据集合的方法和***
CN107609068B (zh) * 2017-08-30 2021-03-16 企查查科技有限公司 一种数据无感迁移方法
CN107704625B (zh) * 2017-10-30 2021-01-15 锐捷网络股份有限公司 字段匹配方法和装置
CN108763247B (zh) * 2018-03-29 2021-12-07 创新先进技术有限公司 在数据迁移过程中处理用户请求的方法及装置
CN108549722B (zh) * 2018-04-25 2021-12-28 稿定(厦门)科技有限公司 多平台数据发布方法、***及介质
JP7060797B2 (ja) * 2018-05-28 2022-04-27 富士通株式会社 テーブル生成方法、テーブル生成装置およびテーブル生成プログラム
CN109033124A (zh) * 2018-05-31 2018-12-18 阿里巴巴集团控股有限公司 一种数据迁移的方法及装置
CN109214035A (zh) * 2018-07-02 2019-01-15 中国电建集团河北省电力勘测设计研究院有限公司 PDMS和Revit两平台之间数据模型传递方法
CN110740291A (zh) * 2018-07-20 2020-01-31 视联动力信息技术股份有限公司 一种基于视联网监控数据的同步方法及装置
CN109284293B (zh) * 2018-10-08 2020-08-28 湖南工学院 用于水务公司营业收费***升级的数据迁移方法
CN109299126A (zh) * 2018-11-21 2019-02-01 金蝶软件(中国)有限公司 数据同步方法、装置、计算机设备和存储介质
CN109800273A (zh) * 2018-12-03 2019-05-24 北京明略软件***有限公司 一种数据处理的方法、装置、计算机存储介质及终端
CN109766345B (zh) * 2019-01-10 2022-07-15 深圳前海微众银行股份有限公司 元数据处理方法及装置、设备、可读存储介质
CN110532273A (zh) * 2019-08-30 2019-12-03 北京明略软件***有限公司 数据表的处理方法及装置、存储介质、电子装置
CN110738553A (zh) * 2019-10-18 2020-01-31 深圳市比量科技传媒有限公司 一种将不同商城的商品链接进行相互映射的方法及***
CN111415749A (zh) * 2020-03-12 2020-07-14 深圳中兴网信科技有限公司 信息处理方法、信息处理装置和计算机可读存储介质
CN112230983B (zh) * 2020-10-15 2021-08-03 上海嗨普智能信息科技股份有限公司 信息处理方法、电子设备和介质
CN113298609A (zh) * 2021-01-27 2021-08-24 阿里巴巴集团控股有限公司 对象识别码处理方法、对象发布方法、装置、设备及介质
CN113364806B (zh) * 2021-06-30 2023-04-07 深圳前海微众银行股份有限公司 一种服务接口迁移的校验方法及装置
CN115543227B (zh) * 2022-11-21 2023-03-14 深圳市蓝凌软件股份有限公司 跨***数据迁移方法、***、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110102A (zh) * 2009-12-29 2011-06-29 北大方正集团有限公司 数据处理方法及装置、文件识别方法及工具
CN102308297A (zh) * 2011-07-13 2012-01-04 华为技术有限公司 一种数据迁移方法、数据迁移装置及数据迁移***
CN102508929A (zh) * 2011-12-01 2012-06-20 浪潮(北京)电子信息产业有限公司 实现异构数据库数据迁移的***、装置及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6151608A (en) * 1998-04-07 2000-11-21 Crystallize, Inc. Method and system for migrating data
JP4347497B2 (ja) * 2000-04-03 2009-10-21 株式会社日立製作所 通信制御装置及びパケット変換方法
GB2418507A (en) * 2003-06-25 2006-03-29 Siemens Med Solutions Health Data migration and format transformation system
JP4438582B2 (ja) * 2004-09-22 2010-03-24 株式会社日立製作所 データ移行方法
CN1763745A (zh) * 2005-09-06 2006-04-26 阎海强 一种面向结构的数据迁移的方法及***
KR100779215B1 (ko) * 2006-09-29 2007-11-26 한국전자통신연구원 작업 데이터 자동 이동 방법 및 이를 위한 장치
US9361326B2 (en) * 2008-12-17 2016-06-07 Sap Se Selectable data migration
TW201118773A (en) * 2009-11-30 2011-06-01 Linkmed Asia Inc Medical information integrated system and method
CN102063500A (zh) * 2011-01-04 2011-05-18 北京凯铭风尚网络技术有限公司 一种数据迁移的方法及装置
US9910904B2 (en) * 2011-08-30 2018-03-06 International Business Machines Corporation Replication of data objects from a source server to a target server
CN102970328B (zh) * 2012-10-25 2015-03-11 国家电网公司 电力行业典型生产***数据在线迁移方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110102A (zh) * 2009-12-29 2011-06-29 北大方正集团有限公司 数据处理方法及装置、文件识别方法及工具
CN102308297A (zh) * 2011-07-13 2012-01-04 华为技术有限公司 一种数据迁移方法、数据迁移装置及数据迁移***
CN102508929A (zh) * 2011-12-01 2012-06-20 浪潮(北京)电子信息产业有限公司 实现异构数据库数据迁移的***、装置及方法

Also Published As

Publication number Publication date
TW201520794A (zh) 2015-06-01
TWI550417B (zh) 2016-09-21
WO2015074427A1 (en) 2015-05-28
US20150146717A1 (en) 2015-05-28
CN104657396A (zh) 2015-05-27
HK1208934A1 (zh) 2016-03-18
US9661109B2 (en) 2017-05-23

Similar Documents

Publication Publication Date Title
CN104657396B (zh) 数据迁移方法及装置
US9965880B2 (en) Picture processing method and apparatus
CN111475694A (zh) 一种数据处理方法、装置、终端及存储介质
CN104850636A (zh) 移动终端上动植物识别方法及***
CN110910237B (zh) 区块链中的数据处理方法、装置及智能终端、存储介质
CN111782728A (zh) 一种数据同步方法、装置、电子设备及介质
CN109255082B (zh) 页签显示方法及装置
US20150172374A1 (en) Mobile content transfer (mct) solution
KR102205686B1 (ko) 후보 문자 순위화 방법 및 장치와 문자 입력 방법 및 장치
KR101744696B1 (ko) 정보 필터링 방법, 장치, 프로그램 및 저장매체
US11016821B2 (en) Resegmenting chunks of data for efficient load balancing across indexers
CN106485520A (zh) 跨渠道通讯控制方法及服务器
CN110162361B (zh) 基于用户行为的智能提示方法、装置、终端及存储介质
WO2014176955A1 (zh) 移动终端配置方法和装置
TW201741895A (zh) 電話號碼的變更校驗方法、裝置和系統
CN110597765A (zh) 一种大零售呼叫中心异构数据源数据处理方法及装置
CN105450507A (zh) 社交网络分享信息的方法及装置
KR101218927B1 (ko) 웹 서비스의 사용자 체감 성능 모니터링 방법과 이를 위한 프로그램이 기록된 기록매체 및 컴퓨팅 장치
CN113468446A (zh) 一种支持识别第三方二维码数据的方法、***及设备
CN111026739B (zh) 批量数据清洗的方法及装置、计算机设备和存储介质
CN109213541A (zh) App应用展示界面的方法、装置和电子设备
CN114048381A (zh) 产品推荐方法、***、存储介质及电子设备
CN107544685A (zh) 信息推送方法和装置
CN110704523A (zh) 数据导出方法、装置、设备及计算机可读存储介质
CN110851126A (zh) iOS平台上自制私有库配置的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1208934

Country of ref document: HK

C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant