CN103258016B - 数据传输方法及*** - Google Patents

数据传输方法及*** Download PDF

Info

Publication number
CN103258016B
CN103258016B CN201310145523.0A CN201310145523A CN103258016B CN 103258016 B CN103258016 B CN 103258016B CN 201310145523 A CN201310145523 A CN 201310145523A CN 103258016 B CN103258016 B CN 103258016B
Authority
CN
China
Prior art keywords
data
mapping
enum
end points
status indicator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310145523.0A
Other languages
English (en)
Other versions
CN103258016A (zh
Inventor
李守鹏
车帅
刘民
温尚卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANDONG CIVIC SE COMMERCIAL MIDDLEWARE Co.,Ltd.
Original Assignee
CVIC Software Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CVIC Software Engineering Co Ltd filed Critical CVIC Software Engineering Co Ltd
Priority to CN201310145523.0A priority Critical patent/CN103258016B/zh
Publication of CN103258016A publication Critical patent/CN103258016A/zh
Application granted granted Critical
Publication of CN103258016B publication Critical patent/CN103258016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Mobile Radio Communication Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种数据传输方法及***。预先创建与第一端点中的数据源表相对应的映射表;所述映射表中的映射数据与所述数据源表中的源数据一一对应,且随所述数据源表中源数据的更新而更新;所述方法包括:在第一预设时间间隔内,依次遍历所述映射表中各个映射数据的数据标识,以确定出未向第二端点传输的映射数据;所述数据标识用于表征与之相对应的映射数据是否未向第二端点进行传输;将所述未向第二端点传输的映射数据作为目标映射数据,并将所述目标映射数据向所述第二端点进行传输,并重置所述目标映射数据的数据标识,以表明所述目标映射数据已向所述第二端点进行传输。

Description

数据传输方法及***
技术领域
本发明涉及数据传输技术领域,特别是涉及一种数据传输方法及***。
背景技术
目前,在复杂的分布式环境中,不同数据库通过数据集成总线实现数据的传输交换,并最终达到数据集成,以此解决数据的分布性和异构性的问题。
申请人经过研究发现,在数据集成的过程中,由于某些客观原因,不同数据库之间在传输数据时会存在一些问题。例如,在具有若干端点的分布式***中,当将数据从第一端点的数据表传输到第二端点的数据表时,需要直接操作该第一端点的数据表,在操作的过程中,由于网络的差异性、抖动性和数据库存储的稳定性,可能造成数据表中数据的丢失,从而降低了数据传输的可靠性。
发明内容
为解决解决数据传输的过程中,由于某些客观原因可能造成数据源表中数据丢失的问题,本发明实施例提供了一种数据传输方法及***,以提高数据传输的可靠性,技术方案如下:
一种数据传输方法,预先创建与第一端点中的数据源表相对应的映射表;所述映射表中的映射数据与所述数据源表中的源数据一一对应,且随所述数据源表中源数据的更新而更新;所述方法包括:
在第一预设时间间隔内,依次遍历所述映射表中各个映射数据的数据标识,以确定出未向第二端点传输的映射数据;所述数据标识用于表征与之相对应的映射数据是否未向第二端点进行传输;
将所述未向第二端点传输的映射数据作为目标映射数据,并将所述目标映射数据向所述第二端点进行传输,并重置所述目标映射数据的数据标识,以表明所述目标映射数据已向所述第二端点进行传输。
优选的,所述数据标识对应设置有第一状态标识位和第二状态标识位;
其中:
所述第一状态标识位用于表征与所述数据标识相对应的映射数据已向所述第二端点进行传输;
所述第二状态标识位用于表征与所述数据标识相对应的映射数据未向所述第二端点进行传输。
优选的,所述方法还包括:
获取所述第二端点中各个数据所对应的数据主键;
将数据标识处于第一状态标识位的映射数据的主键逐一与所述第二端点中的各个数据主键进行匹配;
将未匹配成功的主键所对应的映射数据的数据标识由第一状态标识位重置为第二状态标识位。
优选的,按照将所述目标映射数据向所述第二端点进行传输的数据传输顺序,依次获取所述第二端点中各个数据对应的数据主键;所述将数据标识处于第一状态标识位的映射数据的主键逐一与所述第二端点中的各个数据主键进行匹配,包括:
分别将所述第二端点中的数据主键与所述数据标识处于第一状态标识位的映射数据的主键按同一原则分成n组,其中,n≥1且n为整数;
依次比较第k组中的第二端点中的数据主键的个数与所述映射数据的主键的个数是否相等,如果是,则比较下一组;如果否,则将该组中所述映射数据的主键逐一与所述第二端点中的数据主键进行匹配,其中,1≤k≤n,且k为整数。
一种数据传输***,预先创建映射表创建模块,所述映射表创建模块用于创建与第一端点中的数据源表相对应的映射表;所述映射表中的映射数据与所述数据源表中的源数据一一对应,且随所述数据源表中源数据的更新而更新;所述***包括:
数据标识遍历模块,用于在第一预设时间间隔内,依次遍历所述映射表中各个映射数据的数据标识,以确定出未向第二端点传输的映射数据;所述数据标识用于表征与之相对应的映射数据是否未向第二端点进行传输;
数据传输模块,用于将所述未向第二端点传输的映射数据作为目标映射数据,并将所述目标映射数据向所述第二端点进行传输,并重置所述目标映射数据的数据标识,以表明所述目标映射数据已向所述第二端点进行传输。
优选的,所述数据标识遍历模块中设置有第一状态标识位模块和第二状态标识位模块;
其中:
所述第一状态标识模块中设置有所述数据标识的第一状态标识位,该第一状态标识位用于表征与所述数据标识相对应的映射数据已向所述第二端点进行传输;
所述第二状态标识模块中设置有所述数据标识的第二状态标识位,该第二状态标识位用于表征与所述数据标识相对应的映射数据未向所述第二端点进行传输。
优选的,所述***还包括:
数据主键获取模块,用于获取所述第二端点中各个数据所对应的数据主键;
匹配模块,用于将数据标识处于第一状态标识位的映射数据的主键逐一与所述第二端点中的各个数据主键进行匹配;
数据标识重置模块,用于将未匹配成功的主键所对应的映射数据的数据标识由第一状态标识位重置为第二状态标识位。
本发明实施例所提供的技术方案,在执行数据传输方法之前,预先创建与数据源表对应的映射表,映射表中的数据与数据源表中的数据是一一对应的,且随数据源表中数据的更新而进行更新,从而在数据传输的过程中,以操作映射表代替现有技术中直接操作数据源表,以此解决了由于某些客观原因在操作数据源表的过程中可能造成数据丢失的问题,提高了数据传输的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据传输方法的第一种流程示意图;
图2为本发明实施例提供的一种数据传输方法的第二种流程示意图;
图3为本发明实施例提供的一种数据传输方法的第三种流程示意图;
图4为本发明实施例提供的一种数据传输方法的第四种流程示意图;
图5为本发明实施例提供的一种数据传输方法的第五种流程示意图;
图6为本发明实施例提供的一种数据传输方法的第六种流程示意图;
图7为本发明实施例提供的一种数据传输方法的第一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决数据传输过程中,由于某些客观原因可能造成数据源表中数据丢失的问题,本发明实施例提供一种数据传输方法及***,以提高数据传输的可靠性。
下面首先对本发明实施例提供的一种数据传输方法进行介绍。
需要说明的是,在执行所述方法之前,预先创建与第一端点中的数据源表对应的映射表;所述映射表中的映射数据与所述数据源表中的源数据一一对应,且随所述数据源表中源数据的更新而更新。
预先创建映射表,并在后续的数据传输过程中,通过操作该映射表代替直接操作数据源表,可以有效保护数据源表中的数据不受到意外丢失。
在实际应用中,可以通过触发器将数据源表中的内容变化反应到映射表中。
如图1所示,一种数据传输方法,可以包括:
S101,在第一预设时间间隔内,依次遍历所述映射表中各个映射数据的数据标识,以确定出未向第二端点传输的映射数据;所述数据标识用于表征与之相对应的映射数据是否未向第二端点进行传输;
需要说明的是,由于映射表中的数据是随数据源表中数据的更新而更新的,因此,本发明的数据传输方法是在第一预设时间间隔内,循环执行的。而该第一预设时间间隔可以根据用户的需求设定,当然,任何其他的设定方式也都是合理的。
另外,映射表中的每一数据具有一数据标识,该数据标识可以表征与之相对应的映射数据是未否向第二端点进行传输。例如,该数据标识可以用FLG_字段表示,当FLG_字段为空时,表示与之相对应的数据为未向第二端点进行传输的数据,当FLG_字段为S时,表示与之相对应的数据为已向第二端点进行传输的数据。当然,对于其它的任何能够区分数据是否已向第二端点进行传输的标识方式也都是合理的。
S102,将所述未向第二端点传输的映射数据作为目标映射数据,并将所述目标映射数据向所述第二端点进行传输,并重置所述目标映射数据的数据标识,以表明所述目标映射数据已向所述第二端点进行传输。
在遍历出未向第二端点进行传输的映射数据后,将其作为目标映射数据向第二端点进行传输。并通过重置上述目标映射数据的数据标识,以表明其已向第二端点进行传输,从而在间隔第一预设时间,再次遍历映射表时,不用再传输该映射数据。
本发明实施例,预先创建与数据源表对应的映射表,映射表中的数据与数据源表中的数据是一一对应的,且随数据源表中数据的更新而进行更新,从而在数据传输的过程中,以操作映射表代替现有技术中直接操作数据源表,以此解决了由于某些客观原因在操作数据源表的过程中可能造成数据丢失的问题,提高了数据传输的可靠性。
下面结合具体的应用实例,对本发明实施例提供的数据传输方法进行介绍。
如图2所示,一种数据传输方法,可以包括:
预先创建与第一端点中的数据源表相对应的映射表;所述映射表中的映射数据与所述数据源表中的源数据一一对应,且随所述数据源表中源数据的更新而更新;
所述映射表中的每一映射数据具有一数据标识,所述数据标识对应设置有第一状态标识位和第二状态标识位;
其中:
所述第一状态标识位用于表征与所述数据标识相对应的映射数据已向所述第二端点进行传输;
所述第二状态标识位用于表征与所述数据标识相对应的映射数据未向所述第二端点进行传输。
S201,在第一预设时间间隔内,依次遍历所述映射表中各个映射数据的数据标识,以确定出数据标识处于第二状态标识位的映射数据;
S202,将所述数据标识处于第二状态标识位的映射数据作为目标映射数据,并将所述目标映射数据向所述第二端点进行传输,并将所述目标映射数据的数据标识由所述第二状态标识为置为所述第一状态标识位。
本发明实施例,预先创建与数据源表对应的映射表,映射表中的数据与数据源表中的数据是一一对应的,且随数据源表中数据的更新而进行更新,从而在数据传输的过程中,以操作映射表代替现有技术中直接操作数据源表,以此解决了由于某些客观原因在操作数据源表的过程中可能造成数据丢失的问题。
更进一步的,在将数据源表中的数据向所述第二端点进行传输后,经过一段时间,由于某些客观原因,可能造成该第二端点中数据的丢失,为了解决上述可能丢失数据的问题,提高数据传输的可靠性,本发明实施例提供的数据传输方法,如图3所示,还可以包括:
S301,获取所述第二端点中各个数据所对应的数据主键;
需要说明的是,为所述映射表中的每一映射数据分配唯一的数据主键,该数据主键与相应的映射数据是一一对应的。以获取数据的数据主键代替直接获取相应的数据,可以提高数据传输的效率。
另外,数据主键可以用数据中的某一具有代表性的字段表示,例如,在统计人口的应用场景中,一条数据为,李四、1987.08.24、130624198708240637,其中,“李四”为人名,“1987.08.24”为出生年月,“130624198708240637”为身份证号,由于对于每个人来说,身份证号是唯一的,也就是说,可以采用身份证号作为与某一数据对应的数据主键,当然不限于此。
S302,将数据标识处于第一状态标识位的映射数据的主键逐一与所述第二端点中的各个数据主键进行匹配;
由于第二端点中的各个数据主键对应的数据为由映射表向第二端点传输的映射数据,因此,在获取第二端点中各个数据对应的数据主键之后,需要先遍历映射表中映射数据的数据标识,以获取数据标识处于第一状态标识位的映射数据,并进一步的获得该映射数据的主键。
在获得数据标识处于第一状态标识位的映射数据的主键后,将其逐一与第二端点中的各个数据主键进行匹配,当上述某一映射数据的主键匹配到与之相同的第二端点中的数据主键时,匹配成功,反之,则匹配未成功。
可以理解的是,映射表中的数据在向第二端点传输的过程中,由于网络原因或者在使用第二端点中的数据时,可能造成第二端点中数据的丢失,也就出现在匹配过程中匹配不成功的情况。
S303,将未匹配成功的主键所对应的映射数据的数据标识由第一状态标识位重置为第二状态标识位。
在确定出映射表中未匹配成功的主键对应的映射数据时,将该映射数据的数据标识由第一状态标识位重置为第二状态标识位,以表明该映射数据未向第二端点进行传输。
为了提高数据传输的效率,按照将所述目标映射数据向所述第二端点进行传输的数据传输顺序,依次获取所述第二端点中各个数据对应的数据主键;将数据标识处于第一状态标识位的映射数据的主键逐一与所述第二端点中的各个数据主键进行匹配,可以包括:
S401,分别将所述第二端点中各个数据的数据主键与所述数据标识处于第一状态标识位的映射数据的主键按同一原则分成n组;
其中,n≥1且n为整数;
在实际应用中,由于映射表中处于第一状态标识位的映射数据的个数与第二端点中各个数据的数据主键的个数是很庞大的,为了提高相应的数据主键之间的匹配效率,可以将映射数据的数据主键与第二端点中各个数据主键按同一原则分成n组,按组进行匹配。
例如,数据标识处于第一状态标识位的映射数据的主键为A、B、C、D、E、F,第二端点中的各个数据主键为A、B、—、D、—、F,在分组的时候,可以按照分三组,每组两个数据主键的原则,分别将“A、B、C、D、E、F”“A、B、—、D、—、F”分组,分组之后数据标识处于第一状态标识位的映射数据的主键为“A、B”“C、D”“E、F”,第二端点中的各个数据主键为“A、B”“—、D”“—、F”,当然,还可以按照其他的分组原则,对此不做限定。
S402,依次比较第k组的第二端点数据主键的个数与所述映射数据的数据主键的个数是否相等,如果是,则比较下一组;如果否,则执行步骤S302,,其中,1≤k≤n,且k为整数。
分组完成之后,按组对数据标识处于第一状态标识位的映射数据的主键与第二端点中的各个数据主键进行匹配。如上所述例子,首先比较第一组中包含的数据主键的个数是否相等,如果相等,则认为第一组中包含的数据主键是可以匹配成功的,并依次比较下一组,如果不相等,则认为第一组中包含的数据主键是会出现未匹配成功的情况;
进一步的,将该组中数据标识处于第一状态标识位的映射数据的主键逐一与第二端点中的各个数据主键进行匹配,例如,在比较第二组的过程中,映射数据的主键个数为2,而第二端点中各个数据的数据主键个数为1,说明第二组中,某一映射数据的主键与第二端点中的数据主键必然会匹配不成功,故,将该组中,映射数据的主键逐一与第二端点中的数据主键进行匹配,当映射数据的主键C与第二端点中的数据主键匹配时,匹配不成功。
另外,为了将该数据主键匹配的过程应用于更多不同的场景,所述将所述第一数据中的每一数据的数据主键与所述第二数据主键进行匹配,可以包括:
S501,根据哈希算法,分别将所述第二端点中各个数据的数据主键与所述数据标识处于第一状态标识位的映射数据的主键打包成n个数据包;
其中,n≥1且n为整数。
在实际应用中,根据应用场景的不同,可以采用特定的哈希算法,分别将所述第二端点中各个数据的数据主键与所述第一状态标识位对应的映射数据的主键打包成n个数据包。
S502,依次比较第k个数据包的第二数据主键的哈希值与所述映射数据的数据主键的哈希值是否相等,如果是,则比较下一个数据包;如果否,则解压当前的数据包,并执行则执行步骤S302,其中,1≤k≤n,且k为整数。
本发明实施例,在执行数据传输方法之前,创建与数据源表对应的映射表,映射表中的数据与数据源表中的数据是一一对应的,且随数据源表中数据的更新而进行更新,从而在数据传输的过程中,以操作映射表代替现有技术中直接操作数据源表,以此解决了由于某些客观原因在操作数据源表的过程中可能造成数据丢失的问题,进一步提高了数据传输的可靠性
下面结合具体的应用实例,对本发明实施例所提供的死区效应补偿方法进行介绍。
如图6所示,一种数据传输方法,可以包括:
预先创建与第一端点中的数据源表相对应的映射表;所述映射表中的映射数据与所述数据源表中的源数据一一对应,且随所述数据源表中源数据的更新而更新,且所述映射表中的每一映射数据具有一数据标识,并为所述每一映射数据分配唯一的数据主键;
其中,所述数据标识对应设置有第一状态标识位和第二状态标识位,所述第一状态标识位用于表征与所述数据标识相对应的映射数据已向所述第二端点进行传输;所述第二状态标识位用于表征与所述数据标识相对应的映射数据未向所述第二端点进行传输。
S601,在第一预设时间间隔内,依次遍历所述映射表中各个映射数据的数据标识,以确定出数据标识为所述第二状态标识位的映射数据;
S602,将所述数据标识为所述第二状态标识位的映射数据作为目标映射数据,并将所述目标映射数据向所述第二端点进行传输,并重置所述目标映射数据的数据标识为所述第一状态标识位;
S603,获取所述第二端点中各个数据所对应的数据主键;
S604,分别将所述第二端点中各个数据的数据主键与所述第一状态标识位对应的映射数据的主键按同一原则分成n组;
S605,依次比较第k组的第二端点数据主键的个数与映射数据的数据主键的个数是否相等,如果是,则比较下一组;如果否,则步骤S606,其中,1≤k≤n,且k为整数;
S606,将数据标识处于第一状态标识位的映射数据的主键逐一与所述第二端点中的各个数据主键进行匹配;
S607,将未匹配成功的主键所对应的映射数据的数据标识由第一状态标识位重置为第二状态标识位。
本发明实施例,在执行数据传输方法之前,创建与数据源表对应的映射表,映射表中的数据与数据源表中的数据是一一对应的,且随数据源表中数据的更新而进行更新,从而在数据传输的过程中,以操作映射表代替现有技术中直接操作数据源表,以此解决了由于某些客观原因在操作数据源表的过程中可能造成数据丢失的问题,提高了数据传输的可靠性。
通过以上的方法实施例的描述,所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
相应于上述的方法实施例,本发明实施例还提供一种数据传输***,在创建所述***之前,预先创建映射表创建模块,所述映射表创建模块用于创建与第一端点中的数据源表相对应的映射表;所述映射表中的映射数据与所述数据源表中的源数据一一对应,且随所述数据源表中源数据的更新而更新;
如图7所示,所述数据传输***,可以包括:
数据标识遍历模块710,用于在第一预设时间间隔内,依次遍历所述映射表中各个映射数据的数据标识,以确定出未向第二端点传输的映射数据;所述数据标识用于表征与之相对应的映射数据是否未向第二端点进行传输;
数据传输模块720,用于将所述未向第二端点传输的映射数据作为目标映射数据,并将所述目标映射数据向所述第二端点进行传输,并重置所述目标映射数据的数据标识,以表明所述目标映射数据已向所述第二端点进行传输。
进一步的,所述数据标识遍历模块中设置有第一状态标识位模块和第二状态标识位模块;
其中:
所述第一状态标识模块中设置有所述数据标识的第一状态标识位,该第一状态标识位用于表征与所述数据标识相对应的映射数据已向所述第二端点进行传输;
所述第二状态标识模块中设置有所述数据标识的第二状态标识位,该第二状态标识位用于表征与所述数据标识相对应的映射数据未向所述第二端点进行传输。
更进一步的,在将数据源表中的数据向所述第二端点进行传输后,经过一段时间,由于某些客观原因,可能造成该第二端点中数据的丢失,为了解决上述可能丢失数据的问题,提高数据传输的可靠性,本发明实施例提供的数据传输***,还可以包括:
数据主键获取模块,用于获取所述第二端点中各个数据所对应的数据主键;
匹配模块,用于将数据标识处于第一状态标识位的映射数据的主键逐一与所述第二端点中的各个数据主键进行匹配;
数据标识重置模块,用于将未匹配成功的主键所对应的映射数据的数据标识由第一状态标识位重置为第二状态标识位。
本发明实施例在创建数据传输***之前,创建映射表创建模块,所述映射表创建模块用于创建与数据源表对应的映射表,映射表中的数据与数据源表中的数据是一一对应的,且随数据源表中数据的更新而进行更新,从而在数据传输的过程中,以操作映射表代替现有技术中直接操作数据源表,以此解决了由于某些客观原因在操作数据源表的过程中可能造成数据丢失的问题提高了数据传输的可靠性。
对于***实施例而言,由于其基本相应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置或***实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
在本发明所提供的几个实施例中,应该理解到,所揭露的***和方法,在没有超过本申请的精神和范围内,可以通过其他的方式实现。当前的实施例只是一种示范性的例子,不应该作为限制,所给出的具体内容不应该限制本申请的目的。例如,所述单元或子单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或多个子单元结合一起。另外,多个单元可以或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。
另外,所描述***和方法以及不同实施例的示意图,在不超出本申请的范围内,可以与其它***,模块,技术或方法结合或集成。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
以上所述仅是本发明的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种数据传输方法,其特征在于,预先创建与第一端点中的数据源表相对应的映射表;所述映射表中的映射数据与所述数据源表中的源数据一一对应,且随所述数据源表中源数据的更新而更新;所述方法包括:
在第一预设时间间隔内,依次遍历所述映射表中各个映射数据的数据标识,以确定出未向第二端点传输的映射数据;所述数据标识用于表征与之相对应的映射数据是否未向第二端点进行传输;
将所述未向第二端点传输的映射数据作为目标映射数据,并将所述目标映射数据向所述第二端点进行传输,并重置所述目标映射数据的数据标识,以表明所述目标映射数据已向所述第二端点进行传输;
其中,所述数据标识对应设置有第一状态标识位和第二状态标识位;
其中:
所述第一状态标识位用于表征与所述数据标识相对应的映射数据已向所述第二端点进行传输;
所述第二状态标识位用于表征与所述数据标识相对应的映射数据未向所述第二端点进行传输;
其中,所述数据传输方法还包括:
获取所述第二端点中各个数据所对应的数据主键;
将数据标识处于第一状态标识位的映射数据的主键逐一与所述第二端点中的各个数据主键进行匹配;
将未匹配成功的主键所对应的映射数据的数据标识由第一状态标识位重置为第二状态标识位。
2.根据权利要求1所述的方法,其特征在于,按照将所述目标映射数据向所述第二端点进行传输的数据传输顺序,依次获取所述第二端点中各个数据对应的数据主键;所述将数据标识处于第一状态标识位的映射数据的主键逐一与所述第二端点中的各个数据主键进行匹配,包括:
分别将所述第二端点中的数据主键与所述数据标识处于第一状态标识位的映射数据的主键按同一原则分成n组,其中,n≥1且n为整数;
依次比较第k组中的第二端点中的数据主键的个数与所述映射数据的主键的个数是否相等,如果是,则比较下一组;如果否,则将该组中所述映射数据的主键逐一与所述第二端点中的数据主键进行匹配,其中,1≤k≤n,且k为整数。
3.一种数据传输***,其特征在于,预先创建映射表创建模块,所述映射表创建模块用于创建与第一端点中的数据源表相对应的映射表;所述映射表中的映射数据与所述数据源表中的源数据一一对应,且随所述数据源表中源数据的更新而更新;所述***包括:
数据标识遍历模块,用于在第一预设时间间隔内,依次遍历所述映射表中各个映射数据的数据标识,以确定出未向第二端点传输的映射数据;所述数据标识用于表征与之相对应的映射数据是否未向第二端点进行传输;
数据传输模块,用于将所述未向第二端点传输的映射数据作为目标映射数据,并将所述目标映射数据向所述第二端点进行传输,并重置所述目标映射数据的数据标识,以表明所述目标映射数据已向所述第二端点进行传输;
其中,所述数据标识遍历模块中设置有第一状态标识位模块和第二状态标识位模块;
其中:
所述第一状态标识模块中设置有所述数据标识的第一状态标识位,该第一状态标识位用于表征与所述数据标识相对应的映射数据已向所述第二端点进行传输;
所述第二状态标识模块中设置有所述数据标识的第二状态标识位,该第二状态标识位用于表征与所述数据标识相对应的映射数据未向所述第二端点进行传输;
其中,所述***还包括:
数据主键获取模块,用于获取所述第二端点中各个数据所对应的数据主键;
匹配模块,用于将数据标识处于第一状态标识位的映射数据的主键逐一与所述第二端点中的各个数据主键进行匹配;
数据标识重置模块,用于将未匹配成功的主键所对应的映射数据的数据标识由第一状态标识位重置为第二状态标识位。
CN201310145523.0A 2013-04-24 2013-04-24 数据传输方法及*** Active CN103258016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310145523.0A CN103258016B (zh) 2013-04-24 2013-04-24 数据传输方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310145523.0A CN103258016B (zh) 2013-04-24 2013-04-24 数据传输方法及***

Publications (2)

Publication Number Publication Date
CN103258016A CN103258016A (zh) 2013-08-21
CN103258016B true CN103258016B (zh) 2016-05-18

Family

ID=48961933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310145523.0A Active CN103258016B (zh) 2013-04-24 2013-04-24 数据传输方法及***

Country Status (1)

Country Link
CN (1) CN103258016B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104753639B (zh) * 2015-03-02 2018-03-13 北京精诚铂阳光电设备有限公司 数据传送方法和装置
CN105069161A (zh) * 2015-08-26 2015-11-18 浪潮软件股份有限公司 一种数据交互的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201019144A (en) * 2008-11-06 2010-05-16 Acer Inc Remote computer synchronous transmission technology
CN102495838A (zh) * 2011-11-03 2012-06-13 成都市华为赛门铁克科技有限公司 数据处理方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102315930B (zh) * 2010-06-30 2014-07-23 国际商业机器公司 用于在数据同步中减少数据传输量的方法和***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201019144A (en) * 2008-11-06 2010-05-16 Acer Inc Remote computer synchronous transmission technology
CN102495838A (zh) * 2011-11-03 2012-06-13 成都市华为赛门铁克科技有限公司 数据处理方法及装置

Also Published As

Publication number Publication date
CN103258016A (zh) 2013-08-21

Similar Documents

Publication Publication Date Title
US11880352B2 (en) Storing and verification of derivative work data on blockchain with original work data
CN111090645B (zh) 基于云存储的数据传输方法、装置及计算机设备
CN111902817B (zh) 基于共享节点和纠错编码的区块链数据存储
Wang et al. Privacy-preserving pattern matching over encrypted genetic data in cloud computing
US10476662B2 (en) Method for operating a distributed key-value store
CN108153757A (zh) 一种哈希表管理的方法和装置
CN111095210B (zh) 基于纠错编码存储共享的区块链数据
CN101673289B (zh) 分布式文件存储构架的构建方法和装置
CN109766707B (zh) 基于区块链的数据处理方法、装置、设备和介质
CN104255011B (zh) 云计算安全数据存储
CN109146677B (zh) 并行构建区块链视图的方法、计算机***和可读存储介质
CN111033491B (zh) 基于纠错编码存储共享的区块链数据
CN104021219B (zh) 一种数据模板的生成方法及装置
CN104036050A (zh) 一种密文云数据复杂查询方法
CN104468842A (zh) 电网设备状态信息云存储***及其数据上传与下载方法
CN109800336A (zh) 基于键值对存储***的表格实现方法、装置、设备和介质
CN114153374A (zh) 一种元数据与数据共同存储的分布式存储***
CN103258016B (zh) 数据传输方法及***
US20130262400A1 (en) Data index query method, apparatus and system
US11924178B2 (en) Method and system for secure information distribution based on group shared key
CN104023056B (zh) 更新数据的方法和相关设备
CN107329911B (zh) 一种基于cp-abe属性访问机制的缓存替换方法
CN109359226A (zh) 一种数据获取方法及相关装置
Xu et al. Knowledge reductions in generalized approximation space over two universes based on evidence theory
CN110648140B (zh) 一种基于区块链的多链配合方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211206

Address after: 250014 No. 41-1 Qianfo Shandong Road, Lixia District, Jinan City, Shandong Province

Patentee after: SHANDONG CIVIC SE COMMERCIAL MIDDLEWARE Co.,Ltd.

Address before: 250014 No. 41-1 Qianfo Shandong Road, Lixia District, Jinan City, Shandong Province

Patentee before: SHANDONG CVIC SOFTWARE ENGINEERING Co.,Ltd.

Patentee before: Shandong Zhongchuang software commercial middleware Co., Ltd