CN104090948A - 核电站海量数据处理方法、装置及*** - Google Patents
核电站海量数据处理方法、装置及*** Download PDFInfo
- Publication number
- CN104090948A CN104090948A CN201410313066.6A CN201410313066A CN104090948A CN 104090948 A CN104090948 A CN 104090948A CN 201410313066 A CN201410313066 A CN 201410313066A CN 104090948 A CN104090948 A CN 104090948A
- Authority
- CN
- China
- Prior art keywords
- data
- change process
- data item
- change
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 212
- 238000012545 processing Methods 0.000 title claims abstract description 38
- 230000008859 change Effects 0.000 claims abstract description 211
- 230000008569 process Effects 0.000 claims abstract description 154
- 238000012986 modification Methods 0.000 claims description 31
- 230000004048 modification Effects 0.000 claims description 31
- 238000003672 processing method Methods 0.000 claims description 28
- 238000012216 screening Methods 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 abstract description 15
- 230000006872 improvement Effects 0.000 description 35
- 230000000694 effects Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000010076 replication Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Water Supply & Treatment (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种核电站海量数据处理方法，该方法包括：建立源数据表的影子表，在所述影子表上增加hash值字段；根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表；将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布。在核电站建设过程中，实现海量数据的传输可用性和可靠性。此外，本发明还公开了一种核电站海量数据处理装置和***。
Description
技术领域
本发明属于核电技术领域，具体涉及一种核电站海量数据处理方法、装置及***。
背景技术
核电站设计过程中，将产生海量关系型数据，保存在大型数据库中。其中单个专项的关系型数据，其数据项就可能在数十万条以上，数据字段达到30项以上，而这些数据及其更新，需要定期传输给下游采购、施工、调试、运营等各环节利用。而参与核电各方使用的信息***，由于建设于不同时期，且由不同部门各自进行设计，导致***平台出现异构性；同时，因工作分工及信息安全等因素约束，不能将设计数据库开放给各方直接读取共享，所以，通过数据控制及传输机制，将同一数据对象的多个副本按需放置在不同数据库节点，并自动维护其一致性的方法，是核电站建设过程中保证数据可用性和可靠性的一项重要技术。
为解决数据一致性，常规方式是通过将远程数据库中的数据复制到本地，可使得应用***能够就近访问数据，避免了远程读取数据，从而降低网络传输负载，提高效率；当源数据库中的数据发生更改时，通过网络传输到目标数据库。但这种方式只能用于同构数据库，同时，在网络节点和通信链路发生故障时，数据同步易出现问题，无法保障下游应用***正确使用数据。
为此，目前提出一种基于影子表法，进行异构数据库复制。具体是数据提供方忽略变更数据捕获环节，将源数据表映射为影子表，定期同步两类表数据，数据提供方发布影子表查询接口，数据接收方通过接口查询数据，然后通过数据转换，将查询结果组织为目标数据；数据接收方定期查询影子表数据，对比其与现有目标数据的区别，进行数据修正。该方案能实现数据更新及时和准确，但过分依赖数据接收方的配置，以及外部网络环境等，不适用于大数据量或更新频繁的情况，并且，数据更新检查，对网络的要求比较高。
另一种方案是基于触发器法，进行异构数据库复制。即数据提供方在源数据库中创建增删改的操作触发器，当对复制数据项进行修改、***和删除操作时，触发器将变化的数据序列提取出来，数据提供方将数据更新序列通过接口发布，数据接收方通过接口查询变更数据，然后通过数据转换将更新数据合并到目标数据中，而数据接收方不必考虑数据修正问题，数据接收方定期查询影子表数据，对比与目标数据的区别，实现进行数据修正。通过触发器实时捕捉数据源的变化数据，效率很高。但是使用触发器捕捉变更数据时，占用的***资源较多，对复杂的复制任务需要非常复杂的配置和实施，管理很不方便，并且只能在有触发器机制的数据库***中使用。
发明内容
本发明的目的在于：在核电站的海量数据处理中，提供一种可以实现准确、快捷的数据传输处理技术。
为了实现上述发明目的，本发明提供了一种核电站海量数据处理方法，所述方法包括：
建立源数据表的影子表，在所述影子表上增加hash值字段；
根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更过程数据文件；
将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布。
作为本发明核电站海量数据处理方法的一种改进，所述hash值字段根据监控的变更数据字段进行初始化计算所得。
作为本发明核电站海量数据处理方法的一种改进，所述变更过程数据文件至少包括变更时间、变更方式、变更字段以及变更值中的一项。
作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：
根据数据接收方的请求创建变更xml格式数据文件。
作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：
判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
作为本发明核电站海量数据处理方法的一种改进，所述判断影子表中的数据项与源数据表中的数据项相比是否存在更新，包括：
将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删除数据项。
作为本发明核电站海量数据处理方法的一种改进，所述判断影子表中的数据项与源数据表中的数据项相比是否存在更新，还包括：
若影子表中数据项hash值与源数据表中数据项hash值不一致，则源数据表中的数据项有修改。
作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：
根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的新增和/或删除数据项的操作。
作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：
根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：
将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。
作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：
将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
为了实现上述发明目的，本发明还提供了一种核电站海量数据处理方法，包括：
定时获取网站发布的xml格式的变更过程记录表中的变更过程数据文件，所述xml格式的变更过程记录表中的变更过程数据文件是根据源数据表对应影子表中的hash值字段建立的；
将所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应的数据项信息；
将所述数据项信息写入目标数据库。
作为本发明核电站海量数据处理方法的一种改进，所述hash值字段根据监控的变更数据字段进行初始化计算所得。
作为本发明核电站海量数据处理方法的一种改进，所述变更过程数据文件至少包括变更时间、变更方式、变更字段以及变更值中的一项。
作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。
作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：向数据发送方发送请求，以使数据发送方根据所述请求创建变更xml格式数据文件。
作为本发明核电站海量数据处理方法的一种改进，所述方法还包括：根据所述变更xml格式数据文件修改目标数据库。
为了实现上述发明目的，本发明还提供了一种核电站海量数据处理装置，该装置包括：
第一建立模块，用于建立源数据表的影子表，在所述影子表上增加hash值字段；
第二建立模块，用于根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更过程数据文件；
发布模块，用于将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布。
作为本发明核电站海量数据处理装置的一种改进，所述装置还包括：创建模块，用于根据数据接收方的请求创建变更xml格式数据文件。
作为本发明核电站海量数据处理装置的一种改进，所述装置还包括：判断模块，用于判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
作为本发明核电站海量数据处理装置的一种改进，所述判断模块判断影子表中的数据项与源数据表中的数据项相比是否存在更新，包括：
将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删除数据项。
作为本发明核电站海量数据处理装置的一种改进，所述判断模块判断影子表中的数据项与源数据表中的数据项相比是否存在更新，包括：
若影子表中数据项hash值与源数据表中数据项hash值不一致，则源数据表中的数据项有修改。
作为本发明核电站海量数据处理装置的一种改进，所述装置还包括：
第一执行模块，用于根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的新增和/或删除数据项的操作。
作为本发明核电站海量数据处理装置的一种改进，所述装置还包括：
第二执行模块，用于根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
作为本发明核电站海量数据处理装置的一种改进，所述装置还包括：
更新模块，用于将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。
作为本发明核电站海量数据处理装置的一种改进，所述发布模块还用于：
将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
为了实现上述发明目的，本发明还提供了一种核电站海量数据处理设备，该设备包括：
获取模块，用于定时获取网站发布的xml格式的变更过程记录表中的变更过程数据文件，所述xml格式的变更过程记录表中的变更过程数据文件是根据源数据表对应影子表中的hash值字段建立的；
解析模块，用于将所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应的数据项信息；
存储模块，用于将所述数据项信息写入目标数据库。
作为本发明核电站海量数据处理设备的一种改进，所述设备还包括：
发送模块，用于向数据发送方发送请求，以使数据发送方根据所述请求创建变更xml格式数据文件。
作为本发明核电站海量数据处理设备的一种改进，所述存储模块还用于：
根据所述变更xml格式数据文件修改目标数据库。
为了实现上述发明目的，本发明还提供了一种核电站海量数据处理***，***包括：
数据发送方，用于建立源数据表的影子表，在所述影子表上增加hash值字段，根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更过程数据文件，将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布；
数据接收方，用于定时获取所述网站发布的xml格式的变更过程记录表中的变更过程数据文件，所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应的数据项信息，将所述数据项信息写入目标数据库。
作为本发明核电站海量数据处理***的一种改进，所述数据发送方还用于：
根据所述数据接收方的请求创建变更xml格式数据文件。
作为本发明核电站海量数据处理***的一种改进，所述数据发送方还用于：
判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
作为本发明核电站海量数据处理***的一种改进，所述数据发送方判断影子表中的数据项与源数据表中的数据项相比是否存在更新，包括：
将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删除数据项。
作为本发明核电站海量数据处理***的一种改进，所述数据发送方判断影子表中的数据项与源数据表中的数据项相比是否存在更新，包括：
若影子表中数据项hash值与源数据表中数据项hash值不一致，则判断源数据表中的数据项有修改。
作为本发明核电站海量数据处理***的一种改进，所述数据发送方还用于：
根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的新增和/或删除数据项的操作。
作为本发明核电站海量数据处理***的一种改进，所述数据发送方还用于：
根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
作为本发明核电站海量数据处理***的一种改进，所述数据发送方还用于：
将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。
作为本发明核电站海量数据处理***的一种改进，所述数据发送方还用于：
将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
作为本发明核电站海量数据处理***的一种改进，所述数据接收方还用于：
根据所述变更xml格式数据文件修改目标数据库。
与现有技术相比，本发明核电站海量数据处理方法、装置及***具有以下有益技术效果：数据发送方通过源数据表和影子表中hash值建立的xml格式的变更过程记录表中的变更过程数据文件，并通过网站进行发布。实现了数据传输中的数据库快速复制和一致性校验。一方面，由于数据发送方通过源数据表和影子表的字段变化，替换为比较hash值的变化，从而可有效提高识别有变化的数据项；另一方面，由于数据接收方可以通过网站的web服务以自动化的方式获取变更数据XML文件，可以实现快速、准确的监控数据传输的正确性。此外，本发明实现方法简单易行，取得很好的技术效果。
附图说明
下面结合附图和具体实施方式，对本发明核电站海量数据处理方法、装置及***进行详细说明，其中：
图1提供了一种核电站海量数据处理方法的一个实例流程图。
图2提供了一种核电站海量数据处理方法的一个实例流程图。
图3提供了一种核电站海量数据处理装置的一个实例示意图。
图4提供了一种核电站海量数据处理装置的又一个实例示意图。
图5提供了一种核电站海量数据处理设备的一个实例示意图。
图6提供了一种核电站海量数据处理***的一个实例示意图。
具体实施方式
为了使本发明的发明目的、技术方案及其有益技术效果更加清晰，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当强调的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并非为了限定本发明的使用场合。
请结合参看图1，图1提供了一种核电站海量数据处理方法。
hash值，即哈希值，就是把任意长度的输入(又叫做预映射，pre-image)，通过散列算法，变换成固定长度的输出，该输出就是散列值。
数据提供方承担获取数据变更的任务，对影子表法进行改良，通过变更数据以可扩展标记语言(Extensible Markup Language，xml)文件形式提供，发布到网站，以web服务方式或网页下载方式提供给数据接收方，可以适应不同数据接收方不同形式的数据库。具体的，
步骤101，建立源数据表的影子表，在所述影子表上增加hash值字段。
可选的，hash值字段根据监控的变更数据字段进行初始化计算所得。
步骤103，根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更过程数据文件。
进一步的，该变更过程数据文件至少包括变更时间、变更方式、变更字段以及变更值中的一项。
进一步的，数据发送方判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
具体的，数据发送方将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删除数据项；进一步的，数据发送方根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的新增和/或删除数据项的操作。
或者，若影子表中数据项hash值与源数据表中数据项hash值不一致，则数据发送方判断源数据表中的数据项有修改；进一步的，数据发送方根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
如前所述，数据发送方将上述更新的操作，如删除操作、增加操作以及修改操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。
步骤105，将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布。
进一步的，数据发送方将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
本发明实施例通过数据发送方通过源数据表和影子表中hash值建立的xml格式的变更过程记录表中的变更过程数据文件，并通过网站进行发布。实现了数据传输中的数据库快速复制和一致性校验；同时，由于数据发送方通过源数据表和影子表的字段变化，替换为比较hash值的变化，从而可有效提高识别有变化的数据项。
请结合图2，图2提供了一种核电站海量数据处理方法的一个实施例。该方法包括：
步骤201，定时获取网站发布的xml格式的变更过程记录表中的变更过程数据文件，所述xml格式的变更过程记录表中的变更过程数据文件是根据源数据表对应影子表中的hash值字段建立的。
如前所述，所述hash值字段根据监控的变更数据字段进行初始化计算所得。
步骤203，将所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应的数据项信息。
有前述可知，变更过程数据文件至少包括变更时间、变更方式、变更字段以及变更值中的一项。
进一步的，向数据发送方发送请求，以使数据发送方根据所述请求创建变更xml格式数据文件。
进一步的，数据发送方判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
具体的，数据发送方将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删除数据项；进一步的，数据发送方根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的新增和/或删除数据项的操作。
或者，若影子表中数据项hash值与源数据表中数据项hash值不一致，则数据发送方判断源数据表中的数据项有修改；进一步的，数据发送方根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
数据发送方将上述更新的操作，如删除操作、增加操作以及修改操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。
步骤205，将所述数据项信息写入目标数据库。
可选的，数据接收方根据所述变更xml格式数据文件修改目标数据库。
本发明实施例由于通过数据接收方可以通过网站的web服务获取变更数据XML文件，可以实现快速、准确的监控数据传输的正确性。同时，由于定时获取变更的数据项，可实现数据更新的及时性，又减少了资源占用。本发明实现方法简单易行，取得很好的技术效果。
请结合图3，图3提供了一种核电站海量数据处理装置的一个实施例。该装置包括：第一建立模块301、第二建立模块303以及发布模块305。具体的，
第一建立模块301，用于建立源数据表的影子表，在所述影子表上增加hash值字段；
第二建立模块303，用于根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更过程数据文件；
发布模块305，用于将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布。
本发明实施例数据发送方通过源数据表和影子表中hash值建立的xml格式的变更过程记录表中的变更过程数据文件，并通过网站进行发布。实现了数据传输中的数据库快速复制和一致性校验。
请结合图4，图4提供了一种核电站海量数据处理装置的一个实施例。具体包括：第一建立模块401、第二建立模块403、发布模块405、判断模块407、第一执行模块409、第二执行模块411以及更新模块413。其中，
第一建立模块401，用于建立源数据表的影子表，在所述影子表上增加hash值字段。
第二建立模块403，用于根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更过程数据文件。
发布模块405，用于将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布。
判断模块407，用于判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
具体的，判断模块407将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删除数据项；或者，若影子表中数据项hash值与源数据表中数据项hash值不一致，则判断模块407判断源数据表中的数据项有修改。
第一执行模块409，用于根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的新增和/或删除数据项的操作。
第二执行模块411，用于根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
更新模块413，用于将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。
可选的，发布模块405还用于将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
可选的，该装置还可以包括创建模块，用于根据数据接收方的请求创建变更xml格式数据文件。
本发明实施例通过数据发送方通过源数据表和影子表中hash值建立的xml格式的变更过程记录表中的变更过程数据文件，并通过网站进行发布。实现了数据传输中的数据库快速复制和一致性校验；同时，由于数据发送方通过源数据表和影子表的字段变化，替换为比较hash值的变化，从而可有效提高识别有变化的数据项。
请结合参看图5，图5提供了一种核电站海量数据处理设备的一个实施例的示意图。包括：获取模块501、解析模块503以及存储模块505。其中，
获取模块501，用于定时获取网站发布的xml格式的变更过程记录表中的变更过程数据文件，所述xml格式的变更过程记录表中的变更过程数据文件是根据源数据表对应影子表中的hash值字段建立的；
解析模块503，用于将所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应的数据项信息；
存储模块505，用于将所述数据项信息写入目标数据库。
可选的，该设备还可以包括发送模块，用于向数据发送方发送请求，以使数据发送方根据所述请求创建变更xml格式数据文件。
进一步的，存储模块505还用于根据所述变更xml格式数据文件修改目标数据库。
本发明实施例由于通过数据接收方可以通过网站的web服务获取变更数据XML文件，可以实现快速、准确的监控数据传输的正确性。同时，由于定时获取变更的数据项，可实现数据更新的及时性，又减少了资源占用。
请结合参看图6，图6提供了一种核电站海量数据处理***的一个实施例的示意图。包括：数据发送方601和数据接收方603。其中，
数据发送方601，用于建立源数据表的影子表，在所述影子表上增加hash值字段，根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更过程数据文件，将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布；
数据接收方603，用于定时获取所述网站发布的xml格式的变更过程记录表中的变更过程数据文件，所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应的数据项信息，将所述数据项信息写入目标数据库。
进一步的，数据发送方601还用于根据所述数据接收方的请求创建变更xml格式数据文件。
进一步的，数据发送方601还用于判断影子表中的数据项与源数据表中的数据项相比是否存在更新。具体是数据发送方601将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删除数据项；或者，若影子表中数据项hash值与源数据表中数据项hash值不一致，数据发送方601则判断源数据表中的数据项有修改。
对应的，数据发送方601根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的新增和/或删除数据项的操作；或者，数据发送方601根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
进一步的，数据发送方601将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。数据发送方601将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
相应的，数据接收方603则根据所述变更xml格式数据文件修改目标数据库。
***的实施方法和流程可以参见前述实施例中介绍的方法实施例，此处不再赘述。
结合以上对本发明的详细描述可以看出，相对于现有技术，本发明至少具有以下有益技术效果：数据发送方通过源数据表和影子表中hash值建立的xml格式的变更过程记录表中的变更过程数据文件，并通过网站进行发布。实现了数据传输中的数据库快速复制和一致性校验。一方面，由于数据发送方通过源数据表和影子表的字段变化，替换为比较hash值的变化，从而可有效提高识别有变化的数据项；另一方面，由于数据接收方可以通过网站的web服务获取变更数据XML文件，可以实现快速、准确的监控数据传输的正确性。此外，本发明实现方法简单易行，取得很好的技术效果。
根据上述原理，本发明还可以对上述实施方式进行适当的变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。
Claims (40)
1.一种核电站海量数据处理方法，其特征在于，所述方法包括：
建立源数据表的影子表，在所述影子表上增加哈希hash值字段；
根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表；
将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布。
2.如权利要求1所述的方法，其特征在于，所述hash值字段根据监控的变更数据字段进行初始化计算所得。
3.如权利要求2所述的方法，其特征在于，所述变更过程数据文件至少包括变更时间、变更方式、变更字段以及变更值中的一项。
4.如权利要求3所述的方法，其特征在于，所述方法还包括：
根据数据接收方的请求创建变更xml格式数据文件。
5.如权利要求3所述的方法，其特征在于，所述方法还包括：
判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
6.如权利要求5所述的方法，其特征在于，所述判断影子表中的数据项与源数据表中的数据项相比是否存在更新，包括：
将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删除数据项。
7.如权利要求5所述的方法，其特征在于，所述判断影子表中的数据项与源数据表中的数据项相比是否存在更新，还包括：
若影子表中数据项hash值与源数据表中数据项hash值不一致，则源数据表中的数据项有修改。
8.如权利要求6所述的方法，其特征在于，所述方法还包括：
根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的新增和/或删除数据项的操作。
9.如权利要求7所述的方法，其特征在于，所述方法还包括：
根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
10.如权利要求5-9所述的任一方法，其特征在于，所述方法还包括：
将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。
11.如权利要求10所述的方法，其特征在于，所述方法还包括：
将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
12.一种核电站海量数据处理方法，其特征在于，所述方法包括：
定时获取网站发布的xml格式的变更过程记录表中的变更过程数据文件，所述xml格式的变更过程记录表中的变更过程数据文件是根据源数据表对应影子表中的hash值字段建立的；
将所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应的数据项信息；
将所述数据项信息写入目标数据库。
13.如权利要求12所述的方法，其特征在于，所述hash值字段根据监控的变更数据字段进行初始化计算所得。
14.如权利要求13所述的方法，其特征在于，所述变更过程数据文件至少包括变更时间、变更方式、变更字段以及变更值中的一项。
15.如权利要求14所述的方法，其特征在于，所述方法还包括：
判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
16.如权利要求15所述的方法，其特征在于，所述方法还包括：
将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。
17.如权利要求16所述的方法，其特征在于，所述方法还包括：
向数据发送方发送请求，以使数据发送方根据所述请求创建变更xml格式数据文件。
18.如权利要求17所述的方法，其特征在于，所述方法还包括：
根据所述变更xml格式数据文件修改目标数据库。
19.一种核电站海量数据处理装置，其特征在于，所述装置包括：
第一建立模块，用于建立源数据表的影子表，在所述影子表上增加hash值字段；
第二建立模块，用于根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更过程数据文件；
发布模块，用于将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布。
20.如权利要求19所述的装置，其特征在于，所述装置还包括：
创建模块，用于根据数据接收方的请求创建变更xml格式数据文件。
21.如权利要求19所述的装置，其特征在于，所述装置还包括：
判断模块，用于判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
22.如权利要求21所述的装置，其特征在于，所述判断模块判断影子表中的数据项与源数据表中的数据项相比是否存在更新，包括：
将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删除数据项。
23.如权利要求21所述的装置，其特征在于，所述判断模块判断影子表中的数据项与源数据表中的数据项相比是否存在更新，包括：
若影子表中数据项hash值与源数据表中数据项hash值不一致，则源数据表中的数据项有修改。
24.如权利要求22所述的装置，其特征在于，所述装置还包括：
第一执行模块，用于根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的新增和/或删除数据项的操作。
25.如权利要求23所述的装置，其特征在于，所述装置还包括：
第二执行模块，用于根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
26.如权利要求22-25所述的任一装置，其特征在于，所述装置还包括：
更新模块，用于将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。
27.如权利要求26所述的装置，其特征在于，所述发布模块还用于：
将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
28.一种核电站海量数据处理设备，其特征在于，所述设备包括：
获取模块，用于定时获取网站发布的xml格式的变更过程记录表中的变更过程数据文件，所述xml格式的变更过程记录表中的变更过程数据文件是根据源数据表对应影子表中的hash值字段建立的；
解析模块，用于将所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应的数据项信息；
存储模块，用于将所述数据项信息写入目标数据库。
29.如权利要求28所述的设备，其特征在于，所述设备还包括：
发送模块，用于向数据发送方发送请求，以使数据发送方根据所述请求创建变更xml格式数据文件。
30.如权利要求29所述的设备，其特征在于，所述存储模块还用于：
根据所述变更xml格式数据文件修改目标数据库。
31.一种核电站海量数据处理***，其特征在于，所述***包括：
数据发送方，用于建立源数据表的影子表，在所述影子表上增加hash值字段，根据所述hash值字段建立可扩展标记语言xml格式的变更过程记录表中的变更过程数据文件，将所述xml格式的变更过程记录表中的变更过程数据文件通过网站进行发布；
数据接收方，用于定时获取所述网站发布的xml格式的变更过程记录表中的变更过程数据文件，所述xml格式的变更过程记录表中的变更过程数据文件进行解析获得相应的数据项信息，将所述数据项信息写入目标数据库。
32.如权利要求31所述的***，其特征在于，所述数据发送方还用于：
根据所述数据接收方的请求创建变更xml格式数据文件。
33.如权利要求31所述的***，其特征在于，所述数据发送方还用于：
判断影子表中的数据项与源数据表中的数据项相比是否存在更新。
34.如权利要求33所述的***，其特征在于，所述数据发送方判断影子表中的数据项与源数据表中的数据项相比是否存在更新，包括：
将源数据表中主关键字与影子表中主关键字进行比较，筛选得到新增数据项和/或删除数据项。
35.如权利要求33所述的***，其特征在于，所述数据发送方判断影子表中的数据项与源数据表中的数据项相比是否存在更新，包括：
若影子表中数据项hash值与源数据表中数据项hash值不一致，则判断源数据表中的数据项有修改。
36.如权利要求34所述的***，其特征在于，所述数据发送方还用于：
根据所述筛选得到的新增数据项和/或删除数据项，在所述影子表中执行相应的新增和/或删除数据项的操作。
37.如权利要求35所述的***，其特征在于，所述数据发送方还用于：
根据所述源数据表中有修改的数据项修改所述影子表中相应的数据项及其hash值。
38.如权利要求33-37所述的任一***，其特征在于，所述数据发送方还用于：
将所述更新的操作写入所述xml格式的变更过程记录表中的变更过程数据文件中，得到更新后的xml格式的变更过程数据文件。
39.如权利要求38所述的***，其特征在于，所述数据发送方还用于：
将更新后的xml格式的变更过程数据文件按照设定的时间进行发布。
40.如权利要求32所述的***，其特征在于，所述数据接收方还用于：
根据所述变更xml格式数据文件修改目标数据库。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410313066.6A CN104090948A (zh) | 2014-07-02 | 2014-07-02 | 核电站海量数据处理方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410313066.6A CN104090948A (zh) | 2014-07-02 | 2014-07-02 | 核电站海量数据处理方法、装置及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104090948A true CN104090948A (zh) | 2014-10-08 |
Family
ID=51638664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410313066.6A Pending CN104090948A (zh) | 2014-07-02 | 2014-07-02 | 核电站海量数据处理方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104090948A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899312A (zh) * | 2015-06-15 | 2015-09-09 | 国家电网公司 | 一种多层分类数据体系的数据更新方法 |
| CN106250436A (zh) * | 2016-07-26 | 2016-12-21 | 东软集团股份有限公司 | 管理表单数据的方法及装置 |
| CN107506261A (zh) * | 2017-08-01 | 2017-12-22 | 北京丁牛科技有限公司 | 适应cpu、gpu异构集群的级联容错处理方法 |
| CN108491218A (zh) * | 2018-03-12 | 2018-09-04 | 浙江中控技术股份有限公司 | 一种数据库变更文件生成的方法和装置 |
| CN110851440A (zh) * | 2019-09-29 | 2020-02-28 | 深圳市华力特电气有限公司 | 一种数据同步方法和装置 |
| CN112506900A (zh) * | 2020-11-27 | 2021-03-16 | 中广核工程有限公司 | 核电厂通风管三维数据检查方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070112880A1 (en) * | 2005-11-14 | 2007-05-17 | Lie Yang | Data synchronization and device handling |
| CN102402586A (zh) * | 2011-10-24 | 2012-04-04 | 深圳华强电子交易网络有限公司 | 一种分布式数据存储方法 |
| CN102567338A (zh) * | 2010-12-16 | 2012-07-11 | 凌群电脑股份有限公司 | 模拟***日志的数据同步*** |
-
2014
- 2014-07-02 CN CN201410313066.6A patent/CN104090948A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070112880A1 (en) * | 2005-11-14 | 2007-05-17 | Lie Yang | Data synchronization and device handling |
| CN102567338A (zh) * | 2010-12-16 | 2012-07-11 | 凌群电脑股份有限公司 | 模拟***日志的数据同步*** |
| CN102402586A (zh) * | 2011-10-24 | 2012-04-04 | 深圳华强电子交易网络有限公司 | 一种分布式数据存储方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郑煜: "结构化数据异构同步技术的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899312A (zh) * | 2015-06-15 | 2015-09-09 | 国家电网公司 | 一种多层分类数据体系的数据更新方法 |
| CN104899312B (zh) * | 2015-06-15 | 2018-07-31 | 国家电网公司 | 一种多层分类数据体系的数据更新方法 |
| CN106250436A (zh) * | 2016-07-26 | 2016-12-21 | 东软集团股份有限公司 | 管理表单数据的方法及装置 |
| CN107506261A (zh) * | 2017-08-01 | 2017-12-22 | 北京丁牛科技有限公司 | 适应cpu、gpu异构集群的级联容错处理方法 |
| CN107506261B (zh) * | 2017-08-01 | 2020-05-15 | 北京丁牛科技有限公司 | 适应cpu、gpu异构集群的级联容错处理方法 |
| CN108491218A (zh) * | 2018-03-12 | 2018-09-04 | 浙江中控技术股份有限公司 | 一种数据库变更文件生成的方法和装置 |
| CN108491218B (zh) * | 2018-03-12 | 2021-09-14 | 浙江中控技术股份有限公司 | 一种数据库变更文件生成的方法和装置 |
| CN110851440A (zh) * | 2019-09-29 | 2020-02-28 | 深圳市华力特电气有限公司 | 一种数据同步方法和装置 |
| CN110851440B (zh) * | 2019-09-29 | 2023-10-13 | 深圳市华力特电气有限公司 | 一种数据同步方法和装置 |
| CN112506900A (zh) * | 2020-11-27 | 2021-03-16 | 中广核工程有限公司 | 核电厂通风管三维数据检查方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147411B (zh) | 数据同步方法、装置、计算机设备及存储介质 | |
| CN111566633B (zh) | 用于使内容项同步的提交协议 | |
| CN104090948A (zh) | 核电站海量数据处理方法、装置及*** | |
| US20190197130A1 (en) | Ensuring consistency in distributed incremental content publishing | |
| US9830376B2 (en) | Language tag management on international data storage | |
| CN110825420A (zh) | 分布式集群的配置参数更新方法、装置、设备及存储介质 | |
| CN103514223A (zh) | 一种数据仓库数据同步方法和*** | |
| CN105472045A (zh) | 数据库迁移的方法和装置 | |
| CN110515927B (zh) | 数据处理方法及其***、电子设备和介质 | |
| CN102368261A (zh) | 一种可扩展的运维报表生成方法 | |
| CN111259643B (zh) | 一种生成图形报表的方法及设备 | |
| CN107038519B (zh) | 用于***之间的双向数据同步的方法和*** | |
| CN105808273B (zh) | 软件升级方法和软件升级装置 | |
| CN105183860A (zh) | 数据同步方法和*** | |
| TW201520813A (zh) | 惡意程式清除之行動內容資料管理裝置和方法 | |
| CN102857949B (zh) | 一种规划数据一致性保证的方法和装置 | |
| US20190079726A1 (en) | Mitigating causality discrepancies caused by stale versioning | |
| US20150339286A1 (en) | Automatically generating certification documents | |
| CN105446909A (zh) | 用于缓存管理的方法和*** | |
| CN104079623A (zh) | 多级云存储同步控制方法及*** | |
| CN107316176A (zh) | 保单处理的控制方法和装置 | |
| US11321374B2 (en) | External storage of unstructured database objects | |
| KR20160000761A (ko) | 소스 관리 장치, 시스템 및 방법, 컴퓨터 판독 가능한 기록 매체 | |
| CN106649108A (zh) | 测试数据的生成方法及装置 | |
| CN110716804A (zh) | 无用资源的自动删除方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20141008 |