CN101393526A - 一种可实现可编程的数据转换和文件转换功能的数据同步方法 - Google Patents

一种可实现可编程的数据转换和文件转换功能的数据同步方法 Download PDF

Info

Publication number
CN101393526A
CN101393526A CNA2008101215325A CN200810121532A CN101393526A CN 101393526 A CN101393526 A CN 101393526A CN A2008101215325 A CNA2008101215325 A CN A2008101215325A CN 200810121532 A CN200810121532 A CN 200810121532A CN 101393526 A CN101393526 A CN 101393526A
Authority
CN
China
Prior art keywords
data
conversion
task
data source
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008101215325A
Other languages
English (en)
Inventor
孙开华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NINGBO SMARTKEY TECHNOLOGY INTERNATIONAL Co Ltd
Original Assignee
NINGBO SMARTKEY TECHNOLOGY INTERNATIONAL Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NINGBO SMARTKEY TECHNOLOGY INTERNATIONAL Co Ltd filed Critical NINGBO SMARTKEY TECHNOLOGY INTERNATIONAL Co Ltd
Priority to CNA2008101215325A priority Critical patent/CN101393526A/zh
Publication of CN101393526A publication Critical patent/CN101393526A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种可实现可编程的数据转换和文件转换功能的数据同步方法，建立若干个任务包，建立任务包包括建立数据源、数据目标、转换任务及转换动作构成；所述数据源和数据目标可以为TXT格式XML格式和EXCEL格式中的任何一种文件，也可以是SQL数据库中的任何表；转换任务实现从数据源到数据目标的数据转换，所述转换动作实现在数据转换完成后，将数据信息传给硬件设备。本发明的有益效果在于：使用该方法能够实现任何两个SQL数据库之间的手动或自动同步。

Description

一种可实现可编程的数据转换和文件转换功能的数据同步方法
(一)技术领域
本发明专利涉及一种数据同步方法。
(二)背景技术
随着企事业单位智能化管理***应用越来越普及，一个企事业单位常常需要安装多个智能化管理***。如何实现多个***之间的数据转换、数据导入导出以及数据自动同步，成为企业在实现智能化工厂过程中经常遇到的难题。
(三)发明内容
为了实现多个***之间的数据转换、数据导入导出以及数据自动同步，本发明专利提供一种可实现可编程的数据转换和文件转换功能的数据同步方法。
本发明解决其技术问题的技术方案是：一种可实现可编程的数据转换和文件转换功能的数据同步方法，建立若干个任务包(TaskPackage)及执行计划(Job)；建立任务包包括建立数据源、数据目标、转换任务及转换动作构成；所述数据源和数据目标可以为TXT格式XML格式和EXCEL格式中的任何一种文件，也可以是SQL数据库中的任何表；转换任务实现从数据源到数据目标的数据转换，所述转换动作实现在数据转换完成后，将数据信息传给硬件设备。
建立转换任务是通过从数据源到数据目标的数据复制，或者给数据目标设置默认值，或者编写数据转换脚本，来实现灵活多变的数据转换。
可从作为模板的文本文件中提取数据格式，作为要导入的数据源或导出的数据目标的格式，从而实现将文本文件中每条记录包含的每个字段与SQL数据库中指定表的每个字段相对应。
数据源为SQL数据库中的表，可给每个转换任务的数据源设置一个用于跟踪的标记(Mark)，同一个转换任务在下次执行时会从新的标记开始处理。
建立转换任务时，可对数据源一个或多个字段的数据过滤，将需要的数据导入到数据目标中。
转换动作可以是数据转换完成后自动发送电子邮件。
本发明的有益效果在于：使用该方法能够实现任何两个SQL数据库之间的手动或自动同步。在数据导入导出过程中，除了简单的复制关系外，还可通过编写脚本语言，实现复杂的数据转换逻辑。该服务器支持所有文本文件如TXT或电子表格等数据与SQL数据库之间的导入和导出。能够实现手动导、定时导和间隔导。该平***有的文本文件格式自学习功能，让操作人员快速设计任务包，而无需经过严格的专业培训。该服务器还可将数据信息自动下传给硬件设备，从而实现整个***的自动化管理和真正意义上的无缝对接。
(四)具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细说明。
一种可实现可编程的数据转换和文件转换功能的数据同步方法，首先要建立任务包，建立任务包包括建立数据源(某个要导入的数据来源)、数据目的(用于存储导出数据的文件或数据库表)、转换任务和转换动作组成。数据源或数据目的可以是TXT格式、XML格式和EXCEL格式中的任何一种文件，也可以是SQL数据库中的一张表。分别建立数据源和数据目的，同时给数据源和数据目的指定存储路径。如果是SQL数据库中的表，要指定数据库所在的计算机名称、数据库名称、登录名和登录密码。如果数据源或数据目的是TXT文件，要设置***提取格式用的模板文件。XLS电子表格文件本身是数据库结构，因此在数据源设置时，不需要再指定文模板文件。
可从作为模板的文本文件中提取数据格式，作为要导入的数据源或导出的数据目标的格式，从而实现将文本文件中每条记录包含的每个字段与SQL数据库中指定表的每个字段相对应。
数据源和数据目的建立好后，设置从数据源到数据目的的转换逻辑，这称之为转换任务。如果数据源或数据目的为数据库中的表，需要在指定的数据库选择这张表，设置好后，该表的结构被***从数据库中提取出来，所有字段显示在界面上。
转换任务中的转换逻辑包括：(1)数据复制。直接从数据源将数据复制到数据目的中；(2)设置默认值。给数据目标设置一个默认值；(3)编写转换脚本，实现灵活多变、复杂的数据转换。
如果数据源为SQL数据库中的表，可给每个转换任务的数据源设置一个用于跟踪的字段作为标记，同一个转换任务在下次执行时会从新的标记值开始处理，从而避免重复执行。
在执行转换任务时，可以设定数据目的表中的一个字段或多个字段的组合为唯一值，以便执行数据库中的update命令操作，实现用数据源中的数据来更新数据目的表中数据的目的。
在执行转换任务时，通过对数据源一个或多个字段的数据过滤，将需要的数据导入到数据目标中。
一个任务包可以包含多个转换任务。给每个转换任务(输入一个值，实现该任务包在执行过程中的各个转换包的先后顺序。通过转换任务列表可以调整先后顺序。每个转换任务带有一个标志，通过该标志，执行或禁止该转换任务。
可设置每个转换任务每次执行时处理的最大记录数以及每个单循环处理的记录数。
转换动作是指转换任务执行成功后，要执行的其他动作，比如发送电子邮件、将某些数据信息自动发送给控制设备，从而实现***之间的无缝对接。

Claims (6)

1.一种可实现可编程的数据转换和文件转换功能的数据同步方法，其特征在于：建立若干个任务包；
建立任务包包括建立数据源、数据目标、转换任务及转换动作构成；所述数据源和数据目标可以为TXT格式XML格式和EXCEL格式中的任何一种文件，也可以是SQL数据库中的任何表；转换任务实现从数据源到数据目标的数据转换，所述转换动作实现在数据转换完成后，将数据信息传给硬件设备。
2.如权利要求1所述的可实现可编程的数据转换和文件转换功能的数据同步方法，其特征在于：建立转换任务是通过从数据源到数据目标的数据复制，或者给数据目标设置默认值，或者编写数据转换脚本。
3.如权利要求1或2所述的可实现可编程的数据转换和文件转换功能的数据同步方法，其特征在于：从作为模板的文本文件中提取数据格式，作为要导入的数据源或导出的数据目标的格式，从而实现将文本文件中每条记录包含的每个字段与SQL数据库中指定表的每个字段相对应。
4.如权利要求1或2所述的可实现可编程的数据转换和文件转换功能的数据同步方法，其特征在于：若数据源为SQL数据库中的表，给每个转换任务的数据源设置一个用于跟踪的标记，同一个转换任务在下次执行时会从新的标记开始处理。
5.如权利要求1或2所述的可实现可编程的数据转换和文件转换功能的数据同步方法，其特征在于：建立转换任务时，对数据源一个或多个字段的数据过滤，将需要的数据导入到数据目标中。
6.如权利要求1或2所述的可实现可编程的数据转换和文件转换功能的数据同步方法，其特征在于：转换动作是数据转换完成后自动发送电子邮件。
CNA2008101215325A 2008-10-16 2008-10-16 一种可实现可编程的数据转换和文件转换功能的数据同步方法 Pending CN101393526A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2008101215325A CN101393526A (zh) 2008-10-16 2008-10-16 一种可实现可编程的数据转换和文件转换功能的数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2008101215325A CN101393526A (zh) 2008-10-16 2008-10-16 一种可实现可编程的数据转换和文件转换功能的数据同步方法

Publications (1)

Publication Number Publication Date
CN101393526A true CN101393526A (zh) 2009-03-25

Family

ID=40493833

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008101215325A Pending CN101393526A (zh) 2008-10-16 2008-10-16 一种可实现可编程的数据转换和文件转换功能的数据同步方法

Country Status (1)

Country Link
CN (1) CN101393526A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609797A (zh) * 2011-01-24 2012-07-25 上海寺冈电子有限公司 实现电子秤自动化管理方法
CN104346334A (zh) * 2013-07-23 2015-02-11 上海化工宝电子商务有限公司 远程可视界面数据库***
CN105183754A (zh) * 2015-07-17 2015-12-23 浙江大学 一种分层式表格的自动读取方法
CN105389295A (zh) * 2015-09-30 2016-03-09 金邦达有限公司 一种卡片个人化的数据处理方法及***
CN105653653A (zh) * 2015-12-28 2016-06-08 上海瀚之友信息技术服务有限公司 一种订单数据同步方法及***
CN108958723A (zh) * 2018-06-19 2018-12-07 杨玉海 智能管理***生成***Hxcel可变编码体系技术方法
CN110175317A (zh) * 2019-04-26 2019-08-27 武汉欧铭达科技有限公司 一种txt批量转Excel的数据方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609797A (zh) * 2011-01-24 2012-07-25 上海寺冈电子有限公司 实现电子秤自动化管理方法
CN104346334A (zh) * 2013-07-23 2015-02-11 上海化工宝电子商务有限公司 远程可视界面数据库***
CN105183754A (zh) * 2015-07-17 2015-12-23 浙江大学 一种分层式表格的自动读取方法
CN105183754B (zh) * 2015-07-17 2018-11-02 浙江大学 一种分层式表格的自动读取方法
CN105389295A (zh) * 2015-09-30 2016-03-09 金邦达有限公司 一种卡片个人化的数据处理方法及***
CN105653653A (zh) * 2015-12-28 2016-06-08 上海瀚之友信息技术服务有限公司 一种订单数据同步方法及***
CN105653653B (zh) * 2015-12-28 2019-12-06 上海瀚之友信息技术服务有限公司 一种订单数据同步方法及***
CN108958723A (zh) * 2018-06-19 2018-12-07 杨玉海 智能管理***生成***Hxcel可变编码体系技术方法
CN110175317A (zh) * 2019-04-26 2019-08-27 武汉欧铭达科技有限公司 一种txt批量转Excel的数据方法

Similar Documents

Publication Publication Date Title
CN101393526A (zh) 一种可实现可编程的数据转换和文件转换功能的数据同步方法
CN107544984A (zh) 一种数据处理的方法和装置
CN104301420A (zh) 一种支持多客户端的分布式文件共享***及方法
CN109919340A (zh) 一种智能实验管理***及管理方法
CN102508886B (zh) 一种基于xml的空间数据增量同步更新方法
CN103699638A (zh) 一种基于配置参数实现跨数据库类型同步数据的方法
CN104461671A (zh) 代码修改汇报的定时管理方法及***
CN104778175A (zh) 一种实现异构数据库数据同步的方法及***
CN103914458A (zh) 一种海量数据迁移的方法及装置
CN101984427B (zh) 一种高校自习室查询***及方法
CN106610927B (zh) 一种基于翻译模板的互联网文章的建构方法与***
Foo et al. Singapore's vision of a smart nation
CN104598570A (zh) 资源的抓取方法及装置
CN109978495A (zh) 一种核电站调试试验报告编制方法和***
CN104123376B (zh) 一种基于列模板的智能文本数据采集方法和***
CN105701220B (zh) 一种企业内部业务数据***及处理方法
CN104392316A (zh) 一种基于云计算的高考志愿填报决策支持***
CN205809674U (zh) 一种支持在移动设备远程操作人机界面的hmi***
CN101887538A (zh) 一种按周期统计考勤结果并高效输出的技术
CN101477531A (zh) 一种流程模型从测试环境发布到生产环境的实现方法
CN109636355A (zh) 一种人脸识别装置与业务***的无缝对接方法
CN103092841A (zh) 一种数据处理方法及装置
CN113204864A (zh) 一种适用于输电网仿真数据版本控制的方法及***
CN113157657A (zh) 一种多数据源数据库定时同步的方法及***
CN102368311A (zh) 业务数据处理装置和业务数据处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20090325