CN101221564A - 一种通用的自主数据采集方法 - Google Patents
一种通用的自主数据采集方法 Download PDFInfo
- Publication number
- CN101221564A CN101221564A CNA2007100726066A CN200710072606A CN101221564A CN 101221564 A CN101221564 A CN 101221564A CN A2007100726066 A CNA2007100726066 A CN A2007100726066A CN 200710072606 A CN200710072606 A CN 200710072606A CN 101221564 A CN101221564 A CN 101221564A
- Authority
- CN
- China
- Prior art keywords
- storehouse
- collection
- gather
- template
- gathering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供的是一种通用的自主数据采集方法。包括(1)创建核心数据库表采集库配置信息与采集库详细信息；(2)管理部门设置采集库结构；(3)为采集库生成采集模板；(4)为采集库创建Web模板；(5)为采集库创建Word模板。采用了本发明所述的方法后，管理部门只需要通过应用程序接口自主设置各类采集数据的结构，各类采集需要的Excel模板、Word模板与Web模板，就可自行采集数据，而不需要重新开发一套新的采集软件来实现预期的功能。
Description
(一)技术领域
本发明涉及的是一种数据采集方法，具体地说是一种数据库技术与Web设计技术。
(二)背景技术
软件技术的进步为企业、政府机构、高校管理部门的数据采集与维护提供了方便，但现今的管理程序多数是基于固定结构数据的采集，而管理部门需要采集的数据可能存在结构上的不一致，例如管理部门采集各类数据，每类数据的结构不同，每年的采集样式不同，一般情况下每一年需要为每一类数据采集制作应用程序来录入数据并维护数据，原有应用程序要想满足管理部门的这种需求往往涉及到程序的再次开发。这无疑增加了部门的财政开销。
(三)发明内容
本发明的目的在于提供一种可以使数据采集工作更方便，减少应用程序再开发的成本的一种通用的自主数据采集方法。
本发明的目的是这样实现的：
(1)创建核心数据库表采集库配置信息与采集库详细信息，其中采集库配置信息包括采集库ID，采集库名，word模板，web模板；采集库详细信息包括属性ID，字段名，字段类型，字段长度，是否必填，中文名称，模板序号；
(2)管理部门设置采集库结构：根据在界面上录入的采集库名，采集库各个字段名，字段类型，字段长度，是否必填，中文名称，模板序号，生成一个采集库，并将配置信息分别存入采集库配置信息表与采集库详细信息表中；
(3)为采集库生成采集模板：根据采集库中表的结构，在所有字段里挑选一些字段生成的一个采集报表，一般是Excel格式；
(4)为采集库创建Web模板；
(5)为采集库创建Word模板：该模板与采集库本身一样可以自由设计，只需要在采集库中设置各字段对应到Word模板中的模板序号即可，在打印时，程序根据设置的模板序号来对号入座，将采集库中的信息录打印到Word模板中。
本发明的具体实施步骤为：
(1)模块初始化后，首先判断***是否已有采集库；
(2)如果***还不存在采集库，则设置采集结构，生成采集库，存储采集库结构；
(3)如果***已经存在采集库，调整采集库，存储采集库结构；
(4)接着进行数据采集，在采集前，判断是否已有采集模板；
(5)如果不存在有采集模板，则成采集模板配置表，并存储配置信息；
(6)如果已有采集模板，调整采集模板，并存储配置信息；
(7)在数据采集之前，选择采集模板，由该模板批量导出生成Excel，下发至下级部门按格式填写信息，上交到管理部门后，得到一个包含部门信息的Excel文档，作为数据采集批量导入的数据来源；或者是在选择采集模板之后，将采集库里面的信息导出到由该模板生成的Excel文档中，下发至下级部门，进行信息确认后，得到一个包含采集信息的Excel文档，作为数据采集批量导入的数据来源；
(8)在真正导入数据之前，选择批量导入或是手工录入；
(9)如果选择手工录入方式，则***在界面上进行必要的信息确认后，将数据存入采集库中；如果选择批量导入，则在导入前首先进行一些导入前设置，然后由管理部门把第(7)步产生的Excel文档导入到采集库中，导入完成后，***显示导入出现结果，并把出现失败的采集信息留在原Excel中，修改确认后重新导入。
本发明的具体实施步骤中还可以包括：
1、在第(2)步存储采集库结构的同时把旧采集库的库表结构存入历史库中。
2、在第(3)步存储采集库结构的同时把旧采集库的库表结构存入历史库中。
采用了本发明所述的方法后，管理部门只需要通过应用程序接口自主设置各类采集数据的结构，各类采集需要的Excel模板、Word模板与Web模板，就可自行采集数据，而不需要重新开发一套新的采集软件来实现预期的功能。本方法在高校自动毕业设计管理软件中应用，方便了高校的毕业设计管理工作。
针对当前数据采集、录入与维护的需求，本发明的目的是方便企业、政府与高校管理部门的数据采集工作，提高部门的工作效率，减少应用程序再开发的成本，提出一种通用的自主数据采集方法。“通用”是指本方法不限于某一特定的领域，可以适用于多种场合下的数据采集、录入与维护工作，能与多种应用程序集成。“自主性”是指管理部门可以自主地根据采集数据的格式设置采集库结构，定义采集模板，数据录入形式。
通过这种方式可以成功实现不同采集模板的动态创建，管理部门可以自行设计模板格式即可以达到预期的目的。该方法目前已经应用到高校本科生毕业设计一体化***中。该方法解决了因全面各高校之间本科生毕业设计立题论证书的格式不同造成的软件通用性的限制问题，由于采用了该方法，使高校本科生毕业设计一体******实现了跨学校的通用毕业设计管理***。具体方式是管理人员可以根据立题论证书来设计毕业设计库结构，创建Web模板供毕业设计信息的显示与维护，创建Word模板打印立题论证书。效果如图3，4所示。
(四)附图说明
图1是本发明的流程框图。
图2是本发明的具体实现步骤的流程图。
图3和图4是本发明的效果图。
(五)具体实施方式
下面结合附图举例对本发明做更详细地描述：
本发明的实施需要计算机程序的支持，可以结合Web应用程序或桌面应用程序来实现本方法。本方法不限于采用何种计算机语言。
结合图1，本发明的实施步骤如下
(1)创建核心数据库表采集库配置信息与采集库详细信息，其中采集库配置信息包括采集库ID，采集库名，word模板，web模板；采集库详细信息包括属性ID，字段名，字段类型，字段长度，是否必填，中文名称，模板序号。数据字典如下：
(2)管理部门设置采集库结构：根据在界面上录入的采集库名，采集库各个字段名，字段类型，字段长度，是否必填，中文名称，模板序号，生成一个采集库，并将配置信息分别存入采集库配置信息表与采集库详细信息表中。
(3)为采集库生成采集模板：管理人员根据采集库中表的结构，在所有字段里挑选一些字段生成的一个采集报表，一般是Excel格式。采集模板用于数据的批量导入。
(4)为采集库创建Web模板：Web模板是用来显示与维护采集库中的数据，该模板与采集库本身一样可以自由设计，只要保证Web模板表单名与采集库配置信息中的字段名一致即可。
(5)为采集库创建Word模板：Word模板用来显示与打印采集库中的数据，该模板与采集库本身一样可以自由设计，只需要在采集库中设置各字段对应到Word模板中的模板序号即可，在打印时，程序根据设置的模板序号来对号入座，将采集库中的信息录打印到Word模板中。
采集库与采集模板是两个不同的概念。采集库是指数据库中的表，这个表可以由管理人员在平台上进行设计，调整，比如设计采集库的每个字段的名称、长度、约束条件等等。采集模板是管理人员根据采集库中表的结构，在所有字段里挑选一些字段生成的一个采集报表。
结合图2本发明的具体实现步骤为：
(1)模块初始化后，***首先判断***是否已有采集库；
(2)如果***还不存在采集库，则可以用管理员设置采集结构，生成采集库，存储采集库结构；
(3)如果***已经存在采集库，管理员可以调整采集库，比如说修改采集库表的字段，删除某些采集库表字段，之后存储采集库结构，为了跟踪历史记录，同时把旧采集库的库表结构存入历史库中；
(4)接着进行数据采集，在采集前，***判断是否已有采集模板；
(5)如果***还不存在有采集模板，***生成采集模板配置表，并存储配置信息；
(6)如果***中已有采集模板，管理员可以调整采集模板，比如说添加采集字段，删除采集字段，之后生成配置表，并存储配置信息，为了跟踪历史记录，同时把旧采集库的库表结构存入历史库中；
(7)在数据采集之前，管理员可以选择采集模板，由该模板批量导出生成Excel，下发至下级部门按格式填写信息，上交到管理部门后，得到一个包含企业信息的Excel文档，作为数据采集批量导入的数据来源；
(8)管理部门也可以在选择采集模板之后，将采集库里面的信息导出到由该模板生成的Excel文档中，下发至下级部门，进行信息确认后，得到一个包含采集信息的Excel文档，作为数据采集批量导入的数据来源；
(9)在真正导入数据之前，可以选择批量导入或是手工录入；
(10)如果选择手工录入方式，则***在界面上进行必要的信息确认后，将数据存入采集库中；
(11)如果选择批量导入，则在导入前首先进行一些导入前设置(比如，在导入过程中如果遇到重复记录时应该如果处理，是覆盖原有记录还是跳过；又如，在导入过程中当遇到错误时，是跳过继续执行还是停止工作等等)，然后由管理部门把第(7)和第(8)步产生的Excel文档导入到采集库中，导入完成后，***显示导入出现结果(比如，共处理多少条记录，成功多少条，失败多少条)，并把出现失败的采集信息留在原Excel中，待管理员修改确认后重新导入。
Claims (4)
1.一种通用的自主数据采集方法，其特征是：
(1)创建核心数据库表采集库配置信息与采集库详细信息，其中采集库配置信息包括采集库ID，采集库名，word模板，web模板；采集库详细信息包括属性ID，字段名，字段类型，字段长度，是否必填，中文名称，模板序号；
(2)管理部门设置采集库结构：根据在界面上录入的采集库名，采集库各个字段名，字段类型，字段长度，是否必填，中文名称，模板序号，生成一个采集库，并将配置信息分别存入采集库配置信息表与采集库详细信息表中；
(3)为采集库生成采集模板：根据采集库中表的结构，在所有字段里挑选一些字段生成的一个采集报表，一般是Excel格式；
(4)为采集库创建Web模板；
(5)为采集库创建Word模板：该模板与采集库本身一样可以自由设计，只需要在采集库中设置各字段对应到Word模板中的模板序号即可，在打印时，程序根据设置的模板序号来对号入座，将采集库中的信息录打印到Word模板中。
2.根据权利要求1所述的通用的自主数据采集方法，其特征是其具体实施步骤为：
(1)模块初始化后，首先判断***是否已有采集库；
(2)如果***还不存在采集库，则设置采集结构，生成采集库，存储采集库结构；
(3)如果***已经存在采集库，调整采集库，存储采集库结构；
(4)接着进行数据采集，在采集前，判断是否已有采集模板；
(5)如果不存在有采集模板，则成采集模板配置表，并存储配置信息；
(6)如果已有采集模板，调整采集模板，并存储配置信息；
(7)在数据采集之前，选择采集模板，由该模板批量导出生成Excel，下发至下级部门按格式填写信息，上交到管理部门后，得到一个包含部门信息的Excel文档，作为数据采集批量导入的数据来源；或者是在选择采集模板之后，将采集库里面的信息导出到由该模板生成的Excel文档中，下发至下级部门，进行信息确认后，得到一个包含采集信息的Excel文档，作为数据采集批量导入的数据来源；
(8)在真正导入数据之前，选择批量导入或是手工录入；
(9)如果选择手工录入方式，则***在界面上进行必要的信息确认后，将数据存入采集库中；如果选择批量导入，则在导入前首先进行一些导入前设置，然后由管理部门把第(7)步产生的Excel文档导入到采集库中，导入完成后，***显示导入出现结果，并把出现失败的采集信息留在原Excel中，修改确认后重新导入。
3.根据权利要求2所述的通用的自主数据采集方法，其特征是：在第(2)步存储采集库结构的同时把旧采集库的库表结构存入历史库中。
4.根据权利要求2或3所述的通用的自主数据采集方法，其特征是：在第(3)步存储采集库结构的同时把旧采集库的库表结构存入历史库中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007100726066A CN101221564A (zh) | 2007-08-03 | 2007-08-03 | 一种通用的自主数据采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007100726066A CN101221564A (zh) | 2007-08-03 | 2007-08-03 | 一种通用的自主数据采集方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101221564A true CN101221564A (zh) | 2008-07-16 |
Family
ID=39631410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2007100726066A Pending CN101221564A (zh) | 2007-08-03 | 2007-08-03 | 一种通用的自主数据采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101221564A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102314514A (zh) * | 2011-09-20 | 2012-01-11 | 北京航空航天大学 | 一种表格数据结构化的作用域方法 |
| CN102436498A (zh) * | 2011-11-14 | 2012-05-02 | 深圳市华力特电气股份有限公司 | 一种报表生成方法以及相关装置 |
| CN104077665A (zh) * | 2014-07-10 | 2014-10-01 | 国家电网公司 | 电网工程造价分析数据收集***及方法 |
| CN106648763A (zh) * | 2016-12-06 | 2017-05-10 | 明博教育科技股份有限公司 | 一种批量数据导入组件及其导入方法 |
| CN107015957A (zh) * | 2017-03-16 | 2017-08-04 | 深圳市沃易科技有限公司 | 用户表单生成方法和装置 |
| CN108090071A (zh) * | 2016-11-22 | 2018-05-29 | 北大方正集团有限公司 | 资源库中的资源采集方法和装置 |
| CN108920638A (zh) * | 2018-07-02 | 2018-11-30 | 山东浪潮商用***有限公司 | 基于数据字典配置的web端文件数据采集方法及装置 |
| CN110866005A (zh) * | 2019-09-26 | 2020-03-06 | 上海东方富联科技有限公司 | 一种物联网数据采集管理方法及***、存储介质及终端 |
| CN110991152A (zh) * | 2019-12-02 | 2020-04-10 | 厦门悦讯信息科技股份有限公司 | 一种数据逐级采集与自动汇总的方法与*** |
| CN112836478A (zh) * | 2020-11-09 | 2021-05-25 | 上海德拓信息技术股份有限公司 | 一种零散数据采集应用的方法 |
-
2007
- 2007-08-03 CN CNA2007100726066A patent/CN101221564A/zh active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102314514A (zh) * | 2011-09-20 | 2012-01-11 | 北京航空航天大学 | 一种表格数据结构化的作用域方法 |
| CN102436498A (zh) * | 2011-11-14 | 2012-05-02 | 深圳市华力特电气股份有限公司 | 一种报表生成方法以及相关装置 |
| CN102436498B (zh) * | 2011-11-14 | 2014-07-23 | 深圳市华力特电气股份有限公司 | 一种报表生成方法以及相关装置 |
| CN104077665A (zh) * | 2014-07-10 | 2014-10-01 | 国家电网公司 | 电网工程造价分析数据收集***及方法 |
| CN104077665B (zh) * | 2014-07-10 | 2016-04-06 | 国家电网公司 | 电网工程造价分析数据收集***及方法 |
| CN108090071A (zh) * | 2016-11-22 | 2018-05-29 | 北大方正集团有限公司 | 资源库中的资源采集方法和装置 |
| CN106648763A (zh) * | 2016-12-06 | 2017-05-10 | 明博教育科技股份有限公司 | 一种批量数据导入组件及其导入方法 |
| CN107015957A (zh) * | 2017-03-16 | 2017-08-04 | 深圳市沃易科技有限公司 | 用户表单生成方法和装置 |
| CN108920638A (zh) * | 2018-07-02 | 2018-11-30 | 山东浪潮商用***有限公司 | 基于数据字典配置的web端文件数据采集方法及装置 |
| CN110866005A (zh) * | 2019-09-26 | 2020-03-06 | 上海东方富联科技有限公司 | 一种物联网数据采集管理方法及***、存储介质及终端 |
| CN110991152A (zh) * | 2019-12-02 | 2020-04-10 | 厦门悦讯信息科技股份有限公司 | 一种数据逐级采集与自动汇总的方法与*** |
| CN110991152B (zh) * | 2019-12-02 | 2023-06-02 | 厦门悦讯信息科技股份有限公司 | 一种数据逐级采集与自动汇总的方法与*** |
| CN112836478A (zh) * | 2020-11-09 | 2021-05-25 | 上海德拓信息技术股份有限公司 | 一种零散数据采集应用的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101221564A (zh) | 一种通用的自主数据采集方法 | |
| US7162688B1 (en) | Method for automated generation and assembly of specifications documents in CADD environments | |
| US8176002B2 (en) | Method and system for user alteration of the configuration of a data warehouse | |
| US7505998B2 (en) | Apparatuses and methods for dynamic creation of phase Gantt charts | |
| CN110333856B (zh) | 服务化可编排的在线模板生成***及方法 | |
| CN100492370C (zh) | 面向集成化企业模型的文档管理方法 | |
| CN102663103A (zh) | 可配置的自动化生成数据库和数据访问的方法 | |
| US20060212477A1 (en) | Method and system for altering the configuration of a data warehouse | |
| CN102227716A (zh) | 动作验证装置、动作验证方法、以及动作验证*** | |
| CN102339314A (zh) | 一种基于xml的跨终端的数据表单描述与展现方法 | |
| CN106095670A (zh) | 测试报告的生成方法及装置 | |
| CN104142930A (zh) | 通用δ数据装载 | |
| CN103077019A (zh) | 一种图形化参数批量维护方法和装置 | |
| CN106599167A (zh) | 一种支持增量升级数据库的***和方法 | |
| CN103399744B (zh) | 一种构建企业门户平台的方法 | |
| CN108346035A (zh) | 一种用于科技期刊论文的数字出版*** | |
| US20010034679A1 (en) | Platform independent and non-invasive financial report mark-up | |
| JP2006276954A (ja) | 工事見積システム | |
| CN113255310A (zh) | 一种医学检验lims***中检验报告可视化配置方法 | |
| CN110879936B (zh) | 一种基于TeamCenter的批量生成并输出工艺控制计划的方法 | |
| KR101022716B1 (ko) | 전자문서 자동생성시스템 및 자동생성방법 | |
| Eriksson et al. | The pluss toolkit? extending telelogic doors and ibm-rational rose to support product line use case modeling | |
| CN101329625A (zh) | 专家***开发平台 | |
| US9317640B2 (en) | System and method for the electronic design of collaborative and validated architectures | |
| CN110069516A (zh) | 一种基于标准文献的服务内容智能管理技术实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20080716 |