CN103914616A - 一种应急数据质量控制***及方法 - Google Patents
一种应急数据质量控制***及方法 Download PDFInfo
- Publication number
- CN103914616A CN103914616A CN201410100067.2A CN201410100067A CN103914616A CN 103914616 A CN103914616 A CN 103914616A CN 201410100067 A CN201410100067 A CN 201410100067A CN 103914616 A CN103914616 A CN 103914616A
- Authority
- CN
- China
- Prior art keywords
- data
- quality
- rule
- emergency
- accident
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Alarm Systems (AREA)
Abstract
本发明涉及一种用于应急数据质量控制***及方法。本发明的一种应急数据质量控制***,由数据质量规则提取单元(1)、数据质量规则控制单元(2)和数据质量规则库(3)三部分组成,数据质量规则提取单元(1)实时根据突发事件的态势信息和数据输入终端(4)输入数据的数据类型从数据质量规则库(3)中提取不同的数据质量规则,由数据质量规则控制单元(2)通过提取的质量控制规则对数据输入终端(4)输入的数据内容进行质量控制。本发明支持根据动态变化的突发事件态势信息选择数据质量控制的规则,满足了不同类型、不同等级、不同影响范围的突发事件对数据质量的差异性需要,符合实际应急数据管理的需求,有利于提高数据的质量。
Description
技术领域
本发明涉及信息领域,特别是一种用于应急数据质量控制***及方法。
背景技术
突发事件应急管理过程中使用的数据来源广、数据类型多、数据质量水平不等,不符合质量要求的数据不仅不能为应急决策带来帮助,反而还可能会对应急管理中的科学决策带来负面影响。因此结合应急管理的整个过程,迫切需要对应急管理过程中使用的数据进行严格的质量控制。
传统的数据质量控制***通常是给定一层不变的数据质量规则,无法适用突发事件处置情况下需要适时调整数据质量规则的实际需要,更无法满足不同类型、不同等级、不同影响范围的突发事件对数据质量的差异性需要。同时,应急数据质量控制应该是个动态的过程,应急数据质量控制的规则应根据突发事件的态势发展而相应变化。
发明内容
面对传统的数据质量控制***和方法无法满足突发事件动态发展对数据质量差异性的需求,本发明要解决的是根据突发事件态势动态调整应急数据质量规则并完成数据质量控制过程的技术问题。
本发明解决其技术问题所采用的技术方案是:使用一种应急数据质量控制***,由数据质量规则提取单元1、数据质量规则控制单元2和数据质量规则库3三部分组成,数据质量规则提取单元1实时根据突发事件的态势信息和数据输入终端4输入数据的数据类型从数据质量规则库3中提取不同的数据质量规则,由数据质量规则控制单元2通过提取的质量控制规则对数据输入终端4输入的数据内容进行质量控制。
本发明的内容包括:一种应急数据质量控制***。方法包括:一种利用上述应急数据质量控制***进行应急数据质量控制的方法。
本发明的一种应急数据质量控制***,由数据质量规则提取单元1、数据质量规则控制单元2和数据质量规则库3三部分组成。
所述数据质量规则提取单元1实时分析动态获取的突发事件态势信息得到决定数据质量规则的关键要素,包括:突发事件当前主体类型、突发事件当前等级以及突发事件当前影响范围。
所述数据质量规则提取单元1部署在服务器端或数据输入终端4,用于从数据质量规则库3中提取不同的数据质量规则,并将提取的数据质量规则发送到数据质量规则控制单元2。
所述数据质量规则控制单元2部署在服务器端或数据输入终端4,接收数据质量规则提取单元1发送的数据质量规则,并使用收到的数据质量规则对数据输入终端4输入数据的数据内容进行质量检查。
当数据输入终端4输入数据的数据内容通过所述数据质量规则控制单元2的质量检查,数据质量规则控制单元2将数据内容发送到数据更新单元5完成数据更新;当数据输入终端4输入数据的数据内容未通过所述数据质量规则控制单元2的质量检查,数据质量规则控制单元2将错误信息发送到数据输入终端4。
所述数据质量规则库3部署在服务器端,支持添加、删除、修改和检索数据质量规则的功能,数据质量规则库中的数据质量规则类型主要有数据完整性规则、数据一致性规则、时间有效性规则、位置准确度规则、专题准确度规则以及用户自定义规则等。
本发明的一种应急数据质量控制方法,步骤如下:
步骤S1:数据输入终端4输入一条数据;
步骤S2:数据输入终端4将输入数据的数据类型发送到数据质量规则提取单元1;
步骤S3:数据输入终端4将输入数据的数据内容发送到数据质量规则控制单元2;
步骤S4:数据质量规则提取单元1分析动态获取的突发事件态势信息,并通过分析得到的突发事件当前主体类型、突发事件当前等级以及突发事件当前影响范围和数据输入终端4输入数据的数据类型从数据质量规则库3中提取数据质量规则;
步骤S5:数据质量规则提取单元1将步骤S4中提取的数据质量规则发送到数据质量规则控制单元2;
步骤S6:数据质量规则控制单元2根据其在步骤S5中收到的数据质量规则对步骤S3中输入数据的数据内容进行质量检查;
步骤S7:当步骤S3中输入数据的数据内容通过了每项数据质量规则的检查,数据质量规则控制单元2将这条数据发送到数据更新单元5完成数据更新;
步骤S8:当步骤S3中输入数据的数据内容未通过某项数据质量规则的检查,数据质量规则控制单元2将错误信息发送到数据输入终端4,数据输入终端4取消数据输入或根据错误信息重新输入数据内容并重复步骤S3、步骤S6、步骤S7和步骤S8;
步骤S9:重复步骤S1到S8完成下一条数据的质量控制。
其中,所述步骤S4中的突发事件态势信息由应急指挥中心根据突发事件的当前实际状态确定,随着突发事件的发展而动态变化。
其中,所述步骤S7中的数据更新单元5将符合质量控制规则的数据更新到应急数据库6中。
本发明的一种应急数据质量控制***及方法的有益效果在于:
1.本发明的一种应急数据质量控制***及方法将突发事件态势信息作为决定质量控制标准的因素之一,解决了常规数据质量控制***及方法无法应用于应急管理过程中数据质量控制的问题。
2.本发明的一种应急数据质量控制***及方法支持根据动态变化的突发事件态势信息选择数据质量控制的规则,满足了不同类型、不同等级、不同影响范围的突发事件对数据质量的差异性需要,符合实际应急数据管理的需求,有利于提高数据的质量。
3.本发明的一种应急数据质量控制***及方法能够实时调整应急数据质量规则,增强数据质量控制方法的灵活性,有利于适时调整数据质量控制的过程。
4.本发明的应急数据质量控制方法思路清晰,易于实现。
5.本发明不仅适用突发事件中的应急数据质量控制,同时也适用于常规情况下的数据质量控制。
附图说明
图1是本发明的一种应急数据质量控制***的***组成图。
图2是本发明的一种应急数据质量控制***的数据流程图。
图3是本发明的一种应急数据质量控制方法的方法流程图。
具体实施方式
本发明的种应急数据质量控制***,如图1所示,由数据质量规则提取单元1、数据质量规则控制单元2和数据质量规则库3三部分组成。数据质量规则提取单元1用于从数据质量规则库3中提取不同的数据质量规则,并将提取的数据质量规则发送到数据质量规则控制单元2。数据质量规则控制单元2接收数据质量规则提取单元1发送的数据质量规则,并使用收到的数据质量规则对数据输入终端4输入数据的数据内容进行质量检查。数据质量规则库3是用于存储数据质量规则的数据库,支持添加、删除、修改和检索数据质量规则的功能。
图2是本发明的一种应急数据质量控制***的数据流程图。应急指挥中心将突发事件的当前态势信息发送到数据质量规则提取单元1。数据输入终端4输入一条新数据,将输入数据的数据类型发送到数据质量规则提取单元1,将输入数据的数据内容发送到数据质量规则控制单元2。数据质量规则提取单元1根据突发事件的类型、突发事件的等级和数据输入终端4输入数据的数据类型从数据质量规则库3中提取数据质量规则,并将这些规则发送到数据质量规则控制单元2。数据质量规则控制单元2根据这些数据质量规则逐条对输入数据的数据内容进行质量检查,如果发现输入数据的数据内容不符合某条数据质量规则的要求,就将错误信息发送给输入数据的数据输入终端4,数据输入终端4选择取消数据输入或根据错误信息重新输入。如果输入数据的数据内容符合每一条数据质量规则的要求,数据质量规则控制单元2则将这条数据发送到数据更新单元5,并由数据更新单元5将输入数据更新到应急数据库6。
图3是本发明的一种应急数据质量控制方法的方法流程图。下面用一个具体的实施例阐述本发明的一种应急数据质量控制方法。
事件背景:某城市的森林区域发生了一起火灾事件,有多个应急机构参与了应急处置救援,包括市应急指挥中心、市***、市消防局、市卫生局等。
市应急指挥中心发布了当前突发事件态势信息:本市目前发生的森林火灾位于A区与B区交界处以北十公里,受灾森林面积超过约200公顷,造成5人死亡。
步骤A1:市***工作人员L在数据输入终端输入一条数据类型为“专家”的数据,在应急数据库6中类型为“专家”的数据包含的字段有“姓名、移动电话、专业特长、工作单位、身份证号码、职务、职称”等。
步骤A2:市***工作人员L的数据输入终端将输入数据的数据类型发送到数据质量规则提取单元1,数据类型为“专家”。
步骤A3:市***工作人员L的数据输入终端将输入数据的数据内容发送到数据质量规则控制单元2,数据内容为“姓名:张三;移动电话:139********(注:此处省去实际中的后8位数字);专业特长:森林火灾扑救”。
步骤A4:数据质量规则提取单元1从应急指挥中心动态获取突发事件态势信息,参照该城市森林火灾应急预案中对森林火灾事件的等级划分方法,分析得到:
(a)突发事件当前主体类型:森林火灾
(b)突发事件当前等级:3级
(c)突发事件当前影响范围:A区与B区交界处以北十公里,受灾面积约200公顷
当数据类型为“专家”时,数据质量规则库3中存在不同的质量规则,其中部分质量规则示例如下表。
对数据质量的要求随着突发事件的紧急程度而动态变化,要求可能提高也可能降低。比如在常规情况下需要用户输入专家的“专业特长、工作单位”等信息是需要多次的数据交互过程,在常规的数据更新过程中是必要的,因为可以更好地保证数据的完整性。但是在突发事件事态紧急的情况下,为了节省时间,可适当忽略一些常规条件下需要考虑的因素,比如在一起重大突发事件发生时某个部门紧急提交的专家信息通常都会同该突发事件所需专家的专业特长相吻合,在这种前提条件下,能够第一时间联系到专家是最重要的,因此这个条件下需要考虑的数据完整性质量规则可以与常规条件下不同,如上表中对数据类型为“专家”的完整性规则的要求随突发事件等级的上升反而会有所降低。
对于本示例,数据质量规则提取单元1利用突发事件当前主体类型、突发事件当前等级以及突发事件当前影响范围,和输入数据类型为“专家”的条件,从上述表格中提取以下两个数据质量规则。
数据完整性规则R1:“姓名、移动电话、专业特长、工作单位”分别不能为空;数据一致性规则R2:“移动电话”必须为有效数字。
步骤A5:数据质量规则提取单元1将上述数据完整性规则R1和数据一致性规则R2发送到数据质量规则控制单元2。
步骤A6:数据质量规则控制单元2根据R1和R2对输入数据的数据内容“姓名:张三;移动电话:139********;专业特长:森林火灾扑救”进行质量检查。对于数据一致性规则R2,输入数据的数据内容满足要求。但对于数据完整性规则R1,输入数据的数据内容缺少工作单位信息,因此不满足要求。
步骤A7:由于输入数据的数据内容未通过数据完整性规则R1的检查,数据质量规则控制单元2将错误信息“缺少工作单位信息”发送到市***工作人员L的数据输入终端,市***工作人员L可以取消数据输入或根据错误信息补充该条专家数据的工作单位信息。
步骤A8:当输入数据的数据内容通过了每项数据质量规则的检查,数据质量规则控制单元2将这条数据发送到数据更新单元5完成数据更新。
随着事态发展,如果市应急指挥中心更新了突发事件态势信息,突发事件等级发生变化时,数据质量规则提取单元1提取得到的质量规则也相应发生变化。
虽然上文已经根据特定的实施例对本发明进行了描述,但本发明不限于此,本领域技术人员可以根据本发明的原理进行各种修改。因此凡是按照本发明所述原理进行的修改,都应该理解为包括在本发明的保护范围内。
Claims (9)
1.一种应急数据质量控制***,其特征在于:由数据质量规则提取单元(1)、数据质量规则控制单元(2)和数据质量规则库(3)三部分组成,数据质量规则提取单元(1)实时根据突发事件的态势信息和数据输入终端(4)输入数据的数据类型从数据质量规则库(3)中提取不同的数据质量规则,由数据质量规则控制单元(2)通过提取的质量控制规则对数据输入终端(4)输入的数据内容进行质量控制。
2.根据权利要求1所述的一种应急数据质量控制***,其特征是:所述数据质量规则提取单元(1)实时分析动态获取的突发事件态势信息得到决定数据质量规则的关键要素,包括:突发事件当前主体类型、突发事件当前等级以及突发事件当前影响范围。
3.根据权利要求1所述的一种应急数据质量控制***,其特征是:所述数据质量规则提取单元(1)部署在服务器端或数据输入终端(4),用于从数据质量规则库(3)中提取不同的数据质量规则,并将提取的数据质量规则发送到数据质量规则控制单元(2)。
4.根据权利要求1或2所述的一种应急数据质量控制***,其特征是:所述数据质量规则控制单元(2)部署在服务器端或数据输入终端(4),接收数据质量规则提取单元(1)发送的数据质量规则,并使用收到的数据质量规则对数据输入终端(4)输入数据的数据内容进行质量检查。
5.根据权利要求3所述的一种应急数据质量控制***,其特征在于:当数据输入终端(4)输入数据的数据内容通过所述数据质量规则控制单元(2)的质量检查,数据质量规则控制单元(2)将数据内容发送到数据更新单元(5)完成数据更新;当数据输入终端(4)输入数据的数据内容未通过所述数据质量规则控制单元(2)的质量检查,数据质量规则控制单元(2)将错误信息发送到数据输入终端(4)。
6.根据权利要求1所述的一种应急数据质量控制***,其特征在于:所述数据质量规则库(3)部署在服务器端,支持添加、删除、修改和检索数据质量规则的功能。
7.本发明的一种应急数据质量控制方法,步骤如下:
步骤S1:数据输入终端(4)输入一条数据;
步骤S2:数据输入终端(4)将输入数据的数据类型发送到数据质量规则提取单元(1);
步骤S3:数据输入终端(4)将输入数据的数据内容发送到数据质量规则控制单元(2);
步骤S4:数据质量规则提取单元(1)分析动态获取的突发事件态势信息,并通过分析得到的突发事件当前主体类型、突发事件当前等级以及突发事件当前影响范围和数据输入终端(4)输入数据的数据类型从数据质量规则库(3)中提取数据质量规则;
步骤S5:数据质量规则提取单元(1)将步骤S4中提取的数据质量规则发送到数据质量规则控制单元(2);
步骤S6:数据质量规则控制单元(2)根据其在步骤S5中收到的数据质量规则对步骤S3中输入数据的数据内容进行质量检查;
步骤S7:当步骤S3中输入数据的数据内容通过了每项数据质量规则的检查,数据质量规则控制单元(2)将这条数据发送到数据更新单元(5)完成数据更新;
步骤S8:当步骤S3中输入数据的数据内容未通过某项数据质量规则的检查,数据质量规则控制单元(2)将错误信息发送到数据输入终端(4),数据输入终端(4)取消数据输入或根据错误信息重新输入数据内容并重复步骤S3、步骤S6、步骤S7和步骤S8;
步骤S9:重复步骤S1到S8完成下一条数据的质量控制。
8.根据权利要求7所述的一种应急数据质量控制方法,其特征在于:所述步骤S4中的突发事件态势信息由应急指挥中心根据突发事件的当前实际状态确定,随着突发事件的发展而动态变化。
9.根据权利要求7所述的一种应急数据质量控制方法,其特征在于:所述步骤S7中的数据更新单元(5)将符合质量控制规则的数据更新到应急数据库(6)中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410100067.2A CN103914616B (zh) | 2014-03-18 | 2014-03-18 | 一种应急数据质量控制***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410100067.2A CN103914616B (zh) | 2014-03-18 | 2014-03-18 | 一种应急数据质量控制***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103914616A true CN103914616A (zh) | 2014-07-09 |
CN103914616B CN103914616B (zh) | 2017-12-05 |
Family
ID=51040292
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410100067.2A Expired - Fee Related CN103914616B (zh) | 2014-03-18 | 2014-03-18 | 一种应急数据质量控制***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103914616B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108133084A (zh) * | 2017-12-08 | 2018-06-08 | 北京汽车研究总院有限公司 | 一种数据质量检查方法、装置、控制器及*** |
CN109902081A (zh) * | 2019-01-30 | 2019-06-18 | 美林数据技术股份有限公司 | 数据质量管理方法及装置 |
CN111400365A (zh) * | 2020-02-26 | 2020-07-10 | 杭州美创科技有限公司 | 基于标准sql下的业务***数据质量检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1903461A2 (en) * | 2006-09-22 | 2008-03-26 | Sysmex Corporation | Quality control system, analyzer, and quality control method |
US20080222123A1 (en) * | 2006-11-14 | 2008-09-11 | Latha Sankar Colby | Method and system for cleansing sequence-based data at query time |
CN102855170A (zh) * | 2011-07-01 | 2013-01-02 | 国际商业机器公司 | 用于数据质量监控的***和方法 |
WO2013146884A1 (ja) * | 2012-03-27 | 2013-10-03 | 日本電気株式会社 | データクレンジングシステム、方法およびプログラム |
-
2014
- 2014-03-18 CN CN201410100067.2A patent/CN103914616B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1903461A2 (en) * | 2006-09-22 | 2008-03-26 | Sysmex Corporation | Quality control system, analyzer, and quality control method |
US20080222123A1 (en) * | 2006-11-14 | 2008-09-11 | Latha Sankar Colby | Method and system for cleansing sequence-based data at query time |
CN102855170A (zh) * | 2011-07-01 | 2013-01-02 | 国际商业机器公司 | 用于数据质量监控的***和方法 |
WO2013146884A1 (ja) * | 2012-03-27 | 2013-10-03 | 日本電気株式会社 | データクレンジングシステム、方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
赵兵兵: "《达梦ETL数据质量管理***设计与实现》", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108133084A (zh) * | 2017-12-08 | 2018-06-08 | 北京汽车研究总院有限公司 | 一种数据质量检查方法、装置、控制器及*** |
CN108133084B (zh) * | 2017-12-08 | 2022-07-01 | 北京汽车集团越野车有限公司 | 一种数据质量检查方法、装置、控制器及*** |
CN109902081A (zh) * | 2019-01-30 | 2019-06-18 | 美林数据技术股份有限公司 | 数据质量管理方法及装置 |
CN111400365A (zh) * | 2020-02-26 | 2020-07-10 | 杭州美创科技有限公司 | 基于标准sql下的业务***数据质量检测方法 |
CN111400365B (zh) * | 2020-02-26 | 2023-09-19 | 杭州美创科技股份有限公司 | 基于标准sql下的业务***数据质量检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103914616B (zh) | 2017-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102282561B1 (ko) | 위치 식별 및 통신을 위한 방법 및 장치 | |
Karl | Creating Asia: China in the world at the beginning of the twentieth century | |
Lupyan et al. | System of operation of joint information resources based on satellite data in the Planeta Research Centers for Space Hydrometeorology | |
CN104333850B (zh) | 基于北斗通讯的短报文读取方法 | |
Johnsen et al. | Utilisation of helicopter emergency medical services in the early medical response to major incidents: a systematic literature review | |
CN106162544B (zh) | 一种地理围栏的生成方法和设备 | |
CN103914616A (zh) | 一种应急数据质量控制***及方法 | |
US20160241497A1 (en) | Invoking an application to perform a service based on message content | |
CN102722537A (zh) | 一种数据库测试数据的生成方法及*** | |
CN101287215A (zh) | 一种基于终端位置触发终端事件的方法、***和装置 | |
US9158790B2 (en) | Server, dictionary creation method, dictionary creation program, and computer-readable recording medium recording the program | |
RU2014136554A (ru) | Способы и системы для отображения тем микроблогов | |
US9171014B2 (en) | Information processing device, information processing method, program, and information processing system | |
Kareem | Do global pandemics disrupt or seed transformations in cities? A systematic review of evidence | |
CN111274348B (zh) | 服务特征数据提取方法、装置及电子设备 | |
Xu et al. | China's new forest policy | |
CN110287255A (zh) | 基于用户行为的数据共享方法、装置及计算机设备 | |
CN103825957A (zh) | 一种基于云计算的手机等移动学习***的设计与实现 | |
EP3096248A1 (en) | Data management system and data management method | |
Liaw et al. | The suicide mortality rates between 1997–1998 and 2000–2001 in Nantou County of Taiwan following the earthquake of September 21 in 1999 | |
Dawidziuk et al. | Preparing medical students for global challenges beyond COVID‐19 | |
Kaminska et al. | Social media for emergency management expert roundtable workshop: Summary of findings | |
CN104050168A (zh) | 信息处理方法、电子设备及词库服务器 | |
Unel et al. | The Impact of Multimedia Geographic Information System in Tourism | |
CN202995796U (zh) | 用于消防作战的扁平化图形指挥*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171205 Termination date: 20200318 |