CN105550511A - 一种基于数据校验技术的数据质量测评***及方法 - Google Patents
一种基于数据校验技术的数据质量测评***及方法 Download PDFInfo
- Publication number
- CN105550511A CN105550511A CN201510921093.6A CN201510921093A CN105550511A CN 105550511 A CN105550511 A CN 105550511A CN 201510921093 A CN201510921093 A CN 201510921093A CN 105550511 A CN105550511 A CN 105550511A
- Authority
- CN
- China
- Prior art keywords
- data
- quality
- report
- index
- verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 128
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013524 data verification Methods 0.000 title abstract description 7
- 238000012795 verification Methods 0.000 claims abstract description 121
- 238000011156 evaluation Methods 0.000 claims abstract description 44
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012423 maintenance Methods 0.000 claims description 34
- 238000001303 quality assessment method Methods 0.000 claims description 34
- 238000013507 mapping Methods 0.000 claims description 26
- 238000007726 management method Methods 0.000 claims description 24
- 238000005516 engineering process Methods 0.000 claims description 22
- 238000012372 quality testing Methods 0.000 claims description 21
- 238000011157 data evaluation Methods 0.000 claims description 19
- 230000006978 adaptation Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 238000007619 statistical method Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013468 resource allocation Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 7
- 238000013480 data collection Methods 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 14
- 238000003908 quality control method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G06F19/32—
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明提供一种基于数据校验技术的数据质量测评***及方法,该***包括数据采集单元、校验单元、质量评价单元、报告反馈单元、统计分析单元;该方法包括:获取异构医疗数据***中的医疗数据源内业务数据信息;进行合规性校验;对获取的业务数据的不同质量评价指标进行评价,并对业务数据的质量评价指标进行综合评分;将业务数据的质量评价结果以质量评分报告及数据校验报告的形式反馈给数据维护人员;对业务数据实际质量评价结果进行统计分析。本发明所解决的是区域医疗***数据校验过程中的数据质量评测问题,使得数据校验处理不仅是发现数据问题,而是将数据问题与数据质量进行综合评价,从而提升数据质量。
Description
技术领域
本发明涉及医疗行业数据质量控制领域,具体涉及一种基于数据校验技术的数据质量测评***及方法。
背景技术
在医疗数据的处理过程中,数据质量问题一直是数据处理过程中需要逐步改善和提升的内容。那么如何将数据质量的改善过程循序渐进的落实到数据处理的各个阶段和步骤中是当前关注和亟待解决的主要问题。
数据质量的评测其核心是依赖数据的校验结果,而数据的校验过程是可以灵活安插在数据处理各个阶段和过程中的,同时其校验规则的灵活定义也为数据质量的评测提供较为灵活的评测基础。而数据的校验过程与数据质量评价间的映射,是基于一系列关键指标项的关联映射,这些映射关系是数据校验值向数据质量值综合汇聚的依据,而这关联映射关系又可根据对数据质量关注的不同也灵活调配,从而可覆盖多维度的医疗业务数据质量控制。
发明内容
针对现有技术存在的问题,本发明提供一种基于数据校验技术的数据质量测评***及方法。
本发明的技术方式呢是:
一种基于数据校验技术的数据质量测评***,包括:
数据采集单元:获取异构医疗数据***中的医疗数据源内业务数据信息,所述业务数据信息的类型包括结构化数据与非结构化数据;
校验单元:根据定义的校验规则、校验指标及其权重对获取的业务数据信息内容进行合规性校验;
质量评价单元:对获取的业务数据的不同质量评价指标进行评价,并根据各质量评价指标的权重对业务数据的质量评价指标进行综合评分;
报告反馈单元:将业务数据的质量评价结果以质量评分报告及数据校验报告的形式反馈给数据维护人员;
统计分析单元:对业务数据实际质量评价结果进行统计分析,包括对业务数据运行趋势及业务数据的各类质量评价指标对比情况。
所述的数据采集单元包括数据源适配模块和采集规则编辑模块;
数据源适配模块:用于根据异构医疗数据***中的医疗数据源类型对医疗数据源进行访问适配,实现对医疗数据源的连通以及对医疗数据源内业务数据信息的查询,并根据采集逻辑的要求来动态访问不同医疗数据源,为采集规则编辑模块提供连通支持;
采集规则编辑模块:实现对异构医疗数据***中的业务数据获取规则的编辑和维护,通过支持对SQL脚本的编辑来实现对医疗数据源中结构化数据的获取以及对非结构化数据获取规则的维护和管理。
所述的数据质量评价单元包括指标映射模块和质量评价引擎模块;
指标映射模块:根据定义的质量评价规则将质量评价指标与校验指标进行映射,并对质量评价指标权重信息进行读取,将读取的数据提供给质量评价引擎模块,同时将质量评价引擎模块计算的质量评价结果返回给统计分析单元及报告反馈单元;
质量评价引擎模块:根据定义的质量评价规则,对某一类业务数据中某一质量评价指标计算其质量评价值,并根据各质量评价指标的权重对该类业务数据的质量评价指标进行综合评分得到质量评价结果。
所述的校验单元包括校验执行引擎模块和校验规则维护模块;
校验执行引擎模块:进行基于校验规则文件的数据校验,在进行数据校验的过程中同步完成数据校验指标的映射与数据校验指标的权重计算;
校验规则维护模块:实现对配置资源文件内容的维护管理,包括对校验规则文件、校验指标文件及权重定义信息的维护和管理,校验规则文件、校验指标文件及权重定义信息均以XML结构进行定义。
所述校验规则文件中包括用于校验数据表间业务逻辑的正确性的数据重复校验规则和数据关联校验规则,用于校验数据字段内数据内容的正确性的非空校验规则、正则校验规则和值域校验规则。
所述的报告反馈单元包括报告发布模块、质量评分报告模块、质量报告模块和配置维护模块;
质量评分报告模块:对某一类业务数据所涉及数据的不同质量评价指标的质量评价结果汇总形成质量评分报告;
校验报告模块:实现对某一类业务数据中所存在的错误进行汇总形成数据校验报告;
报告发布模块:根据报告信息配置表中定义的发布条件,将质量评分报告和数据校验报告发布给订阅该报告的对象;
配置维护模块:定义报告发布条件,实现对报告信息配置表的维护和管理,包括对报告时间、报告周期、报告对象及报告类型信息的配置管理。
所述的统计分析单元包括质量评分趋势模块和综合评分对比模块;
质量评分趋势模块:根据质量评分报告,生成某一个时间区间内某类业务数据根据某一类质量评价指标的数据质量趋势图表;
综合评分对比模块:根据质量评分报告,生成同类型业务数据间针对某一类质量评价指标的数据质量的对比图表。
采用所述的基于数据校验技术的数据质量测评***进行数据质量测评的方法,包括以下步骤:
步骤1、获取异构医疗数据***中的医疗数据源内业务数据信息,所述业务数据信息的类型包括结构化数据与非结构化数据;
步骤2、根据定义的校验规则、校验指标及其权重对获取的业务数据信息内容进行合规性校验;
步骤3、对获取的业务数据的不同质量评价指标进行评价,并根据各质量评价指标的权重对业务数据的质量评价指标进行综合评分;
步骤4、将业务数据的质量评价结果以质量评分报告及数据校验报告的形式反馈给数据维护人员;
步骤5、对业务数据实际质量评价结果进行统计分析,包括对业务数据运行趋势及业务数据的各类质量评价指标对比情况。
有益效果:
本发明的数据质量测评***的实现是基于模糊评判校验技术,实现对医疗业务数据的业务校验,对数据中所存在的问题进行汇总统计,并结合数据质量指标来为医疗业务数据进行统一质量评价。数据校验指标项与校验规则是可以通过校验规则文件来灵活制定的,其针对具体的业务数据特点来而进行定义;而数据质量指标的定义根据用户或数据分析人员所关心的数据质量范围而进行定义,使得***的数据质量评价结果满足数据分析人员的数据质量诉求。
本发明所解决的是区域医疗***数据校验过程中的数据质量评测问题,使得数据校验处理不仅是发现数据问题,而是将数据问题与数据质量进行综合评价,即从数据宏观得到数据质量结论,也从数据微观跟踪校验细节,从而提升数据质量。本数据校验方法及质量控制***目前已经成功实施在区域医疗数据处理项目中,跟踪并实时分析医疗业务数据质量情况,推动医疗卫生体系的建设和管理,为区域医疗***的构建提供有力支撑。
附图说明
图1是本发明具体实施方式的基于数据校验技术的数据质量测评***结构框图;
图2是本发明具体实施方式的数据采集单元结构框图;
图3是本发明具体实施方式的数据质量评价单元结构框图;
图4是本发明具体实施方式的校验单元结构框图;
图5是本发明具体实施方式的报告反馈单元结构框图;
图6是本发明具体实施方式的统计分析单元结构框图;
图7是本发明具体实施方式的数据质量测评方法流程图;
图8是本发明具体实施方式的应用结构示意图;
图9是本发明具体实施方式的各级指标关联结构图;
图10是本发明具体实施方式的各级文件关联结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做详细说明。
本发明的基于数据校验技术的数据质量测评***及方法实现对卫生医疗数据进行校验处理,将校验结果与数据质量评价指标进行统筹计算而获得客观质量评价结果,易于从数据宏观把控数据质量趋势和动向,同时从数据微观定位数据异常和错误,以便进行数据质量控制的过程能更全面准确的提升区域卫生医疗数据质量。
本发明在实施过程中,也适用于数据校验变更和质量指标调整的实施条件。当数据校验变更时,需要在数据校验规则文件中更新校验规则,并指定其所校验医疗数据源中业务数据内容;当质量评价指标变更时,需要更新校验指标文件及其对应权重表内容。业务数据质量评价过程中,从医疗数据源中动态提取具有较高质量提升价值的业务数据并进行实时的数据校验,校验过程具有实时性和针对性,其校验结果经过质量评价后,生成该类业务数据某一阶段的数据质量报告后,可以通过调整数据校验规则或优化被提取数据内容等手段,来对比多次的数据质量报告,从而定位影响数据质量的关键性症结点,从而有效改善业务数据质量。
在本实施例中,以对门诊数据的标准化过程为例,基于门诊业务数据的实际校验过程来定位数据中的异常和错误,并在对比多次数据优化后质量报告后,获得业务数据质量优化结论。本实施方式应用结构如图8所示,其中ESB用于适配获取来自区域内医疗信息***的医疗数据,校验缓存库用于缓存从医疗信息***中获得的待处理的医疗数据源,校验缓存库类型和结构多样,使用数据源适配单元实现对医疗数据源的无缝数据链接,然后采用本发明的***和方法实现基于校验缓存库中医疗数据源中业务数据的校验及数据质量测评处理。
一种基于数据校验技术的数据质量测评***,如图1所示,包括:
数据采集单元:获取异构医疗数据***中的医疗数据源内业务数据信息,所述业务数据信息的类型包括结构化数据与非结构化数据;
校验单元:根据定义的校验规则、校验指标及其权重对获取的业务数据信息内容进行合规性校验;
质量评价单元:对获取的业务数据的不同质量评价指标进行评价,并根据各质量评价指标的权重对业务数据的质量评价指标进行综合评分;
报告反馈单元:将业务数据的质量评价结果以质量评分报告及数据校验报告的形式反馈给数据维护人员;
统计分析单元:对业务数据的质量评价结果进行统计分析,包括对业务数据运行趋势及业务数据的各类质量评价指标对比情况。
如图2所示,数据采集单元包括数据源适配模块和采集规则编辑模块;
数据源适配模块:用于根据异构医疗数据***中的医疗数据源类型对医疗数据源进行访问适配,实现对医疗数据源的连通以及对医疗数据源内业务数据信息的查询,并根据采集逻辑的要求来动态访问不同医疗数据源,为采集规则编辑模块提供连通支持;
采集规则编辑模块:实现对异构医疗数据***中的业务数据获取规则的编辑和维护,通过支持对SQL脚本的编辑来实现对医疗数据源中结构化数据的获取以及对非结构化数据获取规则的维护和管理。
如图3所示,数据质量评价单元包括指标映射模块和质量评价引擎模块;
指标映射模块:根据定义的质量评价规则将质量评价指标与校验指标进行映射,并对质量评价指标权重信息进行读取和修改,将读取或修改的数据提供给质量评价引擎模块,同时将质量评价引擎模块计算的质量评价结果返回给统计分析单元及报告反馈单元;
质量评价引擎模块:根据定义的质量评价规则,对某一类业务数据中某一质量评价指标计算其质量评价值,并根据各质量评价指标的权重对该类业务数据的质量评价指标进行综合评分得到质量评价结果。
如图4所示,校验单元包括校验执行引擎模块和校验规则维护模块;
校验执行引擎模块:进行基于校验规则文件的数据校验,在进行数据校验的过程中同步完成数据校验指标的映射与数据校验指标的权重计算;
校验规则维护模块:实现对配置资源文件内容的维护管理,包括对校验规则文件、校验指标文件及权重定义信息的维护和管理,校验规则文件、校验指标文件及权重定义信息均以XML结构进行定义。
所述校验规则文件中包括用于校验数据表间业务逻辑的正确性的数据重复校验规则和数据关联校验规则,用于校验数据字段内数据内容的正确性的非空校验规则、正则校验规则和值域校验规则。
如图5所示,报告反馈单元包括报告发布模块、质量评分报告模块、质量报告模块和配置维护模块;
质量评分报告模块:对某一类业务数据所涉及数据的不同质量评价指标的质量评价结果汇总形成质量评分报告;
校验报告模块:实现对某一类业务数据中所存在的错误进行汇总形成数据校验报告;
报告发布模块:根据报告信息配置表中定义的发布条件,将质量评分报告和数据校验报告发布给订阅该报告的对象;
配置维护模块:定义报告发布条件,实现对报告信息配置表的维护和管理,包括对报告时间、报告周期、报告对象及报告类型信息的配置管理。
如图6所示,统计分析单元包括质量评分趋势模块和综合评分对比模块;
质量评分趋势模块:根据质量评分报告,生成某一个时间区间内某类业务数据根据某一类质量评价指标的数据质量趋势图表;
综合评分对比模块:根据质量评分报告,生成同类型业务数据间针对某一类质量评价指标的数据质量的对比图表。
采用所述的基于数据校验技术的数据质量测评***进行数据质量测评的方法,如图7所示,包括以下步骤:
步骤1、获取异构医疗数据***中的医疗数据源内业务数据信息,所述业务数据信息的类型包括结构化数据与非结构化数据;
步骤1-1、根据异构医疗数据***中的医疗数据源类型对医疗数据源进行访问适配,实现对医疗数据源的连通,记录医疗数据源的适配内容,并对医疗数据源内业务数据信息查询,包括结构、字段、类型;
其中对医疗数据源进行访问适配,包括对医疗数据源驱动文件、数据库名称、URL、登录信息的配置;
步骤1-2、根据采集逻辑的要求来动态访问不同医疗数据源,为采集规则编辑模块提供连通支持;
步骤1-3、对异构医疗数据***中的业务数据获取规则的编辑和维护,通过支持对SQL脚本的编辑来实现对医疗数据源中结构化数据的获取以及对非结构化数据获取规则的维护和管理。
步骤2、根据定义的校验规则、校验指标及其权重对获取的业务数据信息内容进行合规性校验;
步骤2-1、对配置资源文件内容的维护管理,包括对校验规则文件、校验指标文件及权重定义信息的维护和管理,校验规则文件、校验指标文件及权重定义信息均以XML结构进行定义。
校验规则文件中包括用于校验数据表间业务逻辑的正确性的数据重复校验规则和数据关联校验规则,用于校验数据字段内数据内容的正确性的非空校验规则、正则校验规则和值域校验规则;
步骤2-2、校验执行引擎模块解析校验规则XML文件后,载入该规则到内存中;对业务数据信息内容进行基于校验规则文件的数据校验,同步完成数据校验指标的映射与数据校验指标的权重计算;
步骤3、对获取的业务数据的不同质量评价指标进行评价,并根据各质量评价指标的权重对业务数据的质量评价指标进行综合评分;
步骤3-1、指标映射模块根据定义的质量评价规则将质量评价指标与校验指标进行映射,实现校验指标与质量评价指标关联;并对质量评价指标权重信息进行读取和修改,将读取或修改的数据提供给质量评价引擎模块;
在本实施例中,分析后得到一系列指标及规则,并以此确定数据质量评价指标及权重值。
某类业务数据的各质量评价指标的综合权重W综合权重=ΣWi=1,其中,Wi表示该类业务数据的第i个质量评价指标的权重。
对该类业务数据的各质量评价指标进行综合评分得到质量评价结果S综合得分=ΣSCi·Wi=SC数据范围×W数据范围+SC实际上报率×W实际上报率+SC字段饱和度×W字段饱和度+SC规范性×W规范性+SC业务关联性×W业务关联性+SC及时性×W及时性+SC连续性×W连续性
其中,SCi表示该类业务数据的第i个质量评价指标。
SCi包括:SC数据范围、SC实际上报率、SC字段饱和度、SC规范性、SC业务关联性、SC及时性、SC连续性。
SC数据范围=(医疗机构实际上传业务项数目/医疗机构应上传业务项数目)×100
考虑到每家医疗机构的类型、规模、等级等因素,可以上传的业务数据范围也是不同的,例如三甲医院应该上传的业务要比二甲医院、社区服务中心等范围广,不能要求这些医疗机构都按照三甲医院的业务数据范围上传数据,因此需要为每个医疗机构配置本医疗机构应该上传的业务数据范围,计算得分时,也需要根据该业务数据范围进行计算。
SC实际上报率=实际上报数据量/应上报数据量×100
SC字段饱和度=(XX文档1饱和度+XX文档2饱和度+……)/文档个数
XX数据饱和度=(XX数据物理表1饱和度+XX数据物理表2饱和度)/XX数据物理表个数,其中,一个文档为一条数据,物理表是存储各数据的数据表。
物理表饱和度=(A字段填写数+B字段填写数+……)+(必填字段1填写数+必填字段2填写数)/(所有字段*数据量+必填字段总数*数据量)
考虑到必填字段的重要性,在计算物理表饱和度时,按照上述计算公式,必填字段相当于被计算两遍。也就说,必填字段没填,则扣分多。这样防止机构接入时只将非必填字段上传,影响后面的展现和综合统计。
SC规范性=(XX文档1规范性+XX文档2规范性+……)/文档个数
XX数据规范性=(XX数据物理表1规范性+XX数据物理表2规范性)/XX数据物理表个数
物理表规范性=(A字段A1规则正确数据量+A字段A2规则正确数据量+B字段B1规则正确数据量+……+X字段非“其他”值域数据量+Y字段非“其他”值域数据量)/(规则总数×数据量),其中的A1规则、A2规则、B1规则等为数据规范性校验规则。
SC业务关联性=(业务关联指标1得分+业务关联指标2得分+业务关联指标3得分+……)/业务关联指标总数
业务关联指标1得分=(能关联数据量/总数据量)*100
SC及时性=(XX文档1及时性+XX文档2及时性+……)/文档个数
XX文档1及时性=(XX文档物理表1及时性+XX文档物理表2及时性)/XX文档物理表个数
XX文档物理表1及时性(平均差异天数)=((第一条业务数据的上传日期–业务日期)+(第二条业务数据的上传日期–业务日期)+……)/总数据条数
SC连续性=(XX文档1连续性+XX文档2连续性+……)/文档个数
XX文档1连续性=XX文档1指定的物理表的连续性
数据质量指标SCi与评价指标运算项Ci间存在映射的关联关系,多个Ci彼此逻辑计算值对应某一SCi。
在本实施例中,以SC规范性质量监控指标为例,其指标中包括“XX文档1规范性”和“文档个数”两类指标项:
SC规范性=(C文档1规范性+C文档2规范性+……)/C文档个数
而二者与数据校验数据QCi间又存在关联关系:
C文档规范性=(C文档物理表1规范性+C文档物理表2规范性)/C文档物理表个数
C物理表饱和度=(CA字段A1规则正确数据量+CA字段A2规则正确数据量+…+CX字段非“其他”值域数据量+CY字段非“其他”值域数据量)/(C规则总数×C数据量)
对两类数据指标的定义,以及两类数据指标关联关系的定义。校验指标QCi可定义为一级指标,质量评价指标SCi可定义为二级指标。一级指标用于定义医疗业务数据中某数据区域中数据的特征,通过校验指标映射医疗业务数据;二级指标用于定义医疗业务数据质量关键指标,通过质量评价指标映射校验指标。其映射结构如图9所示。
上述质量评价指标SCi与校验指标QCi的定义将以XML结构的形式存储在文件中校验规则、校验指标和权重表文件中。校验规则文件结构与校验指标文件结构、校验规则结构、指标权重彼此关联,共同定义并描述了校验指标向数据质量评价利用过程。彼此关联结构如图10所示。
校验规则文件内部结构使用XML树形元素结构,对表级校验及字段级校验的两类校验规则进行定义。其中,表级校验包括数据重复校验和数据关联校验,用于校验数据表间业务逻辑的正确性;字段级校验包括非空校验、正则校验和值域校验,用于校验数据字段内数据内容的正确性。
校验指标文件内部结构使用XML树形元素结构,其内部定义了一系列校验指标QCi,这些校验指标是对校验规则的组合和封装,是在实际业务中关注的关键业务指标项。校验指标QCi彼此间存在的关联关系,使用指标关联逻辑部分进行描述。同时,在校验指标文件结构内部也定义了其与校验规则结构文件中定义校验规则的映射关系,其映射关系描述了数据校验指标对实际数据校验规则的定义和利用情况。
质量评价指标文件结构内部使用XML树形元素结构,其内部定义了一系列质量评价指标SCi,这些质量评价指标是对校验指标的组合和封装,是在实际业务中关注的业务数据质量关键指标项。SCi彼此间存在的关联关系,使用指标关联逻辑部分进行描述。在质量评价指标文件内部结构也定义了其与校验指标文件中定义校验指标的映射关系,其映射关系描述了校验指标对实际校验指标的定义和利用情况。同时,在定义质量评价指标权重的过程中,通过在质量评价指标中引用权重表来定义该指标在不用分析背景下的综合质量评价指标。
步骤3-2、质量评价引擎模块载入数据质量评价规则文件,根据定义的质量评价规则,对某一类业务数据中某一质量评价指标计算其质量评价值;
步骤3-2-1、数据质量评价引擎载入数据质量权重规则文件,加载各质量评价指标的权重值;
步骤3-2-2、数据质量评价引擎载入步骤3-1映射后的某一类数据质量评价指标集合;
步骤3-2-3:给该类业务数据各质量评价指标分派权重值,并计算质量评价值;
步骤3-3、根据各质量评价指标的权重对该类业务数据的质量评价指标进行综合评分得到质量评价结果;
在本实施方式中,数据质量评价单元的质量评价结果是基于数据质量评价算法得到的,其计算的过程依赖于质量评价指标与校验指标间的映射匹配关系。
对类业务数据的质量评价指标进行综合评分得到质量评价结果,过程如下:
首先,根据数据质量属性将质量评价指标分成n元组,即S={SQ1,SQ2,SQ3…SQn},其中SQ1又可分成m元组评价指标运算项集合:{C11,C12,…,C1m},同理,可以将SQ2,SQ3…SQn进行分组,使用这些分组后的二级评价指标对数据质量进行评价决策,其中对表1的评价指标运算项与数据校验项进行匹配,对校验结果进行分项评分,并将分项评分的结果根据二级评价指标规则定义进行综合评判。
表1质量评价指标与评价指标运算项的映射关系
接下来确定评价用词集。对于用户反馈信息相关的质量评价指标,主要通过对数据结果的满意程度来形容数据质量的优劣。最常见的方式是用户对各个影响因素打分,将满意程度分为若干等级,用户选择对某项质量评价指标的满意程度的等级。将满意程度等级分为[A]非常满意、[B]满意、[C]一般、[D]差、[E]很差五个等级。如表2所示,这些评价标准等级称为评语集。
表2数据质量评语集
最后,确定模糊矩阵M。
评价矩阵Ai表示用户对一级评价指标i的满意度,它由五元组构成:Ai=(λi1,λi2,λi3,λi4,λi5)。
评价矩阵Bij表示用户对一级评价指标i对应的二级评价指标j的满意度,它由五元组构成:Bij=(αj1,αj2,αj3,αj4,αj5)。
其中,下标k=1,2,3,4,5分别对应评语集中的A、B、C、D、E五个等级,λik是对一级评价指标i选择各满意程度等级的用户所占的比例;αjk是对一级评价指标i对应的二级评价指标j选择各满意程度等级的用户所占的比例。
数据质量评价算法具体步骤:
(1)经过对数据特征进行分析后,基于一级评价指标得到其所属二级评价矩阵
B11=(α11,α12,α13,α14,α15)
B21=(α21,α22,α23,α24,α25)
…
Bm1=(αm1,αm2,αm3,αm4,αm5)
(2)把所有质量评价指标的单因素评价组成评价矩阵B1
(3)确定权重值
设某类数据的权值为Wi=(wi1,wi2,...,wij),其中wij表示一级评价指标i对应的二级评价指标j的权值,且Σwij=1。
(4)计算该类用户对此数据质量的综合评价
进一步得到单因素模糊矩阵A1=W1·B1=(λ11,λ12,λ13,λ14,λ15),它表示认为该数据质量“非常满意”的程度为λ11,“满意”的程度为λ12,“一般”的程度为λ13,“差”的程度为λ14,“很差”的程度为λ15。
类似地,可以通过二级综合评判得出可靠性和完整性的单因素λ11模糊矩阵A2、A3直到Am:
A2=W2·B1=(λ21,λ22,λ23,λ24,λ25)
A3=W3·B1=(λ31,λ32,λ33,λ34,λ35)
…
Am=Wm·B1=(λm1,λm2,λm3,λm4,λm5)
(5)将各一级评价指标的单因素模糊矩阵Ai组成模糊矩阵M:
(6)确立权值集合
在评价因素体系中,每个因素对实现***评价目标和功能的重要程度各不相同。权值表示各因素的相对重要程度。
在此处使用权值向量描述各个评价指标的权值信息。
W=(w1,w2,w3,w4,w5,w6,w7),其中wi表示第i个一级评价指标的权值。该权值的定义可以根据行业标准或大量统计,利用专家咨询法、主成分分析法、层次分析法等确立权值集的方法对各个影响数据质量的因素赋予相应的权值。对于具体选取何种权重计量方法不做限定。
(7)模糊矩阵合成
R=W·M=(μ1,μ2,μ3,μ4,μ5),它表示的评价是:对某数据“非常满意”的程度为μ1,“满意”的程度为μ2,“一般”的程度为μ3,“差”的程度为μ4,“很差”的程度为μ5。
在本实施方式中,质量评价指标可定义为:
表3二级评价指标与评价指标运算项映射关系
其中,SC数据范围为每个医疗机构配置本机构应该上传的业务数据范围,计算质量指标评价得分时,也需要根据该业务数据范围进行计算。
SC实际上报率为评价上报数据的实际上报情况。
SC字段饱和度为评价上报数据的完整情况。
SC规范性为评价数据长度、格式、内容的标准规范情况,是否符合平台校验标准。
SC业务关联性为评价完整性、合理性校验情况,是否存在数据不合理现象。
SC及时性主要是考察医院是否及时的上报数据,由于各家医院给出的采集的时间点不同来灵活配置采集策略,可以根据情况灵活配置采集开始时间点。
SC连续性为评价能否连续多天实现医疗业务数据的正确上报。
在完成质量评价指标的定义后,可定义数据质量评语集,在此保留表2中定义的[A]非常满意、[B]满意、[C]一般、[D]差、[E]很差五个等级的定义级别。
而质量评价指标与数据校验规则具有匹配对应关系。以SC规范性对应的二级指标C文档物理表规 范性为例,文档规范性是对N个文档中所含M个字段的规范性校验,通过N次循环遍历将每个文档中所含字段的规范进行综合校验后累计,将得到二级指标C文档物理表规范性数值。
其中,对M各字段的规范性校验,根据数据校验指标结构文件中指标逻辑进行定义,定义如下:
C文档i物理表规范性=(CA字段A1规则正确数据量+CA字段A2规则正确数据量+CB字段B1规则正确数据量+…+CX字段非其他值域数据量+CY 字段非其他值域数据量)/(C规则总数×C数据量),其中i∈(0,N)
而其中CA字段A1规则正确数据量的数据校验规则映射为校验规则文件如下所示的XML文件结构:
<ruletype="required"fieldName="ORGAN_CODE"fieldDes="校验结构代码"from=""resultType="0"errorCode="3001"errorLevel="1">
<message>校验机构代码(ORGAN_CODE)字段不能为空</message>
</rule>
同理,CA字段A2规则正确数据量、CB字段B1规则正确数据量等都可与校验规则文件所定义的校验规则文件完成规则关联映射。
因此,在实际校验规则的过程中,可通过校验规则获得该数据校验结果值,校验结果值根据数据指标关联逻辑进行运算,运算的结果记入数据质量模糊矩阵计算。
基于上述校验过程,可通过对N=5类文档、M=3类字段、共4张物理表、共300条数据进行物理规范性得分计算,即:
C文档1物理表1规范性
=(C1字段1规则正确数据量+C1字段2规则正确数据量+C1字段3规则正确数据量+…+C2字段非其他值域数据量+C3字段非其他值域数据量)/(C规则总数×C数据量)
=(3+3+2+3+3+3+0+0)/(3×300)
≈0.0189
同理,可获得4张物理表规范性,得到:
C文档1物理表2规范性≈0.0189
C文档1物理表3规范性≈0.0185
C文档1物理表4规范性≈0.0191
汇总第1类文档规范性值,得到:
C文档1规范性=(C文档1物理表1规范性+C文档1物理表2规范性+C文档1物理表3规范性+C文档1物理表4规范性)/C文档物理表个 数
=(0.0189+0.0189+0.0185+0.0191)/4
=0.01885
同理,得到N=5类文档的规范性结论,得到
C文档2规范性=0.01892
C文档3规范性=0.01890
C文档4规范性=0.01888
C文档5规范性=0.01879
从而得到SC规范性质量评价指标的运算结论值:
SC规范性=(C文档1规范性+C文档2规范性+C文档3规范性+C文档4规范性+C文档5规范性)/C文档个数
=(0.01885+0.01892+0.01890+0.01888+0.01879)/5
=0.018868
SC规范性可理解为N=5类文档规范性的样本均值,可计算样本标准差。
基于上述数值,可确定模糊矩阵M。
评价矩阵A规范性表示数据用户对一级评价指标“规范性”满意度,它由五元组构成:
A规范性=(λ41,λ42,λ43,λ44,λ45)=(0.000018,0.000052,0.000032,0.000012,0.000078),即样本均值与样本差的绝对值。
由A规范性结果可知,5类样本与均值间偏差度以此可定义为1到5的分值,即:
A规范性=(2,4,3,1,5)
同理,可得到A数据范围、A上报率、A字段饱和度、A业务关联性、A及时性的分值,可合并上述Ai得到模糊矩阵M:
确定权值为W=(w1,w2,w3,w4,w5,w6,w7)=(0.1,0.15,0.05,0.15,0.25,0.1,0.2)且ΣWi=1,其中wi表示一级评价指标i的权值。
它表示认为该数据质量“非常满意”的程度为2.85,“满意”的程度为3.2,“一般”的程度为2.1,“差”的程度为3.2,“很差”的程度为3.6。
基于上述评价结论,可推断数据质量总体偏低,可进一步对“差”及“很差”的部分数据进行独立分析,以定位最具有影响的质量评价指标。
步骤4、将质量评价引擎模块计算的质量评价结果返回给报告反馈单元;
步骤4-1、对报告信息配置表的维护和管理,包括对报告时间、报告周期、报告对象及报告类型信息的配置管理;
步骤4-2、对某一类业务数据所涉及数据的不同质量评价指标的质量评价结果汇总形成质量评分报告;
步骤4-3、对某一类业务数据中所存在的错误进行汇总形成数据校验报告;
步骤4-4、根据报告信息配置表中定义的发布条件,将质量评分报告和数据校验报告发布给订阅该报告的对象;
步骤5、对业务数据实际质量评价结果进行统计分析,包括对业务数据运行趋势及业务数据的各类质量评价指标对比情况。
步骤5-1、根据质量评分报告,生成某一个时间区间内某类业务数据根据某一类质量评价指标的数据质量趋势图表;
步骤5-2、根据质量评分报告,生成同类型业务数据间针对某一类质量评价指标的数据质量的对比图表。
本发明的主旨是实现基于数据校验技术的数据质量评测,实现针对医疗行业医疗数据质量的管理控制,使得医疗数据是质量问题能够实现有效定位发现,从更有效的对医疗数据质量进行提升。数据校验规则的定义基于数据特征来制定,目的是用规则来聚焦数据中的细微异常和错误。对一系列数据校验结果的归纳分析,通过数据公式的方式进行计算,正是本发明中数据质量评价所实现的目的。数据校验技术与数据质量技术的结合,使得质量评测结论依赖于数据校验结果,对校验结果的利用使得用户不在需要分析复杂的数据校验报告,而转向对质量结果的关注和分析,同时对质量指标的不断丰富和补充,也促使数据校验规则的健全完善。
虽然以上描述了本发明的具体实施方式,但是本领域内的熟练的技术人员应当理解,这些仅是举例说明,可以对这些实施方式做出多种变更或修改,而不背离本发明的原理和实质。本发明的范围仅由所附权利要求书限定。
Claims (10)
1.一种基于数据校验技术的数据质量测评***,其特征在于,包括:
数据采集单元:获取异构医疗数据***中的医疗数据源内业务数据信息,所述业务数据信息的类型包括结构化数据与非结构化数据;
校验单元:根据定义的校验规则、校验指标及其权重对获取的业务数据信息内容进行合规性校验;
质量评价单元:对获取的业务数据的不同质量评价指标进行评价,并根据各质量评价指标的权重对业务数据的质量评价指标进行综合评分;
报告反馈单元:将业务数据的质量评价结果以质量评分报告及数据校验报告的形式反馈给数据维护人员;
统计分析单元:对业务数据的质量评价结果进行统计分析,包括对业务数据运行趋势及业务数据的各类质量评价指标对比情况。
2.根据权利要求1所述的基于数据校验技术的数据质量测评***,其特征在于,所述的数据采集单元包括数据源适配模块和采集规则编辑模块;
数据源适配模块:用于根据异构医疗数据***中的医疗数据源类型对医疗数据源进行访问适配,实现对医疗数据源的连通以及对医疗数据源内业务数据信息的查询,并根据采集逻辑的要求来动态访问不同医疗数据源,为采集规则编辑模块提供连通支持;
采集规则编辑模块:实现对异构医疗数据***中的业务数据获取规则的编辑和维护,通过支持对SQL脚本的编辑来实现对医疗数据源中结构化数据的获取以及对非结构化数据获取规则的维护和管理。
3.根据权利要求1所述的基于数据校验技术的数据质量测评***,其特征在于,所述的数据质量评价单元包括指标映射模块和质量评价引擎模块;
指标映射模块:根据定义的质量评价规则将质量评价指标与校验指标进行映射,并对质量评价指标权重信息进行读取和修改,将读取或修改的数据提供给质量评价引擎模块,同时将质量评价引擎模块计算的质量评价结果返回给统计分析单元及报告反馈单元;
质量评价引擎模块:根据定义的质量评价规则,对某一类业务数据中某一质量评价指标计算其质量评价值,并根据各质量评价指标的权重对该类业务数据的质量评价指标进行综合评分得到质量评价结果。
4.根据权利要求1所述的基于数据校验技术的数据质量测评***,其特征在于,所述的校验单元包括校验执行引擎模块和校验规则维护模块;
校验执行引擎模块:进行基于校验规则文件的数据校验,在进行数据校验的过程中同步完成数据校验指标的映射与数据校验指标的权重计算;
校验规则维护模块:实现对配置资源文件内容的维护管理,包括对校验规则文件、校验指标文件及权重定义信息的维护和管理,校验规则文件、校验指标文件及权重定义信息均以XML结构进行定义。
5.根据权利要求4所述的基于数据校验技术的数据质量测评***,其特征在于,所述校验规则文件中包括用于校验数据表间业务逻辑的正确性的数据重复校验规则和数据关联校验规则,用于校验数据字段内数据内容的正确性的非空校验规则、正则校验规则和值域校验规则。
6.根据权利要求1所述的基于数据校验技术的数据质量测评***,其特征在于,所述的报告反馈单元包括报告发布模块、质量评分报告模块、质量报告模块和配置维护模块;
质量评分报告模块:对某一类业务数据所涉及数据的不同质量评价指标的质量评价结果汇总形成质量评分报告;
校验报告模块:实现对某一类业务数据中所存在的错误进行汇总形成数据校验报告;
报告发布模块:根据报告信息配置表中定义的发布条件,将质量评分报告和数据校验报告发布给订阅该报告的对象;
配置维护模块:定义报告发布条件,实现对报告信息配置表的维护和管理,包括对报告时间、报告周期、报告对象及报告类型信息的配置管理。
7.根据权利要求1所述的基于数据校验技术的数据质量测评***,其特征在于,所述的统计分析单元包括质量评分趋势模块和综合评分对比模块;
质量评分趋势模块:根据质量评分报告,生成某一个时间区间内某类业务数据根据某一类质量评价指标的数据质量趋势图表;
综合评分对比模块:根据质量评分报告,生成同类型业务数据间针对某一类质量评价指标的数据质量的对比图表。
8.采用权利要求1所述的基于数据校验技术的数据质量测评***进行数据质量测评的方法,其特征在于,包括以下步骤:
步骤1、获取异构医疗数据***中的医疗数据源内业务数据信息,所述业务数据信息的类型包括结构化数据与非结构化数据;
步骤2、根据定义的校验规则、校验指标及其权重对获取的业务数据信息内容进行合规性校验;
步骤3、对获取的业务数据的不同质量评价指标进行评价,并根据各质量评价指标的权重对业务数据的质量评价指标进行综合评分;
步骤4、将业务数据的质量评价结果以质量评分报告及数据校验报告的形式反馈给数据维护人员;
步骤5、对业务数据实际质量评价结果进行统计分析,包括对业务数据运行趋势及业务数据的各类质量评价指标对比情况。
9.根据权利要求8所述的数据质量测评方法,其特征在于,所述步骤3具体步骤如下:
步骤3-1、指标映射模块根据定义的质量评价规则将质量评价指标与校验指标进行映射,实现校验指标与质量评价指标关联;
步骤3-2、质量评价引擎模块载入数据质量评价规则文件,根据定义的质量评价规则,对某一类业务数据中某一质量评价指标计算其质量评价值;
步骤3-2-1、数据质量评价引擎载入数据质量权重规则文件,加载各质量评价指标的权重值;
步骤3-2-2、数据质量评价引擎载入步骤3-1映射后的某一类数据质量评价指标集合;
步骤3-2-3:给该类业务数据各质量评价指标分派权重值,并计算质量评价值;
步骤3-3、根据各质量评价指标的权重对该类业务数据的质量评价指标进行综合评分得到质量评价结果。
10.根据权利要求8所述的数据质量测评方法,其特征在于,所述步骤4具体步骤如下:
步骤4-1、对报告信息配置表的维护和管理,包括对报告时间、报告周期、报告对象及报告类型信息的配置管理;
步骤4-2、对某一类业务数据所涉及数据的不同质量评价指标的质量评价结果汇总形成质量评分报告;
步骤4-3、对某一类业务数据中所存在的错误进行汇总形成数据校验报告;
步骤4-4、根据报告信息配置表中定义的发布条件,将质量评分报告和数据校验报告发布给订阅该报告的对象。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510921093.6A CN105550511B (zh) | 2015-12-11 | 2015-12-11 | 一种基于数据校验技术的数据质量测评***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510921093.6A CN105550511B (zh) | 2015-12-11 | 2015-12-11 | 一种基于数据校验技术的数据质量测评***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105550511A true CN105550511A (zh) | 2016-05-04 |
CN105550511B CN105550511B (zh) | 2018-02-09 |
Family
ID=55829699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510921093.6A Expired - Fee Related CN105550511B (zh) | 2015-12-11 | 2015-12-11 | 一种基于数据校验技术的数据质量测评***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105550511B (zh) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682179A (zh) * | 2016-12-29 | 2017-05-17 | 深圳市华傲数据技术有限公司 | 一种数据质量的检测方法及装置 |
CN107066500A (zh) * | 2016-12-30 | 2017-08-18 | 江苏瑞中数据股份有限公司 | 一种基于pms模型的电网海量数据质量校验方法 |
CN107784591A (zh) * | 2017-02-16 | 2018-03-09 | 平安科技(深圳)有限公司 | 名单数据处理方法及装置 |
CN108021468A (zh) * | 2017-12-08 | 2018-05-11 | 泰康保险集团股份有限公司 | 医疗养老协同***中业务数据的校验方法及装置 |
CN108109012A (zh) * | 2017-12-29 | 2018-06-01 | 金螳螂家装电子商务(苏州)有限公司 | 一种应用于互联网家装平台的门店运营数据统计方法 |
CN108984567A (zh) * | 2017-06-02 | 2018-12-11 | 华为技术有限公司 | 一种业务数据管理***及方法 |
CN109213986A (zh) * | 2018-09-06 | 2019-01-15 | 中国疾病预防控制中心环境与健康相关产品安全所 | 一种环境健康数据质量核查的自动化报告方法 |
CN109462517A (zh) * | 2018-10-24 | 2019-03-12 | 云南电网有限责任公司信息中心 | 一种面向数字电网业务的数据监测的方法、***及设备 |
CN109522318A (zh) * | 2018-10-22 | 2019-03-26 | 中国银行股份有限公司 | 一种数据质量管理方法及*** |
CN109669936A (zh) * | 2018-12-25 | 2019-04-23 | 福建南威软件有限公司 | 一种基于聚合模型的海量数据质量报告生成方法 |
CN109684321A (zh) * | 2018-12-25 | 2019-04-26 | 江苏满运软件科技有限公司 | 数据质量管理方法、装置、电子设备、存储介质 |
CN110309125A (zh) * | 2019-06-24 | 2019-10-08 | 招商局金融科技有限公司 | 数据校验方法、电子装置及存储介质 |
CN110337695A (zh) * | 2016-09-30 | 2019-10-15 | 曹庆恒 | 基于业务单元数据特征的处方管控数据标准管理*** |
CN110427361A (zh) * | 2019-08-01 | 2019-11-08 | 万达信息股份有限公司 | 一种针对医疗数据的质量控制方法及*** |
CN110648756A (zh) * | 2019-09-11 | 2020-01-03 | 北京亚信数据有限公司 | 一种确定医疗数据质量的方法、装置及计算设备 |
CN110704502A (zh) * | 2019-11-20 | 2020-01-17 | 中电万维信息技术有限责任公司 | 一种组件化数据质量检核方法 |
CN110908982A (zh) * | 2019-10-23 | 2020-03-24 | 南方电网数字电网研究院有限公司 | 一种基于指标权重的数据质量科学算分评价方法及*** |
CN111161815A (zh) * | 2019-12-27 | 2020-05-15 | 深圳中兴网信科技有限公司 | 医疗数据检测方法、装置、终端和计算机可读存储介质 |
CN111177134A (zh) * | 2019-12-26 | 2020-05-19 | 上海科技发展有限公司 | 适用于海量数据的数据质量分析方法、装置、终端及介质 |
CN111241086A (zh) * | 2020-01-17 | 2020-06-05 | 甘肃省卫生健康统计信息中心(西北人口信息中心) | 一种基于医疗大数据的数据质量改进方法及*** |
CN111554371A (zh) * | 2020-03-30 | 2020-08-18 | 平安医疗健康管理股份有限公司 | 互联网数据的处理方法及装置、计算机设备、存储介质 |
CN112183039A (zh) * | 2020-09-16 | 2021-01-05 | 支付宝(杭州)信息技术有限公司 | 一种业务报表的合规校验方法及装置 |
CN112448840A (zh) * | 2019-11-27 | 2021-03-05 | 北京红山信息科技研究院有限公司 | 一种通信数据质量监控方法、装置、服务器及存储介质 |
CN112632052A (zh) * | 2020-12-29 | 2021-04-09 | 中通服公众信息产业股份有限公司 | 一种异构数据的共享方法及智能共享*** |
CN112669944A (zh) * | 2020-12-22 | 2021-04-16 | 山东众阳健康科技集团有限公司 | 基于质控引擎的医疗监控方法、***、介质及设备 |
CN112766676A (zh) * | 2021-01-08 | 2021-05-07 | 深圳市酷开网络科技股份有限公司 | 闭环数据质量治理方法、装置、终端设备及存储介质 |
CN113127459A (zh) * | 2019-12-31 | 2021-07-16 | 贵州医渡云技术有限公司 | 一种数据治理的实现方法、装置、可读介质及电子设备 |
CN115050479A (zh) * | 2022-04-12 | 2022-09-13 | 江南大学附属医院 | 多中心研究的数据质量评价方法、***及设备 |
CN116663893A (zh) * | 2023-05-16 | 2023-08-29 | 中国疾病预防控制中心环境与健康相关产品安全所 | 面向环境健康风险评估的综合数据处理方法及*** |
CN117524388A (zh) * | 2023-11-27 | 2024-02-06 | 浙江省卫生健康信息中心 | 一种健康医疗数据实时采集与质量控制方法 |
CN117743310A (zh) * | 2023-12-19 | 2024-03-22 | 云宝宝大数据产业发展有限责任公司 | 一种全周期数据治理方法、***及存储介质 |
CN118278959A (zh) * | 2024-06-03 | 2024-07-02 | 广东省食品检验所(广东省酒类检测中心) | 一种食品安全抽检数据校验方法、存储介质及*** |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101576893A (zh) * | 2008-05-09 | 2009-11-11 | 北京世纪拓远软件科技发展有限公司 | 数据质量分析方法及*** |
CN101620701A (zh) * | 2009-05-14 | 2010-01-06 | 北京东方文骏软件科技有限责任公司 | 基于层次法的kpi分析在电信行业收入保障***中的应用 |
US20120102002A1 (en) * | 2010-10-25 | 2012-04-26 | Vinaya Sathyanarayana | Automatic data validation and correction |
CN102708149A (zh) * | 2012-04-01 | 2012-10-03 | 河海大学 | 数据质量管理方法和*** |
CN102938731A (zh) * | 2012-11-22 | 2013-02-20 | 北京锐易特软件技术有限公司 | 一种基于代理缓存适配模型的交换集成装置及方法 |
CN103020461A (zh) * | 2012-12-20 | 2013-04-03 | 广东电网公司电力科学研究院 | 电能质量模糊评价方法及装置 |
CN103414601A (zh) * | 2013-07-19 | 2013-11-27 | 广东电网公司电力调度控制中心 | 用于通信资源管理***的数据检测方法和*** |
CN104008493A (zh) * | 2014-03-25 | 2014-08-27 | 北京中电普华信息技术有限公司 | 一种数据获取方法及装置 |
CN104156415A (zh) * | 2014-07-31 | 2014-11-19 | 沈阳锐易特软件技术有限公司 | 解决医疗数据标准编码对照问题的映射处理***及方法 |
CN104361221A (zh) * | 2014-10-31 | 2015-02-18 | 沈阳锐易特软件技术有限公司 | 基于异构***数据映射模板的医疗数据采集***及方法 |
CN104766259A (zh) * | 2015-03-31 | 2015-07-08 | 华据医疗评估信息技术(北京)有限公司 | 一种基于单病种模型的医疗临床质量监测与评价*** |
CN104778550A (zh) * | 2015-04-15 | 2015-07-15 | 国网湖南省电力公司 | 一种基于实时运行数据的电网质量分析方法 |
CN105005683A (zh) * | 2015-06-17 | 2015-10-28 | 北京锐易特软件技术有限公司 | 一种解决区域医疗***数据规范化问题的缓存***及方法 |
-
2015
- 2015-12-11 CN CN201510921093.6A patent/CN105550511B/zh not_active Expired - Fee Related
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101576893A (zh) * | 2008-05-09 | 2009-11-11 | 北京世纪拓远软件科技发展有限公司 | 数据质量分析方法及*** |
CN101620701A (zh) * | 2009-05-14 | 2010-01-06 | 北京东方文骏软件科技有限责任公司 | 基于层次法的kpi分析在电信行业收入保障***中的应用 |
US20120102002A1 (en) * | 2010-10-25 | 2012-04-26 | Vinaya Sathyanarayana | Automatic data validation and correction |
CN102708149A (zh) * | 2012-04-01 | 2012-10-03 | 河海大学 | 数据质量管理方法和*** |
CN102938731A (zh) * | 2012-11-22 | 2013-02-20 | 北京锐易特软件技术有限公司 | 一种基于代理缓存适配模型的交换集成装置及方法 |
CN103020461A (zh) * | 2012-12-20 | 2013-04-03 | 广东电网公司电力科学研究院 | 电能质量模糊评价方法及装置 |
CN103414601A (zh) * | 2013-07-19 | 2013-11-27 | 广东电网公司电力调度控制中心 | 用于通信资源管理***的数据检测方法和*** |
CN104008493A (zh) * | 2014-03-25 | 2014-08-27 | 北京中电普华信息技术有限公司 | 一种数据获取方法及装置 |
CN104156415A (zh) * | 2014-07-31 | 2014-11-19 | 沈阳锐易特软件技术有限公司 | 解决医疗数据标准编码对照问题的映射处理***及方法 |
CN104361221A (zh) * | 2014-10-31 | 2015-02-18 | 沈阳锐易特软件技术有限公司 | 基于异构***数据映射模板的医疗数据采集***及方法 |
CN104766259A (zh) * | 2015-03-31 | 2015-07-08 | 华据医疗评估信息技术(北京)有限公司 | 一种基于单病种模型的医疗临床质量监测与评价*** |
CN104778550A (zh) * | 2015-04-15 | 2015-07-15 | 国网湖南省电力公司 | 一种基于实时运行数据的电网质量分析方法 |
CN105005683A (zh) * | 2015-06-17 | 2015-10-28 | 北京锐易特软件技术有限公司 | 一种解决区域医疗***数据规范化问题的缓存***及方法 |
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110337695A (zh) * | 2016-09-30 | 2019-10-15 | 曹庆恒 | 基于业务单元数据特征的处方管控数据标准管理*** |
CN106682179A (zh) * | 2016-12-29 | 2017-05-17 | 深圳市华傲数据技术有限公司 | 一种数据质量的检测方法及装置 |
CN107066500A (zh) * | 2016-12-30 | 2017-08-18 | 江苏瑞中数据股份有限公司 | 一种基于pms模型的电网海量数据质量校验方法 |
CN107066500B (zh) * | 2016-12-30 | 2020-12-04 | 江苏瑞中数据股份有限公司 | 一种基于pms模型的电网海量数据质量校验方法 |
CN107784591A (zh) * | 2017-02-16 | 2018-03-09 | 平安科技(深圳)有限公司 | 名单数据处理方法及装置 |
CN107784591B (zh) * | 2017-02-16 | 2021-04-20 | 平安科技(深圳)有限公司 | 名单数据处理方法及装置 |
CN108984567A (zh) * | 2017-06-02 | 2018-12-11 | 华为技术有限公司 | 一种业务数据管理***及方法 |
CN108984567B (zh) * | 2017-06-02 | 2021-04-09 | 华为技术有限公司 | 一种业务数据管理***及方法 |
CN108021468A (zh) * | 2017-12-08 | 2018-05-11 | 泰康保险集团股份有限公司 | 医疗养老协同***中业务数据的校验方法及装置 |
CN108109012A (zh) * | 2017-12-29 | 2018-06-01 | 金螳螂家装电子商务(苏州)有限公司 | 一种应用于互联网家装平台的门店运营数据统计方法 |
CN109213986A (zh) * | 2018-09-06 | 2019-01-15 | 中国疾病预防控制中心环境与健康相关产品安全所 | 一种环境健康数据质量核查的自动化报告方法 |
CN109522318A (zh) * | 2018-10-22 | 2019-03-26 | 中国银行股份有限公司 | 一种数据质量管理方法及*** |
CN109522318B (zh) * | 2018-10-22 | 2022-01-21 | 中国银行股份有限公司 | 一种数据质量管理方法及*** |
CN109462517A (zh) * | 2018-10-24 | 2019-03-12 | 云南电网有限责任公司信息中心 | 一种面向数字电网业务的数据监测的方法、***及设备 |
CN109684321A (zh) * | 2018-12-25 | 2019-04-26 | 江苏满运软件科技有限公司 | 数据质量管理方法、装置、电子设备、存储介质 |
CN109669936A (zh) * | 2018-12-25 | 2019-04-23 | 福建南威软件有限公司 | 一种基于聚合模型的海量数据质量报告生成方法 |
CN110309125A (zh) * | 2019-06-24 | 2019-10-08 | 招商局金融科技有限公司 | 数据校验方法、电子装置及存储介质 |
CN110309125B (zh) * | 2019-06-24 | 2021-09-21 | 招商局金融科技有限公司 | 数据校验方法、电子装置及存储介质 |
CN110427361A (zh) * | 2019-08-01 | 2019-11-08 | 万达信息股份有限公司 | 一种针对医疗数据的质量控制方法及*** |
CN110648756A (zh) * | 2019-09-11 | 2020-01-03 | 北京亚信数据有限公司 | 一种确定医疗数据质量的方法、装置及计算设备 |
CN110908982A (zh) * | 2019-10-23 | 2020-03-24 | 南方电网数字电网研究院有限公司 | 一种基于指标权重的数据质量科学算分评价方法及*** |
CN110704502A (zh) * | 2019-11-20 | 2020-01-17 | 中电万维信息技术有限责任公司 | 一种组件化数据质量检核方法 |
CN112448840A (zh) * | 2019-11-27 | 2021-03-05 | 北京红山信息科技研究院有限公司 | 一种通信数据质量监控方法、装置、服务器及存储介质 |
CN112448840B (zh) * | 2019-11-27 | 2023-05-02 | 北京红山信息科技研究院有限公司 | 一种通信数据质量监控方法、装置、服务器及存储介质 |
CN111177134B (zh) * | 2019-12-26 | 2021-04-02 | 上海科技发展有限公司 | 适用于海量数据的数据质量分析方法、装置、终端及介质 |
CN111177134A (zh) * | 2019-12-26 | 2020-05-19 | 上海科技发展有限公司 | 适用于海量数据的数据质量分析方法、装置、终端及介质 |
CN111161815A (zh) * | 2019-12-27 | 2020-05-15 | 深圳中兴网信科技有限公司 | 医疗数据检测方法、装置、终端和计算机可读存储介质 |
CN113127459B (zh) * | 2019-12-31 | 2023-08-29 | 贵州医渡云技术有限公司 | 一种数据治理的实现方法、装置、可读介质及电子设备 |
CN113127459A (zh) * | 2019-12-31 | 2021-07-16 | 贵州医渡云技术有限公司 | 一种数据治理的实现方法、装置、可读介质及电子设备 |
CN111241086B (zh) * | 2020-01-17 | 2021-08-31 | 甘肃省卫生健康统计信息中心(西北人口信息中心) | 一种基于医疗大数据的数据质量改进方法及*** |
CN111241086A (zh) * | 2020-01-17 | 2020-06-05 | 甘肃省卫生健康统计信息中心(西北人口信息中心) | 一种基于医疗大数据的数据质量改进方法及*** |
CN111554371A (zh) * | 2020-03-30 | 2020-08-18 | 平安医疗健康管理股份有限公司 | 互联网数据的处理方法及装置、计算机设备、存储介质 |
CN112183039A (zh) * | 2020-09-16 | 2021-01-05 | 支付宝(杭州)信息技术有限公司 | 一种业务报表的合规校验方法及装置 |
CN112183039B (zh) * | 2020-09-16 | 2024-04-19 | 支付宝(杭州)信息技术有限公司 | 一种业务报表的合规校验方法及装置 |
CN112669944A (zh) * | 2020-12-22 | 2021-04-16 | 山东众阳健康科技集团有限公司 | 基于质控引擎的医疗监控方法、***、介质及设备 |
CN112632052B (zh) * | 2020-12-29 | 2022-10-28 | 中通服公众信息产业股份有限公司 | 一种异构数据的共享方法及智能共享*** |
CN112632052A (zh) * | 2020-12-29 | 2021-04-09 | 中通服公众信息产业股份有限公司 | 一种异构数据的共享方法及智能共享*** |
CN112766676A (zh) * | 2021-01-08 | 2021-05-07 | 深圳市酷开网络科技股份有限公司 | 闭环数据质量治理方法、装置、终端设备及存储介质 |
CN115050479A (zh) * | 2022-04-12 | 2022-09-13 | 江南大学附属医院 | 多中心研究的数据质量评价方法、***及设备 |
CN116663893A (zh) * | 2023-05-16 | 2023-08-29 | 中国疾病预防控制中心环境与健康相关产品安全所 | 面向环境健康风险评估的综合数据处理方法及*** |
CN117524388A (zh) * | 2023-11-27 | 2024-02-06 | 浙江省卫生健康信息中心 | 一种健康医疗数据实时采集与质量控制方法 |
CN117524388B (zh) * | 2023-11-27 | 2024-04-16 | 浙江省卫生健康信息中心 | 一种健康医疗数据实时采集与质量控制方法 |
CN117743310A (zh) * | 2023-12-19 | 2024-03-22 | 云宝宝大数据产业发展有限责任公司 | 一种全周期数据治理方法、***及存储介质 |
CN118278959A (zh) * | 2024-06-03 | 2024-07-02 | 广东省食品检验所(广东省酒类检测中心) | 一种食品安全抽检数据校验方法、存储介质及*** |
Also Published As
Publication number | Publication date |
---|---|
CN105550511B (zh) | 2018-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105550511A (zh) | 一种基于数据校验技术的数据质量测评***及方法 | |
Lenzen et al. | Building Eora: a global multi-region input–output database at high country and sector resolution | |
Xie et al. | Simulating emergent urban form using agent-based modeling: Desakota in the Suzhou-Wuxian region in China | |
Srdjevic et al. | An objective multi-criteria evaluation of water management scenarios | |
Brackstone | Managing data quality in a statistical agency | |
Yin et al. | Imputing erroneous data of single-station loop detectors for nonincident conditions: Comparison between temporal and spatial methods | |
Jones-Farrand et al. | Comparison of statistical and theoretical habitat models for conservation planning: the benefit of ensemble prediction | |
CN108197737A (zh) | 一种建立医保住院费用预测模型的方法及*** | |
Dennett | Estimating flows between geographical locations:‘get me started in’spatial interaction modelling | |
Koch et al. | A comparison of modelling systems for the development and revision of water resources management plans | |
Rose et al. | Validation of spatiodemographic estimates produced through data fusion of small area census records and household microdata | |
Willekens | Evidence-based monitoring of international migration flows in Europe | |
Hung et al. | Assessing adaptive irrigation impacts on water scarcity in nonstationary environments—a multi‐agent reinforcement learning approach | |
Li et al. | Knowledge transfer and adaptation for land-use simulation with a logistic cellular automaton | |
Ramachandran et al. | NCDOT quality control methods for weigh-in-motion data | |
US20110093309A1 (en) | System and method for predictive categorization of risk | |
Elazouni et al. | Progress monitoring of construction projects using pattern recognition techniques | |
Swihart et al. | Factors affecting scholarly performance by wildlife and fisheries faculty | |
Chao | Estimating project overheads rate in bidding: DSS approach using neural networks | |
Culka | Uncertainty analysis using Bayesian model averaging: a case study of input variables to energy models and inference to associated uncertainties of energy scenarios | |
Li et al. | Subnational estimation of modern contraceptive prevalence in five sub-Saharan African countries: a Bayesian hierarchical approach | |
Saloux et al. | A critical perspective on current research trends in building operation: Pressing challenges and promising opportunities | |
Edwards et al. | Prospects and perils of fiscal impact analysis | |
Hunter et al. | Research Activities Associated with the Treatment of Potential Common-Cause Failures in Event and Condition Assessments | |
Mohamed et al. | Data Completeness Analysis of Malaysian Educational Management Information System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180209 |
|
CF01 | Termination of patent right due to non-payment of annual fee |