CN105550511A - 一种基于数据校验技术的数据质量测评***及方法 - Google Patents

Abstract

本发明提供一种基于数据校验技术的数据质量测评***及方法，该***包括数据采集单元、校验单元、质量评价单元、报告反馈单元、统计分析单元；该方法包括：获取异构医疗数据***中的医疗数据源内业务数据信息；进行合规性校验；对获取的业务数据的不同质量评价指标进行评价，并对业务数据的质量评价指标进行综合评分；将业务数据的质量评价结果以质量评分报告及数据校验报告的形式反馈给数据维护人员；对业务数据实际质量评价结果进行统计分析。本发明所解决的是区域医疗***数据校验过程中的数据质量评测问题，使得数据校验处理不仅是发现数据问题，而是将数据问题与数据质量进行综合评价，从而提升数据质量。

Description

一种基于数据校验技术的数据质量测评***及方法

技术领域

本发明涉及医疗行业数据质量控制领域，具体涉及一种基于数据校验技术的数据质量测评***及方法。

背景技术

在医疗数据的处理过程中，数据质量问题一直是数据处理过程中需要逐步改善和提升的内容。那么如何将数据质量的改善过程循序渐进的落实到数据处理的各个阶段和步骤中是当前关注和亟待解决的主要问题。

数据质量的评测其核心是依赖数据的校验结果，而数据的校验过程是可以灵活安插在数据处理各个阶段和过程中的，同时其校验规则的灵活定义也为数据质量的评测提供较为灵活的评测基础。而数据的校验过程与数据质量评价间的映射，是基于一系列关键指标项的关联映射，这些映射关系是数据校验值向数据质量值综合汇聚的依据，而这关联映射关系又可根据对数据质量关注的不同也灵活调配，从而可覆盖多维度的医疗业务数据质量控制。

发明内容

针对现有技术存在的问题，本发明提供一种基于数据校验技术的数据质量测评***及方法。

本发明的技术方式呢是：

一种基于数据校验技术的数据质量测评***，包括：

数据采集单元：获取异构医疗数据***中的医疗数据源内业务数据信息，所述业务数据信息的类型包括结构化数据与非结构化数据；

校验单元：根据定义的校验规则、校验指标及其权重对获取的业务数据信息内容进行合规性校验；

质量评价单元：对获取的业务数据的不同质量评价指标进行评价，并根据各质量评价指标的权重对业务数据的质量评价指标进行综合评分；

报告反馈单元：将业务数据的质量评价结果以质量评分报告及数据校验报告的形式反馈给数据维护人员；

统计分析单元：对业务数据实际质量评价结果进行统计分析，包括对业务数据运行趋势及业务数据的各类质量评价指标对比情况。

所述的数据采集单元包括数据源适配模块和采集规则编辑模块；

数据源适配模块：用于根据异构医疗数据***中的医疗数据源类型对医疗数据源进行访问适配，实现对医疗数据源的连通以及对医疗数据源内业务数据信息的查询，并根据采集逻辑的要求来动态访问不同医疗数据源，为采集规则编辑模块提供连通支持；

采集规则编辑模块：实现对异构医疗数据***中的业务数据获取规则的编辑和维护，通过支持对SQL脚本的编辑来实现对医疗数据源中结构化数据的获取以及对非结构化数据获取规则的维护和管理。

所述的数据质量评价单元包括指标映射模块和质量评价引擎模块；

指标映射模块：根据定义的质量评价规则将质量评价指标与校验指标进行映射，并对质量评价指标权重信息进行读取，将读取的数据提供给质量评价引擎模块，同时将质量评价引擎模块计算的质量评价结果返回给统计分析单元及报告反馈单元；

质量评价引擎模块：根据定义的质量评价规则，对某一类业务数据中某一质量评价指标计算其质量评价值，并根据各质量评价指标的权重对该类业务数据的质量评价指标进行综合评分得到质量评价结果。

所述的校验单元包括校验执行引擎模块和校验规则维护模块；

校验执行引擎模块：进行基于校验规则文件的数据校验，在进行数据校验的过程中同步完成数据校验指标的映射与数据校验指标的权重计算；

校验规则维护模块：实现对配置资源文件内容的维护管理，包括对校验规则文件、校验指标文件及权重定义信息的维护和管理，校验规则文件、校验指标文件及权重定义信息均以XML结构进行定义。

所述校验规则文件中包括用于校验数据表间业务逻辑的正确性的数据重复校验规则和数据关联校验规则，用于校验数据字段内数据内容的正确性的非空校验规则、正则校验规则和值域校验规则。

所述的报告反馈单元包括报告发布模块、质量评分报告模块、质量报告模块和配置维护模块；

质量评分报告模块：对某一类业务数据所涉及数据的不同质量评价指标的质量评价结果汇总形成质量评分报告；

校验报告模块：实现对某一类业务数据中所存在的错误进行汇总形成数据校验报告；

报告发布模块：根据报告信息配置表中定义的发布条件，将质量评分报告和数据校验报告发布给订阅该报告的对象；

配置维护模块：定义报告发布条件，实现对报告信息配置表的维护和管理，包括对报告时间、报告周期、报告对象及报告类型信息的配置管理。

所述的统计分析单元包括质量评分趋势模块和综合评分对比模块；

质量评分趋势模块：根据质量评分报告，生成某一个时间区间内某类业务数据根据某一类质量评价指标的数据质量趋势图表；

综合评分对比模块：根据质量评分报告，生成同类型业务数据间针对某一类质量评价指标的数据质量的对比图表。

采用所述的基于数据校验技术的数据质量测评***进行数据质量测评的方法，包括以下步骤：

步骤1、获取异构医疗数据***中的医疗数据源内业务数据信息，所述业务数据信息的类型包括结构化数据与非结构化数据；

步骤2、根据定义的校验规则、校验指标及其权重对获取的业务数据信息内容进行合规性校验；

步骤3、对获取的业务数据的不同质量评价指标进行评价，并根据各质量评价指标的权重对业务数据的质量评价指标进行综合评分；

步骤4、将业务数据的质量评价结果以质量评分报告及数据校验报告的形式反馈给数据维护人员；

步骤5、对业务数据实际质量评价结果进行统计分析，包括对业务数据运行趋势及业务数据的各类质量评价指标对比情况。

有益效果：

本发明的数据质量测评***的实现是基于模糊评判校验技术，实现对医疗业务数据的业务校验，对数据中所存在的问题进行汇总统计，并结合数据质量指标来为医疗业务数据进行统一质量评价。数据校验指标项与校验规则是可以通过校验规则文件来灵活制定的，其针对具体的业务数据特点来而进行定义；而数据质量指标的定义根据用户或数据分析人员所关心的数据质量范围而进行定义，使得***的数据质量评价结果满足数据分析人员的数据质量诉求。

本发明所解决的是区域医疗***数据校验过程中的数据质量评测问题，使得数据校验处理不仅是发现数据问题，而是将数据问题与数据质量进行综合评价，即从数据宏观得到数据质量结论，也从数据微观跟踪校验细节，从而提升数据质量。本数据校验方法及质量控制***目前已经成功实施在区域医疗数据处理项目中，跟踪并实时分析医疗业务数据质量情况，推动医疗卫生体系的建设和管理，为区域医疗***的构建提供有力支撑。

附图说明

图1是本发明具体实施方式的基于数据校验技术的数据质量测评***结构框图；

图2是本发明具体实施方式的数据采集单元结构框图；

图3是本发明具体实施方式的数据质量评价单元结构框图；

图4是本发明具体实施方式的校验单元结构框图；

图5是本发明具体实施方式的报告反馈单元结构框图；

图6是本发明具体实施方式的统计分析单元结构框图；

图7是本发明具体实施方式的数据质量测评方法流程图；

图8是本发明具体实施方式的应用结构示意图；

图9是本发明具体实施方式的各级指标关联结构图；

图10是本发明具体实施方式的各级文件关联结构图。

具体实施方式

下面结合附图对本发明的具体实施方式做详细说明。

本发明的基于数据校验技术的数据质量测评***及方法实现对卫生医疗数据进行校验处理，将校验结果与数据质量评价指标进行统筹计算而获得客观质量评价结果，易于从数据宏观把控数据质量趋势和动向，同时从数据微观定位数据异常和错误，以便进行数据质量控制的过程能更全面准确的提升区域卫生医疗数据质量。

本发明在实施过程中，也适用于数据校验变更和质量指标调整的实施条件。当数据校验变更时，需要在数据校验规则文件中更新校验规则，并指定其所校验医疗数据源中业务数据内容；当质量评价指标变更时，需要更新校验指标文件及其对应权重表内容。业务数据质量评价过程中，从医疗数据源中动态提取具有较高质量提升价值的业务数据并进行实时的数据校验，校验过程具有实时性和针对性，其校验结果经过质量评价后，生成该类业务数据某一阶段的数据质量报告后，可以通过调整数据校验规则或优化被提取数据内容等手段，来对比多次的数据质量报告，从而定位影响数据质量的关键性症结点，从而有效改善业务数据质量。

在本实施例中，以对门诊数据的标准化过程为例，基于门诊业务数据的实际校验过程来定位数据中的异常和错误，并在对比多次数据优化后质量报告后，获得业务数据质量优化结论。本实施方式应用结构如图8所示，其中ESB用于适配获取来自区域内医疗信息***的医疗数据，校验缓存库用于缓存从医疗信息***中获得的待处理的医疗数据源，校验缓存库类型和结构多样，使用数据源适配单元实现对医疗数据源的无缝数据链接，然后采用本发明的***和方法实现基于校验缓存库中医疗数据源中业务数据的校验及数据质量测评处理。

一种基于数据校验技术的数据质量测评***，如图1所示，包括：

数据采集单元：获取异构医疗数据***中的医疗数据源内业务数据信息，所述业务数据信息的类型包括结构化数据与非结构化数据；

校验单元：根据定义的校验规则、校验指标及其权重对获取的业务数据信息内容进行合规性校验；

质量评价单元：对获取的业务数据的不同质量评价指标进行评价，并根据各质量评价指标的权重对业务数据的质量评价指标进行综合评分；

报告反馈单元：将业务数据的质量评价结果以质量评分报告及数据校验报告的形式反馈给数据维护人员；

统计分析单元：对业务数据的质量评价结果进行统计分析，包括对业务数据运行趋势及业务数据的各类质量评价指标对比情况。

如图2所示，数据采集单元包括数据源适配模块和采集规则编辑模块；

数据源适配模块：用于根据异构医疗数据***中的医疗数据源类型对医疗数据源进行访问适配，实现对医疗数据源的连通以及对医疗数据源内业务数据信息的查询，并根据采集逻辑的要求来动态访问不同医疗数据源，为采集规则编辑模块提供连通支持；

采集规则编辑模块：实现对异构医疗数据***中的业务数据获取规则的编辑和维护，通过支持对SQL脚本的编辑来实现对医疗数据源中结构化数据的获取以及对非结构化数据获取规则的维护和管理。

如图3所示，数据质量评价单元包括指标映射模块和质量评价引擎模块；

指标映射模块：根据定义的质量评价规则将质量评价指标与校验指标进行映射，并对质量评价指标权重信息进行读取和修改，将读取或修改的数据提供给质量评价引擎模块，同时将质量评价引擎模块计算的质量评价结果返回给统计分析单元及报告反馈单元；

质量评价引擎模块：根据定义的质量评价规则，对某一类业务数据中某一质量评价指标计算其质量评价值，并根据各质量评价指标的权重对该类业务数据的质量评价指标进行综合评分得到质量评价结果。

如图4所示，校验单元包括校验执行引擎模块和校验规则维护模块；

校验执行引擎模块：进行基于校验规则文件的数据校验，在进行数据校验的过程中同步完成数据校验指标的映射与数据校验指标的权重计算；

校验规则维护模块：实现对配置资源文件内容的维护管理，包括对校验规则文件、校验指标文件及权重定义信息的维护和管理，校验规则文件、校验指标文件及权重定义信息均以XML结构进行定义。

所述校验规则文件中包括用于校验数据表间业务逻辑的正确性的数据重复校验规则和数据关联校验规则，用于校验数据字段内数据内容的正确性的非空校验规则、正则校验规则和值域校验规则。

如图5所示，报告反馈单元包括报告发布模块、质量评分报告模块、质量报告模块和配置维护模块；

质量评分报告模块：对某一类业务数据所涉及数据的不同质量评价指标的质量评价结果汇总形成质量评分报告；

校验报告模块：实现对某一类业务数据中所存在的错误进行汇总形成数据校验报告；

报告发布模块：根据报告信息配置表中定义的发布条件，将质量评分报告和数据校验报告发布给订阅该报告的对象；

配置维护模块：定义报告发布条件，实现对报告信息配置表的维护和管理，包括对报告时间、报告周期、报告对象及报告类型信息的配置管理。

如图6所示，统计分析单元包括质量评分趋势模块和综合评分对比模块；

质量评分趋势模块：根据质量评分报告，生成某一个时间区间内某类业务数据根据某一类质量评价指标的数据质量趋势图表；

综合评分对比模块：根据质量评分报告，生成同类型业务数据间针对某一类质量评价指标的数据质量的对比图表。

采用所述的基于数据校验技术的数据质量测评***进行数据质量测评的方法，如图7所示，包括以下步骤：

步骤1、获取异构医疗数据***中的医疗数据源内业务数据信息，所述业务数据信息的类型包括结构化数据与非结构化数据；

步骤1-1、根据异构医疗数据***中的医疗数据源类型对医疗数据源进行访问适配，实现对医疗数据源的连通，记录医疗数据源的适配内容，并对医疗数据源内业务数据信息查询，包括结构、字段、类型；

其中对医疗数据源进行访问适配，包括对医疗数据源驱动文件、数据库名称、URL、登录信息的配置；

步骤1-2、根据采集逻辑的要求来动态访问不同医疗数据源，为采集规则编辑模块提供连通支持；

步骤1-3、对异构医疗数据***中的业务数据获取规则的编辑和维护，通过支持对SQL脚本的编辑来实现对医疗数据源中结构化数据的获取以及对非结构化数据获取规则的维护和管理。

步骤2、根据定义的校验规则、校验指标及其权重对获取的业务数据信息内容进行合规性校验；

步骤2-1、对配置资源文件内容的维护管理，包括对校验规则文件、校验指标文件及权重定义信息的维护和管理，校验规则文件、校验指标文件及权重定义信息均以XML结构进行定义。

校验规则文件中包括用于校验数据表间业务逻辑的正确性的数据重复校验规则和数据关联校验规则，用于校验数据字段内数据内容的正确性的非空校验规则、正则校验规则和值域校验规则；

步骤2-2、校验执行引擎模块解析校验规则XML文件后，载入该规则到内存中；对业务数据信息内容进行基于校验规则文件的数据校验，同步完成数据校验指标的映射与数据校验指标的权重计算；

步骤3、对获取的业务数据的不同质量评价指标进行评价，并根据各质量评价指标的权重对业务数据的质量评价指标进行综合评分；

步骤3-1、指标映射模块根据定义的质量评价规则将质量评价指标与校验指标进行映射，实现校验指标与质量评价指标关联；并对质量评价指标权重信息进行读取和修改，将读取或修改的数据提供给质量评价引擎模块；

在本实施例中，分析后得到一系列指标及规则，并以此确定数据质量评价指标及权重值。

某类业务数据的各质量评价指标的综合权重W_综合权重＝ΣW_i＝1，其中，W_i表示该类业务数据的第i个质量评价指标的权重。

对该类业务数据的各质量评价指标进行综合评分得到质量评价结果S_综合得分＝ΣSC_i·W_i＝SC_数据范围×W_数据范围+SC_{实际上报率}×W_{实际上报率}+SC_{字段饱和度}×W_{字段饱和度}+SC_规范性×W_规范性+SC_{业务关联性}×W_{业务关联性}+SC_及时性×W_及时性+SC_连续性×W_连续性

其中，SC_i表示该类业务数据的第i个质量评价指标。

SC_i包括：SC_数据范围、SC_{实际上报率}、SC_{字段饱和度}、SC_规范性、SC_{业务关联性}、SC_及时性、SC_连续性。

SC_数据范围＝(医疗机构实际上传业务项数目/医疗机构应上传业务项数目)×100

考虑到每家医疗机构的类型、规模、等级等因素，可以上传的业务数据范围也是不同的，例如三甲医院应该上传的业务要比二甲医院、社区服务中心等范围广，不能要求这些医疗机构都按照三甲医院的业务数据范围上传数据，因此需要为每个医疗机构配置本医疗机构应该上传的业务数据范围，计算得分时，也需要根据该业务数据范围进行计算。

SC_{实际上报率}＝实际上报数据量/应上报数据量×100

SC_{字段饱和度}＝(XX文档1饱和度+XX文档2饱和度+……)/文档个数

XX数据饱和度＝(XX数据物理表1饱和度+XX数据物理表2饱和度)/XX数据物理表个数，其中，一个文档为一条数据，物理表是存储各数据的数据表。

物理表饱和度＝(A字段填写数+B字段填写数+……)+(必填字段1填写数+必填字段2填写数)/(所有字段*数据量+必填字段总数*数据量)

考虑到必填字段的重要性，在计算物理表饱和度时，按照上述计算公式，必填字段相当于被计算两遍。也就说，必填字段没填，则扣分多。这样防止机构接入时只将非必填字段上传，影响后面的展现和综合统计。

SC_规范性＝(XX文档1规范性+XX文档2规范性+……)/文档个数

XX数据规范性＝(XX数据物理表1规范性+XX数据物理表2规范性)/XX数据物理表个数

物理表规范性＝(A字段A1规则正确数据量+A字段A2规则正确数据量+B字段B1规则正确数据量+……+X字段非“其他”值域数据量+Y字段非“其他”值域数据量)/(规则总数×数据量)，其中的A1规则、A2规则、B1规则等为数据规范性校验规则。

SC_{业务关联性}＝(业务关联指标1得分+业务关联指标2得分+业务关联指标3得分+……)/业务关联指标总数

业务关联指标1得分＝(能关联数据量/总数据量)*100

SC_及时性＝(XX文档1及时性+XX文档2及时性+……)/文档个数

XX文档1及时性＝(XX文档物理表1及时性+XX文档物理表2及时性)/XX文档物理表个数

XX文档物理表1及时性(平均差异天数)＝((第一条业务数据的上传日期–业务日期)+(第二条业务数据的上传日期–业务日期)+……)/总数据条数

SC连续性＝(XX文档1连续性+XX文档2连续性+……)/文档个数

XX文档1连续性＝XX文档1指定的物理表的连续性

数据质量指标SC_i与评价指标运算项C_i间存在映射的关联关系，多个C_i彼此逻辑计算值对应某一SC_i。

在本实施例中，以SC_规范性质量监控指标为例，其指标中包括“XX文档1规范性”和“文档个数”两类指标项：

SC_规范性＝(C_{文档1规范性}+C_{文档2规范性}+……)/C_文档个数

而二者与数据校验数据QC_i间又存在关联关系：

C_{文档规范性}＝(C_{文档物理表1规范性}+C_{文档物理表2规范性})/C_{文档物理表个数}

C_{物理表饱和度}＝(C_{A字段A1规则正确数据量}+C_{A字段A2规则正确数据量}+…+C_{X字段非“其他”值域数据量}+C_{Y字段非“其他”值域数据量})/(C_规则总数×C_数据量)

对两类数据指标的定义，以及两类数据指标关联关系的定义。校验指标QC_i可定义为一级指标，质量评价指标SC_i可定义为二级指标。一级指标用于定义医疗业务数据中某数据区域中数据的特征，通过校验指标映射医疗业务数据；二级指标用于定义医疗业务数据质量关键指标，通过质量评价指标映射校验指标。其映射结构如图9所示。

上述质量评价指标SC_i与校验指标QC_i的定义将以XML结构的形式存储在文件中校验规则、校验指标和权重表文件中。校验规则文件结构与校验指标文件结构、校验规则结构、指标权重彼此关联，共同定义并描述了校验指标向数据质量评价利用过程。彼此关联结构如图10所示。

校验规则文件内部结构使用XML树形元素结构，对表级校验及字段级校验的两类校验规则进行定义。其中，表级校验包括数据重复校验和数据关联校验，用于校验数据表间业务逻辑的正确性；字段级校验包括非空校验、正则校验和值域校验，用于校验数据字段内数据内容的正确性。

校验指标文件内部结构使用XML树形元素结构，其内部定义了一系列校验指标QC_i，这些校验指标是对校验规则的组合和封装，是在实际业务中关注的关键业务指标项。校验指标QC_i彼此间存在的关联关系，使用指标关联逻辑部分进行描述。同时，在校验指标文件结构内部也定义了其与校验规则结构文件中定义校验规则的映射关系，其映射关系描述了数据校验指标对实际数据校验规则的定义和利用情况。

质量评价指标文件结构内部使用XML树形元素结构，其内部定义了一系列质量评价指标SC_i，这些质量评价指标是对校验指标的组合和封装，是在实际业务中关注的业务数据质量关键指标项。SC_i彼此间存在的关联关系，使用指标关联逻辑部分进行描述。在质量评价指标文件内部结构也定义了其与校验指标文件中定义校验指标的映射关系，其映射关系描述了校验指标对实际校验指标的定义和利用情况。同时，在定义质量评价指标权重的过程中，通过在质量评价指标中引用权重表来定义该指标在不用分析背景下的综合质量评价指标。

步骤3-2、质量评价引擎模块载入数据质量评价规则文件，根据定义的质量评价规则，对某一类业务数据中某一质量评价指标计算其质量评价值；

步骤3-2-1、数据质量评价引擎载入数据质量权重规则文件，加载各质量评价指标的权重值；

步骤3-2-2、数据质量评价引擎载入步骤3-1映射后的某一类数据质量评价指标集合；

步骤3-2-3：给该类业务数据各质量评价指标分派权重值，并计算质量评价值；

步骤3-3、根据各质量评价指标的权重对该类业务数据的质量评价指标进行综合评分得到质量评价结果；

在本实施方式中，数据质量评价单元的质量评价结果是基于数据质量评价算法得到的，其计算的过程依赖于质量评价指标与校验指标间的映射匹配关系。

对类业务数据的质量评价指标进行综合评分得到质量评价结果，过程如下：

首先，根据数据质量属性将质量评价指标分成n元组，即S＝{SQ₁，SQ₂，SQ₃…SQ_n}，其中SQ₁又可分成m元组评价指标运算项集合：{C₁₁，C₁₂，…，C_1m}，同理，可以将SQ₂，SQ₃…SQ_n进行分组，使用这些分组后的二级评价指标对数据质量进行评价决策，其中对表1的评价指标运算项与数据校验项进行匹配，对校验结果进行分项评分，并将分项评分的结果根据二级评价指标规则定义进行综合评判。

表1质量评价指标与评价指标运算项的映射关系

接下来确定评价用词集。对于用户反馈信息相关的质量评价指标，主要通过对数据结果的满意程度来形容数据质量的优劣。最常见的方式是用户对各个影响因素打分，将满意程度分为若干等级，用户选择对某项质量评价指标的满意程度的等级。将满意程度等级分为[A]非常满意、[B]满意、[C]一般、[D]差、[E]很差五个等级。如表2所示，这些评价标准等级称为评语集。

表2数据质量评语集

最后，确定模糊矩阵M。

评价矩阵A_i表示用户对一级评价指标i的满意度，它由五元组构成：A_i＝(λ_i1，λ_i2，λ_i3，λ_i4，λ_i5)。

评价矩阵B_ij表示用户对一级评价指标i对应的二级评价指标j的满意度，它由五元组构成：B_ij＝(α_j1，α_j2，α_j3，α_j4，α_j5)。

其中，下标k＝1，2，3，4，5分别对应评语集中的A、B、C、D、E五个等级，λ_ik是对一级评价指标i选择各满意程度等级的用户所占的比例；α_jk是对一级评价指标i对应的二级评价指标j选择各满意程度等级的用户所占的比例。

数据质量评价算法具体步骤：

(1)经过对数据特征进行分析后，基于一级评价指标得到其所属二级评价矩阵

B₁₁＝(α₁₁,α₁₂,α₁₃,α₁₄,α₁₅)

B₂₁＝(α₂₁,α₂₂,α₂₃,α₂₄,α₂₅)

…

B_m1＝(α_m1,α_m2,α_m3,α_m4,α_m5)

(2)把所有质量评价指标的单因素评价组成评价矩阵B₁

$B_1=\left(\begin{array}{c}{B}_{11}\\ B_{21}\\ ...\\ B_{m1}\end{array}\right)=\left(\begin{array}{ccccc}{\mathrm{\α}}_{11}& {\mathrm{\α}}_{12}& {\mathrm{\α}}_{13}& {\mathrm{\α}}_{14}& {\mathrm{\α}}_{15}\\ {\mathrm{\α}}_{21}& {\mathrm{\α}}_{22}& {\mathrm{\α}}_{23}& {\mathrm{\α}}_{24}& {\mathrm{\α}}_{25}\\ & & ...& & \\ {\mathrm{\α}}_{m1}& {\mathrm{\α}}_{m2}& {\mathrm{\α}}_{m3}& {\mathrm{\α}}_{m4}& {\mathrm{\α}}_{m5}\end{array}\right)$

(3)确定权重值

设某类数据的权值为W_i＝(w_i1,w_i2,...,w_ij)，其中w_ij表示一级评价指标i对应的二级评价指标j的权值，且Σw_ij＝1。

(4)计算该类用户对此数据质量的综合评价

进一步得到单因素模糊矩阵A₁＝W₁·B₁＝(λ₁₁,λ₁₂,λ₁₃,λ₁₄,λ₁₅)，它表示认为该数据质量“非常满意”的程度为λ₁₁，“满意”的程度为λ₁₂，“一般”的程度为λ₁₃，“差”的程度为λ₁₄，“很差”的程度为λ₁₅。

类似地，可以通过二级综合评判得出可靠性和完整性的单因素λ₁₁模糊矩阵A₂、A₃直到A_m：

A₂＝W₂·B₁＝(λ₂₁,λ₂₂,λ₂₃,λ₂₄,λ₂₅)

A₃＝W₃·B₁＝(λ₃₁,λ₃₂,λ₃₃,λ₃₄,λ₃₅)

…

A_m＝W_m·B₁＝(λ_m1,λ_m2,λ_m3,λ_m4,λ_m5)

(5)将各一级评价指标的单因素模糊矩阵A_i组成模糊矩阵M：

$M=\left(\begin{array}{c}{A}_1\\ A_2\\ ...\\ A_m\end{array}\right)=\left(\begin{array}{ccccc}{\mathrm{\λ}}_{11}& {\mathrm{\λ}}_{12}& {\mathrm{\λ}}_{13}& {\mathrm{\λ}}_{14}& {\mathrm{\λ}}_{15}\\ {\mathrm{\λ}}_{21}& {\mathrm{\λ}}_{22}& {\mathrm{\λ}}_{23}& {\mathrm{\λ}}_{24}& {\mathrm{\λ}}_{25}\\ & & ...& & \\ {\mathrm{\λ}}_{m1}& {\mathrm{\λ}}_{m2}& {\mathrm{\λ}}_{m3}& {\mathrm{\λ}}_{m4}& {\mathrm{\λ}}_{m5}\end{array}\right)$

(6)确立权值集合

在评价因素体系中，每个因素对实现***评价目标和功能的重要程度各不相同。权值表示各因素的相对重要程度。

在此处使用权值向量描述各个评价指标的权值信息。

W＝(w₁,w₂,w₃,w₄,w₅,w₆,w₇)，其中w_i表示第i个一级评价指标的权值。该权值的定义可以根据行业标准或大量统计，利用专家咨询法、主成分分析法、层次分析法等确立权值集的方法对各个影响数据质量的因素赋予相应的权值。对于具体选取何种权重计量方法不做限定。

(7)模糊矩阵合成

R＝W·M＝(μ₁,μ₂,μ₃,μ₄,μ₅)，它表示的评价是：对某数据“非常满意”的程度为μ₁，“满意”的程度为μ₂，“一般”的程度为μ₃，“差”的程度为μ₄，“很差”的程度为μ₅。

在本实施方式中，质量评价指标可定义为：

表3二级评价指标与评价指标运算项映射关系

其中，SC_数据范围为每个医疗机构配置本机构应该上传的业务数据范围，计算质量指标评价得分时，也需要根据该业务数据范围进行计算。

SC_{实际上报率}为评价上报数据的实际上报情况。

SC_{字段饱和度}为评价上报数据的完整情况。

SC_规范性为评价数据长度、格式、内容的标准规范情况，是否符合平台校验标准。

SC_{业务关联性}为评价完整性、合理性校验情况，是否存在数据不合理现象。

SC_及时性主要是考察医院是否及时的上报数据，由于各家医院给出的采集的时间点不同来灵活配置采集策略，可以根据情况灵活配置采集开始时间点。

SC_连续性为评价能否连续多天实现医疗业务数据的正确上报。

在完成质量评价指标的定义后，可定义数据质量评语集，在此保留表2中定义的[A]非常满意、[B]满意、[C]一般、[D]差、[E]很差五个等级的定义级别。

而质量评价指标与数据校验规则具有匹配对应关系。以SC_规范性对应的二级指标C_{文档物理表规 范性}为例，文档规范性是对N个文档中所含M个字段的规范性校验，通过N次循环遍历将每个文档中所含字段的规范进行综合校验后累计，将得到二级指标C_{文档物理表规范性}数值。

其中，对M各字段的规范性校验，根据数据校验指标结构文件中指标逻辑进行定义，定义如下：

C_{文档i物理表规范性}＝(C_{A字段A1规则正确数据量}+C_{A字段A2规则正确数据量}+C_{B字段B1规则正确数据量}+…+C_{X字段非其他值域数据量}+C_{Y 字段非其他值域数据量})/(C_规则总数×C_数据量),其中i∈(0，N)

而其中C_{A字段A1规则正确数据量}的数据校验规则映射为校验规则文件如下所示的XML文件结构：

<ruletype＝"required"fieldName＝"ORGAN_CODE"fieldDes＝"校验结构代码"from＝""resultType＝"0"errorCode＝"3001"errorLevel＝"1">

<message>校验机构代码(ORGAN_CODE)字段不能为空</message>

</rule>

同理，C_{A字段A2规则正确数据量}、C_{B字段B1规则正确数据量}等都可与校验规则文件所定义的校验规则文件完成规则关联映射。

因此，在实际校验规则的过程中，可通过校验规则获得该数据校验结果值，校验结果值根据数据指标关联逻辑进行运算，运算的结果记入数据质量模糊矩阵计算。

基于上述校验过程，可通过对N＝5类文档、M＝3类字段、共4张物理表、共300条数据进行物理规范性得分计算，即：

C_{文档1物理表1规范性}

＝(C_{1字段1规则正确数据量}+C_{1字段2规则正确数据量}+C_{1字段3规则正确数据量}+…+C_{2字段非其他值域数据量}+C_{3字段非其他值域数据量})/(C_规则总数×C_数据量)

＝(3+3+2+3+3+3+0+0)/(3×300)

≈0.0189

同理，可获得4张物理表规范性，得到：

C_{文档1物理表2规范性}≈0.0189

C_{文档1物理表3规范性}≈0.0185

C_{文档1物理表4规范性}≈0.0191

汇总第1类文档规范性值，得到：

C_{文档1规范性}＝(C_{文档1物理表1规范性}+C_{文档1物理表2规范性}+C_{文档1物理表3规范性}+C_{文档1物理表4规范性})/C_{文档物理表个 数}

＝(0.0189+0.0189+0.0185+0.0191)/4

＝0.01885

同理，得到N＝5类文档的规范性结论，得到

C_{文档2规范性}＝0.01892

C_{文档3规范性}＝0.01890

C_{文档4规范性}＝0.01888

C_{文档5规范性}＝0.01879

从而得到SC_规范性质量评价指标的运算结论值：

SC_规范性＝(C_{文档1规范性}+C_{文档2规范性}+C_{文档3规范性}+C_{文档4规范性}+C_{文档5规范性})/C_文档个数

＝(0.01885+0.01892+0.01890+0.01888+0.01879)/5

＝0.018868

SC_规范性可理解为N＝5类文档规范性的样本均值，可计算样本标准差。

基于上述数值，可确定模糊矩阵M。

评价矩阵A_规范性表示数据用户对一级评价指标“规范性”满意度，它由五元组构成：

A_规范性＝(λ₄₁,λ₄₂,λ₄₃,λ₄₄,λ₄₅)＝(0.000018,0.000052,0.000032,0.000012,0.000078)，即样本均值与样本差的绝对值。

由A_规范性结果可知，5类样本与均值间偏差度以此可定义为1到5的分值，即：

A_规范性＝(2,4,3,1,5)

同理，可得到A_数据范围、A_上报率、A_{字段饱和度}、A_{业务关联性}、A_及时性的分值，可合并上述A_i得到模糊矩阵M：

$\begin{array}{c}M=\left(\begin{array}{c}{A}_1\\ A_2\\ ...\\ A_m\end{array}\right)=\left(\begin{array}{ccccc}{\mathrm{\&lambda;}}_{11}& {\mathrm{\&lambda;}}_{12}& {\mathrm{\&lambda;}}_{13}& {\mathrm{\&lambda;}}_{14}& {\mathrm{\&lambda;}}_{15}\\ {\mathrm{\&lambda;}}_{21}& {\mathrm{\&lambda;}}_{22}& {\mathrm{\&lambda;}}_{23}& {\mathrm{\&lambda;}}_{24}& {\mathrm{\&lambda;}}_{25}\\ & & ...& & \\ {\mathrm{\&lambda;}}_{m1}& {\mathrm{\&lambda;}}_{m2}& {\mathrm{\&lambda;}}_{m3}& {\mathrm{\&lambda;}}_{m4}& {\mathrm{\&lambda;}}_{m5}\end{array}\right)\\ =\left(\begin{array}{c}3,1,2,5,4\\ 2,4,3,5,1\\ 1,5,3,2,4\\ 2,4,3,1,5\\ 4,3,1,2,5\\ 1,5,4,2,3\\ 4,2,1,5,3\end{array}\right)\end{array}$

确定权值为W＝(w₁,w₂,w₃,w₄,w₅,w₆,w₇)＝(0.1,0.15,0.05,0.15,0.25,0.1,0.2)且ΣW_i＝1，其中w_i表示一级评价指标i的权值。

$\begin{array}{c}R=W\&CenterDot;M=({\mathrm{\&mu;}}_1,{\mathrm{\&mu;}}_2,{\mathrm{\&mu;}}_3,{\mathrm{\&mu;}}_4,{\mathrm{\&mu;}}_5)\\ =(0.1,0.15,0.05,0.15,0.25,0.1,0.2)\&times;\left(\begin{array}{c}3,1,2,5,4\\ 2,4,3,5,1\\ 1,5,3,2,4\\ 2,4,3,1,5\\ 4,3,1,2,5\\ 1,5,4,2,3\\ 4,2,1,5,3\end{array}\right)\\ =(2.85,3.2,2.1,3.2,3.6)\end{array}$

它表示认为该数据质量“非常满意”的程度为2.85，“满意”的程度为3.2，“一般”的程度为2.1，“差”的程度为3.2，“很差”的程度为3.6。

基于上述评价结论，可推断数据质量总体偏低，可进一步对“差”及“很差”的部分数据进行独立分析，以定位最具有影响的质量评价指标。

步骤4、将质量评价引擎模块计算的质量评价结果返回给报告反馈单元；

步骤4-1、对报告信息配置表的维护和管理，包括对报告时间、报告周期、报告对象及报告类型信息的配置管理；

步骤4-2、对某一类业务数据所涉及数据的不同质量评价指标的质量评价结果汇总形成质量评分报告；

步骤4-3、对某一类业务数据中所存在的错误进行汇总形成数据校验报告；

步骤4-4、根据报告信息配置表中定义的发布条件，将质量评分报告和数据校验报告发布给订阅该报告的对象；

步骤5、对业务数据实际质量评价结果进行统计分析，包括对业务数据运行趋势及业务数据的各类质量评价指标对比情况。

步骤5-1、根据质量评分报告，生成某一个时间区间内某类业务数据根据某一类质量评价指标的数据质量趋势图表；

步骤5-2、根据质量评分报告，生成同类型业务数据间针对某一类质量评价指标的数据质量的对比图表。

本发明的主旨是实现基于数据校验技术的数据质量评测，实现针对医疗行业医疗数据质量的管理控制，使得医疗数据是质量问题能够实现有效定位发现，从更有效的对医疗数据质量进行提升。数据校验规则的定义基于数据特征来制定，目的是用规则来聚焦数据中的细微异常和错误。对一系列数据校验结果的归纳分析，通过数据公式的方式进行计算，正是本发明中数据质量评价所实现的目的。数据校验技术与数据质量技术的结合，使得质量评测结论依赖于数据校验结果，对校验结果的利用使得用户不在需要分析复杂的数据校验报告，而转向对质量结果的关注和分析，同时对质量指标的不断丰富和补充，也促使数据校验规则的健全完善。

虽然以上描述了本发明的具体实施方式，但是本领域内的熟练的技术人员应当理解，这些仅是举例说明，可以对这些实施方式做出多种变更或修改，而不背离本发明的原理和实质。本发明的范围仅由所附权利要求书限定。

Claims (10)

1.一种基于数据校验技术的数据质量测评***，其特征在于，包括：

数据采集单元：获取异构医疗数据***中的医疗数据源内业务数据信息，所述业务数据信息的类型包括结构化数据与非结构化数据；

校验单元：根据定义的校验规则、校验指标及其权重对获取的业务数据信息内容进行合规性校验；

质量评价单元：对获取的业务数据的不同质量评价指标进行评价，并根据各质量评价指标的权重对业务数据的质量评价指标进行综合评分；

报告反馈单元：将业务数据的质量评价结果以质量评分报告及数据校验报告的形式反馈给数据维护人员；

统计分析单元：对业务数据的质量评价结果进行统计分析，包括对业务数据运行趋势及业务数据的各类质量评价指标对比情况。

2.根据权利要求1所述的基于数据校验技术的数据质量测评***，其特征在于，所述的数据采集单元包括数据源适配模块和采集规则编辑模块；

数据源适配模块：用于根据异构医疗数据***中的医疗数据源类型对医疗数据源进行访问适配，实现对医疗数据源的连通以及对医疗数据源内业务数据信息的查询，并根据采集逻辑的要求来动态访问不同医疗数据源，为采集规则编辑模块提供连通支持；

采集规则编辑模块：实现对异构医疗数据***中的业务数据获取规则的编辑和维护，通过支持对SQL脚本的编辑来实现对医疗数据源中结构化数据的获取以及对非结构化数据获取规则的维护和管理。

3.根据权利要求1所述的基于数据校验技术的数据质量测评***，其特征在于，所述的数据质量评价单元包括指标映射模块和质量评价引擎模块；

指标映射模块：根据定义的质量评价规则将质量评价指标与校验指标进行映射，并对质量评价指标权重信息进行读取和修改，将读取或修改的数据提供给质量评价引擎模块，同时将质量评价引擎模块计算的质量评价结果返回给统计分析单元及报告反馈单元；

质量评价引擎模块：根据定义的质量评价规则，对某一类业务数据中某一质量评价指标计算其质量评价值，并根据各质量评价指标的权重对该类业务数据的质量评价指标进行综合评分得到质量评价结果。

4.根据权利要求1所述的基于数据校验技术的数据质量测评***，其特征在于，所述的校验单元包括校验执行引擎模块和校验规则维护模块；

校验执行引擎模块：进行基于校验规则文件的数据校验，在进行数据校验的过程中同步完成数据校验指标的映射与数据校验指标的权重计算；

校验规则维护模块：实现对配置资源文件内容的维护管理，包括对校验规则文件、校验指标文件及权重定义信息的维护和管理，校验规则文件、校验指标文件及权重定义信息均以XML结构进行定义。

5.根据权利要求4所述的基于数据校验技术的数据质量测评***，其特征在于，所述校验规则文件中包括用于校验数据表间业务逻辑的正确性的数据重复校验规则和数据关联校验规则，用于校验数据字段内数据内容的正确性的非空校验规则、正则校验规则和值域校验规则。

6.根据权利要求1所述的基于数据校验技术的数据质量测评***，其特征在于，所述的报告反馈单元包括报告发布模块、质量评分报告模块、质量报告模块和配置维护模块；

质量评分报告模块：对某一类业务数据所涉及数据的不同质量评价指标的质量评价结果汇总形成质量评分报告；

校验报告模块：实现对某一类业务数据中所存在的错误进行汇总形成数据校验报告；

报告发布模块：根据报告信息配置表中定义的发布条件，将质量评分报告和数据校验报告发布给订阅该报告的对象；

配置维护模块：定义报告发布条件，实现对报告信息配置表的维护和管理，包括对报告时间、报告周期、报告对象及报告类型信息的配置管理。

7.根据权利要求1所述的基于数据校验技术的数据质量测评***，其特征在于，所述的统计分析单元包括质量评分趋势模块和综合评分对比模块；

质量评分趋势模块：根据质量评分报告，生成某一个时间区间内某类业务数据根据某一类质量评价指标的数据质量趋势图表；

综合评分对比模块：根据质量评分报告，生成同类型业务数据间针对某一类质量评价指标的数据质量的对比图表。

8.采用权利要求1所述的基于数据校验技术的数据质量测评***进行数据质量测评的方法，其特征在于，包括以下步骤：

步骤1、获取异构医疗数据***中的医疗数据源内业务数据信息，所述业务数据信息的类型包括结构化数据与非结构化数据；

步骤2、根据定义的校验规则、校验指标及其权重对获取的业务数据信息内容进行合规性校验；

步骤3、对获取的业务数据的不同质量评价指标进行评价，并根据各质量评价指标的权重对业务数据的质量评价指标进行综合评分；

步骤4、将业务数据的质量评价结果以质量评分报告及数据校验报告的形式反馈给数据维护人员；

步骤5、对业务数据实际质量评价结果进行统计分析，包括对业务数据运行趋势及业务数据的各类质量评价指标对比情况。

9.根据权利要求8所述的数据质量测评方法，其特征在于，所述步骤3具体步骤如下：

步骤3-1、指标映射模块根据定义的质量评价规则将质量评价指标与校验指标进行映射，实现校验指标与质量评价指标关联；

步骤3-2、质量评价引擎模块载入数据质量评价规则文件，根据定义的质量评价规则，对某一类业务数据中某一质量评价指标计算其质量评价值；

步骤3-2-1、数据质量评价引擎载入数据质量权重规则文件，加载各质量评价指标的权重值；

步骤3-2-2、数据质量评价引擎载入步骤3-1映射后的某一类数据质量评价指标集合；

步骤3-2-3：给该类业务数据各质量评价指标分派权重值，并计算质量评价值；

步骤3-3、根据各质量评价指标的权重对该类业务数据的质量评价指标进行综合评分得到质量评价结果。

10.根据权利要求8所述的数据质量测评方法，其特征在于，所述步骤4具体步骤如下：

步骤4-1、对报告信息配置表的维护和管理，包括对报告时间、报告周期、报告对象及报告类型信息的配置管理；

步骤4-2、对某一类业务数据所涉及数据的不同质量评价指标的质量评价结果汇总形成质量评分报告；

步骤4-3、对某一类业务数据中所存在的错误进行汇总形成数据校验报告；

步骤4-4、根据报告信息配置表中定义的发布条件，将质量评分报告和数据校验报告发布给订阅该报告的对象。