CN112463773A

CN112463773A - 数据质量确定方法及装置

Info

Publication number: CN112463773A
Application number: CN201910842498.9A
Authority: CN
Inventors: 黄源甲; 龙永文; 周宗旭; 黄宇华
Original assignee: Foshan Shunde Midea Electrical Heating Appliances Manufacturing Co Ltd
Current assignee: Foshan Shunde Midea Electrical Heating Appliances Manufacturing Co Ltd
Priority date: 2019-09-06
Filing date: 2019-09-06
Publication date: 2021-03-09

Abstract

本发明公开了一种数据质量确定方法，包括：根据基础模型，确定与目标对象对应的数据质量定义模型；根据所述数据质量定义模型，确定所述目标对象的待评估数据的质量评估参数；将所述待评估数据及所述质量评估参数输入到数据质量计算模型，获得所述待评估数据的数据质量。本发明还同时公开了一种数据质量确定装置。

Description

数据质量确定方法及装置

技术领域

本发明涉及信息技术领域，尤其涉及一种数据质量确定方法及装置。

背景技术

随着越来越多的智能电器设备进入人们的生活，基于智能烹饪设备的大数据***采集的数据种类和数据量都呈现一个***式的增长，数据质量管理越来越重要。大多数依据所建立的数据质量规范，确定待评估数据的数据质量，上述数据质量确定方法不够准确合理。

发明内容

本发明实施例提供一种数据质量确定方法及装置。

本发明的技术方案是这样实现的：

一方面，提供一种数据质量确定方法，包括：

根据基础模型，确定与目标对象对应的数据质量定义模型；

根据所述数据质量定义模型，确定所述目标对象的待评估数据的质量评估参数；

将所述待评估数据及所述质量评估参数输入到数据质量计算模型，获得所述待评估数据的数据质量。

进一步地，所述根据所述数据质量定义模型，确定所述目标对象的待评估数据的质量评估参数，包括：

根据所述数据质量定义模型，确定所述目标对象的待评估数据的质量评估维度，其中，所述质量评估维度包括：准确性维度、一致性维度、完整性维度和及时性维度的至少其中之一；

获取所述质量评估维度所对应的质量评估参数。

进一步地，所述将所述待评估数据及所述质量评估参数输入到数据质量计算模型，获得所述待评估数据的数据质量，包括：

基于所述待评估数据及所述准确性维度的质量评估参数，确定所述待评估数据的准确性维度度量值。

和/或，

所述将所述待评估数据及所述质量评估参数输入到数据质量计算模型，获得所述待评估数据的数据质量，包括：

基于所述待评估数据及所述一致性维度的质量评估参数，确定所述待评估数据的一致性维度度量值。

和/或，

基于所述待评估数据及完整性维度的质量评估参数，确定所述待评估数据的完整性维度度量值。

和/或，

基于所述待评估数据及时性维度的质量评估参数，确定所述待评估数据的及时性维度度量值。

进一步地，将所述待评估数据及所述质量评估参数输入到数据质量计算模型，获得所述待评估数据的数据质量，包括：

确定所述待评估数据的维度权重，所述维度权重包括：准确性维度权重w1、一致性维度权重w2、完整性维度权重w3、及时性维度权重w4的至少其中之一；

基于所述待评估数据的维度权重及所述待评估数据，确定所述待评估数据的数据质量。

进一步地，在所述根据基础模型，确定与目标对象对应的数据质量定义模型之前，所述方法还包括：

确定待评估数据对应的烹饪设备的品种和烹饪设备的类型；

基于所述品种和所述类型，确定所述基础模型。

进一步地，所述品种包括烹饪设备的烹饪方式；

和/或，

所述类型包括以下至少之一：当前用户的操作数据、用户的历史数据、所述烹饪设备的属性信息。

进一步地，所述方法还包括：

确定连续两次待评估数据上报时间的实际间隔时间；

基于设定的数据上报间隔时间与所述实际间隔时间，确定所述待评估数据的缺失率。

进一步地，所述基础模型中包括以下至少之一：目标对象及目标对象间的映射关系、数据采集标准规范、指标分类、通用指标定义、约束规则规范。

本发明还提供了一种数据质量确定装置，包括：

第一确定单元，用于根据基础模型，确定与目标对象对应的数据质量定义模型；

第二确定单元，用于根据所述数据质量定义模型，确定所述目标对象的待评估数据的质量评估参数；

获取单元，用于将所述待评估数据及所述质量评估参数输入到数据质量计算模型，获得所述待评估数据的数据质量。

进一步地，所述第二确定单元，具体用于根据所述数据质量定义模型，确定所述目标对象的待评估数据的质量评估维度，其中，所述质量评估维度包括：准确性维度、一致性维度、完整性维度和及时性维度的至少其中之一；

用于获取所述质量评估维度所对应的质量评估参数。

本发明提供的数据质量确定方法及装置，根据基础模型，确定与目标对象对应的数据质量定义模型；根据所述数据质量定义模型，确定所述目标对象的待评估数据的质量评估参数；将所述待评估数据及所述质量评估参数输入到数据质量计算模型，获得所述待评估数据的数据质量。本发明通过基础模型，确定与目标对象对应的数据质量定义模型，从而确定所述目标对象的待评估数据的质量评估参数，进而获得待评估数据的数据质量。本发明中待评估数据的数据质量，是根据待评估数据对应的目标对象确定的，由于不同的目标对象往往具有不同的数据质量要求，相比通过统一的数据质量规范，确定待评估数据的数据质量的技术方案，本发明可以根据不同的目标对象的不同需求，确定不同的数据质量定义模型，进而更准确合理地确定待评估数据的数据质量。

附图说明

图1为本发明实施例提供的一种数据质量确定方法的流程示意图；

图2为本发明实施例提供的一种数据质量确定装置组成结构示意图；

图3为本发明实施例提供的另一种数据质量确定装置组成结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明实施例进行详细说明。

图1为本发明实施例提供的一种数据质量确定方法的流程示意图，如图1 所示，所述数据质量确定方法包括以下步骤：

步骤101：根据基础模型，确定与目标对象对应的数据质量定义模型；

步骤102：根据所述数据质量定义模型，确定所述目标对象的待评估数据的质量评估参数；

步骤103：将所述待评估数据及所述质量评估参数输入到数据质量计算模型，获得所述待评估数据的数据质量。

本发明主要针对智能电器设备的数据质量管理，智能电器设备包括：智能电饭煲、智能热水器、智能洗衣机等。

可选地，所述基础模型中包括以下至少之一：目标对象及目标对象间的映射关系、数据采集标准规范、指标分类、通用指标定义、约束规则规范。

基础模型中可包括目标对象及目标对象间的映射关系，目标对象及目标对象间的映射关系可根据不同类型(用户数据、产品数据)，不同品类(电饭煲、压力锅)及目标对象间的对应关系进行确定；基础模型中还可以包括目标对象与质量定义模型的对应关系；基础模型中还可以包括：数据采集标准规范、指标分类、通用指标定义、约束规则规范，其中，约束规则规范包括对不同数值类型的默认值进行定义。

在所述根据基础模型，确定与目标对象对应的数据质量定义模型之前，所述方法还包括：

确定待评估数据对应的烹饪设备的品种和烹饪设备的类型；

基于所述品种和所述类型，确定所述基础模型。

上述烹饪设备的品种包括烹饪设备的烹饪方式。比如，电饭煲的烹饪方式为煮，电饼铛的烹饪方式为烙等。上述烹饪设备的类型包括以下至少之一：当前用户的操作数据、用户的历史数据、所述烹饪设备的属性信息。用户的历史数据可以是一周内用户的统计数据，也可以是一月内用户的统计数据。用户的历史数据对应的时间段可根据具体需求进行设定。

目标对象为要确定数据质量的数据的所属对象，比如：要确定质量的数据为电饭煲的火力和温度，则对应的目标对象为电饭煲；要确定质量的数据为热水器的设定温度和实际温度，则对应的目标对象为热水器。

数据质量定义模型，定义了数据质量规范，所述数据质量规范是数据质量分析评价的依据和基础。数据质量规范可使用质量特性的不同维度进行描述，比如：数据的准确性、数据的一致性、数据的完整性、数据的及时性、数据的时效性、数据的有用性、数据的合法性等维度特性。

质量评估参数为数据质量定义模型中定义的用于评价数据质量的参数。所述质量评估参数可以先基于业务特性确定目标对象对应的不同维度，再根据不同维度进一步进行确定，可分为第一类参数和第二类参数。第一类参数可以为基于业务确定的指标特征信息。第二类参数可以为基于待评估数据和业务指标类参数的对应情况，确定的评分标准。比如：要评估电饭煲的火力数据的准确性，则目标对象为电饭煲，指标名为火力，对应的第一类参数可以是：数据值域0～200。数据值域0～200是根据电饭煲使用中所表现出来的业务特性确定的；对应的第二类参数可以为依据电饭煲的火力数据在对应数据值域范围的分布情况，确定的评分标准。

需要说明的是，当目标对象为厨具设备时，目标对象更加侧重于烹饪效果方面的数据质量，例如：对于火力、温度、烹饪方式、烹饪时间等方面的数据。而上述方面的数据区别于其它领域中的目标对象的关注数据。因此，本发明实施例所涉及的基础模型与数据质量定义模型与传统领域的模型都是不同的。

由于在基础模型中定义了不同的目标对象及对象间的映射关系，并根据不同的目标对象及其映射关系，建立不同的数据质量定义模型，要确定质量的数据，可以根据其所属目标对象对应的基础模型，确定与其对应的数据质量定义模型，从而依据确定的数据质量定义模型中的数据质量规范，最终获得待评估数据的数据质量。

数据质量计算模型可基于待评估数据及质量评估参数，获得待评估数据的数据质量。待评估数据的数据质量可以表示为分值，比如：90、80等，也可以表示为不同等级，比如：优、良等。

上述的待评估数据，可以来源于智能电器厂商的售后***、销售***、生产***，也可以来源于用户使用中的智能电器设备，以及时对厂商生产中的各个环节、用户对智能电器设备的实际使用中产生的数据质量进行采集分析，及时发现各种数据质量问题，进行处理，减少出现由于数据质量问题带来的更严重的后果的情况。

上述的待评估数据，可以是智能电器设备定时基于传感器获取到的电器设备的具体数据，也可以是智能电器设备在基于传感器获取到的具体数据超过某一设定阀值时，将该数据上传到数据质量***中加以分析，通过上述方案可以灵活采集分析智能电器设备在使用中的实际数据，并关注到电器设备在使用中出现的一些异常情形，从而在后续的产品研发过程中，不断完善产品，以提高用户体验。

上述的待评估数据，可以是智能电器设备或者各种生产***以一定周期主动上报给数据质量确定***，也可以是数据质量确定***以一定周期定时抽取数据，还可以通过数据抽取转换加载(Extract-Transform-Load，ETL)等处理工具，从各种生产***中抽取到数据质量确定***中。上述的多种数据采集方法，可根据具体数据环境和网络情况，灵活选择，以合理分配***和网络资源。

可选地，所述步骤103之前还包括以下步骤：

对所述待评估数据进行数据清洗。

上述的数据清洗主要包括对所述待评估数据中的无效值和缺失值进行处理，对于无效值和缺少值可根据数据的来源和统计学特性进行修改并记录，以减少待评估数据无法准确对应到基础数据模型的情况，进而影响下面的数据质量参数的确定过程。

可选地，基础模型包括对不同目标对象的相关数据定义不同的数据采集周期。不同目标对象的相关数据需要采集分析的紧急程度往往是不一样的，比如：某医院监护室的智能空调设备，需要较严密地采集分析，可以为每五分钟或每十分钟采集一次智能空调设备的温度及湿度；相应的，某家庭中的智能空调设备，则不需要较严密地采集分析，可以为每半小时或每一小时采集一次智能空调设备的温度及湿度。具体地，需要较严密地采集分析的数据需要设置的采集周期较短，而不需要较严密地采集分析的数据需要设置的采集周期较长。因此，对不同目标对象的相关数据定义了不同的数据采集周期有利于根据实际需求，针对不同目标对象制定不同的采集策略，实现资源地合理利用。

可选地，所述步骤103之后还包括以下步骤：

基于所述待评估数据的数据质量，发出告警。

如果待评估数据的数据质量低于设定的某一阀值，则说明对应的智能电器设备很可能处于一种异常状态，为避免给用户和厂商造成进一步的损失，需要及时发出告警，以使问题得到尽快处理。

进一步地，所述步骤102，包括：

获取所述质量评估维度所对应的质量评估参数。

质量评估维度可以基于业务特性、实际需求和数据的统计学特性进行确定，具体可包括：数据的准确性、数据的一致性、数据的完整性、数据的及时性、数据的时效性、数据的有用性、数据的合法性等。

数据质量定义模型中对于不同目标对象定义了不同维度的规范，不同的待评估数据可基于不同的维度的规范进行评估，待评估数据的数据质量是基于多维度的综合衡量，从而更全面地反映待评估数据的质量。

进一步地，所述步骤103，包括：

准确性维度度量值为：按照数据质量定义模型中定义的准确性维度规范进行衡量确定的度量值，可表示为一个具体数值。

数据质量定义模型中定义了准确性维度规范，数据的准确性用于反应数据的精确度和可靠程度，用于衡量数据的准确性的指标包括但不限于数据的准确率和/或不可信率。数据的准确性是指数据是否客观反映了业务特性，可表现在各个指标的数据值阈是否准确。在数据质量定义模型中对每类数据建立一张模型定义表，包括：指标名称、值类型及数据值阈。

下表为本发明实施例提供的一种电饭煲模型定义表示意表，可以看出目标对象为电饭煲的待评估数据，对应的值类型和值范围，从而确定该待评估数据是否准确，并根据数据是否准确，确定数据准确率，具体地，数据准确率＝准确数据量/总数据量。

下表为本发明实施例提供的一种数据准确率与评分映射表示意表。通过下表，可以准确地确定出准确率对应的评分，从而确定出目标对象为电饭煲的待评估数据的准确性维度度量值。

准确率	评分
		100％	100
99％～100％	99
		…	…

进一步地，所述步骤103，还包括：

一致性维度度量值为：按照数据质量定义模型中定义的一致性维度规范进行衡量确定的度量值，可表示为一个具体数值。

数据质量定义模型中定义了一致性维度规范，数据的一致性用于反映数据所表达出的业务关系的一致程度，数据一致性可根据不同***之间的数据差异和数据矛盾进行确定。根据一些关联数据设置数据检验条件，如销售量>激活用户量>活跃用户量，其中，销售量为某一目标对象的整体销售量，激活用户数为使用对应目标对象的用户在网上的注册用户数量，活跃用户量为对应目标对象的激活用户中，对目标对象表现出一定兴趣的用户数量，活跃用户可根据用户发帖数量，用户登录次数和时间等来确定；再如，生产量>销售量，其中，生产量为某一目标对象的总的生产数量，销售量为对应目标对象的整体销售量。再确定待评估数据的一致率，具体地，数据一致率＝一致条件数/总检验条件数。

下表为本发明实施例提供的一种数据一致率与评分映射表示意表。通过下表，可以准确地确定出待评估数据的一致性维度度量值。

进一步地，所述步骤103，还包括：

完整性维度度量值为：按照数据质量定义模型中定义的完整性维度规范进行衡量确定的度量值，可表示为一个具体数值。

进一步地，所述方法还包括：

确定连续两次待评估数据上报时间的实际间隔时间；

基于设定的数据上报间隔时间与所述实际间隔时间，确定所述待评估数据的缺失率。数据质量定义模型中定义了完整性维度规范，数据的完整性用于反应数据的完整程度，用于衡量数据的完整的指标包括但不限于数据的缺失率和/ 或完整率。数据的缺失率越高则完整率越低。数据的完整性主要包括：检验智能电器设备使用过程中的连续上报数据是否有丢失情况。通过连续两次数据上报时间的间隔时间H1，与规定的数据上报间隔时间H2比较，通过H1/H2可以计算出缺失条数，再确定待评估数据的一致率，具体地，数据缺失率＝缺失条数/总数据量。

下表为本发明实施例提供的一种数据缺失率与评分映射表示意表。通过下表，可以准确地确定出待评估数据的完整性维度度量值。

缺失率	评分
		0～1％	99
0～2％	98
		…	…

进一步地，所述步骤103，还包括：

及时性维度度量值为：按照数据质量定义模型中定义的及时性维度规范进行衡量确定的度量值，可表示为一个具体数值。

数据质量定义模型中定义了及时性维度规范，数据及时性用于反映数据进入***的延迟程度，用于衡量数据的及时性的指标包括但不限于数据的延迟率和/或及时率。数据的延迟程度越高则数据的及时性越差。数据的及时性可根据数据上报时间T1和数据最终的入库时间T2差值确定，如果T1与T2的差值大于设定阀值，表示有延迟。再确定待评估数据的一致率，具体地，数据延时率＝延时数据量/总数据量。

下表为本发明实施例提供的一种数据延迟率与评分映射表示意表。通过下表，可以准确地确定出待评估数据的及时性维度度量值。

延迟率	评分
		0～1％	99
0～2％	98
		…	…

进一步地，所述步骤103，还包括：

需要说明的是，各维度对应的权重，可根据实际业务需求和各维度的重要程度加以确定，以使确定的待评估数据的数据质量的可以更加合理有效的反映数据质量。

以下给出一种具体实施方式，分别设定数据的准确性、数据的一致性、数据的完整性、数据的及时性的评分为s1、s2、s3、s4，权重分别为w1、w2、 w3、w4，其中s1、s2、s3、s4通过以上映射表可以获取，最终数据质量评分 s计算为：

s＝s1*w1+s2*w2+s3*w3+s4*w4。

计算结果入库：通过数据质量评分计算模型和大数据平台的数据可以计算出各类型数据的评分值，并写入数据库。

评分结果展示：将评分结果展示在web或移动端，供数据管理者和数据使用者查看。

图2为本发明实施例提供的一种数据质量确定装置组成结构示意图，包括：

第一确定单元201，用于根据基础模型，确定与目标对象对应的数据质量定义模型；

第二确定单元202，用于根据所述数据质量定义模型，确定所述目标对象的待评估数据的质量评估参数；

获取单元203，用于将所述待评估数据及所述质量评估参数输入到数据质量计算模型，获得所述待评估数据的数据质量。

进一步地，所述第二确定单元202，具体用于根据所述数据质量定义模型，确定所述目标对象的待评估数据的质量评估维度，其中，所述质量评估维度包括：准确性维度、一致性维度、完整性维度和及时性维度的至少其中之一；

用于获取所述质量评估维度所对应的质量评估参数。

进一步地，所述第二确定单元202，还用于基于所述待评估数据及所述准确性维度的质量评估参数，确定所述待评估数据的准确性维度度量值。

进一步地，所述第二确定单元202，还用于所述将所述待评估数据及所述质量评估参数输入到数据质量计算模型，获得所述待评估数据的数据质量，包括：

进一步地，所述第二确定单元202，还用于基于所述待评估数据及时性维度的质量评估参数，确定所述待评估数据的及时性维度度量值。

进一步地，所述获取单元203，具体用于将所述待评估数据及所述质量评估参数输入到数据质量计算模型，获得所述待评估数据的数据质量，包括：

用于基于所述待评估数据的维度权重及所述待评估数据，确定所述待评估数据的数据质量。

图3为本发明实施例提供的另一种数据质量确定装置组成结构示意图，包括：数据质量评分模块、计算模块、评分展示模块。

数据质量评分模块：建立数据质量评分模型，包括基础模型、数据质量定义模型、数据质量评分计算模型。

计算模块：根据模型和数据进行计算，将结果写入数据库。

评分展示模块：将评分数据展示在web页面或移动终端。

数据质量确定装置也主要包括四个模块：数据采集模块、计算模块、控制模块、提示模块。

数据采集模块：用于从用户正在使用的智能电器设备和电器厂商的各生产库中采集数据，放入数据质量确定***中。

计算模块：根据模型和数据进行计算，将结果写入数据库。

控制模块：调度控制其它模块的正常运行。

提示模块：如果待评估数据的数据质量低于设定的某一阀值，发出告警。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims

1.一种数据质量确定方法，其特征在于，所述方法包括：

根据基础模型，确定与目标对象对应的数据质量定义模型；

2.根据权利要求1所述的方法，其特征在于，

所述根据所述数据质量定义模型，确定所述目标对象的待评估数据的质量评估参数，包括：

获取所述质量评估维度所对应的质量评估参数。

3.根据权利要求1所述的方法，其特征在于，

基于所述待评估数据及所述准确性维度的质量评估参数，确定所述待评估数据的准确性维度度量值；

和/或，

基于所述待评估数据及所述一致性维度的质量评估参数，确定所述待评估数据的一致性维度度量值；

和/或，

基于所述待评估数据及完整性维度的质量评估参数，确定所述待评估数据的完整性维度度量值；

和/或，

4.根据权利要求1所述的方法，其特征在于，

将所述待评估数据及所述质量评估参数输入到数据质量计算模型，获得所述待评估数据的数据质量，包括：

5.根据权利要求1所述的方法，其特征在于，在所述根据基础模型，确定与目标对象对应的数据质量定义模型之前，所述方法还包括：

确定待评估数据对应的烹饪设备的品种和烹饪设备的类型；

基于所述品种和所述类型，确定所述基础模型。

6.根据权利要求5所述的方法，其特征在于，

所述品种包括烹饪设备的烹饪方式；

和/或，

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定连续两次待评估数据上报时间的实际间隔时间；

8.根据权利要求1所述的方法，其特征在于，

所述基础模型中包括以下至少之一：目标对象及目标对象间的映射关系、数据采集标准规范、指标分类、通用指标定义、约束规则规范。

9.一种数据质量确定装置，其特征在于，所述装置包括：

10.根据权利要求9所述的装置，其特征在于，

所述第二确定单元，具体用于根据所述数据质量定义模型，确定所述目标对象的待评估数据的质量评估维度，其中，所述质量评估维度包括：准确性维度、一致性维度、完整性维度和及时性维度的至少其中之一；

用于获取所述质量评估维度所对应的质量评估参数。