CN111159191A - 一种数据处理方法、装置和界面 - Google Patents
一种数据处理方法、装置和界面 Download PDFInfo
- Publication number
- CN111159191A CN111159191A CN201911391073.7A CN201911391073A CN111159191A CN 111159191 A CN111159191 A CN 111159191A CN 201911391073 A CN201911391073 A CN 201911391073A CN 111159191 A CN111159191 A CN 111159191A
- Authority
- CN
- China
- Prior art keywords
- data
- rule
- processing
- establishing
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种数据处理方法和界面,所述方法包括:建立元数据库,对数据元进行定义,选取数据元建立数据模型;根据所述数据模型的定义从数据源采集数据,通过可视化的处理,将数据交换到目标数据库;配置检查规则,检查出不符合规则的问题数据,对所述问题数据进行处理,使所述问题数据符合规则;对符合规则的数据进行分类,建立数据目录,并通过所述数据目录对符合规则的数据进行操作。本申请实施例通过建立标准规范的元数据库,借助元数据库中数据模型的定义,实现对各类分散、独立的数据源数据进行采集入库及数据质量的控制,最终形成面向应用的资源目录。
Description
技术领域
本申请涉及数据处理,尤其涉及一种数据处理方法、装置和界面。
背景技术
目前市面上环保数据中心已发展多年,对数据的采集、存储能力已达到较高水平。然而传统的数据中心更多关注的是数据接入和存储,对数据的可视化管理以及持续接入的能力还很欠缺,限制了数据的灵活应用以及数据价值的挥发,已很难满足当前的发展要求。
发明内容
本申请提供一种数据处理方法、装置和界面。
根据本申请的第一方面,本申请提供一种数据处理方法,包括:
建立元数据库,对数据元进行定义,选取数据元建立数据模型;
根据所述数据模型的定义从数据源采集数据,通过可视化的处理,将数据交换到目标数据库;
配置检查规则,检查出不符合规则的问题数据,对所述问题数据进行处理,使所述问题数据符合规则;
对符合规则的数据进行分类,建立数据目录,并通过所述数据目录对符合规则的数据进行操作。
进一步地,所述从数据源采集数据,进行可视化处理,将数据交换到目标数据库,包括:
如目标库的表结构和来源库的表结构一致,通过在界面配置来源及目标的数据库、表名以及抽取方式,将配置信息保存到配置表,后台通过改造ETL,读取所述配置表进行数据交换。
进一步地,所述从数据源采集数据,进行可视化处理,将数据交换到目标数据库,还包括:
如目标库的表结构和来源库的表结构不一致,通过在界面配置来源及目标的数据库、表名以及抽取方式,将配置信息保存到配置表,并根据两边字段配置建立字段对应关系,保存到关联关系表,后台通过改造ETL,读取基本配置表、字段关系表进行数据交换。
进一步地,所述检查规则包括对数据更新频率、空值校验、重复值检验、码值检验、关键字检验、时间段检验、指标名称和/或自定义业务逻辑进行校验;
所述检查出不符合规则的问题数据,对所述问题数据进行处理,使所述问题数据符合规则,包括:
检查出的问题数据,通过线下对问题数据进行处理,在界面对问题数据进行标志处理状态。
进一步地,所述配置检查规则包括:
对数据表及数据的更新周期进行配置并保存到数据库,后台根据配置信息查询每个配置表中的时间戳,进行判断数据是否及时更新,并记录未及时更新表。
进一步地,所述配置检查规则还包括:
后台根据设置的数据字段长度、类型、格式、含义进行检查,并记录有问题数据;或者,通过自定义的sql脚本实现,脚本里通过对表建立关系,实现对数据的业务逻辑校验;
进一步地,所述配置检查规则还包括:
后台通根据设置的非空字段、特殊字段进行检查,并记录有问题数据。
根据本申请的第二方面,本申请提供一种数据处理界面,包括:
元数据处理模块,用于建立元数据库,对数据元进行定义,选取数据元建立数据模型;
数据采集模块,用于根据所述元数据库的定义从数据源采集数据,通过可视化的处理,将数据交换到目标数据库;;
数据质量控制模块,用于根据数据的及时性、准确性和完整性配置检查规则,检查出不符合规则的问题数据,对所述问题数据进行处理,使所述问题数据符合规则;
资源目录模块,用于对符合规则的数据进行分类,建立数据目录,并通过所述数据目录对符合规则的数据进行操作。
进一步地,上界面还包括数据源模块,
所述数据源模块,包括数据仓库、数据集市和/或多个数据源,所述数据仓库、所述数据集市和所述数据源分别用于提供各种数据。
根据本申请的第三方面,本申请提供一种数据处理装置,包括:
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现上述方法。
由于采用了以上技术方案,使本申请具备的有益效果在于:
本申请的数据处理方法和界面,由于包括:建立元数据库,对数据元进行定义,选取数据元建立数据模型,基于标准的数据模型可从多种数据源采集数据,整合各类分散、独立的数据源数据;由于配置检查规则,检查出不符合规则的问题数据,对所述问题数据进行处理,因而可借助元数据库的定义进行数据采集及数据质量的控制,对符合规则的数据进行分类,建立数据目录,并通过所述数据目录对符合规则的数据进行操作。本申请实施例通过建立标准规范的元数据库,借助元数据库中数据模型的定义,实现对各类分散、独立的数据源数据进行采集入库及数据质量的控制,最终形成面向应用的资源目录。
附图说明
图1为本申请实施例一中的方法在一种实施方式中的流程图;
图2为本申请实施例一中的方法在一种实施方式中的数据流向示意图;
图3为本申请实施例二中的数据处理界面在一种实施方式中的程序模块示意图;
图4为本申请实施例二中的数据处理界面在另一种实施方式中的程序模块示意图;
图5为本申请实施例二中的数据处理界面在一种具体实施方式中的程序模块示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。本申请可以以多种不同的形式来实现,并不限于本实施例所描述的实施方式。提供以下具体实施方式的目的是便于对本申请公开内容更清楚透彻的理解,其中上、下、左、右等指示方位的字词仅是针对所示结构在对应附图中位置而言。
然而,本领域的技术人员可能会意识到其中的一个或多个的具体细节描述可以被省略,或者还可以采用其他的方法、组件或材料。在一些例子中,一些实施方式并没有描述或没有详细的描述。
本文中为部件所编序号本身,例如“第一”、“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。
此外,本文中记载的技术特征、技术方案还可以在一个或多个实施例中以任意合适的方式组合。对于本领域的技术人员来说,易于理解与本文提供的实施例有关的方法的步骤或操作顺序还可以改变。因此,附图和实施例中的任何顺序仅仅用于说明用途,并不暗示要求按照一定的顺序,除非明确说明要求按照某一顺序。
实施例一:
如图1、图2所示,本申请提供的数据处理方法,其一种实施方式,包括以下步骤:
步骤102:建立元数据库,对数据元进行定义,选取数据元建立数据模型。
数据元是数据的最小单位,通过数据元的定义信息包括中文名称、英文名称、类型、格式、值域等进行增加、更新、删除的管理,同时通过选取定义好的数据元进行建立模型,达到规范限制数据模型的属性,数据模型应用于数据集的封装、数据质量的校验定义、数据开放的数据基础及应用***设计标准。
对于元数据的管理,主要通过以下几个方面实现:
数据模型,模型创建时提取数据元,进行初始化名称、类型、格式、值域,模型信息只能使用数据元属性。
数据质量,数据校验规则创建读取到库表的元数据定义信息,选取对应的字段信息进行值域、类型的校验。
数据集,封装数据集可通过关联单个或多个数据模型的字段项信息,模型对应于数据库,保存配置信息,实则是查询数据库表,从而封装数据结果集。
数据开放,数据开放是基于数据集来开放数据。
应用***,应用***的数据库设计,包括名称、编码、格式、值域可直接基于定义好的元数据生成设计文件。
步骤104:根据元数据库中数据模型的定义从数据源采集数据,通过可视化的处理,将数据交换到目标数据库。
进一步地,步骤104具体可以通过以下两种方式实现:
如目标库的表结构和来源库的表结构一致,通过在界面配置来源及目标的数据库、表名以及抽取方式,将配置信息保存到配置表,后台通过改造ETL,读取配置表进行数据交换。
如目标库的表结构和来源库的表结构不一致,通过在界面配置来源及目标的数据库、表名以及抽取方式,将配置信息保存到配置表,并根据两边字段配置建立字段对应关系,保存到关联关系表,后台通过改造ETL,读取基本配置表、字段关系表进行数据交换。
实现对数据采集可视化管理,明确数据来源和数据流向,借助ETL技术等机制,保障数据库、文件、其它来源的数据可持续的入库。
对数据采集按数据的场景分为两种实现方式:
目标库的表结构和来源库的表结构一致的情况,通过在界面配置来源及目标的数据库、表名以及抽取方式(增量、全量),将配置信息保存到一张基本配置表,后台通过改造ETL(Extract-Transform-Load,数据仓库技术),读取这张配置表进行数据交换。
目标库及来源库表结构不一样的情况,通过在界面配置来源及目标的数据库、表名以及抽取方式(增量、全量),将配置信息保存到一张基本配置表,并根据两边字段配置建立字段对应关系,保存到一张关联关系表,后台通过改造ETL,读取基本配置表、字段关系表进行数据交换。
步骤106:根据数据的及时性、准确性和完整性配置检查规则,检查出不符合规则的问题数据,对所述问题数据进行处理,使所述问题数据符合规则。
在一种实施方式中,检查规则包括对数据更新频率、空值校验、重复值检验、码值检验、关键字检验、时间段检验、指标名称和/或自定义业务逻辑进行校验。
进一步地,步骤106具体可以包括:
步骤1062:检查出的问题数据,通过线下对问题数据进行处理,线上对问题数据进行标志处理状态。
检查出的问题数据,可以通过线下对问题数据进行处理,在界面对问题数据进行标志处理状态,使数据问题从发现到处理再到回归检查整个过程,形成问题数据闭环处理。
其中,步骤106中,配置检查规则,具体可以包括:
对数据表及数据的更新周期进行配置并保存到数据库,后台根据配置信息查询每个配置表中的时间戳,进行判断数据是否及时更新,并记录未及时更新表。
其中,步骤106中,配置检查规则还可以包括:
后台根据设置的数据字段长度、类型、格式、含义进行检查,并记录有问题数据;或者,通过自定义的sql脚本实现,脚本里通过对表建立关系,实现对数据的业务逻辑校验;
其中,步骤106中,配置检查规则还包括:
后台通根据设置的非空字段、特殊字段进行检查,并记录有问题数据。
数据质量主要检查数据的及时性、准确性、完整性三个维度,并定期形成质量报告,及时发现数据问题,并进行标记处理,形成闭环管理。
通过对数据配置检查规则,检查规则包括对数据更新频率、空值校验、重复值检验、码值检验、关键字检验、时间段检验、指标名称、自定义业务逻辑进行校验,检查出不符合规则的垃圾数据,通过标记的方式进行处理,。主要过程包括质量规则定义、问题数据处理、质量报告。
质量方案配置数据的校验规则,按及时性、准确性和准确性等三个维度进行设计。
及时性:对数据表及数据的更新周期进行配置并保存到数据库,后台自动根据配置信息查询每个配置表中的时间戳(数据更新时间),进行判断数据是否及时更新,并记录未及时更新表。
准确性:准确性检查支持2种方式,第一种是内置的数据检查,后台通过数据模型(表)中设置的数据字段长度、类型、格式、含义进行检查,并记录有问题数据;第二种通过自定义的sql(Structured Query Language,结构化查询语言)脚本实现,脚本里通过对表建立关系关系,实现对数据的业务逻辑校验。
完整性:后台通过数据模型(表)中设置的非空字段、特殊字段、进行检查,并记录有问题数据
基于数据质量检查的结果信息,还可以通过报表工具形成及时性、准确性、完整性的质量报告,质量报告能按问题分类,展示数据的质量详情,精确到具体的表及字段信息。
步骤108:对符合规则的数据进行分类,建立数据目录,并通过所述数据目录对符合规则的数据进行操作。
完成对数据资产进行适当的分类和编码,并通过新增、修改、删除进行管理。其中,通过对数据目录对数据的操作主要是对数据进行查看和下载。
本申请可通过元数据管理建立数据标准体系,并对数据采集ETL过程进行封装保障数据按照标准体系入库,同时读取事先制定的标准体系或自定义规则进行数据的清洗,形成数据质量报告。
实施例二:
如图3至图5所示,本申请实施例提供的数据处理界面,其一种实施方式,包括:
元数据处理模块310,用于建立元数据库,对数据元进行定义,选取数据元建立数据模型;
数据采集模块320,用于根据元数据库中数据模型的定义从数据源采集数据,通过可视化的处理,将数据交换到目标数据库;
数据质量控制模块330,用于配置检查规则,检查出不符合规则的问题数据,对所述问题数据进行处理,使所述问题数据符合规则;
资源目录模块340,用于对符合规则的数据进行分类,建立数据目录,并通过所述数据目录对符合规则的数据进行操作。
本申请实施例提供的数据处理界面,其另一种实施方式,包括:
元数据处理模块410,用于建立元数据库,对数据元进行定义,选取数据元建立数据模型;
数据采集模块420,用于根据元数据库中数据模型的定义从数据源采集数据,通过可视化的处理,将数据交换到目标数据库;
数据质量控制模块430,用于配置检查规则,检查出不符合规则的问题数据,对所述问题数据进行处理,使所述问题数据符合规则;
资源目录模块440,用于对符合规则的数据进行分类,建立数据目录,并通过所述数据目录对符合规则的数据进行操作。
数据源模块450,包括数据仓库、数据集市和/或多个数据源,数据仓库、数据集市和所述数据源分别用于提供各种数据。
如图5所示,在一种具体实施方式中,元数据处理模块510具体可以包括:
数据元处理单元,用于通过定义数据元的中文名称、英文名称、类型、格式、值域等,用于将数据标准规范以结构化的方式进行管理,并能够在数据模型、数据表实例的管理中直接应用,使数据元标准得到执行。
数据模块处理单元,用于基于数据元,可设计数据模型,建立数据存储标准结构;
数据源处理单元,用于对平台采集的所有数据来源库进行管理;
代码集处理单元,且于定义管理平台的基础公共代码集、行政区划、行业类型等数据;
数据集单元,用于通过可视化的方式让用户自行构建数据集,可应用于日常数据报表,数据开放、资源目录,灵活快速满足用户对数据应用的各类需求进一步地,数据采集模块520具体可以包括:
ETL单元,用于数据抽取、转换、加载的过程,实现将数据从一个数据库交换到另外一个数据库。
任务调度单元,用于提供对ETL数据采集任务的统一管理,保障数据可以按照既定频率频次进行采集。
数据清洗单元,用于针对复杂多样、标准不一的数据进行清洗转换,保障进行按照规范入库。
执行引擎单元,用于提供分步式的执行引擎管理,将采集任务分配到不同的引擎去运行,降低大量数据采集任务集中运行的压力,保障数据稳定性、高效的交换。
进一步地,数据质量控制模块530具体可以包括:
数据质量方案单元,用于配置质量方案配置数据的校验规则,按以下三个维度进行设计。
及时性:对数据表及数据的更新周期进行配置并保存到数据库,后台自动根据配置信息查询每个配置表中的时间戳(数据更新时间),进行判断数据是否及时更新,并记录未及时更新表。
准确性:准确性检查支持2种方式,第一种是内置的数据检查,后台通过数据模型(表)中设置的数据字段长度、类型、格式、含义进行检查,并记录有问题数据;第二种通过自定义的sql脚本实现,脚本里通过对表建立关系关系,实现对数据的业务逻辑校验。
完整性:后台通过数据模型(表)中设置的非空字段、特殊字段、进行检查,并记录有问题数据。
数据质量分析单元,用于台按照配置的质量方案进行数据问题查找分析。
异常数据处理单元,用于检查出的问题数据,通过线下对问题数据进行处理,在界面对问题数据进行标志处理状态,使数据问题从发现到处理再到回归检查整个过程,形成问题数据闭环处理。
数据质量报告单元,用于基于数据质量检查的结果信息,通过报表工具形成及时性、准确性、完整性的质量报告,质量报告能按问题分类,展示数据的质量详情,精确到具体的表及字段信息。
进一步地,资源目录模块540具体可以包括:
目录管理单元,用于对环境数据分类目录进行管理,根据国家相关规范,***默认提供一套目录,同时可灵活修改满足各地差异化需求,是形成科学、合理的信息资源目录体系,实现有序管理和查看各类环境数据的基础。
资源注册单元,用于对封装好的数据集挂载到资源目录,实现将分散、无分类的数据,按标准化的目录进行分类管理,进而呈现给用户查阅。
权限控制单元,用于对资源目录的数据进行权限控制,不同的人员角色不同,数据资源查看的权限不同。
数据查阅单元,用于资源目录数据查询功能,将数据治理的成果按标准化的资源目录体系呈现给用户,目录体系支持按环境信息分类、组织机构分类、职能域分类,给用户说清数据资源种类,数据资源数量。
进一步地,数据源模块550具体可以包括:
数据仓库,用于分别提供RDBMS、TSDB、MongoDB、ES等数据库中的数据。
数据集市,用于分别提供气环境、水环境、噪声环境、土壤环境、自然生态、污染环境、污染源、行政办公、标准规范和空间数据等数据。
数据源,用于提供省厅环境数据、地市环境数据、区县环境数据、互联网数据和外部单位数据等。
实施例三:
本申请的数据处理装置,其一种实施方式,包括存储器和处理器。
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现实施例一中的方法。
本领域技术人员可以理解,上述实施方式中各种方法的全部或部分步骤可以通过程序来指令相关硬件完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器、随机存储器、磁盘或光盘等。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明,不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干简单推演或替换。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
建立元数据库,对元数据进行定义,选取元数据建立数据模型;
从数据源采集数据,进行可视化处理,并导入目标数据库;
根据数据的及时性、准确性和完整性配置检查规则,检查出不符合规则的问题数据,对所述问题数据进行处理,使所述问题数据符合规则;
对符合规则的数据进行分类,建立数据目录,并通过所述数据目录对符合规则的数据进行操作。
2.如权利要求1所述的方法,其特征在于,所述从数据源采集数据,进行可视化处理,并导入目标数据库,包括:
如目标库的表结构和来源库的表结构一致,通过在界面配置来源及目标的数据库、表名以及抽取的方式信息保存到配置表,后台通过改造ETL,读取所述配置表进行数据交换。
3.如权利要求2所述的方法,其特征在于,所述从数据源采集数据,进行可视化处理,导入目标数据库,还包括:
如目标库的表结构和来源库的表结构不一致,通过在界面配置来源及目标的数据库、表名以及抽取的方式信息保存到配置表,并根据两边字段配置建立字段对应关系,保存到关联关系表,后台通过改造ETL,读取基本配置表、字段关系表进行数据交换。
4.如权利要求1所述的方法,其特征在于,所述检查规则包括对数据更新频率、空值校验、重复值检验、码值检验、关键字检验、时间段检验、指标名称和/或自定义业务逻辑进行校验;
所述检查出不符合规则的问题数据,对所述问题数据进行处理,使所述问题数据符合规则,包括:
检查出的问题数据,通过线下对问题数据进行处理,线上对问题数据进行标志处理状态。
5.如权利要求1所述的方法,其特征在于,根据数据的及时性配置检查规则包括:
对数据表及数据的更新周期进行配置并保存到数据库,后台根据配置信息查询每个配置表中的时间戳,进行判断数据是否及时更新,并记录未及时更新表。
6.如权利要求5所述的方法,其特征在于,根据数据的准确性配置检查规则包括:
后台根据设置的数据字段长度、类型、格式、含义进行检查,并记录有问题数据;或者,通过自定义的sql脚本实现,脚本里通过对表建立关系,实现对数据的业务逻辑校验。
7.如权利要求6所述的方法,其特征在于,根据数据的完整性配置检查规则包括:
后台通根据设置的非空字段、特殊字段进行检查,并记录有问题数据。
8.一种数据处理界面,其特征在于,包括:
元数据处理模块,用于建立元数据库,对元数据进行定义,选取元数据建立数据模型;
数据采集模块,用于从数据源采集数据,进行可视化处理,并导入目标数据库;
数据质量管理模块,用于根据数据的及时性、准确性和完整性配置检查规则,检查出不符合规则的问题数据,对所述问题数据进行处理,使所述问题数据符合规则;
资源目录模块,用于对符合规则的数据进行分类,建立数据目录,并通过所述数据目录对符合规则的数据进行操作。
9.如权利要求8所述的界面,其特征在于,还包括数据源模块,
所述数据源模块,包括数据仓库、数据集市和/或多个数据源,所述数据仓库、所述数据集市和所述数据源分别用于提供各种数据。
10.一种数据处理装置,其特征在于,包括:
存储器,用于存储程序;
处理器,用于通过执行所述存储器存储的程序以实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911391073.7A CN111159191B (zh) | 2019-12-30 | 2019-12-30 | 一种数据处理方法、装置和界面 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911391073.7A CN111159191B (zh) | 2019-12-30 | 2019-12-30 | 一种数据处理方法、装置和界面 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111159191A true CN111159191A (zh) | 2020-05-15 |
CN111159191B CN111159191B (zh) | 2023-05-09 |
Family
ID=70559330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911391073.7A Active CN111159191B (zh) | 2019-12-30 | 2019-12-30 | 一种数据处理方法、装置和界面 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111159191B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111984684A (zh) * | 2020-08-20 | 2020-11-24 | 北京捷报金峰数据技术有限公司 | 数据处理方法及装置 |
CN112000656A (zh) * | 2020-09-01 | 2020-11-27 | 北京天源迪科信息技术有限公司 | 基于元数据的智能化数据清洗方法及装置 |
CN112308410A (zh) * | 2020-10-30 | 2021-02-02 | 云南电网有限责任公司电力科学研究院 | 一种基于资产分类的企业资产数据治理方法 |
CN112307103A (zh) * | 2020-10-30 | 2021-02-02 | 山东浪潮通软信息科技有限公司 | 大数据变现方法、装置及计算机可读介质 |
CN112395325A (zh) * | 2020-11-27 | 2021-02-23 | 广州光点信息科技有限公司 | 一种数据治理方法、***、终端设备及存储介质 |
CN112527783A (zh) * | 2020-11-27 | 2021-03-19 | 中科曙光南京研究院有限公司 | 一种基于Hadoop的数据质量探查*** |
CN112612794A (zh) * | 2020-12-29 | 2021-04-06 | 北京锐安科技有限公司 | 一种关系型数据库的辅助生成方法、装置、计算机设备及存储介质 |
CN112633621A (zh) * | 2020-08-25 | 2021-04-09 | 南方电网科学研究院有限责任公司 | 一种基于paas平台的电网企业管理决策***和方法 |
CN112632169A (zh) * | 2020-12-29 | 2021-04-09 | 永辉云金科技有限公司 | 一种金融数据自动上报方法、装置及计算机设备 |
CN112667619A (zh) * | 2020-12-30 | 2021-04-16 | 平安证券股份有限公司 | 辅助检查数据的方法、装置、终端设备及存储介质 |
CN112685427A (zh) * | 2021-01-25 | 2021-04-20 | 拉卡拉支付股份有限公司 | 数据接入方法、装置、电子设备及存储介质 |
CN112948365A (zh) * | 2021-03-04 | 2021-06-11 | 浪潮云信息技术股份公司 | 一种基于数据元智能匹配的数据质量检测方法 |
CN113157676A (zh) * | 2021-04-14 | 2021-07-23 | 联通(广东)产业互联网有限公司 | 一种数据质量管理方法、***、装置及存储介质 |
CN113590599A (zh) * | 2021-07-22 | 2021-11-02 | 创意信息技术股份有限公司 | 基于多元复杂数据环境的数据检查方法 |
CN114971140A (zh) * | 2022-03-03 | 2022-08-30 | 北京计算机技术及应用研究所 | 一种面向数据交换的业务数据质量评估方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942245A (zh) * | 2014-02-19 | 2014-07-23 | 浪潮软件股份有限公司 | 基于元数据的数据抽取方法 |
WO2016141491A1 (en) * | 2015-03-10 | 2016-09-15 | Royal Bank Of Canada | Systems and methods for managing data |
WO2017051420A1 (en) * | 2015-09-21 | 2017-03-30 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Advanced computer implementation for crawling and/or detecting related electronically catalogued data using improved metadata processing |
CN107992552A (zh) * | 2017-11-28 | 2018-05-04 | 南京莱斯信息技术股份有限公司 | 一种数据交换平台及数据交换方法 |
CN108959564A (zh) * | 2018-07-04 | 2018-12-07 | 玖富金科控股集团有限责任公司 | 数据仓库元数据管理方法、可读存储介质和计算机设备 |
CN109947746A (zh) * | 2017-10-26 | 2019-06-28 | 亿阳信通股份有限公司 | 一种基于etl流程的数据质量管控方法和*** |
CN110232098A (zh) * | 2019-04-22 | 2019-09-13 | 汇通达网络股份有限公司 | 一种基于数据治理及血缘关系设计的数据仓库*** |
-
2019
- 2019-12-30 CN CN201911391073.7A patent/CN111159191B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103942245A (zh) * | 2014-02-19 | 2014-07-23 | 浪潮软件股份有限公司 | 基于元数据的数据抽取方法 |
WO2016141491A1 (en) * | 2015-03-10 | 2016-09-15 | Royal Bank Of Canada | Systems and methods for managing data |
WO2017051420A1 (en) * | 2015-09-21 | 2017-03-30 | Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. | Advanced computer implementation for crawling and/or detecting related electronically catalogued data using improved metadata processing |
CN109947746A (zh) * | 2017-10-26 | 2019-06-28 | 亿阳信通股份有限公司 | 一种基于etl流程的数据质量管控方法和*** |
CN107992552A (zh) * | 2017-11-28 | 2018-05-04 | 南京莱斯信息技术股份有限公司 | 一种数据交换平台及数据交换方法 |
CN108959564A (zh) * | 2018-07-04 | 2018-12-07 | 玖富金科控股集团有限责任公司 | 数据仓库元数据管理方法、可读存储介质和计算机设备 |
CN110232098A (zh) * | 2019-04-22 | 2019-09-13 | 汇通达网络股份有限公司 | 一种基于数据治理及血缘关系设计的数据仓库*** |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111984684A (zh) * | 2020-08-20 | 2020-11-24 | 北京捷报金峰数据技术有限公司 | 数据处理方法及装置 |
CN111984684B (zh) * | 2020-08-20 | 2021-07-23 | 北京捷报金峰数据技术有限公司 | 数据处理方法及装置 |
CN112633621A (zh) * | 2020-08-25 | 2021-04-09 | 南方电网科学研究院有限责任公司 | 一种基于paas平台的电网企业管理决策***和方法 |
CN112000656A (zh) * | 2020-09-01 | 2020-11-27 | 北京天源迪科信息技术有限公司 | 基于元数据的智能化数据清洗方法及装置 |
CN112308410A (zh) * | 2020-10-30 | 2021-02-02 | 云南电网有限责任公司电力科学研究院 | 一种基于资产分类的企业资产数据治理方法 |
CN112307103A (zh) * | 2020-10-30 | 2021-02-02 | 山东浪潮通软信息科技有限公司 | 大数据变现方法、装置及计算机可读介质 |
CN112395325A (zh) * | 2020-11-27 | 2021-02-23 | 广州光点信息科技有限公司 | 一种数据治理方法、***、终端设备及存储介质 |
CN112527783A (zh) * | 2020-11-27 | 2021-03-19 | 中科曙光南京研究院有限公司 | 一种基于Hadoop的数据质量探查*** |
CN112527783B (zh) * | 2020-11-27 | 2024-05-24 | 中科曙光南京研究院有限公司 | 一种基于Hadoop的数据质量探查*** |
CN112612794A (zh) * | 2020-12-29 | 2021-04-06 | 北京锐安科技有限公司 | 一种关系型数据库的辅助生成方法、装置、计算机设备及存储介质 |
CN112632169A (zh) * | 2020-12-29 | 2021-04-09 | 永辉云金科技有限公司 | 一种金融数据自动上报方法、装置及计算机设备 |
CN112632169B (zh) * | 2020-12-29 | 2023-03-28 | 永辉云金科技有限公司 | 一种金融数据自动上报方法、装置及计算机设备 |
CN112667619A (zh) * | 2020-12-30 | 2021-04-16 | 平安证券股份有限公司 | 辅助检查数据的方法、装置、终端设备及存储介质 |
CN112667619B (zh) * | 2020-12-30 | 2023-10-10 | 平安证券股份有限公司 | 辅助检查数据的方法、装置、终端设备及存储介质 |
CN112685427A (zh) * | 2021-01-25 | 2021-04-20 | 拉卡拉支付股份有限公司 | 数据接入方法、装置、电子设备及存储介质 |
CN112685427B (zh) * | 2021-01-25 | 2024-03-26 | 拉卡拉支付股份有限公司 | 数据接入方法、装置、电子设备及存储介质 |
CN112948365A (zh) * | 2021-03-04 | 2021-06-11 | 浪潮云信息技术股份公司 | 一种基于数据元智能匹配的数据质量检测方法 |
CN113157676A (zh) * | 2021-04-14 | 2021-07-23 | 联通(广东)产业互联网有限公司 | 一种数据质量管理方法、***、装置及存储介质 |
CN113590599A (zh) * | 2021-07-22 | 2021-11-02 | 创意信息技术股份有限公司 | 基于多元复杂数据环境的数据检查方法 |
CN113590599B (zh) * | 2021-07-22 | 2024-04-05 | 创意信息技术股份有限公司 | 基于多元复杂数据环境的数据检查方法 |
CN114971140A (zh) * | 2022-03-03 | 2022-08-30 | 北京计算机技术及应用研究所 | 一种面向数据交换的业务数据质量评估方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111159191B (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111159191B (zh) | 一种数据处理方法、装置和界面 | |
CN109947746B (zh) | 一种基于etl流程的数据质量管控方法和*** | |
CN108038222B (zh) | 用于信息***建模和数据访问的实体-属性框架的*** | |
US9311334B2 (en) | Geospatial database integration using business models | |
US6199059B1 (en) | System and method for classifying and retrieving information with virtual object hierarchy | |
Abel et al. | The systems integration problem | |
US8949291B2 (en) | Automatic conversion of multidimentional schema entities | |
CN110119395B (zh) | 大数据治理中基于元数据实现数据标准与数据质量关联处理的方法 | |
CN111104394A (zh) | 一种能源数据仓库***构建方法及装置 | |
CN103473672A (zh) | 企业级数据中心的元数据质量稽核***、方法及平台 | |
CN112199433A (zh) | 一种用于城市级数据中台的数据治理*** | |
CN103984755A (zh) | 基于多维度模型的油气资源数据要览***实现方法及*** | |
CN103309928B (zh) | 存储和检索数据的方法和*** | |
CN111125068A (zh) | 一种元数据治理方法和*** | |
CN112633822B (zh) | 基于数字孪生技术的资产管理方法、存储介质和移动终端 | |
CN109189863A (zh) | 一种描述事物时间属性并基于所述描述进行查找的方法 | |
CN107103064A (zh) | 数据统计方法及装置 | |
CN114625820A (zh) | 一种面向人工智能遥感影像解译的样本库***及组织方法 | |
CN110737729A (zh) | 基于知识图谱理念和技术的工程图谱数据信息管理方法 | |
CN112699100A (zh) | 一种基于元数据管理分析*** | |
CN114968984A (zh) | 数字孪生全生命周期管理平台 | |
CN110490761A (zh) | 一种电网配网设备台账数据模型建模方法 | |
CN111061733A (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
CN110765750A (zh) | 报表数据录入方法及终端设备 | |
CN112817958A (zh) | 电力规划数据采集方法、装置及智能终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |