CN101071486A - 自动接收和评价技术过程或项目的数据质量的***和方法 - Google Patents

自动接收和评价技术过程或项目的数据质量的***和方法 Download PDF

Info

Publication number
CN101071486A
CN101071486A CNA2007101023570A CN200710102357A CN101071486A CN 101071486 A CN101071486 A CN 101071486A CN A2007101023570 A CNA2007101023570 A CN A2007101023570A CN 200710102357 A CN200710102357 A CN 200710102357A CN 101071486 A CN101071486 A CN 101071486A
Authority
CN
China
Prior art keywords
data
module
read
bulk data
bulk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007101023570A
Other languages
English (en)
Inventor
P·比尔
A·利费尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Technology AG
Original Assignee
ABB T&D Technology AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB T&D Technology AG filed Critical ABB T&D Technology AG
Publication of CN101071486A publication Critical patent/CN101071486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Factory Administration (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Stored Programmes (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种***和方法，用于将技术过程或技术项目的大批数据自动接收到一个或多个数据处理设备的标准化环境(70)中，并随后评价其质量，具有分配模块(20)用于向在数据处理设备的标准化环境中的结构单元分配来自数据源(10)的大批数据，和用于生成要读入大批数据的规定映射。分配模块(20)与读入模块(30)协作，根据所采取的分配可自动将大批数据读入该读入模块中。可将读入的数据输送给检查模块(40)用于自动检查，和/或用于生成用于评价所读入测量数据的质量的报告。可将由检查模块生成的检查结果输送给处理模块(60)，用于自动记录到预先规定的结构中，且可将检查结果传输到数据处理设备的标准化环境中。

Description

自动接收和评价技术过程或项目的数据质量的***和方法
技术领域
本发明涉及一种***和一种方法，用于将技术过程或技术项目的任意标记和结构化的大批数据自动接收到一个或多个数据处理设备的标准化环境中和对其质量进行评价。本发明尤其是在设备技术、管理技术和工艺流程规划中得到采用。
背景技术
已经存在用于将大批数据自动读入数据处理设备中的方法，但是其中没有用向使用者的针对性的反馈信息来执行这些数据的质量的自动评价，该评价尤其是涉及在读入数据时的完整性、对于变化考虑、以及差错识别。也还不存在用于例如以通过像输入数据那样相同的格式和/或相同的分类所标记的某种形式向使用者反馈所读入数据质量的信息的方法。因此迄今对于使用者不可能通过要读入数据和相应的反馈信息的直接比较来评价所读入数据的质量和/或从中推导出相应的动作。
当今为了评定自动读入的大批数据的质量，使用者将这些读入的数据以它们所基于的例如清单的原始格式与通过数据处理设备的输出设备所显示的数据进行单个和手动的比较。
通过要读入的和所读入的大批数据的手动比较所产生的缺点，是基于过分高的时间花费。除此之外，该比较的持续时间只能很不精确地估计，但是与所读入大批数据的数量成比例地相关联。
由每个所读入大批数据与原始数据的手动比较决定地，要付出的工作量也应评定为很高的，并且同样是与所读入的大批数据的数量成比例的。通过该由一个或多个使用者要执行的手动的比较活动很频烦地导致差错，除此之外，这些差错是不能毫无问题地再现的。由于大批数据的这种比较一般所基于的非标准化表现形式，增加了与这些数据的这个和/或这些提供者进行联系的难度，并且又可能导致在项目规划和/或项目开展中的提高的持续时间和/或提高的工作量。
由于在读入过程之后才能执行大批数据的评价，所以可能改写、清除和/或变化技术过程的已经存在的数据库存，而这不是由使用者规划或故意的。
发明内容
从所述的缺点出发，本发明所基于的任务在于说明一种***和一种方法，用于将技术过程或技术项目的任意标记和结构化的大批数据自动接收到一个或多个数据处理设备的标准化环境中，并且随后对其质量进行评价，由此克服了现有技术的上述缺点。
根据本发明通过具有权利要求1中所说明特征的开始时所述方式的一种***来解决该任务。在其它的权利要求中和在说明书中，说明了本发明***的有利扩展方案和改进方案以及用于实施该***的一种方法。
用于将技术过程或技术项目的任意标记和结构化的大批数据自动接收到一个或多个数据处理设备的标准化环境中并且随后对其质量进行评价的本发明***，包括一个分配模块，用于向数据处理设备的标准化环境中的结构单元分配来自一个或多个数据源的大批数据。分配模块还生成要读入的大批数据的规定的映射。
分配模块与读入模块协作，该读入模块根据所采取的分配自动读入大批数据，并且输送给检查模块用于自动检查和用于生成和/或显示对于所读入大批数据的质量进行评价的报告。该评价例如涉及大批数据的正确性、完整性、一致性、有效性、特征的可应用性、标记和/或值范围。
检查模块与存储器模块协作，该存储器模块将检查结果存储在数据处理设备的标准化环境中和/或在外部的文件中。与存储器模块协作的处理模块将检查结果自动记录到预先规定的结构中，并且将检查结果接收到数据处理设备的标准化环境中。
因此用本发明***以有利的方式评价所读入大批数据的质量，并向使用者返回信息。
在本发明***的一种有利的实施形式中规定，借助显示模块例如来显示大批数据的正确性、完整性、一致性、有效性、某些特征的可应用性、标记和/或值范围，和/或提供用于进一步处理。
从权利要求9中可以获悉一种用于将技术过程或技术项目的大批数据自动接收到一个或多个数据处理设备的标准化环境中并且随后对其质量进行评价的方法，还用该方法解决该任务。
本发明方法基于，将任意标记和结构化的大批数据自动和/或受支持地读入数据处理***的标准化环境中。评价所读入大批数据的质量和给使用者返回信息。
为此在第一步骤中，从一个或多个数据源中给分配模块传输大批数据。借助分配模块将数据处理设备的标准化环境中的结构单元分配给来自数据源的大批数据，并且生成要读入的大批数据的规定的映射。
在一个其它的步骤中，根据所采取的分配，借助分配模块自动将大批数据读入到读入模块中，并且随后输送给检查模块，用于自动检查和用于生成评价所读入大批数据的质量的报告。
在下一个步骤中，借助存储器模块在数据处理设备的标准化环境中，和/或在外部的文件中存储所选出的检查结果。
在下一个步骤中，借助处理模块将所选出的检查结果自动记录到预先规定的结构中，并且在最后的步骤中将检查结果接收到数据处理设备的标准化环境中。
用于将大批数据自动读入到一个或多个数据处理设备中的本发明方法和***，以有利的方式包括自动显示大批数据的正确性、完整性、一致性、有效性、某些特征的可应用性、标记和/或值范围。
用本发明***和方法还可以识别、分析处理和/或可见地显示所读入大批数据的语法的、语义的、形式的、内容的差错、和/或另外的缺陷，其中，既在细节上也作为压缩的信息来显示这些提示和分析处理。因此这些显示满足了关于所读入的大批数据的质量断言的目的。
所述方法的优点基于与这个和/或这些提供者的简化联系，以及基于所读入的或要读入的大批数据的处理和/或解释。本发明方法例如支持接收这些方法提供者的信息和规定。
此外，有关所输入大批数据的质量和/或数量的断言是可能的，由此必要时在读入大批数据之后，较容易地用较少的工作量可以识别、规划和/或执行诸如数据修正的必要动作。此外，所述的方法允许将在检查期间所求出的读入大批数据的结果进行存档和/或形成历史。由此以有利的方式，同样可以追踪在不同的时刻要读入和/或所读入的大批数据的变化。
通过本方法，通过识别有差错的和/或缺失的大批数据，实现了简化的差错识别和/或差错排除。在稍后时刻的大批数据的重新读入过程中，用本发明方法可以自动对在以前所读入的大批数据和当前要读入的大批数据和/或当前所读入的数据组之间的变化进行提示。
用本发明方法也可以获得关于在较早的读入过程中还不曾读入的、和在读入的当前时刻未知的大批数据的消息。
由于只有当已执行所读入大批数据的上述质量的评价时，才将大批数据接收到一个或多个数据处理设备的标准化环境中，所以只是有针对性和可再现地变化在该标准化环境中的原始数据库存。
优选安排本发明***和方法来用于例如设备技术、管理技术、工艺流程规划中读入在工程学的项目和/或过程中的数据，其中，这些过程或项目的大批数据优选是以耗电器清单和/或测量仪器配置清单的形式所提供的过程数据和工艺流程数据。原则上可以将本发明***和方法应用在所有的专业范畴中，在这些专业范畴中可以自动读入大批数据，并且关于所读入数据质量的反馈信息是受欢迎和需要的。
优选在工艺流程规划、设备规划或管理技术规划中采用本发明***和方法。但是在诸如工艺流程技术、设备技术、设备制造、自动化技术、电子技术和缆线敷设的技术规划中也得到应用。
附图说明
借助在附图中所示出的本发明实施例来详细阐述和说明本发明、本发明的有利扩展方案和改进方案、以及本发明的特别优点。
唯一的附图1展示了本发明一种示范性的方法。
具体实施方式
图1所示的方法用于将任意标记和结构化的大批数据自动接收到数据处理设备的标准化环境70中，并且随后对其质量进行评价，其中给分配模块20提供数据源10的大批数据。借助分配模块20给数据处理设备的标准化环境70中的结构单元分配来自数据源10的大批数据，并且生成要读入的大批数据的规定的映射。根据所采取的分配，借助分配模块20将大批数据自动传输到读入模块30中，并且输送给检查模块40，用于自动检查和用于生成质量报告。该质量报告例如是指明哪些数据没有被采集的清单。
借助存储器模块存储在数据处理设备的标准化环境70中所选出的检查结果。借助处理模块60来将所选出的检查结果自动记录到预先规定的结构中，并且将检查结果接收到存储器模块的标准化环境70中。
以下示范性地示出了本发明方法的方法步骤。
在第一步骤中分别借助分配模块20恰好一次手动地来实现将一个要读的大批数据分配给在本方法中的和/或每个第一次要读入的大批数据的数据。由此实现了从要读入的大批数据到被用来读入大批数据的方法和/或***的规定映射。
在下一个步骤中，根据所采取的分配借助读入模块30自动读入大批数据。每个所读入大批数据的借助检查模块40的随后的检查与各自的技术过程或项目有关。检查的准则例如是大批数据的字符链的长度，诸如电站标记***的正规表达式的分析处理，与目标***的数据库存的可能录入项的一致性、和/或完整性(例如义务录入项)。
在大批数据在读入模块或检查模块30，40中的读入和检查之后，每一个大批数据具有以下九种状态中的恰好一种：
·大批数据与以前读入过程相比较是新的
大批数据已被
·有差错地读入      (状态1)
·没有差错地读入    (状态2)
·大批数据是存在的，但是在一个或多个特征上与以前读入过程相比较已变化
大批数据已被
·有差错地读入      (状态3)
·没有差错地读入    (状态4)
·大批数据在当前的读入过程之后是不再存在的，即与以前的读入过程相比较它已被清除
大批数据已被
·有差错地读入      (状态5)
·没有差错地读入    (状态6)
·大批数据在当前的读入过程之后与以前的读入过程相比是等同的
大批数据已被
·有差错地读入      (状态7)
·没有差错地读入    (状态8)
·在当前的读入过程中不能读入大批数据。关于相对于以前的读入过程的变化的断言是不可能的(状态9)
例如通过颜色、符号、花样和/或其它区分特征的明确分配，来为每一个所检查的大批数据和/或所检查的大批数据的聚合显示状态，即检查结果。在内部，即在数据处理设备的标准化环境中，和/或在外部文件中，例如以HTML，XML，ASCII格式来存储这些检查结果。
在下一个步骤中实现在预先规定的结构中的自动记录，该结构含有有关所输入大批数据的存在、完整性、遵守意义性、有效性和/或变化的断言。该结构可以是与要读入数据的结构等同的，或是重新规定的。
在最后的步骤中，才将基于由所述方法告知的状态所选出的那些数据接收到数据处理设备的标准化环境中。
总之，所述的方法要求维护用于评定所读入大批数据的质量的尺度(Metriken)。由于要读入的大批数据的类型的尺度或在各自技术项目和过程中的尺度在变化，所以对于每一个要考察的技术过程或每一个项目要建立和维护一个新的尺度组。

Claims (13)

1.用于将技术过程或技术项目的大批数据自动接收到一个或多个数据处理设备的标准化环境(70)中并随后对其质量进行评价的***，其中，
-安排了一个分配模块(20)，用于向在数据处理设备的标准化环境(70)中的结构单元分配来自一个或多个数据源(10)的大批数据，和用于生成要读入的大批数据的规定映射，
-所述的分配模块(20)与读入模块(30)协作，根据所采取的分配，可以自动将大批数据读入该读入模块(30)中，
-可以将所读入的数据输送给检查模块(40)，用于自动检查和/或用于生成用于评价所读入测量数据的质量的报告，
-可以将由检查模块(40)所生成的检查结果输送给处理模块(60)，用于自动记录到预先规定的结构中，并且可以将检查结果传输到数据处理设备的标准化环境(70)中。
2.按权利要求1的***，其特征在于，所述的大批数据是任意标记和结构化的大批数据。
3.按权利要求2的***，其特征在于，安排了一个显示模块，该显示模块显示检查结果，和/或提供用于进一步处理。
4.按以上权利要求之一的***，其特征在于，在内部在数据处理设备的标准化环境中，和/或在外部的存储介质上，作为文件可以存储由所述检查模块(40)所提供的检查结果。
5.按以上权利要求之一的***，其特征在于，在预先规定的结构中的自动记录含有有关所输入大批数据的存在、完整性、遵守意义性、有效性、变化的断言。
6.按以上权利要求之一的***，其特征在于，所述的预先规定的结构是与要读入数据的结构等同的。
7.按权利要求1至5之一的***，其特征在于，可以重新规定所述的预先规定的结构。
8.按以上权利要求之一的***，其特征在于，所述的检查模块(40)检查大批数据的数据类型的允许性、字符链的长度的允许性、正规表达式的分析处理、与目标***的数据库存的可能录入项的一致性、和/或完整性。
9.用于将技术过程或技术项目的大批数据自动接收到一个或多个数据处理设备的标准化环境(70)中并且随后对其质量进行评价的方法，其中，
-借助分配模块(20)将来自一个或多个数据源(10)的大批数据分配给在数据处理设备的标准化环境(70)中的结构单元，并且生成要读入的大批数据的规定映射，
-根据所采取的分配借助所述的分配模块(20)将所述的大批数据自动读入读入模块(30)中，并且输送给检查模块(40)，用于自动检查和/或用于生成用于评价所读入测量值的质量的报告，
-借助处理模块(60)将检查结果自动记录到预先规定的结构中，并且将检查结果接收到数据处理设备的标准化环境(70)中。
10.按权利要求9的方法，其特征在于，检查结果借助存储器模块来存储，和/或借助显示模块来显示，和/或提供用于进一步处理。
11.按权利要求9或10之一的方法，其特征在于，在内部在数据处理设备的标准化环境中，和/或在外部的存储介质上，作为文件存储由所述的检查模块(40)所提供的检查结果。
12.按以上权利要求之一的***，其特征在于，借助所述的检查模块(40)检查大批数据的数据类型的允许性、字符链的长度的允许性、正规表达式的分析处理、与目标***的数据库存的可能录入项的一致性、和/或完整性。
13.按以上权利要求之一的***和方法在技术规划中，尤其是在工艺流程技术、设备技术、设备制造、自动化技术、电子技术或缆线敷设中的应用。
CNA2007101023570A 2006-05-08 2007-04-30 自动接收和评价技术过程或项目的数据质量的***和方法 Pending CN101071486A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006021543.5 2006-05-08
DE102006021543A DE102006021543A1 (de) 2006-05-08 2006-05-08 System und Verfahren zur automatisierten Übernahme und Bewertung der Qualität von Massendaten eines technischen Prozesses oder eines technischen Projektes

Publications (1)

Publication Number Publication Date
CN101071486A true CN101071486A (zh) 2007-11-14

Family

ID=38229940

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007101023570A Pending CN101071486A (zh) 2006-05-08 2007-04-30 自动接收和评价技术过程或项目的数据质量的***和方法

Country Status (4)

Country Link
US (1) US8051048B2 (zh)
EP (1) EP1855213A1 (zh)
CN (1) CN101071486A (zh)
DE (1) DE102006021543A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101969232B (zh) * 2010-10-29 2012-05-23 广东电网公司电力科学研究院 电网视频及环境监控***的自动化测试方法及装置
US10838946B1 (en) * 2016-03-18 2020-11-17 EMC IP Holding Company LLC Data quality computation for use in data set valuation
US10552408B2 (en) * 2016-11-02 2020-02-04 Oracle International Corporation Automatic linearizability checking of operations on concurrent data structures
CN112380224B (zh) * 2021-01-15 2021-05-18 北京三维天地科技股份有限公司 一种面向海量异构多维数据采集的质量大数据***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1188941A (zh) * 1996-10-21 1998-07-29 三星电子株式会社 自动管理控制***的会计处理器和方法
US6253213B1 (en) * 1999-02-22 2001-06-26 International Business Machines Corporation Method and system for automatically maintaining data consistency across various databases
CN1315020A (zh) * 1997-04-22 2001-09-26 格雷格·赫瑟林顿 自由格式数据处理的方法和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59200934A (ja) * 1983-04-28 1984-11-14 Oki Electric Ind Co Ltd 測温抵抗体計測方式
US5537410A (en) * 1994-09-15 1996-07-16 Oki Telecom Subsequent frame variable data rate indication method
CA2342241A1 (en) * 1998-08-31 2000-03-09 Cabletron Systems, Inc. Method and apparatus for managing data for use by data applications
US8180872B1 (en) * 2001-06-29 2012-05-15 Symantec Operating Corporation Common data model for heterogeneous SAN components
US7653641B2 (en) * 2004-05-04 2010-01-26 Accruent, Inc. Abstraction control solution
US7305278B2 (en) * 2004-11-15 2007-12-04 International Business Machines Corporation Enterprise factory control method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1188941A (zh) * 1996-10-21 1998-07-29 三星电子株式会社 自动管理控制***的会计处理器和方法
CN1315020A (zh) * 1997-04-22 2001-09-26 格雷格·赫瑟林顿 自由格式数据处理的方法和设备
US6253213B1 (en) * 1999-02-22 2001-06-26 International Business Machines Corporation Method and system for automatically maintaining data consistency across various databases

Also Published As

Publication number Publication date
DE102006021543A1 (de) 2007-11-15
EP1855213A1 (de) 2007-11-14
US8051048B2 (en) 2011-11-01
US20080052330A1 (en) 2008-02-28

Similar Documents

Publication Publication Date Title
CN107329890A (zh) 基于Mock的测试方法、装置及服务器
CN104516798B (zh) 无线一对多测试***
CN103971192A (zh) 一种智能化实验室管理***
CN103493437B (zh) 网络解析支援装置、网络试验装置、网络解析支援方法以及网络试验方法
CN107203841A (zh) 产品质量的检验方法和装置
DE112007003597T5 (de) Elektronische Vorrichtung, Hostgerät, Kommunikationssystem und Programm
US20200293535A1 (en) Servicing, diagnosing, logging, and surveying building equipment assets
CN101071486A (zh) 自动接收和评价技术过程或项目的数据质量的***和方法
CN103245703A (zh) 电化学传感器、包括其的设施及相应标定和/或调整方法
CN111444051A (zh) 一种产品的整机产测方法及***
CN110138637A (zh) 测试数据处理方法、装置、计算机设备和存储介质
CN108269059B (zh) 一种数据管理***
CN114742529B (zh) 一种实验室设备维修管理***
EP3079113A1 (en) System for managing maintenance specific tools
CN106201887B (zh) 一种离线数据任务的验证方法及装置
CN102540995A (zh) 产线流程管控***及方法
Prasetyo et al. Design of an automatic production monitoring system on job shop manufacturing
WO2012006679A1 (en) Engineering quality system
CN103733041B (zh) 管理装置及管理方法
CN110489329A (zh) 一种测试报告的输出方法、装置及终端设备
CN110704252A (zh) 一种基于云端动态管理的自动测试装置和测试方法
CN105335430A (zh) 一种基于地图场景的用户流失路径确定方法及装置
GóMEZ et al. Data defects in material flow networks—classification and approaches
KR101146288B1 (ko) 자동 교정 장치, 자동 교정 방법 및 자동 교정 방법을 기록한 프로그램 기록 매체
Doganaksoy et al. Getting the right data up front: A key challenge

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20071114