CN108536777A - 一种数据处理方法、服务器集群及数据处理装置 - Google Patents

Abstract

一种数据处理方法，所述方法包括：获取产品的多组检测数据；根据各组所述检测数据分别计算出各组所述检测数据的统计学特征数据；根据各组所述检测数据的统计学特征数据确定出所述各组所述检测数据中是否存在异常检测数据组，如果是，则根据所述异常检测数据组确定用于表征产品异常位置的位置信息。本发明的有益效果在于，能够在产品中高效地并且精确地确定质量细节，尤其是对于大量具有复杂构造的产品，能够确定非良品及其存在质量问题的部分以便于舍弃或进行改进。

Description

一种数据处理方法、服务器集群及数据处理装置

技术领域

本发明涉及一种产品质检领域,特别涉及一种数据处理方法、服务器集群及数据处理装置。

背景技术

工业领域内针对产品的质量细节问题，通常会使用各种灵敏度较高的设备(如检测仪)进行质量检测，检测结果中信号异常扰动的位置往往是产品出现质量问题的地方，通过识别异常波动，可以准确定位产品质量问题，提高质检的准确性从而保证产品良品率。现有的解决方案,通常是通过检测仪进行检测同时结合人工抽查。而该方案的缺点是：

检测设备在查找产品的质量问题点时，也即查找问题数据点是基于业内不断修正的数据阈值去识别问题数据点，进而确定出产品的问题点出现的位置。但是由于检测设备的不同和不同产品间的差异，使得数据阈值会经常更改，造成检测设备内需要存储大量的数据阈值，对后期的数据维护工作量也较大。且由于为保证识别准确性，目前还会加入人工抽检识别，但是由于人工抽检缺乏统一的识别标准，也会造成结果的误差较大。

发明内容

本发明所要解决的问题是，提供一种可处理步骤简单，准确率高，使仅通过检测设备便能够识别出问题数据点的数据处理方法、服务器集群及数据处理装置。

为了解决上述问题，第一方面，本发明提供一种数据处理方法，所述方法包括：获取产品的多组检测数据；根据各组所述检测数据分别计算出各组所述检测数据的统计学特征数据；根据各组所述检测数据的统计学特征数据确定出所述各组所述检测数据中是否存在异常检测数据组，如果是，则根据所述异常检测数据组确定用于表征产品异常位置的位置信息。

根据本发明的第一方面的数据处理方法，所述获取产品的多组检测数据具体为：依照时间序列依次获取所述产品的多组所述检测数据；其中，每组所述检测数据均对应一不同的时间段。

根据本发明的第一方面的数据处理方法，所述根据各组所述检测数据分别计算出各组所述检测数据的统计学特征数据具体为：根据各组所述检测数据分别计算出各组所述检测数据的方差、均值、峰度、幅度中的至少一种。

根据本发明的第一方面的数据处理方法，所述根据各组所述检测数据的统计学特征数据确定出所述各组所述检测数据中是否存在异常检测数据组，包括：根据各组所述检测数据的统计学特征数据的分布确定出现分布异常的统计学特征数据所对应的检测数据组；根据所述异常检测数据组确定用于表征产品异常位置的位置信息，包括：确定所对应的检测数据组中的具有极值点的检测数据；根据所述具有极值点的检测数据确定所述位置信息。

根据本发明的第一方面的数据处理方法，所述方法还包括：对所述产品进行至少2次检测，分别获取每次检测对应的多组检测数据；基于每次检测对应的多组检测数据，得到该次检测的用于表征产品异常位置的临时位置信息；基于获得的所有所述临时位置信息，获得所述位置信息。

本发明的第二方面提供了一种数据处理装置，包括：获取模块，获取产品的多组检测数据；计算模块，根据各组所述检测数据分别计算出各组所述检测数据的统计学特征数据；第一确定模块，根据各组所述检测数据的统计学特征数据确定出所述各组所述检测数据中是否存在异常检测数据组，第二确定模块，在存在所述异常检测数据组的情况下，根据所述异常检测数据组确定用于表征产品异常位置的位置信息。

根据本发明的第二方面的数据处理装置，所述获取模块具体被配置为：依照时间序列依次获取所述产品的多组所述检测数据；其中，每组所述检测数据均对应一不同的时间段。

根据本发明的第二方面的数据处理装置，所述计算模块具体被配置为：根据各组所述检测数据分别计算出各组所述检测数据的方差、均值、峰度、幅度中的至少一种。

根据本发明的第二方面的数据处理装置，所述第一确定模块具体被配置为：根据各组所述检测数据的统计学特征数据的分布确定出现分布异常的统计学特征数据所对应的检测数据组；所述第二确定模块具体被配置为：确定所对应的检测数据组中的具有极值点的检测数据；根据所述具有极值点的检测数据确定所述位置信息。

根据本发明的第二方面的数据处理装置，对所述产品进行至少2次检测，所述数据处理装置还包括第三确定模块，所述获取模块分别获取每次检测对应的多组检测数据；所述计算模块、所述第一确定模块和所述第二确定模块基于每次检测对应的多组检测数据，得到该次检测的用于表征产品异常位置的临时位置信息；所述第三确定模块基于获得的所有所述临时位置信息，获得所述位置信息。

第三方面，本发明提供了一种服务器集群，包括：处理器；存储器；所述处理器被配置为通过调用存储器中存储的程序来实现：获取产品的多组检测数据；根据各组所述检测数据分别计算出各组所述检测数据的统计学特征数据；根据各组所述检测数据的统计学特征数据确定出所述各组所述检测数据中是否存在异常检测数据组，如果是，则根据所述异常检测数据组确定用于表征产品异常位置的位置信息。

在根据所述第三方面的服务器集群中，所述处理器具体被配置为：根据各组所述检测数据的统计学特征数据的分布确定出现分布异常的统计学特征数据所对应的检测数据组；确定所对应的检测数据组中的具有极值点的检测数据；根据所述具有极值点的检测数据确定所述位置信息。

本发明的有益效果在于，能够在产品中高效地并且精确地确定质量细节，尤其是对于大量具有复杂构造的产品，能够确定非良品及其存在质量问题的部分以便于舍弃或进行改进。

附图说明

图1为根据本发明的一个实施例的数据处理方法的示意性流程图。

图2为根据本发明的另一实施例的数据处理方法的示意性流程图。

图3为根据本发明的另一实施例的数据处理装置的示意性框图。

图4为根据本发明的另一实施例的服务器集群的示意性框图。

具体实施方式

以下结合附图对本发明的进行详细描述。

应理解的是，可以对此处公开的实施例做出各种修改。因此，以下说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本公开的具体实施例；然而，应当理解，所公开的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。

图1为根据本发明的一个实施例的数据处理方法的示意性流程图。该处理处理方法可以通过任意的处理装置来实施。优选地，利用服务器集群实现该数据处理，服务器集群可以进行分布式或并行计算等来处理大量数据。图1的数据处理方法100包括：

110：获取产品的多组检测数据；

120：根据各组检测数据分别计算出各组检测数据的统计学特征数据；

130：根据各组检测数据的统计学特征数据确定出所述各组所述检测数据中是否存在异常检测数据组，

140：如果是，则根据异常检测数据组确定用于表征产品异常位置的位置信息。

应理解，多组检测数据可以是由检测终端或传感器等输入，检测终端或传感器连接到该数据处理方法的执行装置，例如服务器集群。异常检测数据组指的是该组检测数据中存在指示异常位置的检测数据，而不应该理解为该组检测数据为由于检测不准确等而产生的数据。统计学特征数据或者称为统计指标，可以是方差、均值、峰度、幅度中的至少一种。多组检测数据可以是在独立的时间点或时间段采集的数据，也可以是与时间维度无关而采集的数据，本发明的实施例对此不作限定。优选地，本发明的多组检测数据为对实时获取的信号检测信息进行处理时对时间段(即，时间窗口)进行切片处理，这样获取的信息可以涵盖出现信号扰动的过程，以便更容易找到出现异常的位置。在这种情下，各个时间段是连续的，但是如果考虑到信号明显不会发生扰动的时间段，可以在进行数据处理之前进行预处理以便去除该段时间的数据，以便在处理数据时可以减小运算量同时可以保证判定结果的精确度。

本发明的有益效果在于，能够在产品中高效地并且精确地确定质量细节，尤其是对于大量具有复杂构造的产品，能够确定非良品及其存在质量问题的部分以便于舍弃或进行改进。

根据图1所述的数据处理方法100，获取产品的多组检测数据具体为：依照时间序列依次获取产品的多组检测数据；其中，每组检测数据均对应一不同的时间段。

根据图1所述的数据处理方法100，根据各组检测数据分别计算出各组检测数据的统计学特征数据具体为：根据各组检测数据分别计算出各组检测数据的方差、均值、峰度、幅度中的至少一种。

根据图1所述的数据处理方法100，根据各组检测数据的统计学特征数据确定出是否存在异常检测数据组，包括：根据各组检测数据的统计学特征数据的分布确定出现分布异常的统计学特征数据所对应的检测数据组。根据异常检测数据组确定用于表征产品异常位置的位置信息，包括：确定所对应的检测数据组中的具有极值点的检测数据；根据所述具有极值点的检测数据确定所述位置信息。

应理解，当统计学特征数据为方差、均值、峰度、幅度中的一种时，所述确定出现分布异常的统计学特征数据可以采用各种方式，例如对计算出的各统计学特征数据再次进行方差或均值的计算而确定出分布中出现异常的一个。当统计学特征数据为方差、均值、峰度、幅度中的多于一种时，可以综合考虑不同类型的统计学数据，例如为每种类型设定不同的权重，然后加权进行综合判断。例如，如果方差对最终的判断影响较大，则对方差的权重设定的较大，但是本发明的实施例对此不作限定，只是优选的方式可以产生更明显的有益效果。应理解，该异常的确定可以通过预定阈值来判定，优选地，针对不同的确定异常的方法采用不同的阈值。当分布中不存在异常的点，则认为没有异常数据组，进一步认为没有异常位置出现，因此该次检测中认为该产品为良品。

另外，确定锁定时间段内的各个数据的极值点可以采用各种方式，并且可以是多个极值点，或者可以设定预定阈值，超过该预定阈值的极值点都认为是极值点。

根据图1所述的数据处理方法100，还包括：对产品进行至少2次检测，分别获取每次检测对应的多组检测数据；基于每次检测对应的多组检测数据，得到该次检测的用于表征产品异常位置的临时位置信息；基于获得的所有临时位置信息，获得位置信息。应理解，优选地，基于获得的所有临时位置信息，获得位置信息，例如可以是设定重复次数的阈值，当存在满足该阈值的临时位置信息可以被确定为最终的位置信息。也可以当出现的临时位置信息所指示的位置的差异小于预定阈值时，确定为同一位置，或者在出现过的临时位置信息所指示的位置中，出现次数最高的为最终的位置，或者将所有的临时位置都确定为最终的位置。

上文是根据本发明的一个实施例的数据处理方法的操作进行描述。下面描述一个具体实施例的数据处理的方法的典型的流程。

图2为根据本发明的另一实施例的数据处理方法的示意性流程图。图2的数据处理方法200包括如下步骤：

210：获取多组检测数据；具体地，实时获取信号检测信息。

220：根据时间段进行数据切片处理。

230：根据各组检测数据分别计算出各组检测数据的统计学特征数据；具体地，对每个窗口内数据计算各统计指标。

240：根据各组检测数据的统计学特征数据的分布确定是否出现分布异常的统计学特征数据；具体地，是否存在分布异常的统计指标？如果是则进行到步骤250，如果否则进行到步骤260。

250；确定该异常的统计学特征数据所对应的检测数据组；具体地，根据各统计指标的分布找出异常扰动所处时间段。

260：不存在信号的扰动，该次检测不存在异常位置，并且进行到步骤280。

270：确定所对应的检测数据组中的具有极值点的检测数据；根据所述具有极值点的检测数据确定所述位置信息；具体地，计算上一步定位窗口内的极值点位置。

280进行下次检测。

290：在检测次数到达预定检测次数阈值时，根据多次检测的异常点位置投票确定精确位置，并结束程序。

上文描述了一个数据处理方法的示例，应理解，还可以以其他的流程进行本发明的数据处理方法，而并不是上文中的每个步骤都是必要的。下面接合上文的数据处理方法100描述与其对应的数据处理装置的各个模块的功能和操作。

图3为根据本发明的另一实施例的数据处理装置的示意性框图。图3的数据处理装置300包括：

获取模块310，获取产品的多组检测数据；

计算模块320，根据各组检测数据分别计算出各组检测数据的统计学特征数据；

第一确定模块330，根据各组检测数据的统计学特征数据确定出所述各组所述检测数据中是否存在异常检测数据组，

第二确定模块340，在存在异常检测数据组的情况下，根据异常检测数据组确定用于表征产品异常位置的位置信息。

本发明的数据处理装置300的有益效果在于，能够在产品中高效地并且精确地确定质量细节，尤其是对于大量具有复杂构造的产品，能够确定非良品及其存在质量问题的部分以便于舍弃或进行改进。

根据图3所述的数据处理装置300，获取模块具体被配置为：依照时间序列依次获取产品的多组检测数据；其中，每组检测数据均对应一不同的时间段。

根据图3所述的数据处理装置300，计算模块具体被配置为：根据各组检测数据分别计算出各组检测数据的方差、均值、峰度、幅度中的至少一种。

根据图3所述的数据处理装置300，第一确定模块具体被配置为：根据各组检测数据的统计学特征数据的分布确定出现分布异常的统计学特征数据所对应的检测数据组；第二确定模块具体被配置为：确定所对应的检测数据组中的具有极值点的检测数据；根据所述具有极值点的检测数据确定所述位置信息。

根据图3所述的数据处理装置300，对产品进行至少2次检测，数据处理装置还包括第三确定模块，获取模块分别获取每次检测对应的多组检测数据；计算模块、第一确定模块和第二确定模块基于每次检测对应的多组检测数据，得到该次检测的用于表征产品异常位置的临时位置信息；第三确定模块基于获得的所有临时位置信息，获得位置信息。

图4为根据本发明的另一实施例的服务器集群的示意性框图。图4的服务器集群400，包括：

处理器410；存储器420以及通信总线430。

处理器410被配置为通过通信总线430调用存储器420中存储的程序来实现：获取产品的多组检测数据；根据各组检测数据分别计算出各组检测数据的统计学特征数据；根据各组检测数据的统计学特征数据确定出各组检测数据中是否存在异常检测数据组，如果是，则根据异常检测数据组确定用于表征产品异常位置的位置信息。

服务器集群400的具体实现对应于图1的数据处理方法。本发明的服务器集群400的有益效果在于，能够在产品中高效地并且精确地确定质量细节，尤其是对于大量具有复杂构造的产品，能够确定非良品及其存在质量问题的部分以便于舍弃或进行改进。

根据图4所述的服务器集群400，处理器410具体被配置为：依照时间序列依次获取产品的多组检测数据；其中，每组检测数据均对应一不同的时间段。

根据图4所述的服务器集群400，处理器410具体被配置为：根据各组检测数据分别计算出各组检测数据的方差、均值、峰度、幅度中的至少一种。

根据图4所述的服务器集群400，处理器410具体被配置为：根据各组检测数据的统计学特征数据的分布确定出现分布异常的统计学特征数据所对应的检测数据组；确定所对应的检测数据组中的具有极值点的检测数据；根据所述具有极值点的检测数据确定所述位置信息。

根据图4所述的服务器集群400，对产品进行至少2次检测，分别获取每次检测对应的多组检测数据；基于每次检测对应的多组检测数据，得到该次检测的用于表征产品异常位置的临时位置信息；基于获得的所有临时位置信息，获得位置信息。应理解，优选地，基于获得的所有临时位置信息，获得位置信息，例如可以是设定重复次数的阈值，当存在满足该阈值的临时位置信息可以被确定为最终的位置信息。也可以当出现的临时位置信息所指示的位置的差异小于预定阈值时，确定为同一位置，或者在出现过的临时位置信息所指示的位置中，出现次数最高的为最终的位置，或者将所有的临时位置都确定为最终的位置。

另外，本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应理解，在本发明实施例中，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或模块的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理器件中，也可以是各个模块单独物理存在，也可以是两个或两个以上模块集成在一个器件中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可以用硬件实现，或固件实现，或它们的组合方式来实现。当使用软件实现时，可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外。任何连接可以适当的成为计算机可读介质。例如，如果软件是使用同轴电缆、光纤光缆、双绞线、数字用户线(DSL)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的，那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的，盘(Disk)和碟(disc)包括压缩光碟(CD)、激光碟、光碟、数字通用光碟(DVD)、软盘和蓝光光碟，其中盘通常磁性的复制数据，而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取产品的多组检测数据；

根据各组所述检测数据分别计算出各组所述检测数据的统计学特征数据；

根据各组所述检测数据的统计学特征数据确定出所述各组所述检测数据中是否存在异常检测数据组，

如果是，则根据所述异常检测数据组确定用于表征产品异常位置的位置信息。

2.根据权利要求1所述的方法，其特征在于，所述获取产品的多组检测数据具体为：

依照时间序列依次获取所述产品的多组所述检测数据；

其中，每组所述检测数据均对应一不同的时间段。

3.根据权利要求2所述的方法，其特征在于，所述根据各组所述检测数据分别计算出各组所述检测数据的统计学特征数据具体为：

根据各组所述检测数据分别计算出各组所述检测数据的方差、均值、峰度、幅度中的至少一种。

4.根据权利要求2所述的方法，其特征在于，

所述根据各组所述检测数据的统计学特征数据确定出所述各组所述检测数据中是否存在异常检测数据组，包括：

根据各组所述检测数据的统计学特征数据的分布确定出现分布异常的统计学特征数据所对应的检测数据组；

根据所述异常检测数据组确定用于表征产品异常位置的位置信息，包括：

确定所对应的检测数据组中的具有极值点的检测数据；

根据所述具有极值点的检测数据确定所述位置信息。

5.根据权利要求4所述的方法，其特征在于，还包括：

对所述产品进行至少2次检测，分别获取每次检测对应的多组检测数据；

基于每次检测对应的多组检测数据，得到该次检测的用于表征产品异常位置的临时位置信息；

基于获得的所有所述临时位置信息，获得所述位置信息。

6.一种服务器集群，其特征在于，包括：

处理器；存储器；

所述处理器被配置为通过调用存储器中存储的程序来实现：获取产品的多组检测数据；

根据各组所述检测数据分别计算出各组所述检测数据的统计学特征数据；

根据各组所述检测数据的统计学特征数据确定出所述各组所述检测数据中是否存在异常检测数据组，

如果是，则根据所述异常检测数据组确定用于表征产品异常位置的位置信息。

7.根据权利要求6所述的服务器集群，其特征在于，所述处理器具体被配置为：

根据各组所述检测数据的统计学特征数据的分布确定出现分布异常的统计学特征数据所对应的检测数据组；

确定所对应的检测数据组中的具有极值点的检测数据；

根据所述具有极值点的检测数据确定所述位置信息。

8.一种数据处理装置，其特征在于，包括：

获取模块，获取产品的多组检测数据；

计算模块，根据各组所述检测数据分别计算出各组所述检测数据的统计学特征数据；

第一确定模块，根据各组所述检测数据的统计学特征数据确定出所述各组所述检测数据中是否存在异常检测数据组，

第二确定模块，在存在所述异常检测数据组的情况下，根据所述异常检测数据组确定用于表征产品异常位置的位置信息。

9.根据权利要求8所述的数据处理装置，其特征在于，所述计算模块具体被配置为：

根据各组所述检测数据分别计算出各组所述检测数据的方差、均值、峰度、幅度中的至少一种。

10.根据权利要求8所述的数据处理装置，其特征在于，所述第一确定模块具体被配置为：

根据各组所述检测数据的统计学特征数据的分布确定出现分布异常的统计学特征数据所对应的检测数据组；

所述第二确定模块具体被配置为：

确定所对应的检测数据组中的具有极值点的检测数据；

根据所述具有极值点的检测数据确定所述位置信息。