CN111930729A - 动态实时计算大数据量的六西格玛数值的方法及*** - Google Patents

动态实时计算大数据量的六西格玛数值的方法及*** Download PDF

Info

Publication number
CN111930729A
CN111930729A CN202010625440.1A CN202010625440A CN111930729A CN 111930729 A CN111930729 A CN 111930729A CN 202010625440 A CN202010625440 A CN 202010625440A CN 111930729 A CN111930729 A CN 111930729A
Authority
CN
China
Prior art keywords
data
measurement data
sigma
array
original measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010625440.1A
Other languages
English (en)
Other versions
CN111930729B (zh
Inventor
张昭
金熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Changzhou Weiyizhi Technology Co Ltd
Original Assignee
Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Changzhou Weiyizhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weiyi Intelligent Manufacturing Technology Co ltd, Changzhou Weiyizhi Technology Co Ltd filed Critical Shanghai Weiyi Intelligent Manufacturing Technology Co ltd
Priority to CN202010625440.1A priority Critical patent/CN111930729B/zh
Publication of CN111930729A publication Critical patent/CN111930729A/zh
Application granted granted Critical
Publication of CN111930729B publication Critical patent/CN111930729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/221—Column-oriented storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2336—Pessimistic concurrency control approaches, e.g. locking or multiple versions without time stamps
    • G06F16/2343—Locking methods, e.g. distributed locking or locking implementation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种动态实时计算大数据量的六西格玛数值的方法及***，包括如下步骤：实时增量构建原始测量数据步骤：构建原始测量数据，并对原始测量数据去重，并列式数组存储；筛选计算六西格玛数值步骤：对列式数组存储的数据筛选后进行六西格玛数值计算。本发明通过对原始测量数据的实时增量采集和数据转换，解决了传统六西格玛数值计算周期长和计算结果滞后的问题,极大程度缩减了大数据集场景下的六西格玛数值计算时间；本发明加速了计算数据集的查找，筛选和组合,节约了数据的中间传输成本；本发明解决了不同数据维度组合和上卷场景下数据灵活加载和动态组合的问题；提供了一种新颖，高效的计算方法。

Description

动态实时计算大数据量的六西格玛数值的方法及***
技术领域
本发明涉及数据计算领域，具体地，涉及一种动态实时计算大数据量的六西格玛数值的方法及***。
背景技术
现有的数据计算***的中间传输成本高，计算周期长，计算结果滞后，数据处理效率低。
专利文献为CN 106557370A的发明专利公开了一种基于实时统计数据的计算资源动态调度平台，其特征在于，包括监控中心、调度中心、配置中心、注册中心，监控中心包括监控模块、数据库，监控中心分别与调度中心、配置中心、注册中心进行数据传输。其优点在于，合理调度硬件设备资源；能够根据现有资源的实时使用情况去动态分配和调度部署不同的应用；提高资源利用率，提高业务处理速度。但是上述方案无法节约数据的中间传输成本。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种动态实时计算大数据量的六西格玛数值的方法及***。
根据本发明提供的一种动态实时计算大数据量的六西格玛数值的方法，包括如下步骤：
实时增量构建原始测量数据步骤：构建原始测量数据，并对原始测量数据去重，并列式数组存储；
筛选计算六西格玛数值步骤：对列式数组存储的数据筛选后进行六西格玛数值计算。
优选地，所述实时增量构建原始测量数据步骤包括：
数据采集步骤：实时采集原始测量数据；
数据分布去重步骤：将所述原始测量数据落入分布式表中，并去重得到去重原始测量数据；
列式数组存储步骤：对重原始测量数据列式和维度化存储。
优选地，所述筛选计算六西格玛数值步骤包括：
筛选步骤：动态筛选测量数据集；
数据预聚合归并计算步骤：符合动态筛选条件的单一维度测量数据集构建数组，对单一维度预聚合的数组进行合并，形成组合后测量数据数组；
六西格玛数值计算步骤：判断组合后测量数据数组的数组长度，若判断的数组长度为0，则直接返回数值不可定义的结果；如果数组长度为1，返回数据结果为六西格玛数值。
优选地，所述数据采集步骤包括：
转换步骤：Stream引擎实时采集原始测量数据并进行初步转换；实时采集过程中对数据维护分布式锁，对设定采集时间窗口里的数据进行去重操作。
优选地，所述数据分布去重步骤包括：
存储步骤：原始测量数据在分布式引擎表中以文件块的形式存储；
索引步骤：对文件块形式存储的测量数据做索引操作；
去重步骤：对原始测量数据对应分布式表做全局去重操作。
根据本发明提供的一种动态实时计算大数据量的六西格玛数值的***，包括如下模块：
实时增量构建原始测量数据模块：构建原始测量数据，并对原始测量数据去重，并列式数组存储；
筛选计算六西格玛数值模块：对列式数组存储的数据筛选后进行六西格玛数值计算。
优选地，所述实时增量构建原始测量数据模块包括：
数据采集模块：实时采集原始测量数据；
数据分布去重模块：将所述原始测量数据落入分布式表中，并去重得到去重原始测量数据；
列式数组存储模块：对重原始测量数据列式和维度化存储。
优选地，所述筛选计算六西格玛数值模块包括：
筛选模块：动态筛选测量数据集；
数据预聚合归并计算模块：符合动态筛选条件的单一维度测量数据集构建数组，对单一维度预聚合的数组进行合并，形成组合后测量数据数组；
六西格玛数值计算模块：判断组合后测量数据数组的数组长度，若判断的数组长度为0，则直接返回数值不可定义的结果；如果数组长度为1，返回数据结果为六西格玛数值。
优选地，所述数据采集模块包括：
转换模块：Stream引擎实时采集原始测量数据并进行初步转换；实时采集过程中对数据维护分布式锁，对设定采集时间窗口里的数据进行去重操作。
优选地，所述数据分布去重模块包括：
存储模块：原始测量数据在分布式引擎表中以文件块的形式存储；
索引模块：对文件块形式存储的测量数据做索引操作；
去重模块：对原始测量数据对应分布式表做全局去重操作。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过对原始测量数据的实时增量采集和数据转换，解决了传统六西格玛数值计算周期长和计算结果滞后的问题,极大程度缩减了大数据集场景下的六西格玛数值计算时间；
2、本发明的原始测量数据集采用稀疏索引和预聚合的方式进行组织，加速了计算数据集的查找，筛选和组合,而将六西格玛的数值计算移动到数据集端，采取移动计算而不是移动数据的方式，节约了数据的中间传输成本；
3、本发明动态查询语句映射六西格玛数值计算的筛选条件和基于细化粒度的测量数据数组化存储，解决了不同数据维度组合和上卷场景下数据灵活加载和动态组合的问题；对可变，复合维度的六西格玛数值计算和对应的数据分析提供了一种新颖，高效的计算方法。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明提供的动态实时计算大数据量的六西格玛数值的方法的步骤流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，本发明提供了一种动态实时计算大数据量的六西格玛数值的方法及***，以一种实时、预聚合、存储代价小的方式构建原始数据，六西格玛数值计算过程中，原始数据集转化为列式方式存储，并归并子查询集为组合查询集，可动态范围的筛选数据集合对多种统计维度进行六西格玛数值计算。为大数据，低延迟，复杂维度组合场景下的六西格玛数值计算提供了一种高效,组合灵活,计算资源小的计算方式。具体的，本发明提供的动态实时计算大数据量的六西格玛数值的方法包括实时增量构建原始测量数据、动态筛选后多维度计算六西格玛数值。其中实时增量构建原始测量数据包括如下步骤：
步骤A：实时采集原始测量数据，具体如下：
通过Stream引擎实时采集原始测量数据并进行初步转换，原始测量数据格式基于传输成本和速率考量，为复合维度格式，经过explode行专列变换，将复合维度的数据列展为单一维度不重合的数据，以便后续的数据维度预聚合和数据列式存储。具体说明：
原始测量数据数据格式为：
[Id:Id1:[[sign1:value1,result1:value1,dimension1:value1,ts:ts1...],[sing2:value2,result2:value2,dimension2:value2,ts:ts2]...]]；
执行explode数据转换，转化后的数据格式为：
[Id:Id1,sign1:value1,result1:value1,dimension1:value1,ts:ts1,...]
[Id:Id1,sign2:value2,result2:value2,dimension2:value2,ts:ts2,...],...；
实时采集过程中对数据维护分布式锁，对设定采集时间窗口里的数据进行去重操作。
步骤B：将上一步采集的原始测量数据落入对应的分布式表中，具体的：
原始测量数据在分布式引擎表中以文件块的形式存储：
id.bin,sign.bin,value.bin；
对文件块形式存储的测量数据做索引操作，根据设定的index_num_granularity数值构建稀疏索引column.mark,column.mark维护了unique.index(唯一索引),数据对应关系为column.mark对index_num_granularity做取模运算，例如index_num_granularity数值为16384,column.mark[0,16383,32767...]，id.bin中数据格式[0:row0,...16383:row16383]；
对原始测量数据对应分布式表做全局去重操作，流引擎可保证一定时间窗口内的数据去重，全局去重逻辑如下:根据测量数据中维度特性值构建维度索引dimension.unique.index，对应dimension.bin文件：
[dimension.unique.index0:row0,dimension.unique.index1:row1]，对应dimension.column.mark中维护dimension.unique.index,执行全局去重操作时将拉起一个异步线程，该异步线程对写入操作已完成的文件做操作，新写入的测量数据值生成dimension.unique.index，先匹配dimension.column.mark，若已在dimension.column.mark中存在，对应寻址到相应的dimension.bin文件，然后根据设定去重逻辑，保留最新，最初，生成版本号保留历史所有同索引数据和固定版本数同索引数据；
去重原始测量数据列式和维度化存储，包括如下步骤：
去重后的原始测量数据列式和维度化存储过程是同一的(在同一过程中，且存储形式相互依赖)，不同于传统行式存储，列式存储的形式为column1:[value1,value2...],具体于本方法，
column1:[array1:[value11,value12...],array:[value21,value22...]],而维度化存储建立在列式存储之上，
dimension1:[column1,column2],dimension2:[coulumn1,column2,column3],column3:[column2,colmun3],此步骤的目的在于，列式存储后，所有重复值都将进行归并，例如基于行:row1:value1,value2；row2：value1,value3,但对于列存储，只有column1:value1；column:value2,value3；维度化存储得目的在于数据维度上的自由组合和变换，维度化存储后，数据组织上，保留基础子维度的最细粒度。聚合操作，依赖于维度之间的组合拆分，原始数据将被构建成一个数据立方体，可自由的实现数据的上卷，下钻，透视。
动态筛选后多维度计算六西格玛数值，包括如下步骤：
步骤C：动态筛选测量数据集，具体如下：
根据传入参数确立动态筛选条件，例如startTime,endTime，dimension_value...,传入参数将被映射为分布式表查询语句的动态sql条件，根据维度过滤效果进行查询条件排序，例如进行一个基于采样的命中条件排序，初始采样的数据小样本会根据过滤条件获得命中数，过滤条件为链式关系，将过滤效率高，过滤后命中数目少的过滤条件置前，将整体提升复合过滤条件的性能，dimension2过滤时优先dimension1,因为其过滤后数目少，具体实例如下：
Dimension1 hits98896750rows,dimension2 hits 33890rows,
order_priority:dimension2>dimension1。
测量数据数值化校验和精度统一，计算六西格玛的测量数据需是数值化数据，对上步筛选的数据进行numberic_pattern match，包括数值化匹配，纯数值化数据和一定数值精度的数据方可通过筛选,匹配成功的数据以精度最高的浮点位数作为统一精度。
步骤D：计算数据预聚合归并，具体如下：
符合动态筛选条件的单一维度测量数据集构建：
array,dimension11-dimension21-dimension31:array1[value1,value2,...]；
对单一维度预聚合的array进行合并，union_array:[array0,array1,...]；
步骤E：六西格玛数值计算，具体计算逻辑如下：如果组合后测量数据数组的数组长度为0,直接返回数值不可定义的结果，如果数组长度为1,返回数据结果为六西格玛数值。其中x表示测量数据均值，n表示测量数据总数。具体示例如下：
if(length(union_array)＝＝0)
return numeric_limits<Float/Double>::infinity()；
if(length(union_array)＝＝1)
return numeric_limits<Float/Double>::quiet_NaN()；
If(length(union_array)>1)
Return sqrt(((array0[0]-x)2+(array0[1]-x)2+……(arraym[j]-x)2)/(n-1))；
本发明提供的一种动态实时计算大数据量的六西格玛数值的***，包括如下模块：
实时增量构建原始测量数据模块：构建原始测量数据，并对原始测量数据去重，并列式数组存储；
筛选计算六西格玛数值模块：对列式数组存储的数据筛选后进行六西格玛数值计算。
进一步地，所述实时增量构建原始测量数据模块包括：
数据采集模块：实时采集原始测量数据；
数据分布去重模块：将所述原始测量数据落入分布式表中，并去重得到去重原始测量数据；
列式数组存储模块：对重原始测量数据列式和维度化存储。
进一步地所述筛选计算六西格玛数值模块包括：
筛选模块：动态筛选测量数据集；
数据预聚合归并计算模块：符合动态筛选条件的单一维度测量数据集构建数组，对单一维度预聚合的数组进行合并，形成组合后测量数据数组；
六西格玛数值计算模块：判断组合后测量数据数组的数组长度，若判断的数组长度为0，则直接返回数值不可定义的结果；如果数组长度为1，返回数据结果为六西格玛数值。
进一步地，所述数据采集模块包括：
转换模块：Stream引擎实时采集原始测量数据并进行初步转换；实时采集过程中对数据维护分布式锁，对设定采集时间窗口里的数据进行去重操作。
进一步地，所述数据分布去重模块包括：
存储模块：原始测量数据在分布式引擎表中以文件块的形式存储；
索引模块：对文件块形式存储的测量数据做索引操作；
去重模块：对原始测量数据对应分布式表做全局去重操作。
本发明通过对原始测量数据的实时增量采集和数据转换，解决了传统六西格玛数值计算周期长和计算结果滞后的问题,极大程度缩减了大数据集场景下的六西格玛数值计算时间；本发明的原始测量数据集采用稀疏索引和预聚合的方式进行组织，加速了计算数据集的查找，筛选和组合,而将六西格玛的数值计算移动到数据集端，采取移动计算而不是移动数据的方式，节约了数据的中间传输成本；本发明动态查询语句映射六西格玛数值计算的筛选条件和基于细化粒度的测量数据数组化存储，解决了不同数据维度组合和上卷场景下数据灵活加载和动态组合的问题；对可变，复合维度的六西格玛数值计算和对应的数据分析提供了一种新颖，高效的计算方法。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种动态实时计算大数据量的六西格玛数值的方法，其特征在于，包括如下步骤：
实时增量构建原始测量数据步骤：构建原始测量数据，并对原始测量数据去重，并列式数组存储；
筛选计算六西格玛数值步骤：对列式数组存储的数据筛选后进行六西格玛数值计算。
2.根据权利要求1所述的动态实时计算大数据量的六西格玛数值的方法，其特征在于，所述实时增量构建原始测量数据步骤包括：
数据采集步骤：实时采集原始测量数据；
数据分布去重步骤：将所述原始测量数据落入分布式表中，并去重得到去重原始测量数据；
列式数组存储步骤：对去重原始测量数据列式和维度化存储。
3.根据权利要求2所述的动态实时计算大数据量的六西格玛数值的方法，其特征在于，所述筛选计算六西格玛数值步骤包括：
筛选步骤：动态筛选测量数据集；
数据预聚合归并计算步骤：符合动态筛选条件的单一维度测量数据集构建数组，对单一维度预聚合的数组进行合并，形成组合后测量数据数组；
六西格玛数值计算步骤：判断组合后测量数据数组的数组长度，若判断的数组长度为0，则直接返回数值不可定义的结果；如果数组长度为1，返回数据结果为六西格玛数值。
4.根据权利要求2所述的动态实时计算大数据量的六西格玛数值的方法，其特征在于，所述数据采集步骤包括：
转换步骤：Stream引擎实时采集原始测量数据并进行初步转换；实时采集过程中对数据维护分布式锁，对设定采集时间窗口里的数据进行去重操作。
5.根据权利要求2所述的动态实时计算大数据量的六西格玛数值的方法，其特征在于，所述数据分布去重步骤包括：
存储步骤：原始测量数据在分布式引擎表中以文件块的形式存储；
索引步骤：对文件块形式存储的测量数据做索引操作；
去重步骤：对原始测量数据对应分布式表做全局去重操作。
6.一种动态实时计算大数据量的六西格玛数值的***，其特征在于，包括如下模块：
实时增量构建原始测量数据模块：构建原始测量数据，并对原始测量数据去重，并列式数组存储；
筛选计算六西格玛数值模块：对列式数组存储的数据筛选后进行六西格玛数值计算。
7.根据权利要求1所述的动态实时计算大数据量的六西格玛数值的***，其特征在于，所述实时增量构建原始测量数据模块包括：
数据采集模块：实时采集原始测量数据；
数据分布去重模块：将所述原始测量数据落入分布式表中，并去重得到去重原始测量数据；
列式数组存储模块：对重原始测量数据列式和维度化存储。
8.根据权利要求7所述的动态实时计算大数据量的六西格玛数值的***，其特征在于，所述筛选计算六西格玛数值模块包括：
筛选模块：动态筛选测量数据集；
数据预聚合归并计算模块：符合动态筛选条件的单一维度测量数据集构建数组，对单一维度预聚合的数组进行合并，形成组合后测量数据数组；
六西格玛数值计算模块：判断组合后测量数据数组的数组长度，若判断的数组长度为0，则直接返回数值不可定义的结果；如果数组长度为1，返回数据结果为六西格玛数值。
9.根据权利要求7所述的动态实时计算大数据量的六西格玛数值的***，其特征在于，所述数据采集模块包括：
转换模块：Stream引擎实时采集原始测量数据并进行初步转换；实时采集过程中对数据维护分布式锁，对设定采集时间窗口里的数据进行去重操作。
10.根据权利要求7所述的动态实时计算大数据量的六西格玛数值的***，其特征在于，所述数据分布去重模块包括：
存储模块：原始测量数据在分布式引擎表中以文件块的形式存储；
索引模块：对文件块形式存储的测量数据做索引操作；
去重模块：对原始测量数据对应分布式表做全局去重操作。
CN202010625440.1A 2020-07-02 2020-07-02 动态实时计算大数据量的六西格玛数值的方法及*** Active CN111930729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010625440.1A CN111930729B (zh) 2020-07-02 2020-07-02 动态实时计算大数据量的六西格玛数值的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010625440.1A CN111930729B (zh) 2020-07-02 2020-07-02 动态实时计算大数据量的六西格玛数值的方法及***

Publications (2)

Publication Number Publication Date
CN111930729A true CN111930729A (zh) 2020-11-13
CN111930729B CN111930729B (zh) 2021-04-06

Family

ID=73317383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010625440.1A Active CN111930729B (zh) 2020-07-02 2020-07-02 动态实时计算大数据量的六西格玛数值的方法及***

Country Status (1)

Country Link
CN (1) CN111930729B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306421A (zh) * 2020-11-20 2021-02-02 昆易电子科技(上海)有限公司 一种用于存储分析测量数据格式mdf文件的方法和***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630161A (zh) * 2009-08-05 2010-01-20 北方工业大学 一种复杂工业生产智能***及其构造方法
CN102636732A (zh) * 2012-04-17 2012-08-15 山西太钢不锈钢股份有限公司 一种基于六西格玛工具查找10kV电网接地的方法
CN106557370A (zh) * 2016-11-28 2017-04-05 上海宝尊电子商务有限公司 基于实时统计数据的计算资源动态调度平台
CN109101632A (zh) * 2018-08-15 2018-12-28 中国人民解放军海军航空大学 基于制造大数据的产品质量异常数据追溯分析方法
CN109934356A (zh) * 2019-01-11 2019-06-25 平安科技（深圳）有限公司 一种基于大数据的机房巡检方法及相关设备
CN110163458A (zh) * 2018-02-23 2019-08-23 徐峰 基于人工智能技术的数据资产管理与监测方法
CN110796324A (zh) * 2019-07-05 2020-02-14 天合汽车科技（上海）有限公司 一种基于六西格玛工具的方案影响图管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101630161A (zh) * 2009-08-05 2010-01-20 北方工业大学 一种复杂工业生产智能***及其构造方法
CN102636732A (zh) * 2012-04-17 2012-08-15 山西太钢不锈钢股份有限公司 一种基于六西格玛工具查找10kV电网接地的方法
CN106557370A (zh) * 2016-11-28 2017-04-05 上海宝尊电子商务有限公司 基于实时统计数据的计算资源动态调度平台
CN110163458A (zh) * 2018-02-23 2019-08-23 徐峰 基于人工智能技术的数据资产管理与监测方法
CN109101632A (zh) * 2018-08-15 2018-12-28 中国人民解放军海军航空大学 基于制造大数据的产品质量异常数据追溯分析方法
CN109934356A (zh) * 2019-01-11 2019-06-25 平安科技（深圳）有限公司 一种基于大数据的机房巡检方法及相关设备
CN110796324A (zh) * 2019-07-05 2020-02-14 天合汽车科技（上海）有限公司 一种基于六西格玛工具的方案影响图管理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AMINE BELHADI 等: "The integrated effect of Big Data Analytics, Lean Six Sigma and Green Manufacturing on the environmental performance of manufacturing companies: The case of North Africa", 《JOURNAL OF CLEANER PRODUCTION》 *
陈国华: "《大数据背景下质量管理理论和方法创新》", 31 December 2015, 企业管理出版社 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112306421A (zh) * 2020-11-20 2021-02-02 昆易电子科技(上海)有限公司 一种用于存储分析测量数据格式mdf文件的方法和***
CN112306421B (zh) * 2020-11-20 2021-04-30 昆易电子科技(上海)有限公司 一种用于存储分析测量数据格式mdf文件的方法和***

Also Published As

Publication number Publication date
CN111930729B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
Koudas et al. Size separation spatial join
CN109299154B (zh) 一种大数据的数据存储***及方法
US20120323867A1 (en) Systems and methods for querying column oriented databases
JP2021506012A (ja) データ記憶およびクエリ方法並びにデバイス
CN111078634B (zh) 一种基于r树的分布式时空数据索引方法
CN108009265B (zh) 一种云计算环境下的空间数据索引方法
CN103020281A (zh) 一种基于空间数据数值索引的数据存储与检索方法
CN111930729B (zh) 动态实时计算大数据量的六西格玛数值的方法及***
CN110825733B (zh) 一种面向多采样流的时间序列数据管理方法及***
CN104199827A (zh) 基于局部敏感哈希的大规模多媒体数据的高维索引方法
CN106599052A (zh) 一种基于ApacheKylin的数据查询***及其方法
CN103092867A (zh) 一种数据管理方法及***、数据分析装置
CN106095951B (zh) 基于负载均衡和查询日志的数据空间多维索引方法
CN108549696B (zh) 一种基于内存计算的时间序列数据相似性查询方法
CN101079072A (zh) 一种文本聚类元学习方法及装置
CN101051309A (zh) 在数字图书馆中所采用的检索***和检索方法
CN102880615A (zh) 一种数据存储方法和装置
CN111639060A (zh) 一种火电厂时序数据处理方法、装置、设备及介质
US11789639B1 (en) Method and apparatus for screening TB-scale incremental data
CN110825744B (zh) 一种基于集群环境的空气质量监测大数据分区存储方法
CN110704407A (zh) 一种数据去重的方法和***
CN104111899A (zh) 一种缓存数据的存储方法及***及读取方法
CN113360551B (zh) 一种靶场中时序数据的存储与快速统计方法及***
CN113282568B (zh) 一种iot大数据实时时序流分析应用技术方法
CN106874498B (zh) 一种金融数据的存取方法及存取装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant