CN106469225A - 一种智能车间管理中海量制造数据访问的方法 - Google Patents
一种智能车间管理中海量制造数据访问的方法 Download PDFInfo
- Publication number
- CN106469225A CN106469225A CN201610858236.8A CN201610858236A CN106469225A CN 106469225 A CN106469225 A CN 106469225A CN 201610858236 A CN201610858236 A CN 201610858236A CN 106469225 A CN106469225 A CN 106469225A
- Authority
- CN
- China
- Prior art keywords
- data
- bloom filter
- data section
- section
- manufaturing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Fuzzy Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开的一种智能车间管理中海量制造数据访问的方法,通过数据库分区技术来对数据源进行划小,为划小后的各个数据源指定相应的布隆过滤器;设计多路布隆过滤器,采用并发的方式进行过滤判断;通过布隆过滤结果锁定请求数据“可能存在”的数据片区,再通过检索技术,获取目标数据,为智能车间管理及其支撑应用提供准确、高效的海量制造数据访问服务。
Description
技术领域
本发明涉及智能制造和数据检索领域,尤其涉及一种智能车间管理中海量制造数据访问的方法。
背景技术
随着工业智能化的发展,特别是智能设备的大量应用,在智能车间管理及其支撑应用中,快速增长的制造数据具有体量巨大(Volume)、类型繁多(Variety)、价值密度低(Value)、处理速度快(Velocity)的特征。如何在海量制造数据中准确、高效地检索目标数据,已是亟待解决的关键问题。
在研究技术解决方案的过程中,我们分别从数据库表分区(Partition)、索引(Index)及缓存(Cache)等角度进行优化,但是当制造数据达到一定量级时,仍然不能满足性能需求,尤其是时间效率低、空间需求高。传统上,业内常用布隆过滤器解决该类问题。布隆过滤器(Bloom Filter,BF)是一种高效的过滤判断算法,在海量数据上处理判断请求具有时间效率高、空间需求低的特点;但在另一方面,布隆过滤器应用于制造信息检索时,存在误判率偏高的缺点,且功能仅限于过滤判断,并没有构成一个相对完整的海量制造数据检索的技术链。
发明内容
本发明的目的在于提供一种智能车间管理中海量制造数据访问的方法,通过采用数据库分区技术,并设计多路布隆过滤算法,能在海量制造数据中准确、高效地检索目标数据,并在智能车间管理及其支撑应用中构建一个相对完整的海量制造数据检索的技术链。
为达成上述技术目的,本发明的技术方案如下:
一种智能车间管理中海量制造数据访问的方法,包括以下步骤:
步骤1、接收请求数据,并获取访问的查询参数,使用数据库分区技术来对数据源进行划小,从多个维度对制造数据进行分区处理,得到划小后的多个数据片区;
步骤2、为各个数据片区分别指定相应的布隆过滤器;
步骤3、将每个数据片区的热点数据初始化到对应的布隆过滤器位向量上;
步骤4、分流过滤,锁定需要参与过滤的目标数据片区:采用分流过滤算法,根据查询参数锁定需要进行布隆过滤的目标数据片区的集合,记集合中数据片区的个数记为t,将目标数据片区集合记为R={B[y],y∈[1,t]};
步骤5、为过滤目标数据片区并行启动多路布隆过滤器:通过步骤4的分流过滤,得到了t个目标数据片区集合R,并为该请求并行启动t路布隆过滤器,为每路布隆过滤器过滤判断请求数据{x}是否在位向量B[y]中;
步骤6、根据布隆过滤结果,锁定请求数据最终“可能存在”的数据片区,作为检索目标数据片区;
步骤7、在“可能存在”请求数据{x}的待检索目标数据片区中检索数据,锁定需要进行检索的最小数据片区,直接过滤了异常请求,且大幅降低正常请求的待检索目标数据源大小,在分布式数据库结构的数据检索中,使用全局查询树优化方法和半连接的数据检索方法,在划小后的检索目标数据片区中检索数据,实现海量制造数据的访问。
上述步骤1具体包括以下步骤:
步骤1.1、使用分布式数据库来管理海量制造数据,先使用垂直分片技术对制造数据进行业务上的分片,然后对制造数据进行站点和时间维度的水平分片;
根据垂直分片规则,对制造数据进行业务上及热点数据上的垂直分片,其中业务上划分为设备中心、产品中心;热点数据上以是否为访问热点来划分数据,热点数据表示该数据集为频繁访问的实体数据集;
步骤1.2、按站点维度水平分片,初步划小数据源:
对制造数据按设备所属的站点划分为r个数据片区,将每一个数据片区记为Pi,i∈[1,r],采用物理分区机制为各个Pi指定不同的物理磁盘;
步骤1.3、对所述的数据片区Pi进行时间维度的水平分片:
对制造数据,在时间维度上以“月”为最低粒度进行水平分片,划分为s个数据片区,每个数据片区记为Pij,j∈[1,s],采用逻辑分区机制。
所述步骤2具体包括:将每个数据片区Pij中的热点数据对应一个布隆过滤器位向量Bij,并缓存每个数据片区Pij与布隆过滤器位向量Bij之间的配置关系。
所述步骤3具体包括以下步骤:
步骤3.1、设m为数据片区Pij的数据量,n为布隆过滤器位向量Bij的长度,通过Hash函数将m个数据元素初始化映射到长度为n的位向量Bij中,先将位向量Bij初始化为0,再把每个数据元素{x}在位向量B[x]投影位置上的值设置为1;
步骤3.2、计算数据元素{x}通过Hash函数投影后,位向量B[x]值为“1”的概率:当发起检索某个数据元素{x}是否在目标数据片区内时,通过Hash函数将数据元素{x}投影到位向量B[y]上,而位向量B[y]上值为“1”的概率为:
步骤3.3、计算发生冲突的概率:通过单个Hash函数投影的布隆过滤器,位向量Bij中实际不存在某个数据元素{x},而B[x]仍然为“1”的概率跟所述公式①中的概率相等;
步骤3.4、布隆过滤器自身引入多个Hash函数来初始化映射数据:将多个Hash函数的个数记为k,若某个数据元素{x}在k个Hash函数投影位置上值均为“1”,则表示该数据元素{x}在数据片区中“可能存在”,某个原本不在目标数据片区中的数据元素{x}被布隆过滤器误判为“可能存在”于该数据片区中的误判率为:
步骤3.5、计算布隆过滤器的Hash函数个数k:由公式②可知k可以通过以下公式来计算:且k≥1,当k取公式③中的值时,可以得到误判率最低的最优解;
步骤3.6、使用k个Hash函数来初始化数据:根据公式③得到k值,把每个数据片区Pij中的热点数据,使用k个Hash函数进行映射,初始化到对应的各个布隆过滤器位向量Bij中,并将映射位置上的值设置为“1”;
步骤3.7、重复步骤3.2-3.6,直到每个数据片区Pij都初始化到对应的布隆过滤器位向量Bij上。
所述步骤5具体包括以下步骤:
步骤5.1、启动t个线程执行布隆过滤;
步骤5.2、在每个布隆过滤器上,通过k个Hash函数对请求参数进行并行映射;
步骤5.3、收集k个Hash函数的映射结果;
步骤5.4、合并t路布隆过滤器的过滤结果。
所述步骤6具体包括以下步骤:
步骤6.1、判断每路布隆过滤器是否“可能存在”请求数据{x}:在每路布隆过滤器中,请求数据{x}被k个Hash函数映射到位向量B[y]的k个位置上,如果通过k个Hash函数映射,B[y]中k个Hash映射值均为“1”,则表示请求数据{x}在B[y]中“可能存在”,即判定该路布隆过滤结果为true;如果通过k个Hash函数映射,B[y]中k个Hash映射值有一个为“0”,则表示请求数据{x}在B[y]中“一定不存在”,即判定该路过滤结果为false;
步骤6.2、在t路布隆过滤器中锁定“可能存在”请求数据{x}的数据片区:
当t个布隆过滤器全部执行完成时,获取步骤6.1中“可能存在”请求数据{x}的布隆过滤器集合;获取该布隆过滤器集合中各个布隆过滤器对应的位向量集合;根据每个位向量与数据片区的对应关系,获取对应的数据片区集合,作为待检索的目标数据片区。
所述步骤7中采用全局查询树优化方法和半连接的数据检索方法具体包括:
步骤7.1、采用基于二次数据分片的全局查询树方法在“可能存在”请求数据{x}的数据片区p[x]中检索结果集;
步骤7.2、根据数据访问服务接口规范,组织业务数据并返回。
本发明通过数据库分区技术来对数据源进行划小,为划小后的各个数据源指定相应的布隆过滤器;设计多路布隆过滤器,采用并发的方式进行过滤判断;通过布隆过滤结果锁定请求数据“可能存在”的数据片区,再通过检索技术,获取目标数据,为智能车间管理及其支撑应用提供准确、高效的海量制造数据访问服务。与现有技术相比,本发明的积极效果在于:
1.对数据源从需求上进行合理的数据库分区,以划小数据源,提升检索的I/O效率;
2.使用布隆过滤器对分区后的数据片区进行二次划小,利用其时间效率高、空间需求低的特点来提升访问效率;
3.使用多路布隆过滤器,通过并行过滤的方式提升访问效率;
4.使用全局查询树优化方法、半连接的数据检索方法,提升在目标数据片区里的数据检索效率。
附图说明
图1为本发明的流程图;
图2为本发明经过分流过滤锁定的目标数据片区;
图3为本发明中并发个数为k的Hash函数对各路布隆过滤器的投影操作示意;
图4为本发明各路布隆过滤器过滤请求数据的示意图;
图5为本发明全局查询树优化方法的示意图;
图6为本发明半连接的数据检索方法的流程图。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
如图1所示,本发明一种智能车间管理中海量制造数据访问的方法,具体包括如下步骤:
步骤1、接收请求数据,并获取访问的查询参数。使用数据库分区技术来对数据源进行划小,从多个维度对制造数据进行分区处理,得到划小后的多个数据片区:
步骤1.1、在本实施例中,使用分布式数据库来管理海量制造数据,先使用垂直分片技术对制造数据进行业务上的分片,然后对制造数据进行站点和时间维度的水平分片;
根据上述分片规则,对制造数据进行业务上及热点数据上的垂直分片,其中业务上划分为设备中心、产品中心等;热点数据上以是否为访问热点来划分数据,热点数据表示该数据集为频繁访问的实体数据集;
步骤1.2、按站点维度水平分片,初步划小数据源:
对制造数据按设备所属的站点划分为r个数据片区,将每一个数据片区记为Pi,i∈[1,r],采用物理分区机制为各个Pi指定不同的物理磁盘,以提升在本数据片区内的I/O效率和数据安全性;
步骤1.3、对上述数据片区Pi进行时间维度的水平分片,进一步划小数据源:
对制造数据,在时间维度上以“月”为最低粒度进行水平分片,划分为s个数据片区,每个数据片区记为Pij,j∈[1,s],采用逻辑分区机制,来降低数据维护的复杂性;
步骤2、为各个数据片区分别指定相应的布隆过滤器:
将每个数据片区Pij中的热点数据对应一个布隆过滤器位向量Bij,并缓存每个数据片区Pij与布隆过滤器位向量Bij之间的配置关系;
步骤3、将每个数据片区Pij的热点数据初始化到对应的布隆过滤器位向量Bij上,如图2所示:
步骤3.1、设m为数据片区Pij的数据量,n为布隆过滤器位向量Bij的长度,通过Hash函数将m个数据元素初始化映射到长度为n的位向量Bij中,先将位向量Bij初始化为0,再把每个数据元素{x}在位向量B[x]投影位置上的值设置为1;
步骤3.2、计算数据元素{x}通过Hash函数投影后,位向量B[x]值为“1”的概率:当发起检索某个数据元素{x}是否在目标数据片区内时,通过Hash函数将数据元素{x}投影到位向量B[y]上,而位向量B[y]上值为“1”的概率为:
步骤3.3、计算发生冲突的概率:通过单个Hash函数投影的布隆过滤器,位向量Bij中实际不存在某个数据元素{x},而B[x]仍然为“1”的概率跟上述公式①中的概率相等;
步骤3.4、被检索的数据元素在投影过程中的冲突会导致布隆过滤器产生误判,为了降低使用单个Hash函数带来的数据冲突,布隆过滤器自身引入多个Hash函数来初始化映射数据,将多个Hash函数的个数记为k,若某个数据元素{x}在k个Hash函数投影位置上值均为“1”,则表示该数据元素{x}在数据片区中“可能存在”,某个原本不在目标数据片区中的数据元素{x}被布隆过滤器误判为“可能存在”于该数据片区中的误判率为:
步骤3.5、计算布隆过滤器的Hash函数个数k:由公式②可知k可以通过以下公式来计算:且k≥1,当k取公式③中的值时,可以得到误判率最低的最优解;
步骤3.6、使用k个Hash函数来初始化数据:根据公式③得到k值,把每个数据片区Pij中的热点数据,使用k个Hash函数进行映射,初始化到对应的各个布隆过滤器位向量Bij中,并将映射位置上的值设置为“1”;
步骤3.7、重复上述步骤,直到每个数据片区Pij都初始化到对应的布隆过滤器位向量Bij上;
步骤4、分流过滤,锁定需要参与过滤的目标数据片区:采用分流过滤算法,根据查询参数锁定需要进行布隆过滤的目标数据片区Pij的集合,记集合中数据片区的个数记为t,将目标数据片区集合记为R={B[y],y∈[1,t]};
步骤5、为过滤目标数据片区并行启动多路布隆过滤器:通过步骤4的分流过滤,得到了t个目标数据片区集合R,并为该请求并行启动t路布隆过滤器,为每路布隆过滤器过滤判断请求数据{x}是否在位向量B[y]中,如图3所示具体步骤如下:
步骤5.1、启动t个线程执行布隆过滤;
步骤5.2、在每个布隆过滤器上,通过k个Hash函数对请求参数进行并行映射;
步骤5.3、收集k个Hash函数的映射结果;
步骤5.4、合并t路布隆过滤器的过滤结果;
步骤6、根据布隆过滤结果,锁定请求数据最终“可能存在”的数据片区,作为检索目标数据片区:
步骤6.1、判断每路布隆过滤器是否“可能存在”请求数据{x}:在每路布隆过滤器中,请求数据{x}被k个Hash函数映射到位向量B[y]的k个位置上,如图4所示,如果通过k个Hash函数映射,B[y]中k个Hash映射值均为“1”,则表示请求数据{x}在B[y]中“可能存在”,即判定该路布隆过滤结果为true;如果通过k个Hash函数映射,B[y]中k个Hash映射值有一个为“0”,则表示请求数据{x}在B[y]中“一定不存在”,即判定该路过滤结果为false;
步骤6.2、在t路布隆过滤器中锁定“可能存在”请求数据{x}的数据片区:
当t个布隆过滤器全部执行完成时,获取步骤6.1中“可能存在”请求数据{x}的布隆过滤器集合;获取该布隆过滤器集合中各个布隆过滤器对应的位向量集合;根据每个位向量与数据片区的对应关系,获取对应的数据片区集合,作为待检索的目标数据片区;
步骤7、在“可能存在”请求数据{x}的待检索目标数据片区中检索数据,锁定需要进行检索的最小数据片区,直接过滤了异常请求,且大幅降低正常请求的待检索目标数据源大小,在分布式数据库结构的数据检索中,使用全局查询树优化方法和半连接的数据检索方法,在划小后的检索目标数据片区中检索数据,能够降低通信开销并提升I/O效率,具体步骤如下,如图5所示:
步骤7.1、基于二次数据分片的全局查询树方法,在“可能存在”请求数据{x}的数据片区p[x]中检索结果集,通过以下方式优化查询:
1)未考虑分片的全局查询树代数关系表达式为:④
π检索目标(σ条件=?(σ Device.id=Product.did and Device.id=Status.did(Device×Product×Status)))其中,Device、Product、Status分别代表设备信息、产品信息、运行状态信息三个实体集,经过优化的分片全局查询树,在做连接操作的查询中,将选择和映射的操作提前,使连接操作中的数据量大大减小,提高了连接效率,减少了I/O消耗;
2)使用半连接的查询方式提升垂直分片数据的检索效率:
使用请求数据{x}代替整个实体集的半连接方式提升I/O效率,在分布式数据库中,先以部分数据替代原始的完整数据发起查询请求,例如,如图6所示,查询基于设备中心与产品中心的相关数据,不以完整的设备信息实体与产品信息实体作为关联条件来检索数据,而先在设备信息实体中锁定指定设备元素{x},再以请求数据{x}与产品信息实体相关联,以减少关联实体的源数据量,获取查询结果;在上述查询结果中可能缺少设备信息实体的其他属性数据,再在设备中心发起针对设备元素{x}的二次查询请求,获取缺少的属性数据,这样半连接的二次检索虽然增加了连接次数,但是大幅度减少了大量数据的连接实体在通信上的开销;
步骤7.2、根据数据访问服务接口规范,组织业务数据并返回。
本发明的重点在于:通过数据库分区技术来对数据源进行划小,为划小后的各个数据源指定相应的布隆过滤器;设计多路布隆过滤器,采用并发的方式进行过滤判断;通过布隆过滤结果锁定请求数据“可能存在”的数据片区,再通过检索技术,获取目标数据,最大限度地发挥了布隆过滤器在空间和时间方面的优势,来提升智能车间管理中海量制造数据访问的效率,具有很强的操作性。
Claims (7)
1.一种智能车间管理中海量制造数据访问的方法,其特征在于,包括以下步骤:
步骤1、接收请求数据,并获取访问的查询参数,使用数据库分区技术来对数据源进行划小,从多个维度对制造数据进行分区处理,得到划小后的多个数据片区;
步骤2、为各个数据片区分别指定相应的布隆过滤器;
步骤3、将每个数据片区的热点数据初始化到对应的布隆过滤器位向量上;
步骤4、分流过滤,锁定需要参与过滤的目标数据片区:采用分流过滤算法,根据查询参数锁定需要进行布隆过滤的目标数据片区的集合,记集合中数据片区的个数记为t,将目标数据片区集合记为R={B[y],y∈[1,t]};
步骤5、为过滤目标数据片区并行启动多路布隆过滤器:通过步骤4的分流过滤,得到了t个目标数据片区集合R,并为该请求并行启动t路布隆过滤器,为每路布隆过滤器过滤判断请求数据{x}是否在位向量B[y]中;
步骤6、根据布隆过滤结果,锁定请求数据最终“可能存在”的数据片区,作为检索目标数据片区;
步骤7、在“可能存在”请求数据{x}的待检索目标数据片区中检索数据,锁定需要进行检索的最小数据片区,直接过滤了异常请求,且大幅降低正常请求的待检索目标数据源大小,在分布式数据库结构的数据检索中,使用全局查询树优化方法和半连接的数据检索方法,在划小后的检索目标数据片区中检索数据,实现海量制造数据的访问。
2.如权利要求1所述的一种智能车间管理中海量制造数据访问的方法,其特征在于,所述步骤1具体包括以下步骤:
步骤1.1、使用分布式数据库来管理海量制造数据,先使用垂直分片技术对制造数据进行业务上的分片,然后对制造数据进行站点和时间维度的水平分片;
根据垂直分片规则,对制造数据进行业务上及热点数据上的垂直分片,其中业务上划分为设备中心、产品中心;热点数据上以是否为访问热点来划分数据,热点数据表示该数据集为频繁访问的实体数据集;
步骤1.2、按站点维度水平分片,初步划小数据源:
对制造数据按设备所属的站点划分为r个数据片区,将每一个数据片区记为Pi,i∈[1,r],采用物理分区机制为各个Pi指定不同的物理磁盘;
步骤1.3、对所述的数据片区Pi进行时间维度的水平分片:
对制造数据,在时间维度上以“月”为最低粒度进行水平分片,划分为s个数据片区,每个数据片区记为Pij,j∈[1,s],采用逻辑分区机制。
3.如权利要求1所述的一种智能车间管理中海量制造数据访问的方法,其特征在于,所述步骤2具体包括:将每个数据片区Pij中的热点数据对应一个布隆过滤器位向量Bij,并缓存每个数据片区Pij与布隆过滤器位向量Bij之间的配置关系。
4.如权利要求1所述的一种智能车间管理中海量制造数据访问的方法,其特征在于,所述步骤3具体包括以下步骤:
步骤3.1、设m为数据片区Pij的数据量,n为布隆过滤器位向量Bij的长度,通过Hash函数将m个数据元素初始化映射到长度为n的位向量Bij中,先将位向量Bij初始化为0,再把每个数据元素{x}在位向量B[x]投影位置上的值设置为1;
步骤3.2、计算数据元素{x}通过Hash函数投影后,位向量B[x]值为“1”的概率:当发起检索某个数据元素{x}是否在目标数据片区内时,通过Hash函数将数据元素{x}投影到位向量B[y]上,而位向量B[y]上值为“1”的概率为:①
步骤3.3、计算发生冲突的概率:通过单个Hash函数投影的布隆过滤器,位向量Bij中实际不存在某个数据元素{x},而B[x]仍然为“1”的概率跟所述公式①中的概率相等;
步骤3.4、布隆过滤器自身引入多个Hash函数来初始化映射数据:将多个Hash函数的个数记为k,若某个数据元素{x}在k个Hash函数投影位置上值均为“1”,则表示该数据元素{x}在数据片区中“可能存在”,某个原本不在目标数据片区中的数据元素{x}被布隆过滤器误判为“可能存在”于该数据片区中的误判率为:②
步骤3.5、计算布隆过滤器的Hash函数个数k:由公式②可知k可以通过以下公式来计算:③且k≥1,当k取公式③中的值时,可以得到误判率最低的最优解;
步骤3.6、使用k个Hash函数来初始化数据:根据公式③得到k值,把每个数据片区Pij中的热点数据,使用k个Hash函数进行映射,初始化到对应的各个布隆过滤器位向量Bij中,并将映射位置上的值设置为“1”;
步骤3.7、重复步骤3.2-3.6,直到每个数据片区Pij都初始化到对应的布隆过滤器位向量Bij上。
5.如权利要求1所述的一种智能车间管理中海量制造数据访问的方法,其特征在于,所述步骤5具体包括以下步骤:
步骤5.1、启动t个线程执行布隆过滤;
步骤5.2、在每个布隆过滤器上,通过k个Hash函数对请求参数进行并行映射;
步骤5.3、收集k个Hash函数的映射结果;
步骤5.4、合并t路布隆过滤器的过滤结果。
6.如权利要求1所述的一种智能车间管理中海量制造数据访问的方法,其特征在于,所述步骤6具体包括以下步骤:
步骤6.1、判断每路布隆过滤器是否“可能存在”请求数据{x}:在每路布隆过滤器中,请求数据{x}被k个Hash函数映射到位向量B[y]的k个位置上,如果通过k个Hash函数映射,B[y]中k个Hash映射值均为“1”,则表示请求数据{x}在B[y]中“可能存在”,即判定该路布隆过滤结果为true;如果通过k个Hash函数映射,B[y]中k个Hash映射值有一个为“0”,则表示请求数据{x}在B[y]中“一定不存在”,即判定该路过滤结果为false;
步骤6.2、在t路布隆过滤器中锁定“可能存在”请求数据{x}的数据片区:
当t个布隆过滤器全部执行完成时,获取步骤6.1中“可能存在”请求数据{x}的布隆过滤器集合;获取该布隆过滤器集合中各个布隆过滤器对应的位向量集合;根据每个位向量与数据片区的对应关系,获取对应的数据片区集合,作为待检索的目标数据片区。
7.如权利要求1所述的一种智能车间管理中海量制造数据访问的方法,其特征在于,所述步骤7中采用全局查询树优化方法和半连接的数据检索方法具体包括:
步骤7.1、采用基于二次数据分片的全局查询树方法在“可能存在”请求数据{x}的数据片区p[x]中检索结果集;
步骤7.2、根据数据访问服务接口规范,组织业务数据并返回。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610858236.8A CN106469225B (zh) | 2016-09-28 | 2016-09-28 | 一种智能车间管理中海量制造数据访问的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610858236.8A CN106469225B (zh) | 2016-09-28 | 2016-09-28 | 一种智能车间管理中海量制造数据访问的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106469225A true CN106469225A (zh) | 2017-03-01 |
CN106469225B CN106469225B (zh) | 2019-04-16 |
Family
ID=58230741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610858236.8A Active CN106469225B (zh) | 2016-09-28 | 2016-09-28 | 一种智能车间管理中海量制造数据访问的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106469225B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018228030A1 (zh) * | 2017-06-13 | 2018-12-20 | 华为技术有限公司 | 一种布隆过滤器中数据的处理方法以及布隆过滤器 |
CN112035479A (zh) * | 2020-08-31 | 2020-12-04 | 平安医疗健康管理股份有限公司 | 医药类数据库的访问方法、装置和计算机设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103246700A (zh) * | 2013-04-01 | 2013-08-14 | 厦门市美亚柏科信息股份有限公司 | 基于HBase的海量小文件低延时存储方法 |
CN103440249A (zh) * | 2013-07-23 | 2013-12-11 | 南京烽火星空通信发展有限公司 | 一种非结构化数据快速检索的***及方法 |
CN103646111A (zh) * | 2013-12-25 | 2014-03-19 | 普元信息技术股份有限公司 | 大数据环境下实现实时数据关联的***及方法 |
CN105718455A (zh) * | 2014-12-01 | 2016-06-29 | 阿里巴巴集团控股有限公司 | 一种数据查询方法及装置 |
-
2016
- 2016-09-28 CN CN201610858236.8A patent/CN106469225B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103246700A (zh) * | 2013-04-01 | 2013-08-14 | 厦门市美亚柏科信息股份有限公司 | 基于HBase的海量小文件低延时存储方法 |
CN103440249A (zh) * | 2013-07-23 | 2013-12-11 | 南京烽火星空通信发展有限公司 | 一种非结构化数据快速检索的***及方法 |
CN103646111A (zh) * | 2013-12-25 | 2014-03-19 | 普元信息技术股份有限公司 | 大数据环境下实现实时数据关联的***及方法 |
CN105718455A (zh) * | 2014-12-01 | 2016-06-29 | 阿里巴巴集团控股有限公司 | 一种数据查询方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018228030A1 (zh) * | 2017-06-13 | 2018-12-20 | 华为技术有限公司 | 一种布隆过滤器中数据的处理方法以及布隆过滤器 |
CN112035479A (zh) * | 2020-08-31 | 2020-12-04 | 平安医疗健康管理股份有限公司 | 医药类数据库的访问方法、装置和计算机设备 |
Also Published As
Publication number | Publication date |
---|---|
CN106469225B (zh) | 2019-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jindal et al. | Relax and let the database do the partitioning online | |
CN103092867B (zh) | 一种数据管理方法及***、数据分析装置 | |
CN107491487A (zh) | 一种全文数据库架构及位图索引创建、数据查询方法、服务器及介质 | |
US20080201296A1 (en) | Partitioning of nested tables | |
CN109656958B (zh) | 数据查询方法以及*** | |
EP3906556A1 (en) | Method and system for predicting drug binding using synthetic data | |
JP3798719B2 (ja) | ブロック・レベル・サンプリングを使用してデータベースのクラスタ化係数を判定する装置および方法 | |
CN102955843B (zh) | 一种键值数据库的多键查找实现方法 | |
US8843499B2 (en) | Accelerating database queries comprising positional text conditions plus bitmap-based conditions | |
CN106682042B (zh) | 一种关系数据缓存及查询方法及装置 | |
CN112445889A (zh) | 存储数据、检索数据的方法及相关设备 | |
CN102955792A (zh) | 一种实时全文搜索引擎事务处理的实现方法 | |
CN110287391A (zh) | 基于Hadoop的多层次轨迹数据存储方法、存储介质和终端 | |
CN103440249A (zh) | 一种非结构化数据快速检索的***及方法 | |
CN110059149A (zh) | 电子地图空间关键字查询分布式索引***和方法 | |
CN107515931A (zh) | 一种基于聚类的重复数据检测方法 | |
CN104391908A (zh) | 一种图上基于局部敏感哈希的多关键字索引方法 | |
WO2017107130A1 (zh) | 数据查询方法和数据库*** | |
CN106469225A (zh) | 一种智能车间管理中海量制造数据访问的方法 | |
CN107609179A (zh) | 一种数据处理方法及设备 | |
Wang et al. | Update strategy based on region classification using ELM for mobile object index | |
CN107256222B (zh) | 基于自由词检索的电子病历快速检索*** | |
WO2023197865A1 (zh) | 一种信息存储方法及装置 | |
CN109828984B (zh) | 一种分析处理的方法、装置、计算机存储介质及终端 | |
CN106681939B (zh) | 磁盘页面的读取方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |