CN111858539A - 指标关系的可追溯性的实现方法、***以及设备 - Google Patents
指标关系的可追溯性的实现方法、***以及设备 Download PDFInfo
- Publication number
- CN111858539A CN111858539A CN202010708428.7A CN202010708428A CN111858539A CN 111858539 A CN111858539 A CN 111858539A CN 202010708428 A CN202010708428 A CN 202010708428A CN 111858539 A CN111858539 A CN 111858539A
- Authority
- CN
- China
- Prior art keywords
- index
- data
- traceability
- storage
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims abstract description 111
- 238000013500 data storage Methods 0.000 claims abstract description 44
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 239000002131 composite material Substances 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 13
- 238000013403 standard screening design Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0674—Disk device
- G06F3/0676—Magnetic disk device
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种指标关系的可追溯性的实现方法，包括以下步骤：指标计算；数据存储；以及指标的可追溯性存储与读取；其中，该指标计算步骤中采用分布式方式进行部署，该数据存储步骤中采用共享磁盘的方式将分布式服务器的磁盘路径均指向共享磁盘；其中，该指标计算步骤还包括：对指标计算的公式执行可追溯解析，执行可追溯解析后获取指标与指标的关系以及指标与数据属性的关系；其中，该数据存储步骤还包括存储指标与指标的关系以及指标与数据属性的关系；其中，该数据存储步骤中，通过LBA逻辑地址与存储媒介的物理地址进行转换和通讯，采用LBA逻辑地址进行存储及数据的查找；该方法能够响应于外部应用，实现指标的追溯的分析和存储。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种指标关系的可追溯性的实现方法、***以及设备，能够响应于外部应用，实现指标的追溯的分析和存储。
背景技术
如图1所示，在现阶段常见指标计算包括以下两种方式：
1、通过数据库服务器通过SQL语言编写SQL脚本进行指标计算，然后将计算结果直接存放到关系型数据库表中。
2、通过大数据平台，通过脚本语言编写代码片段进行指标计算，然后将数据结果存放在大数据数据库中(关系型或非关系型)。
以上常见两种方式均无法做到指标关系的可追溯及可追溯性的存储。
现阶段指标计算的解决方案和方法，主要是针对具体的指标算法进行计算然后进行存储。主要依赖于数据库服务器及软件的性能，指标的可追溯性完全没有体现。
1、数据库方式计算及存储：主要通过SQL、存储过程的sql片段来进行计算。SQL及存储过程代码片段的方式很难将指标与指标的关系、指标与数据属性的关系体现出来，并进行存储。在数据量较大、表关联较多时，性能下降比较严重、可扩展性较差。
2、大数据平台的方式：主要通过大数据平台的支持，通过计算脚本(通常为大数据数据库的SQL脚本)进行具体指标的计算，指标的可追溯性没有体现。优化数据的不断变化，经常出现数据偏移的情况，导致整个计算和存储比较慢。需要不断在调整计算策略和资源的分配。
现阶段的方案和技术重点关注具体的指标的计算，现阶段的脚本语言无法在计算过程中实现指标的追溯的分析和存储，对于指标的可追溯性均无考虑，在正常业务中，往往需要通过指标的可追溯性逐层进行指标的查看。
发明内容
本发明的目的之一在于提供一种指标关系的可追溯性的实现方法、***以及设备，能够响应于外部应用，实现指标的追溯的分析和存储。
本发明的目的之一在于提供一种指标关系的可追溯性的实现方法、***以及设备，能够实现快速存储和读取，数据是通过LBA逻辑地址直接寻址，加快了数据读取的速度。
本发明的目的之一在于提供一种指标关系的可追溯性的实现方法、***以及设备，加速了指标转取的速度，指标可追溯的数据已经通过多叉树进行了存储，通过索引数据文件以及LBA逻辑地址快速读取可追溯数据，并进行展现，避免了通过在指标转取时的复杂业务逻辑的数据读取。
本发明的目的之一在于提供一种指标关系的可追溯性的实现方法、***以及设备，对后续指标数据的核对提供数据，在可追溯性中已经将本次计算指标所涉及的追溯数据进行了存储，如果一段时间后指标无法核对，则可通过此部分的追溯数据进行核对和回溯，以此来检查问题情况。
为了实现本发明的至少一个发明目的，本发明提供了一种指标关系的可追溯性的实现方法，所述指标关系的可追溯性的实现方法包括以下步骤：
指标计算；
数据存储；
以及
指标的可追溯性存储与读取；
其中，所述指标计算步骤中采用分布式方式进行部署，所述数据存储步骤中采用共享磁盘的方式将分布式服务器的磁盘路径均指向共享磁盘；
其中，所述指标计算步骤还包括：对指标计算的公式执行可追溯解析，执行可追溯解析后获取指标与指标的关系以及指标与数据属性的关系；
其中，所述数据存储步骤还包括存储指标与指标的关系以及指标与数据属性的关系；
其中，指标的可追溯性关系采用多叉树的方式进行存储；其中，指标计算的指标数据结果以数据文件的方式进行存储；其中将指标计算结果文件的逻辑地址通过索引数据文件的方式进行存储，从而便于后续读取；
其中，当执行计算或查询时，通过索引文件获取数据文档的逻辑地址，然后通过逻辑地址定位到数据文件，从而能够实现数据的读取；
其中，所述数据存储步骤中，通过LBA逻辑地址与存储媒介的物理地址进行转换和通讯，采用LBA逻辑地址进行存储及数据的查找。
在一些实施例中，其中所述指标计算步骤中，执行指标的可追溯解析步骤，其中所述指标的可追溯解析步骤包括以下步骤：
响应于外部应用的申请指标计算请求，解析指标的计算公式后获取到指标计算所需要的追溯属性内容及追溯属性内容值，同时送到计算引擎对指标进行计算，获取得到指标结果值。
在一些实施例中，其中所述指标计算步骤中，还包括以下步骤：
元数据级指标计算步骤，其中，元数据级指标为在一条数据中，通过一条数据中的若干属性的运算而得到的指标，其中，元数据级指标的可追溯的内容为数据的属性及属性值；
汇总级指标计算步骤，其中，汇总级指标为通过对若干条数据的属性的聚合而得到的指标，其中，汇总级指标的可追溯的内容为数据的属性及聚合时用到的每条数据的属性值；以及
复合指标计算步骤，其中，复合指标为通过指标与指标的关系或指标与指标的四则运算而计算获取的指标，其中复合指标的可追溯的内容为相关的指标及指标值。
在一些实施例中，其中在执行所述指标计算步骤中，一台服务器被执行指标的追溯性分析时，获取另一台服务器上运行并存储的结果数据，其中在所述数据存储步骤中执行共享存储，其中根据并发量和数据量的范围以及程度，通过NAS共享存储技术或者分布式数据存储技术执行共享存储步骤。
在一些实施例中，其中所述指标的可追溯性存储与读取步骤还包括以下步骤：
指标可追溯性数据存储采用多叉树的数据结构进行存储，其中多叉树分为数据域部分以及地址域部分，其中数据域部分用于存储指标的基础数据，例如指标名称、指标代码、指标维度、指标值等，其中地址域部分用于存储可追溯数据的地址集合，直接指向此指标的追溯数据的位置，便于在追溯时进行快速读取数据；
指标数据的存储以指标维度为文件名进行存储，文件内容以指标基础信息以及可追溯数据的地址信息；同时以指标维度创建索引数据文件，在同一个维度下，将所有这个维度下的指标数据的LBA逻辑地址存储下来；当用户查询某一个维度下的信息时可以通过维度索引文件快速找到维度下的所有指标的LBA逻辑地址，根据LBA逻辑地址可以快速找到涉及的指标数据，在指标数据中可以快速定位到可追溯的相关数据；
以及
执行数据的快速读取步骤，其中根据不同的业务需要和要求，根据不同的维度创建多个索引文件，一条指标数据在多个维度的索引文件中，从而在业务需要的情况下能够快速查找所需要的数据。
根据本发明的另一方面，还提供了一种指标关系的可追溯性的实现***，所述指标关系的可追溯性的实现***包括指标计算子***、数据存储子***以及指标的可追溯性存储与读取子***；
其中所述指标计算子***采用分布式方式进行部署，所述数据存储子***采用共享磁盘的方式将分布式服务器的磁盘路径均指向共享磁盘，在所述指标计算子***的指标计算过程中，先对计算的公式进行解析，对解析后获取指标与指标、指标与数据属性的关系，然后将关系进行存储，所述指标的可追溯性存储与读取子***中指标的可追溯性关系采用多叉树的方式进行存储，计算的指标数据结果以数据文件的方式进行存储，为了便于后续的读取，将指标计算结果文件的逻辑地址通过索引数据文件的方式进行存储，当计算或查询时通过索引文件获取数据文档的逻辑地址，然后通过逻辑地址定位到数据文件，从而达到数据的读取。
在一些实施例中，其中所述指标计算子***包括元数据级指标计算单元、汇总级指标计算单元以及复合指标计算单元，其中所述元数据级指标计算单元的可追溯的内容为数据的属性及属性值，所述汇总级指标计算单元的可追溯的内容为数据的属性及聚合时用到的每条数据的属性值，其中所述复合指标计算单元的可追溯的内容为相关的指标及指标值；其中外部应用在申请指标计算时，所述指标关系的可追溯性的实现***对指标的计算公式进行解析，通过解析从而得到指标计算所需要的追溯属性内容及追溯属性内容值，同时在送到计算引擎对指标进行计算，从而得到指标结果值。
在一些实施例中，其中所述数据存储子***采用共享磁盘的方式将分布式服务器的磁盘路径均指向共享磁盘，其中共享存储采用NAS共享存储或者分布式数据存储；其中所述数据存储子***通过LBA逻辑地址与存储媒介的物理地址进行转换和通讯，所述数据存储子***在存储数据时，采用LBA逻辑地址进行存储及数据的查找。
在一些实施例中，其中所述指标的可追溯性存储与读取子***包括指标的可追溯性存储单元以及指标的可追溯性读取单元，其中所述指标的可追溯性存储单元采用多叉树的数据结构进行存储，所述指标的可追溯性存储单元中指标数据的存储以指标维度为文件名进行存储，文件内容以指标基础信息以及可追溯数据的地址信息，同时以指标维度创建索引数据文件，在同一个维度下，将所有这个维度下的指标数据的LBA逻辑地址存储下来，当用户查询某一个维度下的信息时通过维度索引文件获取维度下的所有指标的LBA逻辑地址，根据LBA逻辑地址获取涉及的指标数据，在指标数据中定位到可追溯的数据；其中所述指标的可追溯性读取单元根据不同的业务需要和要求根据不同的维度创建多个索引文件，其中一条指标数据在多个维度的索引文件中，从而在业务需要的情况下查找并获取到业务需要对应的数据。
根据本发明的另一方面，还提供了一种指标关系的可追溯性的实现设备，包括：
软件应用程序，
存储器，用于存储所述软件应用程序，
处理器，用于执行所述软件应用程序，
其中所述软件应用程序的各程序相对应地执行前述中所述的指标关系的可追溯性的实现方法中的步骤。
附图说明
图1是现有技术中指标计算的解决方案和方法的示意图。
图2是根据本发明的一个优选实施例的一种指标关系的可追溯性的实现方法的流程示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
本发明为涉及计算机程序的发明。如图2所示为基于本发明的一种指标关系的可追溯性的实现方法的流程示意图，阐述了为解决本发明提出的问题，以计算机程序处理流程为基础，通过计算机执行按上述流程编制的计算机程序，对计算机外部对象或者内部对象进行控制或处理的解决方案。通过本发明的指标关系的可追溯性的实现方法，能够利用计算机***，响应于外部应用，实现指标的可追溯性。可以理解的是，本发明所称“计算机”不仅仅指台式电脑、笔记本电脑、平板等设备，还包括其他能够按照程序运行，处理数据的智能电子设备。
具体地，所述指标关系的可追溯性的实现方法包括以下步骤：
指标计算步骤；
数据存储步骤；
以及
指标的可追溯性存储与读取步骤。
其中，所述指标计算步骤采用分布式方式进行部署，所述数据存储步骤采用共享磁盘的方式将分布式服务器的磁盘路径均指向共享磁盘。
其中，所述指标计算步骤还包括：对指标计算的公式执行可追溯解析，执行可追溯解析后获取指标与指标的关系以及指标与数据属性的关系。
其中，所述数据存储步骤还包括存储指标与指标的关系以及指标与数据属性的关系。
其中，所述数据存储步骤中，指标的可追溯性关系采用多叉树的方式进行存储；其中，计算的指标数据结果以数据文件的方式进行存储；优选地，将指标计算结果文件的逻辑地址通过索引数据文件的方式进行存储，从而便于后续的快速读取。
其中，当执行计算或查询时，通过索引文件快速找到数据文档的逻辑地址，然后通过逻辑地址快速定位到数据文件，从而能够实现数据的快速读取。
更具体地，在所述指标计算步骤中，执行指标的可追溯解析步骤，其中所述指标的可追溯解析步骤包括以下步骤：
响应于外部应用的申请指标计算请求，解析指标的计算公式后获取到指标计算所需要的追溯属性内容及追溯属性内容值，同时送到计算引擎对指标进行计算，获取得到指标结果值。
更具体地，在所述指标计算步骤中，还包括以下步骤：
元数据级指标计算步骤，其中，元数据级指标为在一条数据中，通过一条数据中的若干属性的运算而得到的指标，其中，元数据级指标的可追溯的内容为数据的属性及属性值；
汇总级指标计算步骤，其中，汇总级指标为通过对若干条数据的属性的聚合而得到的指标，其中，汇总级指标的可追溯的内容为数据的属性及聚合时用到的每条数据的属性值；以及
复合指标计算步骤，其中，复合指标为通过指标与指标的关系或指标与指标的四则运算而计算获取的指标，其中复合指标的可追溯的内容为相关的指标及指标值。
值得一提的是，在所述指标计算步骤中，整个计算应用采用分布式部署，为后续的计算性能的提升提供可扩展性。在整个分布式计算中，在每个分布式计算应用中，进行线程池的集成，在计算中多线程并行计算从而达到大并发的要求，加快计算的效率。
更具体地，由于整个计算应用采用分布式应用架构，在指标计算中，其中一台服务器进行指标的追溯性分析时往往会需要获取到在另一台服务器上运行并存储的结果数据，因此所述数据存储步骤中执行共享存储。
在优选实施例中，通过NAS(Network Attached Storage：网络附属存储)共享存储或者分布式数据存储执行共享存储步骤。
NAS共享存储是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于对不同主机和应用服务器进行访问的技术。NAS技术能够降低存储成本，具有良好的性能价格比。采用NAS共享存储的优势在于，NAS的专业存储设计和为多种客户端服务的特点，让数据更加安全和便于访问。不像一般的存储设备，如U盘、1394接口存储或者CD/DVD，NAS拥有嵌入式操作***。操作***赋予NAS内置的智能，支持它独立的在网络上为各种客户端提供服务。NAS不需要依靠任何其他主机设备，不会出现当其他设备停机，NAS就不能访问的问题。另外，NAS包括了RAID技术，数据在多个硬盘间作冗余备份，一旦某个硬盘遇到硬件故障也可以提供轻松的数据恢复。NAS技术可以代替服务器的原因：作为专业的存储和文件服务器，NAS比传统服务器更加便宜和更加方便。NAS更优势在于最重要的存储工作。剥离了其他功能，一台NAS设备变得更少出现***冲突和安全攻击问题，提供了更加高的读写性能和***稳定性。而且，当出现一个问题时，NAS***由于具有更加低的***复杂性，可以更快的处理故障。NAS技术支持不同的操作***平台：由于删减了自身操作***的多余功能，NAS设备比一般服务器能连接更加多种类的操作***。NAS运行自己的操作***，不要求特定的客户端支持，即可供Windows、UNIX、Linux、Mac等操作***访问。
分布式数据存储是将数据分散存储在多***立的设备上。传统的网络存储***采用集中的存储服务器存放所有数据，存储服务器不能满足大规模存储应用的需要。分布式网络存储***采用可扩展的***结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了***的可靠性、可用性和存取效率，还易于扩展。
值得一提的是，在本发明的所述指标关系的可追溯性的实现方法的所述数据存储步骤中，在并发量和数据量在一定范围内时，可采用NAS共享存储方式进行数据存储，当并发量和数据量达到一定程度的情况下，NAS磁盘就会出现网络和数据读取的瓶颈，可以采用分布式数据存储的方式。
进一步地，分布式应用服务器具有共享存储功能后，存储媒介主要分为高速存储磁盘媒介与固态存储媒介。
其中，高速磁盘存储媒介寻址方式：操作***通过LBA(Logic Block Address，逻辑块地址)以扇区为单位的线性寻址，硬盘控制器内部安装了一个地址翻译器，它负责将C/H/S参数翻译成LBA地址，硬盘逻辑地址与物理地址可以相互转换。C/H/S(Cylinder/Head/Sector)寻址模式，它依据磁头数(Heads)、柱面数(Cylinders)和扇区数(Sectors)构成的绝对地址来寻址的，也称为硬盘的物理地址。
其中，固态存储媒介寻址方式：SSD主要由SSD控制器，FLASH存储阵列，板上DRAM(可选)，以及跟HOST接口(诸如SATA，SAS,PCIe等)组成。HOST是通过LBA(Logical BlockAddress，逻辑地址块)访问SSD的，每个LBA代表着一个Sector(一般为512B大小)，操作***一般以4K为单位访问SSD，我们把HOST访问SSD的基本单元叫用户页(Host Page)。而在SSD内部，SSD主控与FLASH之间是FLASH Page为基本单元访问FLASH的，我们称FLASH Page为物理页(Physical Page)。HOST每写入一个Host Page,SSD主控会找一个Physical Page把Host数据写入，SSD内部同时记录了这样一条映射(Map)。有了这样一个映射关系后，下次HOST需要读某个Host Page时，SSD就知道从FLASH的哪个位置把数据读取上来。
值得一提的是，本发明的所述指标关系的可追溯性的实现方法的所述数据存储步骤中，通过LBA逻辑地址与存储媒介的物理地址进行转换和通讯，采用LBA逻辑地址进行存储及数据的查找。
更具体地，指标的可追溯性存储与读取步骤还包括以下步骤：
指标可追溯性数据存储采用多叉树的数据结构进行存储，其中多叉树分为数据域部分以及地址域部分，其中数据域部分用于存储指标的基础数据，例如指标名称、指标代码、指标维度、指标值等，其中地址域部分用于存储可追溯数据的地址集合，直接指向此指标的追溯数据的位置，便于在追溯时进行快速读取数据；
指标数据的存储以指标维度为文件名进行存储，文件内容以指标基础信息以及可追溯数据的地址信息；同时以指标维度创建索引数据文件，在同一个维度下，将所有这个维度下的指标数据的LBA逻辑地址存储下来；当用户查询某一个维度下的信息时可以通过维度索引文件快速找到维度下的所有指标的LBA逻辑地址，根据LBA逻辑地址可以快速找到涉及的指标数据，在指标数据中可以快速定位到可追溯的相关数据；
以及
执行数据的快速读取步骤，其中根据不同的业务需要和要求，根据不同的维度创建多个索引文件，一条指标数据在多个维度的索引文件中，从而在业务需要的情况下能够快速查找所需要的数据。
本领域的技术人员能够理解的是，可以以方法、***或计算机程序产品的形式提供本发明的实施例。因此，本发明可采取全硬件实施例、全软件实施例，或者组合软件和硬件的实施例的形式。
本领域的技术人员可以理解的是，本发明的方法可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在至少一个计算机***中以集中方式实现，或者由分布在几个互连的计算机***中的不同部分以分散方式实现。任何可以实现方法的计算机***或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机***，通过安装和执行程序控制计算机***，使其按方法运行。
本发明可以嵌入在计算机程序产品中，它包括使此处描述的方法得以实施的所有特征。所述计算机程序产品被包含在一个或多个计算机可读存储介质中，所述计算机可读存储介质具有包含于其中的计算机可读程序代码。根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时能够执行本发明的方法的步骤。计算机存储介质是计算机存储器中用于存储某种不连续物理量的媒体。计算机存储介质包括但不限于半导体、磁盘存储器、磁芯、磁鼓、磁带、激光盘等。本领域的技术人员可以理解的是，计算机存储介质并不局限于前述举例，前述例子仅仅作为举例而并不限于本发明。
与本发明的所述指标关系的可追溯性的实现方法的实施例相对应，根据本发明的另一方面，还提供了一种指标关系的可追溯性的实现***，所述指标关系的可追溯性的实现***为本发明的所述指标关系的可追溯性的实现方法在计算机程序改进上的应用。所述指标关系的可追溯性的实现***包括指标计算子***、数据存储子***以及指标的可追溯性存储与读取子***。
所述指标计算子***采用分布式方式进行部署，所述数据存储子***采用共享磁盘的方式将分布式服务器的磁盘路径均指向共享磁盘。在所述指标计算子***的指标计算过程中，先对计算的公式进行解析，对解析后可得到指标与指标、指标与数据属性的关系，然后将关系进行存储。所述指标的可追溯性存储与读取子***中指标的可追溯性关系采用多叉树的方式进行存储。计算的指标数据结果以数据文件的方式进行存储，为了便于后续的快速读取，将指标计算结果文件的逻辑地址通过索引数据文件的方式进行存储。当计算或查询时需要通过索引文件快速找到数据文档的逻辑地址，然后通过逻辑地址快速定位到数据文件，从而达到数据的快速读取的效果。
更具体地，所述指标计算子***包括元数据级指标计算单元、汇总级指标计算单元以及复合指标计算单元，其中所述元数据级指标计算单元的可追溯的内容为数据的属性及属性值，所述汇总级指标计算单元的可追溯的内容为数据的属性及聚合时用到的每条数据的属性值，其中所述复合指标计算单元的可追溯的内容为相关的指标及指标值。
外部应用在申请指标计算时，所述指标关系的可追溯性的实现***对指标的计算公式进行解析，通过解析从而得到指标计算所需要的追溯属性内容及追溯属性内容值。同时在送到计算引擎对指标进行计算，从而得到指标结果值。
所述指标关系的可追溯性的实现***的整个计算应用采用分布式部署，为后续的计算性能的提升提供可扩展性。在整个分布式计算中，在每个分布式计算应用中，进行线程池的集成，在计算中多线程并行计算从而达到大并发的要求，加快计算的效率。
所述数据存储子***采用共享磁盘的方式将分布式服务器的磁盘路径均指向共享磁盘，其中共享存储采用NAS共享存储或者分布式数据存储，优选地，在并发量和数据量在一定范围内时，采用NAS方式进行数据存储，当并发量，数据量达到一定程度的情况下，NAS磁盘就会出现网络和数据读取的瓶颈，采用分布式数据存储的方式。
所述指标关系的可追溯性的实现***的分布式应用服务器有了共享存储后，存储媒介主要分为高速存储磁盘媒介与固态存储媒介。所述数据存储子***通过LBA逻辑地址与存储媒介的物理地址进行转换和通讯，所述数据存储子***在存储数据时，采用LBA逻辑地址进行存储及数据的查找。
所述指标的可追溯性存储与读取子***包括指标的可追溯性存储单元以及指标的可追溯性读取单元。
所述指标的可追溯性存储单元采用多叉树的数据结构进行存储。整个多叉树分为两部分。第一部分为数据域部分：主要用于存储指标的基础数据，例如指标名称、指标代码、指标维度、指标值等。第二部分为地址域部分。主要用于存储可追溯数据的地址集合，直接指向此指标的追溯数据的位置，便于在追溯时进行快速读取数据。
所述指标的可追溯性存储单元中指标数据的存储以指标维度为文件名进行存储，文件内容以指标基础信息以及可追溯数据的地址信息。同时以指标维度创建索引数据文件，在同一个维度下，将所有这个维度下的指标数据的LBA逻辑地址存储下来。当用户查询某一个维度下的信息时可以通过维度索引文件快速找到维度下的所有指标的LBA逻辑地址，根据LBA逻辑地址可以快速找到涉及的指标数据，在指标数据中可以快速定位到可追溯的相关数据。
所述指标的可追溯性读取单元根据不同的业务需要和要求可以根据不同的维度创建多个索引文件，一条指标数据可以在多个维度的索引文件中，从而在业务需要的情况下可以快速查找所需要的数据。
与本发明的所述指标关系的可追溯性的实现方法的实施例相对应，根据本发明的另一方面，还提供了一种指标关系的可追溯性的实现设备，所述指标关系的可追溯性的实现设备包括：软件应用程序、用于存储软件应用程序的存储器，以及处理器，用于执行所述软件应用程序。所述软件应用程序的各程序能够相对应地执行本发明的所述指标关系的可追溯性的实现方法中的步骤。
硬件和软件的典型的结合可以是带有计算机程序的通用计算机***，当程序被加载并被执行时，控制计算机***，从而可以执行本发明揭露的方法。
本领域的技术人员可以理解的是，已参考根据本发明的方法、***及计算机程序产品的流程图和/或方框图说明了本发明。流程图和/或方框图中的每个方框，以及流程图和/或方框图中的方框的组合显然可由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、嵌入式处理器或者其他可编程的数据处理设备的处理器，以产生一台机器，从而指令(所述指令通过计算机或者其他可编程数据处理设备的处理器)产生用于实现在流程图和/或方框图的一个或多个方框中规定的功能的装置。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离该原理下，本发明的实施方式可以有任何变形或修改。
Claims (10)
1.一种指标关系的可追溯性的实现方法，其特征在于，所述指标关系的可追溯性的实现方法包括以下步骤：
指标计算；
数据存储；
以及
指标的可追溯性存储与读取；
其中，所述指标计算步骤中采用分布式方式进行部署，所述数据存储步骤中采用共享磁盘的方式将分布式服务器的磁盘路径均指向共享磁盘；
其中，所述指标计算步骤还包括：对指标计算的公式执行可追溯解析，执行可追溯解析后获取指标与指标的关系以及指标与数据属性的关系；
其中，所述数据存储步骤还包括存储指标与指标的关系以及指标与数据属性的关系；
其中，指标的可追溯性关系采用多叉树的方式进行存储；其中，指标计算的指标数据结果以数据文件的方式进行存储；其中将指标计算结果文件的逻辑地址通过索引数据文件的方式进行存储，从而便于后续读取；
其中，当执行计算或查询时，通过索引文件获取数据文档的逻辑地址，然后通过逻辑地址定位到数据文件，从而能够实现数据的读取；
其中，所述数据存储步骤中，通过LBA逻辑地址与存储媒介的物理地址进行转换和通讯，采用LBA逻辑地址进行存储及数据的查找。
2.如权利要求1所述的指标关系的可追溯性的实现方法，其中所述指标计算步骤中，执行指标的可追溯解析步骤，其中所述指标的可追溯解析步骤包括以下步骤：
响应于外部应用的申请指标计算请求，解析指标的计算公式后获取到指标计算所需要的追溯属性内容及追溯属性内容值，同时送到计算引擎对指标进行计算，获取得到指标结果值。
3.如权利要求1所述的指标关系的可追溯性的实现方法，其中所述指标计算步骤中，还包括以下步骤：
元数据级指标计算步骤，其中，元数据级指标为在一条数据中，通过一条数据中的若干属性的运算而得到的指标，其中，元数据级指标的可追溯的内容为数据的属性及属性值；
汇总级指标计算步骤，其中，汇总级指标为通过对若干条数据的属性的聚合而得到的指标，其中，汇总级指标的可追溯的内容为数据的属性及聚合时用到的每条数据的属性值；以及
复合指标计算步骤，其中，复合指标为通过指标与指标的关系或指标与指标的四则运算而计算获取的指标，其中复合指标的可追溯的内容为相关的指标及指标值。
4.如权利要求1所述的指标关系的可追溯性的实现方法，其中在执行所述指标计算步骤中，一台服务器被执行指标的追溯性分析时，获取另一台服务器上运行并存储的结果数据，其中在所述数据存储步骤中执行共享存储，其中根据并发量和数据量的范围以及程度，通过NAS共享存储技术或者分布式数据存储技术执行共享存储步骤。
5.如权利要求1所述的指标关系的可追溯性的实现方法，其中所述指标的可追溯性存储与读取步骤还包括以下步骤：
指标可追溯性数据存储采用多叉树的数据结构进行存储，其中多叉树分为数据域部分以及地址域部分，其中数据域部分用于存储指标的基础数据，例如指标名称、指标代码、指标维度、指标值等，其中地址域部分用于存储可追溯数据的地址集合，直接指向此指标的追溯数据的位置，便于在追溯时进行快速读取数据；
指标数据的存储以指标维度为文件名进行存储，文件内容以指标基础信息以及可追溯数据的地址信息；同时以指标维度创建索引数据文件，在同一个维度下，将所有这个维度下的指标数据的LBA逻辑地址存储下来；当用户查询某一个维度下的信息时可以通过维度索引文件快速找到维度下的所有指标的LBA逻辑地址，根据LBA逻辑地址可以快速找到涉及的指标数据，在指标数据中可以快速定位到可追溯的相关数据；
以及
执行数据的快速读取步骤，其中根据不同的业务需要和要求，根据不同的维度创建多个索引文件，一条指标数据在多个维度的索引文件中，从而在业务需要的情况下能够快速查找所需要的数据。
6.一种指标关系的可追溯性的实现***，其特征在于，所述指标关系的可追溯性的实现***包括指标计算子***、数据存储子***以及指标的可追溯性存储与读取子***；
其中所述指标计算子***采用分布式方式进行部署，所述数据存储子***采用共享磁盘的方式将分布式服务器的磁盘路径均指向共享磁盘，在所述指标计算子***的指标计算过程中，先对计算的公式进行解析，对解析后获取指标与指标、指标与数据属性的关系，然后将关系进行存储，所述指标的可追溯性存储与读取子***中指标的可追溯性关系采用多叉树的方式进行存储，计算的指标数据结果以数据文件的方式进行存储，为了便于后续的读取，将指标计算结果文件的逻辑地址通过索引数据文件的方式进行存储，当计算或查询时通过索引文件获取数据文档的逻辑地址，然后通过逻辑地址定位到数据文件，从而达到数据的读取。
7.如权利要求6所述的指标关系的可追溯性的实现***，其中所述指标计算子***包括元数据级指标计算单元、汇总级指标计算单元以及复合指标计算单元，其中所述元数据级指标计算单元的可追溯的内容为数据的属性及属性值，所述汇总级指标计算单元的可追溯的内容为数据的属性及聚合时用到的每条数据的属性值，其中所述复合指标计算单元的可追溯的内容为相关的指标及指标值；其中外部应用在申请指标计算时，所述指标关系的可追溯性的实现***对指标的计算公式进行解析，通过解析从而得到指标计算所需要的追溯属性内容及追溯属性内容值，同时在送到计算引擎对指标进行计算，从而得到指标结果值。
8.如权利要求6所述的指标关系的可追溯性的实现***，其中所述数据存储子***采用共享磁盘的方式将分布式服务器的磁盘路径均指向共享磁盘，其中共享存储采用NAS共享存储或者分布式数据存储；其中所述数据存储子***通过LBA逻辑地址与存储媒介的物理地址进行转换和通讯，所述数据存储子***在存储数据时，采用LBA逻辑地址进行存储及数据的查找。
9.如权利要求6至8中任一所述的指标关系的可追溯性的实现***，其中所述指标的可追溯性存储与读取子***包括指标的可追溯性存储单元以及指标的可追溯性读取单元，其中所述指标的可追溯性存储单元采用多叉树的数据结构进行存储，所述指标的可追溯性存储单元中指标数据的存储以指标维度为文件名进行存储，文件内容以指标基础信息以及可追溯数据的地址信息，同时以指标维度创建索引数据文件，在同一个维度下，将所有这个维度下的指标数据的LBA逻辑地址存储下来，当用户查询某一个维度下的信息时通过维度索引文件获取维度下的所有指标的LBA逻辑地址，根据LBA逻辑地址获取涉及的指标数据，在指标数据中定位到可追溯的数据；其中所述指标的可追溯性读取单元根据不同的业务需要和要求根据不同的维度创建多个索引文件，其中一条指标数据在多个维度的索引文件中，从而在业务需要的情况下查找并获取到业务需要对应的数据。
10.一种指标关系的可追溯性的实现设备，其特征在于，包括：
软件应用程序，
存储器，用于存储所述软件应用程序，
处理器，用于执行所述软件应用程序，
其中所述软件应用程序的各程序相对应地执行如权利要求1至5中所述的指标关系的可追溯性的实现方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010708428.7A CN111858539B (zh) | 2020-07-22 | 2020-07-22 | 指标关系的可追溯性的实现方法、***以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010708428.7A CN111858539B (zh) | 2020-07-22 | 2020-07-22 | 指标关系的可追溯性的实现方法、***以及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111858539A true CN111858539A (zh) | 2020-10-30 |
| CN111858539B CN111858539B (zh) | 2024-05-14 |
Family
ID=73001895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010708428.7A Active CN111858539B (zh) | 2020-07-22 | 2020-07-22 | 指标关系的可追溯性的实现方法、***以及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111858539B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101930560A (zh) * | 2009-06-24 | 2010-12-29 | 株式会社日立制作所 | 原因分析支持装置以及原因分析支持方法 |
| US8578126B1 (en) * | 2009-10-29 | 2013-11-05 | Netapp, Inc. | Mapping of logical start addresses to physical start addresses in a system having misalignment between logical and physical data blocks |
| CN107066483A (zh) * | 2016-12-25 | 2017-08-18 | 北京通途永久科技有限公司 | 一种交通行业指标数据编码及存储方法 |
| CN110018878A (zh) * | 2018-01-09 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 一种分布式***数据加载方法以及装置 |
| CN110689211A (zh) * | 2018-07-04 | 2020-01-14 | 北京国双科技有限公司 | 网站服务能力的评估方法及装置 |
-
2020
- 2020-07-22 CN CN202010708428.7A patent/CN111858539B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101930560A (zh) * | 2009-06-24 | 2010-12-29 | 株式会社日立制作所 | 原因分析支持装置以及原因分析支持方法 |
| US8578126B1 (en) * | 2009-10-29 | 2013-11-05 | Netapp, Inc. | Mapping of logical start addresses to physical start addresses in a system having misalignment between logical and physical data blocks |
| CN107066483A (zh) * | 2016-12-25 | 2017-08-18 | 北京通途永久科技有限公司 | 一种交通行业指标数据编码及存储方法 |
| CN110018878A (zh) * | 2018-01-09 | 2019-07-16 | 阿里巴巴集团控股有限公司 | 一种分布式***数据加载方法以及装置 |
| CN110689211A (zh) * | 2018-07-04 | 2020-01-14 | 北京国双科技有限公司 | 网站服务能力的评估方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111858539B (zh) | 2024-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11593037B2 (en) | File system block-level tiering and co-allocation | |
| US8966476B2 (en) | Providing object-level input/output requests between virtual machines to access a storage subsystem | |
| US9710187B1 (en) | Managing data relocation in storage systems | |
| US20170199910A1 (en) | Query plan management associated with a shared pool of configurable computing resources | |
| US9886443B1 (en) | Distributed NFS metadata server | |
| CA2846417C (en) | Shared cache used to provide zero copy memory mapped database | |
| Meister et al. | Block locality caching for data deduplication | |
| US11157299B2 (en) | Thin provisioning virtual desktop infrastructure virtual machines in cloud environments without thin clone support | |
| KR20140136473A (ko) | 어플리케이션-제어된 서브-lun 수준의 데이터 이동 | |
| US11199990B2 (en) | Data reduction reporting in storage systems | |
| US9430503B1 (en) | Coalescing transactional same-block writes for virtual block maps | |
| US11625192B2 (en) | Peer storage compute sharing using memory buffer | |
| CN103150225B (zh) | 基于应用级代理的对象并行存储***磁盘满异常容错方法 | |
| CN110989924A (zh) | 一种元数据存储性能优化方法及存储服务器 | |
| US10705853B2 (en) | Methods, systems, and computer-readable media for boot acceleration in a data storage system by consolidating client-specific boot data in a consolidated boot volume | |
| CN116450053B (zh) | 数据存储方法、装置、***、电子设备和存储介质 | |
| US10521398B1 (en) | Tracking version families in a file system | |
| CN111858539B (zh) | 指标关系的可追溯性的实现方法、***以及设备 | |
| CN107622123B (zh) | 一种面向asm文件***的文件解析方法 | |
| US10394472B1 (en) | Classification and identification from raw data within a memory domain | |
| US9690803B1 (en) | Auxiliary files in a container file system | |
| Chen et al. | Performance comparison on the heterogeneous file system in cloud storage systems | |
| Mishra et al. | On-disk data processing: Issues and future directions | |
| González et al. | Distributing orthogonal redundancy on adaptive disk arrays | |
| US9864761B1 (en) | Read optimization operations in a storage system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |