CN116049254A - 一种基于数据库的数据资产统计方法 - Google Patents

一种基于数据库的数据资产统计方法 Download PDF

Info

Publication number
CN116049254A
CN116049254A CN202211669550.3A CN202211669550A CN116049254A CN 116049254 A CN116049254 A CN 116049254A CN 202211669550 A CN202211669550 A CN 202211669550A CN 116049254 A CN116049254 A CN 116049254A
Authority
CN
China
Prior art keywords
data
asset
database
assets
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211669550.3A
Other languages
English (en)
Inventor
杨兴荣
贺志国
李建州
杨兴海
冯江华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shijihengtong Technology Co ltd
Original Assignee
Shijihengtong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shijihengtong Technology Co ltd filed Critical Shijihengtong Technology Co ltd
Priority to CN202211669550.3A priority Critical patent/CN116049254A/zh
Publication of CN116049254A publication Critical patent/CN116049254A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于数据库的数据资产统计方法，涉及大数据技术领域，包括以下步骤，S1、录入数据源连接信息：针对数据资产包含资产配置***和资产展示平台，在现有技术基础上，采用大数据实时计算，为新增数据资产以及资产实时统计；S2、检测是否可连接；S3、选择需要统计的表；S4、选择需要展示的字段。本发明***查询数据源获取数据库下所有表，由用户选择需要统计的表；接下来查询并展示用户选中的表的字段信息列表，解决多个数据资产开发工作重复的问题、解决多个数据资产难以汇总统计的问题同时解决多个统计平台难以维护的问题，与现有技术中在进行资产数据联合统计相比，保障了用户的数据隐私，提高了数据统计的安全性。

Description

一种基于数据库的数据资产统计方法
技术领域
本发明涉及大数据技术领域，具体涉及一种基于数据库的数据资产统计方法。
背景技术
随着现代网络技术的飞速发展，诞生了很多互联网公司，同时各个公司对于自己的业务，也伴随着大量的数据接入和生产，这些数据具备难以估量的价值，需要对其接入情况、生产情况进行统计。也有很多平台针对自己的数据提供了单独的统计***，但笔者在实际使用过程中，发现仍存在部分问题。针对现有技术存在以下问题：
1、现有的基于数据库的数据资产统计方法,传统的数据统计平台大部分出现在***本身，需单独到平台的后台管理***查看，但往往一个单位或公司同时有多个***，对于这些数据的统计需要到多个后台管理***查看；
2、现有的基于数据库的数据资产统计方法,如果公司或单位新增了一项业务，对应着会有新的数据接入或产生，当业务比较重要时，往往会对这些数据情况进行监控，需要投入开发人员开发针对这些数据的监控统计功能，尽管已经有了相似的功能。
发明内容
为解决上述技术问题，本发明所采用的技术方案是：
一种基于数据库的数据资产统计方法，包括以下步骤，
S1、录入数据源连接信息：针对数据资产包含资产配置***和资产展示平台，在现有技术基础上，采用大数据实时计算，为新增数据资产以及资产实时统计；
S2、检测是否可连接：首先由管理员录入需统计的数据所用存储***的数据源链接信息，如所用的数据库类型、IP、端口、账号密码等信息，录入完成后***首先检测是否可连通，不可以则重新录入，可以则进行下一步；
S3、选择需要统计的表：***查询数据源获取数据库下所有表，由用户选择需要统计的表；接下来查询并展示用户选中的表的字段信息列表，同时支持对字段进行展示、展示顺序排序、格式化处理、添加为筛选字段、选择筛选时匹配类型等操作，筛选时匹配类型有相等、比较、模糊等匹配类型，随后配置完成一项数据资产；
S4、选择需要展示的字段：首先由用户进入***首页，查看到***中所有的数据资产概况，如每项资产的数据总量、日增量、月增量等统计信息，用户点击某项资产可查看***详情，当前资产的可筛选条件字段、经转换的数据值、经排序的展示字段，用户可在详情页面对当前资产数据进行筛选查看操作,随后资产展示平台的流程结束。
本发明技术方案的进一步改进在于：S1获取目标对象所对应的资产数据，其中，资产数据为目标对象在当前平台上拥有的数字资产所对应的数据，目标对象拥有的总数字资产设置在多个平台上，每个平台与区块链中的节点相对应。
本发明技术方案的进一步改进在于：对资产数据进行分片处理，得到多个分片资产数据；将多个分片资产数据分配至当前节点和至少一个参与节点，并获取至少一个参与节点发送的目标分片资产数据，其中，目标分片资产数据为参与节点对目标资产数据进行分片处理得到的，目标资产数据为与参与节点对应的平台上的数据。
本发明技术方案的进一步改进在于：基于当前节点中的分片资产数据和目标分片资产数据，确定总资产数据，其中，总资产数据用于表征目标对象在当前平台和与至少一个参与节点对应的平台中拥有的数字资产之和。
本发明技术方案的进一步改进在于：S4数据展示单元通过spring cloud架构，从二维及三维角度结合大数据spark计算统计数据与机柜的对应信息，并通过PC端UI展示或移动端APPVR展示，进行展示包括模块展示区、设备展示区和机房场景展示区，其中模块展示区用于展示相对变动不频繁但空间占用较大的资产；设备展示区用于展示变动较为频繁，但空间占用较小的资产；模块展示区和设备展示区均通过PC端UI展示。
本发明技术方案的进一步改进在于：机房场景展示区通过移动端APP VR展示用于实景展现机房的资产信息一种可能的技术方案中，还包括查询模块，用于根据所述设备信息查询其对应的其他全部信息。
由于采用了上述技术方案，本发明相对现有技术来说，取得的技术进步是：
1、本发明提供一种基于数据库的数据资产统计方法，通过选择需要统计的表的作用下，***查询数据源获取数据库下所有表，由用户选择需要统计的表；接下来查询并展示用户选中的表的字段信息列表，解决多个数据资产开发工作重复的问题、解决多个数据资产难以汇总统计的问题同时解决多个统计平台难以维护的问题。
2、本发明提供一种基于数据库的数据资产统计方法，通过检测是否可连接的作用下，首先由管理员录入需统计的数据所用存储***的数据源链接信息，如所用的数据库类型、IP、端口、账号密码等信息，保证了数据处理与统计的过程公开透明，与现有技术中在进行资产数据联合统计时将所有参与平台的数据汇总到第三方的方式相比，保障了用户的数据隐私，提高了数据统计的安全性。
3、本发明提供一种基于数据库的数据资产统计方法，通过选择需要展示的字段的作用下，首先由用户进入***首页，查看到***中所有的数据资产概况，达到了数据统计公开透明、不可篡改的目的，从而实现了提高数据统计的安全性、保证用户隐私的技术效果，进而解决了现有技术中基于单方机构统计用户在多方机构的数字资产造成的安全性低的技术问题。
4、本发明提供一种基于数据库的数据资产统计方法，通过可视化手段进行展示的作用下，可实现将数据中心的复杂信息进行分类实时统计，并以二维背景图和三维实景等符合人类直觉的方式自然呈现，从而大大提升了信息交互的效率，降低了信息损耗和时间损耗，确保信息传递的准确性和及时性，降低了信息查询和浏览的难度，使运维管理人员能够大幅提升操控效率，加快响应速度，缩短处理时间。
附图说明
图1为本发明的一种基于数据库的数据资产统计方法的流程结构示意图；
图2为本发明的检测不可连接的流程结构示意图。
具体实施方式
下面结合实施例对本发明做进一步详细说明：
实施例1
如图1-2所示，本发明提供了一种基于数据库的数据资产统计方法,包括以下步骤，
S1、录入数据源连接信息：针对数据资产包含资产配置***和资产展示平台，在现有技术基础上，采用大数据实时计算，为新增数据资产以及资产实时统计；
S2、检测是否可连接：首先由管理员录入需统计的数据所用存储***的数据源链接信息，如所用的数据库类型、IP、端口、账号密码等信息，录入完成后***首先检测是否可连通，不可以则重新录入，可以则进行下一步；
S3、选择需要统计的表：***查询数据源获取数据库下所有表，由用户选择需要统计的表；接下来查询并展示用户选中的表的字段信息列表，同时支持对字段进行展示、展示顺序排序、格式化处理、添加为筛选字段、选择筛选时匹配类型等操作，筛选时匹配类型有相等、比较、模糊等匹配类型，随后配置完成一项数据资产；
S4、选择需要展示的字段：首先由用户进入***首页，查看到***中所有的数据资产概况，如每项资产的数据总量、日增量、月增量等统计信息，用户点击某项资产可查看***详情，当前资产的可筛选条件字段、经转换的数据值、经排序的展示字段，用户可在详情页面对当前资产数据进行筛选查看操作,随后资产展示平台的流程结束。
在本实施案例中，查询并展示用户选中的表的字段信息列表，解决多个数据资产开发工作重复的问题、解决多个数据资产难以汇总统计的问题同时解决多个统计平台难以维护的问题，保证了数据处理与统计的过程公开透明，与现有技术中在进行资产数据联合统计时将所有参与平台的数据汇总到第三方的方式相比，保障了用户的数据隐私，提高了数据统计的安全性。
实施例2
如图1-2所示，在实施例1的基础上，本发明提供一种技术方案：优选的，S1获取目标对象所对应的资产数据，其中，资产数据为目标对象在当前平台上拥有的数字资产所对应的数据，目标对象拥有的总数字资产设置在多个平台上，每个平台与区块链中的节点相对应，对资产数据进行分片处理，得到多个分片资产数据；将多个分片资产数据分配至当前节点和至少一个参与节点，并获取至少一个参与节点发送的目标分片资产数据，其中，目标分片资产数据为参与节点对目标资产数据进行分片处理得到的，目标资产数据为与参与节点对应的平台上的数据，基于当前节点中的分片资产数据和目标分片资产数据，确定总资产数据，其中，总资产数据用于表征目标对象在当前平台和与至少一个参与节点对应的平台中拥有的数字资产之和，S4数据展示单元通过spring cloud架构，从二维及三维角度结合大数据spark计算统计数据与机柜的对应信息，并通过PC端UI展示或移动端APPVR展示，进行展示包括模块展示区、设备展示区和机房场景展示区，其中模块展示区用于展示相对变动不频繁但空间占用较大的资产；设备展示区用于展示变动较为频繁，但空间占用较小的资产；模块展示区和设备展示区均通过PC端UI展示，机房场景展示区通过移动端APP VR展示用于实景展现机房的资产信息一种可能的技术方案中，还包括查询模块，用于根据所述设备信息查询其对应的其他全部信息。
在本实施例中，从而实现了提高数据统计的安全性、保证用户隐私的技术效果，进而解决了现有技术中基于单方机构统计用户在多方机构的数字资产造成的安全性低的技术问题，大大提升了信息交互的效率，降低了信息损耗和时间损耗，确保信息传递的准确性和及时性，降低了信息查询和浏览的难度，使运维管理人员能够大幅提升操控效率，加快响应速度，缩短处理时间。
下面具体说一下该一种基于数据库的数据资产统计方法的工作原理。
如图1-2所示，针对数据资产包含资产配置***和资产展示平台，在现有技术基础上，采用大数据实时计算，为新增数据资产以及资产实时统计，获取目标对象所对应的资产数据，其中，资产数据为目标对象在当前平台上拥有的数字资产所对应的数据，目标对象拥有的总数字资产设置在多个平台上，每个平台与区块链中的节点相对应，首先由管理员录入需统计的数据所用存储***的数据源链接信息，如所用的数据库类型、IP、端口、账号密码等信息，录入完成后***首先检测是否可连通，不可以则重新录入，可以则进行下一步，***查询数据源获取数据库下所有表，由用户选择需要统计的表；接下来查询并展示用户选中的表的字段信息列表，同时支持对字段进行展示、展示顺序排序、格式化处理、添加为筛选字段、选择筛选时匹配类型等操作，筛选时匹配类型有相等、比较、模糊等匹配类型，随后配置完成一项数据资产，***查询数据源获取数据库下所有表，由用户选择需要统计的表；接下来查询并展示用户选中的表的字段信息列表，解决多个数据资产开发工作重复的问题、解决多个数据资产难以汇总统计的问题同时解决多个统计平台难以维护的问题，保证了数据处理与统计的过程公开透明，与现有技术中在进行资产数据联合统计时将所有参与平台的数据汇总到第三方的方式相比，保障了用户的数据隐私，提高了数据统计的安全性，首先由用户进入***首页，查看到***中所有的数据资产概况，如每项资产的数据总量、日增量、月增量等统计信息，用户点击某项资产可查看***详情，当前资产的可筛选条件字段、经转换的数据值、经排序的展示字段，用户可在详情页面对当前资产数据进行筛选查看操作,随后资产展示平台的流程结束，在可视化手段进行展示的作用下，可实现将数据中心的复杂信息进行分类实时统计，并以二维背景图和三维实景等符合人类直觉的方式自然呈现，从而大大提升了信息交互的效率，降低了信息损耗和时间损耗，确保信息传递的准确性和及时性，降低了信息查询和浏览的难度，使运维管理人员能够大幅提升操控效率，加快响应速度，缩短处理时间。
上文一般性的对本发明做了详尽的描述，但在本发明基础上，可以对之做一些修改或改进，这对于技术领域的一般技术人员是显而易见的。因此，在不脱离本发明思想精神的修改或改进，均在本发明的保护范围之内。

Claims (6)

1.一种基于数据库的数据资产统计方法，包括以下步骤，其特征在于：
S1、录入数据源连接信息：针对数据资产包含资产配置***和资产展示平台，在现有技术基础上，采用大数据实时计算，为新增数据资产以及资产实时统计；
S2、检测是否可连接：首先由管理员录入需统计的数据所用存储***的数据源链接信息，如所用的数据库类型、IP、端口、账号密码等信息，录入完成后***首先检测是否可连通，不可以则重新录入，可以则进行下一步；
S3、选择需要统计的表：***查询数据源获取数据库下所有表，由用户选择需要统计的表；接下来查询并展示用户选中的表的字段信息列表，同时支持对字段进行展示、展示顺序排序、格式化处理、添加为筛选字段、选择筛选时匹配类型等操作，筛选时匹配类型有相等、比较、模糊等匹配类型，随后配置完成一项数据资产；
S4、选择需要展示的字段：首先由用户进入***首页，查看到***中所有的数据资产概况，如每项资产的数据总量、日增量、月增量等统计信息，用户点击某项资产可查看***详情，当前资产的可筛选条件字段、经转换的数据值、经排序的展示字段，用户可在详情页面对当前资产数据进行筛选查看操作,随后资产展示平台的流程结束。
2.根据权利要求1所述的一种基于数据库的数据资产统计方法，其特征在于：S1获取目标对象所对应的资产数据，其中，资产数据为目标对象在当前平台上拥有的数字资产所对应的数据，目标对象拥有的总数字资产设置在多个平台上，每个平台与区块链中的节点相对应。
3.根据权利要求2所述的一种基于数据库的数据资产统计方法，其特征在于：对资产数据进行分片处理，得到多个分片资产数据；将多个分片资产数据分配至当前节点和至少一个参与节点，并获取至少一个参与节点发送的目标分片资产数据，其中，目标分片资产数据为参与节点对目标资产数据进行分片处理得到的，目标资产数据为与参与节点对应的平台上的数据。
4.根据权利要求3所述的一种基于数据库的数据资产统计方法，其特征在于：基于当前节点中的分片资产数据和目标分片资产数据，确定总资产数据，其中，总资产数据用于表征目标对象在当前平台和与至少一个参与节点对应的平台中拥有的数字资产之和。
5.根据权利要求1所述的一种基于数据库的数据资产统计方法，其特征在于：S4数据展示单元通过spring cloud架构，从二维及三维角度结合大数据spark计算统计数据与机柜的对应信息，并通过PC端UI展示或移动端APPVR展示，进行展示包括模块展示区、设备展示区和机房场景展示区，其中模块展示区用于展示相对变动不频繁但空间占用较大的资产；设备展示区用于展示变动较为频繁，但空间占用较小的资产；模块展示区和设备展示区均通过PC端UI展示。
6.根据权利要求1所述的一种基于数据库的数据资产统计方法，其特征在于：机房场景展示区通过移动端APP VR展示用于实景展现机房的资产信息一种可能的技术方案中，还包括查询模块，用于根据所述设备信息查询其对应的其他全部信息。
CN202211669550.3A 2022-12-24 2022-12-24 一种基于数据库的数据资产统计方法 Pending CN116049254A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211669550.3A CN116049254A (zh) 2022-12-24 2022-12-24 一种基于数据库的数据资产统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211669550.3A CN116049254A (zh) 2022-12-24 2022-12-24 一种基于数据库的数据资产统计方法

Publications (1)

Publication Number Publication Date
CN116049254A true CN116049254A (zh) 2023-05-02

Family

ID=86130448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211669550.3A Pending CN116049254A (zh) 2022-12-24 2022-12-24 一种基于数据库的数据资产统计方法

Country Status (1)

Country Link
CN (1) CN116049254A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117150570A (zh) * 2023-11-01 2023-12-01 国网浙江省电力有限公司 基于数据资源要素的资产信息过程安全监控方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117150570A (zh) * 2023-11-01 2023-12-01 国网浙江省电力有限公司 基于数据资源要素的资产信息过程安全监控方法及***
CN117150570B (zh) * 2023-11-01 2024-01-26 国网浙江省电力有限公司 基于数据资源要素的资产信息过程安全监控方法及***

Similar Documents

Publication Publication Date Title
US11258693B2 (en) Collaborative incident management for networked computing systems
US11836148B1 (en) Data source correlation user interface
US11023511B1 (en) Mobile device composite interface for dual-sourced incident management and monitoring system
US11226964B1 (en) Automated generation of metrics from log data
US11303503B1 (en) Multi-source incident management and monitoring system
US8997000B2 (en) Integrated view of network management data
US10091358B1 (en) Graphical user interface for call center analysis
CN110647522B (zh) 一种数据挖掘方法、装置及其***
US10069972B1 (en) Call center analysis
US20070038641A1 (en) Systems and methods for automated application updating
CN109254901B (zh) 一种指标监测方法及***
CN111078695B (zh) 计算企业内元数据关联关系的方法及装置
US20230123539A1 (en) Stitching event data using identity mappings
CN112052134A (zh) 一种业务数据的监控方法及装置
CN116049254A (zh) 一种基于数据库的数据资产统计方法
US9054969B2 (en) System and method for situation-aware IP-based communication interception and intelligence extraction
CN111353671B (zh) 供应链管理方法、装置及***
CN107909458A (zh) 一种用于网上服务***的常用功能列表生成方法及***
CN114968710A (zh) 一种基于分布式架构的单元监控方法及装置
CN109213782A (zh) 搜索界面的配置、显示方法、装置及通信设备
CN108540302B (zh) 一种大数据处理的方法及设备
CN107608979A (zh) 识别用户潜在求助的知识点的方法及装置
CN116089490A (zh) 数据分析方法、装置、终端和存储介质
CN110647448A (zh) 一种移动应用操作日志数据实时分析方法、服务器和***
CN109992614A (zh) 数据获取方法、装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination