CN113190581A - 一种基于大数据动态生成报表的方法及终端 - Google Patents

一种基于大数据动态生成报表的方法及终端 Download PDF

Info

Publication number
CN113190581A
CN113190581A CN202110484889.5A CN202110484889A CN113190581A CN 113190581 A CN113190581 A CN 113190581A CN 202110484889 A CN202110484889 A CN 202110484889A CN 113190581 A CN113190581 A CN 113190581A
Authority
CN
China
Prior art keywords
report
data
template
report data
cache host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110484889.5A
Other languages
English (en)
Inventor
郑荣锥
唐光宇
闫乃永
卢学明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baobao Bus Co ltd
Original Assignee
Baobao Bus Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baobao Bus Co ltd filed Critical Baobao Bus Co ltd
Priority to CN202110484889.5A priority Critical patent/CN113190581A/zh
Publication of CN113190581A publication Critical patent/CN113190581A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
    • G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于大数据动态生成报表的方法及终端，包括：S1、获取用户配置的报表模板，报表模板的待接收数据由用户自定义配置，实时监听应用上报的数据，报表模板处理引擎对上报的数据进行分析并根据报表模板的待接收数据的配置读取需要的报表数据，将读取后的报表数据发送至报表缓存宿主中；S2、将报表模板处理引擎发送的实时的报表数据存储至机器内存中；S3、定时将报表缓存宿主中缓存的报表数据存储至数据库中，之后发送删除命令至缓存宿主中删除已存储至数据库的报表数据。不论是开发人员还是其他相关人员，都可以根据需求在报表缓存宿主中配置需要的报表模板，当用户后期需要报表数据时只需要去数据库中获取对应的报表数据即可。

Description

一种基于大数据动态生成报表的方法及终端
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于大数据动态生成报表的方法及终端。
背景技术
随着大数据技术的高速发展，需要采集用户行为的数据越来越大，且各相关人员需要查看报表的数据不同，需要更多研发人员去配合相关人员开发不同的报表，且由于采集的数据量很大，每次根据相关人员需求开发出需要采集相应数据的报表的过程中，需要在数据库中搜索相应的数据输出至该报表中，由于数据库中的数据量非常大，搜索相应数据需要较长的时间，因此生成报表的速度也较为缓慢，无法实时满足相关人员的查看相关报表的需求，生成报表的效率低下，同时也浪费了人力。
发明内容
(一)要解决的技术问题
为了解决现有技术的上述问题，本发明提供一种基于大数据动态生成报表的方法及终端，提高了报表的生成效率。
(二)技术方案
为了达到上述目的，本发明采用的一种技术方案为：一种基于大数据动态生成报表的方法，包括：
S1、获取用户配置的报表模板，所述报表模板的待接收数据由用户自定义配置，实时监听应用上报的数据，报表模板处理引擎对上报的数据进行分析并根据所述报表模板的待接收数据的配置读取需要的报表数据，将读取后的报表数据发送至报表缓存宿主中；
S2、将报表模板处理引擎发送的实时的报表数据存储至机器内存中；
S3、定时将所述报表缓存宿主中缓存的报表数据存储至数据库中，之后发送删除命令至缓存宿主中删除已存储至数据库的报表数据。
本发明采用的另一种技术方案为：一种基于大数据动态生成报表的终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S1、获取用户配置的报表模板，所述报表模板的待接收数据由用户自定义配置，实时监听应用上报的数据，报表模板处理引擎对上报的数据进行分析并根据所述报表模板的待接收数据的配置读取需要的报表数据，将读取后的报表数据发送至报表缓存宿主中；
S2、将报表模板处理引擎发送的实时的报表数据存储至机器内存中；
S3、定时将所述报表缓存宿主中缓存的报表数据存储至数据库中，之后发送删除命令至缓存宿主中删除已存储至数据库的报表数据。
(三)有益效果
本发明的有益效果是：不论是开发人员还是其他相关人员，都可以根据需求在报表缓存宿主中配置需要的报表模板，当接收到实时数据后报表模板处理引擎会对实时监听应用上报的数据进行分析并存储报表模板需要的实时数据至报表缓存宿主中，且能够将该报表数据能够存储至机器内存中，避免因发生断电等情况导致数据丢失，其能够定时备份至数据库中，提高了报表数据的生成效率和实时性，且能够将报表缓存数组中已备份至数据库中的数据进行删除，以避免报表缓存宿主的内存不断增长的情况发生；当用户后期需要报表数据时只需要去数据库中获取对应的报表数据即可，且能够提供实时的报表数据，从而能够不需要额外的开发人员根据其他相关人员的需求适应性配置报表模板去生成对应的报表数据，节约了人力。
附图说明
图1为本发明的基于大数据动态生成报表的方法的流程图；
图2为本发明的基于大数据动态生成报表的终端的结构示意图；
【附图标记说明】
1、一种基于大数据动态生成报表的终端；2、存储器；3、处理器。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
请参照图1所示，一种基于大数据动态生成报表的方法，包括：
S1、获取用户配置的报表模板，所述报表模板的待接收数据由用户自定义配置，实时监听应用上报的数据，报表模板处理引擎对上报的数据进行分析并根据所述报表模板的待接收数据的配置读取需要的报表数据，将读取后的报表数据发送至报表缓存宿主中；
S2、将报表模板处理引擎发送的实时的报表数据存储至机器内存中；
S3、定时将所述报表缓存宿主中缓存的报表数据存储至数据库中，之后发送删除命令至缓存宿主中删除已存储至数据库的报表数据。
从上述描述可知，本发明的有益效果在于：不论是开发人员还是其他相关人员，都可以根据需求在报表缓存宿主中配置需要的报表模板，当接收到实时数据后报表模板处理引擎会对实时监听应用上报的数据进行分析并存储报表模板需要的实时数据至报表缓存宿主中，且能够将该报表数据能够存储至机器内存中，避免因发生断电等情况导致数据丢失，其能够定时备份至数据库中，提高了报表数据的生成效率和实时性，且能够将报表缓存数组中已备份至数据库中的数据进行删除，以避免报表缓存宿主的内存不断增长的情况发生；当用户后期需要报表数据时只需要去数据库中获取对应的报表数据即可，且能够提供实时的报表数据，从而能够不需要额外的开发人员根据其他相关人员的需求适应性配置报表模板去生成对应的报表数据，节约了人力。
进一步地，所述S2之后还包括：
所述机器内存中存储的报表数据更新预设次数/时间后将所述报表数据存储至硬盘中，并定时清理机器内存中过期的报表数据。
从上述描述可知，能够定期将机器内存中存储的报表数据存储至硬盘中并清理过期的报表数据，保证机器内存不断增长的情况发生。
进一步地，所述S1之前包括：
配置所述报表缓存宿主的报表数据过期时限；
所述S2之后包括：
根据所述报表数据过期时限删除过期的报表数据。
从上述描述可知，能够根据用户需求配置所述报表缓存宿主的报表数据过期时限，并根据该报表数据过期时限删除过期的报表数据，避免报表缓存宿主存储过多过期的报表数据导致缓存占用过大影响其使用性能。
进一步地，所述报表模板待接收数据的数据类型包括数字、bitmap和字符串。
请参照图2所示，一种基于大数据动态生成报表的终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
S1、获取用户配置的报表模板，所述报表模板的待接收数据由用户自定义配置，实时监听应用上报的数据，报表模板处理引擎对上报的数据进行分析并根据所述报表模板的待接收数据的配置读取需要的报表数据，将读取后的报表数据发送至报表缓存宿主中；
S2、将报表模板处理引擎发送的实时的报表数据存储至机器内存中；
S3、定时将所述报表缓存宿主中缓存的报表数据存储至数据库中，之后发送删除命令至缓存宿主中删除已存储至数据库的报表数据。
从上述描述可知，本发明的有益效果在于：不论是开发人员还是其他相关人员，都可以根据需求在报表缓存宿主中配置需要的报表模板，当接收到实时数据后报表模板处理引擎会对实时监听应用上报的数据进行分析并存储报表模板需要的实时数据至报表缓存宿主中，且能够将该报表数据能够存储至机器内存中，避免因发生断电等情况导致数据丢失，其能够定时备份至数据库中，提高了报表数据的生成效率和实时性，且能够将报表缓存数组中已备份至数据库中的数据进行删除，以避免报表缓存宿主的内存不断增长的情况发生；当用户后期需要报表数据时只需要去数据库中获取对应的报表数据即可，且能够提供实时的报表数据，从而能够不需要额外的开发人员根据其他相关人员的需求适应性配置报表模板去生成对应的报表数据，节约了人力。
进一步地，所述S2之后还包括：
所述机器内存中存储的报表数据更新预设次数/时间后将所述报表数据存储至硬盘中，并定时清理机器内存中过期的报表数据。
从上述描述可知，能够定期将机器内存中存储的报表数据存储至硬盘中并清理过期的报表数据，保证机器内存不断增长的情况发生。
进一步地，所述S1之前包括：
配置所述报表缓存宿主的报表数据过期时限；
所述S2之后包括：
根据所述报表数据过期时限删除过期的报表数据。
从上述描述可知，能够根据用户需求配置所述报表缓存宿主的报表数据过期时限，并根据该报表数据过期时限删除过期的报表数据，避免报表缓存宿主存储过多过期的报表数据导致缓存占用过大影响其使用性能。
进一步地，所述报表模板待接收数据的数据类型包括数字、bitmap和字符串。
实施例一
请参照图1所示，一种基于大数据动态生成报表的方法，包括：
S1、获取用户配置的报表模板，所述报表模板的待接收数据由用户自定义配置，实时监听应用上报的数据，报表模板处理引擎对上报的数据进行分析并根据所述报表模板的待接收数据的配置读取需要的报表数据，将读取后的报表数据发送至报表缓存宿主中；
S2、将报表模板处理引擎发送的实时的报表数据存储至机器内存中；
S3、定时将所述报表缓存宿主中缓存的报表数据存储至数据库中，之后发送删除命令至缓存宿主中删除已存储至数据库的报表数据。
其中，所述S2之后还包括：
所述机器内存中存储的报表数据更新预设次数/时间后将所述报表数据存储至硬盘中，并定时清理机器内存中过期的报表数据。
其中，所述S1之前包括：
配置所述报表缓存宿主的报表数据过期时限；
所述S2之后包括：
根据所述报表数据过期时限删除过期的报表数据。
其中，所述报表模板缓存的数据类型包括数字、bitmap和字符串。举个例子如下所示：
Figure BDA0003050323590000061
Figure BDA0003050323590000071
通过报表模板中的标识配置待接收数据，通过Key指定各个待接收数据的数据类型生成上述报表数据。
实施例二
请参照图2，一种基于大数据动态生成报表的终端1，包括存储器2、处理器3及存储在存储器2上并可在处理器3上运行的计算机程序，所述处理器3执行所述计算机程序时实现实施例一中的步骤。
综上所述，本发明提供的一种基于大数据动态生成报表的方法及终端，不论是开发人员还是其他相关人员，都可以根据需求在报表缓存宿主中配置需要的报表模板，当接收到实时数据后报表模板处理引擎会对实时监听应用上报的数据进行分析并存储报表模板需要的实时数据至报表缓存宿主中，且能够将该报表数据能够存储至机器内存中，避免因发生断电等情况导致数据丢失，其能够定时备份至数据库中，提高了报表数据的生成效率和实时性，且能够将报表缓存数组中已备份至数据库中的数据进行删除，以避免报表缓存宿主的内存不断增长的情况发生；当用户后期需要报表数据时只需要去数据库中获取对应的报表数据即可，且能够提供实时的报表数据，从而能够不需要额外的开发人员根据其他相关人员的需求适应性配置报表模板去生成对应的报表数据，节约了人力。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于大数据动态生成报表的方法，其特征在于，包括：
S1、获取用户配置的报表模板，所述报表模板的待接收数据由用户自定义配置，实时监听应用上报的数据，报表模板处理引擎对上报的数据进行分析并根据所述报表模板的待接收数据的配置读取需要的报表数据，将读取后的报表数据发送至报表缓存宿主中；
S2、将报表模板处理引擎发送的实时的报表数据存储至机器内存中；
S3、定时将所述报表缓存宿主中缓存的报表数据存储至数据库中，之后发送删除命令至缓存宿主中删除已存储至数据库的报表数据。
2.根据权利要求1所述的基于大数据动态生成报表的方法，其特征在于，所述S2之后还包括：
所述机器内存中存储的报表数据更新预设次数/时间后将所述报表数据存储至硬盘中，并定时清理机器内存中过期的报表数据。
3.根据权利要求1所述的基于大数据动态生成报表的方法，其特征在于，所述S1之前包括：
配置所述报表缓存宿主的报表数据过期时限；
所述S2之后包括：
根据所述报表数据过期时限删除过期的报表数据。
4.根据权利要求1所述的基于大数据动态生成报表的方法，其特征在于，所述报表模板待接收数据的数据类型包括数字、bitmap和字符串。
5.一种基于大数据动态生成报表的终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：
S1、获取用户配置的报表模板，所述报表模板的待接收数据由用户自定义配置，实时监听应用上报的数据，报表模板处理引擎对上报的数据进行分析并根据所述报表模板的待接收数据的配置读取需要的报表数据，将读取后的报表数据发送至报表缓存宿主中；
S2、将报表模板处理引擎发送的实时的报表数据存储至机器内存中；
S3、定时将所述报表缓存宿主中缓存的报表数据存储至数据库中，之后发送删除命令至缓存宿主中删除已存储至数据库的报表数据。
6.根据权利要求5所述的基于大数据动态生成报表的终端，其特征在于，所述S2之后还包括：
所述机器内存中存储的报表数据更新预设次数/时间后将所述报表数据存储至硬盘中，并定时清理机器内存中过期的报表数据。
7.根据权利要求5所述的基于大数据动态生成报表的终端，其特征在于，所述S1之前包括：
配置所述报表缓存宿主的报表数据过期时限；
所述S2之后包括：
根据所述报表数据过期时限删除过期的报表数据。
8.根据权利要求5所述的基于大数据动态生成报表的终端，其特征在于，所述报表模板待接收数据的数据类型包括数字、bitmap和字符串。
CN202110484889.5A 2021-04-30 2021-04-30 一种基于大数据动态生成报表的方法及终端 Pending CN113190581A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110484889.5A CN113190581A (zh) 2021-04-30 2021-04-30 一种基于大数据动态生成报表的方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110484889.5A CN113190581A (zh) 2021-04-30 2021-04-30 一种基于大数据动态生成报表的方法及终端

Publications (1)

Publication Number Publication Date
CN113190581A true CN113190581A (zh) 2021-07-30

Family

ID=76983840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110484889.5A Pending CN113190581A (zh) 2021-04-30 2021-04-30 一种基于大数据动态生成报表的方法及终端

Country Status (1)

Country Link
CN (1) CN113190581A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226542A (zh) * 2008-02-01 2008-07-23 中国建设银行股份有限公司 一种报表缓存的方法
CN103699557A (zh) * 2013-09-04 2014-04-02 中国四维测绘技术有限公司 报表处理方法及***
CN104378439A (zh) * 2014-11-24 2015-02-25 上海许继电气有限公司 基于共享内存实现变电站装置信息实时传输的***及方法
CN104636218A (zh) * 2013-11-15 2015-05-20 腾讯科技（深圳）有限公司 数据恢复方法及装置
EP2924588A1 (en) * 2012-11-26 2015-09-30 ZTE Corporation Report creation method, device and system
CN107451109A (zh) * 2017-07-05 2017-12-08 北京京东尚科信息技术有限公司 报表生成方法及***
CN109241509A (zh) * 2018-08-20 2019-01-18 郑州云海信息技术有限公司 一种基于云平台的报表管理的方法及装置
CN109978529A (zh) * 2017-12-27 2019-07-05 青岛胶南海尔洗衣机有限公司 离线支付方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101226542A (zh) * 2008-02-01 2008-07-23 中国建设银行股份有限公司 一种报表缓存的方法
EP2924588A1 (en) * 2012-11-26 2015-09-30 ZTE Corporation Report creation method, device and system
CN103699557A (zh) * 2013-09-04 2014-04-02 中国四维测绘技术有限公司 报表处理方法及***
CN104636218A (zh) * 2013-11-15 2015-05-20 腾讯科技（深圳）有限公司 数据恢复方法及装置
CN104378439A (zh) * 2014-11-24 2015-02-25 上海许继电气有限公司 基于共享内存实现变电站装置信息实时传输的***及方法
CN107451109A (zh) * 2017-07-05 2017-12-08 北京京东尚科信息技术有限公司 报表生成方法及***
CN109978529A (zh) * 2017-12-27 2019-07-05 青岛胶南海尔洗衣机有限公司 离线支付方法
CN109241509A (zh) * 2018-08-20 2019-01-18 郑州云海信息技术有限公司 一种基于云平台的报表管理的方法及装置

Similar Documents

Publication Publication Date Title
CN110147411B (zh) 数据同步方法、装置、计算机设备及存储介质
CN101645032B (zh) 应用服务器的性能分析方法和应用服务器
CN109710185A (zh) 数据处理方法及装置
CN111858284A (zh) 一种人工智能服务器的资源监控方法和装置
CN111736907B (zh) 一种自适应低延迟内存计算引擎的数据分析方法
CN114201505A (zh) 数据查询方法及装置、数据库***
CN111309868A (zh) 一种知识图谱构建、检索方法及装置
CN110737710A (zh) 分布式数据自动结构化入库方法及***
CN103117878A (zh) 一种基于Nagios的分布式监控***的设计方法
CN111666344A (zh) 异构数据同步方法及装置
CN111488736A (zh) 自学习分词方法、装置、计算机设备和存储介质
CN111580932B (zh) 一种虚拟机磁盘在线迁移去冗余方法
CN114398520A (zh) 数据检索方法、***、装置、电子设备及存储介质
CN113918532A (zh) 画像标签聚合方法、电子设备及存储介质
CN113190581A (zh) 一种基于大数据动态生成报表的方法及终端
CN115098486A (zh) 基于海关业务大数据的实时数据采集方法
CN114896276A (zh) 数据存储方法、装置、电子设备及分布式存储***
CN111143280B (zh) 一种数据调度方法、***、装置及存储介质
CN112398750B (zh) 并行计算中作业启动数据压缩传递方法
CN115328878B (zh) 日志数据存储***、方法、设备及介质
CN113625971B (zh) 数据存储方法、装置、设备以及计算机存储介质
CN116644039B (zh) 一种基于大数据的在线能力运营日志自动采集分析的方法
CN117632860A (zh) 基于Flink引擎的小文件合并方法、装置及电子设备
CN115905173A (zh) 基于事务最终一致的sql语句合并方法
CN117827955A (zh) 一种数据获取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210730