CN108614742B - 报表数据的校验方法、***和装置 - Google Patents

报表数据的校验方法、***和装置 Download PDF

Info

Publication number
CN108614742B
CN108614742B CN201611142361.5A CN201611142361A CN108614742B CN 108614742 B CN108614742 B CN 108614742B CN 201611142361 A CN201611142361 A CN 201611142361A CN 108614742 B CN108614742 B CN 108614742B
Authority
CN
China
Prior art keywords
report
data
screening
image
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611142361.5A
Other languages
English (en)
Other versions
CN108614742A (zh
Inventor
何林艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201611142361.5A priority Critical patent/CN108614742B/zh
Publication of CN108614742A publication Critical patent/CN108614742A/zh
Application granted granted Critical
Publication of CN108614742B publication Critical patent/CN108614742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0766Error or fault reporting or storing
    • G06F11/0775Content or structure details of the error report, e.g. specific table structure, specific error fields

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种报表数据的校验方法、***和装置,所述方法包括检测与报表对应的后台数据库的新增更新数据是否已经具备;在后台数据库的新增更新数据已经具备时,加载所述报表;对所述报表进行截图处理,获取所述报表的图像;处理所述报表的图像,从所述报表的图像中获取数据的筛选条件和结果数据;根据所述筛选条件查询与所述报表对应的后台物理表,获取与所述筛选条件对应的后端数据;和对比同一筛选条件的结果数据和后端数据,完成报表数据的校验。本发明自动检测报表页面数据,在降低检测成本的同时,提高了效率;在数据一旦同步到了应用数据库即可进行页面数据的准确性检测,时效性高;而且避免了由于独立检测而造成的数据检测不全面的问题。

Description

报表数据的校验方法、***和装置
技术领域
本发明涉及数据处理技术领域,具体地说,涉及一种报表数据的校验方法、***和装置。
背景技术
报表***是一种最常见的数据产品,报表为需求人员提供各种各样的数据,包括绩效考核、日常运营、仪表盘以及分析挖掘的报告等。目前,为将数据展现在报表,***需要完成以下流程:
步骤1,运行Python或Shell等程序,将计算结果数据存储在Hdfs文件中。
步骤2,将计算完的结果数据同步到应用数据库中,如Mysql、Impala、Hbase等应用数据库。
步骤3,采用Java后端代码处理展现逻辑,或采用报表工具,如Bo/Biee开发后端模型。
步骤4,采用Java前端进行页面展现逻辑处理,或者采用报表工具,如Bo/Biee开发前端进行页面展现逻辑处理。
用户登陆报表***查看数据时,包括两个步骤:步骤1,登录报表***,报表***判断所述用户是否有权限,然后,步骤2,在用户有权限时,则依据所述用户的帐户获取相应的数据,并展现给用户。
从上述过程可见,需要经过四个环节的处理才能将数据展现到报表***,用户看到报表***的数据需要经过两个环节的处理,如果其中的任何一个环节出现了错误,那最终用户看到的数据就是错误的。如何保证每个环节不出问题,让用户看到的数据是正确的,一直是所有报表***研发团队在思考的问题。
为了保证用户看到的数据是正确的,大部分采用数据质量监控***来监控每天通过python/shell程序计算的数据结果是否正确,从而可以解决数据展现流程中的步骤1中可能出现的数据异常问题。在从步骤1到步骤2的同步过程中,现有同步文件***中会自动检测数据文件的一致性,所以可以保证步骤1和步骤的数据一致性。
通过人工写SQL的方式,可以解决数据展现流程中步骤3、步骤4中可能出现的数据异常问题。采用人工点击报表***上的每张报表,结合个人经验和SQL方式,可以解决用户查看数据流程步骤2中可能出现的数据异常问题,保证用户从页面上看到的数据和底层数据一致。
尽管在不同阶段采用了适应各自阶段的方案,但是仍有以下问题:
1)不全面性:执行SQL的方式只能判断页面处理逻辑是否正确以及后端底层数据是否正确,并不能确定用户打开页面看到的数据是否正确。
2)高成本、低效性:上述人工点击报表的方式,只能确认报表是否能正常打开和是否有数据展现出来,而不能判断展现出来的数据和后端底层的数据是否一致。
3)滞后性:纯靠人工方式来保证页面和后端数据一致性,存在很严重的滞后性,很多时候报表***用户先发现问题,用户体验不好,不能做到提前告知用户数据准确与否。
发明内容
本发明要解决的技术问题在于,对报表数据的校验不全面、采用人工点击报表存在高成本、低效性及滞后性,提供了一种报表数据的校验方法、***和装置。
为解决上述技术问题,根据本发明的一个方面,提供了一种报表数据的校验方法,其中,包括:
检测与报表对应的后台数据库的新增更新数据是否已经具备;
在后台数据库的新增更新数据已经具备时,加载所述报表;
对所述报表进行截图处理,获取所述报表的图像;
处理所述报表的图像,从所述报表的图像中获取数据的筛选条件和结果数据;
根据所述筛选条件查询与所述报表对应的后台物理表,获取与所述筛选条件对应的后端数据;和
对比同一筛选条件的结果数据和后端数据,完成报表数据的校验。
优选地,所述检测与报表对应的后台数据库的新增更新数据是否已经具备的步骤包括:
根据所述报表后端数据的更新时间,循环检测对应的所有后台物理表的更新标志位;
当与所述报表对应的后台物理表的更新标志位都为完成状态时,确定与所述报表对应的后台数据库的新增更新数据已经具备。
优选地,在后台数据库的新增更新数据已经具备时,加载所述报表的步骤包括:
登录报表***首页;
打开目前已具备浏览条件的报表链接;
加载所述报表数据。
优选地,打开目前已具备浏览条件的报表链接的步骤包括:
根据报表链接拼装成已具备浏览条件的新报表链接;
打开所述新报表链接。
优选地,从所述报表的图像中获取数据的筛选条件和结果数据的步骤包括:
识别筛选区域,并根据设定的规则获取筛选条件及内容;
识别与所述筛选区域对应的数据展现区域,从数据展现区中解析出相应的数据作为所述筛选条件的结果数据。
优选地,识别与所述筛选区域对应的数据展现区域时,判断所述数据展现区是二维表结构还是图形化结构;
如果是从图形化结构,获取图例信息及对应的标签值作为结果数据;
如果是二维表结构,获取表头信息和汇总信息值作为结果数据。
优选地,根据所述筛选条件查询与所述报表对应的后台物理表,获取与所述筛选条件对应的后端数据的步骤包括:
根据预置的第二配置表,将处理所述报表的图像时得到的筛选条件名称转换为后台物理表的物理字段名称;
根据所述筛选条件及第二配置表中所述报表与后台物理表的关联关系,拼装动态查询语句;
执行所述动态查询语句,获取与所述筛选条件对应的后端数据。
为解决上述技术问题,根据本发明的另一个方面,提供了一种报表数据的校验***,其中包括:
检测模块,用于检测与报表对应的后台数据库的新增更新数据是否已经具备;
自动模拟点击模块,用于在后台数据库的新增更新数据已经具备时,登录报表***,加载所述报表;
页面截图模块,用于对所述报表进行截图处理,获取所述报表的图像;
图像处理模块,用于处理所述报表的图像,从所述报表的图像中获取数据的筛选条件和结果数据;
查询模块,用于根据所述筛选条件查询与所述报表对应的后台物理表,获取与所述筛选条件对应的后端数据;和
数据匹配模块,用于对比同一筛选条件的结果数据和后端数据,完成报表数据的校验。
优选地,所述检测模块包括:
第一配置表,用于记录报表的配置信息,包括:报表连接、报表参数、对应的后台物理表、报表更新参数及后台物理表更新标志;
更新单元,用于根据后台物理表的更新情况,更新所述第一配置表的后台物理表更新标志位;和
检测单元,根据所述配置表中的更新参数,循环检测对应后台物理表更新标志,当所有后台物理表的更新标志完成时,发送触发信号给所述自动模拟点击模块,并将所述报表链接和报表参数传递给所述自动模拟点击模块。
优选地,所述自动模拟点击模块包括:
登录单元,根据所述检测模块发送来的触发信号和报表参数,登录报表***首页;
接收单元,用于接收从所述检测模块传递来的报表链接和报表参数;
报表打开单元,根据所述报表链接拼装成已具备浏览条件的新报表链接;打开所述新报表链接;和
数据加载单元,用于将与所述报表对应的后台物理表中的数据加载到所述报表页面。
优选地,所述图像处理模块包括:
筛选区识别单元,用于识别筛选区域,并根据设定的规则获取筛选条件及内容;
数据展现区识别单元,用于识别与所述筛选区域对应的数据展现区域;和
数据解析单元,用于从所述的数据展现区中解析出相应的数据作为所述筛选条件的结果数据。
为解决上述技术问题,根据本发明的另一个方面,提供了一种报表数据的校验装置,包括处理器和存储器,所述存储器用于存储数据和指令,所述处理器执行所述指令,至少完成以下步骤:
检测与报表对应的后台数据库的新增更新数据是否已经具备;
在后台数据库的新增更新数据已经具备时,加载所述报表;
对所述报表进行截图处理,获取所述报表的图像;
处理所述报表的图像,从所述报表的图像中获取数据的筛选条件和结果数据;
根据所述筛选条件查询与所述报表对应的后台物理表,获取与所述筛选条件对应的后端数据;和
对比同一筛选条件的结果数据和后端数据,完成报表数据的校验。
根据本发明的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述指令被处理器执行时实现上述报表数据校验方法。
本发明自动检测报表页面数据,在降低检测成本的同时,提高了效率;在数据一旦同步到了应用数据库即可进行页面数据的准确性检测,时效性高;而且,避免了由于独立后台数据和页面数据单独检测而造成的数据检测不全面的问题。
附图说明
通过参照以下附图对本发明实施例的描述,本发明的上述以及其它目的、特征和优点将更为清楚,在附图中:
图1为本发明所述报表数据的校验方法简易流程图;
图2为本发明检测报表页面对应的后台数据库更新数据的流程图;
图3为本发明加载所述报表的流程图;
图4为本发明图像处理过程的流程图;
图5为本发明查询后台数据并校验报表的流程图;
图6为本发明所述报表数据的校验***的结构原理框图;
图7为本发明所述报表数据的校验***一具体实施例的结构原理框图。
具体实施方式
以下基于实施例对本发明进行描述,但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质,公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
如图1所示,为本发明所述的报表数据的校验方法简易流程图,所述方法包括:
步骤S1,检测与报表对应的后台数据库的新增更新数据是否已经具备;如果后台数据库的新增更新数据已经具备,则执行步骤S2,如果没有,则继续检测。
步骤S2,在后台数据库的新增更新数据已经具备时,加载所述报表。此时模拟人工点击报表,自动加载所述报表,在所述报表中展现数据。
步骤S3,对所述报表进行截图处理,获取所述报表的静态图像。
步骤S4,处理所述报表的图像,从所述报表的图像中获取数据的筛选条件和结果数据。经过该步骤的处理,将图片非结构化信息转换成结构化信息,包括筛选条件信息和对应的结果数据。
步骤S5,根据所述筛选条件查询与所述报表对应的后台物理表,获取与所述筛选条件对应的后端数据。在该步骤中,以步骤S4中得到的筛选条件查询后台物理表,得到相同条件的后端数据。
步骤S6,对比同一筛选条件的结果数据和后端数据,完成报表数据的校验。通过对比可以判断此次报表页面打开数据是否正确。
通过上述方案可知,本发明不再依赖人工方式检测页面数据,在降低检测成本的同时,提高了效率。本发明在数据一旦同步到了应用数据库即可进行页面数据的准确性检测,不需要等到报表运维人员点击报表后才能发现数据问题,发现问题的时效性高。而且,本发明整合了后端数据和页面数据一致性的检测,避免了对后端数据和页面数据独立检测而造成的数据检测不全面的问题。
具体地,在步骤1中,为了检测报表页面对应的后台数据库的新增更新数据是否已经具备,需要一第一配置表,所述第一配置表如表1所示,包含如下信息:
表1
Figure GDA0001460059790000071
对于一个报表,可能对应多个后台物理表,而每一个后台物理表的更新参数可能相同,也可能不同,因而,为每一个后台物理表设置与其对应的更新参数及其标志位,当更新完,则将其标志位设置为更新完成的标志,如“1”。在本实施例中,设置了两项更新参数:“报表更新频率”和“报表更新时间”,例如,“报表更新频率”为日、周、月等,根据前面设置的“报表更新频率”,在“报表更新时间”设置是当前日、周、月等,或不是,为判断当前是否在更新数据提供依据。这些参数可在调度***中获得。具体如图2所示:
步骤S11,更新所述第一配置表。例如,从***中的调度中心或调度***中获取物理表当时的更新情况,并将其更新到所述第一配置表中,如某个物理表是否更新完成,如果更新完成,则将第一配置表中对应的标志位设置为完成状态,如果没有更新完成,设置成没有完成状态。
步骤S12,扫描第一配置表中的更新参数和标志位。
步骤S13,根据更新参数中的“报表更新频率”判断更新频率是否为天?如果是,执行步骤S15,如果不是,执行步骤S14。
步骤S14,判断当前是否是更新时间,如果是,返回步骤15。如果不是,则结束本流程。
步骤S15,根据标志位,判断与所述报表对应的所有后台物理表的更新标志位是否都表示完成,如果是的话,执行步骤S16,如果不是,返回步骤S11,继续根据***中的调度中心或调度***,将物理表当前的更新情况更新到所述第一配置表。
步骤S16,发送触发消息,用于触发实施步骤2加载所述报表,并发送相关信息,如报表链接和报表参数,所述报表参数如报表用户的帐户信息等。
如图3所示,为步骤2中加载所述报表的具体流程图。所述加载所述报表的步骤包括:
步骤S21,根据触发消息及接收到的报表用户帐户信息登录报表***首页;
步骤S22,判断登录是否异常,如果异常,执行步骤S29,如果没有异常,正常登录到报表***首页,则执行下一步骤S23。
步骤S23,根据接收到的报表链接,拼装成可使用的新链接,该新链接为目前已具备浏览条件的报表链接。
步骤S24,打开目前已具备浏览条件的报表链接。
步骤S25,加载所述报表数据。
步骤S26,判断页面是否加载完成?如果已加载完成,则执行下一步骤S27,如果没有加载完成,执行步骤S28。
步骤S27,发送触发消息,用以执行步骤S3。
步骤S28,判断是否加载超时,如果没有超时,则继续执行步骤S25,如果超时,则执行步骤S29。
步骤S29,触发预警机制,通知相关人员,由相关人员进行处理。
通过所述步骤S2,打开报表,并在页面上展现报表数据。当加载完数据后,触发步骤3,用以对所述页面进行截图处理,获得页面的静态图像,并将图片名称以报表名称命名,将图片存储在指定的文件夹中。截图完成后,关闭相应报表链接窗口。
在步骤S4中,对步骤S3中取得的静态图像进行处理,具体如图4所示:
步骤S41,在指定文件夹中打开与所述表格名称相同的图片。
步骤S42,识别筛选区域,并根据设定的规则获取筛选条件及内容,并将所述报表的筛选条件存储起来。其中,所述规则包含筛选条件所在图像坐标位置以及筛选条件的文字范围。根据所述规则,来识别出筛选区域。
步骤S43,识别与所述筛选区域对应的数据展现区域。
步骤S44,判断所述数据展现区域是图形还是表格。如果是图形,则执行步骤S45,如果是表格,则执行步骤S46。
步骤S45,从所述图形中解析出图例信息和对应的数据标签值,并记录解析出的图例信息和对应的数据标签值,作为所述报表的结果数据。而后执行步骤S47。
步骤S46,在所述展现区为表格时,获取所述表格的表头信息及相应的数据。其中,作为一个实施例,只需获取展现区中的表头信息和第一行信息值。由于通常第一行信息为汇总信息,在进行数据比对时,只需要该汇总信息即可,因而不需要比对第一行以下的详细数据。当表格中信息的分布有变化时,如最后一行记娄汇总信息时,则获取最后一行的信息。在本实施例中,记录所述的表头信息和第一行信息值,作为所述报表的结果数据。
当报表表头过长、不能在一展现全时,在步骤3截图时,需要拖拉滚动条,截出多幅图像。在步骤4,通过识别所述多截图来获取完整的表头信息和数据。
步骤S47,发送触发消息,用于实施步骤S5。
通过步骤S4,不再需通过人工肉眼获取报表页面信息,而是利用图像处理技术,把每张报表图片的筛选区域信息获取出来,将筛选条件以结构化形式记录下来,并判断数据展现区是二维表结构还是图形化结构,根据不同的类型,从数据展现区中解析出对应结果数据,效率高、准确性高。
通过以上步骤,获得了当前报表的筛选条件和对应的结果数据,则在步骤S5,通过所述同一筛选条件查询后台数据库,从而获取后台数据。
具体地,在***内预置有第二配置表,用于记录每张报表展现的维度、指标以及该报表后台物理表与表之间的关联关系。其中,所述的维度为说明数据,具体可为描述一个项目的文本字符串,可指定不同值的对象的描述属性或特征。所述指标为衡量数据,可以按总数或比值衡量具体维度元素,是与维度相关的数字。
如果在图像处理时获取到的信息如下:
时间:2016-07-30;部门:部门1;人员:人员1;销售额:100,则所述第二配置表如表2:
表2
Figure GDA0001460059790000101
如图5所示,为本发明查询后台数据并校验报表的流程图,具体包括:
步骤S51,根据所述预置的第二配置表,将所述处理所述报表的图像时得到的筛选条件名称转换为后台物理表的物理字段名称,即将图像处理结果与配置表的信息做一个逻辑名称与物理名称的匹配。
步骤S52,然后,根据所述筛选条件及配置表中所述报表与后台物理表的关联关系,拼装动态查询语句。以上表为例,将图像处理结果与第二配置表进行匹配转换,生成的动态SQL查询语句如下:
select amount from table1where time=’2016-07-30’and dept=’部门1’andman=’人员1’;
当然,每张报表的复杂程度不一样,可以结合每张报表的配置信息,动态生成各种不同复杂程度的查询语句。
步骤S53,执行所述动态查询语句,获取与所述筛选条件对应的后端数据。
步骤S54,返回所述的后端数据。
步骤S55,比较同一筛选条件下的识别得到的结果数据和从后台数据库查询得到的后端数据。
步骤S56,判断二者是否一致,如果一些,则校验成功,报表为用户展现的是正确数据,如果不一致,则在步骤S57,触发预警机制,通知相关人员。
根据上面所述的方法可见,本发明可以在第一时间进行报表页面结果检测,对于一些报表***,在凌晨生成可使用的报表的,无需人工早就点击报表进行检测,因而不存在检测时间早晚的问题。并且,本发明每次依据图像处理结果动态生成查询语句,不用再像之前人工去***日志中查找生成的SQL查询语句或者人工写SQL查询语句了,因而提高了效率,节约了人力。
在另一方面,本发明还提供了报表数据的校验***,如图6所示,为本发明所述的报表数据的校验***的结构原理框图。
所述***包括检测模块1、自动模拟点击模块2、页面截图模块3、图像处理模块4、查询模块5和数据匹配模块6。其中,所述检测模块1,用于检测与报表对应的后台数据库的新增更新数据是否已经具备;自动模拟点击模块2,用于在后台数据库的新增更新数据已经具备时,登录报表***,加载所述报表;页面截图模块3,用于对所述报表进行截图处理,获取所述报表的图像;图像处理模块4,用于处理所述报表的图像,从所述报表的图像中获取数据的筛选条件和结果数据;查询模块5,用于根据所述筛选条件查询与所述报表对应的后台物理表,获取与所述筛选条件对应的后端数据;数据匹配模块6,用于对比同一筛选条件的结果数据和后端数据,完成报表数据的校验。
具体地,如图7所示,为本发明所述报表数据的校验***一具体实施例的结构原理框图。所述检测模块1包括:第一配置表11、更新单元12和检测单元13。其中,所述第一配置表11用于记录报表的配置信息,包括:报表链接、报表参数、对应的后台物理表、报表更新参数及后台物理表更新标志,如前所述的表1。所述更新单元12用于访问调度***或调度中心,从中获取后台物理表的更新情况,更新所述第一配置表的后台物理表更新标志位,将已完成更新的后台物理表的标志位设置为完成状态,如果没有更新完成,设置成没有完成状态。检测单元13根据所述配置表中的更新参数,循环检测对应后台物理表更新标志位,当所有后台物理表的更新标志位都为完成状态时,发送触发信号给所述自动模拟点击模块2,并将所述报表链接和报表参数传递给所述自动模拟点击模块2。
所述自动模拟点击模块2包括登录单元21、接收单元22、报表打开单元23和数据加载单元24。其中,所述登录单元21根据所述检测模块发送来的触发信号,按照接收单元接收来的登录帐户信息,登录报表***首页。如果登录过程中有异常,则触发预警***,通知相关人员处理。接收单元22接收从所述检测模块传递来的报表链接和报表参数,并将所述报表参数发送给登录单元21和报表打开单元23。所述登录单元21成功登录到报表***后,所述报表打开单元23根据所述报表链接和相关报表参数拼装成已具备浏览条件的新报表链接,并打开所述新报表链接,此时打开了所述报表。所述数据加载单元24将与所述报表对应的后台物理表中的数据加载到所述报表页面。加载完成后,发送触发信号给所述的页面截图模块3,页面截图模块3接收到触发消息后,对当前页面进行截图操作,图片名称以报表名称命名,将图片存储在指定的文件夹中。截图完成,关闭相应报表链接窗口。
所述图像处理模块4包括:筛选区识别单元41、数据展现区识别单元42和数据解析单元43。其中,所述筛选区识别单元41在打开的图片识别筛选区域,并根据设定的规则获取筛选条件及内容。数据展现区识别单元42识别与所述筛选区域对应的数据展现区域,所述数据解析单元43从所述的数据展现区中解析出相应的数据作为所述筛选条件的结果数据。所述查询模块5从所述图像处理模块4中获得处理结果,包括筛选条件和结果数据,所述查询模块5根据所述筛选条件查询与所述报表对应的后台物理表,获取与所述筛选条件对应的后端数据。数据匹配模块6对比同一筛选条件的结果数据和后端数据,完成报表数据的校验。
在另一方面,本发明还提供了一种报表数据的校验装置,包括存储器和处理器,所述存储器用于存储数据及指令,所述处理器用于根据所述指令,完成上述方法及***。例如:
检测与报表对应的后台数据库的新增更新数据是否已经具备;
在后台数据库的新增更新数据已经具备时,加载所述报表;
对所述报表进行截图处理,获取所述报表的图像;
处理所述报表的图像,从所述报表的图像中获取数据的筛选条件和结果数据;
根据所述筛选条件查询与所述报表对应的后台物理表,获取与所述筛选条件对应的后端数据;和
对比同一筛选条件的结果数据和后端数据,完成报表数据的校验。
本发明提供的报表数据的校验方法、***和装置解决了目前一些校验方案的弊病,如:对报表数据的校验不全面、采用人工点击报表存在高成本、低效性及滞后性等。对报表的校验及时、准确。
以上所述仅为优选实施例,并不用于限制本发明,对于本领域技术人员而言,本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种报表数据的校验方法,其中,包括:
检测与报表对应的后台数据库的新增更新数据是否已经具备;
在后台数据库的新增更新数据已经具备时,加载所述报表;
对所述报表进行截图处理,获取所述报表的图像;
处理所述报表的图像,从所述报表的图像中获取筛选条件和结果数据;
根据所述筛选条件查询与所述报表对应的后台物理表,获取与所述筛选条件对应的后端数据;和
对比同一筛选条件的结果数据和后端数据,完成报表数据的校验。
2.如权利要求1所述的报表数据的校验方法,其中,所述检测与报表对应的后台数据库的新增更新数据是否已经具备的步骤包括:
根据所述报表后端数据的更新时间,循环检测对应的所有后台物理表的更新标志位;
当与所述报表对应的后台物理表的更新标志位都为完成状态时,确定与所述报表对应的后台数据库的新增更新数据已经具备。
3.如权利要求1所述的报表数据的校验方法,其中,在后台数据库的新增更新数据已经具备时,加载所述报表的步骤包括:
登录报表***首页;
打开目前已具备浏览条件的报表链接;
加载所述报表数据。
4.如权利要求1所述的报表数据的校验方法,其中,从所述报表的图像中获取筛选条件和结果数据的步骤包括:
识别筛选区域,并根据设定的规则获取筛选条件及内容;
识别与所述筛选区域对应的数据展现区域,从数据展现区域中解析出相应的数据作为所述筛选条件的结果数据。
5.如权利要求4所述的报表数据的校验方法,其中,识别与所述筛选区域对应的数据展现区域时,判断所述数据展现区域是二维表结构还是图形化结构;
如果所述数据展现区域是图形化结构,获取图例信息及对应的标签值作为结果数据;
如果所述数据展现区域是二维表结构,获取表头信息和汇总信息值作为结果数据。
6.如权利要求1所述的报表数据的校验方法,其中,根据所述筛选条件查询与所述报表对应的后台物理表,获取与所述筛选条件对应的后端数据的步骤包括:
根据预置的第二配置表,将处理所述报表的图像时得到的筛选条件名称转换为后台物理表的物理字段名称;
根据所述筛选条件及第二配置表中所述报表与后台物理表的关联关系,拼装动态查询语句;
执行所述动态查询语句,获取与所述筛选条件对应的后端数据。
7.一种报表数据的校验***,其中包括:
检测模块,用于检测与报表对应的后台数据库的新增更新数据是否已经具备;
自动模拟点击模块,用于在后台数据库的新增更新数据已经具备时,登录报表***,加载所述报表;
页面截图模块,用于对所述报表进行截图处理,获取所述报表的图像;
图像处理模块,用于处理所述报表的图像,从所述报表的图像中获取筛选条件和结果数据;
查询模块,用于根据所述筛选条件查询与所述报表对应的后台物理表,获取与所述筛选条件对应的后端数据;和
数据匹配模块,用于对比同一筛选条件的结果数据和后端数据,完成报表数据的校验。
8.如权利要求7所述的报表数据的校验***,其中,所述检测模块包括:
第一配置表,用于记录报表的配置信息,包括:报表连接、报表参数、对应的后台物理表、报表更新参数及后台物理表更新标志;
更新单元,用于根据后台物理表的更新情况,更新所述第一配置表的后台物理表更新标志位;和
检测单元,根据所述配置表中的更新参数,循环检测对应后台物理表更新标志,当所有后台物理表的更新标志完成时,发送触发信号给所述自动模拟点击模块,并将所述报表链接和报表参数传递给所述自动模拟点击模块。
9.如权利要求7所述的报表数据的校验***,其中,所述自动模拟点击模块包括:
登录单元,根据所述检测模块发送来的触发信号和报表参数,登录报表***首页;
接收单元,用于接收从所述检测模块传递来的报表链接和报表参数;
报表打开单元,根据所述报表链接拼装成已具备浏览条件的新报表链接;打开所述新报表链接;和
数据加载单元,用于将与所述报表对应的后台物理表中的数据加载到所述报表页面。
10.如权利要求7所述的报表数据的校验***,其中,所述图像处理模块包括:
筛选区识别单元,用于识别筛选区域,并根据设定的规则获取筛选条件及内容;
数据展现区识别单元,用于识别与所述筛选区域对应的数据展现区域;和
数据解析单元,用于从所述的数据展现区中解析出相应的数据作为所述筛选条件的结果数据。
11.一种报表数据的校验装置,包括处理器和存储器,所述存储器用于存储数据和指令,所述处理器执行所述指令,至少完成以下步骤:
检测与报表对应的后台数据库的新增更新数据是否已经具备;
在后台数据库的新增更新数据已经具备时,加载所述报表;
对所述报表进行截图处理,获取所述报表的图像;
处理所述报表的图像,从所述报表的图像中获取筛选条件和结果数据;
根据所述筛选条件查询与所述报表对应的后台物理表,获取与所述筛选条件对应的后端数据;和
对比同一筛选条件的结果数据和后端数据,完成报表数据的校验。
12.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令被处理器执行时实现如权利要求1至6中任一项所述的报表数据校验的方法。
CN201611142361.5A 2016-12-12 2016-12-12 报表数据的校验方法、***和装置 Active CN108614742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611142361.5A CN108614742B (zh) 2016-12-12 2016-12-12 报表数据的校验方法、***和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611142361.5A CN108614742B (zh) 2016-12-12 2016-12-12 报表数据的校验方法、***和装置

Publications (2)

Publication Number Publication Date
CN108614742A CN108614742A (zh) 2018-10-02
CN108614742B true CN108614742B (zh) 2021-09-14

Family

ID=63643675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611142361.5A Active CN108614742B (zh) 2016-12-12 2016-12-12 报表数据的校验方法、***和装置

Country Status (1)

Country Link
CN (1) CN108614742B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109634945A (zh) * 2018-12-06 2019-04-16 阳光保险集团股份有限公司 一种报表***中数据检测的方法和装置
CN110119426A (zh) * 2019-03-27 2019-08-13 携程计算机技术(上海)有限公司 酒店订单报表数据同步的方法及***
CN110019042A (zh) * 2019-04-15 2019-07-16 成都四方伟业软件股份有限公司 报表文件生成方法、装置及***
CN113239770B (zh) * 2021-04-30 2022-12-20 国网河北省电力有限公司沧州供电分公司 一种财务报表核算方法
CN114185624A (zh) * 2021-12-30 2022-03-15 深圳前海微众银行股份有限公司 报表加载更新检测方法、装置、设备与存储介质
CN114676190B (zh) * 2022-05-27 2022-10-11 太平金融科技服务(上海)有限公司深圳分公司 数据展示方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198558A (zh) * 2013-02-06 2013-07-10 深圳宝嘉电子设备有限公司 一种银行柜台智能处理终端
CN104077373A (zh) * 2014-06-24 2014-10-01 北京京东尚科信息技术有限公司 一种数据一致性校验方法
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7587079B2 (en) * 2005-07-21 2009-09-08 Xerox Corporation Check printing auditing systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
CN103198558A (zh) * 2013-02-06 2013-07-10 深圳宝嘉电子设备有限公司 一种银行柜台智能处理终端
CN104077373A (zh) * 2014-06-24 2014-10-01 北京京东尚科信息技术有限公司 一种数据一致性校验方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
南京审计学院学生信息管理***的设计和实现;张建炜;《中国优秀硕士学位论文全文数据库-信息科技辑》;20160315;全文 *

Also Published As

Publication number Publication date
CN108614742A (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
CN108614742B (zh) 报表数据的校验方法、***和装置
JP6782778B2 (ja) データ処理方法及び装置
US20100329573A1 (en) Display test device, display test method, and storage medium
US11003563B2 (en) Compliance testing through sandbox environments
WO2010061735A1 (ja) 検出イベントに応じたアクション実行を支援するシステム、検出イベントに応じたアクション実行を支援する方法、支援装置及びコンピュータプログラム
US10657530B2 (en) Automated transactions clearing system and method
CN110908890A (zh) 一种接口的自动测试方法和装置
US11436133B2 (en) Comparable user interface object identifications
US10437717B2 (en) Defect reporting in application testing
CN110647523B (zh) 数据质量的分析方法及装置、存储介质、电子设备
US11113137B2 (en) Error incident fingerprinting with unique static identifiers
US10365995B2 (en) Composing future application tests including test action data
JP2011210233A (ja) Gui要素を識別する方法、装置およびシステム
KR20070080313A (ko) 클라이언트 단말로 제공되는 서비스 성능 분석 방법 및시스템
CN109426611A (zh) 一种软件测试方法和装置
CN111897806A (zh) 大数据离线数据质量检查方法及装置
CN112199277A (zh) 一种基于浏览器的缺陷复现方法、装置、设备及存储介质
CN113722370A (zh) 基于指标分析的数据管理方法、装置、设备及介质
CN105867328A (zh) 成衣质量监控***
WO2019077656A1 (ja) 生産設備監視装置、生産設備監視方法及び生産設備監視プログラム
US7992126B2 (en) Apparatus and method for quantitatively measuring the balance within a balanced scorecard
US11816112B1 (en) Systems and methods for automated process discovery
US10162849B1 (en) System, method, and computer program for automatic database validation associated with a software test
CN113781068A (zh) 线上问题解决方法、装置、电子设备和存储介质
CN110347741B (zh) 大数据处理过程中有效提升输出成果数据质量的***及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant