CN106446271A - 一种bi数据接口设计方法 - Google Patents
一种bi数据接口设计方法 Download PDFInfo
- Publication number
- CN106446271A CN106446271A CN201610915556.2A CN201610915556A CN106446271A CN 106446271 A CN106446271 A CN 106446271A CN 201610915556 A CN201610915556 A CN 201610915556A CN 106446271 A CN106446271 A CN 106446271A
- Authority
- CN
- China
- Prior art keywords
- data
- interface
- time
- update
- data volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
一种BI数据接口的设计方法，包括如下步骤：配置接口配置表；在整个BI接口表设计的过程中需要首先确定业务***需要哪些数据表，并将业务部门需要的数据表配置到接口配置表中；记录数据更新日志；为了检测接口配置表中的接口表数据是否更新完成，需要设计并创建一个数据更新日志表，用于记录每天每个BI接口表的更新时间以及数据量等；监控所述接口表的数据质量；业务***根据接口表的数据质量拉取数据并记录日志；定时发送报告，形成报表展示。
Description
技术领域
本发明涉及商业智能数据接口领域，具体而言，是一种BI数据接口设计方法与***。
背景技术
大多数企业在经营过程中都逐渐地积累了大量的数据。为了保证业务***的性能，通常业务***与商业智能(BI)数据***是分离，历史数据存在BI数据***中而业务***中只保留当前数据。BI部门对历史数据进行分析，挖掘潜在的价值，发现数据中的知识并将这种知识反馈给业务部门。这就涉及到业务***向BI***取数据。在这个过程中可能会出现如下问题：
1、BI***数据未更新好，而业务***已经开始取数据，即业务***拉取的并不是最新的数据。
2、在BI***数据全部更新完成前业务***已经完成数据拉取，即有部分数据可能并未被拉取。
3、BI***的数据更新并不成功，而业务***已经取走了数据，即可能业务***取的是错误的数据。
如果BI***数据不能准确及时地传输到业务***，则可能影响业务部门的正常工作，严重地可能影响客户对公司的认知看法甚至客户忠诚度。因此安全准确及时地将BI***数据传输到业务***具有非常重要的意义。本专利提供一种BI数据接口的设计方法与***，通过本专利发明的***可方便地对数据接口进行配置管理，同时从各个环节严格把关，确保数据能安全准确及时地从BI***传输到业务***。
发明内容
本发明目的是，基于业务***向BI***拉取数据，提出一种BI数据接口的设计方法与***，解决数据从BI***到业务***过程中可能出现的各种问题。
本发明技术方案是，一种BI数据接口的设计方法，包括如下步骤：
1)配置接口配置表
在整个接口表设计的过程中需要首先确定业务***需要哪些数据表，并将业务部门需要的数据表配置到接口配置表中；配置接口配置表的目的是为了使得数据传输的任务更加清晰，明确业务***哪个项目需要哪些BI接口表，每个表是哪天添加的，数据传输的任务开始时间，数据传输的任务到哪天结束，每个表的数据是如何更新的等，同时也为了更加方便地对整个过程进行监控；
需要配置的内容包括业务***项目名称、表名称、表添加时间、任务开始时间、任务结束时间、表更新类型等。
2)记录数据更新日志
为了检测接口配置表中的接口表数据是否更新完成，需要设计并创建一个数据更新日志表，用于记录每天每个BI接口表的更新时间以及数据量等；接口表数据更新完成后，向数据更新日志表中记录每个接口表的更新时间，更新的数据量等信息。数据更新日志表一方面可以监控每个接口表每天的更新时间，另一方面也可以监控接口表数据的质量。
数据更新日志表中包括的内容有日期，表名，更新时间，更新数据量，删除数据量，***数据量，总数据量等。
3)监控BI接口表的数据质量
接口表的数据质量监控是建立在数据更新日志表的基础上的；从数据更新日志表中取出每天每个表的更新时间，并对每天的数据量进行监控，判断数据量是否处于正常区间，例如当天的数据量是否为零，当天的绝对数量是否正常，环比增长率(较前一天)是否处于－50％与+50％区间，同比(7天前)增长率是否处于－50％与+50％之间，对异常的表进行邮件和短信预警，将预警信息发送给相关维护人员。最后对每个表给出一个是否异常的判断，形成接口表数据质量监控表，包含的内容有日期，表名，是否更新，数据量是否正常，表是否异常，业务部门是否已取。
4)业务***根据接口表的数据质量拉取数据并记录日志
业务***先读取接口数据质量监控表中的信息，并判断表是否可取。若数据质量监控表显示某个接口表已经更新且数据量正常，即数据质量监控表显示接口表正常则可以拉取，若接口表数据并未更新或者虽然已经更新但数据量异常则不拉取。对于已经拉取的表则反写接口数据质量监控表，将业务部门是否已取更新为已经取，并记录读取的时间。这样可以很清晰地知道每天每个表是否更新，数据量是否异常，表是否异常，业务部门是否已取。
5)定时发送报告，形成报表展示
为了清晰地了解BI***数据是否更新，是否异常，是否已经被业务***取了数据，需要将每日的BI接口表的调度情况形成一个报告，每日反馈给维护人员，及时监控并掌握数据的动态情况。报告的内容包括日期，表名，是否更新，是否异常，业务部门是否读取，业务部门何时读取等，这样便于发现问题并及时修复，同时将每日的情况通过报表展现，方便维护人员查看。
有益效果：本发明提出的基于业务***向BI***拉取传输数据，是一种BI数据接口的设计方法与***，解决数据从BI***到业务***过程中可能出现的各种问题。采用的数据更新日志表一方面可以监控每个接口表每天的更新时间，另一方面也可以监控接口表数据的质量。监控所述接口表数据质量。
附图说明
图1为本发明实施例一种BI数据接口设计方法与***的流程图。
具体实施方式
图1展示了本发明实施例的一种BI数据接口设计方法与***的流程图。
如图1，本发明实施例的BI数据接口设计方法与***的具体步骤包括：
步骤1：确定前台***即业务***需要的数据表，即BI接口表，将BI接口表加入到接口配置表中；创建接口配置表，存储接口表的相关信息，包含如下字段：
(1)项目名称：PROJECT_NAME；
(2)接口表名称：TABLE_NAME；
(3)接口表添加时间：ADD_TIME，指何时将这个任务添加进配置表中；
(4)数据更新时间字段：DATE_TYPE，指时间存储类型，例如NUMBER类型或者为DATE类型，该字段是为了监控每日的数据量；
(5)任务开始时间：START_TIME，指从何时开始提供接口；
(6)任务结束时间：END_TIME，指何时停止该接口任务；
(7)更新时间：LAST_UPDATE；
接口配置表配置完成后，后续步骤以接口配置表中的接口表信息为标准，例如接口配置表的某项目下某个接口表，从任务开始时间开始提供数据到业务***，到任务结束时停止提供数据到业务***；
步骤2：创建接口更新日志表，记录BI接口表每天的更新信息，存放接口表每天的更新时间以及更新数据量；
接口更新日志表中存放每天每个表的更新时间，更新的数据量。接口表数据更新完成后，向数据更新日志表中记录每个接口表的更新时间，更新的数据量等信息。数据更新日志表一方面可以监控每个接口表每天的更新时间，另一方面也可以监控接口表数据的质量。
创建接口更新日志表，存储BI接口表每天的更新信息，包含如下字段：
(1)日期：CAL_NUMBER
(2)表名：TABLE_NAME
(3)接口表更新时间：UPDATE_TIME
(4)更新数据量：UPDATE_CNT
(5)删除数据量：DELETE_CNT
(6)***数据量：INSERT_CNT
(7)当日总数据量：RECORDS_CNT
(8)日志表更新时间：LAST_UPDATE
BI接口表的更新信息可掌握每个表的更新情况，并监控其是否发生异常。
步骤3：对接口表的数据质量进行监控和预警；
为了保证提供给业务部门的数据的质量，BI部门需要对每个接口表的数据量进行监控。监控的内容包括该表是否更新，数据量是否正常等。最终监控表的字段包含如下字段：
(1)日期：CAL_NUMBER
(2)表名称：TABLE_NAME
(3)数据更新时间：UPDATE_TIME
(4)表数据量：RECORD_CNT
(5)数据量环比：RATIO_D
(6)数据量同比：RATIO_W
(7)数据量是否异常：DATA_EXCEP_FLAG
(8)整体是否异常：EXCEP_FLAG，指是否完成更新并且数据量正常
(9)业务***是否已取：TRANSFER_FLAG，默认为0，即默认未取。
根据监控表的信息对数据质量进行监控预警，例如，当表数据还未更新时则发预警邮件和短信给相关负责人，相关负责人要查看调度程序是否正常；若表已经更新但数据量为零则同时发送报警短信和邮件到相关负责人，负责人需立即找出原因并及时修复；当数据量不为零但数据量比前一天少了50％以上，则发生预警信息给相关负责人，由相关负责人手工确认是否正常。最后给出整体异常标识，方便业务***来取数据时知道哪个表是正常是可以取的。
步骤4：业务***在抽取数据前先判断接口表是否更新成功，若不成功不抽取，抽取成功的表进行日志记录；
业务***取数据的任务开始时先扫描监控表中的EXCEP_FLAG字段，当且仅当该字段为0时业务***才取对应表的数据，读取过某个表的数据后业务***改写监控表的TRANSFER_FLAG字段，这样便于识别那些数据已经取哪些未取。
步骤5：每天定时发送接口传输报告，形成监控报表，监控掌握表的动态情况，发现问题及时解决；
为了清晰地了解BI***数据是否更新，是否异常，是否已经被业务***
取了数据，需要将每日的BI接口表的调度情况形成一个报告，每日反馈给维护人员，及时监控并掌握数据的动态情况。报告的内容包括日期，表名，是否更新，是否异常，业务部门是否读取，业务部门何时读取等，这样便于发现问题并及时修复，同时将每日的情况通过报表展现，方便维护人员查看，便于发现问题。
报告中可以将问题归为以下五类：
1)表未更新，业务***未取，异常；
2)表已经更新但数据量为0，业务***未取，异常；
3)表数据量不为0但波动大，业务***已取，预警异常(同比环比增长率超过50％或低于-50％)；
4)表更新完成且数据量正常，业务***未取，预警异常；
5)表更新完成且数据量正常，业务***已取，正常。
除了第五类外，其余四类都需要维护人员手动查看问题进行维护，问题修复后再重跑此监控程序继续监测可能存在的问题。
以上所述仅为本发明实施例，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均以包含在本发明专利的保护范围之内。
Claims (4)
1.一种BI数据接口的设计方法，其特征是包括如下步骤：
1)配置接口配置表；在整个BI接口表设计的过程中需要首先确定业务***需要哪些数据表，并将业务部门需要的数据表配置到接口配置表中；配置接口配置表可清晰数据传输的任务，明确业务***哪个项目需要哪些接口表，每个表添加时间，数据传输的任务开始时间和结束时间；
需要配置的内容包括业务***项目名称、表名称、表添加时间、任务开始时间、任务结束时间、表更新类型；
2)记录数据更新日志；为了检测接口配置表中的接口表数据是否更新完成，需要设计并创建一个数据更新日志表，用于记录每天每个BI接口表的更新时间以及数据量等；接口表数据更新完成后，向数据更新日志表中记录每个接口表的更新时间，更新的数据量等信息。数据更新日志表一方面可以监控每个接口表每天的更新时间，另一方面也可以监控接口表数据的质量；
数据更新日志表中包括的内容有日期，表名，更新时间，更新数据量，删除数据量，***数据量，总数据量；
3)监控所述接口表的数据质量；接口表的数据质量监控是建立在数据更新日志表的基础上的；从数据更新日志表中取出每天每个表的更新时间，并对每天的数据量进行监控，判断数据量是否处于正常区间；
4)业务***根据接口表的数据质量拉取数据并记录日志
业务***先读取接口数据质量监控表中的信息，并判断表是否可取。若
数据质量监控表显示某个接口表已经更新且数据量正常，即数据质量监控表显示接口表正常则可以拉取，若接口表数据并未更新或者虽然已经更新但数据量异常则不拉取。对于已经拉取的表则反写接口数据质量监控表，将业务部门是否已取更新为已经取，并记录读取的时间。这样可以很清晰地知道每天每个表是否更新，数据量是否异常，表是否异常，业务部门是否已取；
5)定时发送报告，形成报表展示；
为了清晰地了解BI***数据是否更新，是否异常，是否已经被业务***
取了数据，需要将每日的接口表的调度情况形成一个报告，每日反馈给维护人员，及时监控并掌握数据的动态情况；报告的内容包括日期，表名，是否更新，是否异常，业务部门是否读取，业务部门何时读取。
2.根据权利要求1所述的BI数据接口的设计方法，其特征是3)中判断当天的绝对数量是否正常，环比增长率是否处于－50％与+50％区间，同比(比7天前)增长率是否处于－50％与+50％之间，对异常的表进行邮件和短信预警，将预警信息发送给相关维护人员；最后对每个表给出一个总体是否异常的判断，形成接口数据质量监控表，包含的内容有日期，表名，是否更新，数据量是否正常，表是否异常。
3.根据权利要求1所述的BI数据接口的设计方法，其特征是具体步骤包括：
步骤1：确定前台***即业务***需要的数据表，即BI接口表，将BI接口表加入到接口配置表中；创建接口配置表，存储接口表的相关信息，包含如下字段：
(1)项目名称：PROJECT_NAME；
(2)接口表名称：TABLE_NAME；
(3)接口表添加时间：ADD_TIME，指何时将这个任务添加进配置表中；
(4)数据更新时间字段：DATE_TYPE，指时间存储类型；
(5)任务开始时间：START_TIME，指从何时开始提供接口；
(6)任务结束时间：END_TIME，指何时停止该接口任务；
(7)更新时间：LAST_UPDATE；
接口配置表配置完成后，后续步骤以接口配置表中的接口表信息为标准；
步骤2：创建接口更新日志表，记录BI接口表每天的更新信息；接口更新日志表中存放每天每个表的更新时间，更新的数据量；
创建接口更新日志表，存储BI接口表每天的更新信息，包含如下字段：
(1)日期：CAL_NUMBER；
(2)表名：TABLE_NAME；
(3)接口表更新时间：UPDATE_TIME；
(4)更新数据量：UPDATE_CNT；
(5)删除数据量：DELETE_CNT；
(6)***数据量：INSERT_CNT；
(7)当日总数据量：RECORDS_CNT；
(8)日志表更新时间：LAST_UPDATE；
BI接口表的更新信息可掌握每个表的更新情况，并监控其是否发生异常；
步骤3：对接口表的数据质量进行监控和预警；
为了保证提供给业务部门的数据的质量，BI部门需要对每个接口表的数据量进行监控。监控的内容包括该表是否更新，数据量是否正常；最终监控表的字段包含如下字段：
(1)日期：CAL_NUMBER；
(2)表名称：TABLE_NAME；
(3)数据更新时间：UPDATE_TIME；
(4)表数据量：RECORD_CNT；
(5)数据量环比：RATIO_D；
(6)数据量同比：RATIO_W；
(7)数据量是否异常：DATA_EXCEP_FLAG；
(8)整体是否异常：EXCEP_FLAG，指是否完成更新并且数据量正常；
(9)业务***是否已取：TRANSFER_FLAG，默认为0，即默认未取。
4.根据权利要求4所述的BI数据接口的设计方法，其特征是根据监控表的信息对数据质量进行监控预警，当表数据还未更新时则发预警邮件和短信给相关负责人，相关负责人要查看调度程序是否正常；若表已经更新但数据量为零则同时发送报警短信和邮件到相关负责人，负责人需立即找出原因并及时修复；当数据量不为零但数据量比前一天少了50％以上，则发生预警信息给相关负责人，由相关负责人手工确认是否正常；
步骤4：业务***在抽取数据前先判断接口表是否更新成功，若不成功不抽取，抽取成功的表进行日志记录；
业务***取数据的任务开始时先扫描监控表中的EXCEP_FLAG字段，当且仅当该字段为0时业务***才取对应表的数据，读取过某个表的数据后业务***改写监控表的TRANSFER_FLAG字段，这样便于识别那些数据已经取哪些未取；
步骤5：每天定时发送接口传输报告，形成监控报表，监控掌握表的动态情况，发现问题及时解决；
为了清晰地了解BI***数据是否更新，是否异常，是否已经被业务***取了数据，需要将每日的接口表的调度情况形成一个报告，每日反馈给维护人员，及时监控并掌握数据的动态情况；报告的内容包括日期，表名，是否更新，是否异常，业务部门是否读取，业务部门何时读取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610915556.2A CN106446271B (zh) | 2016-10-20 | 2016-10-20 | 一种bi数据接口设计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610915556.2A CN106446271B (zh) | 2016-10-20 | 2016-10-20 | 一种bi数据接口设计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106446271A true CN106446271A (zh) | 2017-02-22 |
| CN106446271B CN106446271B (zh) | 2019-08-27 |
Family
ID=58175505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610915556.2A Active CN106446271B (zh) | 2016-10-20 | 2016-10-20 | 一种bi数据接口设计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106446271B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107870981A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技（深圳）有限公司 | 电子装置、数据表归档处理的方法及存储介质 |
| CN110888789A (zh) * | 2019-11-21 | 2020-03-17 | 北京中电普华信息技术有限公司 | 一种数据传输接口监控方法及*** |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040225671A1 (en) * | 2003-05-08 | 2004-11-11 | I2 Technologies Us, Inc. | Data integration system with programmatic source and target interfaces |
| US7720861B1 (en) * | 2000-07-19 | 2010-05-18 | Vasudevan Software Inc. | Multimedia inspection database system (MIDaS) for dynamic run-time data evaluation |
| CN104299105A (zh) * | 2014-11-02 | 2015-01-21 | 中国科学院软件研究所 | 一种支持复杂企业环境的信用数据管理***及方法 |
| CN104391989A (zh) * | 2014-12-16 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种分布式etl一体机*** |
-
2016
- 2016-10-20 CN CN201610915556.2A patent/CN106446271B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7720861B1 (en) * | 2000-07-19 | 2010-05-18 | Vasudevan Software Inc. | Multimedia inspection database system (MIDaS) for dynamic run-time data evaluation |
| US20040225671A1 (en) * | 2003-05-08 | 2004-11-11 | I2 Technologies Us, Inc. | Data integration system with programmatic source and target interfaces |
| CN104299105A (zh) * | 2014-11-02 | 2015-01-21 | 中国科学院软件研究所 | 一种支持复杂企业环境的信用数据管理***及方法 |
| CN104391989A (zh) * | 2014-12-16 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种分布式etl一体机*** |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107870981A (zh) * | 2017-09-30 | 2018-04-03 | 平安科技（深圳）有限公司 | 电子装置、数据表归档处理的方法及存储介质 |
| WO2019062189A1 (zh) * | 2017-09-30 | 2019-04-04 | 平安科技（深圳）有限公司 | 电子装置、数据表归档处理的方法、***及存储介质 |
| CN107870981B (zh) * | 2017-09-30 | 2021-10-22 | 平安科技（深圳）有限公司 | 电子装置、数据表归档处理的方法及存储介质 |
| CN110888789A (zh) * | 2019-11-21 | 2020-03-17 | 北京中电普华信息技术有限公司 | 一种数据传输接口监控方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106446271B (zh) | 2019-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Harter et al. | Does software process improvement reduce the severity of defects? A longitudinal field study | |
| CN110419037A (zh) | 用于从票务***的知识数据库中检索推荐的方法 | |
| JP6607931B2 (ja) | パッケージングラインにおける品質のモニタリング | |
| DE112016006842T5 (de) | Aufzug-Fernwartungsunterstützungssystem und Aufzug-Fernwartungsunterstützungsverfahren | |
| CN106446271A (zh) | 一种bi数据接口设计方法 | |
| EP3038005A1 (en) | Alert transmission program, alert transmission method, and alert transmission apparatus | |
| Andrés et al. | Comparison of two methods to estimate adverse events in the IBEAS Study (Ibero-American study of adverse events): cross-sectional versus retrospective cohort design | |
| JP5396924B2 (ja) | 品質情報収集分析システム | |
| CN114124743A (zh) | 一种数据应用全链路检查规则执行方法及*** | |
| JP4404020B2 (ja) | 設備稼働管理方法 | |
| Boland et al. | Optimal times for software release when repair is imperfect | |
| CN114818995B (zh) | 一种无工作票违规作业的识别预警方法、装置及设备 | |
| CN110189063A (zh) | 案件质量预检*** | |
| CN116225915A (zh) | 基于业务巡检的私有云项目交付自动化测试方法和装置 | |
| US9183388B2 (en) | Injustice detecting system, injustice detecting device and injustice detecting method | |
| JP2007048025A (ja) | プラント運転支援装置およびプラント運転支援方法 | |
| JP6142881B2 (ja) | 不具合通知システム、不具合通知方法、不具合通知装置、不具合通知プログラム及び記録媒体 | |
| JP2017182407A (ja) | リスク検出装置およびリスク検出方法 | |
| Lindqvist | Competing risks | |
| Sneed et al. | Analyzing data on software evolution processes | |
| JP2010190687A (ja) | 管理装置および管理システム | |
| US20080098344A1 (en) | Software inspection management tool | |
| JP2006018735A (ja) | コーディング規準遵守状況監視システム | |
| Conte et al. | The impact of data quality on maintenance work order analysis: A case study in historical HVAC maintenance work orders | |
| Bianchi et al. | COTS products characterization: Proposal and empirical assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |