CN106446239A - 一种基于binlog的数据实时处理方法及*** - Google Patents

一种基于binlog的数据实时处理方法及*** Download PDF

Info

Publication number
CN106446239A
CN106446239A CN201610886243.9A CN201610886243A CN106446239A CN 106446239 A CN106446239 A CN 106446239A CN 201610886243 A CN201610886243 A CN 201610886243A CN 106446239 A CN106446239 A CN 106446239A
Authority
CN
China
Prior art keywords
data
binlog
real
mysql
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610886243.9A
Other languages
English (en)
Inventor
温宗臣
张翼
何良均
范卫卫
冯森林
李冰
曾攀
严亮
张书凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd filed Critical BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Priority to CN201610886243.9A priority Critical patent/CN106446239A/zh
Publication of CN106446239A publication Critical patent/CN106446239A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于binlog的数据实时处理方法，其彻底解决了数据分析与在线业务***以及mysql的耦合性问题，可扩展性以及可维护性较强，非常高效地实现了业务数据的实时同步以及相关处理和分析。该方法包括以下步骤：(1)开启mysql的binlog同步机制的行模式，启动mysql后，实时发送binlog数据；(2)收到binlog同步过来的新增删改数据之后，根据数据的操作类型，对数据做相应的业务处理；(3)把分析的结果存储到存储***中，通过数据可视化方法把数据展现出来。还有基于binlog的数据实时处理***。

Description

一种基于binlog的数据实时处理方法及***
技术领域
本发明涉及大数据处理的技术领域，尤其涉及一种基于binlog的数据实时处理方法，以及基于binlog的数据实时处理***。
背景技术
在互联网公司，大部分在线业务的数据都是基于mysqld存储的，为了及时掌握业务***的数据状态，往往需要对时刻变化的业务数据做实时处理和分析。
现有的技术方案如下：
1、在业务***处理业务逻辑时，把实时变化的数据的做相关运算，并把计算结果持久化存储。其缺陷是：通过业务***来实现数据分析，这样就把数据分析与业务处理完全耦合在一起了，数据分析与业务逻辑之间相互影响，任何引起数据分析升级的功能，都会对业务处理逻辑带来很大的冲击，业务***的稳定性问题非常难以保证。
2、通过对存储在mysql中的业务数据使用sql语言做实时分析，为了提升分析结果的实时性，可能需要每分钟甚至几秒钟执行一次。其缺陷是：它对mysql的性能影响非常大，sql语句执行的时间间隔越小，mysql的性能压力会越大，另外mysql在做数据分析的同时，还要应对来自业务***的读写请求，这样mysql会不堪重负，最终导致对业务***造成致使的影响，稳定性同样难以保证。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种基于binlog的数据实时处理方法，其彻底解决了数据分析与在线业务***以及mysql的耦合性问题，可扩展性以及可维护性较强，非常高效地实现了业务数据的实时同步以及相关处理和分析。
本发明的技术方案是：这种基于binlog的数据实时处理方法，该方法包括以下步骤：
(1)开启mysql的binlog同步机制的行模式，启动mysql后，实时发送binlog数据；
(2)收到binlog同步过来的新增删改数据之后，根据数据的操作类型，对数据做相应的业务处理；
(3)把分析的结果存储到存储***中，通过数据可视化方法把数据展现出来。
本发明基于mysql的binlog同步机制，从而彻底解决了数据分析与在线业务***以及mysql的耦合性问题，可扩展性以及可维护性较强，非常高效地实现了业务数据的实时同步以及相关处理和分析。
还提供了一种基于binlog的数据实时处理***，该***包括：
binlog同步模块，其配置来开启mysql的binlog同步机制的行模式，启动mysql后，实时发送binlog数据；
数据实时分析模块，其配置来收到binlog同步过来的新增删改数据之后，根据数据的操作类型，对数据做相应的业务处理；
存储展示模块，其配置来把分析的结果存储到存储***中，通过数据可视化方法把数据展现出来。
附图说明
图1所示为根据本发明的基于binlog的数据实时处理方法的流程图。
具体实施方式
如图1所示，这种基于binlog的数据实时处理方法，该方法包括以下步骤：
(1)开启mysql的binlog(二进制日志，记录对数据发生或潜在发生更改的SQL语句，并以二进制的形式保存在磁盘中)同步机制的行模式，启动mysql后，实时发送binlog数据；
(2)收到binlog同步过来的新增删改数据之后，根据数据的操作类型，对数据做相应的业务处理；
(3)把分析的结果存储到存储***中，通过数据可视化方法把数据展现出来。
本发明基于mysql的binlog同步机制，从而彻底解决了数据分析与在线业务***以及mysql的耦合性问题，可扩展性以及可维护性较强，非常高效地实现了业务数据的实时同步以及相关处理和分析。
另外，所述步骤(3)中，存储***为mysql。
另外，该方法对存储在mysql中的新增业务订单数据做统计分析。
另外，所述新增业务订单数据包括订单量、总流水和客单价。
另外，该方法用于业务数据变化量的实时监控。
另外，所述业务数据变化量包括更新总量、删除总量、和***总量。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种基于binlog的数据实时处理***，该***通常以与方法各步骤相对应的功能模块的形式表示。使用该方法的***，该***包括：
binlog同步模块，其配置来开启mysql的binlog同步机制的行模式，启动mysql后，实时发送binlog数据；
数据实时分析模块，其配置来收到binlog同步过来的新增删改数据之后，根据数据的操作类型，对数据做相应的业务处理；
存储展示模块，其配置来把分析的结果存储到存储***中，通过数据可视化方法把数据展现出来。
另外，所述存储***为mysql。
另外，该***对存储在mysql中的新增业务订单数据做统计分析。
另外，该***用于业务数据变化量的实时监控。
本发明的有益效果如下：
1.与现有业务***完全解耦；
2.数据实时性高；
3.对mysql性能的影响小。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (10)

1.一种基于binlog的数据实时处理方法，其特征在于：该方法包括以下步骤：
(1)开启mysql的binlog同步机制的行模式，启动mysql后，实时发送binlog数据；
(2)收到binlog同步过来的新增删改数据之后，根据数据的操作类型，对数据做相应的业务处理；
(3)把分析的结果存储到存储***中，通过数据可视化方法把数据展现出来。
2.根据权利要求1所述的基于binlog的数据实时处理方法，其特征在于：所述步骤(3)中，存储***为mysql。
3.根据权利要求2所述的基于binlog的数据实时处理方法，其特征在于：该方法对存储在mysql中的新增业务订单数据做统计分析。
4.根据权利要求3所述的基于binlog的数据实时处理方法，其特征在于：所述新增业务订单数据包括订单量、总流水和客单价。
5.根据权利要求2所述的基于binlog的数据实时处理方法，其特征在于：该方法用于业务数据变化量的实时监控。
6.根据权利要求5所述的基于binlog的数据实时处理方法，其特征在于：所述业务数据变化量包括更新总量、删除总量、和***总量。
7.一种基于binlog的数据实时处理***，其特征在于：该***包括：binlog同步模块，其配置来开启mysql的binlog同步机制的行模式，启动mysql后，实时发送binlog数据；
数据实时分析模块，其配置来收到binlog同步过来的新增删改数据之后，根据数据的操作类型，对数据做相应的业务处理；
存储展示模块，其配置来把分析的结果存储到存储***中，通过数据可视化方法把数据展现出来。
8.根据权利要求7所述的基于binlog的数据实时处理***，其特征在于：所述存储***为mysql。
9.根据权利要求8所述的基于binlog的数据实时处理***，其特征在于：该***对存储在mysql中的新增业务订单数据做统计分析。
10.根据权利要求8所述的基于binlog的数据实时处理***，其特征在于：该***用于业务数据变化量的实时监控。
CN201610886243.9A 2016-10-11 2016-10-11 一种基于binlog的数据实时处理方法及*** Pending CN106446239A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610886243.9A CN106446239A (zh) 2016-10-11 2016-10-11 一种基于binlog的数据实时处理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610886243.9A CN106446239A (zh) 2016-10-11 2016-10-11 一种基于binlog的数据实时处理方法及***

Publications (1)

Publication Number Publication Date
CN106446239A true CN106446239A (zh) 2017-02-22

Family

ID=58174821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610886243.9A Pending CN106446239A (zh) 2016-10-11 2016-10-11 一种基于binlog的数据实时处理方法及***

Country Status (1)

Country Link
CN (1) CN106446239A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345684A (zh) * 2018-03-06 2018-07-31 弘成科技发展有限公司 基于多维度多指标体系的智能分析***及分析方法
CN110691112A (zh) * 2018-07-06 2020-01-14 优信拍（北京）信息科技有限公司 一种数据同步方法，装置及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699712A (zh) * 2013-12-09 2015-06-10 阿里巴巴集团控股有限公司 对数据库中的库存记录信息进行更新的方法及装置
CN104951474A (zh) * 2014-03-31 2015-09-30 阿里巴巴集团控股有限公司 一种用于获取MySQL binlog增量日志的方法和装置
CN105447014A (zh) * 2014-08-15 2016-03-30 阿里巴巴集团控股有限公司 基于binlog的元数据管理方法和用于提供元数据的方法及装置
CN105512284A (zh) * 2015-12-07 2016-04-20 上海爱数信息技术股份有限公司 基于事务形态数据和binlog文件的MySQL数据保护方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699712A (zh) * 2013-12-09 2015-06-10 阿里巴巴集团控股有限公司 对数据库中的库存记录信息进行更新的方法及装置
CN104951474A (zh) * 2014-03-31 2015-09-30 阿里巴巴集团控股有限公司 一种用于获取MySQL binlog增量日志的方法和装置
CN105447014A (zh) * 2014-08-15 2016-03-30 阿里巴巴集团控股有限公司 基于binlog的元数据管理方法和用于提供元数据的方法及装置
CN105512284A (zh) * 2015-12-07 2016-04-20 上海爱数信息技术股份有限公司 基于事务形态数据和binlog文件的MySQL数据保护方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345684A (zh) * 2018-03-06 2018-07-31 弘成科技发展有限公司 基于多维度多指标体系的智能分析***及分析方法
CN110691112A (zh) * 2018-07-06 2020-01-14 优信拍（北京）信息科技有限公司 一种数据同步方法，装置及***

Similar Documents

Publication Publication Date Title
CN109670837A (zh) 债券违约风险的识别方法、装置、计算机设备和存储介质
US11250433B2 (en) Using semi-supervised label procreation to train a risk determination model
CN108460598A (zh) 一种基于双链架构区块链的实时自动化监管报告***
CN104317957A (zh) 一种报表处理的开放平台、***及报表处理方法
WO2023277819A3 (zh) 数据处理方法、***、设备、计算机程序产品及存储功能
CN106446239A (zh) 一种基于binlog的数据实时处理方法及***
CN112434884A (zh) 一种供应商分类画像的建立方法及装置
Mujtaba et al. Adaptive automated teller machines—part i
CN111274255B (zh) 业务数据监控方法及***、监控架构、设备、存储介质
CN117033205A (zh) 一种流量回放对比测试方法及装置
US20210312223A1 (en) Automated determination of textual overlap between classes for machine learning
CN110266610B (zh) 流量识别方法、装置、电子设备
CN111352940A (zh) 数据处理方法及其***
CN115115433B (zh) 订单数据处理方法、装置、计算机设备和存储介质
CN111563091B (zh) 非往返式的批量更新MongoDB的方法及***
CN109614463A (zh) 文本匹配处理方法及装置
US20230385056A1 (en) Removing inactive code to facilitate code generation
CN113177784B (zh) 地址类型识别方法及装置
US11941593B2 (en) Blockchain payment notification system
CN116664295A (zh) 交易数据的处理方法、装置、设备、存储介质和程序产品
CN113377679A (zh) 代码确定方法、装置、电子设备和存储介质
CN116883145A (zh) 贷款资金汇聚链路的生成方法、装置及电子设备
CN116886817A (zh) 业务操作提醒方法、装置、设备、介质和产品
CN115454875A (zh) 一种银行业务***的软件测试分析方法、***及介质
CN114879947A (zh) 一种字段配置方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222