CN111782620B - 一种信用链路自动跟踪平台及其方法 - Google Patents
一种信用链路自动跟踪平台及其方法 Download PDFInfo
- Publication number
- CN111782620B CN111782620B CN202010562675.0A CN202010562675A CN111782620B CN 111782620 B CN111782620 B CN 111782620B CN 202010562675 A CN202010562675 A CN 202010562675A CN 111782620 B CN111782620 B CN 111782620B
- Authority
- CN
- China
- Prior art keywords
- data
- log
- information
- algorithm
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 57
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims abstract description 15
- 238000003860 storage Methods 0.000 claims abstract description 14
- 230000009471 action Effects 0.000 claims abstract description 4
- 230000008859 change Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 28
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000000926 separation method Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 9
- 229920001971 elastomer Polymers 0.000 claims description 8
- 239000000806 elastomer Substances 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 6
- 239000000872 buffer Substances 0.000 claims description 6
- 239000008358 core component Substances 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 6
- 238000012550 audit Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000005553 drilling Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 238000013475 authorization Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 claims description 2
- 239000003795 chemical substances by application Substances 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000013500 data storage Methods 0.000 claims description 2
- 238000013079 data visualisation Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000006467 substitution reaction Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
- G06F16/2315—Optimistic concurrency control
- G06F16/2322—Optimistic concurrency control using timestamps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/389—Keeping log of transactions for guaranteeing non-repudiation of a transaction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
Abstract
一种信用链路自动跟踪平台及其方法,其中平台包括客户端、日志接入层、日志中心、日志处理层、日志存储层,日志信息包括登录用户信息、用户操作日志信息(增/删/改/登录)、时间信息、***日志和数据库Bin log日志,把用户整个操作动作和操作范围收集上来,通过计算模型在分布式环境中计算处理这些完整信息,平台能够完整描绘整个用户的活动轨迹;链路体系下,以用户为搜索单元,按照一定的时间范围,通过搜索引擎和索引,快速高效地搜索出该用户在平台上所有使用的信息数据,再通过平台轨迹定点算法和工具能完整描绘用户在平台上这一时期的信用链路轨迹。
Description
技术领域
本发明涉及信用链路。尤其是一种信用链路自动跟踪平台及其方法
背景技术
在医美行业,对资金交易比较敏感,只在单一入金通道上完成支付交易,无法***性地收集业务日志和***日志,无法分析这些日志汇总成资金信用链路体系。而该信用链路自动跟踪技术解决了该信息收集和分析汇总的技术问题,为建立资金信用链路体系提供了技术基础。
通过在服务应用部署采集器的方式,解决了***和业务日志的收集问题,通过数据管道解决了日志数据持久化和通信的问题,通过对数据分类、过滤、降噪和重载等方式完成了数据的加工和加载,形成了有价值的日志数据,***对这些有价值数据点进行自动链接和加工,最后汇成了完整地信用链路体系和用户画像。
发明内容
本发明为了克服现有技术方案的不足,聚焦在医美行业,通过平台采集到的业务日志和***日志,平台会自动记录和加工这些信息,自动提取用户操作日志,生成用户信用链路体系。提供了一种信用链路自动跟踪平台及其方法
为了实现上述目的,本发明的技术方案为:一种信用链路自动跟踪平台,包括客户端、日志接入层、日志中心、日志处理层、日志存储层,
启动日志收集引擎,平台正常工作,日志接入层的采集器自动收集需要日志信息,每台服务器主机上均设置采集器和过滤器,采集器与平台关联采集信息,过滤器按照一定的正则表达式来过滤掉不需要的信息,形成必要日志;
客户端在日志中心中通过客户端埋点服务在数据管道上添加埋点日志(行为日志);
收集上来的必要日志与埋点日志关联,并通过日志中心的数据管道存储,日志中心设置相应的数据分类和任务定时器,经过挑拣服务后,日志处理层进行再次过滤、清洗和重新装载,对采集上来的信息进一步进行必要的除重、按照规范性的格式化要求和分类,生成相应标准分类数据;
标准分类数据包括轨迹数据,日志存储层的ElasticSearch收集标准分类数据用于平台的搜索和过滤服务,标准分类数据都存储到数据仓库中,用于数据的统计、分析、挖掘等,对日志存储层的数据仓库中历史数据进行多维度的数据智能分析和数据钻取操作,抽离出有价值的数据,实时给监控***处理;
日志信息包括登录用户信息、用户操作日志信息(增/删/改/登录)、时间信息、***日志和数据库Binlog日志,把用户整个操作动作和操作范围收集上来,通过计算模型在分布式环境中计算处理这些完整信息,平台能够完整描绘整个用户的活动轨迹,活动轨迹是指该用户在一定时期内在平台上所有操作节点及操作详情按照时间和操作顺序逐一展示连接的活动内容,表现形式有折曲线等,从而建立用户的信用链路体系;
链路体系下,以用户为搜索单元,按照一定的时间范围,通过搜索引擎和索引,快速高效地搜索出该用户在平台上所有使用的信息数据,再通过平台轨迹定点算法和工具能完整描绘用户在平台上这一时期的信用链路轨迹,且可以在APP和PC上加以动态展示;
提取用户在某一时间段内完整信息数据,自动生成用户在平台上访问轨迹或用户画像;或者通过查询一笔订单,平台能完整描绘这一笔订单所涉资金的完整交易路径和活动轨迹。
一种信用链路自动跟踪方法,包括如下步骤:
S1.机构用户登录到平台上的APP;
S1.1.采集器开始收集用户信息;
S2.通过路由向鉴权认证中心去申请用户的鉴权认证请求;
S2.1.采集器采集用户鉴权认证信息;
S2.2.将采集的用户鉴权认证信息写入到缓存服务中;
S3.完成客户端收单后,在平台上进行分账操作;
S3.1.申请分账操作、分账审核、账期到可以提现操作;
S3.2.采集器记录所有资金出和入的流水信息;
S3.3.返回交易完成,交易回调完成;
S3.4.返回分账结果状态码;
S4.分通过审核模板完成分账审核;
S4.1.定时读取分账和审核结果,把分账和审核结果放在缓存中,定时任务读取数据。
S4.2.定时返回缓存结果;
S4.3.记录分账和审核操作日志;
S5.订单状态变更信息,包括分账、审核、账期的结果,订单状态做实时变更;
S5.1.返回结果,通过状态码返回是否正常;
S6.返回分账和审核结果;
S7.加工后信息进行加工处理、存储。
有益效果:
(1)本发明提取用户在某一时间段内完整信息数据,自动生成用户在平台上访问轨迹或用户画像,也可以通过查询一笔订单,平台能完整描绘这一笔订单所涉资金的完整交易路径和活动轨迹,帮助机构医院管理分析资金流向、控制资金风险;
(2)能完整描绘用户在平台上这一时期的信用链路轨迹,且可以在APP和PC上加以动态展示;
(3)对采集上来的信息进一步进行必要的除重、按照规范性的格式化要求和分类;
(4)提取用户在某一时间段内完整信息数据,自动生成用户在平台上访问轨迹或用户画像,也可以通过查询一笔订单,平台能完整描绘这一笔订单所涉资金的完整交易路径和活动轨迹,帮助机构医院管理分析资金流向、控制资金风险等;
(5)数据库日志文件实时同步机制,让关键数据能得到及时保存和必要时的重放,保障了关键数据的容灾性和可恢复性;
(6)提取有效价值数据;
(7)通过混合加密模式确保信用数据共享交换过程中数据传输的安全性;
(8)负载均衡器按照策略分配到服务节点,保负载均衡器能真实准确地获取服务节点的实时处理能力,避免实时参数过程对***的性能造成影响;
附图说明
图1为本发明的信用链路自动跟踪平台结构图;
图2为本发明的信用链路自动跟踪方法流程图;
具体实施方式
下面结合附图与实施例对本发明作进一步的说明。
一种信用链路自动跟踪平台,包括客户端、日志接入层、日志中心、日志处理层、日志存储层,
启动日志收集引擎,平台正常工作,日志接入层的采集器自动收集需要日志信息,每台服务器主机上均设置采集器和过滤器,采集器与平台关联采集信息,过滤器按照一定的正则表达式来过滤掉不需要的信息,形成必要日志;
客户端在日志中心中通过客户端埋点服务在数据管道上添加埋点日志(行为日志);
收集上来的必要日志与埋点日志关联,并通过日志中心的数据管道存储,日志中心设置相应的数据分类和任务定时器,经过挑拣服务后,日志处理层进行再次过滤、清洗和重新装载,对采集上来的信息进一步进行必要的除重、按照规范性的格式化要求和分类,生成相应标准分类数据;
标准分类数据包括轨迹数据,日志存储层的ElasticSearch收集标准分类数据用于平台的搜索和过滤服务,标准分类数据都存储到数据仓库中,用于数据的统计、分析、挖掘等,对日志存储层的数据仓库中历史数据进行多维度的数据智能分析和数据钻取操作,抽离出有价值的数据,实时给监控***处理;
日志信息包括登录用户信息、用户操作日志信息(增/删/改/登录)、时间信息、***日志和数据库Binlog日志,把用户整个操作动作和操作范围收集上来,通过计算模型在分布式环境中计算处理这些完整信息,平台能够完整描绘整个用户的活动轨迹,活动轨迹是指该用户在一定时期内在平台上所有操作节点及操作详情按照时间和操作顺序逐一展示连接的活动内容,表现形式有折曲线等,从而建立用户的信用链路体系;
链路体系下,以用户为搜索单元,按照一定的时间范围,通过搜索引擎和索引,快速高效地搜索出该用户在平台上所有使用的信息数据,再通过平台轨迹定点算法和工具能完整描绘用户在平台上这一时期的信用链路轨迹,且可以在APP和PC上加以动态展示;
提取用户在某一时间段内完整信息数据,自动生成用户在平台上访问轨迹或用户画像;或者通过查询一笔订单,平台能完整描绘这一笔订单所涉资金的完整交易路径和活动轨迹。
其中,客户端包括POS机器;
其中,平台轨迹定点算法包括ItemCF算法和轨迹算法,
其中,ItemCF算法是基于模块协同的过滤算法,通过分析用户的行为记录来计算用户的相似度,计算模块之间的相似度;根据模块的相似度和用户的历史行为记录给用户生成推荐列表。
信用链路体系能够帮助机构医院管理分析资金流向、控制资金风险等;数据库日志文件实时同步,让关键数据能得到及时保存和必要时的重放,保障了关键数据的容灾性和可恢复性。
其中,轨迹算法包括定位服务、聚类算法和空间拓扑,输入关键字,根据相应算法计算出关键特征向量值和关键路径信息,并描绘出完整的信息链路和路径;
其中,定位服务应用于手机上定位服务LBS分为Andriod和IOS两种定位服务:
其中,Andriod定位服务,包括LocationManager和Geocoder,分别用于实现定位服务和地理编码服务,LocationManager是位置服务的核心组件,用于来处理与位置相关的问题,包括查询上一个已知位置、定期更新设备的地理位置以及当设备进入给定地理位置附近时触发应用指定意图,
LocationManager实现步骤如下:
S1.获取LocationManager,获取***定位服务;
S2.使用LocationProvider:它是位置信息提供者,***一般提供三种方式获取地理位置信息:
(1)GPS_PROVIDER:通过GPS来获取地理位置的经纬度信息;
(2)NETWORK_PROVIDER:通过移动网络的基站或者Wi-Fi来获取地理位置;
(3)PASSIVE_PROVIDER:被动接收更新地理位置信息;
S3.声明权限,ACCESS_FINE_LOCATION是精确位置;
S4.注册一个位置***来接受结果;
S5.获取位置信息,调用监听方法。
Geocoder用于处理地理编码和反地理编码,地理编码是将街道地址或其他地理位置变换为经纬度的过程。逆向地理编码是将经纬度转换为地址的过程。
其中,IOS定位服务,实现的流程如下:
S1.授权的申请与设置;
S2.定位服务相关方法,IOS的定位服务在CoreLocation.framework框架内,要引入这个框架;
S3.定位服务代理的相关方法,locationManager,位置更新后调用的方法,数组中是所有定位到的位置信息,最后一个是最新的;
S4.定位服务获取到的位置对象:定位后返回的数组中存放的都是CLLocation对象;
其中,聚类算法将数据空间划分成为有限个单元的网格结构,所有的处理都是以单个的单元为对象的,处理速度与目标数据库中记录的个数无关的,只与数据空间被分为多少个单元有关,聚类算法为STING算法、CLIQUE算法或者WAVE-CLUSTER算法;
其中,STING算法基于网格的多分辨率的聚类算法,将输入对象的空间区域划分成矩形单元,空间可以用分层和递归方法进行划分;
CLIQUE算法是简单的基于网格的聚类方法,把每个维划分成不重叠的区间,从而把数据对象的整个嵌入空间划分成单元;
WAVE-CLUSTER算法把多维数据看作多维信号来处理,首先将数据空间划分成网格结构,然后通过小波变换将数据空间变换成频域空间,在频域空间通过与一个核函数作卷积后,数据的自然聚类属性就显现出来。
其中,空间拓扑通过一系列基于一个或者多个几何图形中点间的逻辑比较,然后返回另外一些几何图形,整个过程是空间几何图形的拓扑运算;通过相应的空间拓扑运算,预测未来几何图形的轨迹变动,空间几何图形的拓扑运算包括裁切(Clip)、凸多边形(Convexhull)、切割(Cut)、差分(Difference)、交集(Intersect)、对称差分(又称为异或,Symmetricdifference)和并集(Union)等,这些拓扑运算在ITopologicalOperator接口中定义,在GeometryBag、Multipoint、Point、Polygon、Polyline类中实现。
其中,日志接入层的采集器部署有Filebeat,Logstash/Logtail,Canal,实现日志信息的自动实时同步和存储,Filebeat嵌入到各个业务***服务器上,通过过滤,采集各个服务器上业务数据,Logstash将通过数据收集引擎和数据管道将日志信息存储到数据搜索引擎ElasticSearch,Canal将Mysql中Binlog通过模拟Slave模式来复制这些Binlog日志信息,同步到ElasticSearch中。
其中,Filebeat是轻量级日志收集器,是Beats的一种,收集日志文件数据,当启动Filebeat时,将启动一个或多个输入源用来监控事先指定的日志文件位置,对于Filebeat定位到的每个日志文件,Filebeat将为其启动一个收集器(harvester),每个收集器实时读取日志文件的增量数据,并将增量数据发送到Libbeat,Libbeat把所有的增量数据聚合起来,然后将这些数据统一发送到预先配置好的输出源;
Logstash是数据收集引擎,具备实时管道处理能力,Logstash作为数据源与数据存储分析工具之间的桥梁,结合ElasticSearch以及Kibana,能够极大方便数据的处理与分析;
Logtail是日志服务的生产者,提供日志收集服务;
Canal是开源项目,纯Java开发,基于数据库增量日志解析,提供增量数据订阅和消费,目前主要支持了Mysql;
1.Canal模拟MysqlSlave的交互协议,伪装自己为MysqlSlave,向MysqlMaster发送Dump协议;
2.MysqlMaster收到Dump请求,开始推送Binarylog给Slave(也就是Canal);
3.Canal解析Binarylog对象(原始为byte流)
其中,数据管道部署有Kafka/Rocketmq和Syslog,
Kafka用于日志收集,Kafka收集各种服务的log,通过kafka以统一接口服务的方式开放给各种消费者来消费;Kafka是一个分布式、支持分区的(Partition)、多副本的(Replica),基于Zookeeper协调的分布式消息***,它的最大的特性就是可实时的处理大量数据以满足各种需求场景;
RocketMQ监听支付通道端口状态,通过消息完成消息通知、状态更新、发送和接收本地事务消息;RocketMQ是AMQ消息中间件产品,是一款分布式、队列模型的消息中间件,能处理异步分布式事务的处理和消息处理等;
Linux/CentOS操作***上的程序自身都可以产生日志信息并将其记录到指定位置,Syslog负责统一记录各程序产生的日志信息;
Syslog有两个进程:
1.Syslogd:专门负责记录非内核的其它设施产生的日志,负责统一记录各程序产生的日志信息。
2.Klogd:专门负责记录内核产生的日志。
其中,原始数据会从多个来源(包括日志、***指标和网络应用程序)输入到ElasticSearch中。数据采集指在ElasticSearch中进行索引之前解析、标准化并充实这些原始数据的过程,这些数据在ElasticSearch中索引完成之后,用户便可针对他们的数据运行复杂的查询,并使用聚合来检索自身数据的复杂汇总;在Kibana中,用户可以基于自己的数据创建强大的可视化,分享仪表板;
ElasticSearch搜索引擎是分布式的开源搜索和分析引擎,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据,ElasticSearch具有以其简单的REST风格API、分布式特性、速度和可扩展性而闻名,ElasticSearch的核心组件是ElasticStack;ElasticStack是适用于数据采集、充实、存储、分析和可视化的一组开源工具。
Kibana是为Elasticsearch设计的开源分析和可视化平台,使用Kibana来搜索,查看存储在ElasticSearch索引中的数据并与之交互,实现高级的数据分析和可视化,以图标的形式展现出来。
Kibana的使用场景:
1.实时监控:产生时间序列数据来达到监控报警。
2.问题分析:通过下钻数据排查问题,通过分析根本原因来解决问题。
其中,日志处理层部署有Storm、Spark,在收集完***日志和业务日志后,平台通过计算工具模型Storm来流式实时计算用户链路数据,提取有效价值数据,做分析决策参考,同时在用户数和数据量越来越庞大的情况下,采用基于更快计算内存计算模型Spark来实时分布式计算、汇总和分析;Storm是开源的分布式实时大数据处理框架,为实时版Hadoop;Storm为实时计算提供简单高效的原语,Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架,让开发更加便利和高效;Storm适用场景广泛、可伸缩性高、保证无数据丢失、异常健壮、容错性好、与语言无关;Spark是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序;Spark运行速度快、容易使用、通用性、运行模式多样。
一种信用链路自动跟踪方法,包括如下步骤:
S1.机构用户登录到平台上的APP;
S1.1.采集器开始收集用户信息;
S2.通过路由向鉴权认证中心去申请用户的鉴权认证请求;
S2.1.采集器采集用户鉴权认证信息;
S2.2.将采集的用户鉴权认证信息写入到缓存服务中;
S3.完成客户端收单后,在平台上进行分账操作;
S3.1.申请分账操作、分账审核、账期到可以提现操作;
S3.2.采集器记录所有资金出和入的流水信息;
S3.3.返回交易完成,交易回调完成;
S3.4.返回分账结果状态码;
S4.分通过审核模板完成分账审核;
S4.1.定时读取分账和审核结果,把分账和审核结果放在缓存中,定时任务读取数据。
S4.2.定时返回缓存结果;
S4.3.记录分账和审核操作日志;
S5.订单状态变更信息,包括分账、审核、账期的结果,订单状态做实时变更;
S5.1.返回结果,通过状态码返回是否正常;
S6.返回分账和审核结果;
S7.加工后信息进行加工处理、存储。
公钥/秘钥对算法引入两种经典的加密算法,即迭代分组加密算法以及非对称加密算法,综合二者优势,实现基于上述两种加密算法的混合加密模式的信用数据交换传输,以确保信用数据共享交换过程中数据传输的安全性。
其中,公钥/秘钥对算法具体为:
S1:利用迭代分组加密算法对待传输的信息明文P进行数据加密,形成密文;
S2:利用非对称加密算法生成一对秘钥,发送者利用非对称加密算法生成的公钥对迭代分组加密算法的秘钥进行加密,并将通过非对称加密算法加密的迭代分组加密算法的秘钥以及迭代分组加密算法加密的密文发送给接收方;
S3:接收方利用非对称加密算法生成的私钥对被非对称加密算法加密的迭代分组加密算法的秘钥进行解密,再利用迭代分组加密算法的秘钥对密文进行解密形成明文,从而达到安全传输的目的。
其中,所述的迭代分组加密算法具体如下:
迭代分组加密算法在处理64位信息明文分组的同时产生64位密文。在迭代分组加密算法中,有八位用作校验位,分别是第8、16、24、32、40、48、56、64位,而用于加密的秘钥有效位数为56位。
在64位明文数据输入直到64位密文输出,迭代分组加密算法共执行了16轮加密,在每一轮加密过程中,都会有48位秘钥Ki和8个替代映射箱Si参与其中,将输入的64位明文数据进行拆分,变为两个相同并且独立的32位明文,记作L0和R0,进行每一轮算法都相同的轮加密,利用上一轮32位的Li-1与Ri-1作为输入参数,输出32位的参数为Li和Ri,其中i的取值范围为1≤i≤16。
其中,每一轮的加密计算方法具体步骤为:
S1.输入64位数据;
S2.初始置换IP;
S3.加密,Li=Ri-1,
S4.最终置换IP-1。
其中,f(Ri-1,Ki)表示映射箱算法,Ki表示第i轮的密钥,表示异或运算,E()和P()分别表示扩展函数和映射函数,E()和P()对Ri-1和进行位数扩展映射,将32位扩展至48位。对于迭代分组加密算法,初始置换IP和最终置换IP-1都是有相应规则进行位置置换排列;
其中,映射箱算法f(Ri-1,Ki)具体实现如下:
S1.将Ri-1=r1r2r3.......r32从32位扩展至48位,Ri-1表示明文经过i-1轮加密后的密文,ri表示第i位的字符;
S2.对Ri-1进行扩展,T1表示8个6位的字符串Bi,T1=B1B2......B8;
S3.(S1(B1),S2(B2),...,S8(B8))→T2,其中,Si(Bi)将Bi=b1b2......b6,映射为映射箱Si的r行c列的4位,其中,r=2b1+b6,b2b3b4b5为0≤c≤15的二进制表示,bi为字符串Bi的第i位的字符;
S4.通过置换函数P()对T2进行置换,记为P(T2)→T3,通过直接换位,将32位的T2=t1t2......t32置换为T2=t16t7......t25。
其中,迭代分组加密算法的秘钥Ki是由48位密码长度组成,16轮迭代每次迭代都需要不同的秘钥Ki进行加密,秘钥Ki生成过程如下:
S1.去除8个秘钥奇偶校验位,将64位初始秘钥K0降至56位,根据秘钥置换选择将56位秘钥分成两块,分别为28位C0和28位D0;
S2.根据轮次将C0和D0循环左移,变换后生成C1和D1,然后将C1和D1合并,再通过秘钥置换选择生成48位秘钥K1;
S3.C1和D1再次进行循环左移变换,生成C2和D2,并将C1和D1合并,通过选择置换生成48位秘钥K2;
S4.步骤S3重复9次,得到48位秘钥Ki,3≤i≤16。
其中,循环左移的位数是由迭代轮数决定的,第1、2、9、16次是左移一位,其余轮次都是左移两位。
其中,所述的非对称加密算法步骤如下:
S1.选取两个大素数p和q,并且要求p≠q,计算,则n=p×q;
S2.选取素数e,并且要求e满足和最大公约数
S3.计算mod表示求余函数;
S4.公布秘钥,将Kpublic=(e,n)用做公钥参数,Kprivate=(d,n)用作私钥参数;
S5.利用C=pemodn公式对明文进行加密,p=Cdmodn公式对密文进行解密;其中,素数p和q的二进制位数大于1024,素数p和q的十进制数值满足1000<|p-q|<10000,
其中,负载均衡器把请求任务按照某种策略分配到服务节点,为了确保负载均衡器能真实准确地获取服务节点的实时处理能力,需要对影响服务节点的处理能力因素进行分析。由于负载均衡模块对服务节点进行参数的采集时,如果参数过多会对负载均衡节点和服务节点造成一定的资源损耗。为了避免采集服务节点的实时参数过程对***的性能造成影响,决定以影响服务器节点的两个主要核心因素作为实时负载能力的指标,分别是处理器利用率和内存空闲率。
包括如下步骤:
S1.负载均衡器和服务节点的通信方式的实现采用Socket接口进行通信,为降低通信带来的资源损耗问题,采用对资源要求较少的UDP作为传输协议;
S2.负载均衡器周期性向服务节点发送采集请求,计算得出服务节点的处理器利用率和内存空闲率;
处理器分为三种运行状态,分别是空闲态,用户态和***内核态,用T1表示空闲态的运行时间,T2表示用户态的运行时间,T3表示内核态的运行时间,则处理器利用率Ci计算公式如下:
通过***文件可查出当前服务节点的总内存total大小,缓冲区buffers大小,缓存区cached大小,空闲内存free大小,内存空闲率Mi计算如公式如下:
S3.进行服务节点权重的计算,
对于多个服务节点Ni,用集合Node={N1,N2,...,Ni,...,Nn}表示,对于服务节点Ni的处理器利用率用Ci表示,内存空闲率用Mi表示,权重用Wi表示,服务节点Ni的权重表达函数Fi如下:Fi=λ1(1-Ci)+λ2Mi;
其中λ1+λ2=1,λ1和λ2表示处理器和内存的影响因子,Ci和Mi的值都处于区间[0,1]范围内,当1-Ci和Mi都为0时,Fi为0,表示服务节点处于不可用状态,将不会对其进行任务的分配,当满足负载权重差值时,Wi=Fi;
其中,优选λ1=0.6,λ2=0.4;
S4.新权重值与旧值进行边界条件分析,在边界值P设定下,对于服务节点权重Wi的更新,需满足下式:
其中,0<P<1,
当满足边界条件时,则调用setsockopt函数将新的权重写入负载均衡器的负载配置表,并重新分配负载任务,否则按照之前的负载均衡对任务进行转发分配。
以上所述实施方式仅表达了本发明的一种实施方式,但并不能因此而理解为对本发明范围的限制。应当指出,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (5)
1.一种信用链路自动跟踪平台的信用链路自动跟踪方法,所述信用链路自动跟踪平台,包括客户端、日志接入层、日志中心、日志处理层、日志存储层,
启动日志收集引擎,平台正常工作,日志接入层的采集器自动收集需要日志信息,每台服务器主机上均设置采集器和过滤器,采集器与平台关联采集信息,过滤器按照一定的正则表达式来过滤掉不需要的信息,形成必要日志;
客户端在日志中心中通过客户端埋点服务在数据管道上添加埋点日志;
收集上来的必要日志与埋点日志关联,并通过日志中心的数据管道存储,日志中心设置相应的数据分类和任务定时器,经过挑拣服务后,日志处理层进行再次过滤、清洗和重新装载,对采集上来的信息进一步进行必要的除重、按照规范性的格式化要求和分类,生成相应标准分类数据;
标准分类数据包括轨迹数据,日志存储层的ElasticSearch收集标准分类数据用于平台的搜索和过滤服务,标准分类数据都存储到数据仓库中,用于数据的统计、分析、挖掘,对日志存储层的数据仓库中历史数据进行多维度的数据智能分析和数据钻取操作,抽离出有价值的数据,实时给监控***处理;
日志信息包括登录用户信息、用户操作日志信息、时间信息、***日志和数据库Binlog日志,把用户整个操作动作和操作范围收集上来,通过计算模型在分布式环境中计算处理这些完整信息,平台能够完整描绘整个用户的活动轨迹,活动轨迹是指该用户在一定时期内在平台上所有操作节点及操作详情按照时间和操作顺序逐一展示连接的活动内容,表现形式有折曲线,从而建立用户的信用链路体系;
链路体系下,以用户为搜索单元,按照一定的时间范围,通过搜索引擎和索引,快速高效地搜索出该用户在平台上所有使用的信息数据,再通过平台轨迹定点算法和工具能完整描绘用户在平台上这一时期的信用链路轨迹,且在APP和PC上加以动态展示;
提取用户在某一时间段内完整信息数据,自动生成用户在平台上访问轨迹或用户画像;或者通过查询一笔订单,平台能完整描绘这一笔订单所涉资金的完整交易路径和活动轨迹;
客户端包括POS机器;平台轨迹定点算法包括ItemCF算法和轨迹算法,
其中,ItemCF算法是基于模块协同的过滤算法,通过分析用户的行为记录来计算用户的相似度,计算模块之间的相似度;根据模块的相似度和用户的历史行为记录给用户生成推荐列表;
信用链路体系能够帮助机构医院管理分析资金流向、控制资金风险;数据库日志文件实时同步,让关键数据能得到及时保存和必要时的重放,保障了关键数据的容灾性和可恢复性;
其中,轨迹算法包括定位服务、聚类算法和空间拓扑,输入关键字,根据相应算法计算出关键特征向量值和关键路径信息,并描绘出完整的信息链路和路径;
其中,定位服务应用于手机上定位服务LBS分为Andriod和IOS两种定位服务:
其中,Andriod定位服务,包括LocationManager和Geocoder,分别用于实现定位服务和地理编码服务,LocationManager是位置服务的核心组件,用于来处理与位置相关的问题,包括查询上一个已知位置、定期更新设备的地理位置以及当设备进入给定地理位置附近时触发应用指定意图,
LocationManager实现步骤如下:
S1.获取LocationManager,获取***定位服务;
S2.使用LocationProvider:它是位置信息提供者,***一般提供三种方式获取地理位置信息:
(1)GPS_PROVIDER:通过GPS来获取地理位置的经纬度信息;
(2)NETWORK_PROVIDER:通过移动网络的基站或者Wi-Fi来获取地理位置;
(3)PASSIVE_PROVIDER:被动接收更新地理位置信息;
S3.声明权限,ACCESS_FINE_LOCATION是精确位置;
S4.注册一个位置***来接受结果;
S5.获取位置信息,调用监听方法;
Geocoder用于处理地理编码和反地理编码,地理编码是将街道地址或其他地理位置变换为经纬度的过程;逆向地理编码是将经纬度转换为地址的过程;
其中,IOS定位服务,实现的流程如下:
S1.授权的申请与设置;
S2.定位服务相关方法,IOS的定位服务在CoreLocation.framework框架内,要引入这个框架;
S3.定位服务代理的相关方法,locationManager,位置更新后调用的方法,数组中是所有定位到的位置信息,最后一个是最新的;
S4.定位服务获取到的位置对象:定位后返回的数组中存放的都是CLLocation对象;
其中,聚类算法将数据空间划分成为有限个单元的网格结构,所有的处理都是以单个的单元为对象的,处理速度与目标数据库中记录的个数无关的,只与数据空间被分为多少个单元有关,聚类算法为STING算法、CLIQUE算法或者WAVE-CLUSTER算法;
其中,STING算法基于网格的多分辨率的聚类算法,将输入对象的空间区域划分成矩形单元,空间可以用分层和递归方法进行划分;
CLIQUE算法是简单的基于网格的聚类方法,把每个维划分成不重叠的区间,从而把数据对象的整个嵌入空间划分成单元;
WAVE-CLUSTER算法把多维数据看作多维信号来处理,首先将数据空间划分成网格结构,然后通过小波变换将数据空间变换成频域空间,在频域空间通过与一个核函数作卷积后,数据的自然聚类属性就显现出来;
其中,空间拓扑通过一系列基于一个或者多个几何图形中点间的逻辑比较,然后返回另外一些几何图形,整个过程是空间几何图形的拓扑运算;通过相应的空间拓扑运算,预测未来几何图形的轨迹变动,空间几何图形的拓扑运算包括裁切、凸多边形、切割、差分、交集、对称差分和并集,这些拓扑运算在ITopologicalOperator接口中定义,在GeometryBag、Multipoint、Point、Polygon、Polyline类中实现;
所述信用链路自动跟踪方法包括如下步骤:
S1.机构用户登录到平台上的APP;
S1.1.采集器开始收集用户信息;
S2.通过路由向鉴权认证中心去申请用户的鉴权认证请求;
S2.1.采集器采集用户鉴权认证信息;
S2.2.将采集的用户鉴权认证信息写入到缓存服务中;
S3.完成客户端收单后,在平台上进行分账操作;
S3.1.申请分账操作、分账审核、账期可以提现操作;
S3.2.采集器记录所有资金出和入的流水信息;
S3.3.返回交易完成,交易回调完成;
S3.4.返回分账结果状态码;
S4.分通过审核模板完成分账审核;
S4.1.定时读取分账和审核结果,把分账和审核结果放在缓存中,定时任务读取数据;
S4.2.定时返回缓存结果;
S4.3.记录分账和审核操作日志;
S5.订单状态变更信息,包括分账、审核、账期的结果,订单状态做实时变更;
S5.1.返回结果,通过状态码返回是否正常;
S6.返回分账和审核结果;
S7.加工后信息进行加工处理、存储;
公钥/秘钥对算法引入两种经典的加密算法,即迭代分组加密算法以及非对称加密算法,综合二者优势,实现基于上述两种加密算法的混合加密模式的信用数据交换传输,以确保信用数据共享交换过程中数据传输的安全性;
其中,公钥/秘钥对算法具体为:
S1:利用迭代分组加密算法对待传输的信息明文P进行数据加密,形成密文;
S2:利用非对称加密算法生成一对秘钥,发送者利用非对称加密算法生成的公钥对迭代分组加密算法的秘钥进行加密,并将通过非对称加密算法加密的迭代分组加密算法的秘钥以及迭代分组加密算法加密的密文发送给接收方;
S3:接收方利用非对称加密算法生成的私钥对被非对称加密算法加密的迭代分组加密算法的秘钥进行解密,再利用迭代分组加密算法的秘钥对密文进行解密形成明文,从而达到安全传输的目的;
其中,所述的迭代分组加密算法具体如下:
迭代分组加密算法在处理64位信息明文分组的同时产生64位密文;在迭代分组加密算法中,有八位用作校验位,分别是第8、16、24、32、40、48、56、64位,而用于加密的秘钥有效位数为56位;
在64位明文数据输入直到64位密文输出,迭代分组加密算法共执行了16轮加密,在每一轮加密过程中,都会有48位秘钥Ki和8个替代映射箱Si参与其中,将输入的64位明文数据进行拆分,变为两个相同并且独立的32位明文,记作L0和R0,进行每一轮算法都相同的轮加密,利用上一轮32位的Li-1与Ri-1作为输入参数,输出32位的参数为Li和Ri,其中i的取值范围为1≤i≤16;
其中,每一轮的加密计算方法具体步骤为:
S1.输入64位数据;
S2.初始置换IP;
S3.加密,Li=Ri-1,
S4.最终置换IP-1;
其中,f(Ri-1,Ki)表示映射箱算法,Ki表示第i轮的密钥,表示异或运算,E()和P()分别表示扩展函数和映射函数,E()和P()对Ri-1和进行位数扩展映射,将32位扩展至48位;对于迭代分组加密算法,初始置换IP和最终置换IP-1都是有相应规则进行位置置换排列;
其中,映射箱算法f(Ri-1,Ki)具体实现如下:
S1.将Ri-1=r1r2r3.......r32从32位扩展至48位,Ri-1表示明文经过i-1轮加密后的密文,ri表示第i位的字符;
S2.对Ri-1进行扩展,T1表示8个6位的字符串Bi,T1=B1B2......B8;
S3.(S1(B1),S2(B2),...,S8(B8))→T2,其中,Si(Bi)将Bi=b1b2......b6,映射为映射箱Si的r行c列的4位,其中,r=2b1+b6,b2b3b4b5为0≤c≤15的二进制表示,bi为字符串Bi的第i位的字符;
S4.通过置换函数P()对T2进行置换,记为P(T2)→T3,通过直接换位,将32位的T2=t1t2......t32置换为T2=t16t7......t25;
其中,迭代分组加密算法的秘钥Ki是由48位密码长度组成,16轮迭代每次迭代都需要不同的秘钥Ki进行加密,秘钥Ki生成过程如下:
S1.去除8个秘钥奇偶校验位,将64位初始秘钥K0降至56位,根据秘钥置换选择将56位秘钥分成两块,分别为28位C0和28位D0;
S2.根据轮次将C0和D0循环左移,变换后生成C1和D1,然后将C1和D1合并,再通过秘钥置换选择生成48位秘钥K1;
S3.C1和D1再次进行循环左移变换,生成C2和D2,并将C1和D1合并,通过选择置换生成48位秘钥K2;
S4.步骤S3重复9次,得到48位秘钥Ki,3≤i≤16;
其中,循环左移的位数是由迭代轮数决定的,第1、2、9、16次是左移一位,其余轮次都是左移两位;
其中,所述的非对称加密算法步骤如下:
S1.选取两个大素数p和q,并且要求p≠q,计算,则n=p×q;
S2.选取素数e,并且要求e满足和最大公约数
S3.计算mod表示求余函数;
S4.公布秘钥,将Kpublic=(e,n)用做公钥参数,Kprivate=(d,n)用作私钥参数;
S5.利用C=pemodn公式对明文进行加密,p=Cdmodn公式对密文进行解密;其中,素数p和q的二进制位数大于1024,素数p和q的十进制数值满足1000<p-q<10000;
其中,负载均衡器把请求任务按照某种策略分配到服务节点,为了确保负载均衡器能真实准确地获取服务节点的实时处理能力,需要对影响服务节点的处理能力因素进行分析;由于负载均衡模块对服务节点进行参数的采集时,如果参数过多会对负载均衡节点和服务节点造成一定的资源损耗;为了避免采集服务节点的实时参数过程对***的性能造成影响,决定以影响服务器节点的两个主要核心因素作为实时负载能力的指标,分别是处理器利用率和内存空闲率;
包括如下步骤:
S1.负载均衡器和服务节点的通信方式的实现采用Socket接口进行通信,为降低通信带来的资源损耗问题,采用对资源要求较少的UDP作为传输协议;
S2.负载均衡器周期性向服务节点发送采集请求,计算得出服务节点的处理器利用率和内存空闲率;
处理器分为三种运行状态,分别是空闲态,用户态和***内核态,用T1表示空闲态的运行时间,T2表示用户态的运行时间,T3表示内核态的运行时间,则处理器利用率Ci计算公式如下:
通过***文件可查出当前服务节点的总内存total大小,缓冲区buffers大小,缓存区cached大小,空闲内存free大小,内存空闲率Mi计算如公式如下:
S3.进行服务节点权重的计算,
对于多个服务节点Ni,用集合Node={N1,N2,...,Ni,...,Nn}表示,对于服务节点Ni的处理器利用率用Ci表示,内存空闲率用Mi表示,权重用Wi表示,服务节点Ni的权重表达函数Fi如下:Fi=λ1(1-Ci)+λ2Mi;
其中λ1+λ2=1,λ1和λ2表示处理器和内存的影响因子,Ci和Mi的值都处于区间[0,1]范围内,当1-Ci和Mi都为0时,Fi为0,表示服务节点处于不可用状态,将不会对其进行任务的分配,当满足负载权重差值时,Wi=Fi;
其中,λ1=0.6,λ2=0.4;
S4.新权重值与旧值进行边界条件分析,在边界值P设定下,对于服务节点权重Wi的更新,需满足下式:
其中,0<P<1,
当满足边界条件时,则调用setsockopt函数将新的权重写入负载均衡器的负载配置表,并重新分配负载任务,否则按照之前的负载均衡对任务进行转发分配。
2.根据权利要求1所述的一种信用链路自动跟踪平台的信用链路自动跟踪方法,其特征在于:日志接入层的采集器部署有Filebeat,Logstash/Logtail,Canal,实现日志信息的自动实时同步和存储,Filebeat嵌入到各个业务***服务器上,通过过滤,采集各个服务器上业务数据,Logstash将通过数据收集引擎和数据管道将日志信息存储到数据搜索引擎ElasticSearch,Canal将Mysql中Binlog通过模拟Slave模式来复制这些Binlog日志信息,同步到ElasticSearch中;
其中,Filebeat是轻量级日志收集器,是Beats的一种,收集日志文件数据,当启动Filebeat时,将启动一个或多个输入源用来监控事先指定的日志文件位置,对于Filebeat定位到的每个日志文件,Filebeat将为其启动一个收集器,每个收集器实时读取日志文件的增量数据,并将增量数据发送到Libbeat,Libbeat把所有的增量数据聚合起来,然后将这些数据统一发送到预先配置好的输出源;
Logstash是数据收集引擎,具备实时管道处理能力,Logstash作为数据源与数据存储分析工具之间的桥梁,结合ElasticSearch以及Kibana,能够极大方便数据的处理与分析;
Logtail是日志服务的生产者,提供日志收集服务;
Canal是开源项目,纯Java开发,基于数据库增量日志解析,提供增量数据订阅和消费,目前支持了Mysql;
Canal模拟MysqlSlave的交互协议,伪装自己为MysqlSlave,向MysqlMaster发送Dump协议;
MysqlMaster收到Dump请求,开始推送Binarylog给Slave;
Canal解析Binarylog对象。
3.根据权利要求1所述的一种信用链路自动跟踪平台的信用链路自动跟踪方法,其特征在于:数据管道部署有Kafka/Rocketmq和Syslog,
Kafka用于日志收集,Kafka收集各种服务的log,通过kafka以统一接口服务的方式开放给各种消费者来消费;Kafka是一个分布式、支持分区的、多副本的,基于Zookeeper协调的分布式消息***,它的最大的特性就是可实时的处理大量数据以满足各种需求场景;
RocketMQ监听支付通道端口状态,通过消息完成消息通知、状态更新、发送和接收本地事务消息;RocketMQ是AMQ消息中间件产品,是一款分布式、队列模型的消息中间件,能处理异步分布式事务的处理和消息处理;
Linux/CentOS操作***上的程序自身都可以产生日志信息并将其记录到指定位置,Syslog负责统一记录各程序产生的日志信息;
Syslog有两个进程:
(1).Syslogd:专门负责记录非内核的其它设施产生的日志,负责统一记录各程序产生的日志信息;
(2).Klogd:专门负责记录内核产生的日志。
4.根据权利要求1所述的一种信用链路自动跟踪平台的信用链路自动跟踪方法,其特征在于:原始数据会从多个来源输入到ElasticSearch中;数据采集指在ElasticSearch中进行索引之前解析、标准化并充实这些原始数据的过程,这些数据在ElasticSearch中索引完成之后,用户便可针对他们的数据运行复杂的查询,并使用聚合来检索自身数据的复杂汇总;在Kibana中,用户基于自己的数据创建强大的可视化,分享仪表板;
ElasticSearch搜索引擎是分布式的开源搜索和分析引擎,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据,
ElasticSearch具有以其简单的REST风格API、分布式特性、速度和可扩展性而闻名,ElasticSearch的核心组件是ElasticStack;ElasticStack是适用于数据采集、充实、存储、分析和可视化的一组开源工具;
Kibana是为Elasticsearch设计的开源分析和可视化平台,使用Kibana来搜索,查看存储在ElasticSearch索引中的数据并与之交互,实现高级的数据分析和可视化,以图标的形式展现出来;
Kibana的使用场景:
(1).实时监控:产生时间序列数据来达到监控报警;
(2).问题分析:通过下钻数据排查问题,通过分析根本原因来解决问题。
5.根据权利要求1所述的一种信用链路自动跟踪平台的信用链路自动跟踪方法,其特征在于:日志处理层部署有Storm、Spark,在收集完***日志和业务日志后,平台通过计算工具模型Storm来流式实时计算用户链路数据,提取有效价值数据,做分析决策参考,同时在用户数和数据量越来越庞大的情况下,采用基于更快计算内存计算模型Spark来实时分布式计算、汇总和分析;Storm是开源的分布式实时大数据处理框架,为实时版Hadoop;Storm为实时计算提供简单高效的原语,Storm的Trident是基于Storm原语更高级的抽象框架,类似于基于Hadoop的Pig框架,让开发更加便利和高效;Storm适用场景广泛、可伸缩性高、保证无数据丢失、异常健壮、容错性好、与语言无关;Spark是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序;Spark运行速度快、容易使用、通用性、运行模式多样。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010562675.0A CN111782620B (zh) | 2020-06-19 | 2020-06-19 | 一种信用链路自动跟踪平台及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010562675.0A CN111782620B (zh) | 2020-06-19 | 2020-06-19 | 一种信用链路自动跟踪平台及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111782620A CN111782620A (zh) | 2020-10-16 |
CN111782620B true CN111782620B (zh) | 2024-07-05 |
Family
ID=72756671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010562675.0A Active CN111782620B (zh) | 2020-06-19 | 2020-06-19 | 一种信用链路自动跟踪平台及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111782620B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112256769B (zh) * | 2020-11-13 | 2024-04-12 | 北京海致星图科技有限公司 | 一种基于Pregel的实现挖掘商业银行交易数据的资金圈分布的方法 |
CN113254419B (zh) * | 2021-01-19 | 2022-05-03 | 深圳市神州通在线科技有限公司 | 一种基于大数据微服务的物联网云平台管理***及方法 |
CN113254341B (zh) * | 2021-05-31 | 2023-10-20 | 康键信息技术(深圳)有限公司 | 链路数据的跟踪方法、装置、设备及存储介质 |
CN114238309A (zh) * | 2021-10-26 | 2022-03-25 | 浙江菜鸟供应链管理有限公司 | 物流单履约检测方法和延迟任务处理方法 |
CN114584574B (zh) * | 2022-04-28 | 2022-08-02 | 武汉四通信息服务有限公司 | 数据同步方法、装置、计算机设备及存储介质 |
CN114880713B (zh) * | 2022-06-30 | 2022-09-27 | 深圳红途科技有限公司 | 基于数据链路的用户行为分析方法、装置、设备及介质 |
CN117544423B (zh) * | 2024-01-09 | 2024-04-02 | 成都思维世纪科技有限责任公司 | 一种基于数据特征的api应用程序接口链路测绘方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106599295A (zh) * | 2016-12-27 | 2017-04-26 | 四川中电启明星信息技术有限公司 | 一种用户行为多轨可视化分析取证方法及*** |
CN109656792A (zh) * | 2018-11-02 | 2019-04-19 | 深圳市快付通金融网络科技服务有限公司 | 基于网络调用日志的应用性能分析方法、装置、计算机设备及存储介质 |
CN109844781A (zh) * | 2016-10-24 | 2019-06-04 | 甲骨文国际公司 | 用于从日志文件识别处理流并使流可视化的***和方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101561892A (zh) * | 2008-04-17 | 2009-10-21 | 北京中食新华科技有限公司 | 一种rfid安全*** |
CN108154425B (zh) * | 2018-01-19 | 2021-03-26 | 广州天源信息科技股份有限公司 | 一种结合社会网络和位置的线下商户推荐方法 |
CN109753591B (zh) * | 2018-12-11 | 2024-01-09 | 江阴逐日信息科技有限公司 | 业务流程预测性监控方法 |
CN110059246A (zh) * | 2019-03-15 | 2019-07-26 | 安徽省优质采科技发展有限责任公司 | 智能撮合*** |
-
2020
- 2020-06-19 CN CN202010562675.0A patent/CN111782620B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109844781A (zh) * | 2016-10-24 | 2019-06-04 | 甲骨文国际公司 | 用于从日志文件识别处理流并使流可视化的***和方法 |
CN106599295A (zh) * | 2016-12-27 | 2017-04-26 | 四川中电启明星信息技术有限公司 | 一种用户行为多轨可视化分析取证方法及*** |
CN109656792A (zh) * | 2018-11-02 | 2019-04-19 | 深圳市快付通金融网络科技服务有限公司 | 基于网络调用日志的应用性能分析方法、装置、计算机设备及存储介质 |
Non-Patent Citations (5)
Title |
---|
"基于ArcEngine的飞行程序保护区DEM地形障碍物自动评估方法研究";罗晓艳;《知网》;论文正文第2-3章 * |
"支付机构代收业务***的设计与实现";陈照庆;《知网》;论文正文第2-4章 * |
"面向用户隐私关注问题的移动个性化信息推荐服务研究";郭飞鹏;《知网》;论文正文第4-6章 * |
"云联络平台服务监控***设计与实现";李易锴;《知网》;论文正文第2-3章 * |
Android开发使用LocationManager实现定位服务;九月风666;《简书》;第1-7页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111782620A (zh) | 2020-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111782620B (zh) | 一种信用链路自动跟踪平台及其方法 | |
CN109074377B (zh) | 用于实时处理数据流的受管理功能执行 | |
CN110689349B (zh) | 一种区块链中的交易哈希值存储和搜索方法及装置 | |
CN106790718A (zh) | 服务调用链路分析方法及*** | |
CN111026788B (zh) | 一种混合云中基于同态加密的多关键词密文排序检索方法 | |
WO2016168211A1 (en) | High performance big data computing system and platform | |
CN111258978B (zh) | 一种数据存储的方法 | |
CN104584524A (zh) | 聚合中介***中的数据 | |
CN112632129A (zh) | 一种码流数据管理方法、装置及存储介质 | |
CN110716897A (zh) | 一种基于云计算的海洋档案数据库并行化构建方法和装置 | |
CN104486116A (zh) | 多维度查询流量数据的方法及*** | |
CN113609201A (zh) | 一种业务数据处理方法及*** | |
CN102325143B (zh) | 一种基于云平台的信息收集存储和加密检索*** | |
Lu et al. | Wireless sensor networks for environmental monitoring applications: A design framework | |
Novotny et al. | On-demand discovery of software service dependencies in MANETs | |
US10191818B2 (en) | Filtered replication of data in distributed system of data centers | |
CN108090186A (zh) | 一种大数据平台上的电力数据去重方法 | |
CN104503983A (zh) | 为搜索引擎提供网站认证数据的方法及装置 | |
CN112905571B (zh) | 一种列车轨道交通传感器数据管理方法及装置 | |
Gaurav et al. | An outline on big data and big data analytics | |
TW201738776A (zh) | 即時串流紀錄資料分析系統與方法 | |
Cao et al. | LogKV: Exploiting key-value stores for event log processing | |
CN113806466A (zh) | 路径时间查询方法、装置、电子设备和可读存储介质 | |
CN116910820A (zh) | 数据报表处理方法、装置、计算机设备以及存储介质 | |
CN115858322A (zh) | 日志数据处理方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20220513 Address after: 251500 No. 3, Xiguan Street, Deping Town, Linyi County, De Zhou City, Shandong Province Applicant after: Pang Maolin Address before: 100000 room 501-2010, Development Zone office building, No. 8, Xingsheng South Road, economic development zone, Miyun District, Beijing (centralized office area of Economic Development Zone) Applicant before: Duojia network technology (Beijing) Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |