CN105205168A - 一种基于Redis数据库的曝光***及其操作方法 - Google Patents

一种基于Redis数据库的曝光***及其操作方法 Download PDF

Info

Publication number
CN105205168A
CN105205168A CN201510656932.6A CN201510656932A CN105205168A CN 105205168 A CN105205168 A CN 105205168A CN 201510656932 A CN201510656932 A CN 201510656932A CN 105205168 A CN105205168 A CN 105205168A
Authority
CN
China
Prior art keywords
exposure
information
redis database
server
record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510656932.6A
Other languages
English (en)
Other versions
CN105205168B (zh
Inventor
罗涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201510656932.6A priority Critical patent/CN105205168B/zh
Publication of CN105205168A publication Critical patent/CN105205168A/zh
Application granted granted Critical
Publication of CN105205168B publication Critical patent/CN105205168B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种基于Redis数据库的曝光***及其操作方法，***包括Nginx服务器、曝光记录服务器、Redis数据库、统计服务器及RDBMS数据库，其中曝光记录服务器包括曝光记录模块及曝光补偿模块，记录服务器包括曝光统计模块和查询模块，在Redis数据库中曝光信息丢失时，曝光补偿模块将曝光记录模块中的曝光日志同步至Redis数据库中，恢复所丢失的报表信息。本发明提供的曝光***具有高并发、易扩展、占用内存小、数据库压力小的优点。

Description

一种基于Redis数据库的曝光***及其操作方法
技术领域
本发明属于互联网展示效果监控领域，具体涉及一种基于Redis数据库的曝光***。
背景技术
曝光***是互联网企业对广告投放效果监测的关键。曝光***做的不好，会给企业带来巨大的经济损失。导致企业无法监控公司投放广告效果，从而无法做出准确的决定。而现在的互联网企业网站访问量巨大且快速增长，投放广告的数据也急剧增长，给企业广告投放检测带来了巨大挑战。
对于广告投放效果监测的曝光***，现有技术主要有以下几种：
(1)RDBMS数据库：曝光***在接到曝光请求时，直接将广告展现信息存入RDBMS数据库，然后通过曝光***统计服务器统计广告展示的各种报表。在曝光请求量不大的情况，可以实现快速的记录曝光记录，曝光***统计也可以及时的统计出广告投放效果的各种报表。但当曝光请求增大时，这种方案依赖于RDBMS数据库的性能，而RDBMS数据库在大量并发请求下读写都会变的很慢，无法及时响应曝光请求导致曝光请求数据丢失。这种方案也无法很好的扩展，因为扩展后还是依赖于数据库的性能。这种法案也无法应对机房网络异常或者数据库服务器异常导致数据丢失问题。
(2)服务器内存：曝光***在接到曝光请求时，将广告展现信息存到曝光***的服务器内存中，每隔一段时间将数据同步到数据库或者Redis数据库中，然后曝光***统计服务器等待每个曝光***实例都同步数据后进行报表数据的统计。这种方案可以一定程度解决曝光***对RDBMS数据库的性能的依赖，但曝光***的统计需要等待所有的曝光***实例同步完数据后才能执行统计报表，特别是当一些曝光***实例出现问题，或导致存在内存中广告展示信息丢失，也会导致曝光***的统计无法执行。
(3)记录日志：曝光***在接到曝光请求时，将广告展现信息存到曝光***的服务器的文件***中，每隔一段时间将日志同步到曝光***统计服务器。曝光***统计需要等待每个曝光***实例都同步完数据后报表数据的统计。这种方案可以解决广告展示信息丢失的问题，也可以处理高并发的曝光请求并快速的记录广告展示信息。但曝光***统计需要等待每个曝光***实例都同步完数据才能计算报表，有时会出现同步异常导致报表统计无法执行。也无法保障报表计算的实时性。
发明内容
(一)要解决的技术问题
鉴于上述问题，本发明的目的在于提供一种基于Redis数据库的曝光***，其具有高并发、易扩展、占用内存小、数据库压力小的优点。
(二)技术方案
本发明提供一种基于Redis数据库的曝光***，包括Nginx服务器、曝光记录服务器、Redis数据库、统计服务器及RDBMS数据库，其中：
Nginx服务器用于将曝光请求分发给所述曝光记录服务器，曝光记录服务器用于处理曝光请求，得到曝光信息，并根据曝光信息生成曝光日志，同时，将曝光信息存储到Redis数据库；
统计服务器用于从Redis数据库获取曝光信息，根据曝光信息计算出报表数据，并将报表数据存储于所述RDBMS数据库中。
本发明还提供一种用于曝光***的操作方法，包括：
S1，Nginx服务器将曝光请求分发给曝光记录服务器；
S2，曝光记录服务器处理曝光请求，得到曝光信息，并根据曝光信息生成曝光日志，同时，将曝光信息存储到Redis数据库；
S3，统计服务器从Redis数据库获取曝光信息，根据曝光信息计算出报表数据，并将报表数据存储于RDBMS数据库中。
(三)有益效果
本发明提供的基于Redis数据库的曝光***，可以在曝光信息丢失的情况，通过将曝光日志同步至Redis数据库，恢复所丢失的报表信息，可以较好的解决高并发曝光***占用大量内存和对数据库压力大，难于扩展的问题；同时，可以帮助广告投放者及时监测广告投放效果，帮助公司发现投放效果不好的广告，并调整广告投放的策略，并可以监督广告提供商的统计广告效果，在一定程度上可以减少恶意广告展示的消费，降低广告费用的开销。
附图说明
图1是本发明实施例提供的曝光***的拓扑图。
图2是本发明实施例提供的曝光***的运行流程图。
具体实施方式
本发明提供一种基于Redis数据库的曝光***，包括Nginx服务器、曝光记录服务器、Redis数据库、统计服务器及RDBMS数据库，其中曝光记录服务器包括曝光记录模块及曝光补偿模块，记录服务器包括曝光统计模块和查询模块，在Redis数据库中曝光信息丢失时，曝光补偿模块将曝光记录模块中的曝光日志同步至Redis数据库中，恢复所丢失的报表信息。本发明提供的曝光***具有高并发、易扩展、占用内存小、数据库压力小的优点。
根据本发明的一种实施方式，曝光***包括Nginx服务器、曝光记录服务器、Redis数据库、统计服务器及RDBMS数据库，其中：
Nginx服务器用于将曝光请求分发给曝光记录服务器，曝光记录服务器用于处理所述曝光请求，得到曝光信息，并根据曝光信息生成曝光日志，同时，将曝光信息存储到Redis数据库；
统计服务器用于从Redis数据库获取曝光信息，根据曝光信息计算出报表数据，并将报表数据存储于RDBMS数据库中。
根据本发明的一种实施方式，曝光记录服务器包括曝光记录模块，其用于记录所述曝光日志，并将曝光日志对应的曝光信息存储到Redis数据库。
根据本发明的一种实施方式，曝光记录服务器包括曝光补偿模块，当***异常导致Redis数据库中曝光信息丢失时，曝光补偿模块将曝光信息对应的曝光日志同步至所述Redis数据库中，Redis数据库根据该曝光日志获取相应的曝光信息。
根据本发明的一种实施方式，统计服务器包括曝光统计模块，用于定时从Redis数据库获取曝光信息，并根据曝光信息分析广告展示效果，生成报表数据。
根据本发明的一种实施方式，统计服务器包括查询模块，用于从RDBMS数据库查询报表数据，并对报表数据进行展示。
本发明还提供一种用于曝光***的操作方法，包括：
S1，Nginx服务器将曝光请求分发给曝光记录服务器；
S2，曝光记录服务器处理曝光请求，得到曝光信息，并根据曝光信息生成曝光日志，同时，将曝光信息存储到Redis数据库；
S3，统计服务器从Redis数据库获取曝光信息，根据曝光信息计算出报表数据，并将报表数据存储于RDBMS数据库中。
根据本发明的一种实施方式，曝光记录服务器包括曝光记录模块，其中，在步骤S2中，曝光记录模块记录所述曝光日志，并将曝光日志对应的曝光信息存储到Redis数据库。
根据本发明的一种实施方式，曝光记录服务器包括曝光补偿模块，其中，步骤S2还包括，当***异常导致Redis数据库中曝光信息丢失时，曝光补偿模块将曝光信息对应的曝光日志同步至Redis数据库中，Redis数据库根据该曝光日志获取相应的曝光信息。
根据本发明的一种实施方式，统计服务器包括曝光统计模块，其中，在步骤S3中，曝光统计模块定时从Redis数据库获取曝光信息，并根据曝光信息分析广告展示效果，生成报表数据。
根据本发明的一种实施方式，统计服务器包括查询模块，其中，操作方法还包括：
S4，查询模块从RDBMS数据库查询报表数据，并对报表数据进行展示。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
图1是本发明实施例提供的曝光***的拓扑图，曝光***包括Nginx服务器、展示记录服务器(即曝光记录服务器)、Redis数据库、统计服务器及RDBMS数据库。
如图1所示，广告通过终端展示给用户时，会触发曝光请求，该请求会通过网络到达一个机房的Nginx服务器，Nginx服务器将该曝光请求分发给展示记录服务器，展示记录服务器用于处理曝光请求，得到曝光信息，并根据曝光信息生成曝光日志，同时，将曝光信息存储到Redis数据库；统计服务器用于从Redis数据库获取曝光信息，根据曝光信息计算出报表数据，其中报表数据包括广告展示的点击量、展示量、消费金额、ROI、地域报告、时段报告等，并将报表数据存储于RDBMS数据库中。
其中，展示记录服务器包括曝光记录模块及曝光补偿模块，记录服务器包括曝光统计模块和查询模块，如图2所示，图2是本发明实施例提供的曝光***的运行流程图：
曝光记录模块，用于快速及时的处理大量的曝光请求，不仅要准确的记录曝光信息而且需要考虑高并发和快速响应的特性，为此，曝光记录模块涉及两个操作，记录曝光日志、存放曝光信息到Redis，两个操作都非常快，而且只是一次简单的SetRedis操作，这样就可以充分利用Redis的高并发性及时处理高并发的曝光请求，而记录的曝光日志，一是可以用来校验曝光报表的准确性，二是可以在***出现异常时补充数据，保证***的稳定性。
曝光补偿模块，用于补偿曝光信息，虽然使用Redis的主从等策略保证***的稳定性，但无法确保曝光记录模块和Redis数据库的网络100％正常，因此设计了曝光补偿模块，在***出现异常导致曝光信息丢失时，通过曝光补偿模块去曝光记录服务器拿去曝光日志，然后将曝光日志补偿到Redis重新计算丢失的曝光信息。
曝光统计模块，用于是计算各种广告展示的效果的报表数据，而该模块的数据源是从Redis数据库读取，可以保证统计工作的快速执行，可以将统计计算工作分配到不同的服务器，快速计算出各种曝光报表，为查询模块提供数据。
查询模块，用于展示各种曝光报表，广告投放者可以根据报表对广告投放策略进行调整以便达到更好的投放效果。
综上所述，本发明提供的曝光***不会占用应用服务器额外内存，因此不会占用大量内存，曝光记录服务器只是将曝光信息按照广告位或者关键词缓存到Redis服务器中，记录曝光展示的服务器不需读写数据库，曝光记录服务器处理每个曝光请求只需要记录该曝光信息，并缓存到Redis数据库，不会对RDBMS数据库带来压力，并具有良好的扩展性。而Redis数据库具有高并发实时可用性，从而保证了记录服务器可以再处理较高并发的广告曝光请求的同时保证了各种数据的及时高效的处理，使***具有处理高并发曝光请求的能力。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于Redis数据库的曝光***，其特征在于，包括Nginx服务器、曝光记录服务器、Redis数据库、统计服务器及RDBMS数据库，其中：
所述Nginx服务器用于将曝光请求分发给所述曝光记录服务器，所述曝光记录服务器用于处理所述曝光请求，得到曝光信息，并根据所述曝光信息生成曝光日志，同时，将所述曝光信息存储到所述Redis数据库；
所述统计服务器用于从所述Redis数据库获取曝光信息，根据所述曝光信息计算出报表数据，并将所述报表数据存储于所述RDBMS数据库中。
2.根据权利要求1所述的曝光***，其特征在于，所述曝光记录服务器包括曝光记录模块，其用于记录所述曝光日志，并将所述曝光日志对应的曝光信息存储到所述Redis数据库。
3.根据权利要求1所述的曝光***，其特征在于，所述曝光记录服务器包括曝光补偿模块，当***异常导致所述Redis数据库中曝光信息丢失时，所述曝光补偿模块将所述曝光信息对应的曝光日志同步至所述Redis数据库中，所述Redis数据库根据该曝光日志获取相应的曝光信息。
4.根据权利要求1所述的曝光***，其特征在于，所述统计服务器包括曝光统计模块，用于定时从所述Redis数据库获取曝光信息，并根据所述曝光信息分析广告展示效果，生成报表数据。
5.根据权利要求1所述的曝光***，其特征在于，所述统计服务器包括查询模块，用于从所述RDBMS数据库查询报表数据，并对所述报表数据进行展示。
6.一种用于权利要求1所述曝光***的操作方法，其特征在于，包括：
S1，Nginx服务器将曝光请求分发给曝光记录服务器；
S2，曝光记录服务器处理所述曝光请求，得到曝光信息，并根据所述曝光信息生成曝光日志，同时，将所述曝光信息存储到Redis数据库；
S3，统计服务器从所述Redis数据库获取曝光信息，根据所述曝光信息计算出报表数据，并将所述报表数据存储于所述RDBMS数据库中。
7.根据权利要求6所述的操作方法，其特征在于，所述曝光记录服务器包括曝光记录模块，其中，在所述步骤S2中：
所述曝光记录模块记录所述曝光日志，并将所述曝光日志对应的曝光信息存储到所述Redis数据库。
8.根据权利要求6所述的操作方法，其特征在于，所述曝光记录服务器包括曝光补偿模块，其中，所述步骤S2还包括：
当***异常导致所述Redis数据库中曝光信息丢失时，所述曝光补偿模块将所述曝光信息对应的曝光日志同步至所述Redis数据库中，所述Redis数据库根据该曝光日志获取相应的曝光信息。
9.根据权利要求6所述的操作方法，其特征在于，所述统计服务器包括曝光统计模块，其中，在所述步骤S3中：
所述曝光统计模块定时从所述Redis数据库获取曝光信息，并根据所述曝光信息分析广告展示效果，生成报表数据。
10.根据权利要求6所述的操作方法，其特征在于，所述统计服务器包括查询模块，其中，所述操作方法还包括：
S4，所述查询模块从所述RDBMS数据库查询报表数据，并对所述报表数据进行展示。
CN201510656932.6A 2015-10-12 2015-10-12 一种基于Redis数据库的曝光***及其操作方法 Active CN105205168B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510656932.6A CN105205168B (zh) 2015-10-12 2015-10-12 一种基于Redis数据库的曝光***及其操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510656932.6A CN105205168B (zh) 2015-10-12 2015-10-12 一种基于Redis数据库的曝光***及其操作方法

Publications (2)

Publication Number Publication Date
CN105205168A true CN105205168A (zh) 2015-12-30
CN105205168B CN105205168B (zh) 2018-11-09

Family

ID=54952851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510656932.6A Active CN105205168B (zh) 2015-10-12 2015-10-12 一种基于Redis数据库的曝光***及其操作方法

Country Status (1)

Country Link
CN (1) CN105205168B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113179427A (zh) * 2021-04-19 2021-07-27 广州欢网科技有限责任公司 智能电视广告***中的补偿曝光方法、装置、电子设备
CN113347052A (zh) * 2020-03-03 2021-09-03 北京京东尚科信息技术有限公司 通过访问日志统计用户访问数据的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523106A (zh) * 2011-12-04 2012-06-27 东华大学 基于FlexRIA技术的视频网站用户行为分析***
CN103942707B8 (zh) * 2014-04-08 2018-06-29 璧合科技股份有限公司 基于实时竞价的广告效果优化***
CN103916293B (zh) * 2014-04-15 2017-03-22 浪潮软件股份有限公司 一种监控分析网站用户行为的方法
CN104834599B (zh) * 2015-04-24 2018-10-12 百度在线网络技术（北京）有限公司 Web安全检测方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347052A (zh) * 2020-03-03 2021-09-03 北京京东尚科信息技术有限公司 通过访问日志统计用户访问数据的方法和装置
CN113347052B (zh) * 2020-03-03 2023-09-05 北京京东尚科信息技术有限公司 通过访问日志统计用户访问数据的方法和装置
CN113179427A (zh) * 2021-04-19 2021-07-27 广州欢网科技有限责任公司 智能电视广告***中的补偿曝光方法、装置、电子设备

Also Published As

Publication number Publication date
CN105205168B (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
JP6865219B2 (ja) 連続クエリ処理におけるイベントバッチ処理、出力シーケンス化、およびログベースの状態記憶
Akidau et al. Millwheel: Fault-tolerant stream processing at internet scale
CN108833184A (zh) 服务故障定位方法、装置、计算机设备及存储介质
RU2691595C2 (ru) Конструируемый поток данных для улучшенной обработки событий
US20140236889A1 (en) Site-based search affinity
CN107273267A (zh) 基于elastic组件的日志分析方法
CN105512336A (zh) 一种基于Hadoop的海量数据处理方法和装置
CN105577454A (zh) 一种基于日志快速定位业务故障的方法
WO2019051042A1 (en) APPARATUS AND METHOD FOR REAL-TIME ANALYSIS, PREDICTION AND ABORIGINAL DATA BASE TRANSACTION LOG ACTIVITY REPORT
CN111339073A (zh) 实时数据处理方法、装置、电子设备及可读存储介质
CN112445863A (zh) 一种数据实时同步方法及***
CN109146653B (zh) 一种基于分布式环境的用于账务日切的核对方法及装置
CN103678051B (zh) 一种集群数据处理***中的在线故障容错方法
Wibowo Problems and available solutions on the stage of extract, transform, and loading in near real-time data warehousing (a literature study)
CN102571499A (zh) 一种云端数据库服务器集群的监控方法
CN104834700A (zh) 一种基于轨迹变更的移动数据增量捕获方法
JP2020057416A (ja) 分散データベースにおけるデータブロックを処理する方法およびデバイス
CN104281980B (zh) 基于分布式计算的火力发电机组远程诊断方法及***
CN114780335A (zh) 监测数据的关联方法、装置、计算机设备和存储介质
CN113468226A (zh) 一种业务处理方法、装置、电子设备和存储介质
CN104636395A (zh) 一种计数处理方法及装置
CN117971606B (zh) 基于ElasticSearch的日志管理***及方法
Cao et al. Timon: A timestamped event database for efficient telemetry data processing and analytics
CN114356692A (zh) 一种应用监控链路的可视化处理方法、装置及存储介质
CN105069029A (zh) 一种实时etl***及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant