CN108898448A - 一种广告数据同步方法及装置 - Google Patents

一种广告数据同步方法及装置 Download PDF

Info

Publication number
CN108898448A
CN108898448A CN201810833142.4A CN201810833142A CN108898448A CN 108898448 A CN108898448 A CN 108898448A CN 201810833142 A CN201810833142 A CN 201810833142A CN 108898448 A CN108898448 A CN 108898448A
Authority
CN
China
Prior art keywords
data
synchronous
storage system
node
processing platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810833142.4A
Other languages
English (en)
Inventor
张文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Papaya Mobile Technology Co Ltd
Original Assignee
Beijing Papaya Mobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Papaya Mobile Technology Co Ltd filed Critical Beijing Papaya Mobile Technology Co Ltd
Priority to CN201810833142.4A priority Critical patent/CN108898448A/zh
Publication of CN108898448A publication Critical patent/CN108898448A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种广告数据同步方法及装置，涉及网络数据同步技术领域。所述广告数据同步方法包括：连接至存储***主节点；采用收集器将所述存储***主节点的同步广告数据写入流数据处理平台；采用分发器将所述流数据处理平台中的所述同步广告数据转发给各存储***从节点的代码调用模块。该方法提高了广告数据同步的可靠性、并发稳定性和数据安全性。

Description

一种广告数据同步方法及装置
技术领域
本发明涉及网络数据同步技术领域，具体而言，涉及一种广告数据同步方法及装置。
背景技术
随着互联网技术以及电子显示终端设备的迅速发展和普及，比起现实广告版等实体载体上的广告，越来越多的广告商选择在用户更多、传播速度更快、投放成本更低的互联网中投放电子数据类型的广告。因此，随着计算广告技术的发展、计算广告业务的发展，全球化广告投放技术的已经成为广告投放厂商的核心竞争力。
但是在广告的全球投放中，单一的服务节点会因为网络延时高、易受网络状况影响、服务端并发量大等原因，容易出现广告展示速度慢、广告展示失败率高等情况，会极大的影响广告投放的效果。为了保证全球各个地区的广告投放的服务质量，必须在全球各个地区都建立服务节点，就近服务各区域，进而现有的广告投放技术还存在服务节点多、服务器成本高的问题。
发明内容
有鉴于此，本发明实施例的目的在于提供一种广告投放方法及装置，以解决上述现有技术中广告数据传输易受网络情况影响、广告投放服务质量不稳定、服务节点多以及服务器成本高的问题。
第一方面，本发明实施例提供了一种广告数据同步方法，应用于主节点服务器，所述广告数据同步方法包括：连接至存储***主节点；采用收集器将所述存储***主节点的同步广告数据写入流数据处理平台；采用分发器将所述流数据处理平台中的所述同步广告数据转发给各存储***从节点的代码调用模块。
综合第一方面，在所述连接至存储***主节点之前，所述广告数据同步方法还包括：将所述调用收集器作为存储***从节点。
综合第一方面，所述采用收集器将所述存储***主节点的同步广告数据写入流数据处理平台，包括：接收基于主从同步机制由所述存储***主节点发送来的同步广告数据，所述同步广告数据包括对广告数据的写操作；采用收集器将所述同步广告数据写入流数据处理平台。
综合第一方面，所述采用分发器将所述流数据处理平台中的所述同步广告数据转发给代码调用模块，包括：采用分发器读取所述同步广告数据；并发调用各存储***从节点的代码调用模块，将所述同步广告数据转发给各存储***从节点的代码调用模块。
第二方面，本发明实施例提供了一种广告数据同步装置，所述广告数据同步装置包括：连接模块，用于连接至存储***主节点；流数据处理平台写入模块，用于采用收集器将所述存储***主节点的同步广告数据写入流数据处理平台；转发模块，用于采用分发器将所述流数据处理平台中的所述同步广告数据转发给各存储***从节点的代码调用模块。
综合第二方面，所述流数据处理平台写入模块包括：接收单元，用于接收基于主从同步机制由所述存储***主节点发送来的同步广告数据，所述同步广告数据包括对广告数据的写操作；写入单元，用于采用收集器将所述同步广告数据写入流数据处理平台。
综合第二方面，所述转发模块包括：读取单元，用于采用分发器读取所述同步广告数据；并发调用单元，用于并发调用各存储***从节点的代码调用模块，将所述同步广告数据转发给各存储***从节点的代码调用模块。
综合第二方面，所述广告数据同步装置还包括：从节点写入模块，用于接受代码调用模块的调用，将同步广告数据写入存储***从节点。
第三方面，本发明实施例还提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，使得所述计算机执行上述的方法。
本发明提供的有益效果是：
本发明提供了一种广告数据同步方法及装置，所述方法包括：连接至存储***主节点；采用收集器将所述存储***主节点的同步广告数据写入流数据处理平台；采用分发器将所述流数据处理平台中的所述同步广告数据转发给各存储***从节点的代码调用模块。
通过存储***主节点和存储***从节点之间的主从数据同步进行广告数据的更新，提高了所述广告数据同步方法的适用性；该方法只用收集器与存储***主节点连接，降低了存储***主节点的负载，提高了广告数据同步的可靠性和稳定性。进一步地，通过流数据处理平台的并发机制和分发器的并发处理，可以向更大数量的存储***从节点发送广告数据，提高了广告数据同步的效率；同时其通过公网传输广告数据而不必维持连接，对网络波动具有更高的耐性，进一步提高了广告数据同步的可靠性和稳定性；同时，广告数据在公网上的传输采用流数据处理平台的认证机制，提高了广告数据传输的安全性。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明第一实施例提供的一种广告数据同步方法的流程示意图；
图2为本发明第一实施例提供的一种广告数据同步方法中流数据处理平台写入步骤的流程图；
图3为本发明第二实施例提供的一种广告数据同步装置的模块示意图；
图4为本发明第三实施例提供的一种可应用于本申请实施例中的电子设备的结构框图。
图标：100-广告数据同步装置；110-连接模块；120-流数据处理平台写入模块；130-转发模块；140-从节点写入模块；200-电子设备；201-存储器；202-存储控制器；203-处理器；204-外设接口；205-输入输出单元；206-音频单元；207-显示单元。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
第一实施例
经本申请人研究发现，现有的全球化的广告投放方法大多数是基于redis存储***的主从数据库进行广告投放，其中redis是一个key-value存储***，和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set-有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的，在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中，区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。但是在大量的从节点连接与一个主节点时，redis存储***存在主节点负载过大影响数据传输的稳定性和可靠性的问题；redis存储***通过TCP协议进行数据传输，在遇到大量数据同步时主从节点之间的数据传输延迟会较大，同时其数据传输没有进行任何加密、直接在公网上进行传输，存在数据安全性较低的问题。为了解决上述问题，本发明第一实施例提供了一种广告数据同步方法，应当理解的是，所述广告数据同步方法应用于主节点服务器，所述主节点服务器可以和多个从节点服务器组成一个广告数据同步更新***，用于连接控制各个存储***节点。
请参考图1，图1为本发明第一实施例提供的一种广告数据同步方法的流程示意图。所述广告数据同步方法的步骤可以为如下所示：
步骤S10：连接至存储***主节点。
步骤S20：采用收集器将所述存储***主节点的同步广告数据写入流数据处理平台。
步骤S30：采用分发器将所述流数据处理平台中的所述同步广告数据转发给各存储***从节点的代码调用模块。
作为一种可选的实施方式，上述存储***主节点和存储***从节点可以分别为redis存储***的主节点和从节点。本实施例中的所有服务运行在Amazon Web Services(AWS)提供的EC2虚拟机集群上，借助于AWS在全球的十几个数据中心，可以很方便的建立起分布式多服务节点广告投放***。
对于步骤S10，主节点服务器连接至存储***主节点时，应当仅仅通过收集器作为从伪从节点(pseudo slave)与存储***主节点连接，避免各个数据中心的多个存储***从节点直接连接存储***主节点，从而降低存储***主节点的负载，提高广告数据同步更新的可靠性。因此，在步骤S10之前，还可以执行步骤：将所述调用收集器作为存储***从节点。
针对步骤S20，请参考图2，该步骤可以包括如下子步骤：
步骤S21：接收基于主从同步机制由所述存储***主节点发送来的同步广告数据，所述同步广告数据包括对广告数据的写操作。
步骤S22：采用收集器将所述同步广告数据写入流数据处理平台。
在本实施例中，所述收集器(collector)是完成步骤S21、S22的软件模块，它作为步骤S10中所述主节点服务器的从节点与之连接、接收其同步数据，写入流数据处理平台。
对于步骤S21，所述主从同步机制可以为redis主从同步机制，其支持简单且易用的主从复制(master－slave replication)功能，该功能可以让存储***从节点即从服务器(slave server)成为存储***主节点即主服务器(master server)的精确复制品，且一个主服务器可以有多个从服务器，不仅主服务器可以有从服务器，从服务器也可以有自己的从服务器，多个从服务器之间可以构成一个图状结构。在进行主从同步时一般先进行全量同步，再进入增量同步步骤。其中，Redis全量同步一般发生在Slave初始化阶段，这时Slave需要将Master上的所有数据都复制一份；Redis增量同步指Slave初始化后开始正常工作时主服务器发生的写操作同步到从服务器的过程。
对于步骤S22，所述收集器(collector)被伪装成存储***从节点连接至存储***主节点，其工作主要集中在增量同步过程中，所述流数据处理平台可以为kinesis平台，kinesis平台可以对实时流数据进行收集、处理和分析，以便及时对新信息进行响应，其支持多个客户端按各自的进度读取数据流，读取的起点可以时过去24小时内任意时间点，通过使用kinesis平台，可以提高广告数据同步的并发度和容错性。
作为一种可选的实施方式，本实施例中的Kinesis服务也可用使用AWS SQS代替，两者的区别在于SQS是一个任务队列，每个任务只能被处理一次；而Kinesis是一个数据流处理平台，它的数据在24小时内都可以访问。
可选地，上述步骤S21-S22可以由如下伪代码描述：
对于步骤S30，即：采用分发器将所述流数据处理平台中的所述同步广告数据转发给各存储***从节点的代码调用模块。该步骤S30可具体包括如下子步骤：
步骤S31：采用分发器读取所述同步广告数据。
步骤S32：并发调用各存储***从节点的代码调用模块，将所述同步广告数据转发给各存储***从节点的代码调用模块。
在本实施例中，所述分发器是完成步骤S31、S32的软件模块。它会从步骤S20中的Kinesis数据流读取所述同步广告数据，并发调用各存储***从节点的代码调用模块。
在本实施例中，所述代码调用模块可以是AWS Lambda，是一项无服务器计算服务，可运行代码来响应事件并为您自动管理底层计算资源。AWS Lambda可以用于通过自定义逻辑来扩展其他AWS服务，或创建自身需求按AWS规模、性能和安全性运行的后端服务。AWSLambda上运行的代码被称为“Lambda函数”，创建Lambda函数之后，只要一触发该函数，它就能立即运行起来，将“Lambda函数”上传到AWS Lambda之后，将“Lambda函数”与特定的AWS资源(例如特定的Amazon S3存储桶、Amazon DynamoDB表、Amazon Kinesis流或Amazon SNS通知)关联起来，然后，当资源发生改变时，Lambda将视需要执行“Lambda函数”并管理计算资源，从而与传入请求保持联系。其中，AWS Lambda的“Lambda函数”调用通常为跨公网的，AWS的SDK都是通过https和服务交互的，并有自己的授权和认证机制，可以保证数据的安全。
可选地，上述步骤S31-S32可以由如下伪代码描述：
应当理解的是，除了主节点服务器，还需要从节点服务器对存储***从节点进行管理。因此，本实施例中的种广告数据同步方法还包括应用于从节点服务器的步骤：接受代码调用模块的调用，将同步广告数据写入存储***从节点。
作为一种实施方式，在本实施例中的redis存储***采用增量同步时，传输的数据实际上是redis的写命令。那这个***就涉及“冷启动”的问题，即在***启动之初，“region0”中的redis已经有数据，其他的数据中心中尚没有数据，需要先把已有数据同步。针对这个问题，我们采用了“数据重写”的方法来触发同步，即通过管理脚本，读出主节点中的数据后重新写入其中，这样相应的数据就可以同步到各个数据中心了。当在新的数据中心开启了服务节点，同样可以采取这种办法。
进一步地，增量同步最主要的问题就是不能保证数据的一致性，如对于一份数据，单单在dispatcher调用数据中心“region 2”的lambda服务时出错，“region 2”中的数据就和其他的不一致了，而且没有外界干预的话，这个数据错误也不会自己恢复。针对这个问题，我们有错误反馈机制，即当collector、dispatcher以及lambda等组件发生错误时，它们会把因错误不能同步的数据记录到AWS SQS中，再由运行在AWS lambda上的watchman模块处理，重新写入redis进行同步。
第二实施例
为了更好地配合本发明第一实施例提供的所述广告数据同步方法，本发明第二实实施例提供了一种广告数据同步装置100。
请参考图3，图3为本发明第二实施例提供的一种广告数据同步装置的模块示意图。
广告数据同步装置100包括连接模块110、流数据处理平台写入模块120和转发模块130。
连接模块110，用于连接至存储***主节点。
流数据处理平台写入模块120，用于采用收集器将所述存储***主节点的同步广告数据写入流数据处理平台。
转发模块130，用于采用分发器将所述流数据处理平台中的所述同步广告数据转发给各存储***从节点的代码调用模块。
可选地，流数据处理平台写入模块120包括接收单元和写入单元。所述接收单元，用于接收基于主从同步机制由所述存储***主节点发送来的同步广告数据，所述同步广告数据包括对广告数据的写操作。所述写入单元，用于采用收集器将所述同步广告数据写入流数据处理平台。
可选地，转发模块130包括读取单元和并发调用单元。所述读取单元，用于采用分发器读取所述同步广告数据。所述并发调用单元，用于并发调用各存储***从节点的代码调用模块，将所述同步广告数据转发给各存储***从节点的代码调用模块。
进一步地，广告数据同步装置100还可以包括：从节点写入模块140，用于接受代码调用模块的调用，将同步广告数据写入存储***从节点。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
第三实施例
请参考图4，图4为本发明第三实施例提供的一种可应用于本申请实施例中的电子设备的结构框图。电子设备200可以包括广告数据同步装置100、存储器201、存储控制器202、处理器203、外设接口204、输入输出单元205、音频单元206、显示单元207。
所述存储器201、存储控制器202、处理器203、外设接口204、输入输出单元205、音频单元206、显示单元207各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述广告数据同步装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器201中或固化在广告数据同步装置100的操作***(operating system，OS)中的软件功能模块。所述处理器203用于执行存储器201中存储的可执行模块，例如广告数据同步装置100包括的软件功能模块或计算机程序。
其中，存储器201可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。其中，存储器201用于存储程序，所述处理器203在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器203中，或者由处理器203实现。
处理器203可以是一种集成电路芯片，具有信号的处理能力。上述的处理器203可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器203也可以是任何常规的处理器等。
所述外设接口204将各种输入/输出装置耦合至处理器203以及存储器201。在一些实施例中，外设接口204，处理器203以及存储控制器202可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
输入输出单元205用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元205可以是，但不限于，鼠标和键盘等设备。
音频单元206向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元207在所述电子设备200与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元207可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器203进行计算和处理。
可以理解，图4所示的结构仅为示意，所述电子设备200还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
综上所述，本发明实施例提供了一种广告数据同步方法及装置，所述方法包括：连接至存储***主节点；采用收集器将所述存储***主节点的同步广告数据写入流数据处理平台；采用分发器将所述流数据处理平台中的所述同步广告数据转发给各存储***从节点的代码调用模块。
通过存储***主节点和存储***从节点之间的主从数据同步进行广告数据的更新，提高了所述广告数据同步方法的适用性；该方法只用收集器与存储***主节点连接，降低了存储***主节点的负载，提高了广告数据同步的可靠性和稳定性。进一步地，通过流数据处理平台的并发机制和分发器的并发处理，可以向更大数量的存储***从节点发送广告数据，提高了广告数据同步的效率；同时其通过公网传输广告数据而不必维持连接，对网络波动具有更高的耐性，进一步提高了广告数据同步的可靠性和稳定性；同时，广告数据在公网上的传输采用流数据处理平台的认证机制，提高了广告数据传输的安全性。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种广告数据同步方法，其特征在于，应用于主节点服务器，所述广告数据同步方法包括：
连接至存储***主节点；
采用收集器将所述存储***主节点的同步广告数据写入流数据处理平台；
采用分发器将所述流数据处理平台中的所述同步广告数据转发给各存储***从节点的代码调用模块。
2.根据权利要求1所述的广告数据同步方法，其特征在于，在所述连接至存储***主节点之前，所述广告数据同步方法还包括：
将所述调用收集器作为存储***从节点。
3.根据权利要求1所述的广告数据同步方法，其特征在于，所述采用收集器将所述存储***主节点的同步广告数据写入流数据处理平台，包括：
接收基于主从同步机制由所述存储***主节点发送来的同步广告数据，所述同步广告数据包括对广告数据的写操作；
采用收集器将所述同步广告数据写入流数据处理平台。
4.根据权利要求1所述的广告数据同步方法，其特征在于，所述采用分发器将所述流数据处理平台中的所述同步广告数据转发给代码调用模块，包括：
采用分发器读取所述同步广告数据；
并发调用各存储***从节点的代码调用模块，将所述同步广告数据转发给各存储***从节点的代码调用模块。
5.一种广告数据同步方法，其特征在于，应用于从节点服务器，所述广告数据同步方法包括：
接受代码调用模块的调用，将同步广告数据写入存储***从节点。
6.一种广告数据同步装置，其特征在于，所述广告数据同步装置包括：
连接模块，用于连接至存储***主节点；
流数据处理平台写入模块，用于采用收集器将所述存储***主节点的同步广告数据写入流数据处理平台；
转发模块，用于采用分发器将所述流数据处理平台中的所述同步广告数据转发给各存储***从节点的代码调用模块。
7.根据权利要求6所述的广告数据同步装置，其特征在于，所述流数据处理平台写入模块包括：
接收单元，用于接收基于主从同步机制由所述存储***主节点发送来的同步广告数据，所述同步广告数据包括对广告数据的写操作；
写入单元，用于采用收集器将所述同步广告数据写入流数据处理平台。
8.根据权利要求6所述的广告数据同步装置，其特征在于，所述转发模块包括：
读取单元，用于采用分发器读取所述同步广告数据；
并发调用单元，用于并发调用各存储***从节点的代码调用模块，将所述同步广告数据转发给各存储***从节点的代码调用模块。
9.根据权利要求6所述的广告数据同步装置，其特征在于，所述广告数据同步装置还包括：
从节点写入模块，用于接受代码调用模块的调用，将同步广告数据写入存储***从节点。
10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1-5任一项所述方法中的步骤。
CN201810833142.4A 2018-07-25 2018-07-25 一种广告数据同步方法及装置 Pending CN108898448A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810833142.4A CN108898448A (zh) 2018-07-25 2018-07-25 一种广告数据同步方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810833142.4A CN108898448A (zh) 2018-07-25 2018-07-25 一种广告数据同步方法及装置

Publications (1)

Publication Number Publication Date
CN108898448A true CN108898448A (zh) 2018-11-27

Family

ID=64351755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810833142.4A Pending CN108898448A (zh) 2018-07-25 2018-07-25 一种广告数据同步方法及装置

Country Status (1)

Country Link
CN (1) CN108898448A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544136A (zh) * 2019-09-10 2019-12-06 恩亿科(北京)数据科技有限公司 计算同步投放概率的方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060138A (zh) * 2016-06-06 2016-10-26 北京小米移动软件有限公司 更新数据的方法及装置
CN107423404A (zh) * 2017-07-27 2017-12-01 东软集团股份有限公司 流程实例数据同步处理方法和装置
CN107888666A (zh) * 2017-10-27 2018-04-06 北京奇艺世纪科技有限公司 一种跨地域数据存储***以及数据同步方法和装置
CN108038157A (zh) * 2017-12-05 2018-05-15 北京星河星云信息技术有限公司 主从数据库读写方法、***、存储装置和服务器
CN108121782A (zh) * 2017-12-18 2018-06-05 新华三云计算技术有限公司 查询请求的分配方法、数据库中间件***以及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060138A (zh) * 2016-06-06 2016-10-26 北京小米移动软件有限公司 更新数据的方法及装置
CN107423404A (zh) * 2017-07-27 2017-12-01 东软集团股份有限公司 流程实例数据同步处理方法和装置
CN107888666A (zh) * 2017-10-27 2018-04-06 北京奇艺世纪科技有限公司 一种跨地域数据存储***以及数据同步方法和装置
CN108038157A (zh) * 2017-12-05 2018-05-15 北京星河星云信息技术有限公司 主从数据库读写方法、***、存储装置和服务器
CN108121782A (zh) * 2017-12-18 2018-06-05 新华三云计算技术有限公司 查询请求的分配方法、数据库中间件***以及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110544136A (zh) * 2019-09-10 2019-12-06 恩亿科(北京)数据科技有限公司 计算同步投放概率的方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
TWI698108B (zh) 基於區塊鏈的資料處理方法和裝置
US10585691B2 (en) Distribution system, computer, and arrangement method for virtual machine
US9575848B2 (en) Remote data protection in a networked storage computing environment
CN103390041B (zh) 一种基于中间件提供数据服务的方法和***
CN104809201B (zh) 一种数据库同步的方法和装置
JP2023546249A (ja) トランザクション処理方法、装置、コンピュータ機器及びコンピュータプログラム
CN105187464B (zh) 一种分布式存储***中的数据同步方法、装置及***
CN109408523B (zh) 数据共享方法、装置、数据共享平台、电子设备
CN107464151B (zh) 高并发业务的订单数据处理方法及装置
CN106993064A (zh) 一种基于Openstack云平台实现海量数据可伸缩性存储的***及其构建方法与应用
CN107977396B (zh) 一种KeyValue数据库的数据表的更新方法与表数据更新装置
US10326655B1 (en) Infrastructure replication
US10990455B2 (en) Management of application programming interface (API) retention
CN107273440A (zh) 计算机应用、数据存储方法、微服务和微数据库
CN108897638A (zh) 数据备份方法、装置、计算机设备和存储介质
CN110209730A (zh) 变更数据的同步方法、装置、计算机设备及计算机存储介质
CN110543354A (zh) 任务调度方法、装置、设备及存储介质
CN108200070A (zh) 一种生成榜单的方法及装置
CN110474820A (zh) 流量回放方法、装置、电子设备
CN110795443A (zh) 数据同步的方法、装置、设备和计算机可读介质
CN114443908A (zh) 图数据库构建方法、***、终端及存储介质
CN110457263A (zh) 一种数据存储方法和装置
CN111352592B (zh) 磁盘读写控制方法、装置、设备及计算机可读存储介质
CN110062029A (zh) 变更数据同步的方法、装置、计算机设备及计算机存储介质
CN109614271A (zh) 多个集群数据一致性的控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181127

RJ01 Rejection of invention patent application after publication