CN110209642A - 信息处理的方法、装置、服务器及计算机可读介质 - Google Patents

信息处理的方法、装置、服务器及计算机可读介质 Download PDF

Info

Publication number
CN110209642A
CN110209642A CN201810113384.6A CN201810113384A CN110209642A CN 110209642 A CN110209642 A CN 110209642A CN 201810113384 A CN201810113384 A CN 201810113384A CN 110209642 A CN110209642 A CN 110209642A
Authority
CN
China
Prior art keywords
journal file
data
target data
server
network side
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810113384.6A
Other languages
English (en)
Inventor
黄远强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ELEX Technology Co Ltd
Original Assignee
Beijing ELEX Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ELEX Technology Co Ltd filed Critical Beijing ELEX Technology Co Ltd
Priority to CN201810113384.6A priority Critical patent/CN110209642A/zh
Priority to JP2018114674A priority patent/JP6605078B2/ja
Priority to KR1020180070027A priority patent/KR20190095066A/ko
Priority to US16/016,313 priority patent/US20190245919A1/en
Priority to EP18179472.8A priority patent/EP3522042A1/en
Publication of CN110209642A publication Critical patent/CN110209642A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种信息处理的方法、装置、服务器及计算机可读介质，涉及信息处理技术领域，用以进一步提高数据存储的稳定性。在该方法中，服务器响应于客户端发起的数据修改请求，对所述数据修改请求指定的第一目标数据进行修改，得到第二目标数据；将所述第二目标数据按照指定方式写入日志文件；将所述日志文件同步至网络侧数据库。本发明实施例可适用于设备内存数据稳定性管理的过程中。

Description

信息处理的方法、装置、服务器及计算机可读介质
【技术领域】
本发明涉及信息处理技术领域，尤其涉及一种信息处理的方法、装置、服务器及计算机可读介质。
【背景技术】
服务器端经常在用户登录高峰期间会产生信息处理延时变长，给客户端的响应变慢的情况，究其原因主要是因为随着用户登录数的增长，服务器内部并发操作变多,比如：同时访问数据库。为了保证***逻辑的正确，对于并发访问数据库的操作往往需要加资源锁来保证操作串行执行，导致很多操作等待执行的时间变长。为了解决或者缓解这样的问题,服务器端通常采用将数据库数据加载到内存中，然后直接操作内存来提升并发处理速度。
通常的技术方案是以用户为单位，把用户相关的数据都从数据库中一次性加载到服务器内存中，用户的所有操作都只会操作自己对应的内存数据，当数据修改以后会直接向用户反馈操作结果，然后定期将内存中修改后的数据写回到下游的数据库中，以保证能够稳定存储数据，不造成数据丢失。
这种方式虽然能够在一定程度上保证数据的稳定性，但是在极端情况下，比如服务器掉电宕机，此时内存数据若还未及时写回到数据库，仍然则会造成数据的丢失。
【发明内容】
有鉴于此，本发明实施例提供了一种信息处理的方法、装置、服务器及计算机可读介质，用以进一步提高数据存储的稳定性。
第一方面，本发明实施例提供了一种信息处理的方法，执行于服务器，所述方法包括：
响应于客户端发起的数据修改请求，对所述数据修改请求指定的第一目标数据进行修改，得到第二目标数据；
将所述第二目标数据按照指定方式写入日志文件；
将所述日志文件同步至网络侧数据库。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述将所述第二目标数据按照指定方式写入日志文件包括：
当所述日志文件为空时，将所述第二目标数据直接写入所述日志文件；
当所述日志文件不为空时，在所述日志文件已存储内容的结尾位置之后添加所述第二目标数据。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述将所述日志文件同步至网络侧数据库包括：
从所述日志文件中提取待同步的第三目标数据；
将所述第三目标数据同步至所述网络侧数据库；
从所述日志文件中删除所述第三目标数据。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，在所述将所述第二目标数据按照指定方式写入日志文件之后，还包括：
向所述客户端返回操作成功提示信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，还包括：
当所述服务器启动时，从所述本地存储中读取所述日志文件；
根据所述日志文件已存储的内容，对所述网络侧数据库进行数据更新。
第二方面，本发明实施例一种信息处理的装置，执行于服务器，所述装置包括：
修改单元，用于响应于客户端发起的数据修改请求，对所述数据修改请求指定的第一目标数据进行修改，得到第二目标数据；
写入单元，用于将所述第二目标数据按照指定方式写入日志文件；
同步单元，用于将所述日志文件同步至网络侧数据库。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述写入单元用于当所述日志文件为空时，将所述第二目标数据直接写入所述日志文件；当所述日志文件不为空时，在所述日志文件已存储内容的结尾位置之后添加所述第二目标数据。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述同步单元包括：
提取模块，用于从所述日志文件中提取待同步的第三目标数据；
同步模块，用于将所述第三目标数据同步至所述网络侧数据库；
删除模块，用于从所述日志文件中删除所述第三目标数据。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，包括：
返回单元，用于向所述客户端返回操作成功提示信息。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，还包括：
读取单元，用于当所述服务器启动时，从所述本地存储中读取所述日志文件；
更新单元，用于根据所述日志文件已存储的内容，对所述网络侧数据库进行数据更新。
第三方面，本发明实施例一种服务器，包括处理器、存储器、通信接口、总线；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述服务器运行时，所述处理器执行所述存储器存储的计算机执行指令，以使所述服务器执行如第一方面及第一方面各可能的实施方式所述方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面及第一方面各可能的实施方式所述方法的步骤。
本发明实施例提供的一种信息处理的方法、装置、服务器及计算机可读介质，可以将每次内存修改后的数据均同步存储到日志文件中，再将日志文件同步至网络侧数据库中。由于日志文件可以被快速地存储在服务器的本地存储中，因此即使出现服务器掉电的情况，也可以保证修改后的数据不会丢失。相比于现有技术中，需要周期性导入才能将内存数据同步至网络侧数据库来说，日志文件可以被快速写入数据，以保证在掉电后不丢失修改后的数据，从而增加了数据存储的稳定性。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1是现有技术中一种通信***的结构框图；
图2是现有技术中一种数据同步的方法流程图；
图3是本发明实施例提供的一种通信***的结构框图；
图4是本发明实施例提供的一种信息处理的方法流程图；
图5是本发明实施例提供的另一种信息处理的方法流程图；
图6是本发明实施利提供的一种日志文件空闲区域的示意图；
图7是本发明实施例提供的另一种信息处理的方法流程图；
图8是本发明实施例提供的另一种信息处理的方法流程图；
图9是本发明实施例提供的另一种信息处理的方法流程图；
图10是本发明实施例提供的一种信息处理的装置的组成框图；
图11是本发明实施例提供的另一种信息处理的装置的组成框图；
图12是本发明实施例提供的另一种信息处理的装置的组成框图；
图13是本发明实施例提供的另一种信息处理的装置的组成框图；
图14是本发明实施例提供的一种服务器的组成框图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
本发明实施例提供了一种信息处理的方法，可适用于各类B/S或C/S架构。在各类结构下的服务器均可实现处理和响应客户的请求、读取和写入数据等功能。其组成可包括处理器、内存、网络侧数据库等，可参照图1所示结构。
参照如图2所示流程，在此简单介绍一下客户端发起数据修改请求时服务器一侧的一般处理流程。
S1、处理器接收客户端发起的数据修改请求。
S2、在确定数据修改请求指定的目标数据后，处理器会向内存发起数据修改指令。
S3、内存在接收到数据修改指令后，会相应执行数据修改操作，以完成对内存中相应数据的修改。
S4、内存在完成数据修改的操作后，会将数据操作结果反馈给处理器。
S5、内存会周期性地将修改后的数据同步网络侧数据库中。
S6、处理器在接收到内存反馈的数据操作结果后，将数据操作结果转发给客户端。
在该流程中，S4和S5之间会存在一定的时间间隔，并且随着处理器的工作压力的增大和内存IO请求队列的增多，这一时间间隔可能会越来越长，在这过程中如果出现设备掉电的话，会造成内存中的数据全部丢失，但是网络侧数据库中的数据却因未进行同步而保持了修改前的数据内容。这样当服务器重新上电工作后，客户端使用的数据与服务器侧存储的数据就会出现不统一的情况，从而严重影响客户端与服务器之间的后续信息处理。
为了避免出现前述现有技术中因掉电造成数据丢失的情况出现，本发明实施例将使用日志文件来存储修改后的数据内容。适用于如图3所示的***架构，与图2相比，本发明实施例在服务器中引入了对服务器本地存储的应用。本地存储与网络侧数据库在本发明实施例中所关心的实质区别在于本地存储可与服务器的内存通过数据总线等方式进行通信，传输速度快，传输距离短，而网络侧数据库与服务器的内存需通过网路连接等方式进行通信，相较本地存储而言，传输速度略慢，传输距离比较长。
基于如图3所示架构，本发明实施例提供的信息处理方法如图4所示，包括：
101、响应于客户端发起的数据修改请求，对所述数据修改请求指定的第一目标数据进行修改，得到第二目标数据。
其中，第一目标数据和第二目标数据代指对应于同一数据修改请求，内存中修改前和修改后的数据。
102、将所述第二目标数据按照指定方式写入日志文件。
此处描述的指定方式是指将第二目标数据写入日志文件时的数据写入方式，在本发明实施例中，指定方式可以包括随机写入和追加写入两种方式。随机写入是指在日志文件中的任意位置写入，可能会造成原有数据的删除和修改；追加写入是指在不影响日志文件已存储内容的基础上进行新的数据存储。
优选的，为保证各项修改后的数据在日志文件中存储的准确性，本发明实施例可使用追加写入的方式，其具体实现流程将在后续部分说明。
日志文件放置于服务器本地存储中。
103、将所述日志文件同步至网络侧数据库。
在本发明实施例中，本地存储为任何非易失性存储介质或基于非易失性存储介质配置的虚拟存储空间。
本发明实施例提供的一种信息处理的方法，可以将每次内存修改后的数据均同步存储到日志文件中，再将日志文件同步至网络侧数据库中。由于日志文件可以被快速地存储在服务器的本地存储中，因此即使出现服务器掉电的情况，也可以保证修改后的数据不会丢失。相比于现有技术中，需要周期性导入才能将内存数据同步至网络侧数据库来说，日志文件可以被快速写入数据，以保证在掉电后不丢失修改后的数据，从而增加了数据存储的稳定性。
针对追加写入的方式，本发明实施例为步骤102提供了具体的实现方法，如图5所示，包括：
1021、当所述日志文件为空时，将所述第二目标数据直接写入所述日志文件。
1022、当所述日志文件不为空时，在所述日志文件已存储内容的结尾位置之后添加所述第二目标数据。
其中，日志文件是预先创建在服务器本地存储上的一种符合特定格式的文件，在本发明实施例中该日志文件仅用于存储内存中被修改后的数据。在该日志文件中的各个数据可以维持其导入内存时所使用的数据格式，以方便在从日志文件中被读取后不需要重新进行解析等操作就可以直接进行使用。
另外，本发明实施例所使用的追加写入方式要求无论目前日志文件内部目前存储的数据分布情况如何，新添加的数据必须置于所有已有数据的尾部。可以理解为如果在该日志文件中因为进行同步删除或冗余精简等操作而造成多段数据之间存在空闲存储空间，这些空闲存储空间也是不得被使用的。如图6所示的存储空间示意图可以作为理解上述要求的辅助信息，在该示意图中区域1、2、3均是空闲存储空间，但只有区域3位于所有已有数据的尾部，因此可以被使用，相对的，区域1和2是不可使用的。当然，若服务器存储空间比较有限时，也可以在区域1或2中添加数据，但是需要附加一些信息来保证数据的时效性，例如版本号、时间戳等。
虽然单条数据写入日志文件的速度也不会超过1ms，但是为了进一步提高存储速度，避免大数据并发情况而造成的性能降低，本发明实施例优选使用追加写入的方式来完成对日志文件的数据导入。
另外，需要说明的是，日志文件并不限于只有一个，根据实际需要可以存在一个或多个日志文件。若存在多个日志文件的时候，可以选择优先在一个日志文件中添加数据直至日志文件结尾处没有空闲空间，再向另一个日志文件中存储数据。或者，可以随机选择一个日志文件进行数据添加，本发明实施例对此不做特别限定。
为了避免从服务器本地向网路侧进行数据同步时造成不必要的重复操作，因此在从日志文件同步过的数据需要进行删除。本发明实施例一个可行的实施方式中提供了步骤103的具体实现流程，如图7所示，包括：
1031、从所述日志文件中提取待同步的第三目标数据。
其中，第三目标数据为日志文件中随机选出的数据或者是根据预设筛选策略提取出来的数据。预设筛选策略可以包括按照文件内存储位置的前后顺序依次提取、按照文件内各条数据写入的时间前后依次提取、按照文件内各条数据占用存储空间的大小顺序依次提取等等。本发明实施例对此不做限制。
1032、将所述第三目标数据同步至所述网络侧数据库。
1033、从所述日志文件中删除所述第三目标数据。
为了方便让客户端了解到数据修改操作已经完成，因此在步骤102执行之后还需要通知客户端，本发明实施例所提供的相应实现流程如图8所示，包括：
104、向所述客户端返回操作成功提示信息。
当出现服务器掉电宕机后，需要基于已有日志文件完成对网络侧数据进行更新，在本发明实施例的一种可行的实现方式中提供了相应的实现流程，如图9所示，包括：
105、当所述服务器启动时，从所述本地存储中读取所述日志文件。
为了确保网络侧数据库中存储数据的准确性，启动服务器之后，在为客户端等设备进行服务之前，需要优先进行基于日志文件的数据同步。数据完成同步后，可以选择清空日志文件或直接删除日志文件。相应的，当有新的修改数据生成后，可以选择在已有的日志文件中追加写入，或者，重新建立新的日志文件写入。
106、根据所述日志文件已存储的内容，对所述网络侧数据库进行数据更新。
为方便理解，在此将通过以下步骤简单地描述本发明实施例总体实现流程。该流程包括：
1.用户登录时，服务器从网络侧数据库把用户所有数据都加载到内存。
2.用户所有的操作导致客户端需要发起对内存数据的修改。
3.修改完内存数据以后，服务器将修改后的数据填写到一个日志文件，然后再告知客户端操作成功。同时，新的修改数据通过追加写入的方式添加入日志文件中。
4.通过该日志文件将修改后的数据保存在服务器本地存储中。
5.启动后台线程定期在日志文件中记录的被修改过的内存数据写回到网络侧数据库中保存，并删除提交日志中对应的记录。
6.每次服务端重新启动，会首先检查日志文件中是否有剩余记录，有的话，将优先日志文件中已有的数据都优先写回到数据库，再处理其它业务。
本发明实施例还提供了一种信息处理的装置，执行于服务器，可用于实现前述各方法流程，如图10所示，所述装置包括：
修改单元21，用于响应于客户端发起的数据修改请求，对所述数据修改请求指定的第一目标数据进行修改，得到第二目标数据。
写入单元22，用于将所述第二目标数据按照指定方式写入日志文件。
同步单元23，用于将所述日志文件同步至网络侧数据库。
可选的是，所述写入单元22用于当所述日志文件为空时，将所述第二目标数据直接写入所述日志文件。当所述日志文件不为空时，在所述日志文件已存储内容的结尾位置之后添加所述第二目标数据。
可选的是，如图11所示，所述同步单元23包括：
提取模块231，用于从所述日志文件中提取待同步的第三目标数据。
同步模块232，用于将所述第三目标数据同步至所述网络侧数据库。
删除模块233，用于从所述日志文件中删除所述第三目标数据。
可选的是，如图12所示，包括：
返回单元24，用于向所述客户端返回操作成功提示信息。
可选的是，如图13所示，还包括：
读取单元25，用于当所述服务器启动时，从所述本地存储中读取所述日志文件。
更新单元26，用于根据所述日志文件已存储的内容，对所述网络侧数据库进行数据更新。
本发明实施例提供的一种信息处理的装置，可以将每次内存修改后的数据均同步存储到日志文件中，再将日志文件同步至网络侧数据库中。由于日志文件可以被快速地存储在服务器的本地存储中，因此即使出现服务器掉电的情况，也可以保证修改后的数据不会丢失。相比于现有技术中，需要周期性导入才能将内存数据同步至网络侧数据库来说，日志文件可以被快速写入数据，以保证在掉电后不丢失修改后的数据，从而增加了数据存储的稳定性。
本发明实施例提供了一种服务器30，如图14所示，包括至少一个处理器31，通信总线32，存储器33以及至少一个通信接口34。
处理器31可以是一个通用中央处理器(central processing unit，CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本申请方案程序执行的集成电路。
通信总线32可包括一通路，在上述组件之间传送信息。
通信接口34，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。
存储器33可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，存储器33用于存储执行本申请方案的应用程序代码，并由处理器31来控制执行。处理器31用于执行存储器33中存储的应用程序代码，当所述服务器运行时，所述处理器31执行所述存储器33存储的计算机执行指令，以使所述服务器可执行以下流程：
响应于客户端发起的数据修改请求，对所述数据修改请求指定的第一目标数据进行修改，得到第二目标数据；
将所述第二目标数据按照指定方式写入日志文件；
将所述日志文件同步至网络侧数据库。
可选的是，所述将所述第二目标数据按照指定方式写入日志文件可具体执行为：
当所述日志文件为空时，将所述第二目标数据直接写入所述日志文件；
当所述日志文件不为空时，在所述日志文件已存储内容的结尾位置之后添加所述第二目标数据。
可选的是，所述将所述日志文件同步至网络侧数据库可具体执行为：
从所述日志文件中提取待同步的第三目标数据；
将所述第三目标数据同步至所述网络侧数据库；
从所述日志文件中删除所述第三目标数据。
可选的是，在所述将所述第二目标数据按照指定方式写入日志文件之后，所述处理器31还可执行：
向所述客户端返回操作成功提示信息。
可选的是，所述处理器31还可执行：
当所述服务器启动时，从所述本地存储中读取所述日志文件；
根据所述日志文件已存储的内容，对所述网络侧数据库进行数据更新。
本发明实施例提供的一种服务器，可以将每次内存修改后的数据均同步存储到日志文件中，再将日志文件同步至网络侧数据库中。由于日志文件可以被快速地存储在服务器的本地存储中，因此即使出现服务器掉电的情况，也可以保证修改后的数据不会丢失。相比于现有技术中，需要周期性导入才能将内存数据同步至网络侧数据库来说，日志文件可以被快速写入数据，以保证在掉电后不丢失修改后的数据，从而增加了数据存储的稳定性。
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下方法步骤：
响应于客户端发起的数据修改请求，对所述数据修改请求指定的第一目标数据进行修改，得到第二目标数据；
将所述第二目标数据按照指定方式写入日志文件；
将所述日志文件同步至网络侧数据库。
可选的是，所述将所述第二目标数据按照指定方式写入日志文件可具体执行为：
当所述日志文件为空时，将所述第二目标数据直接写入所述日志文件；
当所述日志文件不为空时，在所述日志文件已存储内容的结尾位置之后添加所述第二目标数据。
可选的是，所述将所述日志文件同步至网络侧数据库可具体执行为：
从所述日志文件中提取待同步的第三目标数据；
将所述第三目标数据同步至所述网络侧数据库；
从所述日志文件中删除所述第三目标数据。
可选的是，在所述将所述第二目标数据按照指定方式写入日志文件之后，还包括：
向所述客户端返回操作成功提示信息。
可选的是，还包括：
当所述服务器启动时，从所述本地存储中读取所述日志文件；
根据所述日志文件已存储的内容，对所述网络侧数据库进行数据更新。
本发明实施例提供的一种计算机可读存储介质，可以将每次内存修改后的数据均同步存储到日志文件中，再将日志文件同步至网络侧数据库中。由于日志文件可以被快速地存储在服务器的本地存储中，因此即使出现服务器掉电的情况，也可以保证修改后的数据不会丢失。相比于现有技术中，需要周期性导入才能将内存数据同步至网络侧数据库来说，日志文件可以被快速写入数据，以保证在掉电后不丢失修改后的数据，从而增加了数据存储的稳定性。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种信息处理的方法，其特征在于，执行于服务器，所述方法包括：
响应于客户端发起的数据修改请求，对所述数据修改请求指定的第一目标数据进行修改，得到第二目标数据；
将所述第二目标数据按照指定方式写入日志文件；
将所述日志文件同步至网络侧数据库。
2.根据权利要求1所述的方法，其特征在于，所述将所述第二目标数据按照指定方式写入日志文件包括：
当所述日志文件为空时，将所述第二目标数据直接写入所述日志文件；
当所述日志文件不为空时，在所述日志文件已存储内容的结尾位置之后添加所述第二目标数据。
3.根据权利要求1所述的方法，其特征在于，所述将所述日志文件同步至网络侧数据库包括：
从所述日志文件中提取待同步的第三目标数据；
将所述第三目标数据同步至所述网络侧数据库；
从所述日志文件中删除所述第三目标数据。
4.根据权利要求1所述的方法，其特征在于，在所述将所述第二目标数据按照指定方式写入日志文件之后，还包括：
向所述客户端返回操作成功提示信息。
5.根据权利要求1所述的方法，其特征在于，还包括：
当所述服务器启动时，从所述本地存储中读取所述日志文件；
根据所述日志文件已存储的内容，对所述网络侧数据库进行数据更新。
6.一种信息处理的装置，其特征在于，执行于服务器，所述装置包括：
修改单元，用于响应于客户端发起的数据修改请求，对所述数据修改请求指定的第一目标数据进行修改，得到第二目标数据；
写入单元，用于将所述第二目标数据按照指定方式写入日志文件；
同步单元，用于将所述日志文件同步至网络侧数据库。
7.根据权利要求6所述的装置，其特征在于，所述写入单元用于当所述日志文件为空时，将所述第二目标数据直接写入所述日志文件；当所述日志文件不为空时，在所述日志文件已存储内容的结尾位置之后添加所述第二目标数据。
8.根据权利要求6所述的装置，其特征在于，所述同步单元包括：
提取模块，用于从所述日志文件中提取待同步的第三目标数据；
同步模块，用于将所述第三目标数据同步至所述网络侧数据库；
删除模块，用于从所述日志文件中删除所述第三目标数据。
9.根据权利要求6所述的装置，其特征在于，包括：
返回单元，用于向所述客户端返回操作成功提示信息。
10.根据权利要求6所述的装置，其特征在于，还包括：
读取单元，用于当所述服务器启动时，从所述本地存储中读取所述日志文件；
更新单元，用于根据所述日志文件已存储的内容，对所述网络侧数据库进行数据更新。
11.一种服务器，其特征在于，包括处理器、存储器、通信接口、总线；所述存储器用于存储计算机执行指令，所述处理器与所述存储器通过所述总线连接，当所述服务器运行时，所述处理器执行所述存储器存储的计算机执行指令，以使所述服务器执行如权利要求1至5任意一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5任意一项所述方法的步骤。
CN201810113384.6A 2018-02-05 2018-02-05 信息处理的方法、装置、服务器及计算机可读介质 Pending CN110209642A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810113384.6A CN110209642A (zh) 2018-02-05 2018-02-05 信息处理的方法、装置、服务器及计算机可读介质
JP2018114674A JP6605078B2 (ja) 2018-02-05 2018-06-15 情報処理方法、情報処理装置、サーバ及びコンピュータ読み取り可能な記録媒体
KR1020180070027A KR20190095066A (ko) 2018-02-05 2018-06-19 정보 처리 방법, 장치, 서버 및 컴퓨터 판독 가능 매체
US16/016,313 US20190245919A1 (en) 2018-02-05 2018-06-22 Method and apparatus for information processing, server and computer readable medium
EP18179472.8A EP3522042A1 (en) 2018-02-05 2018-06-25 Method and apparatus for information processing, server and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810113384.6A CN110209642A (zh) 2018-02-05 2018-02-05 信息处理的方法、装置、服务器及计算机可读介质

Publications (1)

Publication Number Publication Date
CN110209642A true CN110209642A (zh) 2019-09-06

Family

ID=62909327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810113384.6A Pending CN110209642A (zh) 2018-02-05 2018-02-05 信息处理的方法、装置、服务器及计算机可读介质

Country Status (5)

Country Link
US (1) US20190245919A1 (zh)
EP (1) EP3522042A1 (zh)
JP (1) JP6605078B2 (zh)
KR (1) KR20190095066A (zh)
CN (1) CN110209642A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563017A (zh) * 2020-04-28 2020-08-21 北京字节跳动网络技术有限公司 数据处理方法及装置
CN111858749A (zh) * 2020-06-15 2020-10-30 武汉旷视金智科技有限公司 底库同步方法、装置和电子***
CN112084264A (zh) * 2020-09-11 2020-12-15 北京金山云网络技术有限公司 一种日志数据同步方法、装置及服务器
CN113342885A (zh) * 2021-06-15 2021-09-03 深圳前海微众银行股份有限公司 数据导入方法、装置、设备及计算机程序产品
CN113419937A (zh) * 2021-06-29 2021-09-21 达梦数据技术(江苏)有限公司 一种数据和日志一体化的值日志实现方法、装置、设备及存储介质
CN114077639A (zh) * 2020-08-20 2022-02-22 北京字节跳动网络技术有限公司 数据写入方法、装置、电子设备和存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647511A (zh) * 2019-09-27 2020-01-03 掌阅科技股份有限公司 数据同步方法、计算设备及计算机存储介质
CN111104328B (zh) * 2019-12-20 2023-03-21 北京明略软件***有限公司 用例生成方法、装置、计算机设备和可读存储介质
CN111625605B (zh) * 2020-06-02 2024-05-10 北京金堤科技有限公司 信息同步方法和装置、以及存储介质和电子设备
CN111787088B (zh) 2020-06-28 2023-04-28 百度在线网络技术（北京）有限公司 小程序数据处理的方法和装置
CN112001617B (zh) * 2020-08-14 2022-06-03 苏州浪潮智能科技有限公司 一种报表生成进度方法、装置、设备及可读存储介质
CN112800006B (zh) * 2021-01-27 2023-05-26 杭州迪普科技股份有限公司 用于网络设备的日志存储方法及装置
CN113297148B (zh) * 2021-06-18 2023-06-06 杭州安恒信息安全技术有限公司 业务日志数据的采集方法、装置、设备及可读存储介质
CN113626393B (zh) * 2021-06-28 2023-07-14 苏州浪潮智能科技有限公司 一种日志切割方法及相关装置
CN113608897A (zh) * 2021-08-24 2021-11-05 京东科技控股股份有限公司 数据处理和应用服务器运行的方法、装置、设备及介质
CN115278357B (zh) * 2022-07-06 2024-07-12 海南乾唐视联信息技术有限公司 数据处理方法、装置、通信装置和存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0553897A (ja) * 1991-08-27 1993-03-05 Matsushita Electric Works Ltd データベースシステム
US5996088A (en) * 1997-01-22 1999-11-30 Oracle Corporation High-speed database checkpointing through sequential I/O to disk
JP2004078461A (ja) * 2002-08-14 2004-03-11 Access:Kk ログ記録方法、ファイル管理プログラム、および情報機器
US20040078370A1 (en) * 2002-10-17 2004-04-22 International Business Machines Corporation Method and apparatus for real time creation and modification of a change log for multi-server synchronization
US20050138111A1 (en) * 2003-10-15 2005-06-23 Microsoft Corporation On-line service/application monitoring and reporting system
US20060010130A1 (en) * 2004-07-09 2006-01-12 Avraham Leff Method and apparatus for synchronizing client transactions executed by an autonomous client
CN101369283A (zh) * 2008-09-25 2009-02-18 中兴通讯股份有限公司 一种内存数据库与物理数据库间的数据同步方法及***
CN103268351A (zh) * 2013-05-31 2013-08-28 网易（杭州）网络有限公司 一种数据同步方法和设备
US8938429B1 (en) * 2011-03-31 2015-01-20 Emc Corporation Resynchronization of nonactive and active segments
JP2015191307A (ja) * 2014-03-27 2015-11-02 日本電気株式会社 トランザクションシステム
CN105159795A (zh) * 2015-08-21 2015-12-16 小米科技有限责任公司 数据同步方法、装置和***
CN105701190A (zh) * 2016-01-07 2016-06-22 深圳市金证科技股份有限公司 一种数据同步的方法和装置
US20160204992A1 (en) * 2015-01-09 2016-07-14 Microsoft Technology Licensing, Llc Dynamic telemetry message profiling and adjustment
US20170161350A1 (en) * 2011-05-23 2017-06-08 Microsoft Technology Licensing, Llc Synchronous replication in a distributed storage environment
CN106844574A (zh) * 2017-01-05 2017-06-13 ***股份有限公司 一种远程数据同步的方法和装置
CN106897338A (zh) * 2016-07-04 2017-06-27 阿里巴巴集团控股有限公司 一种针对数据库的数据修改请求处理方法及装置
US20170237791A1 (en) * 2016-02-17 2017-08-17 Quickbiz Holdings Limited, Apia User interface content state synchronization across devices

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870765A (en) * 1996-10-09 1999-02-09 Oracle Corporation Database synchronizer
WO1998040805A2 (en) * 1997-02-27 1998-09-17 Siebel Systems, Inc. Method of synchronizing independently distributed software and database schema
JP2004252828A (ja) * 2003-02-21 2004-09-09 Mitsubishi Electric Corp データベース検索システム
JP4859605B2 (ja) * 2006-09-20 2012-01-25 株式会社日立製作所 情報処理システム
JP2008165328A (ja) * 2006-12-27 2008-07-17 Brother Ind Ltd データ同期システム、取得端末、提供端末、取得プログラム及び提供プログラム
US20130332413A1 (en) * 2012-06-07 2013-12-12 International Business Machines Corporation Reducing data transfers while eliminating data loss for asynchronous replication of databases
US9922086B1 (en) * 2017-01-06 2018-03-20 Amazon Technologies, Inc. Consistent query of local indexes
US20180217910A1 (en) * 2017-01-27 2018-08-02 Ca, Inc. Scalable data logging
US11243945B2 (en) * 2017-12-11 2022-02-08 International Business Machines Corporation Distributed database having blockchain attributes
US10769114B2 (en) * 2017-12-14 2020-09-08 Google Llc Database syncing

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0553897A (ja) * 1991-08-27 1993-03-05 Matsushita Electric Works Ltd データベースシステム
US5996088A (en) * 1997-01-22 1999-11-30 Oracle Corporation High-speed database checkpointing through sequential I/O to disk
JP2004078461A (ja) * 2002-08-14 2004-03-11 Access:Kk ログ記録方法、ファイル管理プログラム、および情報機器
US20040078370A1 (en) * 2002-10-17 2004-04-22 International Business Machines Corporation Method and apparatus for real time creation and modification of a change log for multi-server synchronization
US20050138111A1 (en) * 2003-10-15 2005-06-23 Microsoft Corporation On-line service/application monitoring and reporting system
US20060010130A1 (en) * 2004-07-09 2006-01-12 Avraham Leff Method and apparatus for synchronizing client transactions executed by an autonomous client
CN101369283A (zh) * 2008-09-25 2009-02-18 中兴通讯股份有限公司 一种内存数据库与物理数据库间的数据同步方法及***
US8938429B1 (en) * 2011-03-31 2015-01-20 Emc Corporation Resynchronization of nonactive and active segments
US20170161350A1 (en) * 2011-05-23 2017-06-08 Microsoft Technology Licensing, Llc Synchronous replication in a distributed storage environment
CN103268351A (zh) * 2013-05-31 2013-08-28 网易（杭州）网络有限公司 一种数据同步方法和设备
JP2015191307A (ja) * 2014-03-27 2015-11-02 日本電気株式会社 トランザクションシステム
US20160204992A1 (en) * 2015-01-09 2016-07-14 Microsoft Technology Licensing, Llc Dynamic telemetry message profiling and adjustment
CN105159795A (zh) * 2015-08-21 2015-12-16 小米科技有限责任公司 数据同步方法、装置和***
CN105701190A (zh) * 2016-01-07 2016-06-22 深圳市金证科技股份有限公司 一种数据同步的方法和装置
US20170237791A1 (en) * 2016-02-17 2017-08-17 Quickbiz Holdings Limited, Apia User interface content state synchronization across devices
CN106897338A (zh) * 2016-07-04 2017-06-27 阿里巴巴集团控股有限公司 一种针对数据库的数据修改请求处理方法及装置
CN106844574A (zh) * 2017-01-05 2017-06-13 ***股份有限公司 一种远程数据同步的方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563017A (zh) * 2020-04-28 2020-08-21 北京字节跳动网络技术有限公司 数据处理方法及装置
CN111563017B (zh) * 2020-04-28 2023-05-16 北京字节跳动网络技术有限公司 数据处理方法及装置
CN111858749A (zh) * 2020-06-15 2020-10-30 武汉旷视金智科技有限公司 底库同步方法、装置和电子***
CN114077639A (zh) * 2020-08-20 2022-02-22 北京字节跳动网络技术有限公司 数据写入方法、装置、电子设备和存储介质
CN112084264A (zh) * 2020-09-11 2020-12-15 北京金山云网络技术有限公司 一种日志数据同步方法、装置及服务器
CN113342885A (zh) * 2021-06-15 2021-09-03 深圳前海微众银行股份有限公司 数据导入方法、装置、设备及计算机程序产品
CN113419937A (zh) * 2021-06-29 2021-09-21 达梦数据技术(江苏)有限公司 一种数据和日志一体化的值日志实现方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US20190245919A1 (en) 2019-08-08
JP6605078B2 (ja) 2019-11-13
EP3522042A1 (en) 2019-08-07
JP2019135637A (ja) 2019-08-15
KR20190095066A (ko) 2019-08-14

Similar Documents

Publication Publication Date Title
CN110209642A (zh) 信息处理的方法、装置、服务器及计算机可读介质
US20170031948A1 (en) File synchronization method, server, and terminal
CN110247984B (zh) 业务处理方法、装置及存储介质
CN102272751B (zh) 在数据库环境通过背景同步的数据完整性
CN106357452A (zh) 一种单点异构数据存储的高可用框架***及其实现方法
CN111475583B (zh) 事务处理方法及装置
CN102867035A (zh) 一种分布式文件***集群高可用方法和装置
US9401957B2 (en) System and method for synchronization between servers
CN113806300B (zh) 数据存储方法、***、装置、设备及存储介质
EP3786802A1 (en) Method and device for failover in hbase system
CN102255866A (zh) 一种数据下载方法及装置
CN108762982B (zh) 一种数据库恢复方法、装置及***
CN111159265B (zh) 一种etl数据迁移方法和***
CN114422537B (zh) 多云存储***、多云数据读写方法及电子设备
CN110109865A (zh) 一种数据存储方法、装置、设备及可读存储介质
CN114448972A (zh) 分布式存储日志压缩下载方法、***、终端及存储介质
CN109462661A (zh) 数据同步方法、装置、计算机设备和存储介质
CN109558270A (zh) 数据备份的方法和装置、数据还原的方法和装置
CN114205333B (zh) Ip配置方法、集群构建方法、计算机设备及存储介质
CN115293365A (zh) 机器学***台和存储介质
CN111147226A (zh) 数据存储方法、装置及存储介质
CN111966650B (zh) 一种运维大数据共享数据表的处理方法、装置及存储介质
CN115189931A (zh) 一种分布式密钥管理方法、装置、设备、存储介质
CN111930841A (zh) 数据同步方法及装置
CN116578247B (zh) 一种基于元数据的数据存取方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190906