CN109525632A - 网关数据上传数据库连接数控制方法、装置、设备及介质 - Google Patents
网关数据上传数据库连接数控制方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN109525632A CN109525632A CN201811158571.2A CN201811158571A CN109525632A CN 109525632 A CN109525632 A CN 109525632A CN 201811158571 A CN201811158571 A CN 201811158571A CN 109525632 A CN109525632 A CN 109525632A
- Authority
- CN
- China
- Prior art keywords
- file
- gateway
- thread
- data
- file destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种网关数据上传数据库连接数控制方法，包括以下步骤：获取网关上传的文件，以及文件的时间戳；对文件进行解压缩，将目标文件根据时间戳保存至对应的文件夹中；生成一个缓存线程池，缓存线程池用于管理扫描线程和数据处理线程，使用阻塞队列，存放扫描线程扫描的目标文件，所述数据处理线程从阻塞队列读取目标文件内容，执行上传数据库操作。本发明还公开了网关数据上传数据库连接数控制装置、电子设备及存储介质。本发明通过把要上传的文件暂时保存成目标文件，不直接入库的方式减少对数据库的压力，另外通过专门的文件扫描服务和数据入库服务，限制入库服务启动的最优线程数来进一步控制数据库连接，提高用户体验。
Description
技术领域
本发明涉及数据入库技术领域，尤其涉及一种物联网关数据上传数据库连接数控制方法、装置、电子设备及介质。
背景技术
现在***的物联网数据采集模块数据上传的方式是设备采集的实时数据统一在网关汇总，然后网关通过4G无线网络或光纤上传到云平台，平台接收到数据后，开启一个线程对数据进行解析校验，验证通过后把数据***数据库中，然而在网关越来越多的时候数据入库容易造成数据库连接占满，表被锁等情况。试想一下如果数据库连接数上限为100，现在有100个以上网关在同时上传数据，那么数据库很快就占满了连接。从用户使用角度来看，由于数据库连接数占满了，其它数据库请求无法执行，就会出现网页上的请求无法响应，界面出现假死现象，给客户带来非常不好的影响。
发明内容
为了克服现有技术数据库连接出现拥堵及占满，连接数无法释放造成的一系列问题，本发明的目的之一在于提供一种网关数据上传数据库连接数控制方法，其通过把要上传的文件暂时保存成目标文件，不直接入库(上传数据库)的方式减少对数据库的压力，另外通过专门的文件扫描服务和数据入库服务，并限制入库服务启动的最优线程数来进一步控制数据库连接，其中还使用了一个线程安全的阻塞队列LinkedBlockingQueue保证数据有序的入库，提高用户体验。
本发明的目的之二在于提供一种网关数据上传数据库连接数控制装置，其通过把要上传的文件暂时保存成目标文件，不直接入库(上传数据库)的方式减少对数据库的压力，另外通过专门的文件扫描服务和数据入库服务，并限制入库服务启动的最优线程数来进一步控制数据库连接，其中还使用了一个线程安全的阻塞队列LinkedBlockingQueue保证数据有序的入库，提高用户体验。
本发明的目的之三在于提供一种实现上述网关数据上传数据库连接数控制方法的电子设备。
本发明的目的之四在于提供一种存储上述网关数据上传数据库连接数控制方法的计算机可读存储介质。
本发明的目的之一采用如下技术方案实现：
一种网关数据上传数据库连接数控制方法，包括以下步骤：
获取网关上传的文件，以及文件的时间戳；
对所述文件进行解压缩，将目标文件根据所述时间戳保存至对应的文件夹中，所述目标文件为解压缩后的文件；
生成一个缓存线程池，所述缓存线程池用于管理扫描线程和数据处理线程，使用阻塞队列，存放扫描线程扫描的目标文件，所述数据处理线程从所述阻塞队列读取目标文件内容，执行上传数据库操作。
进一步地，网关上传文件的文件名称包括网关的S/N码以及时间戳信息，网关上传文件的后缀名为.tar.gz，所述时间戳信息包括分钟信息。
进一步地，获取网关上传的文件，以及文件的时间戳，之后，还包括：
判断所述时间戳是否大于***时间，或者是否比***时间小预设天数，如果时间戳大于***时间，或者比***时间小预设天数，则丢弃所述网关上传的文件，所述预设天数为35天。
进一步地，对所述文件进行解压缩，将所述目标文件根据所述时间戳保存至对应的文件夹中，包括：
将所述目标文件以分钟信息进行分类保存，每个文件夹保存的目标文件的分钟数相同，即共有60个文件夹保存各个目标文件；
所述目标文件的文件名仍以网关的S/N码以及时间戳信息进行命名，目标文件的后缀名为.json。
进一步地，线程数为N+1个，其中一个线程为扫描线程，其余线程均为数据处理线程，N为CPU的核数。
进一步地，使用阻塞队列，存放扫描线程扫描的目标文件，所述数据处理线程从所述阻塞队列读取目标文件内容，执行上传数据库操作，包括：
扫描线程扫描文件夹中后缀名为.json的目标文件，对上述目标文件数据进行解析，把目标文件对象和数据组装在阻塞队列的对象放入队列中，所述扫描线程并将组装后的目标文件的后缀名改为.json.bak；
数据处理线程从所述阻塞队列获取目标文件后，解析目标文件的数据、网关S/N码，执行上传数据库处理，如果上传数据库成功，则将所述目标文件标记为入库成功，对于与标记入库成功的目标文件相同的文件名称的文件，则不再执行上传数据库操作；如果上传数据库失败，则将目标文件的后缀名由.json.bak改为.json。
进一步地，在上传数据库执行过程中：
如果阻塞队列为空，则数据处理线程挂起变成等待状态；
如果阻塞队列已满，则扫描线程挂起变成等待状态。
本发明的目的之二采用如下技术方案实现：
获取模块，用于获取网关上传的文件，以及文件的时间戳；
保存模块，用于对所述文件进行解压缩，将所述目标文件根据所述时间戳保存至对应的文件夹中，所述目标文件为解压缩后的文件；
上传模块，用于生成一个缓存线程池，所述缓存线程池用于管理扫描线程和数据处理线程，使用阻塞队列，存放扫描线程扫描的目标文件，所述数据处理线程从所述阻塞队列读取目标文件内容，执行上传数据库操作。
本发明的目的之三采用如下技术方案实现：
一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明目的之一的网关数据上传数据库连接数控制方法。
本发明的目的之四采用如下技术方案实现：
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明目的之一的网关数据上传数据库连接数控制方法。
相比现有技术，本发明的有益效果在于：
本发明通过把要上传的文件暂时保存成目标文件，不直接入库的方式减少对数据库的压力，另外通过专门的文件扫描服务和数据入库服务，并限制入库服务启动的最优线程数来进一步控制数据库连接，其中还使用了一个线程安全的阻塞队列LinkedBlockingQueue保证数据有序的入库，用户体验好。
附图说明
图1为本发明实施例一的网关数据上传数据库连接数控制方法的流程图；
图2为本发明实施例二的网关数据上传数据库连接数控制装置的结构示意图；
图3为本发明实施例三的电子设备的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例一
本发明实施例一公开了一种网关数据上传数据库连接数控制方法，该方法可以由入库平台(硬件或/和软件)来执行，请参照图1所示，其包括以下步骤：
110、服务器获取网关上传的文件，以及文件的时间戳。
把Xgate网关上传文件到入库平台后，入库平台的接口服务器获取上传文件压缩流，判断时间戳是否大于***时间，或者是否比***时间小预设天数(根据需要设置，例如10天、30天、35天等)，如果时间戳大于***时间，或者比***时间小预设天数，则丢弃所述网关上传的文件。网关上传文件的文件名称包括网关的S/N码以及时间戳信息，网关上传文件的后缀名为.tar.gz，时间戳信息包括分钟信息，例如某个网关上传的文件名称为“SN+20170719081000.tar.gz”，其中，SN为Xgate网关的唯一识别码(S/N码，全网唯一)，20170719081000为时间戳，这样确保所有网关上传的文件不会重名。在本发明较佳的实施例中，时间戳包括年(2017年)、月(07月)、日(19日)、时(08时)、分(10分)和秒(00秒)。其中，10则为该时间戳对应的分钟信息。
120、服务器对所述文件进行解压缩，将目标文件根据所述时间戳保存至对应的文件夹中，所述目标文件为解压缩后的文件。
对网关上传的文件进行解压缩，保存到指定上传根目录文件夹中，解压缩后的文件称为目标文件，130步骤即是对该目标文件进行上传数据库的操作。根据网关上传文件的时间戳中的分钟信息将目标文件保存到指定的根目录文件夹的对应文件夹中进行分类保存，对应文件夹称为目标文件夹，即分类保存的方式是以分钟进行的，每个目标文件夹中的目标文件，其时间戳的分钟信息是相同的，即目标文件夹的个数为60个，分别对应00-59的分钟信息。同时，解压缩后的目标文件仍以网关的S/N码以及时间戳信息进行命名，目标文件的后缀名为.json，例如上述名称为“SN+20170719081000.tar.gz”网关上传文件对应的目标文件为“SN+20170719081000.json”。这样也确保所有目标文件不会重名。
如果网络异常，导致解压缩和保存目标文件失败，则返回失败标志，网关会做重传处理。
通过上述将待上传数据库的文件暂存到目标文件夹中的操作，可以给服务器有一个网络缓冲的过程，减少数据库服务器的压力。
130、生成一个缓存线程池，所述缓存线程池用于管理扫描线程和数据处理线程，使用阻塞队列，存放扫描线程扫描的目标文件，所述数据处理线程从所述阻塞队列读取目标文件内容，执行上传数据库操作。
服务器主程序生成一个缓存线程池(newCacheThreadPool)，用于管理扫描线程和数据处理线程，通过读取服务器操作***的CPU核数来计算需要启动多少线程，最佳的做法是N+1(N为CPU核数)，其中只有一个扫描线程，其它数据处理线程，因为扫描线程需要读取文件有IO操作，为了避免多线程的IO操作引发磁头多次切换造成性能问题，故只起一个扫描线程。
容器类使用一个线程安全的阻塞队列LinkedBlockingQueue，队列长度设置为1000个，用于存放扫描文件列表，队列先进先出，扫描线程只扫描0-59文件夹中的以.json结尾的文件。扫描线程拿到目标文件后解析文件数据，把目标文件对象和数据组装在阻塞队列的对象放入队列中，并把目标文件的文件名重命名为”xxxx.json.bak”，例如上述目标文件“SN+20170719081000.json”则重命名为“SN+20170719081000.json.bak”，防止目标文件重复读取。
数据处理线程不停的从阻塞队列中取，读取目标文件内容解析数据、网关S/N码，执行入库处理(即上传数据库处理)，分页批量***，入库成功后把文件从上传目录移到归档目录，并标记此目标文件入库成功，当存在与标记入库成功的目标文件相同的文件名称的文件，则不再执行上传数据库操作，直接舍弃，避免重复数据。如果入库失败，把文件中的.bak去掉，以便后面扫描线程可以再一次扫描到，重新处理。
如果阻塞队列为空，所有数据处理线程挂起变成等待状态；如果阻塞队列已经满了，扫描线程挂起变成等待状态，直到数据处理线程把里面的文件取走扫描线程才能往里放。
通过限制线程数来降低对数据库的连接，数据入库改成原生的jdbc批量1000条一次入库，一方面减少数据库操作，另一方面提高入库效率。从架构角度实现数据上传与数据入库解耦，减少网络拥堵造成数据库连接占满。
实施例二
实施例二公开了一种对应上述实施例的网关数据上传数据库连接数控制装置，请参照图2所示，其包括：
获取模块210，用于获取网关上传的文件，以及文件的时间戳；
保存模块220，用于对所述文件进行解压缩，将所述目标文件根据所述时间戳保存至对应的文件夹中，所述目标文件为解压缩后的文件；
上传模块230，用于生成一个缓存线程池，所述缓存线程池用于管理扫描线程和数据处理线程，使用阻塞队列，存放扫描线程扫描的目标文件，所述数据处理线程从所述阻塞队列读取目标文件内容，执行上传数据库操作。
实施例三
图3为本发明实施例三提供的一种电子设备的结构示意图，如图3所示，该电子设备为服务器，其包括处理器310、存储器320、输入装置330和输出装置340；计算机设备中处理器310的数量可以是一个或多个，图3中以一个处理器310为例；电子设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线连接为例。
存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的网关数据上传数据库连接数控制方法对应的程序指令/模块(例如，网关数据上传数据库连接数控制装置中的获取模块210、保存模块220和上传模块230)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的网关数据上传数据库连接数控制方法。
存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置330可用于用户信息。输出装置340可包括显示屏等显示设备。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种网关数据上传数据库连接数控制方法，该方法包括：
获取网关上传的文件，以及文件的时间戳；
对所述文件进行解压缩，将所述目标文件根据所述时间戳保存至对应的文件夹中，所述目标文件为解压缩后的文件；
生成一个缓存线程池，所述缓存线程池用于管理扫描线程和数据处理线程，使用阻塞队列，存放扫描线程扫描的目标文件，所述数据处理线程从所述阻塞队列读取目标文件内容，执行上传数据库操作。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的网关数据上传数据库连接数控制方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述网关数据上传数据库连接数控制装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (10)
1.一种网关数据上传数据库连接数控制方法，其特征在于包括以下步骤：
获取网关上传的文件，以及文件的时间戳；
对所述文件进行解压缩，将目标文件根据所述时间戳保存至对应的文件夹中，所述目标文件为解压缩后的文件；
生成一个缓存线程池，所述缓存线程池用于管理扫描线程和数据处理线程，使用阻塞队列，存放扫描线程扫描的目标文件，所述数据处理线程从所述阻塞队列读取目标文件内容，执行上传数据库操作。
2.如权利要求1所述的网关数据上传数据库连接数控制方法，其特征在于，网关上传文件的文件名称包括网关的S/N码以及时间戳信息，网关上传文件的后缀名为.tar.gz，所述时间戳信息包括分钟信息。
3.如权利要求1所述的网关数据上传数据库连接数控制方法，其特征在于，获取网关上传的文件，以及文件的时间戳，之后，还包括：
判断所述时间戳是否大于***时间，或者是否比***时间小预设天数，如果时间戳大于***时间，或者比***时间小预设天数，则丢弃所述网关上传的文件，所述预设天数为35天。
4.如权利要求2所述的网关数据上传数据库连接数控制方法，其特征在于，对所述文件进行解压缩，将所述目标文件根据所述时间戳保存至对应的文件夹中，包括：
将所述目标文件以分钟信息进行分类保存，每个文件夹保存的目标文件的分钟数相同，即共有60个文件夹保存各个目标文件；
所述目标文件的文件名仍以网关的S/N码以及时间戳信息进行命名，目标文件的后缀名为.json。
5.如权利要求4所述的网关数据上传数据库连接数控制方法，其特征在于，线程数为N+1个，其中一个线程为扫描线程，其余线程均为数据处理线程，N为CPU的核数。
6.如权利要求4所述的网关数据上传数据库连接数控制方法，其特征在于，使用阻塞队列，存放扫描线程扫描的目标文件，所述数据处理线程从所述阻塞队列读取目标文件内容，执行上传数据库操作，包括：
扫描线程扫描文件夹中后缀名为.json的目标文件，对上述目标文件数据进行解析，把目标文件对象和数据组装在阻塞队列的对象放入队列中，所述扫描线程并将组装后的目标文件的后缀名改为.json.bak；
数据处理线程从所述阻塞队列获取目标文件后，解析目标文件的数据、网关S/N码，执行上传数据库处理，如果上传数据库成功，则将所述目标文件标记为入库成功，对于与标记入库成功的目标文件相同的文件名称的文件，则不再执行上传数据库操作；如果上传数据库失败，则将目标文件的后缀名由.json.bak改为.json。
7.如权利要求6所述的网关数据上传数据库连接数控制方法，其特征在于，在上传数据库执行过程中：
如果阻塞队列为空，则数据处理线程挂起变成等待状态；
如果阻塞队列已满，则扫描线程挂起变成等待状态。
8.一种网关数据上传数据库连接数控制装置，其特征在于，包括：
获取模块，用于获取网关上传的文件，以及文件的时间戳；
保存模块，用于对所述文件进行解压缩，将目标文件根据所述时间戳保存至对应的文件夹中，所述目标文件为解压缩后的文件；
上传模块，用于生成一个缓存线程池，所述缓存线程池用于管理扫描线程和数据处理线程，使用阻塞队列，存放扫描线程扫描的目标文件，所述数据处理线程从所述阻塞队列读取目标文件内容，执行上传数据库操作。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的网关数据上传数据库连接数控制方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的网关数据上传数据库连接数控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811158571.2A CN109525632A (zh) | 2018-09-30 | 2018-09-30 | 网关数据上传数据库连接数控制方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811158571.2A CN109525632A (zh) | 2018-09-30 | 2018-09-30 | 网关数据上传数据库连接数控制方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109525632A true CN109525632A (zh) | 2019-03-26 |
Family
ID=65772238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811158571.2A Pending CN109525632A (zh) | 2018-09-30 | 2018-09-30 | 网关数据上传数据库连接数控制方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109525632A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111176850A (zh) * | 2020-01-03 | 2020-05-19 | 中国建设银行股份有限公司 | 一种数据池的构建方法、装置、服务器及介质 |
| CN111310000A (zh) * | 2020-02-13 | 2020-06-19 | 南宁玄鸟网络科技有限公司 | Web企业***的数据内容提交方法和*** |
| CN112416717A (zh) * | 2020-11-27 | 2021-02-26 | 中国农业银行股份有限公司 | 一种批量执行结果上报方法、装置、设备及介质 |
| CN112433994A (zh) * | 2020-11-24 | 2021-03-02 | 北京神州数字科技有限公司 | 一种文件处理方法 |
| CN112445596A (zh) * | 2020-11-27 | 2021-03-05 | 平安普惠企业管理有限公司 | 基于多线程的数据导入方法、***及存储介质 |
| CN113010490A (zh) * | 2021-02-22 | 2021-06-22 | 北京字节跳动网络技术有限公司 | 数据存储方法、装置和电子设备 |
| CN115114247A (zh) * | 2022-05-30 | 2022-09-27 | 中银金融科技有限公司 | 文件数据处理方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101039212A (zh) * | 2006-03-15 | 2007-09-19 | 中兴通讯股份有限公司 | 一种数据快速入库方法 |
| CN101321089A (zh) * | 2008-07-07 | 2008-12-10 | 中兴通讯股份有限公司 | 一种电信网管***中性能数据的入库方法 |
| CN101808121A (zh) * | 2010-02-24 | 2010-08-18 | 深圳市五巨科技有限公司 | 一种移动终端服务器日志写入数据库的方法和装置 |
| CN102622426A (zh) * | 2012-02-27 | 2012-08-01 | 杭州闪亮科技有限公司 | 数据库写入***及方法 |
| CN103559255A (zh) * | 2013-11-01 | 2014-02-05 | 北京理工大学 | 一种分布式液压***的可视化数据处理方法 |
| CN103927338A (zh) * | 2014-03-26 | 2014-07-16 | 网神信息技术（北京）股份有限公司 | 日志信息入库处理方法和装置 |
| CN104158757A (zh) * | 2014-08-21 | 2014-11-19 | 福建星海通信科技有限公司 | 一种gps数据入库处理方法和*** |
| US20150120758A1 (en) * | 2013-10-29 | 2015-04-30 | International Business Machines Corporation | Distributed processing of data records |
-
2018
- 2018-09-30 CN CN201811158571.2A patent/CN109525632A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101039212A (zh) * | 2006-03-15 | 2007-09-19 | 中兴通讯股份有限公司 | 一种数据快速入库方法 |
| CN101321089A (zh) * | 2008-07-07 | 2008-12-10 | 中兴通讯股份有限公司 | 一种电信网管***中性能数据的入库方法 |
| CN101808121A (zh) * | 2010-02-24 | 2010-08-18 | 深圳市五巨科技有限公司 | 一种移动终端服务器日志写入数据库的方法和装置 |
| CN102622426A (zh) * | 2012-02-27 | 2012-08-01 | 杭州闪亮科技有限公司 | 数据库写入***及方法 |
| US20150120758A1 (en) * | 2013-10-29 | 2015-04-30 | International Business Machines Corporation | Distributed processing of data records |
| CN103559255A (zh) * | 2013-11-01 | 2014-02-05 | 北京理工大学 | 一种分布式液压***的可视化数据处理方法 |
| CN103927338A (zh) * | 2014-03-26 | 2014-07-16 | 网神信息技术（北京）股份有限公司 | 日志信息入库处理方法和装置 |
| CN104158757A (zh) * | 2014-08-21 | 2014-11-19 | 福建星海通信科技有限公司 | 一种gps数据入库处理方法和*** |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111176850A (zh) * | 2020-01-03 | 2020-05-19 | 中国建设银行股份有限公司 | 一种数据池的构建方法、装置、服务器及介质 |
| CN111176850B (zh) * | 2020-01-03 | 2023-08-22 | 中国建设银行股份有限公司 | 一种数据池的构建方法、装置、服务器及介质 |
| CN111310000A (zh) * | 2020-02-13 | 2020-06-19 | 南宁玄鸟网络科技有限公司 | Web企业***的数据内容提交方法和*** |
| CN112433994A (zh) * | 2020-11-24 | 2021-03-02 | 北京神州数字科技有限公司 | 一种文件处理方法 |
| CN112416717A (zh) * | 2020-11-27 | 2021-02-26 | 中国农业银行股份有限公司 | 一种批量执行结果上报方法、装置、设备及介质 |
| CN112445596A (zh) * | 2020-11-27 | 2021-03-05 | 平安普惠企业管理有限公司 | 基于多线程的数据导入方法、***及存储介质 |
| CN112445596B (zh) * | 2020-11-27 | 2024-02-02 | 上海睿量私募基金管理有限公司 | 基于多线程的数据导入方法、***及存储介质 |
| CN113010490A (zh) * | 2021-02-22 | 2021-06-22 | 北京字节跳动网络技术有限公司 | 数据存储方法、装置和电子设备 |
| CN115114247A (zh) * | 2022-05-30 | 2022-09-27 | 中银金融科技有限公司 | 文件数据处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109525632A (zh) | 网关数据上传数据库连接数控制方法、装置、设备及介质 | |
| CN109040252B (zh) | 文件传输方法、***、计算机设备和存储介质 | |
| CN109271435B (zh) | 一种支持断点续传的数据抽取方法及*** | |
| CN107689976B (zh) | 一种文件传输方法及装置 | |
| JP2013542522A (ja) | メッセージを表示するための方法およびデバイス | |
| CN109901918B (zh) | 一种处理超时任务的方法和装置 | |
| CN104468807A (zh) | 进行网页缓存的处理方法、云端装置、本地装置及*** | |
| CN111835467B (zh) | 消息发送方法、装置、计算机设备和存储介质 | |
| US20240020305A1 (en) | Systems and methods for automatic archiving, sorting, and/or indexing of secondary message content | |
| US20220284042A1 (en) | Replication of parent record having linked child records that were previously replicated asynchronously across data storage regions | |
| CN110162512A (zh) | 一种日志检索方法、装置及存储介质 | |
| CN104202387A (zh) | 一种元数据恢复方法及相关装置 | |
| CN105550246A (zh) | Android平台下加载网络图片的***及方法 | |
| CN108989471A (zh) | 网络***中日志的管理方法和装置 | |
| CN112702259A (zh) | 延迟消息推送方法、装置及消息中间件 | |
| CN207780836U (zh) | 一种招聘管理*** | |
| CN106649581B (zh) | 一种网页的修复方法以及客户端 | |
| WO2022187008A1 (en) | Asynchronous replication of linked parent and child records across data storage regions | |
| CN111414158A (zh) | 跨平台开发方法、跨平台开发***及电子设备 | |
| CN109542917B (zh) | 数据读取方法及计算机可读介质 | |
| CN111193789A (zh) | 订阅信息推送方法、装置、计算机设备和可读存储介质 | |
| CN110719307A (zh) | 数据传输方法、客户端、服务端及计算机可读存储介质 | |
| US20150199382A1 (en) | Related content retrieval device and related content retrieval method | |
| CN107423446A (zh) | 基于云存储的新媒体自动化可信部署***和方法 | |
| CN107688978A (zh) | 用于检测重复订单信息的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190326 |
|
| RJ01 | Rejection of invention patent application after publication |