CN105468705A - 一种移动通信后台数据文件导入方法 - Google Patents

一种移动通信后台数据文件导入方法 Download PDF

Info

Publication number
CN105468705A
CN105468705A CN201510797233.3A CN201510797233A CN105468705A CN 105468705 A CN105468705 A CN 105468705A CN 201510797233 A CN201510797233 A CN 201510797233A CN 105468705 A CN105468705 A CN 105468705A
Authority
CN
China
Prior art keywords
data
processing threads
data processing
threads
mobile communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510797233.3A
Other languages
English (en)
Inventor
高建涛
张斌
陈远鹏
白雪岩
江锦慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG NANFANG TELECOMMUNICATION EQUIPMENT CO Ltd
Original Assignee
GUANGDONG NANFANG TELECOMMUNICATION EQUIPMENT CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG NANFANG TELECOMMUNICATION EQUIPMENT CO Ltd filed Critical GUANGDONG NANFANG TELECOMMUNICATION EQUIPMENT CO Ltd
Priority to CN201510797233.3A priority Critical patent/CN105468705A/zh
Publication of CN105468705A publication Critical patent/CN105468705A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种移动通信后台数据文件导入方法，其包括以下步骤：创建数据源并将其写入第一缓冲区；创建若干个数据处理线程，使用创建的数据处理线程处理写入第一缓冲区的数据源，同时实时显示处理速度；将经过数据处理线程处理的数据源写入第二缓冲区；创建数据存储线程，并使用创建的数据存储线程存储第二缓冲区的数据源至数据库同时实时显示存储进度。该发明通过HTML5选择若干个文件、第一缓冲区、第二缓冲区以及多个数据处理线程的设置革新了传统逐个文件处理的方法，同时，还通过HTML5Server-Sent？Events进行进度百分比的实时显示，使得导入进度实时呈现。

Description

一种移动通信后台数据文件导入方法
技术领域
本发明涉及一种数据处理方法，特别涉及一种移动通信后台数据文件导入方法。
背景技术
移动通信网络优化是通过采集网络数据进行分析，确定影响网络通信质量的原因，在不改变现有的网络设备、资源和容量基础上，通过调整工程参数、硬件维护优化、清除干扰等优化手段最大限度地提高网络服务质量。
目前，网络优化的数据大多数都是直接从移动通信网络后台导出的，该类数据文件具有种类多、文件小、文件量大的特点。传统网络优化方法是将这些数据文件逐个选择、逐个上传，上传后逐个读取数据流，保存到数据库中，这种数据处理方法效率比较低，同时，其一般采用使用AJAX轮询方式，导致数据导入进度难以实时呈现。
发明内容
为了克服现有技术移动通信后台数据文件导入效率低下以及导入进度无法实时显示的不足，本发明的目的在于提供一种既可以高效导入后台数据文件又可以实现显示导入进度的移动通信后台数据文件导入方法。
为解决上述问题，本发明所采用的技术方案如下：提供一种移动通信后台数据文件导入方法，包括以下步骤：
S101：创建数据源并将其写入第一缓冲区；
S102：创建若干个数据处理线程，使用创建的数据处理线程处理写入第一缓冲区的数据源，同时实时显示处理速度；
S103：将经过数据处理线程处理的数据源写入第二缓冲区；
S104：创建数据存储线程，并使用创建的数据存储线程存储第二缓冲区的数据源至数据库同时实时显示存储进度。
优选地，所述数据处理线程个数由下述函数确定：
其中，Int(x)：指向上取整；Numcpu：指创建数据处理线程的中央处理器的内核数；T写入：指的是单个文件的写入第一缓冲区的时间；T处理：指单个数据文件的数据处理线程处理时间，包括解码、格式化、过滤、校验四个过程处理时间过程；t解码：指的是数据处理线程对单个文件的解码时间；t格式化：指数据处理线程处理解码后的格式化时间；t过滤：指数据处理线程处理过滤出对优化分析有利用价值的数据的时间；t校验：数据处理线程处理校验数据完整或重复的时间；γ：是修正参数。
优选地，步骤S101具体包括以下步骤：
通过HTML5选择若干个文件；
根据选择的若干个文件创建数据源；
将上述创建的数据源以线程安全队列写入第一缓冲区。
优选地，步骤S102具体包括以下步骤：
P101：根据写入第一缓冲区的数据源创建若干个数据处理线程；
P102：使用创建的数据处理线程对写入第一缓冲区的数据源进行解码、格式化、过滤以及校验处理；
P103：通过HTML5Server-SentEvents实时显示数据处理线程的处理速度。
优选地，步骤P103具体包括以下步骤：
获取单个文件需要处理的总条目，
获取数据处理线程已处理的处理条目；
根据单个文件需要处理的总条目和数据处理线程已处理的处理条目获得单个文件条数的处理速度。
优选地，步骤S104具体包括以下步骤：
创建单个数据存储线程；
使用创建的单个数据存储线程存储数据源至数据库同时实时显示存储进度。
优选地，步骤S104具体包括以下步骤：
创建至少一个数据存储线程；
使用创建的至少一个数据存储线程存储数据源至数据库同时实时显示存储进度。
优选地，所述γ值为1。
相比现有技术，本发明的有益效果在于：
本发明一种移动通信后台数据文件导入方法通过HTML5选择若干个文件、第一缓冲区、第二缓冲区以及多个数据处理线程的设置革新了传统逐个文件处理的方法，提高了数据处理方法效率，同时，还通过HTML5Server-SentEvents进行进度百分比的实时显示，使得导入进度实时呈现，便于用户操作使用。
附图说明
图1是本发明一种移动通信后台数据文件导入方法的流程示意图；
图2是本发明一种移动通信后台数据文件导入方法的包括多个数据存储线程的处理流程示意图；
图3是本发明一种移动通信后台数据文件导入方法的步骤S102的流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细说明。
请参阅图1-图3，本发明一种移动通信后台数据文件导入方法10，包括以下步骤：
S101：创建数据源并将其写入第一缓冲区；
具体地，步骤S101包括以下步骤：
通过HTML5选择若干个文件；
根据选择的若干个文件创建数据源；
将上述创建的数据源以线程安全队列写入第一缓冲区。
S102：创建若干个数据处理线程，使用创建的数据处理线程处理写入第一缓冲区的数据源，同时实时显示处理速度；
具体地，步骤S102包括以下步骤：
P101：根据写入第一缓冲区的数据源创建若干个数据处理线程；
P102：使用创建的数据处理线程对写入第一缓冲区的数据源进行解码、格式化、过滤以及校验处理；
P103：通过HTML5Server-SentEvents实时显示数据处理线程的处理速度。
其中，数据处理线程的个数优选等于中央处理器的内核数。
在实际中，考虑到还有诸如写入第一缓冲区的速度与数据处理线程处理的速度不等等因素，实际创建的数据处理线程个数往往使用下述函数确定：
其中，Int(x)：指向上取整；Numcpu：指创建数据处理线程的中央处理器的内核数；T写入：指的是单个文件的写入第一缓冲区的时间；T处理：指单个数据文件的数据处理线程处理时间，包括解码、格式化、过滤、校验四个过程处理时间；t解码：指的是数据处理线程对单个文件的解码时间；t格式化：指数据处理线程处理解码后的格式化时间；t过滤：指数据处理线程处理过滤出对优化分析有利用价值的数据的时间；t校验：数据处理线程处理校验数据完整或重复的时间；γ：是修正参数，优选为1。
同时，考虑到所有数据文件的大小和处理时间并非完全相同，加上Numcpu可以为程序确保一定的冗余线程，本发明选择线程冗余是由于在网络优化的用户一般较少，其服务的性能存在一定空闲。因此，多余的线程可以更高效的进行数据处理任务。
在步骤P103中具体包括以下步骤：
获取单个文件需要处理的总条目；
获取数据处理线程已处理的处理条目；
根据单个文件需要处理的总条目和数据处理线程已处理的处理条目获得单个文件条数的处理速度。
S103：将经过数据处理线程处理的数据源写入第二缓冲区；
S104：创建数据存储线程，并使用创建的数据存储线程存储第二缓冲区的数据源至数据库同时实时显示存储进度。
在实际中，数据存储速度与数据处理线程对数据校验的处理速度存在一定差异，同时数据库对并发连接数也有一定限制，因此，通过校验的数据不能直接使用多线程存储到数据库中，本发明优选将其存储到第二缓冲区进行缓冲，以提高数据源的存储速度。
同时，在步骤S104中根据数据库的具体性能、允许的客户端最大连接数等参数可以创建单个数据存储线程，再使用创建的单个数据存储线程存储数据源至数据库同时实时显示存储进度进行数据存储；还可以创建至少一个数据存储线程，使用创建的至少一个数据存储线程存储数据源至数据库同时实时显示存储进度。
在步骤S104中的实时显示存储进度也优选通过HTML5Server-SentEvents实时显示数据存储速度，具体可参见步骤P103，因此不再赘述。
值得一提的是，在使用中，步骤S101、步骤S102、步骤S103以及步骤S104的并没有严格的操作顺序，例如当用户在打开页面时，该移动通信后台数据文件导入方法10已经执行，则会继续执行当前正在操作的步骤。当没有其他步骤执行时，则按着步骤S101、步骤S102、步骤S103以及步骤S104的顺序操作。
与现有技术相比，本发明一种移动通信后台数据文件导入方法10通过HTML5选择若干个文件、第一缓冲区、第二缓冲区以及多个数据处理线程的设置革新了传统逐个文件处理的方法，提高了数据处理方法效率，同时，还通过HTML5Server-SentEvents进行进度百分比的实时显示，使得导入进度实时呈现，便于用户操作使用。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (8)

1.一种移动通信后台数据文件导入方法，其特征在于，包括以下步骤：
S101：创建数据源并将其写入第一缓冲区；
S102：创建若干个数据处理线程，使用创建的数据处理线程处理写入第一缓冲区的数据源，同时实时显示处理速度；
S103：将经过数据处理线程处理的数据源写入第二缓冲区；
S104：创建数据存储线程，并使用创建的数据存储线程存储第二缓冲区的数据源至数据库同时实时显示存储进度。
2.如权利要求1所述的移动通信后台数据文件导入方法，其特征在于，所述数据处理线程个数由下述函数确定：
其中，Int(x)：指向上取整；Numcpu：指创建数据处理线程的中央处理器的内核数；T写入：指的是单个文件的写入第一缓冲区的时间；T处理：指单个数据文件的数据处理线程处理时间，包括解码、格式化、过滤、校验四个过程处理时间；t解码：指的是数据处理线程对单个文件的解码时间；t格式化：指数据处理线程处理解码后的格式化时间；t过滤：指数据处理线程处理过滤出对优化分析有利用价值的数据的时间；t校验：数据处理线程处理校验数据完整或重复的时间；γ：是修正参数。
3.如权利要求1所述的移动通信后台数据文件导入方法，其特征在于，步骤S101具体包括以下步骤：
通过HTML5选择若干个文件；
根据选择的若干个文件创建数据源；
将上述创建的数据源以线程安全队列写入第一缓冲区。
4.如权利要求1所述的移动通信后台数据文件导入方法，其特征在于，步骤S102具体包括以下步骤：
P101：根据写入第一缓冲区的数据源创建若干个数据处理线程；
P102：使用创建的数据处理线程对写入第一缓冲区的数据源进行解码、格式化、过滤以及校验处理；
P103：通过HTML5Server-SentEvents实时显示数据处理线程的处理速度。
5.如权利要求4所述的移动通信后台数据文件导入方法，其特征在于，步骤P103具体包括以下步骤：
获取单个文件需要处理的总条目；
获取数据处理线程已处理的处理条目；
根据单个文件需要处理的总条目和数据处理线程已处理的处理条目获得单个文件条数的处理速度。
6.如权利要求1-5之一所述的移动通信后台数据文件导入方法，其特征在于，步骤S104具体包括以下步骤：
创建单个数据存储线程；
使用创建的单个数据存储线程存储数据源至数据库同时实时显示存储进度。
7.如权利要求1-5之一所述的移动通信后台数据文件导入方法，其特征在于，步骤S104具体包括以下步骤：
创建至少一个数据存储线程；
使用创建的至少一个数据存储线程存储数据源至数据库同时实时显示存储进度。
8.如权利要求2所述的移动通信后台数据文件导入方法，其特征在于，所述γ值为1。
CN201510797233.3A 2015-11-18 2015-11-18 一种移动通信后台数据文件导入方法 Pending CN105468705A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510797233.3A CN105468705A (zh) 2015-11-18 2015-11-18 一种移动通信后台数据文件导入方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510797233.3A CN105468705A (zh) 2015-11-18 2015-11-18 一种移动通信后台数据文件导入方法

Publications (1)

Publication Number Publication Date
CN105468705A true CN105468705A (zh) 2016-04-06

Family

ID=55606406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510797233.3A Pending CN105468705A (zh) 2015-11-18 2015-11-18 一种移动通信后台数据文件导入方法

Country Status (1)

Country Link
CN (1) CN105468705A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105978968A (zh) * 2016-05-11 2016-09-28 山东合天智汇信息技术有限公司 一种海量数据的实时传输处理方法、服务器及处理***
CN112347745A (zh) * 2020-10-22 2021-02-09 杭州安恒信息技术股份有限公司 文件生成进度的获取方法、装置、电子装置和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081615A1 (en) * 2001-10-22 2003-05-01 Sun Microsystems, Inc. Method and apparatus for a packet classifier
US6820114B2 (en) * 2001-09-27 2004-11-16 Sap Aktiengesellschaft Identifying object suppliers in a network
CN101515291A (zh) * 2009-03-26 2009-08-26 北京泰合佳通信息技术有限公司 一种将数据批量导入数据库的方法及***
CN103049533A (zh) * 2012-12-23 2013-04-17 北京人大金仓信息技术股份有限公司 一种快速向数据库加载数据的方法
CN103136724A (zh) * 2011-11-30 2013-06-05 北大方正集团有限公司 加网方法和装置
CN103559217A (zh) * 2013-10-17 2014-02-05 北京航空航天大学 一种面向异构数据库的海量组播数据入库实现方法
CN104216899A (zh) * 2013-05-31 2014-12-17 济南观澜数据技术有限公司 面向带有描述信息的海量非结构化数据分布式处理架构
CN104376082A (zh) * 2014-11-18 2015-02-25 中国建设银行股份有限公司 一种把数据源文件中的数据导入到数据库中的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6820114B2 (en) * 2001-09-27 2004-11-16 Sap Aktiengesellschaft Identifying object suppliers in a network
US20030081615A1 (en) * 2001-10-22 2003-05-01 Sun Microsystems, Inc. Method and apparatus for a packet classifier
CN101515291A (zh) * 2009-03-26 2009-08-26 北京泰合佳通信息技术有限公司 一种将数据批量导入数据库的方法及***
CN103136724A (zh) * 2011-11-30 2013-06-05 北大方正集团有限公司 加网方法和装置
CN103049533A (zh) * 2012-12-23 2013-04-17 北京人大金仓信息技术股份有限公司 一种快速向数据库加载数据的方法
CN104216899A (zh) * 2013-05-31 2014-12-17 济南观澜数据技术有限公司 面向带有描述信息的海量非结构化数据分布式处理架构
CN103559217A (zh) * 2013-10-17 2014-02-05 北京航空航天大学 一种面向异构数据库的海量组播数据入库实现方法
CN104376082A (zh) * 2014-11-18 2015-02-25 中国建设银行股份有限公司 一种把数据源文件中的数据导入到数据库中的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘正权: "轻松学会多线程（三）——如何确定线程数", 《CSDN博客》 *
匿名: "HTML5数据推送应用开发1.4可能会用到SSE的应用", 《红黑联盟读书频道》 *
匿名: "怎么把html上文件选择器选中的文件上传到服务器指定目录并把patch记录到数据库呢？", 《SEGMENTFAULT问答》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105978968A (zh) * 2016-05-11 2016-09-28 山东合天智汇信息技术有限公司 一种海量数据的实时传输处理方法、服务器及处理***
CN112347745A (zh) * 2020-10-22 2021-02-09 杭州安恒信息技术股份有限公司 文件生成进度的获取方法、装置、电子装置和存储介质
CN112347745B (zh) * 2020-10-22 2024-03-19 杭州安恒信息技术股份有限公司 文件生成进度的获取方法、装置、电子装置和存储介质

Similar Documents

Publication Publication Date Title
CN103927338A (zh) 日志信息入库处理方法和装置
EP3444997A1 (de) Vorrichtungen zum bereitstellen einer menge von kryptographisch geschützten und gefilterten sowie sortierten transaktionsdatensätzen eines gliedes einer blockkette
WO2019120240A1 (zh) 一种时序数据列式存储、查询方法及***
US11188535B2 (en) Distributed join operation processing method, apparatus, device, and storage medium
KR20110095049A (ko) 명령어 병렬 처리 컴퓨터를 위한 명령어 압축 장치 및 방법
CN109493043A (zh) 交易记录区块化方法、装置、电子设备及存储介质
CN104408100B (zh) 结构化网站日志的压缩方法
CN104615710A (zh) 一种电子地图框架数据更新方法
CN101977061A (zh) 一种通用信息的无损压缩与解压缩方法
CN106250303A (zh) 业务日志收集及预警***和业务日志收集及预警方法
CN105468705A (zh) 一种移动通信后台数据文件导入方法
CN104683472A (zh) 一种支持大数据量的数据传输方法
CN109743312A (zh) 一种配置文件的数据动态解析方法、***、终端及介质
CN105874774A (zh) 用于在帧的处理过程中保持计数表的计数表保持装置以及相关的保持方法
CN102780620B (zh) 一种网络处理器和报文处理方法
WO2019100684A1 (zh) 电子装置、征信数据处理的方法、***及存储介质
CN113609226A (zh) 一种数据导出方法、装置、计算机设备及存储介质
CN109491971A (zh) 一种文件过滤方法、装置、设备及计算机可读存储介质
CN105680983A (zh) 一种解速率匹配和解交织的方法和装置
US8627336B2 (en) Feedback system and method for processing incoming data using a plurality of mapper modules and reducer module(s)
CN110134333A (zh) 一种重排写入数据流提升ssd读拼接率的方法及其***
CN106326310B (zh) 一种手机客户端软件的资源加密更新方法
CN104182522B (zh) 一种基于循环位图模型的辅助索引方法及装置
CN106383669A (zh) 一种基于(n,k,m)编码的分布式存储方法及***
CN102955828B (zh) 用于数据库大对象重整的方法和***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160406

RJ01 Rejection of invention patent application after publication