CN107357809A - 海量平台海迅实时库量测数据接入*** - Google Patents
海量平台海迅实时库量测数据接入*** Download PDFInfo
- Publication number
- CN107357809A CN107357809A CN201710391303.4A CN201710391303A CN107357809A CN 107357809 A CN107357809 A CN 107357809A CN 201710391303 A CN201710391303 A CN 201710391303A CN 107357809 A CN107357809 A CN 107357809A
- Authority
- CN
- China
- Prior art keywords
- data
- daily record
- time database
- magnanimity
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种海量平台海迅实时库量测数据接入***,属于电力***数据管理技术领域,包括依次对应的控制模块、接入业务模块和通用模块,其中控制模块用于与数据总线接口进行交互,并对从数据总线接口提取的接收数据进行预处理,形成业务日志;接入业务模块用于对业务日志进行加工、保存、缓存和备份,形成后端日志文件;通用模块用于将形成的后端日志文件进行前端操作处理。本发明可满足各业务应用对历史数据或准实时数据进行按需存储、整合、共享交换、计算加工以及统一和标准访问的需求。
Description
技术领域
本发明涉及一种海量平台海迅实时库量测数据接入***,属于电力***数据管理技术领域。
背景技术
电网运行基础数据的质量直接决定了各种高级分析与应用的实用化水平,也严重影响电力调度控制的准确性、可靠性及精益性。电力***随着各省(市)公司和直属单位的调度EMS、电能量、输变电设备状态监测、用户用电信息采集、配电自动化等业务的建设,产生了大量准实时数据,迫切需要建立一整套量测数据接入海迅实时库的***,以满足各业务应用对历史/准实时数据进行按需存储、整合、共享交换、计算加工以及统一和标准访问的需求。
发明内容
本发明需要解决的技术问题是提供一种海量平台海迅实时库量测数据接入***,可满足各业务应用对历史数据或准实时数据进行按需存储、整合、共享交换、计算加工以及统一和标准访问的需求。
为解决上述技术问题,本发明所采用的技术方案是:
一种海量平台海迅实时库量测数据接入***,包括依次对应的控制模块、接入业务模块和通用模块,其中控制模块用于与数据总线接口进行交互,并对从数据总线接口提取的接收数据进行预处理,形成业务日志;接入业务模块用于对业务日志进行加工、保存、缓存和备份,形成后端日志文件;通用模块用于将形成的后端日志文件进行人机交互式的前端操作处理。
本发明技术方案的进一步改进在于:控制模块的处理步骤为:
步骤2.1、数据响应分发:与数据总线接***互对应连接,用于响应、分发接收数据,形成调用数据;
步骤2.2、数据预处理:对调用数据进行预处理,首先对调用数据进行解析转换处理,然后验证调用数据的合法性、完整性和有效性,借此过滤掉非法数据,避免无谓的计算资源浪费,形成有效数据;
步骤2.3、数据质量检查:根据业务***数据质量检查规则,为有效数据对应指定检查规则,验证其是否达到接入质量要求,同时设有黑名单/白名单机制,为有特殊需求的有效数据开辟绿色通道;
步骤2.4、业务调度控制:根据数据类型,将通过验证的有效数据进行对应性分发;
步骤2.5、业务日志处理:处理业务调度控制步骤分发的有效数据,形成业务日志,同时对业务日志的规则进行加载,并记录业务日志的总体执行情况,形成详细日志。
本发明技术方案的进一步改进在于:数据质量检查规则包括数据范围检查和数据异常值检查。
本发明技术方案的进一步改进在于:接入业务模块的处理步骤为:
步骤4.1、数据加工:与业务日志处理步骤对应,根据数据接入的多样性需求,根据不同侧面特性对业务日志中的日志数据加以描述,为日志数据提供可配置的加工规则加载,以匹配日志数据接入时的不同需求;
步骤4.2、数据周期性写入:将经加工后的日志数据,在接入模块建立接入操作后,按照固定的频率向海量平台海迅实时库进行数据写入操作;
步骤4.3、数据保存:将写入的日志数据适配到海量平台海迅实时库中,并进行日志数据封装;
步骤4.4、数据缓存:将写入的日志数据暂时性的保存在缓存区中以供读取和再读取操作,缓存区包括本地缓存区和备机缓存区,本地缓存区用以当内存队列已满时,日志数据第一优先保存的位置,特殊重要的数据,也可同时备份保存至备机缓存区中,确保日志数据安全;备机缓存区,用于当本地缓存区(第一优先保存地点)已满时,日志数据第二优先保存的位置;
步骤4.5、备份加载:用于加载经过数据缓存后的数据,包括本地数据加载区和备机数据加载区,本地数据加载区用于当主机负载下降、处理能力上升时,优先加载处理的缓存数据位置;备机数据加载区用于当主机负载下降、处理能力上升时,第二优先加载处理的缓存数据位置。
本发明技术方案的进一步改进在于:步骤4.1中数据加工的处理步骤为:
步骤4.11、加工规则加载:将配置的数据加工规则加载至***中,并进行应用;
步骤4.12、数据分类:对数据进行分类,按数据的不同侧面特性,将数据分配给加载不同加工规则的侧面处理器;
步骤4.13、数据加工:对应不同数据侧面处理器,依照数据加工规则,对数据进行加工处理;
步骤4.14、特殊数据处理,提供特殊处理规则,应对有某些特殊性、非通用性、非标准的数据处理要求。
本发明技术方案的进一步改进在于:步骤4.2中数据周期性写入的过程为:首先连接海量平台海迅实时库,然后抽取待写入的测点数据,并根据测点数据中的测点名称查询测点ID,待写入测点数据值后断开海量平台海迅实时库连接。
本发明技术方案的进一步改进在于:步骤4.2中数据周期性写入过程中还设有异常处理步骤和历史数据回写步骤,其中:
异常处理步骤:在连接海量平台海迅实时库时,负责监测接口服务的运行状态和接口服务的写值异常情况,保证数据写入的一致性和完整性;
历史数据回写步骤:在写入测点数据值时,通过定时任务与SQL的结合对之前未完全写入、存在遗漏和需要修改的数据,进行回写,保证数据的完整性。
本发明技术方案的进一步改进在于:在进行历史数据回写步骤前先进行数据校验,数据校验采用人工校验和自动化校验相结合的方式。
本发明技术方案的进一步改进在于:步骤4.3中数据保存的步骤如下:
步骤4.31、数据库连接获取:建立数据库委托连接池,管理并分配海量平台海迅实时库连接资源;
步骤4.32、数据队列调度缓存:建立日志数据的有序存取队列,保障日志数据高效、有序地存取;同时在有序存取队列已满时,进行日志数据缓存调度,以待负载低时处理,保障有效日志数据不丢失;
步骤4.33、数据入库:调用海量平台海讯实时库的数据存取接口,完成日志数据入库动作,并进行数据封装;
步骤4.34、异常回滚:建立事务机制,保障入库的日志数据存取的完整性;
步骤4.35、日志记录:对日志数据建立全处理周期的日志监控,保障日志数据可追查、可反溯。
本发明技术方案的进一步改进在于:通用模块的处理步骤为:
步骤10.1、文件处理:对提取出来的通用的高效文件后端日志文件进行读取,形成海量实时数据服务平台;
步骤10.2、海量平台操作:对读取出来的通用的海量实时数据服务平台进行操作,形成通用日志;
步骤10.3、日志操作:对提取出来的通用日志进行前端操作处理。
由于采用了上述技术方案,本发明取得的技术进步是:
考虑电网***大数据量、高吞吐量的数据接入特点,将针对性地设计***线程模型,提高***的吞吐量,保证数据的及时有效地响应。考虑到接入程序的行为特点,将接入程序执行区间划分为高负载和低负载两个区间,并根据不同区间的资源占用情况,采取不同的执行策略,保障数据接入高峰及低谷期间的负载平稳,数据及时、有序、完整地接入。
针对运行效率在线监测分析***缺乏量化分析和配电网投入产出水平不高的情况,国网总部组织开展了运行效率模型研究、验证分析、试点建设、业务拓展和数据挖掘等工作,通过海量平台接入调度EMS、用户用电信息采集等***的数据,推动业务***间数据共享和融合,实现全量设备及***运行效率的准实时计算与检测,为业务***提供量化分析支撑。
实现数据接入周期化运行功能,实现数据接入过程自动化处理。
开发数据接入异常处理功能,实现监测接口服务运行状态和接口服务写值异常的情况下尽量保证数据写入的一致性和完整性。
开发历史数据回写功能,实现对未完全写入、存在遗漏和需要修改的历史数据进行回写,保证数据的完整性。
附图说明
图1是本发明结构示意图;
图2是本发明数据周期性写入流程图。
具体实施方式
下面结合实施例对本发明做进一步详细说明:
如图1、图2所示,一种海量平台海迅实时库量测数据接入***,包括依次对应的控制模块、接入业务模块和通用模块,其中控制模块用于与数据总线接口进行交互,并对从数据总线接口提取的接收数据进行预处理,形成业务日志;接入业务模块用于对业务日志进行加工、保存、缓存和备份,形成后端日志文件;通用模块用于将形成的后端日志文件进行人机交互式的前端操作处理。
控制模块的处理步骤为:
步骤2.1、数据响应分发:与数据总线接***互对应连接,用于响应、分发接收数据,形成调用数据;
步骤2.2、数据预处理:对调用数据进行预处理,首先对调用数据进行解析转换处理,然后验证调用数据的合法性、完整性和有效性,借此过滤掉非法数据,避免无谓的计算资源浪费,形成有效数据;
步骤2.3、数据质量检查:根据业务***设置的数据质量检查规则,为有效数据对应指定检查规则,验证其是否达到接入质量要求,同时设有黑名单/白名单机制,为有特殊需求的有效数据开辟绿色通道;
步骤2.4、业务调度控制:根据数据类型,将通过验证的有效数据进行对应性分发;
步骤2.5、业务日志处理:处理业务调度控制步骤分发的有效数据,形成业务日志,同时对业务日志的规则进行加载,并记录业务日志的总体执行情况,形成详细业务日志。
数据质量检查规则包括数据范围检查和数据异常值检查。
接入业务模块的处理步骤为:
步骤4.1、数据加工:与业务日志处理步骤对应,根据数据接入的多样性需求,根据不同侧面特性对业务日志中的日志数据加以描述,为日志数据提供可配置的加工规则加载,以匹配日志数据接入时的不同需求;
步骤4.2、数据周期性写入:将经加工后的日志数据,在接入模块建立接入操作后,按照固定的频率向海量平台海迅实时库进行数据写入操作;
步骤4.3、数据保存:将写入的日志数据适配到海量平台海迅实时库中,并进行日志数据封装;
步骤4.4、数据缓存:将写入的日志数据暂时性的保存在缓存区中以供读取和再读取操作,缓存区包括本地缓存区和备机缓存区,本地缓存区用以当内存队列已满时,日志数据第一优先保存的位置,特殊重要的数据,也可同时备份保存至备机缓存区中,确保日志数据安全;备机缓存区,用于当本地缓存区(第一优先保存地点)已满时,日志数据第二优先保存的位置;
步骤4.5、备份加载:用于加载经过数据缓存后的数据,包括本地数据加载区和备机数据加载区,本地数据加载区用于当主机负载下降、处理能力上升时,优先加载处理的缓存数据位置;备机数据加载区用于当主机负载下降、处理能力上升时,第二优先加载处理的缓存数据位置。
步骤4.1中数据加工的处理步骤为:
步骤4.11、加工规则加载:将配置的数据加工规则加载至***中,并进行应用;
步骤4.12、数据分类:对数据进行分类,按数据的不同侧面特性,将数据分配给加载不同加工规则的侧面处理器;
步骤4.13、数据加工:对应不同数据侧面处理器,依照数据加工规则,对数据进行加工处理;
步骤4.14、特殊数据处理,提供特殊处理规则,应对有某些特殊性、非通用性、非标准的数据处理要求。
步骤4.2中数据周期性写入的过程为:首先连接海量平台海迅实时库,然后抽取待写入的测点数据(包括测点名称、测点类型、时间戳、测点值、数据质量等参数),并根据测点数据中的测点名称查询测点ID,待写入测点数据值后断开海量平台海迅实时库连接。
步骤4.2中数据周期性写入过程中还设有异常处理步骤和历史数据回写步骤,其中:
异常处理步骤:在连接海量平台海迅实时库时,负责监测接口服务的运行状态和接口服务的写值异常情况,保证数据写入的一致性和完整性,具体为:
1)监测接口服务运行状态:
接口服务也有可能发生故障,导致程序异常关闭,此时,该服务自身是无法记录服务关闭时间的,因此,在服务启动之后,可以周期性地记录***时间戳到文件中,该时间戳表示当前时间服务运行正常。当服务正常关闭时,会在上述文件中写入正常关闭记录;当服务因为故障异常关闭后,该文件中最新的时间戳可近似作为服务失效时间。重启服务后,***会读取该文件,如果最后一条记录是时间戳而非服务正常关闭记录,说明服务最近一次是因为故障异常关闭的,此时将该时间戳和当前服务启动时间写入专门记录服务失效时间的文件中,以便用户进行人工数据回补。
2)接口服务写值失败处理:
接口服务往海量平台接入准实时数据时,由于网络短暂性状况不佳,程序不稳定等各种原因不能保证每次写值都成功;如果某次写值不成功,那么数据接入的一致性和完整性就不能保证,这时接口服务将在日志中记录本次调用不成功的时间和UAPI返回的写值错误码,并根据返回的错误码进行相应的故障处理(比如是和海量平台连接失效的故障,则进行再次连接),调用UAPI写值接口进行再次尝试。
历史数据回写步骤:在写入测点数据值时,通过定时任务与SQL的结合对之前未完全写入、存在遗漏和需要修改的数据,进行回写,保证数据的完整性。
在进行历史数据回写步骤前先进行数据校验,数据校验采用人工校验和自动化校验相结合的方式,人工校验是通过人工的查看对应***的数据和接入海量平台的数据是否能对上,有没有数据丢失,数据乱序等现象。通过人工校验方式大概了解数据接入的质量;自动化校验是通过程序自动执行的方式来检查对应***和接入海量平台的数据能否完全对上,数据是否丢失,丢失多少,是否乱序,乱序多少等,以对接入的数据质量能有一个准确的评估,以回补接入不准确的数据。
同时还有动态负载调配机制:本***在设计时,考虑到接入程序的行为特点,将接入程序执行区间划分为高负载和低负载两个区间,并根据不同区间的资源占用情况,采取不同的执行策略,保障数据接入高峰及低谷期间的负载平稳,数据及时、有序、完整地接入。
当程序线程池资源占用达到一定比例时(例如80%),加开本地资源,加速数据处理。未能及时处理的数据,先缓存至内存队列、队列满时,将后续数据缓存至本地文件中。当程序线程池资源占用较低时,处理队列及缓存中的数据,数据处理完成后,动态释放***资源,提高服务器效能。
步骤4.3中数据保存的步骤如下:
步骤4.31、数据库连接获取:建立数据库委托连接池,管理并分配海量平台海迅实时库连接资源;
步骤4.32、数据队列调度缓存:建立日志数据的有序存取队列,保障日志数据高效、有序地存取;同时在有序存取队列已满时,进行日志数据缓存调度,以待负载低时处理,保障有效日志数据不丢失;
步骤4.33、数据入库:调用海量平台海讯实时库的数据存取接口,完成日志数据入库动作,并进行数据封装;
步骤4.34、异常回滚:建立事务机制,保障入库的日志数据存取的完整性;
步骤4.35、日志记录:对日志数据建立全处理周期的日志监控,保障日志数据可追查、可反溯。
通用模块的处理步骤为:
步骤10.1、文件处理:对提取出来的通用的后端日志文件进行读取,形成海量实时数据服务平台;
步骤10.2、海量平台操作:对读取出来的通用的海量实时数据服务平台进行操作,形成通用日志;
步骤10.3、日志操作:对提取出来的通用日志进行前端操作处理。
Claims (10)
1.一种海量平台海迅实时库量测数据接入***,其特征在于:包括依次对应的控制模块、接入业务模块和通用模块,其中控制模块用于与数据总线接口进行交互,并对从数据总线接口提取的接收数据进行预处理,形成业务日志;接入业务模块用于对业务日志进行加工、保存、缓存和备份,形成后端日志文件;通用模块用于将形成的后端日志文件进行前端操作处理。
2.根据权利要求1所述的海量平台海迅实时库量测数据接入***,其特征在于控制模块的处理步骤为:
步骤2.1、数据响应分发:与数据总线接***互对应连接,用于响应、分发接收数据,形成调用数据;
步骤2.2、数据预处理:对调用数据进行预处理,首先对调用数据进行解析转换处理,然后验证调用数据的合法性、完整性和有效性,借此过滤掉非法数据,避免无谓的计算资源浪费,形成有效数据;
步骤2.3、数据质量检查:根据数据质量检查规则,为有效数据对应指定检查规则,验证其是否达到接入质量要求,同时设有黑名单/白名单机制,为有特殊需求的有效数据开辟绿色通道;
步骤2.4、业务调度控制:根据数据类型,将通过验证的有效数据进行对应性分发;
步骤2.5、业务日志处理:处理业务调度控制步骤分发的有效数据,形成业务日志,同时对业务日志的规则进行加载,并记录业务日志的执行情况。
3.根据权利要求2所述的海量平台海迅实时库量测数据接入***,其特征在于:数据质量检查规则包括数据范围检查和数据异常值检查。
4.根据权利要求1所述的海量平台海迅实时库量测数据接入***,其特征在于接入业务模块的处理步骤为:
步骤4.1、数据加工:根据数据接入的多样性需求,根据不同侧面特性对业务日志中的日志数据加以描述,为日志数据提供可配置的加工规则加载,以匹配日志数据接入时的不同需求;
步骤4.2、数据周期性写入:将经加工后的日志数据,按照固定的频率向海量平台海迅实时库进行数据写入操作;
步骤4.3、数据保存:将写入的日志数据适配到海量平台海迅实时库中,并进行日志数据封装;
步骤4.4、数据缓存:将写入的日志数据暂时性的保存在缓存区中以供读取和再读取操作,缓存区包括本地缓存区和备机缓存区,本地缓存区用以当内存队列已满时,日志数据第一优先保存的位置,确保日志数据安全;备机缓存区,用于当本地缓存区已满时,日志数据第二优先保存的位置;
步骤4.5、备份加载:用于加载经过数据缓存后的数据,包括本地数据加载区和备机数据加载区,本地数据加载区用于当主机负载下降、处理能力上升时,优先加载处理的缓存数据位置;备机数据加载区用于当主机负载下降、处理能力上升时,第二优先加载处理的缓存数据位置。
5.根据权利要求4所述的海量平台海迅实时库量测数据接入***,其特征在于步骤4.1中数据加工的处理步骤为:
步骤4.11、加工规则加载:将配置的数据加工规则加载至***中,并进行应用;
步骤4.12、数据分类:对数据进行分类,按数据的不同侧面特性,将数据分配给加载不同加工规则的侧面处理器;
步骤4.13、数据加工:对应不同数据侧面处理器,依照数据加工规则,对数据进行加工处理;
步骤4.14、特殊数据处理,提供特殊处理规则,应对有某些特殊性、非通用性、非标准的数据处理要求。
6.根据权利要求4所述的海量平台海迅实时库量测数据接入***,其特征在于步骤4.2中数据周期性写入的过程为:首先连接海量平台海迅实时库,然后抽取待写入的测点数据,并根据测点数据中的测点名称查询测点ID,待写入测点数据值后断开海量平台海迅实时库连接。
7.根据权利要求6所述的海量平台海迅实时库量测数据接入***,其特征在于步骤4.2中数据周期性写入过程中还设有异常处理步骤和历史数据回写步骤,其中:
异常处理步骤:在连接海量平台海迅实时库时,负责监测接口服务的运行状态和接口服务的写值异常情况,保证数据写入的一致性和完整性;
历史数据回写步骤:在写入测点数据值时,通过定时任务与SQL的结合对之前未完全写入、存在遗漏和需要修改的数据,进行回写,保证数据的完整性。
8.根据权利要求7所述的海量平台海迅实时库量测数据接入***,其特征在于:在进行历史数据回写步骤前先进行数据校验,数据校验采用人工校验和自动化校验相结合的方式。
9.根据权利要求4所述的海量平台海迅实时库量测数据接入***,其特征在于步骤4.3中数据保存的步骤如下:
步骤4.31、数据库连接获取:建立数据库委托连接池,管理并分配海量平台海迅实时库连接资源;
步骤4.32、数据队列调度缓存:建立日志数据的有序存取队列,保障日志数据高效、有序地存取;同时在有序存取队列已满时,进行日志数据缓存调度,以待负载低时处理,保障日志数据不丢失;
步骤4.33、数据入库:调用海量平台海讯实时库的数据存取接口,完成日志数据入库动作,并进行数据封装;
步骤4.34、异常回滚:建立事务机制,保障入库的日志数据存取的完整性;
步骤4.35、日志记录:对日志数据建立全处理周期的日志监控,保障日志数据可追查、可反溯。
10.根据权利要求1所述的海量平台海迅实时库量测数据接入***,其特征在于通用模块的处理步骤为:
步骤10.1、文件处理:对提取出来的后端日志文件进行读取,形成海量实时数据服务平台;
步骤10.2、海量平台操作:对读取出来的海量实时数据服务平台进行操作,形成通用日志;
步骤10.3、日志操作:对提取出来的通用日志进行前端操作处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710391303.4A CN107357809B (zh) | 2017-05-27 | 2017-05-27 | 海量平台海迅实时库量测数据接入*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710391303.4A CN107357809B (zh) | 2017-05-27 | 2017-05-27 | 海量平台海迅实时库量测数据接入*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107357809A true CN107357809A (zh) | 2017-11-17 |
CN107357809B CN107357809B (zh) | 2021-05-07 |
Family
ID=60271619
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710391303.4A Active CN107357809B (zh) | 2017-05-27 | 2017-05-27 | 海量平台海迅实时库量测数据接入*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107357809B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344199A (zh) * | 2018-09-20 | 2019-02-15 | 普元信息技术股份有限公司 | 云计算平台中实现大数据量分布式处理的***及方法 |
CN110309206A (zh) * | 2019-07-10 | 2019-10-08 | 中国联合网络通信集团有限公司 | 订单信息采集方法及*** |
CN112988514A (zh) * | 2021-03-17 | 2021-06-18 | 浪潮云信息技术股份公司 | 一种用于库表与文件交换的监控方法及*** |
CN116795664A (zh) * | 2023-08-25 | 2023-09-22 | 四川省农村信用社联合社 | 一种自动化处理增全量历史数据保存方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104579789A (zh) * | 2015-01-23 | 2015-04-29 | 广东能龙教育股份有限公司 | 一种基于消息队列的海量用户行为数据采集方法与*** |
CN104618343A (zh) * | 2015-01-06 | 2015-05-13 | 中国科学院信息工程研究所 | 一种基于实时日志的网站威胁检测的方法及*** |
CN105550265A (zh) * | 2015-12-09 | 2016-05-04 | 苏州天平先进数字科技有限公司 | 一种准实时用户日志收集和处理方法 |
US20160248791A1 (en) * | 2015-02-25 | 2016-08-25 | FactorChain Inc. | Non-homogenous storage of events in event data store |
US9537880B1 (en) * | 2015-08-19 | 2017-01-03 | Palantir Technologies Inc. | Anomalous network monitoring, user behavior detection and database system |
-
2017
- 2017-05-27 CN CN201710391303.4A patent/CN107357809B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104618343A (zh) * | 2015-01-06 | 2015-05-13 | 中国科学院信息工程研究所 | 一种基于实时日志的网站威胁检测的方法及*** |
CN104579789A (zh) * | 2015-01-23 | 2015-04-29 | 广东能龙教育股份有限公司 | 一种基于消息队列的海量用户行为数据采集方法与*** |
US20160248791A1 (en) * | 2015-02-25 | 2016-08-25 | FactorChain Inc. | Non-homogenous storage of events in event data store |
US9537880B1 (en) * | 2015-08-19 | 2017-01-03 | Palantir Technologies Inc. | Anomalous network monitoring, user behavior detection and database system |
CN105550265A (zh) * | 2015-12-09 | 2016-05-04 | 苏州天平先进数字科技有限公司 | 一种准实时用户日志收集和处理方法 |
Non-Patent Citations (1)
Title |
---|
杨一冰: "国产实时数据库的数据采集***研究", 《无线互联科技》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344199A (zh) * | 2018-09-20 | 2019-02-15 | 普元信息技术股份有限公司 | 云计算平台中实现大数据量分布式处理的***及方法 |
CN110309206A (zh) * | 2019-07-10 | 2019-10-08 | 中国联合网络通信集团有限公司 | 订单信息采集方法及*** |
CN112988514A (zh) * | 2021-03-17 | 2021-06-18 | 浪潮云信息技术股份公司 | 一种用于库表与文件交换的监控方法及*** |
CN112988514B (zh) * | 2021-03-17 | 2023-02-21 | 浪潮云信息技术股份公司 | 一种用于库表与文件交换的监控方法及*** |
CN116795664A (zh) * | 2023-08-25 | 2023-09-22 | 四川省农村信用社联合社 | 一种自动化处理增全量历史数据保存方法 |
CN116795664B (zh) * | 2023-08-25 | 2023-10-31 | 四川省农村信用社联合社 | 一种自动化处理增全量历史数据保存方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107357809B (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107357809A (zh) | 海量平台海迅实时库量测数据接入*** | |
CN103199972B (zh) | 基于soa、rs485总线实现的双机热备份切换方法及热备份*** | |
CN109840144B (zh) | 一种针对跨机构批量服务请求的信息服务调度方法及*** | |
CN111352806B (zh) | 日志数据监控方法及装置 | |
CN102355368B (zh) | 一种网络设备的故障处理方法及*** | |
CN109677465B (zh) | 用于轨道交通综合监控***的分布式实时***架构 | |
CN101707399A (zh) | 电能信息采集方法及*** | |
CN108334557B (zh) | 一种聚合数据分析方法、装置、存储介质及电子设备 | |
CN102761528A (zh) | 数据管理***及方法 | |
CN112163039A (zh) | 基于企业级数据中台分析域的数据资源标准化管理*** | |
CN103440290A (zh) | 大数据加载***和方法 | |
CN110147470B (zh) | 一种跨机房数据比对***及方法 | |
CN110569142A (zh) | 一种oracle数据增量同步***及方法 | |
CN102929224A (zh) | 变电设备状态接入控制器及***控制方法 | |
EP4044031A1 (en) | Cloud orchestration system and method based on read-write separation and auto-scaling | |
CN103678423A (zh) | 数据文件导入***、装置及方法 | |
CN114610567A (zh) | 容器监控方法、网络设备及存储介质 | |
CN113515831B (zh) | 能源调度方法、装置、电子设备及存储介质 | |
CN114090230A (zh) | 一种面向海量异构资源的物联网北向中间件服务治理方法 | |
CN111563719A (zh) | 一种移动智能云办公平台 | |
CN113793213B (zh) | 一种异步信贷风控断点续作的决策方式的实现方法及装置 | |
CN203101932U (zh) | 变电设备状态接入控制器 | |
CN115689277A (zh) | 云边协同技术下的化工园区风险预警*** | |
CN114840366A (zh) | 一种基于数据容错和宕机支撑的办税*** | |
CN112769230A (zh) | 基于容器技术的分布式边缘微云监控*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |