CN110795152B - 一种基于金融数据处理的时间调节*** - Google Patents
一种基于金融数据处理的时间调节*** Download PDFInfo
- Publication number
- CN110795152B CN110795152B CN201911066714.1A CN201911066714A CN110795152B CN 110795152 B CN110795152 B CN 110795152B CN 201911066714 A CN201911066714 A CN 201911066714A CN 110795152 B CN110795152 B CN 110795152B
- Authority
- CN
- China
- Prior art keywords
- module
- data
- decoding
- release
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013500 data storage Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 22
- 230000005540 biological transmission Effects 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 230000001133 acceleration Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 9
- 238000007405 data analysis Methods 0.000 claims description 8
- 238000007726 management method Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 3
- 230000002457 bidirectional effect Effects 0.000 abstract 1
- 238000000926 separation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3818—Decoding for concurrent execution
- G06F9/382—Pipelined decoding, e.g. using predecoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3818—Decoding for concurrent execution
- G06F9/3822—Parallel decoding, e.g. parallel decode units
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Multi Processors (AREA)
Abstract
本发明公开了一种基于金融数据处理的时间调节***，涉及金融数据时间调节***领域，包括获取模块、计算模块、数据缓存模块、解码模块、传输模块、数据存储模块、数据分发模块、数据处理模块、数据发布模块以及执行模块，获取模块输出端分别与计算模块、数据缓存模块、数据分发模块、数据处理模块、数据发布模块依次连接，解码模块输出端分别与传输模块、数据存储模块、数据分发模块、数据处理模块、数据发布模块依次连接，数据缓存模块输出端与数据储存模块相连接，数据发布模块与执行模块双向连接。本发明对大规模数据并行处理，实现资源复用，降低解码延迟，实现大规模数据硬件并行加速，给出最大加速比以及资源扩展性价比分析。
Description
技术领域
本发明涉及金融数据时间调节***领域，尤其涉及一种基于金融数据处理的时间调节***。
背景技术
为了研究实时数据推导的计算模型与计算方法，实现基于FPGA的千兆以太网数据获取与硬件协议栈解析，提出一种并行解码结构，实现并行分隔字段，通过流水化并行解码降低解码延迟，研究数据的高速分发以及应用结构技术，采用高速传输总线结构实现实时数据的提取与管理，为此，提出一种基于金融数据处理的时间调节***去实现数据大规模硬件并行加速，给出数据获取，数据分析，数据发布总时间的最大加速比以及资源扩展性价比分析。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于金融数据处理的时间调节***。
为了实现上述目的，本发明采用了如下技术方案：
一种基于金融数据处理的时间调节***，包括获取模块、计算模块、数据缓存模块、解码模块、传输模块、数据存储模块、数据分发模块、数据处理模块、数据发布模块以及执行模块，所述获取模块输出端分别与计算模块、数据缓存模块、数据分发模块、数据处理模块、数据发布模块依次连接，所述解码模块输出端分别与传输模块、数据存储模块、数据分发模块、数据处理模块、数据发布模块依次连接，所述数据缓存模块输出端与数据储存模块相连接，所述数据发布模块与执行模块双向连接。
优选的，所述数据处理模块包括数据获取单元以及数据分析单元，用于对数据的提取和管理，并对大量数据进行并行处理，以提高处理速度，给出数据获取，数据分析，数据发布总时间的最大加速比以及资源扩展性价比分析，再将处理数据发送至数据发布模块。
优选的，所述数据分发模块通过由数据缓存模块以及数据存储模块共同分发，且数据缓存模块输出端与数据存储模块相连接，数据分发模块需要及时的数据则直接从数据缓存模块中提取，而对于次要的数据则可以从数据存储模块中提取。
优选的，所述解码模块用于并行分隔字段，通过流水化并行解码降低解码延迟，提高解码速度，解码模块解码后则通过传输模块将数据传输至数据存储模块。
优选的，所述获取模块用于获取基于FPGA千兆以太网数据与硬件协议栈解析，并传输至计算模块使计算模块对其分析并解码，解码与计算并行。
优选的，所述数据分发模块以及数据传输模块互相配合，用于实现实时数据的提取与管理，从而提高提取速度以及执行速度，使响应速度更快，提高用户体验感。
优选的，数据缓存模块、数据分发模块以及数据处理模块互相配合用于异构和同构计算单元相结合的大规模数据处理，实现多粒度流水控制和资源复用。
本发明的有益效果为：本发明中，通过获取模块获取基于FPGA千兆以太网数据与硬件协议栈解析，再通过计算模块对数实时数据进行计算模型与计算方法，再通过数据缓存模块以及数据分发模块对异构和同构计算单元相结合的大规模数据进行并行处理，且数据缓存模块输出端与数据存储模块相连接，数据分发模块需要及时的数据则直接从数据缓存模块中提取，而对于次要的数据则可以从数据存储模块中提取，实现多粒度流水控制和资源复用，从而提高数据处理效率。
通过解码结构实现并行分隔字段，通过流水化并行解码降低解码延迟，研究数据的高速分发以及应用结构技术，采用高速传输总线结构实现实时数据的提取与管理，从而提高提取速度以及执行速度，使响应速度更快，提高用户体验感，实现数据大规模硬件并行加速，给出数据获取，数据分析，数据发布总时间的最大加速比以及资源扩展性价比分析。
本发明对大规模数据并行处理，实现资源复用，降低解码延迟，实现大规模数据硬件并行加速，给出最大加速比以及资源扩展性价比分析。
附图说明
图1为本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1，一种基于金融数据处理的时间调节***，包括获取模块、计算模块、数据缓存模块、解码模块、传输模块、数据存储模块、数据分发模块、数据处理模块、数据发布模块以及执行模块，获取模块输出端分别与计算模块、数据缓存模块、数据分发模块、数据处理模块、数据发布模块依次连接，解码模块输出端分别与传输模块、数据存储模块、数据分发模块、数据处理模块、数据发布模块依次连接，数据缓存模块输出端与数据储存模块相连接，数据发布模块与执行模块双向连接，本发明对大规模数据并行处理，实现资源复用，降低解码延迟，实现大规模数据硬件并行加速，给出最大加速比以及资源扩展性价比分析。
数据处理模块包括数据获取单元以及数据分析单元，用于对数据的提取和管理，并对大量数据进行并行处理，以提高处理速度，给出数据获取，数据分析，数据发布总时间的最大加速比以及资源扩展性价比分析，再将处理数据发送至数据发布模块，数据分发模块通过由数据缓存模块以及数据存储模块共同分发，且数据缓存模块输出端与数据存储模块相连接，数据分发模块需要及时的数据则直接从数据缓存模块中提取，而对于次要的数据则可以从数据存储模块中提取，解码模块用于并行分隔字段，通过流水化并行解码降低解码延迟，提高解码速度，解码模块解码后则通过传输模块将数据传输至数据存储模块，获取模块用于获取基于FPGA千兆以太网数据与硬件协议栈解析，并传输至计算模块使计算模块对其分析并解码，数据分发模块以及数据传输模块互相配合，用于实现实时数据的提取与管理，从而提高提取速度以及执行速度，使响应速度更快，提高用户体验感，数据缓存模块、数据分发模块以及数据处理模块互相配合用于异构和同构计算单元相结合的大规模数据处理，实现多粒度流水控制和资源复用。
工作原理：获取模块先获取基于FPGA千兆以太网数据与硬件协议栈解析，再通过计算模块对数实时数据进行计算模型与计算方法，再通过数据缓存模块以及数据分发模块对异构和同构计算单元相结合的大规模数据进行并行处理，实现多粒度流水控制和资源复用，同时解码模块实现并行分隔字段，通过流水化并行解码降低解码延迟，通过传输模块将数据传输至数据存储模块，实现实时数据的提取和管理，且数据缓存模块输出端与数据存储模块相连接，数据分发模块需要及时的数据则直接从数据缓存模块中提取，而对于次要的数据则可以从数据存储模块中提取，然后通过数据分发模块将所需数据发送至数据处理模块，数据处理模块给出数据获取、数据分析以及数据发布总时间开销的最大加速比以及资源扩展性价比分析，并将处理结果传输至数据发布模块，数据发布模块再将数据传输至执行模块，由执行模块对结果反馈至数据发布模块，本发明对大规模数据并行处理，实现资源复用，降低解码延迟，实现大规模数据硬件并行加速，给出最大加速比以及资源扩展性价比分析。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (1)
1.一种基于金融数据处理的时间调节***，包括获取模块、计算模块、数据缓存模块、解码模块、传输模块、数据存储模块、数据分发模块、数据处理模块、数据发布模块以及执行模块，其特征在于，所述获取模块输出端分别与计算模块、数据缓存模块、数据分发模块、数据处理模块、数据发布模块依次连接，所述解码模块输出端分别与传输模块、数据存储模块、数据分发模块、数据处理模块、数据发布模块依次连接，所述数据缓存模块输出端与数据储存模块相连接，所述数据发布模块与执行模块双向连接；
所述数据处理模块包括数据获取单元以及数据分析单元，用于对数据的提取和管理，并对大量数据进行并行处理，以提高处理速度，给出数据获取，数据分析，数据发布总时间的最大加速比以及资源扩展性价比分析，再将处理数据发送至数据发布模块；
所述数据分发模块通过由数据缓存模块以及数据存储模块共同分发，且数据缓存模块输出端与数据存储模块相连接，数据分发模块需要及时的数据则直接从数据缓存模块中提取，而对于次要的数据则从数据存储模块中提取；
所述解码模块用于并行分隔字段，通过流水化并行解码降低解码延迟，提高解码速度，解码模块解码后则通过传输模块将数据传输至数据存储模块；
所述获取模块用于获取基于FPGA千兆以太网数据与硬件协议栈解析，并传输至计算模块使计算模块对其分析并解码，解码与计算并行；
所述数据分发模块以及数据传输模块互相配合，用于实现实时数据的提取与管理，从而提高提取速度以及执行速度，使响应速度更快，提高用户体验感；
数据缓存模块、数据分发模块以及数据处理模块互相配合用于异构和同构计算单元相结合的大规模数据处理，实现多粒度流水控制和资源复用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911066714.1A CN110795152B (zh) | 2019-11-04 | 2019-11-04 | 一种基于金融数据处理的时间调节*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911066714.1A CN110795152B (zh) | 2019-11-04 | 2019-11-04 | 一种基于金融数据处理的时间调节*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110795152A CN110795152A (zh) | 2020-02-14 |
| CN110795152B true CN110795152B (zh) | 2023-11-03 |
Family
ID=69442612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911066714.1A Active CN110795152B (zh) | 2019-11-04 | 2019-11-04 | 一种基于金融数据处理的时间调节*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110795152B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115150466B (zh) * | 2022-06-29 | 2023-08-15 | 北京百度网讯科技有限公司 | 一种数据分发的实现方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654383A (zh) * | 2016-01-07 | 2016-06-08 | 中国科学院信息工程研究所 | 基于流水线架构的低时延fast行情解码装置和方法 |
| CN106294486A (zh) * | 2015-06-04 | 2017-01-04 | 交通银行股份有限公司 | 金融行情数据的处理方法及*** |
| CN109840844A (zh) * | 2017-11-27 | 2019-06-04 | 上海仪电（集团）有限公司中央研究院 | 一种基于fpga的金融大数据采集处理装置及*** |
| CN110134674A (zh) * | 2019-05-22 | 2019-08-16 | 中国人民银行成都分行 | 一种货币信贷大数据监测分析*** |
| CN110336702A (zh) * | 2019-07-11 | 2019-10-15 | 上海金融期货信息技术有限公司 | 一种消息中间件的***和实现方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7417568B2 (en) * | 2000-10-03 | 2008-08-26 | Realtime Data Llc | System and method for data feed acceleration and encryption |
-
2019
- 2019-11-04 CN CN201911066714.1A patent/CN110795152B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106294486A (zh) * | 2015-06-04 | 2017-01-04 | 交通银行股份有限公司 | 金融行情数据的处理方法及*** |
| CN105654383A (zh) * | 2016-01-07 | 2016-06-08 | 中国科学院信息工程研究所 | 基于流水线架构的低时延fast行情解码装置和方法 |
| CN109840844A (zh) * | 2017-11-27 | 2019-06-04 | 上海仪电（集团）有限公司中央研究院 | 一种基于fpga的金融大数据采集处理装置及*** |
| CN110134674A (zh) * | 2019-05-22 | 2019-08-16 | 中国人民银行成都分行 | 一种货币信贷大数据监测分析*** |
| CN110336702A (zh) * | 2019-07-11 | 2019-10-15 | 上海金融期货信息技术有限公司 | 一种消息中间件的***和实现方法 |
Non-Patent Citations (3)
| Title |
|---|
| 机群并行数据库的动态监控关键技术;王洁;王洋;曾宇;;计算机工程(第21期);40-42 * |
| 李荣利.大规模网络数据存储***的设计与实现.现代电子技术.2017,第40卷(第02期),118-122. * |
| 金融信息服务中行情报价的低延迟策略研究;杨猛;;中国传媒科技(第17期);71-73 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110795152A (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107391719A (zh) | 一种云环境中分布式流数据处理方法及*** | |
| CN105260164B (zh) | 一种支持多任务并行的多核SoC架构设计方法 | |
| CN205176826U (zh) | 一种基于usb高速接口的音频采集装置 | |
| CN102929363B (zh) | 一种高密度刀片服务器的设计方法 | |
| CN108848133B (zh) | 一种面向制造物联的Hub控制器设计方法 | |
| CN110795152B (zh) | 一种基于金融数据处理的时间调节*** | |
| WO2019233004A1 (zh) | 分布式驱动电动汽车的实时同步网络化控制装置及方法 | |
| CN107733546A (zh) | 一种时间信息同步***及方法 | |
| CN103117878A (zh) | 一种基于Nagios的分布式监控***的设计方法 | |
| CN103399914B (zh) | 基于智能远动的相量数据处理*** | |
| CN103049421A (zh) | 一种cpu与协处理器间的数据传输方法和装置 | |
| CN206930983U (zh) | 一种异构设计服务器主板 | |
| CN112416844B (zh) | 基于FPGA与GPU的Spike信号检测与分类装置 | |
| CN111556108B (zh) | 基于云平台的电力大数据采集***和方法 | |
| CN108334550A (zh) | 一种基于人力资源管理***的数据处理*** | |
| CN103353750B (zh) | 一种基于多总线的微波冶金控制方法 | |
| CN201230328Y (zh) | 一种基于三层架构的网络*** | |
| CN108614797A (zh) | 一种多类型高低速串行总线集成接口 | |
| CN108614788B (zh) | 一种综合化嵌入式信号处理*** | |
| CN212367393U (zh) | 一种基于ai芯片的视频图像处理装置 | |
| CN202364244U (zh) | 分布式日志分析***处理装置 | |
| CN102637200B (zh) | 一种使多级关联数据分配到集群相同节点的方法 | |
| CN109302724B (zh) | 一种分布式多节点无线电实时数据处理***及方法 | |
| CN204595849U (zh) | 一种云数据处理*** | |
| CN204423055U (zh) | 一种扩展输入输出接口的单片机装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |