CN107018180A - 基于jseda的智能交通大数据平台分发共享*** - Google Patents

基于jseda的智能交通大数据平台分发共享*** Download PDF

Info

Publication number
CN107018180A
CN107018180A CN201710172901.2A CN201710172901A CN107018180A CN 107018180 A CN107018180 A CN 107018180A CN 201710172901 A CN201710172901 A CN 201710172901A CN 107018180 A CN107018180 A CN 107018180A
Authority
CN
China
Prior art keywords
thread
distribution
data
event
jseda
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710172901.2A
Other languages
English (en)
Other versions
CN107018180B (zh
Inventor
戚湧
李千目
余璨璨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201710172901.2A priority Critical patent/CN107018180B/zh
Publication of CN107018180A publication Critical patent/CN107018180A/zh
Application granted granted Critical
Publication of CN107018180B publication Critical patent/CN107018180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/567—Integrating service provisioning from a plurality of service providers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于JSEDA的智能交通大数据平台分发共享***。该***包括：高性能网络自适应分发子***，通过改进SEDA架构的设计模式，采用异步的事件驱动机制，将应用程序流程分解为通过事件队列连接的阶段，形成高性能网络自适应分发构架JSEDA，为实时用户、需要推送服务和通过接口访问的用户提供数据分发共享服务；所述传统分发子***，为通过浏览Web站点和通过FTP的用户提供数据下载的相关服务；所述配置与管理子***，对***资源进行配置和管理；所述发送统计子***，对数据的分发情况进行自动统计并存储在数据库表中。本发明***多种分发方式并存，满足了不同用户的不同需求，为数据共享提供稳定支持，为用户提供了便利。

Description

基于JSEDA的智能交通大数据平台分发共享***
技术领域
本发明涉及数据分发共享技术领域，特别是一种基于JSEDA的智能交通大数据平台分发共享***。
背景技术
随着城市化进程的不断加快和城市机动化出行的迅猛发展，一方面城市道路需求迅速增长，城市交通数据日益增加，数据种类和数量高速增长；另一方面市民的密集出行以及物流压力使城市交通面临着严峻的挑战。因此，解决好城市交通问题已经成为城市可持续发展的一个重要内容。
为缓解巨大的城市交通压力，通过加大基础设施投入来改善交通拥堵的解决模式因受到土地资源的限制，不利于交通发展、城市空间发展以及土地利用发展这三者之间的整合。为了适应城市交通的发展，大数据平台应运而生。大数据应用在智能交通***中的优势主要表现在以下几个方面：第一，能够显著提升交通运行效率。大数据所拥有的实时性的特点，能够让闲置的数据被充分利用起来，通过智能化技术来对交通动态进行实时监控与预测，从而显著提升交通运行效率。第二，能够显著提升交通安全水平。第三，大数据的实时性能够提升智能交通的数据处理能力。
由于交通大数据平台使用人员种类不同，因此不同种类的人群对于交通数据的种类和提供数据的时效性要求也不同。目前，交通大数据分发共享***不能支持多种分发共享方式，并且无法对数据接收的情况进行监控，经常会有缺收的情况发生。
发明内容
本发明的目的在于提供一种基于JSEDA的智能交通大数据平台分发共享***，以保证将数据与数据产品在正确的时间以正确的传输方式传递给使用者。
实现本发明目的的技术解决方案为：一种基于JSEDA的智能交通大数据平台分发共享***，包括高性能网络自适应分发子***、传统分发子***、配置与管理子***和发送统计子***，其中：
所述高性能网络自适应分发子***，通过改进SEDA架构的设计模式，采用异步的事件驱动机制，将应用程序流程分解为通过事件队列连接的阶段，形成高性能网络自适应分发构架JSEDA，为实时用户、需要推送服务和通过接口访问的用户提供数据分发共享服务；
所述传统分发子***，为通过浏览Web站点和通过FTP的用户提供数据下载的相关服务；
所述配置与管理子***，根据当前网络状态、***负载情况对***资源进行配置和管理；
所述发送统计子***，对数据的分发情况进行自动统计，并将这些统计信息存储在数据库表中。
进一步地，所述高性能网络自适应分发子***采用SEDA分阶段思想，将不同的应用按照需求划分成不同的阶段，并采用异步的事件驱动机制，将复杂的应用程序流程分解为通过事件队列连接的阶段；所有阶段产生的事件由调度器统一进行调度，根据负载情况，将事件加入到各线程的事件处理队列，由事件来驱动各个阶段任务的执行；在处理I/0请求阶段，由监听线程支撑，在监听线程处采用EPOLL技术。
进一步地，所述发送统计子***包括三个子模块，分别是：区域统计模块、交通数据探测站点统计模块和交通数据信息数据产品统计模块，其中：
区域统计模块实现选定时间段、选定区域文件级的交通数据分发情况的自动统计；
交通数据探测站点统计模块实现选定时间段、选定交通数据探测站点的交通数据分发情况的自动统计；
交通数据信息数据产品统计模块实现选定时间段、选定区域文件数据类别级的交通数据分发情况的自动统计；
最后将上述统计信息存储在数据库表中。
进一步地，所述高性能网络自适应分发子***包括4个模块，具体为：
阶段：每个阶段任务的执行都由事件驱动，某一阶段任务执行完毕后，将产生一个事件；
监听线程池：初始为一个线程，将监听线程与物理线程绑定，当监听线程负载达到上限后增加一监听线程协同处理请求，当监听线程负载减少到下限后减少监听线程数，同时监听线程池的线程数量设有最大值，当达到最大值时，整个***满负荷运行；
任务线程池：任务线程池拥有多个线程，每个任务线程有一个对应的事件队列，任务线程的数量基于硬件产生，且与物理线程数量一致，将任务线程与物理线程绑定；
调度器：考虑任务线程和监听线程的负载情况，将事件加入任务线程的事件队列，保持整个***负载均衡。
本发明与现有技术相比，其显著优点为：(1)高性能网络自适应分发子***的上层应用分阶段通过事件队列关联，便于模块化开发和***扩展；(2)高性能网络自适应分发子***基于多核进行性能优化，极大减少了线程间切换带来的开销，发挥了多核处理器的性能优势；(3)高性能网络自适应分发子***支持大量的并发，并具有良好的负载均衡；(4)发送统计子***可以对数据的分发情况进行统计，有效防止了数据缺收的情况。
附图说明
图1为本发明基于JSEDA的智能交通大数据平台分发共享***构架图。
图2为高性能网络自适应分发子***的框架结构图。
图3为发送统计子***构架图。
具体实施方式
本发明基于JSEDA的智能交通大数据平台分发共享***，包括高性能网络自适应分发子***、传统分发子***、配置与管理子***和发送统计子***，其中：
所述高性能网络自适应分发子***，通过改进SEDA架构的设计模式，采用异步的事件驱动机制，将复杂的应用程序流程分解为通过事件队列连接的阶段，形成高性能网络自适应分发构架(JSEDA)，为实时用户、需要推送服务和通过接口访问的用户提供数据分发共享服务；
所述传统分发子***，为通过浏览Web站点和通过FTP的用户提供数据下载等相关服务；
所述配置与管理子***，根据当前网络状态、***负载情况等对***资源进行配置和管理；
所述发送统计子***，对数据的分发情况进行自动统计，并将这些统计信息存储在数据库表中。
进一步地，所述高性能网络自适应分发子***采用SEDA分阶段思想，是将不同的应用按照需求划分成不同的阶段，并采用异步的事件驱动机制，将复杂的应用程序流程分解为通过事件队列连接的阶段；所有阶段产生的事件由调度器统一进行调度，根据负载情况，将事件加入到各线程的事件处理队列，由事件来驱动各个阶段任务的执行。在处理I/0请求阶段，由监听线程支撑，在监听线程处采用EPOLL技术，提高了I/0处理效率，以及对请求数的限制。
进一步地，所述发送统计子***是由三个子模块组成，分别是：区域统计模块、交通数据探测站点统计模块和交通数据信息数据产品统计模块，其中：
区域统计模块可以实现选定时间段、选定区域文件级的交通数据分发情况的自动统计；
交通数据探测站点统计模块可以实现选定时间段、选定交通数据探测站点的交通数据分发情况的自动统计；
交通数据信息数据产品统计模块可以实现选定时间段、选定区域文件数据类别级的交通数据分发情况的自动统计。
最后***会将这些统计信息存储在数据库表中。
实施例1
下面结合附图对本发明的技术方案做进一步的详细说明：
结合图1，本发明基于JSEDA的智能交通大数据平台分发共享***，包括高性能网络自适应分发子***、传统分发子***、配置与管理子***和发送统计子***，其中：
所述高性能网络自适应分发子***通过改进SEDA架构的设计模式，采用异步的事件驱动机制，将复杂的应用程序流程分解为通过事件队列连接的阶段，形成高性能网络自适应分发构架(JSEDA)，为实时用户、需要推送服务和通过接口访问的用户提供数据分发共享服务；
所述传统分发子***，为通过浏览Web站点和通过FTP的用户提供数据下载等相关服务；
所述配置与管理子***，根据当前网络状态、***负载情况等对***资源进行配置和管理；
所述发送统计子***，对数据的分发情况进行自动统计，并将这些统计信息存储在数据库表中。
作为一种具体示例，所述高性能网络自适应分发子***包括4个模块，如图2，具体为：
阶段：每个阶段任务的执行都由事件驱动，某一阶段任务执行完毕后，将产生一个事件；
监听线程池：初始为一个线程，考虑将监听线程与物理线程绑定。当监听线程负载达到上限后增加一监听线程协同处理请求，当监听线程负载减少到下限后减少监听线程数，同时监听线程池的线程数量设有最大值，由硬件决定，当达到最大值时，整个***满负荷运行；
任务线程池：任务线程池拥有多个线程，每个任务线程有一个对应的事件队列，任务线程的数量基于硬件产生，且与物理线程数量一致，考虑将任务线程与物理线程绑定；
调度器：考虑任务线程和监听线程的负载情况，将事件加入任务线程的事件队列，尽量保持整个***负载均衡。
作为一种具体示例，所述发送统计子***，包括3个子模块，如图3，具体为：
区域统计模块可以实现选定时间段、选定区域文件级的交通数据分发情况的自动统计。
交通数据探测站点统计模块可以实现选定时间段、选定交通数据探测站点的交通数据分发情况的自动统计。
交通数据信息数据产品统计模块可以实现选定时间段、选定区域文件数据类别级的交通数据分发情况的自动统计，并将这些统计信息存储在数据库表中。
上述***主要提供以下功能：(1)对所需数据进行检索、下载；(2)用户根据自己的需求定制数据订单，供应者就可以按照用户订单的要求，把定制的数据推送到用户处；(3)用户通过客户端编程接口进行数据的获取；(4)供应者可以向实时用户提供最新的实时数据。

Claims (4)

1.一种基于JSEDA的智能交通大数据平台分发共享***，其特征在于，包括高性能网络自适应分发子***、传统分发子***、配置与管理子***和发送统计子***，其中：
所述高性能网络自适应分发子***，通过改进SEDA架构的设计模式，采用异步的事件驱动机制，将应用程序流程分解为通过事件队列连接的阶段，形成高性能网络自适应分发构架JSEDA，为实时用户、需要推送服务和通过接口访问的用户提供数据分发共享服务；
所述传统分发子***，为通过浏览Web站点和通过FTP的用户提供数据下载的相关服务；
所述配置与管理子***，根据当前网络状态、***负载情况对***资源进行配置和管理；
所述发送统计子***，对数据的分发情况进行自动统计，并将这些统计信息存储在数据库表中。
2.根据权利要求1所述的基于JSEDA的智能交通大数据平台分发共享***，其特征在于，所述高性能网络自适应分发子***采用SEDA分阶段思想，将不同的应用按照需求划分成不同的阶段，并采用异步的事件驱动机制，将复杂的应用程序流程分解为通过事件队列连接的阶段；所有阶段产生的事件由调度器统一进行调度，根据负载情况，将事件加入到各线程的事件处理队列，由事件来驱动各个阶段任务的执行；在处理I/0请求阶段，由监听线程支撑，在监听线程处采用EPOLL技术。
3.根据权利要求1所述的基于JSEDA的智能交通大数据平台分发共享***，其特征在于，所述发送统计子***包括三个子模块，分别是：区域统计模块、交通数据探测站点统计模块和交通数据信息数据产品统计模块，其中：
区域统计模块实现选定时间段、选定区域文件级的交通数据分发情况的自动统计；
交通数据探测站点统计模块实现选定时间段、选定交通数据探测站点的交通数据分发情况的自动统计；
交通数据信息数据产品统计模块实现选定时间段、选定区域文件数据类别级的交通数据分发情况的自动统计；
最后将上述统计信息存储在数据库表中。
4.根据权利要求2所述的基于JSEDA的智能交通大数据平台分发共享***，其特征在于，所述高性能网络自适应分发子***包括4个模块，具体为：
阶段：每个阶段任务的执行都由事件驱动，某一阶段任务执行完毕后，将产生一个事件；
监听线程池：初始为一个线程，将监听线程与物理线程绑定，当监听线程负载达到上限后增加一监听线程协同处理请求，当监听线程负载减少到下限后减少监听线程数，同时监听线程池的线程数量设有最大值，当达到最大值时，整个***满负荷运行；
任务线程池：任务线程池拥有多个线程，每个任务线程有一个对应的事件队列，任务线程的数量基于硬件产生，且与物理线程数量一致，将任务线程与物理线程绑定；
调度器：考虑任务线程和监听线程的负载情况，将事件加入任务线程的事件队列，保持整个***负载均衡。
CN201710172901.2A 2017-03-22 2017-03-22 基于jseda的智能交通大数据平台分发共享*** Active CN107018180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710172901.2A CN107018180B (zh) 2017-03-22 2017-03-22 基于jseda的智能交通大数据平台分发共享***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710172901.2A CN107018180B (zh) 2017-03-22 2017-03-22 基于jseda的智能交通大数据平台分发共享***

Publications (2)

Publication Number Publication Date
CN107018180A true CN107018180A (zh) 2017-08-04
CN107018180B CN107018180B (zh) 2019-11-15

Family

ID=59440760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710172901.2A Active CN107018180B (zh) 2017-03-22 2017-03-22 基于jseda的智能交通大数据平台分发共享***

Country Status (1)

Country Link
CN (1) CN107018180B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019041759A1 (zh) * 2017-09-04 2019-03-07 深圳壹账通智能科技有限公司 服务器、区块链验签解密的方法及存储介质
CN109582637A (zh) * 2017-09-28 2019-04-05 韩国电子通信研究院 网络基础结构***和使用其的数据处理和数据共享的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6978206B1 (en) * 2002-06-21 2005-12-20 Infogation Corporation Distributed navigation system
CN101448027A (zh) * 2008-12-29 2009-06-03 中国科学院计算技术研究所 一种流水线Web服务器的***及其工作方法
CN103036927A (zh) * 2011-09-29 2013-04-10 中国电信股份有限公司 智能交通控制方法、装置与***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6978206B1 (en) * 2002-06-21 2005-12-20 Infogation Corporation Distributed navigation system
CN101448027A (zh) * 2008-12-29 2009-06-03 中国科学院计算技术研究所 一种流水线Web服务器的***及其工作方法
CN103036927A (zh) * 2011-09-29 2013-04-10 中国电信股份有限公司 智能交通控制方法、装置与***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘廉如: "动态服务资源分发网络的若干关键技术研究", 《中国博士学位论文全文数据库》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019041759A1 (zh) * 2017-09-04 2019-03-07 深圳壹账通智能科技有限公司 服务器、区块链验签解密的方法及存储介质
CN109582637A (zh) * 2017-09-28 2019-04-05 韩国电子通信研究院 网络基础结构***和使用其的数据处理和数据共享的方法

Also Published As

Publication number Publication date
CN107018180B (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110300184B (zh) 边缘节点分配方法、装置、调度服务器及存储介质
CN109379727A (zh) 车联网中基于mec的任务分布式卸载与协作执行方案
CN104461740A (zh) 一种跨域集群计算资源聚合和分配的方法
CN110308995A (zh) 一种边缘云计算服务***边缘云节点部署装置
CN104408589A (zh) 基于混合粒子群算法的agv优化调度方法
CN104969213A (zh) 用于低延迟数据存取的数据流分割
CN103473365A (zh) 一种基于hdfs的文件存储方法、装置及分布式文件***
CN105068755B (zh) 一种面向云计算内容分发网络的数据副本存储方法
CN102299959A (zh) 一种数据库集群***的负载均衡实现方法和装置
CN104619029B (zh) 一种集中式蜂窝网络架构下的基带池资源分配方法和装置
CN104679594B (zh) 一种中间件分布式计算方法
CN103595805A (zh) 一种基于分布式集群的数据放置方法
CN102394903A (zh) 一种主动重构计算体系构建***
CN104796880B (zh) 客户识别模块sim卡资源分配方法、相关设备及***
CN101374077A (zh) 一种网管***中告警前转实现方法及***
CN103997523A (zh) 基于云服务的智慧城市业务***及其实现方法
CN110363414A (zh) 配送区域的划分方法及装置
CN106131227A (zh) 负载平衡方法、元数据服务器***及负载平衡***
CN107018180B (zh) 基于jseda的智能交通大数据平台分发共享***
CN103281374A (zh) 一种云存储中数据快速调度的方法
CN103235744A (zh) 一种智能电视的应用资源管理***
CN104346283A (zh) 网络媒介信息存储量的询量分配方法和装置
CN110264057A (zh) 一种车站协同调度方法及***
CN105898391A (zh) 在线媒体服务的带宽分配方法及***
CN101764993A (zh) 一种视频点播***中的协作缓存方法及视频点播***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant