CN102510403A - 用于车辆数据接收和实时分析的集群分布式***及方法 - Google Patents

用于车辆数据接收和实时分析的集群分布式***及方法 Download PDF

Info

Publication number
CN102510403A
CN102510403A CN2011103615343A CN201110361534A CN102510403A CN 102510403 A CN102510403 A CN 102510403A CN 2011103615343 A CN2011103615343 A CN 2011103615343A CN 201110361534 A CN201110361534 A CN 201110361534A CN 102510403 A CN102510403 A CN 102510403A
Authority
CN
China
Prior art keywords
cluster
server
analysis
mentioned
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103615343A
Other languages
English (en)
Other versions
CN102510403B (zh
Inventor
包可为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu aerospace Polytron Technologies Inc
Original Assignee
JIANGSU DAWAY TECHNOLOGIES Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIANGSU DAWAY TECHNOLOGIES Co Ltd filed Critical JIANGSU DAWAY TECHNOLOGIES Co Ltd
Priority to CN201110361534.3A priority Critical patent/CN102510403B/zh
Publication of CN102510403A publication Critical patent/CN102510403A/zh
Application granted granted Critical
Publication of CN102510403B publication Critical patent/CN102510403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Hardware Redundancy (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种用于车辆数据接收和实时分析的集群分布式***及方法，包括前端设备、通信服务器和分析服务器，多个通信服务器组合为一个接收集群，多个分析服务器组合为一个分析集群，接收集群和分析集群中设置有集群管理器和集群服务器状态列表，通过对服务器的工作负载性能数值计算，从而有集群管理器动态的分配连接地址，在前端设备、通信服务器和分析服务器间建立通信。从而达到避免因一个汇聚点上的接收或者分析模块宕机后造成的数据传输中断，和因中断造成的数据的丢失或者成批量的数据长时间无法分析的缺点。

Description

用于车辆数据接收和实时分析的集群分布式***及方法
技术领域
本发明涉及车辆数据接收和实时分析领域，具体地，涉及一种用于车辆数据接收和实时分析的集群分布式***及方法。
背景技术
随着我国汽车数量的不断增加，需要对大量采集的车辆数据进行处理，而现有技术对车辆数据的接受和实时分析时仍采用如图1所示的方法，在每个汇聚点上进行车辆数据的各种分析运算。而采用这样的方式，在数据接收和数据分析上都是会有很大的延时，而且当一个汇聚点上的接收或者分析模块宕机后，在汇聚点修复之前，整个汇聚点下的所有设备数据接受和分析都会中断，造成数据的丢失或者成批量的数据长时间无法分析。
发明内容
本发明的目的在于，针对上述问题，提出一种用于车辆数据接收和实时分析的集群分布式***及方法，以实现防止因一个汇聚点上的接收或者分析模块宕机后造成的数据传输中断，及因中断造成的数据的丢失或者成批量的数据长时间无法分析的优点。
为实现上述目的，本发明采用的技术方案是：
一种用于车辆数据接收和实时分析的集群分布式***，包括前端设备、通信服务器和分析服务器，
所述前端设备：收集车辆数据；
所述通信服务器：接收上述前端设备采集的车辆数据；
所述分析服务器：接收上述由通信服务器传输的前端设备采集的车辆数据并进行数据处理；
所述多个通信服务器组合为一个接收集群；
所述多个分析服务器组合为一个分析集群；
上述接收集群和分析集群中设置有集群管理器和集群服务器状态列表；
上述集群管理器：根据服务器的工作负载性能数值，动态的分配连接地址，在上述通信服务器和前端设备间及分析服务器和通信服务器间建立通信，并负责整个集群中服务器的运行和对外的服务响应；
上述集群服务器状态列表：保存上述通信服务器和分析服务器自身的实时运行状态和性能数值。
一种用于车辆数据接收和实时分析的集群分布式的方法，包括以下步骤：
前端设备向接收集群提出连接请求；
上述接收集群中的集群管理器接收到上述请求并根据接收集群内集群服务器状态列表中的通信服务器的实时运行状态和性能数值计算通信服务器的工作负载性能数值；
上述接收集群中的集群管理器根据上述计算的工作负载性能数值分配连接地址；
上述接收集群中的集群管理器根据上述分配的连接地址在通信服务器与前端设备间建立通信；
上述接收集群中的集群管理器向分析集群提出连接请求；
上述分析集群中的集群管理器接收上述请求，并根据分析集群内集群服务器状态列表中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值；
上述分析集群中的集群管理器根据上述工作负载性能数值分配连接地址；
上述分析集群中的集群管理器根据上述分配的连接地址在分析服务器和通信服务器间建立通信。
根据本发明的优选实施例，所述接收集群中的集群管理器接收到上述请求并根据接收集群内集群服务器状态列表中的通信服务器的实时运行状态和性能数值计算通信服务器的工作负载性能数值，包括以下步骤：
上述集群管理器从集群服务器状态列表中读取通信服务器的实时运行状态和性能数值；
上述集群管理器分析上述通信服务器的实时运行状态和性能数值判断上述集群服务器状态列表中通信服务器的信息是否及时更新；
如通信服务器的信息没有及时更新则从新读取通信服务器的实时运行状态和性能数值；
如通信服务器的信息得到及时更新集群管理器则根据上述通信服务器的信息计算通信服务器的工作负载性能数值。
根据本发明的优选实施例，所述分析集群中的集群管理器接收上述请求，并根据分析集群内集群服务器状态列表中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值，包括以下步骤：
上述集群管理器从集群服务器状态列表中读取分析服务器的实时运行状态和性能数值；
上述集群管理器分析上述分析服务器的实时运行状态和性能数值判断上述集群服务器状态列表中分析服务器的信息是否及时更新；
如分析服务器的信息没有及时更新则从新读取分析服务器的实时运行状态和性能数值；
如分析服务器的信息得到及时更新集群管理器则根据上述分析服务器的信息计算分析服务器的工作负载性能数值。
根据本发明的优选实施例，所述服务器的工作负载性能数值的计算公式如下：
F(C,M,N,H,L) = (p1*C + p2*M + p3*N + p4*H + p5*L )/( p1 + p2 + p3 + p4 + p5);
其中F值越高，表示该服务器的工作负载越重；
C表示： CPU使用率，M 表示：内存使用率，N表示：网络带宽使用率，H表示：硬盘缓存使用率，L表示：外部设备的连接比例，F 表示：工作负载量，Px表示：权重参数。
本发明的技术方案通过将通信服务器和分析服务器组合成集群，并在集群中设置集群管理器和集群服务器状态列表，并对服务器的工作负载性能数值进行计算，从而动态的分配连接地址，使前端设备和通信服务器和分析服务器建立动态通信，从而避免了因一个汇聚点上的接收或者分析模块宕机后造成的数据传输中断，和因中断造成的数据的丢失或者成批量的数据长时间无法分析的缺点。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为现有的车辆数据的接受和实时分析的结构***图；
图2为本发明所述的用于车辆数据接收和实时分析的集群分布式***的结构***图；
图3为本发明所述的用于车辆数据接收和实时分析的集群分布式的方法的流程图；
图4为本发明计算通信服务器工作负载性能数值的流程图；
图5为本发明计算分析服务器工作负载性能数值的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如图2所示，本发明的技术方案公开的用于车辆数据接收和实时分析的集群分布式***，包括前端设备：收集车辆数据；通信服务器：接收前端设备采集的车辆数据；分析服务器：接收由通信服务器传输的前端设备采集的车辆数据并进行数据处理；多个通信服务器组合为一个接收集群；多个分析服务器组合为一个分析集群；接收集群和分析集群中设置有集群管理器和集群服务器状态列表；集群管理器：根据服务器的工作负载性能数值，动态的分配连接地址，在通信服务器和前端设备间及分析服务器和通信服务器间建立通信，并负责整个集群中服务器的运行和对外的服务响应；集群服务器状态列表：保存通信服务器和分析服务器自身的实时运行状态和性能数值。
如图3所示，本发明的技术方案公开的于车辆数据接收和实时分析的集群分布式的方法，包括以下步骤：
步骤101：前端设备向接收集群提出连接请求；
步骤102：接收集群中的集群管理器接收到请求并根据接收集群内集群服务器状态列表中的通信服务器的实时运行状态和性能数值计算通信服务器的工作负载性能数值；
步骤103：接收集群中的集群管理器根据计算的工作负载性能数值分配连接地址；
步骤104：接收集群中的集群管理器根据分配的连接地址在通信服务器与前端设备间建立通信；
步骤105：接收集群中的集群管理器向分析集群提出连接请求；
步骤106：分析集群中的集群管理器接收请求，并根据分析集群内集群服务器状态列表中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值；
步骤107：分析集群中的集群管理器根据工作负载性能数值分配连接地址；
步骤108：分析集群中的集群管理器根据分配的连接地址在分析服务器和通信服务器间建立通信。
如图4所示，在步骤102中接收集群中的集群管理器接收到请求并根据接收集群内集群服务器状态列表中的通信服务器的实时运行状态和性能数值计算通信服务器的工作负载性能数值，包括以下步骤：
步骤201：集群管理器从集群服务器状态列表中读取通信服务器的实时运行状态和性能数值；
步骤:202：集群管理器分析通信服务器的实时运行状态和性能数值判断集群服务器状态列表中通信服务器的信息是否及时更新；
如通信服务器的信息没有及时更新则从新读取通信服务器的实时运行状态和性能数值及返回步骤201；
步骤203：如通信服务器的信息得到及时更新集群管理器则根据通信服务器的信息计算通信服务器的工作负载性能数值。
如图5所示，步骤106中分析集群中的集群管理器接收请求，并根据分析集群内集群服务器状态列表中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值，包括以下步骤：
步骤301：集群管理器从集群服务器状态列表中读取分析服务器的实时运行状态和性能数值；
步骤302：集群管理器分析分析服务器的实时运行状态和性能数值判断集群服务器状态列表中分析服务器的信息是否及时更新；
如分析服务器的信息没有及时更新则从新读取分析服务器的实时运行状态和性能数值及返回步骤301；
步骤303：如分析服务器的信息得到及时更新集群管理器则根据分析服务器的信息计算分析服务器的工作负载性能数值。
另外，服务器的工作负载性能数值的计算公式如下：
F(C,M,N,H,L) = (p1*C + p2*M + p3*N + p4*H + p5*L )/( p1 + p2 + p3 + p4 + p5);
其中F值越高，表示该服务器的工作负载越重；
C表示： CPU使用率，M 表示：内存使用率，N表示：网络带宽使用率，H表示：硬盘缓存使用率，L表示：外部设备的连接比例，F 表示：工作负载量，Px表示：权重参数。
其中服务器的运行状态包括:CPU使用率，内存使用率，网络带宽使用率，硬盘缓存使用率，接收、分析软件运行状态，外部设备的连接比例。
集群管理器通过分析每一台服务器的运行性能来动态的调配对外设备的连接和内部分析运算。
集群内部通信采用TCP通信模式。各个节点服务器上的客户端实时把运行数值传输到集群管理器。
最后，基于工作负载性能数值计算结果，在一系列的服务器中挑选出有哪台服务器适合作为最新的接入对象，将接入端口分发给外部设备，完成外部设备与集群的对接。
接入集群中每一台服务器上的接收软件与分析集群的对接也是如此，由分析集群的集群管理器动态分派。
分发过程中挑选工作负载量最低的服务器作为外部设备的接入对象，同时，为了防止出现接入请求密度高时无法及时更新的服务器状态的状况，一旦连接分发出去之后在状态更新之前就不再对外分发。
一、低工作负载节点挑选过程；
二、从服务器状态列表中取得最低工作负载的服务器信息；
三、分析该信息是否及时更新，是否已进行分发；
四、如果不符合条件，重复步骤一；
五、把服务器信息发送至请求方；
六、在服务器状态列表中进行状态标注，标志已分发出去；
七、等到下一个请求。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种用于车辆数据接收和实时分析的集群分布式***，包括前端设备、通信服务器和分析服务器，其特征在于，
所述前端设备：收集车辆数据；
所述通信服务器：接收上述前端设备采集的车辆数据；
所述分析服务器：接收上述由通信服务器传输的前端设备采集的车辆数据并进行数据处理；
所述多个通信服务器组合为一个接收集群；
所述多个分析服务器组合为一个分析集群；
上述接收集群和分析集群中设置有集群管理器和集群服务器状态列表；
上述集群管理器：根据服务器的工作负载性能数值，动态的分配连接地址，在上述通信服务器和前端设备间及分析服务器和通信服务器间建立通信，并负责整个集群中服务器的运行和对外的服务响应；
上述集群服务器状态列表：保存上述通信服务器和分析服务器自身的实时运行状态和性能数值。
2.一种利用权利要求1所述的用于车辆数据接收和实时分析的集群分布式***的方法，其特征在于，包括以下步骤：
前端设备向接收集群提出连接请求；
上述接收集群中的集群管理器接收到上述请求并根据接收集群内集群服务器状态列表中的通信服务器的实时运行状态和性能数值计算通信服务器的工作负载性能数值；
上述接收集群中的集群管理器根据上述计算的工作负载性能数值分配连接地址；
上述接收集群中的集群管理器根据上述分配的连接地址在通信服务器与前端设备间建立通信；
上述接收集群中的集群管理器向分析集群提出连接请求；
上述分析集群中的集群管理器接收上述请求，并根据分析集群内集群服务器状态列表中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值；
上述分析集群中的集群管理器根据上述工作负载性能数值分配连接地址；
上述分析集群中的集群管理器根据上述分配的连接地址在分析服务器和通信服务器间建立通信。
3.根据权利要求2所述的用于车辆数据接收和实时分析的集群分布式的方法，其特征在于，所述接收集群中的集群管理器接收到上述请求并根据接收集群内集群服务器状态列表中的通信服务器的实时运行状态和性能数值计算通信服务器的工作负载性能数值，包括以下步骤：
上述集群管理器从集群服务器状态列表中读取通信服务器的实时运行状态和性能数值；
上述集群管理器分析上述通信服务器的实时运行状态和性能数值判断上述集群服务器状态列表中通信服务器的信息是否及时更新；
如通信服务器的信息没有及时更新则从新读取通信服务器的实时运行状态和性能数值；
如通信服务器的信息得到及时更新集群管理器则根据上述通信服务器的信息计算通信服务器的工作负载性能数值。
4.根据权利要求2所述的用于车辆数据接收和实时分析的集群分布式的方法，其特征在于，所述分析集群中的集群管理器接收上述请求，并根据分析集群内集群服务器状态列表中的分析服务器的实时运行状态和性能数值计算分析服务器的工作负载性能数值，包括以下步骤：
上述集群管理器从集群服务器状态列表中读取分析服务器的实时运行状态和性能数值；
上述集群管理器分析上述分析服务器的实时运行状态和性能数值判断上述集群服务器状态列表中分析服务器的信息是否及时更新；
如分析服务器的信息没有及时更新则从新读取分析服务器的实时运行状态和性能数值；
如分析服务器的信息得到及时更新集群管理器则根据上述分析服务器的信息计算分析服务器的工作负载性能数值。
5.根据权利要求2、3或4所述的用于车辆数据接收和实时分析的集群分布式的方法，其特征在于，所述服务器的工作负载性能数值的计算公式如下：
F(C,M,N,H,L) = (p1*C + p2*M + p3*N + p4*H + p5*L )/( p1 + p2 + p3 + p4 + p5);
其中F值越高，表示该服务器的工作负载越重；
C表示： CPU使用率，M 表示：内存使用率，N表示：网络带宽使用率，H表示：硬盘缓存使用率，L表示：外部设备的连接比例，F 表示：工作负载量，Px表示：权重参数。
CN201110361534.3A 2011-11-15 2011-11-15 用于车辆数据接收和实时分析的集群分布式***及方法 Active CN102510403B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110361534.3A CN102510403B (zh) 2011-11-15 2011-11-15 用于车辆数据接收和实时分析的集群分布式***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110361534.3A CN102510403B (zh) 2011-11-15 2011-11-15 用于车辆数据接收和实时分析的集群分布式***及方法

Publications (2)

Publication Number Publication Date
CN102510403A true CN102510403A (zh) 2012-06-20
CN102510403B CN102510403B (zh) 2015-08-26

Family

ID=46222456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110361534.3A Active CN102510403B (zh) 2011-11-15 2011-11-15 用于车辆数据接收和实时分析的集群分布式***及方法

Country Status (1)

Country Link
CN (1) CN102510403B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103929339A (zh) * 2014-04-17 2014-07-16 五八同城信息技术有限公司 一种web数据采集方法和***
CN104346653A (zh) * 2013-08-06 2015-02-11 唐海娣 一种船舶岸基管理***
CN104518912A (zh) * 2014-12-16 2015-04-15 北京中交兴路车联网科技有限公司 一种集群***中车机数据的分发方法
CN105554099A (zh) * 2015-12-10 2016-05-04 浪潮通信信息***有限公司 一种采集服务器负载均衡的方法及装置
CN103795793B (zh) * 2014-01-23 2017-04-12 北京大学工学院南京研究院 一种基于双服务器集群的道路车辆监控平台***
CN114531468A (zh) * 2020-11-06 2022-05-24 上海博泰悦臻网络技术服务有限公司 提升车辆远程控制率方法、***、介质及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1512729A (zh) * 2002-12-31 2004-07-14 联想(北京)有限公司 网络设备自适应负载均衡的方法
CN1754365A (zh) * 2002-11-27 2006-03-29 富士通西门子电脑公司 从计算机发送到集群***的数据包的分发方法和设备
CN101677324A (zh) * 2008-09-17 2010-03-24 华为技术有限公司 业务管理方法、终端、网络***及相关设备
CN201985898U (zh) * 2011-01-04 2011-09-21 苏州市伏泰信息科技有限公司 通讯服务负载平衡***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1754365A (zh) * 2002-11-27 2006-03-29 富士通西门子电脑公司 从计算机发送到集群***的数据包的分发方法和设备
CN1512729A (zh) * 2002-12-31 2004-07-14 联想(北京)有限公司 网络设备自适应负载均衡的方法
CN101677324A (zh) * 2008-09-17 2010-03-24 华为技术有限公司 业务管理方法、终端、网络***及相关设备
CN201985898U (zh) * 2011-01-04 2011-09-21 苏州市伏泰信息科技有限公司 通讯服务负载平衡***

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346653A (zh) * 2013-08-06 2015-02-11 唐海娣 一种船舶岸基管理***
CN103795793B (zh) * 2014-01-23 2017-04-12 北京大学工学院南京研究院 一种基于双服务器集群的道路车辆监控平台***
CN103929339A (zh) * 2014-04-17 2014-07-16 五八同城信息技术有限公司 一种web数据采集方法和***
CN103929339B (zh) * 2014-04-17 2018-11-09 五八同城信息技术有限公司 一种web数据采集方法和***
CN104518912A (zh) * 2014-12-16 2015-04-15 北京中交兴路车联网科技有限公司 一种集群***中车机数据的分发方法
CN104518912B (zh) * 2014-12-16 2018-04-27 北京中交兴路车联网科技有限公司 一种集群***中车机数据的分发方法
CN105554099A (zh) * 2015-12-10 2016-05-04 浪潮通信信息***有限公司 一种采集服务器负载均衡的方法及装置
CN114531468A (zh) * 2020-11-06 2022-05-24 上海博泰悦臻网络技术服务有限公司 提升车辆远程控制率方法、***、介质及装置

Also Published As

Publication number Publication date
CN102510403B (zh) 2015-08-26

Similar Documents

Publication Publication Date Title
CN102510403A (zh) 用于车辆数据接收和实时分析的集群分布式***及方法
CN102739798B (zh) 具有网络感知功能的云平台资源调度方法
CN103401947A (zh) 多个服务器的任务分配方法和装置
CN107026907A (zh) 一种负载均衡方法、负载均衡器及负载均衡***
CN102111337A (zh) 任务调度方法和***
CN108519917A (zh) 一种资源池分配方法和装置
CN103377092A (zh) 用于动态资源管理的两级动态资源管理方法和装置
CN100562850C (zh) 多处理器负载分配调整方法
CN103763740B (zh) 一种单板间负载均衡的方法及装置
CN102426544A (zh) 任务分配方法和***
CN103441918A (zh) 一种自组织集群服务器***及其自组织方法
CN111262723B (zh) 一种基于模块化硬件和软件定义的边缘智能计算平台
CN106059940A (zh) 一种流量控制方法及装置
CN109614228B (zh) 基于动态负载均衡方式的综合监控前置***及工作方法
CN113590281B (zh) 基于动态集中式调度的分布式并行模糊测试方法及***
CN103631804A (zh) 电子地图的切图方法及处理***
CN103677993A (zh) 虚拟机资源负载平衡***及方法
CN105243078A (zh) 一种文件资源的分发方法、***和装置
CN105099753B (zh) 网络管理***及其处理业务的方法
CN103677994B (zh) 分布式数据处理***、设备及方法
CN105681311A (zh) 一种基于云计算技术的火箭地面网络异构***
CN102647362A (zh) 一种多控制器存储***负载均衡的方法
CN103929378B (zh) 跨域数据传输的通信链路分配及跨域数据传输方法和***
CN105373451A (zh) 一种虚拟机放置的方法及装置
CN105120008A (zh) 一种基于分层的分布式云计算中心负载平衡方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP03 Change of name, title or address

Address after: 214101 Xishan Economic Development Zone, Jiangsu Province, science and Technology Industrial Park, No. 1, No.

Patentee after: Jiangsu aerospace Polytron Technologies Inc

Address before: 214001 Wuxi science and Technology Industrial Park, Xishan Economic Development Zone, Jiangsu, China, No. 1, No.

Patentee before: Jiangsu Daway Technologies Co., Ltd.