CN106970976A - 一种基于游客移动信令数据的景区实时动态客流量统计方法 - Google Patents

一种基于游客移动信令数据的景区实时动态客流量统计方法 Download PDF

Info

Publication number
CN106970976A
CN106970976A CN201710190179.5A CN201710190179A CN106970976A CN 106970976 A CN106970976 A CN 106970976A CN 201710190179 A CN201710190179 A CN 201710190179A CN 106970976 A CN106970976 A CN 106970976A
Authority
CN
China
Prior art keywords
data
visitor
real
scenic spot
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710190179.5A
Other languages
English (en)
Inventor
陈粤龙
陈敏俊
温亮生
张治中
赵瑞莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
Chongqing University of Post and Telecommunications
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications, China Mobile Hangzhou Information Technology Co Ltd filed Critical Chongqing University of Post and Telecommunications
Priority to CN201710190179.5A priority Critical patent/CN106970976A/zh
Publication of CN106970976A publication Critical patent/CN106970976A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/02—Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明涉及一种基于游客移动信令数据的景区实时动态客流量统计方法，包括以下步骤：S1：LTE‑A空口监测仪实时采集景区内游客的信令数据，并将数据保存至远程文件中，以一分钟的时间粒度保存一个信令数据文件；S2：通过Flume组件监测远程文件是否有文件更新，若有更新，将文件逐条记录收集；S3：Flume组件将更新的最新文件中的数据逐条发送至Kafka数据缓冲组件中进行数据缓冲，直至更新后的最新文件中的数据全部发送完毕，将该数据流打包成批数据作为Spark的数据输入流；S4：在Spark分布式的内存计算框架中，通过比较前一分钟和后一分钟游客所在基站的位置来实时统计景区内游客总量；S5：将每分钟实时统计的客流量结果进行输出并存储。

Description

一种基于游客移动信令数据的景区实时动态客流量统计方法
技术领域
本发明属于通信技术领域，特别是移动互联网及计算机通信领域，涉及一种基于游客移动信令数据的景区实时动态客流量统计方法。
背景技术
近年来，以云计算、物联网、移动通信等为代表的新一代信息技术取得了重大突破，开始广泛应用于各行各业。物联网技术突破了互联网的“线上”局限，把虚拟世界与现实世界联成一体；移动通信技术实现了实时数据在***之间、远程设备之间的无线连接，为无处不在的全程服务提供了条件；云计算解决了互联网发展所带来的巨量数据存储与处理问题。这些技术的普及和应用，为旅游信息化的发展提供了有力支撑，将人类社会带入了一个以“PB”(1024TB)为单位的新阶段，大数据时代应运而生。大数据不仅更新了旅游信息化所需的技术，更从观念和思维上革新了人类的认识，实现思维、商业、管理上的变革。
随着中国经济的发展，人们收入的增长以及对生活品质的追求，旅游业在国内发展得很快，得到了国家的大力支持，旅游业进入爆发性的增长阶段，成为新的支柱产业。旅游已经成为人们生活方式的重要组成部分，但与此同时引发了一些景区管理的安全隐患，景区超流量接待游客已不是罕见现象。2015年跨年夜上海发生的***件，暴露出了我国在大量游客管理方面能力的匮乏。事后国家旅游局对景区安全管理更加严格，尤其是在景区客流量控制上。因此，无论是从国家还是旅游局层面来讲，景区需要一套针对景区游客的安全监控方案。
传统的景区动态客流量统计方法在实时性方面体现的比较差，统计景区客流量是通过从传统的数据库中分析提取。而传统数据库具有效率不够高、可读性不高、数据时间性不足等缺点，导致分析传统数据库中的海量游客信令数据会造成查询速度特别慢、统计速度特别慢等缺点。所以传统数据库不适合用于存储分析海量数据，不利于应对短时间内因游客剧增导致拥堵、踩踏等引发的安全事故。
Flume是一个分布式、可靠、和高可用的海量日志聚合的***，支持在日志***中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力。
Kafka是一种高吞吐量的分布式发布订阅消息***，它可以处理消费者规模的网站中的所有动作流数据。Kafka可实时记录从数据采集工具Flume中收集的数据，并作为消息缓冲组件为上游实时计算框架提供可靠数据支撑。
Spark是一个分布式的内存计算框架，其特点是能处理大规模数据，计算速度快。Spark需要集成Hadoop的分布式文件***才能运作，它延续了Hadoop的MapReduce计算模型，相比之下Spark的计算过程保持在内存中，减少了硬盘读写，能够将多个操作进行合并后计算，因此提升了计算速度。Spark必须搭在Hadoop集群上，它的数据来源是HDFS，本质上是Yarn上的一个计算框架，像MapReduce一样。Spark核心部分分为RDD。Spark SQL、SparkStreaming、MLlib、GraphX、SparkR等核心组件解决了很多的大数据问题，其完美的框架日受欢迎。其相应的生态环境包括zepplin等可视化方面，正日益壮大。Spark读写过程不像Hadoop溢出写入磁盘，都是基于内存，因此速度很快。另外DAG作业调度***的宽窄依赖让Spark速度提高。
本方法采用快速的海量数据处理框架和相应的分析算法实时监控景区内的客流情况，以便景区和当地人民政府能及时采取疏导、分流等措施，从而达到景区安全管理的目的。
发明内容
有鉴于此，本发明的目的在于提供一种基于游客移动信令数据的景区实时动态客流量统计方法，该方法针对传统的景区动态客流量统计方法在实时性方面体现的比较差、海量数据不适合存储在传统数据库中进行分析等问题，通过实时监控景区内的客流量，有助于应对短时间内景区游客剧增情况，便于景区和当地政府及时采取疏导、分流等措施，从而达到景区安全管理的目的，同时更大程度地提升游客对景区的体验度。
为达到上述目的，本发明提供如下技术方案：
一种基于游客移动信令数据的景区实时动态客流量统计方法，该方法包括以下步骤：
S1：LTE-A空口监测仪实时采集景区内游客的信令数据，并将数据保存至远程文件中，以一分钟的时间粒度保存一个信令数据文件；
S2：通过Flume组件监测远程文件是否有文件更新，若有更新，将文件逐条记录收集；
S3：Flume组件将更新的最新文件中的数据逐条发送至Kafka数据缓冲组件中进行数据缓冲，直至更新后的最新文件中的数据全部发送完毕，将该数据流打包成批数据作为Spark的数据输入流；
S4：在Spark分布式的内存计算框架中，通过比较前一分钟和后一分钟游客所在基站的位置来实时统计景区内游客总量；
S5：将每分钟实时统计的客流量结果进行输出并存储，如存储到MySQL/Oracle数据库中。
进一步，在步骤S1中，所述LTE-A空口监测仪采集景区内游客的移动信令数据，包括IMSI库、信令发生的时间、所在的基站位置信息，并将移动信令数据以一分钟的时间粒度保存一个信令数据文件。
进一步，该方法还包括以下步骤：S6：将存入到数据库的实时结果输出至应用展示层中，以可视化界面的形式方便用户查看。
本发明的有益效果在于：
1)本发明将景区内游客的海量实时移动信令数据存储在远程文件***中，为数据预处理和数据分析处理模块提供数据准备，把数据分析后的结果存储到传统的数据库中，从而大大减轻了传统数据库直接存储海量实时数据的压力。
2)本发明基于Hadoop平台，在Spark分布式内存计算框架中进行海量的数据运算分析，把在传统数据库中进行数据运算的压力转移到高效快速的Spark分布式内存计算框架中，从而保证了景区内对游客的实时监控。
3)本发明可用于分析景区内精细化的客流特征，通过重复利用Kafka缓冲的批数据处理流，在Spark中生成多个RDD变换，每个RDD变换用于一种客流特征的分析，形成各自的业务逻辑。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明中的数据预处理流程图；
图2为本发明中数据实时计算处理流程图；
图3为本发明中精细化的客流特征分析流程框图；
图4为本发明中数据实时计算处理后数据表的设计。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
图1为本发明中的数据预处理流程图，图2为本发明中数据实时计算处理流程图，如图所示，本发明提供了一种基于游客移动信令数据的景区实时动态客流量统计方法，该方法包括如下步骤：
步骤1：LTE-A空口监测仪实时采集景区内游客的信令数据IMSI号和(LAC，CI)(移动终端IMSI表示游客在景区的唯一标识，移动终端所在的基站位置(LAC，CI)表示游客所在的位置)，并将数据保存至远程的文件中，以一分钟的时间粒度保存一个信令数据文件。
步骤2：通过Flume组件监测远程文件是否有文件更新，若有更新，将文件逐条记录收集。
步骤3：Flume组件将更新的最新文件中的数据逐条发送至Kafka数据缓冲组件中进行数据缓冲，直至更新后的最新文件中的数据全部发送完毕，将该数据流打包成批数据作为Spark的数据输入流。
步骤4：在Spark分布式的内存计算框架中，通过比较前一分钟和后一分钟游客所在基站的位置来实时统计景区内游客总量。当前景区游客总量为各个基站下游客总量之和。当游客从景区内一个基站到另一个基站，景区总量不变；当游客前后一分钟都在该景区内的同一个基站范围内，景区总量不变；当游客从景区外的一个基站到景区内的一个基站，景区总量+1；当游客从景区内的一个基站到景区外的一个基站，景区总量-1。
步骤5：将每分钟实时统计的客流量结果进行输出并存储，如存储到MySQL/Oracle数据库中。数据库中表的设计结构如图4所示。
步骤6：将存入到数据库的实时结果输出至应用展示层中。
本发明可用于分析景区内精细化的客流特征，通过重复利用Kafka缓冲的批数据处理流，在Spark中生成多个RDD变换，每个RDD变换用于一种客流特征的分析，形成各自的业务逻辑。如图3所示。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (3)

1.一种基于游客移动信令数据的景区实时动态客流量统计方法，其特征在于：该方法包括以下步骤：
S1：LTE-A空口监测仪实时采集景区内游客的信令数据，并将数据保存至远程文件中，以一分钟的时间粒度保存一个信令数据文件；
S2：通过Flume组件监测远程文件是否有文件更新，若有更新，将文件逐条记录收集；
S3：Flume组件将更新的最新文件中的数据逐条发送至Kafka数据缓冲组件中进行数据缓冲，直至更新后的最新文件中的数据全部发送完毕，将该数据流打包成批数据作为Spark的数据输入流；
S4：在Spark分布式的内存计算框架中，通过比较前一分钟和后一分钟游客所在基站的位置来实时统计景区内游客总量；
S5：将每分钟实时统计的客流量结果进行输出并存储。
2.如权利要求1所述的一种基于游客移动信令数据的景区实时动态客流量统计方法，其特征在于：在步骤S1中，所述LTE-A空口监测仪采集景区内游客的移动信令数据，包括IMSI库、信令发生的时间、所在的基站位置信息，并将移动信令数据以一分钟的时间粒度保存一个信令数据文件。
3.如权利要求1所述的一种基于游客移动信令数据的景区实时动态客流量统计方法，其特征在于：该方法还包括以下步骤：S6：将存入到数据库的实时结果输出至应用展示层中，以可视化界面的形式方便用户查看。
CN201710190179.5A 2017-03-27 2017-03-27 一种基于游客移动信令数据的景区实时动态客流量统计方法 Pending CN106970976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710190179.5A CN106970976A (zh) 2017-03-27 2017-03-27 一种基于游客移动信令数据的景区实时动态客流量统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710190179.5A CN106970976A (zh) 2017-03-27 2017-03-27 一种基于游客移动信令数据的景区实时动态客流量统计方法

Publications (1)

Publication Number Publication Date
CN106970976A true CN106970976A (zh) 2017-07-21

Family

ID=59336175

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710190179.5A Pending CN106970976A (zh) 2017-03-27 2017-03-27 一种基于游客移动信令数据的景区实时动态客流量统计方法

Country Status (1)

Country Link
CN (1) CN106970976A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288106A (zh) * 2017-10-30 2018-07-17 江苏鸿信***集成有限公司 一种基于大数据的旅游客流预测方法
TWI776257B (zh) * 2020-10-19 2022-09-01 遠傳電信股份有限公司 行動服務診斷輔助系統
CN117314119A (zh) * 2023-11-07 2023-12-29 北京凯泰铭科技文化发展有限公司 一种基于全域及域内景区游客数量精准在线实时分析***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070111729A1 (en) * 2005-11-16 2007-05-17 Kulkarni Narayan A Network support for mobility system capacity planning using real-time snapshot across networked mobile switching centers for roaming mobile terminals
US20120076125A1 (en) * 2009-06-03 2012-03-29 Telefonaktiebolaget Lm Ericsson (Publ) Operator control of resources for roaming subscribers
CN103856887A (zh) * 2012-12-03 2014-06-11 上海粱江通信***股份有限公司 一种基于信令消息的景区客流实时统计方法
CN106131789A (zh) * 2016-08-16 2016-11-16 杭州诚智天扬科技有限公司 基于移动信令的景区游客热力图的生成方法
CN106251578A (zh) * 2016-08-19 2016-12-21 深圳奇迹智慧网络有限公司 基于探针的人流预警分析方法和***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070111729A1 (en) * 2005-11-16 2007-05-17 Kulkarni Narayan A Network support for mobility system capacity planning using real-time snapshot across networked mobile switching centers for roaming mobile terminals
US20120076125A1 (en) * 2009-06-03 2012-03-29 Telefonaktiebolaget Lm Ericsson (Publ) Operator control of resources for roaming subscribers
CN103856887A (zh) * 2012-12-03 2014-06-11 上海粱江通信***股份有限公司 一种基于信令消息的景区客流实时统计方法
CN106131789A (zh) * 2016-08-16 2016-11-16 杭州诚智天扬科技有限公司 基于移动信令的景区游客热力图的生成方法
CN106251578A (zh) * 2016-08-19 2016-12-21 深圳奇迹智慧网络有限公司 基于探针的人流预警分析方法和***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288106A (zh) * 2017-10-30 2018-07-17 江苏鸿信***集成有限公司 一种基于大数据的旅游客流预测方法
CN108288106B (zh) * 2017-10-30 2022-03-15 中电鸿信信息科技有限公司 一种基于大数据的旅游客流预测方法
TWI776257B (zh) * 2020-10-19 2022-09-01 遠傳電信股份有限公司 行動服務診斷輔助系統
CN117314119A (zh) * 2023-11-07 2023-12-29 北京凯泰铭科技文化发展有限公司 一种基于全域及域内景区游客数量精准在线实时分析***

Similar Documents

Publication Publication Date Title
CN107729413B (zh) 基于大数据的区域交通智能管理***
CN105512297A (zh) 一种基于分布式流式计算的空间数据处理方法与***
CN108197261A (zh) 一种智慧交通操作***
CN107193909A (zh) 数据处理方法及***
CN109684422A (zh) 一种基于人工智能的大数据平台的单指标预测和预警方法
CN103297503B (zh) 基于分层次信息提取服务器的移动终端群智感知***
CN104317970B (zh) 一种基于数据加工中心的数据流式处理方法
CN108021809A (zh) 一种数据处理方法及***
CN110502509B (zh) 一种基于Hadoop与Spark框架的交通大数据清洗方法及相关装置
CN108259371A (zh) 一种基于流处理的网络流量数据解析方法和装置
CN106970976A (zh) 一种基于游客移动信令数据的景区实时动态客流量统计方法
CN107038162A (zh) 基于数据库日志的实时数据查询方法和***
CN108039957A (zh) 复杂网络流量包智能分析***
Fernández-Rodríguez et al. Benchmarking real-time vehicle data streaming models for a smart city
CN103699660A (zh) 一种大规模网络流式数据缓存写入的方法
CN106649687A (zh) 大数据联机分析处理方法及装置
CN112990613B (zh) 人口流动模拟预测方法、装置、设备及介质
CN110209674A (zh) 一种工业环境粉尘监控微信小程序的云端数据库统计方法及装置
CN102346901A (zh) 一种互联网药品交易主体信用评估***及其方法
CN107426055A (zh) 异常流量监测方法、装置及计算机可读存储介质
CN112116790B (zh) 一种基于流式框架的cors预警监控***
CN106202509A (zh) 一种日志信息的处理方法
CN205179252U (zh) 一种基于物联网的视屏采集处理***
CN103606050A (zh) 一种地质灾害处理***及其使用方法
CN204906437U (zh) 大数据存储应用网络架构

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170721

RJ01 Rejection of invention patent application after publication