CN108230724B - 一种基于极大概率估计的城市公交***车载报站缺失数据修补方法 - Google Patents
一种基于极大概率估计的城市公交***车载报站缺失数据修补方法 Download PDFInfo
- Publication number
- CN108230724B CN108230724B CN201810094908.1A CN201810094908A CN108230724B CN 108230724 B CN108230724 B CN 108230724B CN 201810094908 A CN201810094908 A CN 201810094908A CN 108230724 B CN108230724 B CN 108230724B
- Authority
- CN
- China
- Prior art keywords
- data
- station
- vehicle
- time
- missing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000008439 repair process Effects 0.000 claims description 8
- 238000005315 distribution function Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 5
- 238000007418 data mining Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract 1
- 238000011084 recovery Methods 0.000 abstract 1
- 238000012360 testing method Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
- G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明针对城市公交车载报站***中存在数据缺失的问题,提供了一种基于极大概率估计的城市公交***车载报站缺失数据修补方法,包括以下步骤:通过分析缺失数据的特征以及公交乘客的刷卡行为特点并结合历史数据,构造了以行程时间作为后验条件参数集合的极大概率估计模型,借助乘客刷卡数据准确推断了城市公交***中自动报站设备的缺失数据。本发明所提供的数据修补方法,克服了现有技术中受城市建筑阴影效应影响,公交车载自动报站***易出现定位失败或通信丢包,导致报站信息不完整严重影响后续数据挖掘效果的缺陷,提高了乘客公交出行轨迹还原的成功率,增加了城市公交客流分布研究的信息有效性。
Description
技术领域
本发明涉及智能化公共交通技术领域,涉及一种基于极大概率估计的城市公交***车载报站缺失数据修补方法。
背景技术
公交客流分布数据,是优化城市公交运营管理的基础,是制约城市公交管理水平的关键,也是城市公交研究者关注的重点。长期以来,管理者一般通过抽样调查方法,获得有限的公交出行数据,费时费力、成本高昂。近年来,随着自动收费***(Automated FareCollection,AFC)与自动报站***(Automated Vehicle Locating,AVL)的广泛应用,城市公交***积累了大量运营管理数据。如何通过数据挖掘技术,从公交***现有数据中低成本地获取公交客流信息,成为国内外城市公交研究者关注的重点。
在获取公交客流的相关研究中,将乘客乘车刷卡数据转换为乘客在公交***中的运动轨迹是其中最为关键的环节。然而,现有的公交刷卡***往往将设计重点放在运营清分功能上,而忽视记录刷卡站点,特别是目前使用最为广泛的一票制公交,只能记录乘客的上车时刻与车号、线路号,无上下车站点信息。因此,在数据处理过程中,往往需要先要将刷卡记录结合GPS行车记录***的报站记录进行时间匹配来推断公交乘客刷卡上车站点,再基于最短距离换乘假设、连续出行链假设推断乘客的下车站点,最后,对于无法找到下车站点的刷卡记录,通过站点吸引权法估计下车站点。
上述数据处理过程严重依赖车辆报站数据,然而,车载自动报站***严重依赖GPS模块与2G移动通讯模块获取、上传位置信息,该类设备受城市建筑阴影效应影响严重,易出现定位失败或通信丢包,导致报站信息不完整。通过分析某城市的公交车辆AVL报站数据、班次调度数据以及AFC刷卡数据,发现在统计时间段内全市平均缺失数据占比6.25%,且数据缺失率高的区域位于该城市人口稠密区域。虽然数据缺失率不到10%,但后续的公交乘客上车站点匹配结果表明,缺失数据导致超过25%的刷卡数据无法匹配出上车站点。由此可见,城市公交***中普遍存在的AVL报站数据缺失情况,已显著影响了乘客出行轨迹还原进程,并严重制约着公交客流挖掘效果。
发明内容
本发明的目的在于针对城市公交自动报站***中普遍存在的数据丢失情况,提供一种基于极大概率估计的城市公交***车载报站缺失数据修补方法。该方法通过分析缺失数据的特征以及公交乘客的刷卡行为特点,构造了以行程时间作为后验条件参数集合的极大概率估计模型,准确推断了城市公交***缺失的车载报站数据,为开展后续的数据挖掘提供必要支撑。
为了达到上述目的,本发明采用以下技术方案:
本发明一种基于极大概率估计的城市公交***车载报站缺失数据修补方法,包括以下步骤:
S1、按每一次发车,对数据源2“AVL车辆报站数据”进行归类整理,将每一次发车的AVL报站数据根据公交线路站序排列:{S0,S1,S2,…,Si},其中Si对应车辆到达Si站点的AVL信息;
S2、将步骤S1中的某一次发车数据,与数据源1“公交调度数据”对应公交线路的行车站序进行对比;
S21、若站点信息完整,则不存在数据缺失,无需修复;
S22、若站点信息不完整,则说明存在AVL数据缺失的情况,锁定存在数据丢失的站点区间Sl={S0,SL0,SL1,…,SLk,…,S1},并计算出该缺失数据区间的行程时间,记为tTRIP;
S3、根据数据源3提供的“乘客AFC刷卡数据”,查询搭乘本次行程公交班车从S0到Si途中的乘客刷卡数据,并利用阈值分割法提取出有乘客刷卡乘车的站点中第1个刷卡事件的刷卡时间戳,其中SLk站第一个上车乘客的刷卡时刻记为
S5、将Sl行程中每个站点SLk第1个刷卡事件的刷卡时间戳减去S0的出站时刻,得到每个站点的行程时间,对任一行程时间,代入由S4得到的各站时间分布函数,得到概率值,输出最大值的函数所对应的站点即为时刻车辆到达的车站,数据推断完成。
作为优选的技术方案,所述数据源1“公交调度数据”包括:a)班次编号;b)车牌号;c)线路号;d)发车时刻;e)站序;
所述数据源2“AVL车辆报站数据”包括:a)车牌号;b)线路号;c)车站名;d)进站时刻;e)出站时刻;
所述数据源3“乘客AFC刷卡数据”包括:a)车牌号;b)线路号;c)车站名;d)刷卡时刻;e)乘客标识;f)站点匹配状态。
作为优选的技术方案,步骤S22具体为:
通过对比当前车次的AVL报站数据与完整的公交线路行车站序,锁定存在数据丢失的站点区间,标记缺失的站点编号,假设Sl={S0,SL0,SL1,…,SLk,…,S1},为本次发车过程中车辆连续经过的一段站点区间,其中,S0与S1为数据完整的站点,SL0,SL1,…,SLk为S0与S1之间报站数据缺失的站点。
作为优选的技术方案,步骤S3具体为:
由于乘客刷卡为短间隔连续事件,可设定时间阈值作为分割相邻车站Si,Si+1乘客的参考,即,若相邻刷卡记录间隔时间小于设定时间,则将该相邻刷卡记录视作同一车站的刷卡记录;否则后一条刷卡记录为下一站的第一条刷卡记录。
作为优选的技术方案,步骤S4中,所述历史数据为不少于四周的历史AVL数据。
则,在Θ确定后,即可查询历史AVL数据中所有从站点S0到站点SLK且满足控制条件Θ的行程,计算模型参数时间的均值μ和标准差σ。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明通过分析缺失数据的特征以及公交乘客的刷卡行为特点,构造了以行程时间作为后验条件参数集合的极大概率估计模型,充分发挥海量数据的优势,特别适合样本量巨大的场合。
2、本发明采用的方法,构造某一运营车辆一次行程中连续经过的站点集St={S0,SL0,SL1,...,SLK,S1},其中SL0,SL1,...,SLK是数据完整站点S0和S1之间发生数据缺失的站点,可以适用于连续缺失多个站点的修复,修复效率高。
3、相比传统的方法,本发明数据还原准确率高,在连续缺失站点少于等于8个的情况下,能保持85%以上的还原准确率。
附图说明
图1是本实施例公交***AVL缺失数据修补方法的整体工作流程图。
图2是本实施例不同后验证条件下数据还原成功率。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
以某城市公交数据为例,提取2017年3月5日的AVL车辆报站数据为基础数据源,扫描AVL报站数据中每辆车的报站数据,以15%的概率随机选择开始站点,并取出之后8个站点的AVL报站数据加入备选测试集,共计取得94750条测试数据。对备选测试集中每一比数据,除第一个与最后一个报站记录(S0、S1)外的所有报站记录进站时刻加入均匀分布的随机干扰(范围:0-120s),得到测试集。测试集中每笔测试数据包含的关键信息字段如表1所示:
表1 测试数据的关键信息字段
因此,缺失数据推断任务为扫描测试集中所有记录,并根据其第一条与最后一条报站记录(S0、S1)及包含扰动的时间戳TL0‘,TL1’,…,TLk‘推断出SL0,SL1,…,SLk。
本发明提供一种基于极大概率估计的公交***AVL缺失数据修补方法,其流程如图1所示,包括以下步骤:
第一步,按每一次发车,提取其AVL数据,并按照时间先后排序。
第二步,对比该线路的行车站序,1)若站点信息完整,则不存在数据缺失,无需修复;2)若站点信息不完整,则说明存在AVL数据缺失的情况,需要进行修复。对需要修复的情况,构造Sl={S0,SL0,SL1,…,SLk,…,S1}为该次行程中连续经过的站点区间,其中,S0与S1为数据完整的站点,SL0,SL1,…,SLk为S0与S1之间缺失报站数据站点。
第三步,根据数据源3提供的“乘客AFC刷卡数据”,查询搭乘本次行程公交班车从S0到Si途中的乘客刷卡数据,并利用阈值分割法提取出有乘客刷卡乘车的站点中第1个刷卡事件的刷卡时间戳,其中SLk站第一个上车乘客的刷卡时刻记为
第四步,借助历史数据,分别计算从S0出发到SL0,SL1,…,SLk,满足控制条件Θ的行程时间概率分布函数:Θ=tTRIP∈[tTRIP-0.1×tTRIP,tTRIP+0.1×tTRIP]为经过试验的优选方案,并可以根据实际情况灵活修改;故Θ可以是其它控制条件。
第五步,将Sl行程中每个站点SLk第1个刷卡事件的刷卡时间戳减去S0的出站时刻,得到每个站点的行程时间,对任一行程时间,代入由S4得到的各站时间分布函数,得到概率值,输出最大值的函数所对应的站点即为时刻车辆到达的车站,数据推断完成。
以不同的控制条件构建的数据修补模型性能对比如图2所示,本发明采用基于行程时间的极大概率估计模型,相对与先验概率模型,以及基于开始时刻等其它概率模型,本发明所提供的优选方案数据修补效果最佳,在连续缺失站点数小于等于8的情况下保持了85%以上的修复准确度。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (7)
1.一种基于极大概率估计的城市公交***车载报站缺失数据修补方法,其特征在于,包括以下步骤:
S1、按每一次发车,对数据源2“AVL车辆报站数据”进行归类整理,将每一次发车的AVL报站数据根据公交线路站序排列:{S0,S1,S2,...,Si},其中Si对应车辆到达Si站点的AVL信息;
S2、将步骤S1中的某一次发车数据,与数据源1“公交调度数据”对应公交线路的行车站序进行对比;
S21、若站点信息完整,则不存在数据缺失,无需修复;
S22、若站点信息不完整,则说明存在AVL数据缺失的情况,锁定存在数据丢失的站点区间Sl={S0,SL0,SL1,...,SLk,...,S1},并计算出该缺失数据区间的行程时间,记为tTRIP;
S3、根据数据源3提供的“乘客AFC刷卡数据”,查询搭乘本次行程公交班车从S0到Si途中的乘客刷卡数据,并利用阈值分割法提取出有乘客刷卡乘车的站点中第1个刷卡事件的刷卡时间戳,其中任一缺失数据的站点SLk,第一个上车乘客的刷卡时刻记为
S4,借助历史数据,分别计算从S0出发到SL0,SL1,...,SLk,满足控制条件Θ的行程时间概率分布函数:其中,Θ=tTRIP∈[tTRIP-0.1×tTRIP,tTRIP+0.1×tTRIP];
2.根据权利要求1所述基于极大概率估计的城市公交***车载报站缺失数据修补方法,其特征在于,所述数据源1“公交调度数据”包括:a)班次编号;b)车牌号;c)线路号;d)发车时刻;e)站序;
所述数据源2“AVL车辆报站数据”包括:a)车牌号;b)线路号;c)车站名;d)进站时刻;e)出站时刻;
所述数据源3“乘客AFC刷卡数据”包括:a)车牌号;b)线路号;c)车站名;d)刷卡时刻;e)乘客标识;f)站点匹配状态。
3.根据权利要求1所述基于极大概率估计的城市公交***车载报站缺失数据修补方法,其特征在于,步骤S22具体为:
通过对比当前车次的AVL报站数据与完整的公交线路行车站序,锁定存在数据丢失的站点区间,标记缺失的站点编号,假设Sl={S0,SL0,SL1,...,SLk,...,S1},为本次发车过程中车辆连续经过的一段站点区间,其中,S0与S1为数据完整的站点,SL0,SL1,...,SLk为S0与S1之间报站数据缺失的站点。
4.根据权利要求1所述基于极大概率估计的城市公交***车载报站缺失数据修补方法,其特征在于,步骤S3具体为:
由于乘客刷卡为短间隔连续事件,可设定时间阈值作为分割相邻车站Si,Si+1乘客的参考,即,若相邻刷卡记录间隔时间小于设定时间,则将该相邻刷卡记录视作同一车站的刷卡记录;否则后一条刷卡记录为下一站的第一条刷卡记录。
5.根据权利要求1所述基于极大概率估计的城市公交***车载报站缺失数据修补方法,其特征在于,步骤S4中,所述历史数据为不少于四周的历史AVL数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810094908.1A CN108230724B (zh) | 2018-01-31 | 2018-01-31 | 一种基于极大概率估计的城市公交***车载报站缺失数据修补方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810094908.1A CN108230724B (zh) | 2018-01-31 | 2018-01-31 | 一种基于极大概率估计的城市公交***车载报站缺失数据修补方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108230724A CN108230724A (zh) | 2018-06-29 |
CN108230724B true CN108230724B (zh) | 2020-05-22 |
Family
ID=62670264
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810094908.1A Expired - Fee Related CN108230724B (zh) | 2018-01-31 | 2018-01-31 | 一种基于极大概率估计的城市公交***车载报站缺失数据修补方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108230724B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109615036B (zh) * | 2018-11-30 | 2019-12-24 | 深圳大学 | 一种基于公汽ic刷卡***的细颗粒物暴露风险评估方法 |
CN109523821A (zh) * | 2018-11-30 | 2019-03-26 | 湖南智慧畅行交通科技有限公司 | 一种基于城市公交gps信息的到离站点计算方法 |
CN109727474B (zh) * | 2019-01-29 | 2020-12-01 | 苏州工业园区测绘地理信息有限公司 | 一种基于融合数据的公交车进出站精确识别方法 |
CN110738845A (zh) * | 2019-09-20 | 2020-01-31 | 江苏大学 | 一种基于异常数据处理的公交车gps数据补足方法及补足*** |
CN112767685A (zh) * | 2020-12-22 | 2021-05-07 | 荆门汇易佳信息科技有限公司 | 基于定位和刷卡信息的公交客流分析*** |
CN113344268B (zh) * | 2021-06-02 | 2022-04-19 | 合肥泰瑞数创科技有限公司 | 一种城市交通出行数据分析方法 |
CN116611984B (zh) * | 2023-07-11 | 2024-02-02 | 鹏城实验室 | 多模式下的出行数据处理方法、***、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105574137A (zh) * | 2015-12-15 | 2016-05-11 | 华南理工大学 | 一种基于公共交通多源数据融合的ic卡刷卡站点匹配方法 |
CN106448233A (zh) * | 2016-08-19 | 2017-02-22 | 大连理工大学 | 基于大数据的公交线路时刻表协同优化方法 |
CN106816029A (zh) * | 2016-10-15 | 2017-06-09 | 广东探金电子科技有限公司 | 一种公交车自动报站的控制*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10620010B2 (en) * | 2015-02-05 | 2020-04-14 | Moovit App Global Ltd | Public and ordered transportation trip planning |
-
2018
- 2018-01-31 CN CN201810094908.1A patent/CN108230724B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105574137A (zh) * | 2015-12-15 | 2016-05-11 | 华南理工大学 | 一种基于公共交通多源数据融合的ic卡刷卡站点匹配方法 |
CN106448233A (zh) * | 2016-08-19 | 2017-02-22 | 大连理工大学 | 基于大数据的公交线路时刻表协同优化方法 |
CN106816029A (zh) * | 2016-10-15 | 2017-06-09 | 广东探金电子科技有限公司 | 一种公交车自动报站的控制*** |
Non-Patent Citations (1)
Title |
---|
结合出行链的公交IC卡乘客下车站点判断概率模型;胡继华等;《交通运输***工程与信息》;20140430;第14卷(第2期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN108230724A (zh) | 2018-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108230724B (zh) | 一种基于极大概率估计的城市公交***车载报站缺失数据修补方法 | |
Zhao et al. | Estimating a rail passenger trip origin‐destination matrix using automatic data collection systems | |
CN105788260A (zh) | 一种基于智能公交***数据的公交乘客od推算方法 | |
CN107564270A (zh) | 一种智能公交调度运营方法 | |
CN111191816B (zh) | 城市轨道交通乘客出行时间链辨识*** | |
CN111932925A (zh) | 一种公共交通站点的出行客流的确定方法、装置及*** | |
CN110188923B (zh) | 一种基于大数据技术的多模式公交客流推算方法 | |
CN108806248B (zh) | 一种针对rfid电子车牌数据的车辆出行轨迹划分方法 | |
CN110969861B (zh) | 一种车辆识别方法、装置、设备及计算机存储介质 | |
CN105390013A (zh) | 一种利用公交ic卡预测公交到站时间的方法 | |
CN114363842B (zh) | 基于手机信令数据的公交乘客下车站点预测方法及装置 | |
CN108062857A (zh) | 用于出租车乘客出行目的的预测方法 | |
CN111768619A (zh) | 一种基于卡口数据的快速路车辆od点确定方法 | |
CN112036757A (zh) | 基于手机信令和浮动车数据的停车换乘停车场的选址方法 | |
CN110853156A (zh) | 融合公交gps轨迹与ic卡数据的乘客od识别方法 | |
CN107329977A (zh) | 一种基于概率分布的假牌车二次筛选方法 | |
CN114501336B (zh) | 一种公路出行量测算方法、装置、电子设备及存储介质 | |
Cyril et al. | Electronic ticket machine data analytics for public bus transport planning | |
CN110164136B (zh) | ***辆识别方法 | |
Seaborn et al. | Using smart card fare payment data to analyze multi-modal public transport journeys in London | |
CN114118766A (zh) | 一种基于公交乘客出行多重匹配的客流od算法 | |
CN108681741B (zh) | 基于ic卡和居民调查数据的地铁通勤人群信息融合方法 | |
KR20120068580A (ko) | 교통카드자료를 활용한 대중교통 통행분석 시스템 및 방법 | |
Nair et al. | Mapping bus and stream travel time using machine learning approaches | |
CN109633716B (zh) | 基于gps的城市配送车辆出行链及其特征识别方法与设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200522 |