CN114841843A - 一种分析可疑绿通车的方法和*** - Google Patents
一种分析可疑绿通车的方法和*** Download PDFInfo
- Publication number
- CN114841843A CN114841843A CN202210397481.9A CN202210397481A CN114841843A CN 114841843 A CN114841843 A CN 114841843A CN 202210397481 A CN202210397481 A CN 202210397481A CN 114841843 A CN114841843 A CN 114841843A
- Authority
- CN
- China
- Prior art keywords
- data
- green traffic
- real
- vehicle
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000010801 machine learning Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000003032 molecular docking Methods 0.000 claims abstract description 5
- 230000006399 behavior Effects 0.000 claims description 13
- 238000013500 data storage Methods 0.000 claims description 5
- 210000001503 joint Anatomy 0.000 claims description 5
- 238000012795 verification Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 2
- 238000004458 analytical method Methods 0.000 description 5
- 101001072091 Homo sapiens ProSAAS Proteins 0.000 description 3
- 102100036366 ProSAAS Human genes 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种分析可疑绿通车的方法和***，该方法包括以下步骤：S1、通过大数据平台对接各个省份的高速数据中心，获取车辆历史通行数据，然后进行数据标准化，生成数据基本表；S2、将处理后的数据推送到流式计算引擎计算脚本指标，生成指标数据；S3、获取实时数据，然后通过流式计算引擎生成的指标数据，然后保存到nosql缓存数据库中；S4、将数据标准化后的实时数据合并到大数据环境表中，并加工生成绿通中间表；S5、将数据进行机器学习训练，生成绿通车辆模型；S6、使用实时数据和绿通车辆模型生成绿通车画像。本发明通过快速查询反馈对车辆进行判断，在车辆存在风险时精准人工核验，通过车辆画像提供多种建议和参考，多方位给核验人员提供支持，旨在事前拦截风险。
Description
技术领域
本发明属于，具体涉及一种分析可疑绿通车的方法和***。
背景技术
在2020年高速公路全国联网后，各个高速收费站出口的绿通车运载情况等变化更多，通过假冒绿通车免交通行费的操作更简单、利润更大。不同地域的司机们也通过微信群、QQ群等通信手段连成一张网，在这样的情况下，一旦有某个收费站有所松懈，就有可能成为逃费的重灾区。不同路段管理公司数据共享主要是同步到省、部中心，对于一线收费站来说数据繁杂，查询速度有限，追溯历史情况困难。
绿通车情况多种多样，根据不同的情况导致的无法绿通免费。传统的查验方法有人工和设备的查验方式，纯人工随着逃费方式作案手法的升级，一直在不断更新，对于人员的核验技能以及熟练程度都有很大的要求，容易被不法分子有机可乘，且因为效率较低容易引起拥堵；设备查验投入成本大，需要大量硬件基础设备，且时间长了之后容易被寻找破解方案进行规避继续逃费，设备升级成本大。因政策和逃费手段的不断升级，普通绿通软件的适用面会越来越小，一直改进会导致间接成本越来越大。时间越久数据存量越来越多，查询效率也会随之下降。
因此，本发明主要旨在通过分析车辆历史行为，快速搭建批流体系决策***，实时分析当趟绿通车行为情况，秒级产出车辆画像，为现场处理人员提供绿通分析的有力支撑。
发明内容
为解决现有技术存在的缺陷，本发明提供一种分析可疑绿通车的方法和***。
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明提供一种分析可疑绿通车的方法，包括以下步骤：
S1、通过大数据平台对接各个省份的高速数据中心，获取车辆历史通行数据，然后进行数据标准化，生成数据基本表；
S2、将数据标准化后的数据推送到流式计算引擎计算脚本指标，生成指标数据，并将指标数据和数据标准化后的数据保存到nosql缓存数据库中；
S3、获取实时数据，然后通过流式计算引擎生成的指标数据，然后保存到nosql缓存数据库中；
S4、将数据标准化后的实时数据合并到大数据环境表中，生成绿通中间表；
S5、将步骤S4获得的数据进行机器学习训练，生成绿通车辆模型；
S6、使用步骤S3获得的实时数据和步骤S5获得的绿通车辆模型生成绿通车画像。
进一步地，步骤S1中车辆历史通行数据包括入口信息、出口信息、绿通相关数据和门架数据中。
进一步地，步骤S1中各个省份的绿通***的数据对接方式为文本文件、数据库、KAFKA中间件。
进一步地，步骤S3中实时数据包括车辆历史基本信息和车辆行为信息。
进一步地，本发明还提供一种分析可疑绿通车的***，包括大数据平台、流式计算引擎、机器学习平台、决策引擎、关系型数据库、nosql缓存数据库；
所述大数据平台对接各个省份的绿通***，获取各个省份的车辆历史通行数据，并发送至分布式文件存储介质中；
所述大数据平台标准化数据结构后，spark中间件读取数据实现数据推送和数据存储，将数据推送到流式计算引擎计算脚本指标，生成指标数据，然后将指标数据和数据标准化后的数据保存到nosql缓存数据库中；
所述大数据平台对接实时接口获取实时数据，推送流式计算引擎计算实时指标，并将推送数据和指标数据落地到大数据平台中；
落地大数据平台的绿通中间表数据进行机器学习训练，生成绿通车辆模型；
实时数据推送至决策引擎通过绿通车辆模型进行分析预测概率，并将结果与实时行为指标一起进行绿通车画像刻画。
本发明相较于现有技术，具有以下有益效果：
本发明流批结合，对数据进行中间变量保存，不用每次将存量数据反复计算，极大提升可持续使用年限和时间。本发明通过快速查询反馈对车辆进行判断，在车辆存在风险时精准人工核验，通过不同的车辆画像，多方位给核验人员提供支持。
附图说明
图1是本发明一种分析可疑绿通车的方法的工作流程图；
图2是本发明一种分析可疑绿通车的***的结构框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供一种分析可疑绿通车的方法，包括以下步骤：
S1、通过大数据平台对接各个省份的高速数据中心，获取车辆历史通行数据，然后进行数据标准化，生成数据基本表；其中，车辆历史通行数据包括入口信息、出口信息、绿通相关数据和门架数据；各个省份的绿通***的数据对接方式为文本文件、数据库、KAFKA中间件；
在本操作中涉及的大量硬件资源通过云SAAS模式进行均摊，对需要服务的合作业主提供低成本的服务保障输出，数据安全通过协议和软件约束仅提供与其相关数据进行输出，将所得的数据标准化存放，统一数据结果，在数据存储上中依然也保存不同省份输出差异信息；
S2、将数据标准化后的数据推送到流式计算引擎计算脚本指标，生成指标数据，并将指标数据和数据标准化后的数据保存到nosql缓存数据库中；本步骤用以提高性能，数据保存的内部主要包含车辆历史行程相关的一些统计中间变量；
S3、获取实时数据，然后通过流式计算引擎生成的指标数据，然后保存到nosql缓存数据库中；实时数据包括车辆历史基本信息和车辆行为信息；从而保障行为数据的时效性，确保车辆信息在短时间内直接获取并更新；
S4、将数据标准化后的数据实时合并到大数据环境表中，生成绿通中间表，为机器学习建模提供更多更全的数据支撑；
S5、将步骤S4获得的数据进行机器学习训练，生成绿通车辆模型；建模主要集中在有监督算法上，例如GBDT等，在历史分析上主要保障数据准确性，提供准确度；在保证实时场景下，尽可能减少深度；此处的模型训练并不局限与单一模型，对于已经有实践支撑的算法模型进行使用，主要为最终得出的车辆画像做一个分析概率支撑；
S6、使用步骤S3获得的实时数据和步骤S5获得的绿通车辆模型生成绿通车画像。
如图2所示，本实施例还提供一种分析可疑绿通车的***，包括大数据平台、流式计算引擎、机器学习平台、决策引擎、关系型数据库、nosql缓存数据库；关系型数据库包括HDFS或HBASE，
所述大数据平台对接各个省份的绿通***，获取各个省份的车辆历史通行数据，并发送至分布式文件存储介质中；
所述大数据平台标准化数据结构后，spark中间件读取数据实现数据推送和数据存储，将数据推送到流式计算引擎计算脚本指标，生成指标数据，然后将指标数据和基本处理后的数据保存到nosql缓存数据库中；
所述大数据平台对接实时接口获取实时数据，推送流式计算引擎计算实时指标，并将推送数据和指标数据落地到大数据平台中；
落地大数据平台的绿通中间表数据进行机器学习训练，生成绿通车辆模型；
实时数据推送至决策引擎通过绿通车辆模型进行分析预测概率，并将结果与实时行为指标一起进行绿通车画像刻画。
本发明主要提供给业主单位一个简单明了的SAAS服务，其他组件统一维护更新，在云模式上稳定、安全的运行，以低成本低代价的方式快速给各个业务单位提供服务。
SAAS服务主要提供方向为车辆画像，主要针对历史车辆行为、历史绿通运送行为、车辆基本信息、***测算值等等，以级高级选项查看各个机器学习模型产出概率值，以级程序建议是否对车辆进行查验。
机器学习平台以历史绿通不合格、绿通查验追缴为黑样本展开模型特征工程，指标特征化、机器学习模型产出以及模型概率值。学习样本根据不同省份数据进行调整，将产出的数据整合成画像分为车辆基本画像、车辆行为画像、车辆行为分析、可疑概率，前端应用秒级查询对应的数据。在现场确认车辆有无问题后，获取对应数据在模型迭代周期进行数据的更新和优化。
批流结合场景将数据标准化汇总再分析，最终形成适合一线业务人员能清楚分析的绿通车辆画像，批式用在数据更新和机器学习建模，当前主要使用模型根据数据进行GBDT等有监督模型，得出快速高效的模型文件，用于测算模型概率；流式场景，数据实时计算中间结果落地到nosql数据库中，在毫秒级快速返回车辆行为信息。二者结合，将数据汇总生成车辆画像。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种分析可疑绿通车的方法，其特征在于，包括以下步骤：
S1、通过大数据平台对接各个省份的高速数据中心，获取车辆历史通行数据，然后进行数据标准化，生成数据基本表；
S2、将数据标准化后的数据推送到流式计算引擎计算脚本指标，生成指标数据，并将指标数据和数据标准化后的数据保存到nosql缓存数据库中；
S3、获取实时数据，然后通过流式计算引擎生成的指标数据，然后保存到nosql缓存数据库中；
S4、将数据标准化后的实时数据合并到大数据环境表中，生成绿通中间表；
S5、将步骤S4获得的数据进行机器学习训练，生成绿通车辆模型；
S6、使用步骤S3获得的实时数据和步骤S5获得的绿通车辆模型生成绿通车画像。
2.根据权利要求1所述的分析可疑绿通车的方法，其特征在于，步骤S1中车辆历史通行数据包括入口信息、出口信息、绿通相关数据和门架数据。
3.根据权利要求1所述的分析可疑绿通车的方法，其特征在于，步骤S1中各个省份的高速数据中心的数据对接方式为文本文件、关系型数据库、KAFKA中间件。
4.根据权利要求1所述的分析可疑绿通车的方法，其特征在于，步骤S3中实时数据包括车辆历史基本信息和车辆行为信息。
5.一种分析可疑绿通车的***，其特征在于，包括大数据平台、流式计算引擎、机器学习平台、决策引擎、关系型数据库、nosql缓存数据库；
所述大数据平台对接各个省份的高速数据中心，获取各个省份的车辆历史通行数据，并发送至分布式文件存储介质中；
所述大数据平台标准化数据结构后，spark中间件读取数据实现数据推送和数据存储，将数据推送到流式计算引擎计算脚本指标，生成指标数据，然后将指标数据和基本处理后的数据保存到nosql缓存数据库中；
所述大数据平台对接实时接口获取实时数据，推送流式计算引擎计算实时指标，并将推送数据和指标数据落地到大数据平台中；
落地大数据平台的绿通中间表数据进行机器学习训练，生成绿通车辆模型；
实时数据推送至决策引擎通过绿通车辆模型进行分析预测概率，并将结果与实时行为指标一起进行绿通车画像刻画。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210397481.9A CN114841843A (zh) | 2022-04-15 | 2022-04-15 | 一种分析可疑绿通车的方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210397481.9A CN114841843A (zh) | 2022-04-15 | 2022-04-15 | 一种分析可疑绿通车的方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114841843A true CN114841843A (zh) | 2022-08-02 |
Family
ID=82565606
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210397481.9A Pending CN114841843A (zh) | 2022-04-15 | 2022-04-15 | 一种分析可疑绿通车的方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114841843A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115481812A (zh) * | 2022-09-30 | 2022-12-16 | 广州天长信息技术有限公司 | 一种基于隐马尔科夫模型的绿通车混装预测方法 |
| CN117373143A (zh) * | 2023-12-06 | 2024-01-09 | 山东高速股份有限公司 | 一种道路车辆的预约通行方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108806003A (zh) * | 2018-05-25 | 2018-11-13 | 西南交通大学 | 一种基于机器学习的收费公路绿通车检测方法 |
| CN110288035A (zh) * | 2019-06-28 | 2019-09-27 | 海南树印网络科技有限公司 | 一种智能垃圾桶在线自主学习方法及*** |
| CN111638988A (zh) * | 2019-04-28 | 2020-09-08 | 上海伽易信息技术有限公司 | 一种基于深度学习的云主机故障智能预测方法 |
| US20210089938A1 (en) * | 2019-09-24 | 2021-03-25 | Ford Global Technologies, Llc | Vehicle-to-everything (v2x)-based real-time vehicular incident risk prediction |
| CN112766546A (zh) * | 2021-01-05 | 2021-05-07 | 上海大学 | 一种基于机器学习的足球比赛胜负实时预测方法 |
| CN113487103A (zh) * | 2021-07-26 | 2021-10-08 | 平安银行股份有限公司 | 模型更新方法、装置、设备及存储介质 |
-
2022
- 2022-04-15 CN CN202210397481.9A patent/CN114841843A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108806003A (zh) * | 2018-05-25 | 2018-11-13 | 西南交通大学 | 一种基于机器学习的收费公路绿通车检测方法 |
| CN111638988A (zh) * | 2019-04-28 | 2020-09-08 | 上海伽易信息技术有限公司 | 一种基于深度学习的云主机故障智能预测方法 |
| CN110288035A (zh) * | 2019-06-28 | 2019-09-27 | 海南树印网络科技有限公司 | 一种智能垃圾桶在线自主学习方法及*** |
| US20210089938A1 (en) * | 2019-09-24 | 2021-03-25 | Ford Global Technologies, Llc | Vehicle-to-everything (v2x)-based real-time vehicular incident risk prediction |
| CN112766546A (zh) * | 2021-01-05 | 2021-05-07 | 上海大学 | 一种基于机器学习的足球比赛胜负实时预测方法 |
| CN113487103A (zh) * | 2021-07-26 | 2021-10-08 | 平安银行股份有限公司 | 模型更新方法、装置、设备及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115481812A (zh) * | 2022-09-30 | 2022-12-16 | 广州天长信息技术有限公司 | 一种基于隐马尔科夫模型的绿通车混装预测方法 |
| CN115481812B (zh) * | 2022-09-30 | 2023-09-08 | 广州天长信息技术有限公司 | 一种基于隐马尔科夫模型的绿通车混装预测方法 |
| CN117373143A (zh) * | 2023-12-06 | 2024-01-09 | 山东高速股份有限公司 | 一种道路车辆的预约通行方法、装置、设备及存储介质 |
| CN117373143B (zh) * | 2023-12-06 | 2024-05-31 | 山东高速股份有限公司 | 一种道路车辆的预约通行方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114841843A (zh) | 一种分析可疑绿通车的方法和*** | |
| CN101930668B (zh) | 车牌识别的道路交通od信息采集***的处理方法 | |
| US20160370333A1 (en) | Generating fine resolution air pollution estimates | |
| CN109859505B (zh) | 高速站点的预警处理方法、装置、服务器和介质 | |
| US11842549B2 (en) | Method and system for muck truck management in smart city based on internet of things | |
| CN114354219A (zh) | 自动驾驶车辆的测试方法及装置 | |
| CN116168356B (zh) | 一种基于计算机视觉的车辆损伤判别方法 | |
| CN114707035A (zh) | 一种可视化交通起始点分析*** | |
| CN116665441A (zh) | 基于大数据技术的智慧交通监控分析*** | |
| CN114005297B (zh) | 一种基于车联网的车队协调行驶方法 | |
| CN116824868B (zh) | 车辆非法停驻点识别及拥堵预测方法、装置、设备及介质 | |
| CN105489010A (zh) | 一种快速道路行程时间可靠度监测分析***及方法 | |
| CN114312930B (zh) | 基于日志数据的列车运行异常诊断方法和装置 | |
| CN113807704A (zh) | 一种城市轨道交通数据的智能算法平台构建方法 | |
| CN113962331A (zh) | 一种etc门架***故障原因识别方法及*** | |
| CN113064940A (zh) | 一种基于大数据的高速公路智能实时收费分析*** | |
| Zoev et al. | The monitoring system of hazardous technological objects based on unmanned aerial vehicles | |
| CN111914138A (zh) | 基于车联网大数据的工况分析方法、装置和*** | |
| CN111739176A (zh) | 一种etc门架车辆通行数据处理方法 | |
| CN116866631B (zh) | 一种综合交通视频集成管理方法及*** | |
| CN113360306B (zh) | 一种机载信息***的故障实时检测方法 | |
| CN113781771B (zh) | 一种ive模型的在线运行方法 | |
| CN114913670B (zh) | 一种基于安全码管理的人员出海安全管理*** | |
| WO2021220502A1 (ja) | ３次元モデル生成装置、方法及びプログラム | |
| Bhatnagar et al. | On the challenges of on-the-fly knowledge acquisition for automated planning applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220802 |