CN107943859B - 海量传感器数据收集处理及反馈的***和方法 - Google Patents
海量传感器数据收集处理及反馈的***和方法 Download PDFInfo
- Publication number
- CN107943859B CN107943859B CN201711088513.2A CN201711088513A CN107943859B CN 107943859 B CN107943859 B CN 107943859B CN 201711088513 A CN201711088513 A CN 201711088513A CN 107943859 B CN107943859 B CN 107943859B
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- processing
- model parameters
- sends
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Navigation (AREA)
Abstract
本发明提供了一种海量传感器数据收集处理及反馈的***和方法,传感器数据上传接口收集传感器上传的数据和请求,并下发到网关;网关将请求转发到服务处理节点集群;服务处理节点集群对数据进行处理,并将数据和请求下发到消息队列和日志服务中;消息队列和日志服务将收集的数据与请求发送到分布式文件***中,同时发送到在线数据处理引擎;在线数据处理引擎接收消息队列和日志服务发送的数据,实时筛选并处理,得到局部最优模型参数,并发送到模型验证组件;分布式文件***存储海量数据,离线数据处理引擎处理分布式文件***中存储的海量数据,得到全局最优模型参数,并发送到模型验证组件;调度引擎调度在线数据处理引擎和离线数据处理引擎。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种海量传感器数据收集处理及反馈的***和方法。
背景技术
DR(Dead Reckoning,航位推算,也叫惯性导航,简称惯导)可以在GPS(GlobalPositioning System,全球定位***)信号较差时做航位推算,在一定距离内修复GPS定位偏差,DR推算时对传感器器件输出的数据(例如陀螺仪、加速计、气压计等)、情景类型(高架上、隧道中、密集楼宇旁)、用户推算历史等进行建模,模型推算精度误差会随时间推移发散直至不可用,而在模型确定时,模型参数的变化会影响到模型性能,好的模型参数可以有效提升DR推算性能,即延长可靠推算时间、提升推算精度减小误差。
现有技术中,DR模型一旦确定后,将模型算法集成在端设备中,并通过对端上设备进行典型场景下的实际测试,得到测试结果后,通过分析测试数据得到模型参数并固化在设备固件中。其存在的缺点包括:可用于模型参数学习的设备仅为测试设备,处理的测试数据量较小,不能准确的反应模型;模型参数确定后并难以通过数据累积优化参数并更改模型参数;不能有效利用情景识别和历史参数。
发明内容
本发明为海量传感器数据分析处理提供了一种高可用、高可靠、可扩展的分布式架构,解决了数据高效收集、处理的技术问题,并将模型参数反馈到设备端,提升DR(惯导)性能;并可通过不断的累积多源数据,迭代提升反馈参数的有效性。
本发明采用的技术方案如下:
一种海量传感器数据收集处理及反馈的***,传感器数据上传接口收集传感器上传的数据和请求,并将数据和请求下发到网关;网关将请求转发到服务处理节点集群;服务处理节点集群对数据进行处理,并将数据和请求下发到消息队列和日志服务中;消息队列和日志服务将收集的数据与请求发送到分布式文件***中,同时发送到在线数据处理引擎;在线数据处理引擎接收消息队列和日志服务发送的数据,实时筛选并处理,得到局部最优模型参数,并发送到模型验证组件;分布式文件***存储海量数据,离线数据处理引擎处理分布式文件***中存储的海量数据,得到全局最优模型参数,并发送到模型验证组件;调度引擎调度在线数据处理引擎和离线数据处理引擎。
进一步地,所述传感器包括加速计、陀螺仪、气压计或者磁强计。
进一步地,所述传感器上传的数据采用NMEA数据格式。
进一步地,所述传感器上传的数据包括以下任一一种及以上:
设备端元信息,端上算法版本、各传感器型号、设备型号;
传感器采样时间、采样时经纬度信息、NMEA中包含的传感器数据信息;
传感器推算状态信息;
模型推算的设备端状态与情景。
进一步地,所述服务处理节点集群包括VDR Handlers、PDR Handlers和ContextHandlers;VDR Handlers对车载模式相关的传感器数据进行处理;PDR Handlers对步行模式相关的传感器数据进行处理;Context Handlers利用传感器上传的数据和请求,进行最大概率情景推断,帮助传感器根据不同情景调整模型参数。
进一步地,所述服务处理节点集群还包括Other Handlers,即其他***请求与扩展模式处理节点。
进一步地,所述离线数据处理引擎根据传感器上传的数据进行情景分析建模,作为Context Handlers参数输入。
进一步地,所述调度引擎根据数据集、任务类型、传感器数据类型调度在线数据处理引擎和离线数据处理引擎。
一种海量传感器数据收集处理及反馈的方法,传感器数据上传接口收集传感器上传的数据和请求,并将数据和请求下发到网关;网关进行请求合法性判断和设备合法性检查,并将请求转发到服务处理节点集群;服务处理节点集群对数据进行处理,并将数据和请求下发到消息队列和日志服务中;消息队列和日志服务将收集的数据和请求发送到分布式文件***中,同时发送到在线数据处理引擎;在线数据处理引擎接收消息队列和日志服务发送的数据,实时筛选并处理,得到局部最优模型参数,并发送到模型验证组件;分布式文件***存储海量数据,离线数据处理引擎处理分布式文件***中存储的海量数据,得到全局最优模型参数,并发送到模型验证组件;调度引擎调度在线数据处理引擎和离线数据处理引擎。
本发明的有益效果在于,从数据收集链路、数据处理与存储、任务调度、参数反馈链路上保证了利用海量传感器数据学习参数的可靠性与高效性。
附图说明
图1是本发明海量传感器数据收集处理及反馈的***架构图。
图2是本发明海量传感器数据收集处理及反馈的方法流程图。
具体实施方式
可靠的模型参数需要通过处理海量数据得到,本发明通过定义松散的传感器数据收集接口收集多源数据;利用分布式存储、分布式计算处理海量数据用于机器学习算法;提供灵活的参数反馈链路解决上述缺点。由于利用众包采集数据,避免了测试数据集较小,设备数过少的问题,可动态更新模型参数,并利用多源数据增强情景识别能力,最终提升DR性能。
下文中,结合附图和实施例对本发明作进一步阐述。
图1和图2分别是本发明海量传感器数据收集处理及反馈的***架构图和方法流程图,具体如下:
1、传感器数据上传接口定义
典型传感器数据包括加速计、陀螺仪、气压计、磁强计等,根据NMEA(NationalMarine Electronics Association,美国国家海洋电子协会的简称,也是一套定义接收机输出的标准信息)数据格式,上传数据包括但不仅为:
1)设备端元信息,端上算法版本、各传感器型号、设备型号等;
2)传感器采样时间(ms级)、采样时经纬度信息、NMEA中包含的传感器数据信息(姿态、方向等);
3)传感器推算状态信息;
4)模型推算的设备端状态与情景。
2、网关(Gateway)
进行请求合法性判断、设备合法性检查,并将请求转发到对应服务处理节点集群。
3、VDR Handlers(Vehicle Dead Reckoning,车载航位推算)
处理车载模式相关的传感器数据,并负责车载相关的模型参数下发。
4、PDR Handlers(Pedestrian Dead Reckoning,行人航位推算)
处理步行模式相关的传感器数据,并负责步行模式相关的模型参数下发。
5、Context Handlers
利用设备端请求信息与收集的多源数据,做最大概率情景推断,帮助设备端根据不同情景调整模型参数。
6、Other Handlers
其他***请求与扩展模式处理节点。
7、消息队列(消息在传输过程中保存消息的容器)、日志服务
负责将收集的数据与其他请求发送到分布式文件***中,同时发送至在线处理引擎。
8、DFS(分布式文件***)
类似HDFS、HBASE等分布式文件***,存储海量数据,用于离线数据分析。
9、在线数据处理引擎
接受消息队列、日志服务的数据,实时筛选并处理,快速得到局部最优模型参数,并发往模型验证组件。
10、离线数据处理引擎
处理分布式文件***中的海量数据,得到全局或特定数据下的最优模型参数;根据设备端上报的数据做情景分析建模,作为Context Handlers参数输入。
11、调度引擎
调度在线、离线数据处理引擎;按数据集、任务类型、传感器数据类型等周期性调度。
本发明优选Java语言进行编程。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。
Claims (8)
1.一种海量传感器数据收集处理及反馈的***,其特征在于,传感器数据上传接口收集传感器上传的数据和请求,并将数据和请求下发到网关;网关将请求转发到服务处理节点集群;服务处理节点集群对数据进行处理,并将数据和请求下发到消息队列和日志服务中;消息队列和日志服务将收集的数据与请求发送到分布式文件***中,同时发送到在线数据处理引擎;在线数据处理引擎接收消息队列和日志服务发送的数据,实时筛选并处理,得到局部最优模型参数,并发送到模型验证组件;分布式文件***存储海量数据,离线数据处理引擎处理分布式文件***中存储的海量数据,得到全局最优模型参数,并发送到模型验证组件;调度引擎调度在线数据处理引擎和离线数据处理引擎;
所述服务处理节点集群包括VDR Handlers、PDR Handlers和Context Handlers;VDRHandlers对车载模式相关的传感器数据进行处理;PDR Handlers对步行模式相关的传感器数据进行处理;Context Handlers利用传感器上传的数据和请求,进行最大概率情景推断,帮助传感器根据不同情景调整模型参数。
2.如权利要求1所述的一种海量传感器数据收集处理及反馈的***,其特征在于,所述传感器包括加速计、陀螺仪、气压计或者磁强计。
3.如权利要求1所述的一种海量传感器数据收集处理及反馈的***,其特征在于,所述传感器上传的数据采用NMEA数据格式。
4.如权利要求3所述的一种海量传感器数据收集处理及反馈的***,其特征在于,所述传感器上传的数据包括以下任一一种及以上:
设备端元信息,端上算法版本、各传感器型号、设备型号;
传感器采样时间、采样时经纬度信息、NMEA中包含的传感器数据信息;
传感器推算状态信息;
模型推算的设备端状态与情景。
5.如权利要求1所述的一种海量传感器数据收集处理及反馈的***,其特征在于,所述服务处理节点集群还包括Other Handlers,即其他***请求与扩展模式处理节点。
6.如权利要求1所述的一种海量传感器数据收集处理及反馈的***,其特征在于,所述离线数据处理引擎根据传感器上传的数据进行情景分析建模,作为Context Handlers参数输入。
7.如权利要求1所述的一种海量传感器数据收集处理及反馈的***,其特征在于,所述调度引擎根据数据集、任务类型、传感器数据类型调度在线数据处理引擎和离线数据处理引擎。
8.一种海量传感器数据收集处理及反馈的方法,其特征在于,传感器数据上传接口收集传感器上传的数据和请求,并将数据和请求下发到网关;网关进行请求合法性判断和设备合法性检查,并将请求转发到服务处理节点集群;服务处理节点集群对数据进行处理,并将数据和请求下发到消息队列和日志服务中;消息队列和日志服务将收集的数据和请求发送到分布式文件***中,同时发送到在线数据处理引擎;在线数据处理引擎接收消息队列和日志服务发送的数据,实时筛选并处理,得到局部最优模型参数,并发送到模型验证组件;分布式文件***存储海量数据,离线数据处理引擎处理分布式文件***中存储的海量数据,得到全局最优模型参数,并发送到模型验证组件;调度引擎调度在线数据处理引擎和离线数据处理引擎;
所述服务处理节点集群包括VDR Handlers、PDR Handlers和Context Handlers;VDRHandlers对车载模式相关的传感器数据进行处理;PDR Handlers对步行模式相关的传感器数据进行处理;Context Handlers利用传感器上传的数据和请求,进行最大概率情景推断,帮助传感器根据不同情景调整模型参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711088513.2A CN107943859B (zh) | 2017-11-07 | 2017-11-07 | 海量传感器数据收集处理及反馈的***和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711088513.2A CN107943859B (zh) | 2017-11-07 | 2017-11-07 | 海量传感器数据收集处理及反馈的***和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107943859A CN107943859A (zh) | 2018-04-20 |
CN107943859B true CN107943859B (zh) | 2021-07-30 |
Family
ID=61933500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711088513.2A Active CN107943859B (zh) | 2017-11-07 | 2017-11-07 | 海量传感器数据收集处理及反馈的***和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107943859B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108810097B (zh) * | 2018-05-21 | 2021-03-19 | 千寻位置网络有限公司 | Web海量实时采集处理NMEA数据的方法及*** |
CN108681487B (zh) * | 2018-05-21 | 2021-08-24 | 千寻位置网络有限公司 | 传感器算法参数调优的分布式***和调优方法 |
CN110572336B (zh) * | 2019-09-06 | 2021-09-17 | 南京俊禄科技有限公司 | 一种nmea数据的波特率识别方法 |
CN110955710B (zh) * | 2019-11-26 | 2023-12-26 | 杭州数梦工场科技有限公司 | 一种数据交换作业中脏数据的处理方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102445200A (zh) * | 2011-09-30 | 2012-05-09 | 南京理工大学 | 微小型个人组合导航***及其导航定位方法 |
CN102519450A (zh) * | 2011-12-12 | 2012-06-27 | 东南大学 | 一种用于水下滑翔器的组合导航装置及方法 |
CN102831766A (zh) * | 2012-07-04 | 2012-12-19 | 武汉大学 | 基于多传感器的多源交通数据融合方法 |
US8576066B2 (en) * | 2011-02-28 | 2013-11-05 | International Business Machines Corporation | Managing emergency response services using mobile communication devices |
CN106557561A (zh) * | 2016-11-16 | 2017-04-05 | 贵州大学 | 基于HBase的海量传感器数据存储***及方法 |
CN106840156A (zh) * | 2017-03-28 | 2017-06-13 | 千寻位置网络有限公司 | 一种提高手机惯性导航性能的方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9726498B2 (en) * | 2012-11-29 | 2017-08-08 | Sensor Platforms, Inc. | Combining monitoring sensor measurements and system signals to determine device context |
US9733088B2 (en) * | 2013-10-30 | 2017-08-15 | Hewlett Packard Enterprise Development Lp | Signal space based navigation |
-
2017
- 2017-11-07 CN CN201711088513.2A patent/CN107943859B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8576066B2 (en) * | 2011-02-28 | 2013-11-05 | International Business Machines Corporation | Managing emergency response services using mobile communication devices |
CN102445200A (zh) * | 2011-09-30 | 2012-05-09 | 南京理工大学 | 微小型个人组合导航***及其导航定位方法 |
CN102519450A (zh) * | 2011-12-12 | 2012-06-27 | 东南大学 | 一种用于水下滑翔器的组合导航装置及方法 |
CN102831766A (zh) * | 2012-07-04 | 2012-12-19 | 武汉大学 | 基于多传感器的多源交通数据融合方法 |
CN106557561A (zh) * | 2016-11-16 | 2017-04-05 | 贵州大学 | 基于HBase的海量传感器数据存储***及方法 |
CN106840156A (zh) * | 2017-03-28 | 2017-06-13 | 千寻位置网络有限公司 | 一种提高手机惯性导航性能的方法 |
Non-Patent Citations (4)
Title |
---|
A robust dead-reckoning pedestrian tracking system with low cost sensors;Yunye Jin et al;《Proceedings of the 2011 IEEE International Conference on Pervasive Computing and Communications》;20110516;第222-230页 * |
GeoSpray: A geographic routing protocol for vehicular delay-tolerant networks;Vasco N.G.J et al;《Information Fusion》;20140131;第102-113页 * |
基于多传感器数据融合的无人车避障导航研究;张煜;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20160215;第2016年卷(第02期);第C035-107页 * |
局域实时定位算法及其精度改进方法研究;古富强;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140615;第2014年卷(第06期);第I140-97页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107943859A (zh) | 2018-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107943859B (zh) | 海量传感器数据收集处理及反馈的***和方法 | |
US11994400B2 (en) | Systems and methods for assessment of a rideshare trip | |
US10515113B2 (en) | Information collection system and information center | |
CN107884800B (zh) | 观测时滞***的组合导航数据解算方法、装置及导航设备 | |
CN112285676B (zh) | 激光雷达与imu外参标定方法及装置 | |
CN113405545B (zh) | 定位方法、装置、电子设备及计算机存储介质 | |
CN110245565A (zh) | 车辆跟踪方法、装置、计算机可读存储介质及电子设备 | |
US11408739B2 (en) | Location correction utilizing vehicle communication networks | |
US20220357181A1 (en) | Collecting user-contributed data relating to a navigable network | |
US11802977B2 (en) | Method for real-time position estimate correction of a movable object | |
CN113126624B (zh) | 自动驾驶仿真测试方法、装置、电子设备和介质 | |
US20200363214A1 (en) | Method for using a feature-based localization map for a vehicle | |
CN115083037A (zh) | 用于更新地图路网数据的方法、装置、电子设备和车辆 | |
JP2019002792A (ja) | 推定装置、推定方法及び推定プログラム | |
CN112147662B (zh) | 车辆定位方法和装置、车辆、存储介质、电子设备 | |
US20200132465A1 (en) | System and method for determining a trajectory | |
CN115037703B (zh) | 数据处理方法、装置、计算机存储介质及计算机程序产品 | |
CN114777767A (zh) | 基于无人机定位预测方法、装置和无人机 | |
KR102519496B1 (ko) | 차량 가속도계 전진축을 캘리브레이션하는 방법 및 장치 | |
CN112595330B (zh) | 车辆定位方法、装置、电子设备和计算机可读介质 | |
CN112373471B (zh) | 用于控制车辆行驶的方法、装置、电子设备和可读介质 | |
CN113917506A (zh) | 模糊度固定方法、装置、电子设备及自动驾驶设备 | |
JP6494724B2 (ja) | 推定装置、推定方法及び推定プログラム | |
EP3499419A1 (en) | Information processing method, information processing apparatus, and program | |
CN110906944A (zh) | 多路径环境下的定位方法及装置、云端服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |