CN115688196A - 一种基于互联网平台订单大数据的在线数据处理方法 - Google Patents
一种基于互联网平台订单大数据的在线数据处理方法 Download PDFInfo
- Publication number
- CN115688196A CN115688196A CN202211673756.3A CN202211673756A CN115688196A CN 115688196 A CN115688196 A CN 115688196A CN 202211673756 A CN202211673756 A CN 202211673756A CN 115688196 A CN115688196 A CN 115688196A
- Authority
- CN
- China
- Prior art keywords
- online data
- data
- user
- online
- satellite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Radio Relay Systems (AREA)
Abstract
本发明公开了一种基于互联网平台订单大数据的在线数据处理方法，包括三个步骤：且三个步骤依次为S1、构建处理平台，选择基于STORM模型框架，并加载MEMCACHED、FLUME、KAFKA以及ZOOKEEPER四组模块，S2、卫星数据定位采集单元，通过卫星和基站的通讯手段，对各个用户在线产生的数据进行定位和采集处理，S3、在线数据分类，STORM处理平台再将接收的各用户在线数据按照流格式和串格式两种类型进行分类。通过构建处理平台、卫星数据定位采集单元以及在线数据分类的流程配合，借助通讯卫星和地表基站的精准定位采集方式，预先构建STORM处理平台，实现对海量在线数据进行全面采集和分类处理的效果，具有局限性大、精度低、高迟滞、安全性和效率低的优点。
Description
技术领域
本发明涉及互联网平台订单大数据在线数据处理技术领域，具体为一种基于互联网平台订单大数据的在线数据处理方法。
背景技术
互联网，又称网际网路或音译因特网、英特网，是网络与网络之间所串连成的庞大网络，这些网络以一组通用的协定相连，形成逻辑上的单一巨大国际网络，大数据：以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，最早应用于IT行业，目前正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据必须采用分布式架构，对海量数据进行分布式数据挖掘，因此必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
随着现在互联网行业的日益发展，现在人们经常借助互联网平台进行在线购物，此过程会产生大量在线订单数据，而对比例用于在线访问的数据处理方法和装置（授权号：CN103678667B）以及基于云端大数据计算的在线教育处理方法及在线教育平台（授权号：CN112100606B）都只是公开了数据处理的局部专注性和安全性功用，且依靠蜂窝流量或无线流量对大量在线订单数据进行分批处理，不能借助通讯卫星和地表基站的精准定位采集方式，预先构建STORM处理平台，对海量在线数据进行全面采集和分类处理，导致现有处理方法存在局限性大、精度低、高迟滞、安全性和效率低的问题，易出现处理方法平台卡顿崩溃的情况，满足不了高峰值时期的在线数据快速性处理需求，为此，提出基于互联网平台订单大数据的在线数据处理方法。
发明内容
本发明的目的在于提供基于互联网平台订单大数据的在线数据处理方法，以解决上述背景技术中提出的不能借助通讯卫星和地表基站的精准定位采集方式，预先构建STORM处理平台，对海量在线数据进行全面采集和分类处理，导致现有处理方法存在局限性大、精度低、高迟滞、安全性和效率低的问题。
为实现上述目的，本发明提供如下技术方案：一种基于互联网平台订单大数据的在线数据处理方法，包括如下步骤：
S1、构建处理平台：选择基于STORM模型框架，并加载MEMCACHED、FLUME、KAFKA以及ZOOKEEPER四组模块，且分别对应在线数据收集、在线数据缓冲、在线数据存储以及在线数据协调功能；
S2、卫星数据定位采集单元：通过卫星和基站的通讯手段，对各个用户在线产生的数据进行定位和采集处理，待各个用户在线产生的数据定位和采集后，首先进入数据预处理阶段，获取各个用户在线数据的日志时间和位置，再利用二进制加密方式对获取的各个用户在线数据信息通过加密通道传送至数据处理阶段，再依次对加密后的各个用户在线数据进行提取、解压以及验证通过后发送至S1构建的STORM处理平台中，并依据位置和时间参数对发送的各用户在线数据进行存储；
S3、在线数据分类：STORM处理平台再将接收的各用户在线数据按照流格式和串格式两种类型进行分类，并对应形成流格式在线数据集和串格式在线数据集，接着STORM处理平台将分类形成的流格式在线数据集和串格式在线数据集中的在线数据基于TCP/ID中的TCP协议或者UDP协议对应进行流格式数据集封装和串格式数据集封装处理，待流格式在线数据集和串格式在线数据集中的在线数据对应经过流格式数据集封装和串格式数据集封装处理后，再对应经过流格式数据集分解应用和串格式数据集分解应用处理，最后将处理完成的流格式在线数据集和串格式在线数据集中的在线数据对应打包发送至在线后台终端。
优选的，所述在S1构建处理平台过程中，其环境构建步骤如下：
A、先依靠libuuid-devel、jdk、python、gcc_libuuid，uuid、c++、libtool中任一插件包，且用ZOOKEEPER提供工具封装服务，再修改各个用户在本平台的应用属性，且对应显示各个用户的IP地址；
B、根据对应用户进行profile文件编辑；
C、接着再对应用户产生的在线数据所在平台中的环境变量进行修改；
D、再对应用户产生的在线数据所在平台中的storm参数进行修改；
E、然后基于修改的环境变量和storm参数基础上，编辑添加对应各个用户的详细资料以及数据容量；
F、最后对应产生在线数据的各个用户自动生成后续查询的表格。
优选的，所述在S1构建处理平台过程中，平台在对用户在线数据从主节点机上复制到其他从节点机上时，需要对应编辑环境变量和资源配置，且操作步骤如下：
a、使用CTRL C对应粘接主节点机上的各个用户产生的在线数据，再使用CTRL V对应复制到其他从节点机上，对应形成复制文件；
b、待各个用户在线数据复制到其他从节点机上后，再进入其他从节点机针对各个用户在线数据属性修改环境变量和资源配置，待修改后的环境变量和资源配置生效后，再根据ID值主节点机以及各个从节点机上的ZOOKEEPER内容即可。
优选的，所述在S2卫星数据定位采集单元过程中，先对卫星的各项参数进行调整设定，且卫星各项参数调整设定步骤如下：
①、设置指定的采集值类型：采集值采集的各个用户产生的在线数据中通常含有伪距、载波相位、多普勒等采集量，再各个用户的在线数据处理时，有时仅仅会用到其中部分采集量，并对各个用户的在线数据进行挑选后再重新排列次序；
②、去掉指定卫星***数据：在各个用户在线数据处理时，有时不会用到卫星的所有数据，需要摒弃用不上卫星***中的部分自身数据，保留各个用户有效的在线数据；
③、设置数据采集间隔：在各个用户在线数据采集不需要间隔设定时，此时对卫星采集各个用户在线数据的时间间隔进行对应设定，根据卫星和基站的延迟时间进行间隔设定，可选用10s、20s、30s或60s作为间隔时间；
④、控制卫星高度角：若卫星的轨道高度角过低时，采集的各个用户在线数据采集质量会降低，从而需要根据基站地理位置情况，对卫星的高度角进行实时设定。
优选的，所述在S2卫星数据定位采集单元过程中，各个用户在线数据进行提取、解压以及验证通过后，采用最小二乘法和均残值法对各个用户在线数据基于提取钟差和坐标经纬度为依据建立x轴为时间，y轴为残值的柱线图，查看卫星残差和基站残差跟随时间的重叠点，再根据卫星自身的RMS统计模块对卫星和基站采集各个用户在线数据后的卫星残差值、基站残差值以及卫星残差值和基站残差值的均值，且最小值为0mm，最大值为25mm以及均值为12mm。
优选的，所述在S2卫星数据定位采集单元过程中，卫星采集各个用户在线数据的采集算法为：
Qi=þa（t）+cta（t）+（㏒）a+c/f（Na t）t+（ξa）t；
Ki=þa（t）+cta（t）+（㏒）a+（ξa）kt ；
其中，þa（t）=þa（t）0+δorb+δant+（Trop）a+ct（t）；
且式中：a表示地面节点机和卫星，c和f表示光速和频率，Qi和Ki表示载波和伪距测量值，þa（t）表示卫星和节点机的几何距离，Na t）t表示整周模糊度特性，ta（t）表示地面节点机钟误差和卫星钟误差，（㏒）a和（Trop）a表示电离层误差和对流层误差，δorb和δant表示卫星轨道误差和卫星信号相位误差，（ξa）t和（ξa）kt表示载波相位采集噪声和伪距采集噪声，i为变量，且i=1、2、3、4。
优选的，所述在S3在线数据分类过程中，流格式在线数据集的分类定义编码为：
⑴、开始；
⑵、class stream packet{public；
⑶、C D【1024】；
⑷、char*C；
⑸、stream_packer【1023】{；
⑹、C=D；
⑺、}；
⑻、packet&<<IogL{；
⑼、*IogL*C=10；
⑽、C=D；
⑾、}；
⑿、stream_packet& operator<<（const char*L）{；
⒀、int len=strlen（L）+10；
⒁、operator<<（Iog）len）；
⒂、C=D+L；
⒃、}；
⒄、int ger_length【1024】；
⒅、{；
⒆、C=D+L，L=356258；
⒇、结束。
优选的，所述在S3在线数据分类过程中，串格式在线数据集的分类定义编码为：
⑴、开始；
⑵、class str_packet{；
⑶、C D【1024】；
⑷、char*D；
⑸、stream_packer【1023】{；
⑹、C=D；
⑺、}；
⑻、packet&<<IogL＞0{；
⑼、*IogL*C=10；
⑽、C=D；
⑾、}；
⑿、stream_packet& operator<<（const char*L）{；
⒀、int len=strlen（L）+10；
⒁、operator<<（Iog）len）[1]；
⒂、C=D+L；
⒃、}；
⒄、int ger_length【1024】；
⒅、{；
⒆、C=D+L，L=356258；
⒇、结束。
优选的，所述在S3在线数据分类过程中，流格式在线数据集和串格式在线数据集经过流格式协议和串格式协议将在线数据转变为罗马字符串，在罗马字符串中按在线数据定长以及分割线对流格式在线数据集和串格式在线数据中的在线数据分割开来，且采用x、y和z作为变量字符串对流格式在线数据集和串格式在线数据中的在线数据的异常在线数据进行表示，且流格式数据集封装和串格式数据集封装的封装步骤为：
⑴、开始；
⑵、str_packer；
⑶、C D<<【1024】＞0{；
⑷、}；
⑸、C=D+L，L=356258；
⑹、结束。
优选的，所述在S3在线数据分类过程中，流格式数据集分解应用对封装后流格式在线数据集和串格式在线数据集的分解步骤为：
⑴、开始；
⑵、str_packet packet（D=10）【1024】；
⑶、C=D{；
⑷、}；
⑸、C=D+L，L=356258；
⑹、结束。
串格式数据集分解应用对封装后流格式在线数据集和串格式在线数据集的分解步骤为：
⑴、开始；
⑵、str_packet packet（D=8）【1024】；
⑶、C=D{；
⑷、}；
⑸、C=D+L，L=356258；
⑹、结束。
与现有技术相比，本发明的有益效果是：
本发明中，通过构建处理平台、卫星数据定位采集单元以及在线数据分类的流程配合，借助通讯卫星和地表基站的精准定位采集方式，预先构建STORM处理平台，实现对海量在线数据进行全面采集和分类处理的效果，具有局限性大、精度低、高迟滞、安全性和效率低的优点，不会因为在线数据量大出现卡顿崩溃和错漏的情况，满足高峰值时期的在线数据快速性处理需求。
附图说明
图1为本发明的流程图；
图2为本发明卫星数据定位采集框图；
图3为本发明的在线数据分类框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1-图3，本发明提供一种基于互联网平台订单大数据的在线数据处理方法，包括如下步骤：
S1、构建处理平台：选择基于STORM模型框架，并加载MEMCACHED、FLUME、KAFKA以及ZOOKEEPER四组模块，且分别对应在线数据收集、在线数据缓冲、在线数据存储以及在线数据协调功能，在S1构建处理平台过程中，其环境构建步骤如下：
A、先依靠libuuid-devel、jdk、python、gcc_libuuid，uuid、c++、libtool中任一插件包，且用ZOOKEEPER提供工具封装服务，再修改各个用户在本平台的应用属性，且对应显示各个用户的IP地址；
B、根据对应用户进行profile文件编辑；
C、接着再对应用户产生的在线数据所在平台中的环境变量进行修改；
D、再对应用户产生的在线数据所在平台中的storm参数进行修改；
E、然后基于修改的环境变量和storm参数基础上，编辑添加对应各个用户的详细资料以及数据容量；
F、最后对应产生在线数据的各个用户自动生成后续查询的表格，在S1构建处理平台过程中，平台在对用户在线数据从主节点机上复制到其他从节点机上时，需要对应编辑环境变量和资源配置，且操作步骤如下：
a、使用CTRL C对应粘接主节点机上的各个用户产生的在线数据，再使用CTRL V对应复制到其他从节点机上，对应形成复制文件；
b、待各个用户在线数据复制到其他从节点机上后，再进入其他从节点机针对各个用户在线数据属性修改环境变量和资源配置，待修改后的环境变量和资源配置生效后，再根据ID值主节点机以及各个从节点机上的ZOOKEEPER内容即可，对接收的大量在线数据进行收集、缓冲、存储以及协调处理，以防大量在线数据同步涌入平台导致其***出现卡顿和崩盘的情况，提高平台的稳固性和高效性；
S2、卫星数据定位采集单元：通过卫星和基站的通讯手段，对各个用户在线产生的数据进行定位和采集处理，待各个用户在线产生的数据定位和采集后，首先进入数据预处理阶段，获取各个用户在线数据的日志时间和位置，再利用二进制加密方式对获取的各个用户在线数据信息通过加密通道传送至数据处理阶段，提高在线数据的处理安全性，以防出现数据泄露的情况，再依次对加密后的各个用户在线数据进行提取、解压以及验证通过后发送至S1构建的STORM处理平台中，并依据位置和时间参数对发送的各用户在线数据进行存储，在S2卫星数据定位采集单元过程中，先对卫星的各项参数进行调整设定，且卫星各项参数调整设定步骤如下：
①、设置指定的采集值类型：采集值采集的各个用户产生的在线数据中通常含有伪距、载波相位、多普勒等采集量，再各个用户的在线数据处理时，有时仅仅会用到其中部分采集量，并对各个用户的在线数据进行挑选后再重新排列次序；
②、去掉指定卫星***数据：在各个用户在线数据处理时，有时不会用到卫星的所有数据，需要摒弃用不上卫星***中的部分自身数据，保留各个用户有效的在线数据；
③、设置数据采集间隔：在各个用户在线数据采集不需要间隔设定时，此时对卫星采集各个用户在线数据的时间间隔进行对应设定，根据卫星和基站的延迟时间进行间隔设定，可选用10s、20s、30s或60s作为间隔时间；
④、控制卫星高度角：若卫星的轨道高度角过低时，采集的各个用户在线数据采集质量会降低，从而需要根据基站地理位置情况，对卫星的高度角进行实时设定，使通讯卫星与地表基站之间处于最佳状态，降低通讯卫星与地表基站的传输容错率，提高通讯卫星与地表基站的协调性和精准度，在S2卫星数据定位采集单元过程中，各个用户在线数据进行提取、解压以及验证通过后，采用最小二乘法和均残值法对各个用户在线数据基于提取钟差和坐标经纬度为依据建立x轴为时间，y轴为残值的柱线图，查看卫星残差和基站残差跟随时间的重叠点，再根据卫星自身的RMS统计模块对卫星和基站采集各个用户在线数据后的卫星残差值、基站残差值以及卫星残差值和基站残差值的均值，且最小值为0mm，最大值为25mm以及均值为12mm，缩小用户产生在线数据的位置偏差，提高在线数据IP地址的定位精准度，在S2卫星数据定位采集单元过程中，卫星采集各个用户在线数据的采集算法为：
Qi=þa（t）+cta（t）+（㏒）a+c/f（Na t）t+（ξa）t；
Ki=þa（t）+cta（t）+（㏒）a+（ξa）kt ；
其中，þa（t）=þa（t）0+δorb+δant+（Trop）a+ct（t） ；
且式中：a表示地面节点机和卫星，c和f表示光速和频率，Qi和Ki表示载波和伪距测量值，þa（t）表示卫星和节点机的几何距离，Na t）t表示整周模糊度特性，ta（t）表示地面节点机钟误差和卫星钟误差，（㏒）a和（Trop）a表示电离层误差和对流层误差，δorb和δant表示卫星轨道误差和卫星信号相位误差，（ξa）t和（ξa）kt表示载波相位采集噪声和伪距采集噪声，i为变量，且i=1、2、3、4，提高通讯卫星对各个用户在线数据的采集全面性和准确性，同时也提高通讯卫星和地表基站之间的在线数据传输效率，以防出现在线数据传输偏差错漏的情况；
S3、在线数据分类：STORM处理平台再将接收的各用户在线数据按照流格式和串格式两种类型进行分类，并对应形成流格式在线数据集和串格式在线数据集，接着STORM处理平台将分类形成的流格式在线数据集和串格式在线数据集中的在线数据基于TCP/ID中的TCP协议或者UDP协议对应进行流格式数据集封装和串格式数据集封装处理，待流格式在线数据集和串格式在线数据集中的在线数据对应经过流格式数据集封装和串格式数据集封装处理后，再对应经过流格式数据集分解应用和串格式数据集分解应用处理，最后将处理完成的流格式在线数据集和串格式在线数据集中的在线数据对应打包发送至在线后台终端，在S3在线数据分类过程中，流格式在线数据集的分类定义编码为：
⑴、开始；
⑵、class stream packet{public；
⑶、C D【1024】；
⑷、char*C；
⑸、stream_packer【1023】{；
⑹、C=D；
⑺、}；
⑻、packet&<<IogL{；
⑼、*IogL*C=10；
⑽、C=D；
⑾、}；
⑿、stream_packet& operator<<（const char*L）{；
⒀、int len=strlen（L）+10；
⒁、operator<<（Iog）len）；
⒂、C=D+L；
⒃、}；
⒄、int ger_length【1024】；
⒅、{；
⒆、C=D+L，L=356258；
⒇、结束，在S3在线数据分类过程中，串格式在线数据集的分类定义编码为：
⑴、开始；
⑵、class str_packet{；
⑶、C D【1024】；
⑷、char*D；
⑸、stream_packer【1023】{；
⑹、C=D；
⑺、}；
⑻、packet&<<IogL＞0{；
⑼、*IogL*C=10；
⑽、C=D；
⑾、}；
⑿、stream_packet& operator<<（const char*L）{；
⒀、int len=strlen（L）+10；
⒁、operator<<（Iog）len）；
⒂、C=D+L；
⒃、}；
⒄、int ger_length【1024】；
⒅、{；
⒆、C=D+L，L=356258；
⒇、结束，在S3在线数据分类过程中，流格式在线数据集和串格式在线数据集经过流格式协议和串格式协议将在线数据转变为罗马字符串，在罗马字符串中按在线数据定长以及分割线对流格式在线数据集和串格式在线数据中的在线数据分割开来，且采用x、y和z作为变量字符串对流格式在线数据集和串格式在线数据中的在线数据的异常在线数据进行表示，且流格式数据集封装和串格式数据集封装的封装步骤为：
⑴、开始；
⑵、str_packer；
⑶、C D<<【1024】＞0{；
⑷、}；
⑸、C=D+L，L=356258；
⑹、结束，在S3在线数据分类过程中，流格式数据集分解应用对封装后流格式在线数据集和串格式在线数据集的分解步骤为：
⑴、开始；
⑵、str_packet packet（D=10）【1024】；
⑶、C=D{；
⑷、}；
⑸、C=D+L，L=356258；
⑹、结束。
串格式数据集分解应用对封装后流格式在线数据集和串格式在线数据集的分解步骤为：
⑴、开始；
⑵、str_packet packet（D=8）【1024】；
⑶、C=D{；
⑷、}；
⑸、C=D+L，L=356258；
⑹、结束，提高流格式在线数据集和串格式在线数据集在封装和分解过程中的精准度和全面性，降低在线数据分类处理的局限性和容错性，通过构建处理平台、卫星数据定位采集单元以及在线数据分类的流程配合，借助通讯卫星和地表基站的精准定位采集方式，预先构建STORM处理平台，实现对海量在线数据进行全面采集和分类处理的效果，具有局限性大、精度低、高迟滞、安全性和效率低的优点，不会因为在线数据量大出现卡顿崩溃和错漏的情况，满足高峰值时期的在线数据快速性处理需求。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于互联网平台订单大数据的在线数据处理方法，其特征在于：包括如下步骤：
S1、构建处理平台：选择基于STORM模型框架，并加载MEMCACHED、FLUME、KAFKA以及ZOOKEEPER四组模块，且分别对应在线数据收集、在线数据缓冲、在线数据存储以及在线数据协调功能；
S2、卫星数据定位采集单元：通过卫星和基站的通讯手段，对各个用户在线产生的数据进行定位和采集处理，待各个用户在线产生的数据定位和采集后，首先进入数据预处理阶段，获取各个用户在线数据的日志时间和位置，再利用二进制加密方式对获取的各个用户在线数据信息通过加密通道传送至数据处理阶段，再依次对加密后的各个用户在线数据进行提取、解压以及验证通过后发送至S1构建的STORM处理平台中，并依据位置和时间参数对发送的各用户在线数据进行存储；
S3、在线数据分类：STORM处理平台再将接收的各用户在线数据按照流格式和串格式两种类型进行分类，并对应形成流格式在线数据集和串格式在线数据集，接着STORM处理平台将分类形成的流格式在线数据集和串格式在线数据集中的在线数据基于TCP/ID中的TCP协议或者UDP协议对应进行流格式数据集封装和串格式数据集封装处理，待流格式在线数据集和串格式在线数据集中的在线数据对应经过流格式数据集封装和串格式数据集封装处理后，再对应经过流格式数据集分解应用和串格式数据集分解应用处理，最后将处理完成的流格式在线数据集和串格式在线数据集中的在线数据对应打包发送至在线后台终端。
2.根据权利要求1所述的一种基于互联网平台订单大数据的在线数据处理方法，其特征在于：所述在S1构建处理平台过程中，其环境构建步骤如下：
A、先依靠libuuid-devel、jdk、python、gcc_libuuid，uuid、c++、libtool中任一插件包，且用ZOOKEEPER提供工具封装服务，再修改各个用户在本平台的应用属性，且对应显示各个用户的IP地址；
B、根据对应用户进行profile文件编辑；
C、接着再对应用户产生的在线数据所在平台中的环境变量进行修改；
D、再对应用户产生的在线数据所在平台中的storm参数进行修改；
E、然后基于修改的环境变量和storm参数基础上，编辑添加对应各个用户的详细资料以及数据容量；
F、最后对应产生在线数据的各个用户自动生成后续查询的表格。
3.根据权利要求1所述的一种基于互联网平台订单大数据的在线数据处理方法，其特征在于：所述在S1构建处理平台过程中，平台在对用户在线数据从主节点机上复制到其他从节点机上时，需要对应编辑环境变量和资源配置，且操作步骤如下：
a、使用CTRL C对应粘接主节点机上的各个用户产生的在线数据，再使用CTRL V对应复制到其他从节点机上，对应形成复制文件；
b、待各个用户在线数据复制到其他从节点机上后，再进入其他从节点机针对各个用户在线数据属性修改环境变量和资源配置，待修改后的环境变量和资源配置生效后，再根据ID值主节点机以及各个从节点机上的ZOOKEEPER内容即可。
4.根据权利要求1所述的一种基于互联网平台订单大数据的在线数据处理方法，其特征在于：所述在S2卫星数据定位采集单元过程中，先对卫星的各项参数进行调整设定，且卫星各项参数调整设定步骤如下：
①、设置指定的采集值类型：采集值采集的各个用户产生的在线数据中通常含有伪距、载波相位、多普勒等采集量，再各个用户的在线数据处理时，有时仅仅会用到其中部分采集量，并对各个用户的在线数据进行挑选后再重新排列次序；
②、去掉指定卫星***数据：在各个用户在线数据处理时，有时不会用到卫星的所有数据，需要摒弃用不上卫星***中的部分自身数据，保留各个用户有效的在线数据；
③、设置数据采集间隔：在各个用户在线数据采集不需要间隔设定时，此时对卫星采集各个用户在线数据的时间间隔进行对应设定，根据卫星和基站的延迟时间进行间隔设定，可选用10s、20s、30s或60s作为间隔时间；
④、控制卫星高度角：若卫星的轨道高度角过低时，采集的各个用户在线数据采集质量会降低，从而需要根据基站地理位置情况，对卫星的高度角进行实时设定。
5.根据权利要求1所述的一种基于互联网平台订单大数据的在线数据处理方法，其特征在于：所述在S2卫星数据定位采集单元过程中，各个用户在线数据进行提取、解压以及验证通过后，采用最小二乘法和均残值法对各个用户在线数据基于提取钟差和坐标经纬度为依据建立x轴为时间，y轴为残值的柱线图，查看卫星残差和基站残差跟随时间的重叠点，再根据卫星自身的RMS统计模块对卫星和基站采集各个用户在线数据后的卫星残差值、基站残差值以及卫星残差值和基站残差值的均值，且最小值为0mm，最大值为25mm以及均值为12mm。
6.根据权利要求1所述的一种基于互联网平台订单大数据的在线数据处理方法，其特征在于：所述在S2卫星数据定位采集单元过程中，卫星采集各个用户在线数据的采集算法为：
Qi=þa（t）+cta（t）+（㏒）a+c/f（Na t）t+（ξa）t；
Ki=þa（t）+cta（t）+（㏒）a+（ξa）kt；
其中，þa（t）=þa（t）0+δorb+δant+（Trop）a+ct（t）；
且式中：a表示地面节点机和卫星，c和f表示光速和频率，Qi和Ki表示载波和伪距测量值，þa（t）表示卫星和节点机的几何距离，Na t）t表示整周模糊度特性，ta（t）表示地面节点机钟误差和卫星钟误差，（㏒）a和（Trop）a表示电离层误差和对流层误差，δorb和δant表示卫星轨道误差和卫星信号相位误差，（ξa）t和（ξa）kt表示载波相位采集噪声和伪距采集噪声，i为变量，且i=1、2、3、4。
7.根据权利要求1所述的一种基于互联网平台订单大数据的在线数据处理方法，其特征在于：所述在S3在线数据分类过程中，流格式在线数据集的分类定义编码为：
⑴、开始；
⑵、class stream packet{public；
⑶、C D【1024】；
⑷、char*C；
⑸、stream_packer【1023】{；
⑹、C=D；
⑺、}；
⑻、packet&<<IogL{；
⑼、*IogL*C=10；
⑽、C=D；
⑾、}；
⑿、stream_packet& operator<<（const char*L）{；
⒀、int len=strlen（L）+10；
⒁、operator<<（Iog）len）；
⒂、C=D+L；
⒃、}；
⒄、int ger_length【1024】；
⒅、{；
⒆、C=D+L，L=356258；
⒇、结束。
8.根据权利要求1所述的一种基于互联网平台订单大数据的在线数据处理方法，其特征在于：所述在S3在线数据分类过程中，串格式在线数据集的分类定义编码为：
⑴、开始；
⑵、class str_packet{；
⑶、C D【1024】；
⑷、char*D；
⑸、stream_packer【1023】{；
⑹、C=D；
⑺、}；
⑻、packet&<<IogL＞0{；
⑼、*IogL*C=10；
⑽、C=D；
⑾、}；
⑿、stream_packet& operator<<（const char*L）{；
⒀、int len=strlen（L）+10；
⒁、operator<<（Iog）len）；
⒂、C=D+L；
⒃、}；
⒄、int ger_length【1024】；
⒅、{；
⒆、C=D+L，L=356258；
⒇、结束。
9.根据权利要求1所述的一种基于互联网平台订单大数据的在线数据处理方法，其特征在于：所述在S3在线数据分类过程中，流格式在线数据集和串格式在线数据集经过流格式协议和串格式协议将在线数据转变为罗马字符串，在罗马字符串中按在线数据定长以及分割线对流格式在线数据集和串格式在线数据中的在线数据分割开来，且采用x、y和z作为变量字符串对流格式在线数据集和串格式在线数据中的在线数据的异常在线数据进行表示，且流格式数据集封装和串格式数据集封装的封装步骤为：
⑴、开始；
⑵、str_packer；
⑶、C D<<【1024】＞0{；
⑷、}；
⑸、C=D+L，L=356258；
⑹、结束。
10.根据权利要求1所述的一种基于互联网平台订单大数据的在线数据处理方法，其特征在于：所述在S3在线数据分类过程中，流格式数据集分解应用对封装后流格式在线数据集和串格式在线数据集的分解步骤为：
⑴、开始；
⑵、str_packet packet（D=10）【1024】；
⑶、C=D{；
⑷、}；
⑸、C=D+L，L=356258；
⑹、结束；
串格式数据集分解应用对封装后流格式在线数据集和串格式在线数据集的分解步骤为：
⑴、开始；
⑵、str_packet packet（D=8）【1024】；
⑶、C=D{；
⑷、}；
⑸、C=D+L，L=356258；
⑹、结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211673756.3A CN115688196B (zh) | 2022-12-26 | 2022-12-26 | 一种基于互联网平台订单大数据的在线数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211673756.3A CN115688196B (zh) | 2022-12-26 | 2022-12-26 | 一种基于互联网平台订单大数据的在线数据处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115688196A true CN115688196A (zh) | 2023-02-03 |
| CN115688196B CN115688196B (zh) | 2023-07-18 |
Family
ID=85056011
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211673756.3A Active CN115688196B (zh) | 2022-12-26 | 2022-12-26 | 一种基于互联网平台订单大数据的在线数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115688196B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130151380A1 (en) * | 2011-12-07 | 2013-06-13 | David Anthony Holt | Advanced Order System |
| CN105096062A (zh) * | 2015-09-07 | 2015-11-25 | 广州市城市规划勘测设计研究院 | Cors应用管理*** |
| CN107229061A (zh) * | 2017-07-18 | 2017-10-03 | 武汉大学 | 一种基于低轨卫星的星地差分实时精密定位方法 |
| CN109001776A (zh) * | 2018-06-04 | 2018-12-14 | 北京未来导航科技有限公司 | 一种基于云计算的导航数据处理方法及*** |
| CN109270565A (zh) * | 2018-09-04 | 2019-01-25 | 广东翼卡车联网服务有限公司 | 一种车载gps大数据的处理装置 |
| CN110097424A (zh) * | 2019-04-25 | 2019-08-06 | 山东焦易网信息科技有限公司 | 一种一站式服务网上交易平台 |
| CN110310157A (zh) * | 2019-07-04 | 2019-10-08 | 武汉般若易修工业技术服务有限公司 | 制造企业设备价值云存储***及方法 |
| CN110334105A (zh) * | 2019-07-12 | 2019-10-15 | 河海大学常州校区 | 一种基于Storm的流数据异常检测算法 |
| US20200096648A1 (en) * | 2016-06-12 | 2020-03-26 | Shanghai Astronomical Observatory, Chinese Academy Of Sciences | Zone correction-based method for improving the positioning accuracy in a satellite-based augmentation system |
| US20210072406A1 (en) * | 2018-06-01 | 2021-03-11 | Zhejiang Yat Electrical Appliance Co., Ltd | Gnss-rtk-based positioning method |
| CN114493726A (zh) * | 2022-04-06 | 2022-05-13 | 萨科(深圳)科技有限公司 | 一种订单的监控方法和监控平台 |
| US20220237218A1 (en) * | 2019-11-27 | 2022-07-28 | Guangzhou Quick Decision Information Technology Co., Ltd. | Online data acquisition method and system |
| US20220292543A1 (en) * | 2021-03-09 | 2022-09-15 | Alexandra Valentina Henderson | Pop-up retial franchising and complex econmic system |
| US20220335020A1 (en) * | 2021-04-15 | 2022-10-20 | Shopify Inc. | Systems and methods for resolving errors in datasets for online orders |
-
2022
- 2022-12-26 CN CN202211673756.3A patent/CN115688196B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130151380A1 (en) * | 2011-12-07 | 2013-06-13 | David Anthony Holt | Advanced Order System |
| CN105096062A (zh) * | 2015-09-07 | 2015-11-25 | 广州市城市规划勘测设计研究院 | Cors应用管理*** |
| US20200096648A1 (en) * | 2016-06-12 | 2020-03-26 | Shanghai Astronomical Observatory, Chinese Academy Of Sciences | Zone correction-based method for improving the positioning accuracy in a satellite-based augmentation system |
| CN107229061A (zh) * | 2017-07-18 | 2017-10-03 | 武汉大学 | 一种基于低轨卫星的星地差分实时精密定位方法 |
| US20210072406A1 (en) * | 2018-06-01 | 2021-03-11 | Zhejiang Yat Electrical Appliance Co., Ltd | Gnss-rtk-based positioning method |
| CN109001776A (zh) * | 2018-06-04 | 2018-12-14 | 北京未来导航科技有限公司 | 一种基于云计算的导航数据处理方法及*** |
| CN109270565A (zh) * | 2018-09-04 | 2019-01-25 | 广东翼卡车联网服务有限公司 | 一种车载gps大数据的处理装置 |
| CN110097424A (zh) * | 2019-04-25 | 2019-08-06 | 山东焦易网信息科技有限公司 | 一种一站式服务网上交易平台 |
| CN110310157A (zh) * | 2019-07-04 | 2019-10-08 | 武汉般若易修工业技术服务有限公司 | 制造企业设备价值云存储***及方法 |
| CN110334105A (zh) * | 2019-07-12 | 2019-10-15 | 河海大学常州校区 | 一种基于Storm的流数据异常检测算法 |
| US20220237218A1 (en) * | 2019-11-27 | 2022-07-28 | Guangzhou Quick Decision Information Technology Co., Ltd. | Online data acquisition method and system |
| US20220292543A1 (en) * | 2021-03-09 | 2022-09-15 | Alexandra Valentina Henderson | Pop-up retial franchising and complex econmic system |
| US20220335020A1 (en) * | 2021-04-15 | 2022-10-20 | Shopify Inc. | Systems and methods for resolving errors in datasets for online orders |
| CN114493726A (zh) * | 2022-04-06 | 2022-05-13 | 萨科(深圳)科技有限公司 | 一种订单的监控方法和监控平台 |
Non-Patent Citations (3)
| Title |
|---|
| 刘引涛: "基于Storm的大数据在线学习平台数据处理的设计与实现", 《物联网技术》, pages 113 - 115 * |
| 李健;吕志平;: "基于CORS的卫星定位在线服务***", 测绘通报, no. 08 * |
| 李虎雄等: "网络交互平台数据包的分析与处理", 《计算机工程与技术》, vol. 28, no. 8, pages 1855 - 1858 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115688196B (zh) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103761309B (zh) | 一种运营数据处理方法及*** | |
| CN108494747B (zh) | 数字化变电站流量异常检测方法、电子设备及计算机存储介质 | |
| CN113050139B (zh) | 基于格网化高精度卫星导航定位服务*** | |
| CN113031011B (zh) | 北斗高精度卫星导航与位置服务*** | |
| CN106291607B (zh) | Gnss多径信号模拟生成方法及*** | |
| CN110766263A (zh) | 变电站二次设备自动验收方法及终端设备 | |
| CN115688196B (zh) | 一种基于互联网平台订单大数据的在线数据处理方法 | |
| CN116108654A (zh) | 一种基于数字孪生的智能营业厅实现方法及*** | |
| CN115278737A (zh) | 一种5g网络的数据采集方法 | |
| Yang et al. | Vehicle text data compression and transmission method based on maximum entropy neural network and optimized huffman encoding algorithms | |
| CN115080177A (zh) | 虚拟机迁移至服务器的方法、装置、电子设备和存储介质 | |
| CN117202118A (zh) | 一种基于北斗的地下水监测数据传输方法、装置及设备 | |
| CN115755131A (zh) | 一种卫星定位的方法、装置及介质 | |
| EP4123862A1 (en) | Systems and methods for optimal synchrophasor data recovery | |
| CN114296785A (zh) | 一种日志数据建模方法及*** | |
| CN106533715B (zh) | 一种数据分析方法及*** | |
| CN116166640A (zh) | 全球导航卫星观测数据实时采集与管理方法及*** | |
| CN113467852A (zh) | 智能变电站跨间隔保护配置文件的配置和校验方法及*** | |
| CN110032389A (zh) | 一种过程层通信配置方法和*** | |
| CN112733315A (zh) | 完好性风险的验证方法及*** | |
| CN110475370A (zh) | 数据建模中的智能衍生变量构造方法 | |
| CN116979523B (zh) | 一种基于场景的变电站二次***仿真方法、计算机设备 | |
| CN111935250B (zh) | 一种自动驾驶数据分类传输方法及*** | |
| CN117459188B (zh) | 基于北斗通信技术的电力北斗通信***及通信方法 | |
| CN113641497B (zh) | 基于降维切分技术实现分布式高并发数据汇总的*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |