CN110445750A - 一种车联网协议流量识别方法及装置 - Google Patents

Abstract

本发明公开了一种车联网协议流量识别方法及装置：提取车载终端与车联网服务器交互的车联网协议应用层数据报文；根据已知协议流量鉴别库确定所述数据报文对应的已知协议，如果不是已知协议，则，确定为未知协议；根据未知协议的协议内容确定所述数据报文为字符型协议或者二进制协议；当所述数据报文为字符型未知协议时，根据特征字符库中的车辆状态字段匹配数据报文中的连续可见字符串，将匹配成功的连续可见字符串标识为相应车辆状态字段；当所述数据报文为二进制未知协议时，根据多序列对比方法获取数据报文中的可变字段和不可变字段，并确定各字段对应的车辆状态字段。本发明能够对不同车联网协议数据报文中的车辆状态字段进行准确高效识别。

Description

一种车联网协议流量识别方法及装置

技术领域

本发明涉及车联网技术领域，特别涉及一种车联网协议流量识别方法及装置。

背景技术

目前关于车载终端通信流量的识别技术较少，且没有形成统一的规范。不同的厂商使用不同的协议，协议也可以依据是否有已知协议定义规则来分为已知协议和未知协议。现有技术方法如下：

·数据流量提取

目前现有的数据提取多为基于通信链路数据的捕获，通过针对连接通信的设备进行中间流量的提取。若车载终端***支持代理设置，通过代理设置与第三方数据获取软件配合，例如Wireshark、fiddler等，从中获取数据通信的流量

·协议识别

目前针对车载终端流量的识别多为针对已知协议的识别获取，通过已知协议的协议格式总结出协议的关键特征，再通过协议特征进行匹配机制识别相应的车载终端通信协议。例如采用道路运输车辆国家标准的JT808协议，车载终端与服务器通信上报数据使用TCP连接，在应用层以’\x7e\x02\x00’开头，以’\x7e’结尾，将其作为具体的流量提取规则，制作正则表达式，利用正则从采集的流量中取匹配具体的协议，进行识别。

根据以上现有技术，目前主流的车载终端通信流量采集多通过代理采集方式，流量的识别还是只支持基于已知协议的识别。存在的不足具体如下：

1)针对移动网络通信流量的采集存在不足

目前主流通过代理服务作为基本的流量提取方式，但是车载终端由于其特殊性，多采用移动网络进行相关通信，内置的物联网卡提供基础的网络支持。若车载终端***自身并不带有代理功能，则无法直接抓取针对移动网络通信流量。

2)无法识别未知协议

针对已知车载终端通信协议可以基于特征的协议识别，但无法识别未知协议。虽然目前国家制订了相应的通信标准，但是并不是所有的车企都按照标准执行，各车企针对各自的车载终端***建设中，使用自己的私有通信协议格式，这些协议通常不进行公开，无法得知具体的通信含义。

发明内容

有鉴于此，本发明的发明目的是：能够对不同车联网协议数据报文中的车辆状态字段进行准确高效识别。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明提供了一种车联网协议流量识别方法，该方法包括：

提取车载终端与车联网服务器交互的车联网协议应用层数据报文；

根据已知协议流量鉴别库确定所述数据报文对应的已知协议，如果不是已知协议，则，确定为未知协议；所述流量鉴别库包含有已知协议名称和各已知协议鉴别对应的正则表达式；

根据未知协议的协议内容确定所述数据报文为字符型协议或者二进制协议；

当所述数据报文为字符型未知协议时，根据特征字符库中的车辆状态字段匹配数据报文中的连续可见字符串，将匹配成功的连续可见字符串标识为相应车辆状态字段；

当所述数据报文为二进制未知协议时，根据多序列对比方法获取数据报文中的可变字段和不可变字段，并确定各字段对应的车辆状态字段。

本发明还提供了一种车联网协议流量识别装置，该装置包括：

提取模块，提取车载终端与车联网服务器交互的车联网协议应用层数据报文；

鉴别模块，根据已知协议流量鉴别库确定所述数据报文对应的已知协议，如果不是已知协议，则，确定为未知协议；所述流量鉴别库包含有已知协议名称和各已知协议鉴别对应的正则表达式；

分析模块，根据未知协议的协议内容确定所述数据报文为字符型协议或者二进制协议；当所述数据报文为字符型未知协议时，根据特征字符库中的车辆状态字段匹配数据报文中的连续可见字符串，将匹配成功的连续可见字符串标识为相应车辆状态字段；当所述数据报文为二进制未知协议时，根据多序列对比方法获取数据报文中的可变字段和不可变字段，并确定各字段对应的车辆状态字段。

由上述的技术方案可见，本发明提取车载终端与车联网服务器交互的车联网协议应用层数据报文；根据已知协议流量鉴别库确定所述数据报文对应的已知协议，如果不是已知协议，则，确定为未知协议；所述流量鉴别库包含有已知协议名称和各已知协议鉴别对应的正则表达式；根据未知协议的协议内容确定所述数据报文为字符型协议或者二进制协议；当所述数据报文为字符型未知协议时，根据特征字符库中的车辆状态字段匹配数据报文中的连续可见字符串，将匹配成功的连续可见字符串标识为相应车辆状态字段；当所述数据报文为二进制未知协议时，根据多序列对比方法获取数据报文中的可变字段和不可变字段，并确定各字段对应的车辆状态字段。本发明的方案针对不同车联网协议采取不同的分析方法，具有识别已知车联网协议和未知车联网协议车辆状态字段的能力，尤其能更加精确地识别出未知车联网协议中的车辆状态字段。

附图说明

图1为本发明提出的一种车联网协议流量识别方法的流程示意图。

图2为本发明提出的一种车联网协议流量识别装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案、及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。

随着互联网不断的发展，越来越多的汽车厂商也将互联网的技术应用到了汽车中，形成了车联网体系。国内车联网不断普及。消费者对汽车安全性、操作便利性、娱乐等方面提出越来越高要求，引发车载终端市场需求加大，车载终端不断扩大，使得对其通信安全的研究显得尤为重要，而研究的基础是获取相关通信的流量。不同汽车厂商提供的车载终端服务并不相同，使得各自车载终端与远程服务器的通信协议定制也不相同，而且往往这些协议也并没有进行公开，要想对这些通信数据进行流量分析，前提是获取流量。而目前关于车载终端流量提取的方式还是沿袭传统流量提取，对于移动网络通信并没有好的支持。另外在流量分析中，对未知协议的分析还存在不足。

因此，本发明针对不同车联网协议采取不同的分析方法，能够识别已知车联网协议和未知车联网协议车辆状态字段。并且，对车载终端与车联网服务器之间的通信流量的采集方式进行改进，使其支持对移动网络流量进行采集。

本发明实施例提出的一种车联网协议流量识别方法，其流程示意图如图1所示，该方法包括：

步骤11、提取车载终端与车联网服务器交互的车联网协议应用层数据报文。

在车载终端与车联网服务器交互的报文中，包括TCP建立连接报文，也包括应用层数据报文，由于车辆状态字段位于应用层数据报文中，所以本步骤中，需要去掉无关报文，提取车载终端与车联网服务器交互的车联网协议应用层数据报文。

现有技术中某些车载终端是不具备代理功能与WIFI功能的，只支持移动网络。车载终端在一定意义上可以看做成一个移动设备。而传统的针对移动设备的网络数据收集手段，通常是通过使用抓包工具在局域网内嗅探的方式获取的。但如上所述，该车载终端作为一个相对封闭的网络环境，仅仅只有一个移动信号的接口，传统方式所能做的信息收集工作非常有限了，所以需要对车载终端采取监听移动信号通信这一手段进行车载终端网络信息提取。

4G网络不同于2G网络，通信是需要车载终端和伪基站进行双向鉴权的。所以现有车载终端正常SIM卡无法与伪基站进行连接。因此，本发明车载终端扩展有写有4G伪基站鉴权信息的用户身份识别卡(SIM卡)，在4G环境下，该方法进一步包括：提取所述SIM卡与车联网服务器交互的车联网协议应用层数据报文。

步骤12、根据已知协议流量鉴别库确定所述数据报文对应的已知协议，如果不是已知协议，则，确定为未知协议；所述流量鉴别库包含有已知协议名称和各已知协议鉴别对应的正则表达式。

优选地，在确定所述数据报文对应的已知协议之后，该方法进一步包括：根据已知协议得到数据报文中包含的车辆状态字段。

流量鉴别库中包含有众多已知协议的识别规则，以JT/T 808协议为例，协议的识别规则为：使用“\x7e”(十六进制字符)作为数据开头字符，“\x7e”作为数据结尾字符，同时协议其余字段并不包含有“\x7e”字符。使用正则表达式来对识别规则进行定义。正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，用来表达对字符串的一种过滤逻辑。流量鉴别库存储的是已知协议对应的正则表达式。匹配JT/T808的正则表达式字符串为“^\x7e[^\x7e]*？\x7e$“,其中”^”代表开头标志，”$”代表结尾标志。开头和结尾的”\x7e”代表匹配数据必须以”\x7e“开头或结尾，[^\x7e]代表匹配未包含”\x7e”的任意字符，*代表匹配前面的子表达式任意次，？代表尽可能少地匹配所搜索的字符串。流量鉴别库保存有协议名称以及协议鉴别对应的正则表达式字符串。

步骤13、根据未知协议的协议内容确定所述数据报文为字符型协议或者二进制协议；当所述数据报文为字符型未知协议时，根据特征字符库中的车辆状态字段匹配数据报文中的连续可见字符串，将匹配成功的连续可见字符串标识为相应车辆状态字段；当所述数据报文为二进制未知协议时，根据多序列对比方法获取数据报文中的可变字段和不可变字段，并确定各字段对应的车辆状态字段。

其中，不同的未知协议，对应不同的分析方法：

1)对于字符型未知协议，预先建立有特征字符库，特征字符库中的每一车辆状态字段对应有相应的特征字符串。车辆状态字段包括车速(speed)、维度(lat)、经度(lon)等。

数据包中的字符分为可见字符和非可见字符，将数据报文中连续出现的可见字符串进行提取，标记为基本字段块。将从数据报文中提取的基本字段块与特征字符库进行匹配，将匹配到的相应字段进行标记。

在现实的网络传递中，由于信道信号问题可能会出现字符顺序错乱、突变的情况。此外由于协议字段命名并不通用，同一含义的字段信息的表示字符并不完全相同。进一步地，本步骤需要进行匹配结果的优化操作。本步骤中，预设匹配到的连续可见字符串最大公共长度与总长度的比值阈值，当达到所述阈值时，确定匹配成功。

2)对于二进制未知协议，将属于同一未知车联网协议类型的各数据报文根据长度标识字段进行可变字段查找，在查找到可变字段后，将可变字段去除，将各数据报文中剩下的报文序列字节对齐，就可以确定出不可变字段。

进一步地，在采用多序列对比方法时，可以将各序列通过添加空格字符来进行占位，获取数据报文中的可变字段和不可变字段。从而确保最终的结果中更多的字符得到了匹配。

至此，完成了本发明的车联网协议流量识别方法。

基于相同的发明构思，本发明提出了一种车联网协议流量识别装置，其结构示意图如图2所示，该装置包括：

提取模块201，提取车载终端与车联网服务器交互的车联网协议应用层数据报文；

鉴别模块202，根据已知协议流量鉴别库确定所述数据报文对应的已知协议，如果不是已知协议，则，确定为未知协议；所述流量鉴别库包含有已知协议名称和各已知协议鉴别对应的正则表达式；

分析模块203，根据未知协议的协议内容确定所述数据报文为字符型协议或者二进制协议；当所述数据报文为字符型未知协议时，根据特征字符库中的车辆状态字段匹配数据报文中的连续可见字符串，将匹配成功的连续可见字符串标识为相应车辆状态字段；当所述数据报文为二进制未知协议时，根据多序列对比方法获取数据报文中的可变字段和不可变字段，并确定各字段对应的车辆状态字段。

车载终端扩展有写有4G伪基站鉴权信息的SIM卡，所述提取模块201为伪基站，在4G环境下，提取所述SIM卡与车联网服务器交互的车联网协议应用层数据报文。

鉴别模块202确定所述数据报文对应的已知协议之后，还用于：根据已知协议得到数据报文中包含的车辆状态字段。

当所述数据报文为字符型未知协议时，分析模块203还用于：预设匹配到的连续可见字符串最大公共长度与总长度的比值阈值，当达到所述阈值时，确定匹配成功。

当所述数据报文为二进制未知协议时，分析模块203还用于：根据多序列对比方法，将各序列通过添加空格字符来进行占位，获取数据报文中的可变字段和不可变字段。

为清楚说明本发明，下面列举具体场景进行说明。

1)提取模块提取应用层数据报文

本发明中提取模块为伪基站，通过伪基站提取车载终端与车联网服务器交互的车联网协议应用层数据报文。伪基站包括信号收发器、伪基站仿真平台和载体计算机。其中，信号收发器用于对移动网络信号进行调制解调；伪基站仿真平台用于通过软件模拟基站处理信号全过程；载体计算机用于装载伪基站仿真软件。

在2G环境下，车载终端与伪基站进行连接。车载终端在搜寻2G信号时成功发现了伪基站，车载终端把伪基站当成了真正的基站进行联通。伪基站对通信进行鉴权，由于2G的单向鉴权使得只有网络对移动设备的验证，并没有移动设备向网络的认证，因此车载终端可以经过鉴权直接连上伪基站。伪基站的信号收发器负责对网络信号的解析，伪基站仿真平台模拟基站***对信号进行处理，得到通信数据后转发存储到载体计算机中，这样实际向远程服务平台传输的流量就通过伪基站进行了获取。

4G网络不同于2G网络，通信是需要车载终端和伪基站进行双向鉴权的。所以现有车载终端正常SIM卡无法与伪基站进行连接，只有写入基站鉴权信息的车载终端SIM卡才能进行通信。在一个具体实施例中，可以准备空白的SIM卡，通过手机SIM卡读写装置将4G伪基站鉴权信息写入。若车载终端支持外置SIM卡扩展，通过外置SIM卡模块，将写入4G伪基站鉴权信息的SIM卡***，使用该SIM卡进行数据交互，这样不需要信号降频直接与伪基站进行鉴权连接，获取通信流量数据。

2)鉴别模块区分已知协议和未知协议

对每一条提取出的流量，依次遍历流量鉴别库中的正则表达式集合进行匹配，判断正则表达式能否匹配当前的流量数据，若是匹配成功，则代表当前流量是正则表达式所对应的协议类型。将该条流量归类为已知协议。若遍历完所有集合并没有匹配，则代表当前流量为未知协议，同时将其归类为未知协议。以JT/T 808协议为例，正则表达式字符串“^\x7e[^\x7e]*？\x7e$“对JT/T 808流量进行匹配，匹配成功代表该流量为已知协议，若是所有的流量鉴别库都匹配失败，则代表该协议为未知协议。

由于已知协议的协议规则是已知的，所以很容易根据已知协议得到流量数据中包含的车辆状态字段。

3)分析模块基于字符型未知协议的车辆状态字段识别

3.1)字符型未知协议的基本字段块划分。

数据包中的字符分为可见字符和非可见字符，通过匹配最长连续可见字符来获得基本字段块。这里设置的最少连续长度为3。例如数据报文为

“\xff\xff\xff\x53\x50\x45\x45\x44\xff\xff\x61\x62\x63\xff\x61“(十六进制表示)，其中\xff为不可见字符，”\x53\x50\x45\x45\x44“为“speed”字符串十六进制编码后的显示，”\x61\x62\x63为“abc”字符串十六进制编码后的显示。”\x61”为”a”字符串十六进制编码后的显示，“speed”，“abc”，“a”为连续的可见字符串，但是由于a的长度小于3，所以这里将“speed”，“abc”作为基本字段块，“a”进行舍去。该条数据报文形成的基本字段块集合为“speed”，“abc”。

3.2)将字符型未知协议中的基本字段块集合作为输入，与特征字符库的特征字符串进行比对。

例如，数据报文“\xff\xff\xff\x53\x50\x45\x45\x44\xff\xff\x61\x62\x63\xff\x61”对应的基本字符块集合为“speed”，“abc”。遍历基本字符块中的字符与特征字符库所有的特征字符串进行匹配。基本字符块“speed”与特征字符串“speed”进行匹配，匹配算法为最长公共子串匹配。

例如，字符串1为“acbcbcef”，字符串2为“abcbced”，则字符串1和字符串2的最长公共子串为“bcbce”。算法思路为(1)把两个字符串分别以行和列组成一个二维矩阵数字矩阵。(2)比较二维矩阵中每个点对应行列字符中否相等，相等的话将该位置设置为1，否则设置为0。(3)通过查找出值为1的最长对角线就能找到最长公共子串。

经过最长公共子串匹配后“speed”与特征字符串“speed”相同，匹配成功，则代表协议中相应含义的特征字段存在。对该未知协议中相应字段进行标记，得到具体的偏移位置。达到了对该协议中的字段含义的识别。

3.3)比对结果统计优化。

在现实的网络传递中，由于信道信号问题可能会出现字符顺序错乱、突变的情况。此外由于协议字段命名并不通用，同一含义的字段信息的表示字符并不完全相同。这里需要进行比对结果的优化操作。例如“speed”和“carspeed”字符串经过最长公共子串算法比较后，最长子串为“speed”。虽然子串并不相同，但表示的含义是一样的。匹配时统计具体匹配到的最大公共长度与字段总长度，进行百分比计算。通过设置百分比通过验证阀值来对比对结果进行验证。并不用完全匹配，百分比只要高于阀值就认为是匹配成功，这里阀值的设定为60％，具体可以根据协议或网络状况进行调整。

4)分析模块基于二进制未知协议的车辆状态字段识别

4.1)二进制未知协议的字段内容为比特序列，无法知道其真实的含义，所以这里采用多序列比对技术，从中分离出同类型的报文序列，从中寻找出可变字段和不可变字段。通过多序列比对技术快速的识别出二进制协议的各个字段组成，为后序的测试提供支持。常用的多序列比对算法多为基于动态规划算法和基于渐进比对算法。当序列长度较短或序列数量较少时，基于动态规划的比对算法更占优势。但是车载终端流量具有序列长，数量多的特点，基于动态规划的匹配算法需要消耗大量的时间与空间，所以这里采用基于渐进比对算法进行对比。

4.2)传统的渐进对比方法并没有考虑对连续字符连续匹配的情况进行考虑。本发明优选采用添加空格字符来进行占位匹配，确保最终的结果中更多的字符得到了匹配。例如序列1中字符串“aaabbbcccddd”和序列2中字符串“bbbccc”进行比较，二者如果直接进行比对，会发现相同位置的字符串并不相同，为了得到更多的匹配字符，将较短的字符串加入空格，使得字符串“bbbccc”变为“bbbccc”。这样通过填充空格使得相同字符串“bbbccc”对应位置相同。起始终止位置相同。

对剩下的序列中选取一条和“bbbccc”进行比较，出现相同字符串但位置不相同，依旧填充空格。

对所有的序列进行比较后，统计每条序列中的相同偏移的字符是否有变化，若是没有发生变化，则为不可变字段。若是发生了变化，则为可变字段。例如“aaabbbcccddd”和“bbbccc”和“bbbccceee”进行比对，则可变字段为开头的三个字符位置，和最后三个字符的位置。中间的六个字符“bbbccc”并没有发生改变，代表为不可变字段。

最后，根据可变字段和不可变字段，确定各字段对应的车辆状态字段。

综上，本发明的有益效果为：

一、针对不同车联网协议采取不同的分析方法，具有识别已知车联网协议和未知车联网协议车辆状态字段的能力，尤其能更加精确地识别出未知车联网协议中的车辆状态字段。

二、本发明针对字符型未知协议，采用特征对比的方式识别车辆状态字段，针对二进制未知协议，采用多序列对比方法识别车辆状态字段。

三、传统的流量采集并没有考虑移动通信网络相关，而车载终端由于其特性大多需要移动网络的支持才能进行通信。所以针对移动网络下的流量提取显得尤为重要，本发明通过伪基站进行针对4G移动网络的车载终端流量提取。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种车联网协议流量识别方法，其特征在于，该方法包括：

提取车载终端与车联网服务器交互的车联网协议应用层数据报文；

根据已知协议流量鉴别库确定所述数据报文对应的已知协议，如果不是已知协议，则，确定为未知协议；所述流量鉴别库包含有已知协议名称和各已知协议鉴别对应的正则表达式；

根据未知协议的协议内容确定所述数据报文为字符型协议或者二进制协议；

当所述数据报文为字符型未知协议时，根据特征字符库中的车辆状态字段匹配数据报文中的连续可见字符串，将匹配成功的连续可见字符串标识为相应车辆状态字段；

当所述数据报文为二进制未知协议时，根据多序列对比方法获取数据报文中的可变字段和不可变字段，并确定各字段对应的车辆状态字段。

2.如权利要求1所述的方法，其特征在于，车载终端扩展有写有4G伪基站鉴权信息的用户身份识别SIM卡，该方法进一步包括：在4G环境下，提取所述SIM卡与车联网服务器交互的车联网协议应用层数据报文。

3.如权利要求1所述的方法，其特征在于，确定所述数据报文对应的已知协议之后，该方法进一步包括：根据已知协议得到数据报文中包含的车辆状态字段。

4.如权利要求1所述的方法，其特征在于，当所述数据报文为字符型未知协议时，该方法进一步包括：预设匹配到的连续可见字符串最大公共长度与总长度的比值阈值，当达到所述阈值时，确定匹配成功。

5.如权利要求1所述的方法，其特征在于，当所述数据报文为二进制未知协议时，根据多序列对比方法，将各序列通过添加空格字符来进行占位，获取数据报文中的可变字段和不可变字段。

6.一种车联网协议流量识别装置，其特征在于，该装置包括：

提取模块，提取车载终端与车联网服务器交互的车联网协议应用层数据报文；

鉴别模块，根据已知协议流量鉴别库确定所述数据报文对应的已知协议，如果不是已知协议，则，确定为未知协议；所述流量鉴别库包含有已知协议名称和各已知协议鉴别对应的正则表达式；

分析模块，根据未知协议的协议内容确定所述数据报文为字符型协议或者二进制协议；当所述数据报文为字符型未知协议时，根据特征字符库中的车辆状态字段匹配数据报文中的连续可见字符串，将匹配成功的连续可见字符串标识为相应车辆状态字段；当所述数据报文为二进制未知协议时，根据多序列对比方法获取数据报文中的可变字段和不可变字段，并确定各字段对应的车辆状态字段。

7.如权利要求6所述的装置，其特征在于，车载终端扩展有写有4G伪基站鉴权信息的SIM卡，所述提取模块为伪基站，在4G环境下，提取所述SIM卡与车联网服务器交互的车联网协议应用层数据报文。

8.如权利要求6所述的装置，其特征在于，鉴别模块确定所述数据报文对应的已知协议之后，还用于：根据已知协议得到数据报文中包含的车辆状态字段。

9.如权利要求6所述的装置，其特征在于，当所述数据报文为字符型未知协议时，分析模块还用于：预设匹配到的连续可见字符串最大公共长度与总长度的比值阈值，当达到所述阈值时，确定匹配成功。

10.如权利要求6所述的装置，其特征在于，当所述数据报文为二进制未知协议时，分析模块还用于：根据多序列对比方法，将各序列通过添加空格字符来进行占位，获取数据报文中的可变字段和不可变字段。