CN117573943B

CN117573943B - 一种基于序列化相似度计算的数据对比方法

Info

Publication number: CN117573943B
Application number: CN202410041210.9A
Authority: CN
Inventors: 李茹钰; 张鑫; 刘毅强; 张自平
Original assignee: Yunzhu Information Technology Chengdu Co ltd
Current assignee: Yunzhu Information Technology Chengdu Co ltd
Priority date: 2024-01-11
Filing date: 2024-01-11
Publication date: 2024-05-28
Anticipated expiration: 2044-01-11
Also published as: CN117573943A

Abstract

本发明公开了一种基于序列化相似度计算的数据对比方法，包括将两个待对比的参数对象转为两个JSON对象；构建忽略规则，循环遍历忽略规则进行两个JSON对象中待忽略的字段处理，分别得到两个预处理JSON对象；将两个预处理JSON对象序列化为两个字符串；计算出两个字符串转变的最小操作次数；根据两个字符串的字符串长度和最小操作次数，计算出相似度。本发明将参数对象转化为JSON对象后通过自定义的忽略规则忽略部分字段的干扰能力，然后将JSON对象序列化为字符串，再利用字符串的相似度进行参数对象的对比。

Description

一种基于序列化相似度计算的数据对比方法

技术领域

本发明涉及数据对比技术领域，具体涉及一种基于序列化相似度计算的数据对比方法。

背景技术

在软件开发过程中，通常需要对两个接口(如HTTP接口、Dubbo接口、操作数据库接口和领域层接口等)的出入参进行自动化对比的场景。在流量回放场景中，经常需要对请求接口的入参和出参进行对比，从而判断流量回放的结果是否成功。针对回放失败时，部分场景也希望能获取到相似度较高的参数进行使用，从而保障后续流程能继续执行。

针对业务场景中请求接口的入参与出参一般情况都是一个复杂的参数对象，如可能包含List、Map、Set、基本数据类型和数组等类型字段，同时参数对象中可能还多层嵌套了各种业务自定的对象。因此，想要实现两个复杂参数对象是否一致的对比比较困难。

现有技术通常采用以下两种技术方案进行参数对象对比，使用JSON通过字段排序后序列化为JSON字符串，然后直接判断JSON字符串是否相等；或直接通过JAVA反射方式获取对应字段的值，然后直接对比字段的值是否相同。以上两种方式存在以下问题，不支持先忽略某些字段，然后再进行数据对比；反射方式实现数据对比时，性能不高，且容易出现不支持的异常场景；复杂对象数据对比，容易出现不成功问题；数据对比匹配失败时，无法获取相似度最高的对象。

发明内容

本发明要解决的技术问题是：提供一种基于序列化相似度计算的数据对比方法，解决现有复杂参数对象对比性能低、成功率低等技术问题。

为实现上述目的，本发明采用的技术方案如下：

一种基于序列化相似度计算的数据对比方法，包括以下步骤：

步骤1、将两个待对比的参数对象分别转为第一JSON对象和第二JSON对象；

步骤2、构建忽略规则，循环遍历忽略规则，将第一JSON对象和第二JSON对象中待忽略的字段的值设置为Null，分别得到第一预处理JSON对象和第二预处理JSON对象；

步骤3、将第一预处理JSON对象和第二预处理JSON对象分别序列化为第一字符串和第二字符串；

步骤4、计算出第一字符串改变为第二字符串所需的最小操作次数；

步骤5、根据第一字符串和第二字符串的字符串长度和最小操作次数，计算出第一字符串和第二字符串的相似度；

步骤6、判断相似度是否为100%，若为100%表示两个参数对象一致，反之则不一致。

进一步地，步骤2中，对于待忽略的非数组字段，将提示符和非数组字段的字段名称合并，构建一条忽略规则；对于待忽略的数组字段，将提示符、数组字段的字段名称、中括号合并，构建一条忽略规则；当中括号内存在数字且数字为N时，N为正整数，表示忽略当前数组字段下的第N个值，当中括号内不存在数字时，表示忽略当前数组字段下的所有值。

进一步地，步骤3中，采用Hessian序列化或JSON序列化将第一预处理JSON对象和第二预处理JSON对象分别序列化为第一字符串和第二字符串。

进一步地，步骤3还包括：分别对第一预处理JSON对象和第二预处理JSON对象所有参数名的英文按字母顺序、数字按从小到大进行排序，排序后再进行序列化。

进一步地，步骤4中，采用编辑距离算法计算出第一字符串改变为第二字符串所需的最小操作次数。

进一步地，步骤4中，最小操作次数的每次操作为修改1个字符。

进一步地，步骤5中，相似度S的计算公式为：

；

D表示第一字符串改变为第二字符串所需的最小操作次数，S1（L）、S2（L）分别表示第一字符串和第二字符串的字符串长度。

进一步地，还包括若相似度不为100%，判断是否需要获取相似度最高的两个参数对象进行返回，不需要则直接结束；需要则查找相似度最高的两个参数对象进行模拟，获取模拟结果并返回。

与现有技术相比，本发明具有以下有益效果：

本发明将参数对象转化为JSON对象后通过自定义的忽略规则忽略部分字段的干扰能力，然后将JSON对象序列化为字符串，再利用字符串的相似度进行参数对象的对比。除此之外，本发明还利用字符串的相似度解决异常场景下快速匹配出相似度最高的参数对象进行替换使用，从而解决异常场景直接被中断回放的问题。

附图说明

图1为本发明方法流程图。

具体实施方式

术语解释：

List 是一个有序集合，可以保存重复的元素。List 中的每个元素都有一个唯一的索引，可以通过索引来访问和修改元素。

Set 是一个不允许重复元素的无序集合。

Map 是一个键值对映射的集合。每个键只能对应一个值，但是不同的键可以对应相同的值。

Hessian是一个轻量级的序列化工具库，使用紧凑的二进制格式来序列化数据。

JSON（JavaScript Object Notation, JS对象简谱）是一种轻量级的数据交换格式。

JSON对象是指JAVA中使用JSON库来创建的一个Object对象，用来处理 JSON 格式数据。

Java Bean是一个普通的java类。

Null指一个特殊的值，用来表示变量不存在或者没有值。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于序列化相似度计算的数据对比方法，包括以下步骤：

本实施例中，步骤1中，将两个待对比的参数对象分别转为第一JSON对象和第二JSON对象，待对比的参数对象包含了各种基本类型、数组、List、Map、Set、多层嵌套的JavaBean对象等，JSON对象如JSONObject或JSONArray。

本实施例中，步骤2中，通过循环遍历构建的忽略规则，将第一JSON对象和第二JSON对象中待忽略的字段的值设置为Null，Null实现了忽略字段值的统一，从而不会干扰后续的数据对比结果。

作为优选，忽略规则统一以一个提示符开头，提示符仅作为输入命令的提示，它不是命令本身的一部分。对于待忽略的非数组字段，将提示符（例如$）、非数组字段的字段名称合并，构建一条忽略规则，如参数对象user中有一个Long类型的userId字段，如果需要忽略该字段的判断，则忽略规则的表达式为：$user.userId；对于待忽略的数组字段，将提示符（例如$）、数组字段的字段名称、中括号（[]）合并，构建一条忽略规则，如参数对象中有一个数组类型的roleCodes字段，如果需要忽略该字段的判断，则忽略规则的表达式为：$user.roleCodes[]；当中括号内存在数字且数字为N时，N为正整数，表示忽略当前数组字段下的第N个值，如$user.roleCodes[2]，表示忽略roleCodes字段下的第2个值；当中括号内不存在数字时，表示忽略当前数组字段下的所有值，如$user.roleCodes[]，表示忽略roleCodes字段下的所有值。

本实施例中，步骤3中，将第一预处理JSON对象和第二预处理JSON对象分别序列化为第一字符串和第二字符串，将两个复杂对象是否一致的对比转变成了两个字符串是否一致的对比。

作为优选，采用Hessian序列化或JSON序列化将第一预处理JSON对象和第二预处理JSON对象分别序列化为第一字符串S1和第二字符串S2。

本实施例中，步骤3还包括：分别对第一预处理JSON对象和第二预处理JSON对象所有参数名的英文按字母顺序、数字按从小到大进行排序，排序后再进行序列化。使用序列化时，因为参数的先后顺序都会影响到序列化后的结果字符串，如两个参数的顺序不一致，则会直接导致第一字符串S1和第二字符串S2后续计算的结果都有差异。因此，在序列化之前，先将所有参数名的英文按字母顺序、数字按从小到大进行排序，排序后再进行序列化，从而减少因顺序不一致导致结果的误差。

本实施例中，步骤4为计算出第一字符串改变为第二字符串所需的最小操作次数，最小操作次数也称为两个字符串之间的编辑距离。如果两个对象对应参数的值一样，那么序列化后的字符串也应相同。

作为优选，采用编辑距离算法（Levenshtein Distance）计算出第一字符串S1改变为第二字符串S2所需的最小操作次数。

作为优选，最小操作次数的每次操作为修改1个字符。

本实施例中，步骤5为根据第一字符串和第二字符串的字符串长度和最小操作次数，计算出第一字符串和第二字符串的相似度。步骤4中计算得到的最小操作次数表示的是第一字符串S1改变为第二字符串S2需要的最少操作字符的次数，而最大操作次数则为第一字符串S1和第二字符串S的字符串长度的最大值，为此根据第一字符串S1的字符串长度S1(L)、第二字符串S2的字符串长度S2(L)和最小操作次数计算两个字符串的相似度。

作为优选，相似度S的计算公式为：

；

D表示第一字符串S1改变为第二字符串S2所需的最小操作次数，S1(L)、S2(L)分别表示第一字符串S1和第二字符串S2的字符串长度。

相似度S为100%则表示两个对象的数据值完全一致，反之0%则表示两个对象的数据值完全不一致，即相似度S的值越高，则表示两个对象越相似。如果两个字符串完全一样，则最小操作次数D为0，则计算得到的相似度S=100%；反之两个字符串完全不相同，则最小操作次数D为第一字符串S1和第二字符串S的字符串长度的最大值，即最小操作次数D等于Max(S1(L),S2(L))，因此计算得到的相似度S=0%。

本实施例中，本发明还包括若相似度不为100%，判断是否需要获取相似度最高的两个参数对象进行返回，不需要则直接结束；需要则查找相似度最高的两个参数对象进行模拟（Mock），获取模拟结果并返回。

针对两个参数对象对比失败的场景，即相似度不为100%时，部分场景需要兼容失败的场景，即使对比失败，也希望能够获取相似度最好的参数对象，从而进行执行后续的流程。例如在流量回放场景中，针对同一个接口的两次请求参数（录制时的参数和回放时的参数）相似度不一致时，希望程序能自动获取相似度最高的参数对象作为使用，从而保障了程序不会因为一个点的差异而无法继续后续的回放点验证。因此，本发明根据上述计算得出的相似度S，将最近收录的请求出入参进行内存级缓存（如缓存最近10条记录）。在回放时发现参数不一致时，则根据接口地址获取与录制相似度S最高的一条记录作为临时方案进行选用，从而尽可能的保证了异常场景可自动修复使用的能力。

最后应说明的是：以上各实施例仅仅为本发明的较优实施例用以说明本发明的技术方案，而非对其限制，当然更不是限制本发明的专利范围；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围；也就是说，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内；另外，将本发明的技术方案直接或间接的运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于序列化相似度计算的数据对比方法，其特征在于，包括以下步骤：

步骤6、判断相似度是否为100%，若为100%表示两个参数对象一致，反之则不一致；

步骤2中，对于待忽略的非数组字段，将提示符和非数组字段的字段名称合并，构建一条忽略规则；对于待忽略的数组字段，将提示符、数组字段的字段名称、中括号合并，构建一条忽略规则；当中括号内存在数字且数字为N时，N为正整数，表示忽略当前数组字段下的第N个值，当中括号内不存在数字时，表示忽略当前数组字段下的所有值；

步骤3还包括：分别对第一预处理JSON对象和第二预处理JSON对象所有参数名的英文按字母顺序、数字按从小到大进行排序，排序后再进行序列化；

步骤3中，采用Hessian序列化或JSON序列化将第一预处理JSON对象和第二预处理JSON对象分别序列化为第一字符串和第二字符串；

步骤5中，相似度S的计算公式为：

；

2.根据权利要求1所述的一种基于序列化相似度计算的数据对比方法，其特征在于，步骤4中，采用编辑距离算法计算出第一字符串改变为第二字符串所需的最小操作次数。

3.根据权利要求1所述的一种基于序列化相似度计算的数据对比方法，其特征在于，步骤4中，最小操作次数的每次操作为修改1个字符。

4.根据权利要求1所述的一种基于序列化相似度计算的数据对比方法，其特征在于，还包括若相似度不为100%，判断是否需要获取相似度最高的两个参数对象进行返回，不需要则直接结束；需要则查找相似度最高的两个参数对象进行模拟，获取模拟结果并返回。