CN117078491A - 一种面向电网企业的电子证据鉴定方法、客户端及服务器 - Google Patents

一种面向电网企业的电子证据鉴定方法、客户端及服务器 Download PDF

Info

Publication number
CN117078491A
CN117078491A CN202310981630.0A CN202310981630A CN117078491A CN 117078491 A CN117078491 A CN 117078491A CN 202310981630 A CN202310981630 A CN 202310981630A CN 117078491 A CN117078491 A CN 117078491A
Authority
CN
China
Prior art keywords
image
blind watermark
electronic evidence
watermark information
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310981630.0A
Other languages
English (en)
Inventor
康洁滢
梁飞
雷明阳
赵丽花
舒一飞
杨珂
牛刚
高伟国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Blockchain Technology Beijing Co ltd
Marketing Service Center Of State Grid Ningxia Electric Power Co ltd Metering Center Of State Grid Ningxia Electric Power Co ltd
State Grid Ningxia Electric Power Co Ltd
Original Assignee
State Grid Blockchain Technology Beijing Co ltd
Marketing Service Center Of State Grid Ningxia Electric Power Co ltd Metering Center Of State Grid Ningxia Electric Power Co ltd
State Grid Ningxia Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Blockchain Technology Beijing Co ltd, Marketing Service Center Of State Grid Ningxia Electric Power Co ltd Metering Center Of State Grid Ningxia Electric Power Co ltd, State Grid Ningxia Electric Power Co Ltd filed Critical State Grid Blockchain Technology Beijing Co ltd
Priority to CN202310981630.0A priority Critical patent/CN117078491A/zh
Publication of CN117078491A publication Critical patent/CN117078491A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/3232—Robust embedding or watermarking

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Water Supply & Treatment (AREA)
  • Signal Processing (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种面向电网企业的电子证据鉴定方法、客户端及服务器，所述鉴定方法包括：客户端将第一电子证据图像通过编码器添加盲水印信息，得到第一盲水印图像；客户端将所述第一盲水印图像发送到服务器，以使服务器存储所述第一盲水印图像；服务器接收客户端发送的第二电子证据图像；服务器通过解码器对所述第二电子证据图像进行解码重建得到第二盲水印图像；服务器对比所述第二盲水印图像和预存的客户端发送的所述第一盲水印图像是否相同，以鉴定所述第二电子证据图像的真伪。本发明提高了盲水印的伪造难度，从而提高了盲水印的可靠性，使得盲水印信息难以被篡改或删除；将解码器限制在服务器端，保护了盲水印解码的机密性。

Description

一种面向电网企业的电子证据鉴定方法、客户端及服务器
技术领域
本发明涉及电子证据技术领域，尤其涉及一种面向电网企业的电子证据鉴定方法、客户端及服务器。
背景技术
随着数字内容的普及，电子证据保全和追溯成为重要的问题。与传统纸质证据不同，电子证据可以轻松地进行修改、删除或伪造。而且，由于电子证据的篡改是在数字层面上进行的，因此篡改后的电子证据看起来很真实，并且在很多情况下难以被识别和排除。随着电子证据在诉讼和法律案件中的重要性越来越高，电子证据保全也越来越重要。
同时，电子证据的数字内容往往具有复制、传播和转载等特点，在大多数情况很难确定电子证据的来源。在一定场景下，即使发现保密电子证据发生了泄露事件，也难以通过该证据对其泄露人进行追溯和定责。为了防止对于发生保密电子证据泄露时的司法纠纷等情况，对电子证据进行可信追溯也是相当重要的内容。
现有的电子证据加密技术，主要存在如下的问题：
1、依赖***操作日志：现有的电子证据溯源技术通常依赖***操作日志来进行溯源分析。然而，***操作日志可能不完整、丢失或被篡改，导致溯源的可靠性和准确性受到影响。
2、可伪造性：某些电子证据溯源技术在图像或文件中嵌入水印信息，但这些水印信息可能受到恶意用户的篡改或删除。这意味着攻击者可以伪造水印信息，使得溯源结果失真或无法追溯到真实的源头。
3、信息篡改：如果水印信息不加密或不受保护，攻击者可以修改或删除水印信息，从而破坏溯源过程的可靠性和完整性。
4、隐私问题：电子证据溯源技术可能会涉及用户的个人信息、设备信息和其他敏感数据。如果这些信息不被妥善保护，可能会对用户的隐私造成威胁。
发明内容
本发明实施例提供一种面向电网企业的电子证据鉴定方法、客户端及服务器，以解决现有技术对电子证据图像进行加密存在溯源不可靠、易被伪造、篡改及泄露隐私的问题。
第一方面，提供一种面向电网企业的电子证据鉴定方法，用于客户端，所述鉴定方法包括：
将第一电子证据图像通过编码器添加盲水印信息，得到第一盲水印图像；
将所述第一盲水印图像发送到服务器，以使所述服务器存储所述第一盲水印图像，其中，所述第一盲水印图像用于对所述服务器接收的第二电子证据图像进行真伪鉴定；
其中，所述编码器包括：盲水印信息编码模块、区域感知的注意力权重模块、第一融合模块和盲水印图像生成模块，则所述将第一电子证据图像通过编码器添加盲水印信息的步骤包括：
将表征盲水印信息的向量输入所述盲水印信息编码模块，使所述盲水印信息编码模块输出表征盲水印信息的固定长度的编码向量；
将所述第一电子证据图像输入所述区域感知的注意力权重模块，使所述注意力权重模块输出区域感知特征图像；
将所述表征盲水印信息的固定长度的编码向量与所述区域感知特征图像输入所述第一融合模块进行融合，使所述第一融合模块输出融合特征向量；
将所述融合特征向量输入所述盲水印图像生成模块，使所述盲水印图像生成模块输出所述第一盲水印图像。
第二方面，提供一种用于实现如第一方面实施例所述的面向电网企业的电子证据鉴定方法的客户端。
第三方面，提供一种面向电网企业的电子证据鉴定方法，用于服务器，所述鉴定方法包括：
接收客户端发送的第二电子证据图像；
通过解码器对所述第二电子证据图像进行解码重建得到第二盲水印图像；
对比所述第二盲水印图像和预存的所述客户端发送的第一盲水印图像是否相同，以鉴定所述第二电子证据图像的真伪，其中，所述第一盲水印图像为所述客户端将第一电子证据图像通过编码器添加盲水印信息得到；
其中，所述解码器包括：第一特征提取模块、注意力引导模块和特征重建模块，则所述通过解码器对所述第二电子证据图像进行解码重建得到第二盲水印图像的步骤，包括：
将所述第二电子证据图像输入所述第一特征提取模块，使所述第一特征提取模块输出第一中间特征图像，其中，所述第一特征提取模块包括：多个依次连接的特征提取单元；
将所述第一中间特征图像和所述客户端的编码器中的注意力权重模块中的注意力单元输出的所述第一电子证据图像上已预先标注的每一边界框的注意力权重向量输入所述注意力引导模块，使所述第一中间特征图像与所述注意力权重向量进行逐元素相乘后输出每一所述边界框的加权特征图像；
将每一所述边界框的加权特征图像输入所述特征重建模块，使所述特征重建模块解码每一所述加权特征图像的盲水印信息后并利用解码得到的盲水印信息重建图像，输出所述第二盲水印图像。
第四方面，提供一种用于实现如第三方面实施例所述的面向电网企业的电子证据鉴定方法的服务器。
第五方面，提供一种面向电网企业的电子证据鉴定方法，包括：
客户端将第一电子证据图像通过编码器添加盲水印信息，得到第一盲水印图像；
客户端将所述第一盲水印图像发送到服务器，以使服务器存储所述第一盲水印图像；
服务器接收客户端发送的第二电子证据图像；
服务器通过解码器对所述第二电子证据图像进行解码重建得到第二盲水印图像；
服务器对比所述第二盲水印图像和预存的客户端发送的所述第一盲水印图像是否相同，以鉴定所述第二电子证据图像的真伪。
这样，本发明实施例，提高了盲水印的伪造难度，从而提高了盲水印的可靠性，使得盲水印信息难以被篡改或删除；具有强大的鲁棒性，提高对图像失真和干扰的容忍能力，即使图像经过一定程度的失真或篡改，仍然能够被有效地提取和解码盲水印信息；将解码器限制在服务器端，保护了模型的安全性，降低了模型泄露的风险，从而保护了盲水印解码的机密性；通过对盲水印信息的加密和隐藏，保护了用户个人信息和其他敏感数据的隐私，确保只有授权人员能够解读和使用盲水印信息，增强了隐私保护的能力。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一的面向电网企业的电子证据鉴定方法的流程图；
图2是本发明实施例的编码器的结构示意图；
图3是本发明实施例三的面向电网企业的电子证据鉴定方法的流程图；
图4是本发明实施例的辨别器的结构示意图；
图5是本发明实施例五的面向电网企业的电子证据鉴定方法的流程图；
图6是本发明实施例五的面向电网企业的电子证据鉴定方法的原理图；
图7是本发明实施例的GAN模型整体结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
实施例一
本发明实施例一公开了一种面向电网企业的电子证据鉴定方法。该方法用于客户端。客户端可以是任何可信终端设备。如图1所示，本发明实施例的方法包括如下的步骤：
步骤S101：将第一电子证据图像通过编码器添加盲水印信息，得到第一盲水印图像。
具体的，盲水印信息包括如下的至少一种：用户信息、设备信息、日期时间和IP地址等。盲水印信息为用于验证身份的信息，从而可用于鉴定电子证据图像的真伪和和信息溯源，且盲水印人眼不可察觉，增加了证据篡改难度。
应当理解的是，本发明实施例所述的“第一”、“第二”……，仅用于区分，不具有实际意义。
步骤S102：将第一盲水印图像发送到服务器，以使服务器存储第一盲水印图像。
其中，第一盲水印图像用于对所述服务器接收的第二电子证据图像进行真伪鉴定。
具体的，如图2所示，编码器包括：盲水印信息编码模块、区域感知的注意力权重模块、第一融合模块和盲水印图像生成模块，则步骤S101具体包括如下的过程：
1、将表征盲水印信息的向量输入盲水印信息编码模块，使盲水印信息编码模块输出表征盲水印信息的固定长度的编码向量。
设Min表示通过编码器添加的盲水印信息的向量，盲水印信息编码模块采用编码函数Enc()，编码向量通过W_enc表示，则该步骤可用如下公式表示：
M_enc＝Enc(Min)。
2、将第一电子证据图像输入区域感知的注意力权重模块，使注意力权重模块输出区域感知特征图像。
具体的，区域感知的注意力权重模块包括：卷积神经网络、注意力单元、加权单元和最大池化单元，则输出区域感知特征图像的步骤，包括：
(1)将第一电子证据图像输入卷积神经网络进行特征提取，使卷积神经网络输出提取的初始特征向量。
以F_cnn表示该初始特征向量，F_cnn是一个三维张量，形状为(H_c,W_c,C_c)。其中，H_c表示该初始特征向量的高度，W_c表示该初始特征向量的宽度，C_c表示通道数，它们分别代表了该初始特征向量在空间维度上的尺寸和在通道维度上的深度。卷积神经网络采用常规的卷积神经网络即可。例如，卷积神经网络包括：两个第三特征提取模块，每一个第三特征提取模块包括依次连接的卷积层、批量规一化层和RELU激活函数层。
(2)将初始特征向量，已预先标注至少一个边界框的第一电子证据图像，以及，每一边界框的类别标签，输入注意力单元，以使注意力单元依据辨识的边界框的位置信息从初始特征向量提取特征区域，并结合边界框的类别进行重要性区分，输出每一边界框的注意力权重向量。
当边界(bounding)框有不同的类别时，可以通过引入多通道的注意力机制来区分不同类别的重要性，从而更好地感知电子证据图像中不同类别的关键要素。注意力单元处理时，可辨识第一电子证据图像上的边界框的位置信息，以进行相应的处理。该步骤可用如下的公式表示：
alpha_i＝AttentionModule(F_cnn,B_i,C_i,θ_attention)。
其中，alpha_i表示第i个边界框的注意力权重向量，AttentionModule表示注意力单元，注意力单元可以是常规的卷积神经网络CNN或全连接层，用于计算边界框的注意力权重，B_i表示第i个边界框的位置信息，C_i表示第i个边界框的类别标签，θ_attention表示神经网络模型的训练参数，可根据经验设置。
(3)将每一边界框的注意力权重向量与初始特征向量输入加权单元，使加权单元对每一边界框的注意力权重向量与初始特征向量进行相乘后输出每一边界框的加权特征向量。
以F_attention_i表示第i个边界框的加权特征向量，则该过程具体可用如下的公式表示：
F_attention_i＝F_cnn*alpha_i。
(4)将每一边界框的加权特征向量输入最大池化单元，使最大池化单元进行最大池化处理后输出区域感知特征图像。
通过该步骤对每一边界框的加权特征向量进行汇总整合，按加权特征向量的通道维度进行最大池化处理，输出区域感知特征图像，以F_attention表示。
通过上述的步骤，获得了关注边界框的区域感知特征图像F_attention。为了表达特征的重要性，使用注意力权重alpha，其形状与F_attention一致，用于指导对关键要素的关注程度。
3、将表征盲水印信息的固定长度的编码向量与区域感知特征图像输入第一融合模块进行融合，使第一融合模块输出融合特征向量。
将表征盲水印信息的固定长度的编码向量M_enc与区域感知特征图像F_attention进行融合。
其中，融合模块的具体结构可以包含以下层组合：
(1)全连接层：将M_enc和F_attention通过全连接层连接，用于学习它们之间的关系和权重。
(2)池化层：对全连接层连接后的特征进行池化操作，以进一步压缩特征的维度。
(3)卷积层：可以在池化操作后的特征上应用卷积操作，以提取更高级的特征表示。
这样的第一融合模块将允许编码向量M_enc和区域感知特征图像F_attention之间的有效交互，从而更好地将盲水印信息嵌入到关键要素所在的区域，并提高水印的可见性和鲁棒性，得到盲水印注入的融合特征向量，表示为F_wm，则该过程可用如下的公式表示：
F_wm＝Fusion(W_enc,F_attention)。
其中，Fusion()表示融合操作。
4、将融合特征向量输入盲水印图像生成模块，使盲水印图像生成模块输出第一盲水印图像。
盲水印图像生成模块采用GAN网络，由盲水印图像生成模块G_gen将融合特征向量F_wm转换为第一盲水印图像X_wm，具体可用如下的公式表示：
X_wm＝G_gen(F_wm)。
综上，上述过程整体可用如下的公式表示：
Y＝D(X,M)。
其中，Y表示第一盲水印图像，X表示第一电子证据图像，M表示盲水印信息，D表示编码器。
通过上述的步骤，实现了将区域感知的注意力机制与编码器和电子证据特征结合起来，生成带有盲水印的电子证据图像。盲水印信息被精确地注入到关键要素所在的区域，提高了盲水印的可见性和鲁棒性。此外，通过编码器对盲水印信息进行加密和隐藏，使盲水印信息可以被加密并嵌入到图像中，使其难以被篡改或删除。
实施例二
本发明实施例二公开了一种用于实现如实施例一所述的面向电网企业的电子证据鉴定方法的客户端。该客户端包括编码器，在此不再赘述。
实施例三
本发明实施例三公开了一种面向电网企业的电子证据鉴定方法。该方法用于服务器。如图3所示，该方法具体包括如下的步骤：
步骤S301：接收客户端发送的第二电子证据图像。
步骤S302：通过解码器对第二电子证据图像进行解码重建得到第二盲水印图像。
步骤S303：对比第二盲水印图像和预存的客户端发送的第一盲水印图像是否相同，以鉴定第二电子证据图像的真伪。
其中，第一盲水印图像为客户端将第一电子证据图像通过编码器添加盲水印信息得到。
解码器使用深度学习框架(如PyTorch或TensorFlow)进行搭建，具体的，解码器包括：第一特征提取模块、注意力引导模块和特征重建模块，则步骤S302具体包括如下的过程：
1、将第二电子证据图像输入第一特征提取模块，使第一特征提取模块输出第一中间特征图像。
第一特征提取模块可包括：多个依次连接的特征提取单元，每一特征提取单元包括依次连接的卷积层、批量规一化层和RELU激活函数层。
2、将第一中间特征图像和客户端的编码器中的注意力权重模块中的注意力单元输出的第一电子证据图像上已预先标注的每一边界框的注意力权重向量输入注意力引导模块，使第一中间特征图像与注意力权重向量进行逐元素相乘后输出每一边界框的加权特征图像。
该步骤可用如下的公式表示：
其中，Fmid表示第一中间特征图像，表示逐元素相乘操作，Fweighted表示经过注意力引导后的加权特征图像。
在解码器中引入注意力引导模块。该模块的输入包括由编码器的注意力机制生成的注意力权重向量和第一中间特征图像。注意力权重向量用于指导解码器对重要特征的关注程度。这样的操作将使解码器更集中地关注编码器认为重要的特征区域，从而提高水印信息的解码效果。
3、将每一边界框的加权特征图像输入特征重建模块，使特征重建模块解码每一加权特征图像的盲水印信息后并利用解码得到的盲水印信息重建图像，输出第二盲水印图像。
上述的解码器的解码处理过程可以用如下的公式表示：
Mout＝Decoder(Fmid，alpha_i)
其中，Decoder(·)表示注意力引导的解码器。
特征重建模块包括：依次连接上采样层、卷积层和激活函数层(可以是ReLu激活函数)，则解码重建的过程依次包括：上采样、卷积和激活函数处理，以逐步还原盲水印信息。
步骤S303中对比图像是否相同可以采用现有技术公知的方式，例如，王、波维克、谢赫、西蒙切利(2004)发表的《图像质量评估：从误差可见性到结构相似性》论文中的方法。
鉴定结果有如下两种情况：
(1)当第二盲水印图像和第一盲水印图像相同，则鉴定第二电子证据图像为真，即第二电子证据图像就是第一电子证据图像。
(2)当第二盲水印图像和第一盲水印图像不相同，则鉴定第二电子证据图像为假。
通过上述的描述，整体的解码过程如下：
在客户端完成电子证据上传之后，服务器通过与水印注入流程中编码器D所配对的解码器E对电子证据Y进行解码获得盲水印信息M。之后，服务器可以结合存储的含盲水印信息的图像对该电子证据进行校验以鉴定该电子证据是否真实可信。水印解码公式如下：
M＝E(Y)。
通过上述的步骤，设计的解码器具有强大的鲁棒性，提高对图像失真和干扰的容忍能力，即使图像经过一定程度的失真或篡改，仍然能够被有效地提取和解码盲水印信息；将解码器限制在服务器端，保护了模型的安全性，降低了模型泄露的风险，从而保护了盲水印解码的机密性。
实施例四
本发明实施例四还公开了一种用于实现如实施例三所述的面向电网企业的电子证据鉴定方法的客户端。该客户端包括：解码器，在此不再赘述。
实施例五
本发明实施例五还公开了一种面向电网企业的电子证据鉴定方法。该方法用于客户端和服务器。
具体的，如图5和6所示，该方法包括如下的步骤：
步骤S501：客户端将第一电子证据图像通过编码器添加盲水印信息，得到第一盲水印图像。
步骤S502：客户端将第一盲水印图像发送到服务器，以使服务器存储第一盲水印图像。
步骤S503：服务器接收客户端发送的第二电子证据图像。
步骤S504：服务器通过解码器对第二电子证据图像进行解码重建得到第二盲水印图像。
步骤S505：服务器对比第二盲水印图像和预存的客户端发送的第一盲水印图像是否相同，以鉴定第二电子证据图像的真伪。
编码器和解码器是通过GAN架构训练的配对的深度学习模型。该GAN模型主要包括生成器和对抗器两个模块。其中生成器部分包含编码器和解码器，对抗器部分包含判别器和噪音器。生成器模块和对抗器模块互相对抗并优化模型。该GAN模型整体架构如图7所示。
优选的，步骤S503之后，本发明实施例五的方法还包括：
1、服务器通过判别器对第二电子证据图像是否含有盲水印信息进行判别。
2、若判别出第二电子证据图像含有盲水印信息，则服务器将第二电子证据图像输入到解码器。
面向电网企业的生产场景，现场采集的图像可能时常包含许多复杂场景，因此会降低判别器的感知能力，本发明实施例采用多尺度特征判别器的目标是提高对图像中盲水印信息的感知能力，从而更好地判断这类复杂的图像是否带有盲水印。具体实现多尺度特征判别器的方式是在判别器中添加多个不同尺度的特征提取模块，每个模块负责提取图像在不同尺度上的特征。这样，判别器可以综合考虑图像的细节和整体特征，提高对水印的检测准确性。
具体的，如图4所示，该判别器包括：多个第二特征提取模块、第二融合模块、全局池化模块和线性输出模块，则通过判别器对第二电子证据图像是否含有盲水印信息进行判别的步骤，包括：
(1)将第二电子证据图像输入每一第二特征提取模块，使每一第二特征提取模块提取不同尺度的特征后输出每一第二中间特征图像。
每个第二特征模块负责在不同尺度上提取图像特征。具体通过使用不同大小的卷积核或不同大小的池化操作来实现多尺度特征提取，例如，四个卷积层或四个池化层。多个第二特征提取模块并行处理不同尺度特征，这样，每个第二特征提取模块都能获得图像在不同尺度上的特征表示。
(2)将每一第二中间特征图像输入第二融合模块进行融合后输出融合特征图像。
具体的，可以使用常规的加权求和、拼接或其他融合策略来融合特征。例如，本发明实施例通过拼接进行融合。融合特征图像将包含来自不同尺度的信息，使得判别器能够更全面地分析图像。
(3)将融合特征图像输入全局池化模块进行全局平均池化操作使融合特征图像的高度和宽度的维度压缩为1后输出固定维度的特征向量。
这样可以得到一个全局的特征向量，将图像的整体信息融合到一个固定维度的向量中。
(4)将特征向量输入线性输出模块处理后输出第二电子证据图像具有盲水印信息的概率。
其中，线性输出模块包括：线性层和激活函数层。激活函数层使用sigmoid激活函数。
这样，将全局平均池化后的特征向量输入到一个线性层中，输出一个标量，表示图像带有水印的概率。通常使用sigmoid激活函数将输出值映射到0到1之间，表示概率值。
(5)当第二电子证据图像具有盲水印信息的概率大于预设概率阈值，则确定第二电子证据图像具有盲水印信息。
该预设概率阈值可根据经验设置。
通过上述的描述，整体的多尺度特征判别器的公式如下：
输入第二电子证据图像I，经过多个第二特征提取模块提取多尺度特征后，得到第二中间特征图像F1，F2，...，Fn。然后对这些特征图像进行融合，得到融合特征图像F_fused。对F_fused进行全局平均池化得到全局特征向量V，然后将V输入到线性层得到输出标量O，通过sigmoid激活函数将O映射到0到1之间得到图像带有盲水印信息的概率D(x)。
通过设置判别器，可以提高对盲水印的感知能力，使能够更全面地分析图像并更准确地判断图像是否带有盲水印，可以增强***的性能和鲁棒性。
优选的，本发明实施例三的步骤还包括：
预先训练判别器。
其中，训练判别器采用的损失函数包括：
Ld(X,Y)＝log(1-D(X))+log(D(Y))。
其中，Ld(X,Y)表示训练判别器采用的损失函数，D(X)表示判别器对第一电子证据图像进行判别得到的具有盲水印信息的概率。这个值代表判别器认为图像X带有盲水印的置信度。D(Y)表示判别器对第一盲水印图像进行判别得到的具有盲水印信息的概率。这个值代表判别器认为图像Y带有水印的置信度。D(X)和D(Y)均是一个介于0和1之间的实数。
优选的，本发明实施例五还包括如下的步骤：
预先训练编码器和解码器。
编码器和解码器是通过GAN架构训练的配对的深度学习模型。具体的，训练编码器和解码器采用的损失函数如下：
Loss＝θmLm+θxyLxy+θgLg。
其中，Loss表示训练编码器和解码器采用的损失函数，Lm表示第一损失函数，Lxy表示第二损失函数，Lg表示第三损失函数，θm表示第一系数，θxy表示第二系数，θg表示第三系数。
具体的，第一损失函数表示解码器解码得到的盲水印信息和原始的盲水印信息的相似度，定义为基于L2距离计算长度均为L的原始的盲水印信息Min和解码器解码的盲水印信息Mout的逐位相似性，第一损失函数的公式具体如下：
其中，Min表示通过编码器添加的盲水印信息的向量，Mout表示通过解码器解码的盲水印信息的向量，L表示通过编码器添加的盲水印信息的向量的长度。
具体的，第二损失函数表示编码器生成的第一盲水印图像Y和第一电子证据图像X的相似度，定义为第一电子证据图像X和第一盲水印图像Y基于约束掩码G的逐像素相似性运算。第二损失函数的公式具体如下：
其中，G表示预先定义的约束掩码矩阵，ε表示约束代价，X表示第一电子证据图像，Y表示第一盲水印图像，C、W、H分别表示第一电子证据图像的通道数、宽度和高度。
由于编码器通过带有约束掩码损失函数进行优化，编码器会强制着重对特定区域进行盲水印信息编码，所以大大增加了对盲水印信息进行伪造或篡改的难度，提高了盲水印的安全性和可信度。
具体的，第三损失函数用于保证编码器生成的第一盲水印图像和第一电子证据图像的视觉相似性。第三损失函数的公式具体如下：
Lg(X)＝log(1-D(X))，D(X)表示判别器对第一电子证据图像进行判别得到的具有盲水印信息的概率。
这样，训练编码器和解码器采用的损失函数，定义为以上三个损失函数经过各自的θ系数的加权求和，得到该损失函数。
优选的，上述任一种训练采用的图像为通过噪音器采用至少一种不同强度或权重的噪音处理方式处理后得到的图像，其中，噪音处理方式包括：裁切、切片、高斯模糊、翻转、压缩。其具体如下：
1、裁切指的是：用于将原始大小为H×W的图像裁切为新的大小H′×W′。
2、切片指的是：随机从原始图像中选取大小为H″×W″的区域，将除了该区域以外的图像复原为原始图像。
3、高斯模糊指的是：通过高斯核对原始图像进行模糊处理。
4、翻转指的是：对原始图像进行水平或垂直翻转。
5、压缩指的是：通过JPEG压缩算法对图像进行压缩。
在上述的多融合-组合的噪音器的设计中，可以将多种噪音类型进行组合和融合，形成更加复杂的噪音模式。假设有n种不同的噪音类型，分别为噪音1、噪音2、...、噪音n，它们的参数分别为p1、p2、...、pn。
对于输入图像I，经过多融合-组合的噪音器的处理后，生成的带有组合噪音的图像为I'，其计算过程如下：
I'＝N(I,p1)+N(I,p2)+...+N(I,pn)。
其中，N(I,pi)表示对输入图像I添加第i种噪音，参数为pi，可以根据需要选择不同种类的噪音，也可以控制每种噪音的强度和组合方式。例如，可以通过调整pi的值来控制不同噪音的强度，或者使用权重来控制不同噪音的贡献程度。通过多种噪音的组合和融合，可以增加噪音的多样性，提高***对不同噪音场景的适应能力，能够更好地应对图像失真和干扰，从而增强编码器、解码器和辨别器的鲁棒性和稳定性。
综上，本发明实施例，提高了盲水印的伪造难度，从而提高了盲水印的可靠性，使得盲水印信息难以被篡改或删除；具有强大的鲁棒性，提高对图像失真和干扰的容忍能力，即使图像经过一定程度的失真或篡改，仍然能够被有效地提取和解码盲水印信息；将解码器限制在服务器端，保护了模型的安全性，降低了模型泄露的风险，从而保护了盲水印解码的机密性；通过对盲水印信息的加密和隐藏，保护了用户个人信息和其他敏感数据的隐私，确保只有授权人员能够解读和使用盲水印信息，增强了隐私保护的能力。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种面向电网企业的电子证据鉴定方法，其特征在于，用于客户端，所述鉴定方法包括：
将第一电子证据图像通过编码器添加盲水印信息，得到第一盲水印图像；
将所述第一盲水印图像发送到服务器，以使所述服务器存储所述第一盲水印图像，其中，所述第一盲水印图像用于对所述服务器接收的第二电子证据图像进行真伪鉴定；
其中，所述编码器包括：盲水印信息编码模块、区域感知的注意力权重模块、第一融合模块和盲水印图像生成模块，则所述将第一电子证据图像通过编码器添加盲水印信息的步骤包括：
将表征盲水印信息的向量输入所述盲水印信息编码模块，使所述盲水印信息编码模块输出表征盲水印信息的固定长度的编码向量；
将所述第一电子证据图像输入所述区域感知的注意力权重模块，使所述注意力权重模块输出区域感知特征图像；
将所述表征盲水印信息的固定长度的编码向量与所述区域感知特征图像输入所述第一融合模块进行融合，使所述第一融合模块输出融合特征向量；
将所述融合特征向量输入所述盲水印图像生成模块，使所述盲水印图像生成模块输出所述第一盲水印图像。
2.根据权利要求1所述的面向电网企业的电子证据鉴定方法，其特征在于，所述区域感知的注意力权重模块包括：卷积神经网络、注意力单元、加权单元和最大池化单元，则所述输出区域感知特征图像的步骤，包括：
将所述第一电子证据图像输入卷积神经网络进行特征提取，使所述卷积神经网络输出提取的初始特征向量；
将所述初始特征向量，已预先标注至少一个边界框的所述第一电子证据图像，以及，每一所述边界框的类别标签，输入所述注意力单元，以使所述注意力单元依据辨识的所述边界框的位置信息从所述初始特征向量提取特征区域，并结合所述边界框的类别进行重要性区分，输出每一所述边界框的注意力权重向量；
将每一所述边界框的注意力权重向量与所述初始特征向量输入所述加权单元，使所述加权单元对每一所述边界框的注意力权重向量与所述初始特征向量进行相乘后输出每一所述边界框的加权特征向量；
将每一所述边界框的加权特征向量输入所述最大池化单元，使所述最大池化单元进行最大池化处理后输出所述区域感知特征图像。
3.一种用于实现如权利要求1～2任一项所述的面向电网企业的电子证据鉴定方法的客户端。
4.一种面向电网企业的电子证据鉴定方法，其特征在于，用于服务器，所述鉴定方法包括：
接收客户端发送的第二电子证据图像；
通过解码器对所述第二电子证据图像进行解码重建得到第二盲水印图像；
对比所述第二盲水印图像和预存的所述客户端发送的第一盲水印图像是否相同，以鉴定所述第二电子证据图像的真伪，其中，所述第一盲水印图像为所述客户端将第一电子证据图像通过编码器添加盲水印信息得到；
其中，所述解码器包括：第一特征提取模块、注意力引导模块和特征重建模块，则所述通过解码器对所述第二电子证据图像进行解码重建得到第二盲水印图像的步骤，包括：
将所述第二电子证据图像输入所述第一特征提取模块，使所述第一特征提取模块输出第一中间特征图像，其中，所述第一特征提取模块包括：多个依次连接的特征提取单元；
将所述第一中间特征图像和所述客户端的编码器中的注意力权重模块中的注意力单元输出的所述第一电子证据图像上已预先标注的每一边界框的注意力权重向量输入所述注意力引导模块，使所述第一中间特征图像与所述注意力权重向量进行逐元素相乘后输出每一所述边界框的加权特征图像；
将每一所述边界框的加权特征图像输入所述特征重建模块，使所述特征重建模块解码每一所述加权特征图像的盲水印信息后并利用解码得到的盲水印信息重建图像，输出所述第二盲水印图像。
5.一种用于实现如权利要求4所述的面向电网企业的电子证据鉴定方法的服务器。
6.一种面向电网企业的电子证据鉴定方法，其特征在于，包括：
客户端将第一电子证据图像通过编码器添加盲水印信息，得到第一盲水印图像；
客户端将所述第一盲水印图像发送到服务器，以使服务器存储所述第一盲水印图像；
服务器接收客户端发送的第二电子证据图像；
服务器通过解码器对所述第二电子证据图像进行解码重建得到第二盲水印图像；
服务器对比所述第二盲水印图像和预存的客户端发送的所述第一盲水印图像是否相同，以鉴定所述第二电子证据图像的真伪。
7.根据权利要求6所述的面向电网企业的电子证据鉴定方法，其特征在于，所述服务器接收客户端发送的第二电子证据图像的步骤之后，所述方法还包括：
所述服务器通过判别器对所述第二电子证据图像是否含有盲水印信息进行判别；
若判别出所述第二电子证据图像含有盲水印信息，则所述服务器将所述第二电子证据图像输入到所述解码器；
其中，所述判别器包括：多个第二特征提取模块、第二融合模块、全局池化模块和线性输出模块，则所述判别器对所述第二电子证据图像是否含有盲水印信息进行判别的步骤，包括：
将所述第二电子证据图像输入每一所述第二特征提取模块，使每一所述第二特征提取模块提取不同尺度的特征后输出每一第二中间特征图像；
将每一所述第二中间特征图像输入所述第二融合模块进行融合后输出融合特征图像；
将所述融合特征图像输入所述全局池化模块进行全局平均池化操作使所述融合特征图像的高度和宽度的维度压缩为1后输出固定维度的特征向量；
将所述特征向量输入所述线性输出模块处理后输出所述第二电子证据图像具有盲水印信息的概率；
当所述第二电子证据图像具有盲水印信息的概率大于预设概率阈值，则确定所述第二电子证据图像具有盲水印信息。
8.根据权利要求7所述的面向电网企业的电子证据鉴定方法，其特征在于，还包括：预先训练所述判别器，其中，训练所述判别器采用的损失函数包括：
Ld(X,Y)＝log(1-D(X))+log(D(Y))；
其中，Ld(X,Y)表示训练所述判别器采用的损失函数，D(X)表示所述判别器对所述第一电子证据图像进行判别得到的具有盲水印信息的概率，D(Y)表示所述判别器对所述第一盲水印图像进行判别得到的具有盲水印信息的概率。
9.根据权利要求8所述的面向电网企业的电子证据鉴定方法，其特征在于，还包括：预先训练所述编码器和所述解码器，其中，训练所述编码器和所述解码器采用的损失函数包括：
Loss＝θmLm+θxyLxy+θgLg；
其中，Loss表示训练所述编码器和所述解码器采用的损失函数，Lm表示第一损失函数，Lxy表示第二损失函数，Lg表示第三损失函数，θm表示第一系数，θxy表示第二系数，θg表示第三系数；
其中，Min表示通过编码器添加的盲水印信息的向量，Mout表示通过解码器解码的盲水印信息的向量，L表示通过编码器添加的盲水印信息的向量的长度；
其中，G∈{ε,1}C×W×H，G表示预先定义的约束掩码矩阵，ε表示约束代价，X表示第一电子证据图像，Y表示第一盲水印图像，C、W、H分别表示第一电子证据图像的通道数、宽度和高度；
其中，Lg(X)＝log(1-D(X))。
10.根据权利要求8或9所述的面向电网企业的电子证据鉴定方法，其特征在于：训练采用的图像为通过噪音器采用至少一种不同强度或权重的噪音处理方式处理后得到的图像，其中，所述噪音处理方式包括：裁切、切片、高斯模糊、翻转、压缩。
CN202310981630.0A 2023-08-04 2023-08-04 一种面向电网企业的电子证据鉴定方法、客户端及服务器 Pending CN117078491A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310981630.0A CN117078491A (zh) 2023-08-04 2023-08-04 一种面向电网企业的电子证据鉴定方法、客户端及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310981630.0A CN117078491A (zh) 2023-08-04 2023-08-04 一种面向电网企业的电子证据鉴定方法、客户端及服务器

Publications (1)

Publication Number Publication Date
CN117078491A true CN117078491A (zh) 2023-11-17

Family

ID=88716290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310981630.0A Pending CN117078491A (zh) 2023-08-04 2023-08-04 一种面向电网企业的电子证据鉴定方法、客户端及服务器

Country Status (1)

Country Link
CN (1) CN117078491A (zh)

Similar Documents

Publication Publication Date Title
Chen et al. A fuzzy c-means clustering-based fragile watermarking scheme for image authentication
Swaminathan et al. Robust and secure image hashing
Bartolini et al. Image authentication techniques for surveillance applications
Wang et al. Data hiding with deep learning: A survey unifying digital watermarking and steganography
Barani et al. A new digital image tamper detection algorithm based on integer wavelet transform and secured by encrypted authentication sequence with 3D quantum map
CN104616244A (zh) 基于bp神经网络压缩域的图像水印嵌入与提取方法
Veni et al. Digital image watermark embedding and extraction using oppositional fruit Fly algorithm
Hu et al. A spatial image steganography method based on nonnegative matrix factorization
Siddiqi et al. Image Splicing‐Based Forgery Detection Using Discrete Wavelet Transform and Edge Weighted Local Binary Patterns
CN114998080B (zh) 人脸防篡改水印生成方法、篡改检测方法及属性检测方法
CN117474741B (zh) 一种基于人脸关键点水印的主动防御检测方法
Alkhowaiter et al. Evaluating perceptual hashing algorithms in detecting image manipulation over social media platforms
CN114078071A (zh) 图像溯源方法、装置及介质
CN117314713A (zh) 一种基于数字水印的证照防伪数据处理方法
Jabbar et al. Digital watermarking by utilizing the properties of self-organization map based on least significant bit and most significant bit
Blue et al. Identity document authentication using steganographic techniques: the challenges of noise
CN117078491A (zh) 一种面向电网企业的电子证据鉴定方法、客户端及服务器
El-Bendary et al. An efficient hidden marking approach for forensic and contents verification of digital images
Zhong et al. Deep Learning based Image Watermarking: A Brief Survey
Raj et al. Security analysis of hash based fragile watermarking scheme for image integrity
Essaidani et al. Asynchronous Invariant Digital Image Watermarking in Radon Field for Resistant Encrypted Watermark.
Dadkhah et al. Efficient image authentication and tamper localization algorithm using active watermarking
Alkhafaji et al. Tamper detection and localization for Quranic text watermarking scheme based on hybrid technique
Kaur et al. Analyzing Different Digital Image Authentication Methods
CN113705806B (zh) 用于数字水印的网络训练、编码和解码方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination