CN112150337B - 图像处理方法、装置以及电子设备 - Google Patents
图像处理方法、装置以及电子设备 Download PDFInfo
- Publication number
- CN112150337B CN112150337B CN201910576589.2A CN201910576589A CN112150337B CN 112150337 B CN112150337 B CN 112150337B CN 201910576589 A CN201910576589 A CN 201910576589A CN 112150337 B CN112150337 B CN 112150337B
- Authority
- CN
- China
- Prior art keywords
- information
- semantic
- watermark
- counterfeiting
- recognition result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000003062 neural network model Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000012795 verification Methods 0.000 claims description 35
- 238000013507 mapping Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 238000012800 visualization Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011049 filling Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0065—Extraction of an embedded watermark; Reliable detection
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
Abstract
公开了一种图像处理方法、装置以及电子设备,图像处理方法包括:将原始图像输入神经网络模型,通过所述神经网络模型确定所述原始图像中的像素点对应的语义信息,得到所述原始图像的语义识别结果;将预设的水印信息添加到所述语义识别结果中,所述防伪信息用于确认所述神经网络模型是否合法。本申请能够在不影响神经网络模型的精度和性能的前提下,方便地鉴别出神经网络模型是否被非法使用。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法、装置以及电子设备。
背景技术
像素级语义识别对环境具有更为细致的感知能力,因而被广泛应用于自动驾驶的车道线检测、文本检测、以及人体的部件检测等领域。然而在应用中,像素级语义识别的神经网络模型具有被盗取、拷贝或用到别的产品中的风险。
发明内容
为了解决上述技术问题,期望提供一种图像处理方法、装置及电子设备,能够在不影响神经网络模型的精度和性能的前提下,方便地鉴别神经网络模型是否被非法使用。
根据本申请的一个方案,提供了一种图像处理方法,包括:
将原始图像输入神经网络模型,通过所述神经网络模型确定所述原始图像中的像素点对应的语义信息,得到所述原始图像的语义识别结果;
将预设的防伪信息添加到所述语义识别结果中,所述防伪信息用于确认所述神经网络模型是否合法。
根据本申请的一个方面,提供了一种图像处理装置,包括:
语义识别单元,配置为将原始图像输入神经网络模型,通过所述神经网络模型确定所述原始图像中的像素点对应的语义信息,得到所述原始图像的语义识别结果;
添加单元,配置为将预设的防伪信息添加到所述语义识别结果中,所述防伪信息用于确认所述神经网络模型是否合法。
根据本申请的一个方面,提供了一种电子设备,所述电子设备包括:
显示装置;
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并控制所述显示装置执行所述指令以实现上述的图像处理方法。
根据本申请的一个方面,提供了计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述的图像处理方法。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1是本申请一示例性实施例提供的图像处理方法的流程示意图。
图2是本申请一示例性实施例提供的图像处理方法的示例性基本流程示意图;
图3是本申请另一示例性实施例提供的图像处理方法的示例性基本流程示意图;
图4是本申请一示例性实施例提供的图像处理方法的示例性流程示意图;
图5是本申请一示例性实施例提供的图像处理方法中第一种示例性方案的示例图;
图6是本申请一示例性实施例提供的图像处理方法中第二种示例性方案的示例图;
图7是本申请一示例性实施例提供的图像处理装置的结构图。
图8是本申请另一示例性实施例提供的图像处理装置的结构图。
图9是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
申请概述
如前文所述,像素级语义识别的神经网络模型或深度学习模型具有被盗取、拷贝或用到别的产品中的风险。
相关技术中适用于深度学习模型保护的方案主要是模型加密技术,通过对模型或算法的输入数据或模型参数进行加密,这样,没有密钥则无法使用该模型或算法,从而实现对模型或算法的保护。该类方法是从数据本身进行保护,防止模型或算法被盗取、拷贝或用到别的产品中。然而,该类方法不仅加密过程较为复杂,会引入额外的计算量,而且对输入数据的加密还可能会影响模型输出结果的准确性同时还增加了模型的计算量,以至于影响模型或算法的精度、性能等,此外,由于此类方法依赖于加密技术,而加密使用的秘钥等有容易被盗取的风险,因而加密后的模型或算法仍有可能被破解,从而被复制、传播、二次开发或修改,无法完全保障模型或算法的初始研发者的权益。
为解决上述技术问题,本申请实施例的发明构思包括提供一种图像处理方法,通过神经网络模型确定原始图像中的像素点对应的语义信息,得到原始图像的语义识别结果之后,将预设的防伪信息添加到语义识别结果中,所述防伪信息用于确认所述神经网络模型是否合法。由此,本申请实施例可以在模型的输出结果中添加防伪信息,只需辨别输出结果中是否有防伪信息且该防伪信息是否合法即可鉴别出模型是否有被盗用,鉴别方法简单可靠,同时本申请实施例中添加防伪信息的过程和模型执行语义识别的过程互不影响,添加防伪信息的过程不会干扰模型本身的运算,从而确保模型的识别精度和性能不受影响,再有,本申请实施例中将防伪信息添加到语义识别结果中,可避免图像本身的某些处理(例如,受滤波、加噪或几何变形攻击时)影响到防伪信息的解析或可视化,稳健性更强。最后,本申请实施例是直接在语义识别结果中添加防伪信息,无需对输入数据、模型参数等进行例如加密等处理,操作简单,引入的额外开销很小,无需改进运行神经网络模型或算法的硬件(例如,神经网络加速器等)以支持例如加密等处理,硬件成本更低,并且由于无需加解密这样复杂的处理,效率也更高。
本申请实施例可应用于任何可适用的应用场景中。一些示例中,本申请实施例可应用于像素级语义识别模型或算法的保护中,例如自动驾驶、医疗影像处理、视频监控、增强现实(AR)等应用中的神经网络模型。例如,自动驾驶的神经网络模型可以通过对获取到的图像进行分割,以辅助车辆更好地对前方场景进行分析和判断;在医疗影像处理中,该神经网络模型可以通过对图像进行解析,准确地发现并定位患者体内的病变组织,从而为治疗提供更多的可靠信息等。此外,本申请实施例还可应用于其他类似的神经网络模型中。
示例性方法
图1是本申请一示例性实施例提供的图像处理方法的流程示意图。本实施例可应用在电子设备上,如图1所示,包括如下步骤:
步骤101,将原始图像输入神经网络模型,通过神经网络模型确定原始图像中的像素点对应的语义信息,得到原始图像的语义识别结果;
步骤102,将预设的防伪信息添加到上述步骤101得到的语义识别结果中,所述防伪信息用于确认所述神经网络模型是否合法。
本申请实施例可以在模型的处理结果中添加防伪信息,使用处理结果中的防伪信息即可鉴别出相关模型是否合法(例如,相关模型是否被盗用等),鉴别方法简单可靠,同时本申请实施例中添加防伪信息的过程和神经网络模型执行语义识别的过程互不影响,添加防伪信息的过程不会干扰模型本身的运算,从而确保模型的识别精度和性能不受影响,再有,本申请实施例中将防伪信息添加到语义识别结果中,可避免图像本身的某些处理(例如,受滤波、加噪或几何变形攻击时)影响到防伪信息的鉴别(例如,水印信息的可视化,校验信息的提取等等),稳健性更强。最后,本申请实施例是直接在语义识别结果中添加防伪信息,无需对输入数据、模型参数等进行例如加密等额外处理,操作简单,引入的额外开销很小,并且无需改进运行神经网络模型或算法的硬件(例如,神经网络加速器等)以支持例如加密等处理,硬件成本更低,此外由于无需加解密这样复杂的额外处理,效率也更高。
本申请实施例中,防伪信息可以用于确认所述神经网络模型是否合法,其可以是各种不同的形式。一个示例中,防伪信息可以包括水印信息,如此,只需辨别输出图像中是否有水印和/或其水印图案是否是预定的图案即可鉴别出相关模型是否被盗用。一个示例中,防伪信息可以包括校验信息,如此,接收端可以通过从语义识别结果提取校验信息并验证该校验信息的正确性来确认模式是否被盗用。
本申请实施例中,水印信息可以是预先约定的任何类型的信息。水印信息通过图形化展示可以得到特定的水印序列(例如,公司ID、产品ID、模型处理当前任务的时间戳等等),提取该水印序列可用于鉴别相应的神经网络模型是否被盗取。在电子设备的存储器中,该水印信息中的每个字符可以表示为二进制数字串,一条水印信息中可以包括多个字符。一个示例中,水印信息可以通过ASCII码的二进制表示来表达。例如,需要保护的神经网络模型在10点19分51秒运行得到的识别结果中,可以添加水印信息HOBOT19:51,具体的水印字符串可以表达为“01001000 01001111 01000010 01001111 01010100 0011000100111001 00111010 00110101 00110001”,其中每组8bit的二进制数字串表示水印信息中的一个字符,如“01001000”为H的ASCII码。
本申请实施例中,校验信息可以包括但不限于公司ID、产品ID、使用预定加密算法生成的密码、预先设定的字符串等各种信息。在电子设备的存储器中,该校验信息中也可以表示为二进制数字串,即一条校验信息可以包括多个字符,每个字符通过一二进制数字串来表示。同样地,一个示例中,校验信息也可以是ASCII码,在电子设备的存储器中可以通过该ASCII码的二进制表示来表达,步骤102中可以视为是将该ASCII码的二进制数字串添加到语义识别结果中。例如,需要保护的神经网络模型在10点19分51秒运行得到的识别结果中,可以添加校验信息HOBOT19:51,具体的校验字符串可以表达为“01001000 0100111101000010 01001111 01010100 00110001 00111001 00111010 00110101 00110001”,其中每组8bit的二进制数字串表示校验信息中的一个字符,如“01001000”为H的ASCII码。
需要说明的是,本申请实施例中水印信息和校验信息等均是防伪信息的示例形式,在具体应用中防伪信息还可是其他形式。不论该防伪信息采用何种形式,其均可通过二进制数字串来表示,并通过将其二进制数字串添加到语义识别结果来实现步骤102的处理,其原理与上文水印信息、校验信息相同,不再赘述。
图2示出了本申请实施例的图像处理方法的另一流程示意图。如图2所示,在步骤102之后,上述图像处理方法还可以包括:步骤103,基于所述防伪信息校验当前使用的所述神经网络模型是否合法。具体应用中,可以采用各种适用于神经网络模型的手段来实现步骤103的校验。
在一种示例性方案中,防伪信息中可以包括水印信息。此时,步骤103中可以包括:基于具有所述水印信息的所述语义识别结果和所述原始图像,显示带有水印和像素级语义标签的图像,以便通过所述水印的图案来确认所述神经网络模型是否合法。
在一种示例性方案中,防伪信息中可以包括校验信息。此时,步骤103中可以包括:将具有所述防伪信息的所述语义识别结果提供给接收端,以便由所述接收端从所述语义识别结果中解析出所述校验信息,并基于所述校验信息来验证所述神经网络模型是否合法。这里,可以通过主动发送、被动发送、定时发送、实时发送等各种方式来向接收端提供上述具有防伪信息的所述语义识别结果。
一个示例中,接收端可以验证解析出的校验信息是否与预设的校验信息完全一致,如果完全一致说明当前使用的神经网络模型合法,如果不完全一致说明当前使用的神经网络模型不合法。具体而言,接收端可以解码语义识别结果或包含语义识别结果的图像来提取出校验信息,将该校验信息与预先存储在本地的参考信息(该参考信息与步骤102中添加到语义识别结果中的校验信息的内容完全相同或其图形、编码等相匹配)比对,如果两者的内容完全相同或相匹配则验证通过,说明当前使用的神经网络模型合法;如果两者的内容不同且不匹配则验证失败,说明当前使用的神经网络模型不合法(即属于非法使用)。
需要说明的是,上述接收端可以是接收语义识别结果的装置或设备,其可能与用于实现本申请实施例中图像处理方法的装置(即下文的图像处理装置)部署于同一设备(例如,下文的电子设备)中,也可以是独立于用于实现本申请实施例中图像处理方法的装置(即下文的图像处理装置)的一设备。
下面,以水印信息作为防伪信息为例来说明本申请实施例图像处理方法的过程。假设神经网络W的输出是Y0=f(x,weight),x表示输入图像的像素点,weight表示模型参数,本申请实施例的上述方法可视为在该模型或算法的正常处理之外加一层添加水印信息的操作,即Y1=encode(Y0,code),code表示水印信息,也即,本申请实施例应用于神经网络W时的过程可以表示为Y1=f’(x,weigt,code)。图3和图4示出了应用本申请实施例的神经网络W的图像处理的基本流程,包括:1)图像输入神经网络W中,神经网络W进行像素级语义识别,Y0=f(x,weight);2)神经网络W输出像素级的语义识别结果Y0;3)在语义识别结果Y0中嵌入水印信息,即Y1=encode(Y0,code),code表示水印信息;4)通过可视化Y=img(X,Y1)来输出(即显示)图像识别的最终结果Y,该最终结果Y包含水印和像素级语义标签。如图3所示,在步骤2)中神经网络W可以使用模型参数(weight)来执行神经网络W的运算以完成像素级语义识别,在步骤3)中可以使用预先存储的或当前计算得到的水印信息(code)。
本申请实施例中,一幅图像中同一通道上每个像素点有其对应的语义信息,该语义信息可以与同一通道上每个像素点的索引(index)一一对应。该语义信息可以通过神经网络模型使用相应的模型参数(weight)对图像中各个像素点执行相应的语义识别运算处理来获得,并包含在该图像的语义识别结果中。例如,上文图4的示例中,语义识别结果Y0中包括对应图像X中每个像素点的语义信息。一个像素点对应的语义信息可以包括用于指示该像素点类别的分类数据。一些示例中,该分类数据可以表示为类别分值、最接近类别的标识(例如,类别的标识可以包括但不限于每个类别的分类号,比如下文中实施例1中的31个类别的分类号可以是0-30)等等。例如,假设共有三种类别,一个像素点的分类数据可以表示为[a,b,c]或者e,其中,e表示该像素点所属类别的分类号,分类号可以是预先约定的十进制数,例如总共约定有31个类别,分类号可以是0-30。其中,a可以表示该像素点对应第1种类别的分值,b可以表示该像素点对应第2种类别的分值,c表示该像素点对应第3种类别的分值,这些分值可以是0到1之间的数值,分值越高说明该像素点与该类别越接近。假设一像素点的语义信息中分类数据的值是[0.8,0.2,0],说明该像素点与第1种类别最接近,在语义识别结果中将标记该像素点的类别是第1种类别。当然,本申请实施例中语义信息的表示方式并不限于此。在语义识别结果中该语义信息通过二进制数字串来表示,即每个像素点的语义信息可以是字符串长度固定或可预测的二进制字符串。
本申请实施例中,像素级语义标签可以是上述语义信息的可视化表示,该可视化表示可以是颜色、灰度等。一些示例中,对应各个预定类别可以预先设定其对应的语义标签。具体应用中,通过例如显示器等装置显示带有像素级语义标签的图像,即可直观分辨出该幅图像中各个像素点的类别。举例来说,假设共有三种类别,第1种类别的语义标签可以约定为红色(例如,可以通过预先设定第1种类别对应的RGB值来约定其颜色),第2种类别的语义标签可以设定为蓝色,第3种类别的语义标签可以设定为黄色,这样,通过图像中像素点上的渲染颜色即可直观分辨该像素点所属类别。
本申请实施例中,可以结合具体应用场景、执行神经网络模型运算的硬件中存储器的容量限制、指示某个类别的分类数据是否支持扩展等多个方面选择合适的方式来实现步骤102中防伪信息的添加。
本申请实施例中步骤102的第一种示例性方案中,可以在部分语义信息中的至少一个空闲位嵌入防伪信息。该示例性方案中,利用空闲位来嵌入防伪信息,无需对语义识别结果中的语义信息更改或扩展,对语义识别结果的影响最小,并可节省存储容量,降低硬件成本。
一些示例中,按照表征防伪信息的二进制数字串中二进制数的次序,将二进制数字串中的二进制数嵌入到语义信息中的至少一个空闲位。这样,按序嵌入可以确保依次序读出的二进制数能够自然形成防伪信息的二进制数字串,由该二进制数字串即可准确还原防伪信息,进而可视化成预定的水印图案(例如,公司ID、产品ID、模型处理当前任务的时间戳等字符或logo),以便通过水印图案来鉴别模型是否被盗用。
一些示例中,上述嵌入防伪信息的部分语义信息对应的像素可以在原始图像中的位置相邻。这样,像素的位置相邻即表示其对应的语义信息的存储地址连续,也即,把防伪信息嵌入到多个地址连续的语义信息中,连续读取的二进制数可以自然拼接为防伪信息的二进制数字串,便于准确还原防伪信息,从而在步骤103中显示的图像中带有水印或容易地解析出校验信息。
一些示例中,在部分语义信息中的至少一个空闲位嵌入防伪信息,可以包括:使用语义信息中预定数量的低比特位嵌入防伪信息,该预定数量小于或等于语义信息中空闲位的总数。这样,可以在多条语义信息中嵌入同一防伪信息中的二进制数,并且每条语义信息可以嵌入该防伪信息中不同位数的二进制数,便于有效利用各条语义信息中的空闲位来添加防伪信息。例如,在低1位嵌入加水印和不加水印的数值分别是2n+1和2n,只相差1,这样在步骤103的一种示例性方案中图形化展示时水印和语义标签的区别很小,最终显示的图像中水印不会影响语义识别结果的整体展示效果,适用于区别很小也能清晰辨别的水印和语义识别结果的情况,例如使用诸如logo图案等作为水印的场景。
一些示例中,在部分语义信息中的至少一个空闲位嵌入防伪信息,可以包括:使用语义信息中预定数量的高比特位嵌入防伪信息,该预定数量小于或等于语义信息中空闲位的总数。这样,可以在多条语义信息中嵌入同一防伪信息中的二进制数,并且每条语义信息可以嵌入该防伪信息中不同位数的二进制数,便于有效利用各条语义信息中的空闲位来添加防伪信息。例如,防伪信息加在高比特位,不加水印的分类信息的数值是2n,加了水印的分类信息的数值是2n-1,两者差了一倍,在步骤103的一种示例性方案中图形化展示时区别比较明显,即最终显示的图像中水印和语义识别结果在图形化展示时区别明显,这易于辨别,适用于区别较小时难以分辨水印和语义标签的情况,例如使用诸如产品ID、公司ID等作为水印的场景,这些水印通过ASCII码来表达。
举例来说,假设防伪信息的字符表示是“H”,其二进制数字串是“01001000”,可以在第一个像素的语义信息中嵌入二进制数字串中的前三个二进制数“010”(第一个像素的语义信息有不少于3个空闲位的情况下),在第二个像素的语义信息中嵌入二进制数字串中第四、五这两个二进制数“01”(假设第二个像素的语义信息有不少于2个的空闲位),在第三个像素、第四个像素、第五个像素的分类信息中分别嵌入二进制数字串中的第六、七、八这三个二进制数“0”、“0”、“0”。上述示例中,从第一个像素点开始嵌入防伪信息的二进制数字串中的二进制数,实际应用中也可以从中间的某个像素点(例如,第5个像素点)开始嵌入防伪信息的二进制数,只要防伪信息的二进制数字串是嵌入在位置相邻的几个像素点的语义信息中,即可通过连续读取来获得该防伪信息的二进制数字串,进而准确还原该防伪信息。
一个示例中,在部分语义信息中的至少一个空闲位嵌入防伪信息,可以包括:在语义信息中的低k比特嵌入表征防伪信息的二进制数字串中的k个二进制数,使用语义信息中的高n-k比特承载用于指示像素类别的分类数据;其中,n是语义信息的二进制位数,k是大于或等于1的整数,n、k为预定值。图5示出了上述第一种示例性方案的示例。图5的示例中,原始图像中某个通道上的像素点index共有p=W*H个,W是原始图像的宽度、H是原始图像的高度,对应该p个像素点index有p个语义信息,可以使用这p个语义信息中每个语义信息的低k比特来承载水印信息中的二进制数。设定n满足m<2n-k(k≥1且k为整数),使用高n-k bit来表示类别(即使用高n-k bit来承载语义信息中的分类数据),低k位嵌入水印信息(即使用低k比特来承载水印信息的二进制数)。图5的示例中,在步骤103的一种示例性方案中只提取高n-k bit与预先设定的实际类别(例如,汽车、人、猫、狗等类别)进行映射来确定相应的像素级语义标签,提取低k bit的数据来显示该像素点的水印,以像素点A为例,该像素点A上会渲染颜色或灰度处理,以呈现语义标签和水印,对于与像素点A同类别的像素点E,其语义信息中没有添加水印信息的二进制数,那么该像素点E的显示效果将与像素点A稍有区别,图5中为示出该区别使用了不同填充色,但实际应用中该像素点E与像素点A的显示效果肉眼一般不可见。上述示例中,无论低k bit包含怎样的信息,高n-k bit的数据相同的语义信息对应的像素点均属于同一类别。
本申请实施例中步骤102的第二种示例性方案中,可以使用多条对应预定类别的语义信息中的预定位嵌入所述防伪信息。一些示例中,可以选择个数较多的某一类别或某些类别来作为该预定类别。一些示例中,可以选择数值可扩展的某一类别或某些类别来坐标该预定类别。一些示例中,该预定位可以包括语义信息中靠前、中间或末尾的一个或多个二进制数据位。不同语义信息中预定位中包含的二进制数据位个数以及这些二进制数据位的位置可以不同、也可以相同。该示例性方案中,使用预定类别的语义信息中的预定位来嵌入防伪信息,便于在诸如支持分类数据扩展的一些语义信息中添加防伪信息,借由语义信息中的特定数据位来承载防伪信息中的二进制数,这不仅不会影响语义识别结果的准确性,而且可节省存储容量,降低硬件成本。
一个示例中,可以设定个数较少的某个类别mt不嵌入防伪信息的二进制数,并设定个数较多的某个类别mi、mj中逐行嵌入防伪信息的二进制数,那么在步骤102中可以逐行选择类别mi、mj的像素点嵌入防伪信息的二进制数,遇到类别mt的像素点将自动跳过。
一些示例中,使用对应预定类别的语义信息中的预定位嵌入防伪信息,可以包括:按照对应像素的位置逐行、逐列或逐个对角,将多条对应预定类别的语义信息中预定位的数值替换为表征所述防伪信息的二进制数字串中的二进制数。该示例中,按照对应像素的位置逐行、逐列或逐个对角来嵌入水印,可以使图形化展示中该水印的位置较为固定(例如,在图像中某一行或某几行或者图像中的对角或者图像中某一列或某几列中显示该水印),便于后续可视化处理,更利于通过水印辨别模型是否被盗用等。此外,该示例中,通过将某些预定类别的语义信息中预定位的数值替换为防伪信息中的二进制数,无需更改分类信息本身的数据位宽。
上述示例中,对应预定类别的语义信息可以包括与预定类别的类别标识之间具有映射关系的分类数据。例如,可以通过将分类数据的各个数值(例如下文的2i、2i+1(或2i-1))与该分类数据对应的类别标识(例如,mi)之间建立映射关系。该示例性方案中,还可以在基于预定位嵌入防伪信息而获得的新分类数据与对应预定类别的类别标识之间建立映射关系,这样,可以在不影响识别结果准确性的前提下利用有限的数据位宽来同时承载防伪信息的二进制数和分类数据,适用于数据位宽比较有限的电子设备(例如,运行神经网络模型的加速器等)。
图6示出了上述步骤102的第二种示例性方案的示例。图6的示例中,原始图像中某个通道上的像素点index共有p=W*H个,W是原始图像的宽度、H是原始图像的高度,对应该p个像素点index有p个语义信息,仅在分类号为mi的语义信息中添加水印信息的二进制数,且通过将该分类号进行扩展来承载该水印信息的二进制数(例如,通过该分类号的低1比特来表示水印信息的二进制数)。若嵌入水印前该类别的分类数据取值是2i,而2i的相邻取值例如2i+1或2i-1又均未被用于指示其他类别,则说明该类别支持分类数据扩展,此时,可以预先约定2i与2i+1(或2i-1)均指向标识是mi的类别,该类别的语义信息中分类数据的取值可以是2i、2i+1(或2i-1),即2i、2i+1(或2i-1)均表示同一类别,该类别分类数据中的预定位(例如,末尾的一个二进制数据位、末尾的两个二进制数据位等)上的数值即是水印信息中的二进制数。图6的示例中,在步骤103中分类数据2i、2i+1(或2i-1)均与mi进行映射来确定其像素级语义标签,即2i、2i+1(或2i-1)均表示同一个类别mi。图6的示例中,像素点a是分类号为mi的一像素点,该像素点a上会渲染颜色或灰度处理,以呈现语义标签和水印,对于与像素点a同类别但语义信息中并没有承载水印信息的二进制数的像素点f,显示效果将与像素点a稍有区别,图6中为示出该区别使用了不同填充色,但实际应用中该像素点a与像素点f的显示效果肉眼一般不可见。
假设已经约定“31”表示树、“29”表示人、“28”表示车,“31”的二进制数是11111,“29”的二进制数是11101,“28”的二进制数11100,“30”没有属于没被分配用于指示其他类别的空闲数据,那么,可以约定“30”(二进制数是11110)也表示树,“31”和“30”中最低1bit的0或1即表示防伪信息中的二进制数“1”或“0”。
本申请实施例中,如果是逐个在像素点的语义信息中嵌入防伪信息的二进制数(例如,上述步骤102的第一种示例性方案),可以在步骤101的执行过程中每得到一个像素点的语义信息即写一次防伪信息中的二进数。如果是在特定类别的像素点的语义信息中嵌入防伪信息的二进制数(例如,上述第二种示例性方案),可以在步骤101得到整个原始图像的语义识别结果之后再从存储器中查找这些特定类别的像素点的语义信息,并在其中嵌入防伪信息的二进制数。当然,也可采用其他方式,对于步骤101中确定语义信息的过程和步骤102中添加防伪信息的具体执行顺序,本申请实施例不予限制。
在步骤103的一种示例性方案中,水印的图形和像素级语义标签图形(例如,渲染的颜色等)可以相近,例如,可以在肉眼不可分辨范围内,便于隐藏水印。举例来说,像素级语义标签与颜色格式(灰度图或RGB)的映射可以为多种,水印信息的颜色与该颜色格式的差别可以设置为多种。例如,像素级语义识别处理中,通过神经网络得到每个像素点所属类别标识(例如,分类号),例如31个分类,分别表示背景、车、人、红绿灯、可行驶区域等等。在步骤103的显示过程中,不同类别的像素点可以被显示为不同的颜色,以供可视化的展示。
在步骤103的一示例性方案中,可以通过可视化等来基于具有水印信息的语义识别结果和原始图像来显示带有水印和像素级语义标签的图像。由于水印信息相比于语义信息中的分类数据而言只有较小的差别(例如,大约1bit),因此在显示上述带有水印和像素级语义标签的图像时其中的水印将肉眼无法分辨,只有在调高可视化的对比度时才可肉眼看出水印。一些示例中,步骤103中,可以将语义识别结果按比例通过灰度值(例如,YUV格式的图像中的Y值等)进行展示,以调高可视化的对比度,便于肉眼识别水印。一些示例中,步骤103中,语义识别结果也可以通过RGB进行彩色展示,预先将各个类别标记成不同种类的颜色,在相同的类别中,根据水印信息的不同轻微调整R/G/B的参数以示区分,但该调整应保证肉眼不可区分。例如,用蓝色(RGB=0,0,255)表示背景mi,当遇到水印信息的某个二进制数字位的取值为1时,即上述第一种示例性方案中语义信息的最低比特为1或上述第二种示例性方案中中分类数据取值为2i+1,则采用RGB=5,0,255显示该蓝色,通过调高可视化的对比度可提取各像素点包含的水印信息。
如前文所述,具有防伪信息的语义识别结果中部分语义信息中嵌入有防伪信息的二进制数。一些示例中,可以在相同类别中,根据防伪信息的不同轻微调整R/G/B的参数以示区分,但该调整应最好保证肉眼不可区分。一些示例中,步骤103中基于具有所述水印信息的所述语义识别结果和所述原始图像,显示带有水印和像素级语义标签的图像,以便通过所述水印的图案来确认所述神经网络模型是否合法,可以包括如下子步骤:步骤a1,根据语义信息中水印信息的二进制数值,确定语义信息的参数调整量;步骤a2,使用参数调整量重置对应语义信息中分类数据的颜色参数中预定通道维度的数值,以获得对应语义信息的颜色参数;步骤a3,使用颜色参数渲染原始图像中对应语义信息的像素点,以呈现带有水印和像素级语义标签的图像;其中,参数调整量小于预设的阈值。该示例中,每个类别都有对应的固定RGB值(即颜色参数),每个语义信息中嵌入的水印信息的二进制数(例如,00、01、10、11的数据)都对应不同的参数调整量。在渲染时,每个语义信息的颜色参数根据其中的水印信息的二进制数的值对应的参数调整量调整这个语义信息自己固定的RGB值,进而得到这个语义信息实际的颜色参数,再用这个实际的颜色参数来渲染原始图像中对应这个语义信息的像素点。这样,每个语义信息都渲染完成之后,即可获得带有水印和像素级语义标签的图像。例如,预先约定使用蓝色(RGB=0,0,255)表示背景mi,当某个像素点的语义信息中嵌入了水印信息的一二进制数且该二进制数值为1时(例如上述第一种示例性方案中在语义信息中的最低比特位嵌入了水印信息的二进制数“1”;或者,上述第二种示例性方案中语义信息的分类数据取值是2i+1,且该分类数据的最低比特位表示水印信息的二进制数),假设预先设置参数调整量的阈值是3%,可以将背景mi的颜色参数重置为RGB=5,0,255,以便通过调高可视化的对比度来展示各像素点包含的水印信息。
上述示例中,如果参数调整量小于预设的阈值,语义信息对应的像素级语义标签的颜色和水印信息在该像素点的渲染颜色将肉眼不可区分,最终显示的图像中水印不会影响语义识别结果的整体展示效果,适用于区别很小也能清晰辨别的水印和语义识别结果的情况,例如使用诸如logo图案等作为水印的场景。一些示例中,参数调整量也可以超过上述预设的阈值,此时图形化展示时区别比较明显,语义信息对应的像素级语义标签的颜色和水印信息在该像素点的渲染颜色之间的差别肉眼可见,即最终显示的图像中水印和语义识别结果在图形化展示时区别明显,这易于辨别,适用于区别较小时难以分辨水印和语义识别结果的情况,例如使用诸如产品ID、公司ID等作为水印的场景,这些水印通过ASCII码来表达。
在步骤a1中,可以预先配置每个二进制数与参数调整量之间的映射关系,通过查询该映射关系来确定当前语义信息的参数调整量。和/或,在步骤a1中,可以按照预定的某种算法(例如,简单的加减乘除等的预定映射关系等)来计算参数调整量。一些示例中,参数调整量可以是百分数、也可以是具体的数值(以RGB图像为例,参数调整量可以是1-255之间的数值)。一个示例中,参数调整量是百分数时,它的具体值可以等于百分数与255的乘积。以RGB图像为例,参数调整量的阈值例如可以是3%等,这表示可以在R、G、B中任一通道改变参数调整量的值但需要保证参数调整量的变化程度在3%以内。比如,蓝色RGB=(0,255,255)与RGB=(5,255,255),其中参数调整量的变化程度是(5-0)/255=1.9%<3%。
在步骤a2中,预定通道取决于图像格式。例如,对于RGB格式的图像,该预定通道可以是RGB这三个通道中至少之一,对于YUV格式的图像,该预定通道可以是YUV这三个通道中至少之一。
需要说明的是,上述方案只是步骤103的示例性实现方式,具体应用中只要能达到类似效果的可视化方案均可应用于本申请实施例中来实现步骤103。
下面以两个具体实施例为例来示例性地说明本申请实施例的具体实现过程。
【实施例1】
预先约定或者硬件仅允许使用5bit来表示语义识别结果,总共可表示25=32个类别。实际应用中,预先约定有31个类别(分配分类号0-30),假设预先约定使用某个类别(如背景,假设分类号为30)的语义信息来承载水印信息,而该类别的语义信息中无空闲数据位,并且分类号“31”属于空闲未分配的分类号,那么可以预先约定该类别的分类号有两个,即“30”和“31”,预先约定该类别的语义信息中最低比特位用来嵌入水印信息。
可以通过上文步骤102的第二种示例性方案,修改类别为“背景”的某些像素点的语义信息来嵌入水印信息。具体地,可以根据水印信息的二进制数字串中二进制数的顺序,逐行地修改类别为“背景”的像素点的分类号(例如,从30修改为31或者保持不变等),如果某个像素点的语义信息中需要嵌入的水印信息中的二进制数是“1”,需要将该像素点的分类号从30修改为31,如果某个像素点的语义信息中需要嵌入的水印信息中的二进制数是“0”则保持该像素点的分类号为30。
本实施例中,在输出图像时,可以通过上文步骤103来显示带有水印和像素级语义标签的图像。例如,本实施例中30和31都表示“背景”,可以连续将30和31的语义信息读出,在输出的图像中分类号是“30”和“31”的像素点的像素级语义标签通过上文步骤103的各种示例性方式来确定颜色参数并进行渲染(例如,图6所示的示例),同时提取最低位包含0/1差别的特定序列,得到一组ASCII码的二进制表示,将其转换为ASCII码,即可在最终输出的图像中呈现水印。此外,还可以针对特定区域,只在输出的图像中渲染分类号是“31”的像素的像素级语义标签,从而在该输出的图像中水印可以表现为特定的logo图案。
【实施例2】
硬件仅允许使用6bit表示语义识别结果,允许使用26=64个分类号。本实施例的应用场景中预先约定使用5bit来承载语义信息中的分类数据,有25=32个类别,那么在6bit语义信息中的分类数据只占高5bit,最后1bit默认为0。
本实施例中,可以通过上文步骤102的第一种示例性方案,对原图中某个区域(或全图)的语义识别结果进行修改,按照水印信息的二进制数字串中二进制数的顺序,修改位置相邻的多个像素点的语义信息中的最后1bit的值,使得该数值等于水印信息的一个二进制数,从而直接将该水印信息中嵌入到了语义识别结果中的一些语义信息中。具体地,如果需要嵌入到当前语义信息中最后1bit的水印信息中的二进制数为“0”,则无需修改该语义信息中最后1bit的值,如果需要嵌入到当前语义信息中最后1bit的水印信息中的二进制数为“1”,则将该语义信息中最后1bit的值从“0”改为“1”。如此类推,按照水印信息的二进制数字串中二进制数的顺序和像素点的位置顺序逐个修改上述多个像素点中各个像素点的语义信息,直到水印信息的二进制数字串中二进制数均被嵌入到相应语义信息中。本实施例中,如果每个语义信息中都嵌入一个水印信息的二进制数,那么上述位置相邻的多个像素点的数量可以等于该水印信息的二进制数字串的位数。例如,假设水印信息的字符表示是“H”,其二进制数字串是“01001000”,该二进制数字串的位数是“8”,那么上述位置相邻的多个像素点的数量等于8。
本实施例中,添加水印信息之后,第0类像素的语义信息可能会被改为1,第n类像素的语义信息可能会被改为n+1,但由于仅修改了语义信息中的冗余bit来嵌入水印信息的二进制数,不会改变原来的分类结果,语义信息中分类数据的数值不变。
本实施例中,在输出图像时,也可以通过上文步骤103来显示带有水印和像素级语义标签的图像。在可视化时,如果原分类号对应的显示颜色是a,添加水印信息之后分类号对应的显示颜色可以是a’,二者的对比度应该控制在肉眼不可见的范围内,例如3%以内(比如,上文图5的示例)。按照分类号做颜色显示,由于控制了修改范围(例如,只修改最后1bit,对应颜色变化控制在3%以内),水印与像素级语义标签的显示颜色差别不大,肉眼不可见。但是,如果通过图形图像软件,将图像对比度提高,就可以提取水印或肉眼可见特定图案。
示例性装置
图7是本申请一示例性实施例提供的图像处理装置的结构示意图。本实施例可设置在电子设备上或通过电子设备来实现,如图7所示,图像处理装置可以包括:
语义识别单元61,配置为将原始图像输入神经网络模型,通过神经网络模型确定原始图像中的像素点对应的语义信息,得到原始图像的语义识别结果;
添加单元62,配置为将预设的防伪信息添加到语义识别单元61得到的语义识别结果中,所述防伪信息用于确认所述神经网络模型是否合法。
图8示出了本申请实施例提供的图像处理装置的另一结构。该示例中,上述图像处理装置还可以包括:校验单元63,基于所述防伪信息校验当前使用的所述神经网络模型是否合法。在一种示例性方案中,防伪信息中可以包括水印信息。此时,校验单元63可以包括:显示模块,配置为基于具有水印信息的语义识别结果和原始图像,显示带有水印和像素级语义标签的图像。
在一种示例性方案中,防伪信息中可以包括校验信息。此时,校验单元63可以包括:提供模块,配置为将具有所述防伪信息的所述语义识别结果提供给接收端,以便由所述接收端从所述语义识别结果中解析出所述校验信息,并基于所述校验信息来验证所述神经网络模型是否合法。
本申请实施例的第一种示例性方案中,添加单元62是配置为在部分所述语义信息中的至少一个空闲位嵌入所述防伪信息。
上述第一种示例性方案的一些示例中,添加单元62具体可配置为按照表征防伪信息的二进制数字串中二进制数的次序,将二进制数字串中的二进制数嵌入到所述语义信息中的至少一个空闲位。一个示例中,部分语义信息对应的像素可以在原始图像中的位置相邻。
上述第一种示例性方案的一些示例中,添加单元62具体可配置为:使用所述语义信息中预定数量的低比特位嵌入所述防伪信息;或者,使用所述语义信息中预定数量的高比特位嵌入所述防伪信息;其中,所述预定数量小于或等于所述语义信息中空闲位的总数。
上述第一种示例性方案的一些示例中,添加单元62具体可配置为:在语义信息中的低k比特嵌入表征防伪信息的二进制数字串中的k个二进制数;以及,使用语义信息中的高n-k比特承载用于指示像素类别的分类数据;其中,n是语义信息的二进制位数,k是大于或等于1的整数,n、k为预定值。
本申请实施例的第二种示例性方案中,添加单元62可配置为使用多条对应预定类别的语义信息中的预定位嵌入防伪信息。
上述第二种示例性方案的一些示例中,添加单元62具体可配置为:按照对应像素的位置逐行、逐列或逐个对角,将多条对应预定类别的语义信息中预定位的数值替换为表征所述防伪信息的二进制数字串中的二进制数。
上述第二种示例性方案的一些示例中,对应预定类别的语义信息包括与预定类别的类别标识之间具有映射关系的分类数据;图像处理装置还可以包括:映射单元,配置为在基于预定位嵌入防伪信息而获得的新分类数据与对应预定类别的类别标识之间建立映射关系。
本申请实施例的一些示例中,具有防伪信息的语义识别结果中的部分语义信息中嵌入有防伪信息的二进制数;显示模块可以包括:确定子模块,配置为根据语义信息中防伪信息的二进制数值,确定语义信息的参数调整量;重置子模块,配置为使用参数调整量重置对应语义信息中分类数据的颜色参数中预定通道维度的数值,以获得对应语义信息的颜色参数;渲染子模块,配置为使用颜色参数渲染原始图像中对应语义信息的像素点,以呈现带有水印和像素级语义标签的图像;其中,所述参数调整量小于预设的阈值。
本申请实施例中的图像处理装置可以通过软件、硬件或两者的结合来实现。该图像处理装置的其他技术细节可参照上文“示例性方法”部分。
示例性电子设备
下面,参考图9来描述根据本申请实施例的电子设备10。
图9图示了根据本申请实施例的电子设备10的框图。
如图9所示,电子设备10包括一个或多个处理器11、存储器12和显示装置13。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以控制显示装置13等实现上文所述的本申请的各个实施例的图像处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如防伪信息等各种内容。
一些示例中,显示装置13可配置为在处理器11的控制下显示带有水印和像素级语义标签的图像。实际应用中,该显示装置13可以包括但不限于空气显示器、液晶显示器等等。
一些示例中,电子设备10还可以包括:输入装置14,这些组件通过总线***和/或其他形式的连接机构(未示出)互连。该输入装置14可以是但不限于键盘、鼠标、麦克风、触控显示屏等等。
此外,电子设备10还可包括其他类型的输出装置,例如,扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图9中仅示出了该电子设备10中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、***的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、***。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (15)
1.一种图像处理方法,包括:
将原始图像输入神经网络模型,通过所述神经网络模型确定所述原始图像中的像素点对应的语义信息,得到所述原始图像的语义识别结果;
将预设的防伪信息添加到所述语义识别结果中,所述防伪信息用于确认所述神经网络模型是否合法。
2.根据权利要求1所述的方法,其中,将预设的防伪信息添加到所述语义识别结果中,包括:在部分所述语义信息中的至少一个空闲位嵌入所述防伪信息。
3.根据权利要求2所述的方法,其中,在部分所述语义信息中的至少一个空闲位嵌入所述防伪信息,包括:
按照表征所述防伪信息的二进制数字串中二进制数的次序,将所述二进制数字串中的二进制数嵌入到所述语义信息中的至少一个空闲位。
4.根据权利要求2所述的方法,其中,部分所述语义信息对应的像素在所述原始图像中的位置相邻。
5.根据权利要求2所述的方法,其中,在部分所述语义信息中的至少一个空闲位嵌入所述防伪信息,包括:
使用所述语义信息中预定数量的低比特位嵌入所述防伪信息;或者,
使用所述语义信息中预定数量的高比特位嵌入所述防伪信息;
其中,所述预定数量小于或等于所述语义信息中空闲位的总数。
6.根据权利要求2所述的方法,其中,在部分所述语义信息中的至少一个空闲位嵌入所述防伪信息,包括:
在所述语义信息中的低k比特嵌入表征所述防伪信息的二进制数字串中的k个二进制数;以及
使用所述语义信息中的高n-k比特承载用于指示像素类别的分类数据;
其中,n是所述语义信息的二进制位数,k是大于或等于1的整数,n、k为预定值。
7.根据权利要求1所述的方法,其中,将预设的防伪信息添加到所述语义识别结果中,包括:使用多条对应预定类别的语义信息中的预定位嵌入所述防伪信息。
8.根据权利要求7所述的方法,其中,使用对应预定类别的语义信息中的预定位嵌入所述防伪信息,包括:
按照对应像素的位置逐行、逐列或逐个对角,将多条对应预定类别的语义信息中预定位的数值替换为表征所述防伪信息的二进制数字串中的二进制数。
9.根据权利要求7所述的方法,其中,
所述对应预定类别的语义信息包括与所述预定类别的类别标识之间具有映射关系的分类数据;
所述方法还包括:在基于所述预定位嵌入所述防伪信息而获得的新分类数据与对应所述预定类别的类别标识之间建立映射关系。
10.根据权利要求1所述的方法,其中,所述防伪信息包括水印信息;
所述方法还包括:基于具有所述水印信息的所述语义识别结果和所述原始图像,显示带有所述水印信息和像素级语义标签的图像,所述水印信息用于确认所述神经网络模型是否合法。
11.根据权利要求10所述的方法,其中,具有所述防伪信息的语义识别结果中的部分所述语义信息中嵌入有所述防伪信息的二进制数;
基于具有所述水印信息的所述语义识别结果和所述原始图像,显示带有水印和像素级语义标签的图像,包括:
根据所述语义信息中水印信息的二进制数值,确定所述语义信息的参数调整量;
使用所述参数调整量重置对应所述语义信息中分类数据的颜色参数中预定通道维度的数值,以获得对应所述语义信息的颜色参数;以及
使用所述颜色参数渲染所述原始图像中对应所述语义信息的像素点,以呈现所述带有水印和像素级语义标签的图像;
其中,所述参数调整量小于预设的阈值。
12.根据权利要求1所述的方法,其中,所述防伪信息包括校验信息;
所述方法还包括:将具有所述防伪信息的所述语义识别结果提供给接收端,以便由所述接收端从所述语义识别结果中解析出所述校验信息,并基于所述校验信息来验证所述神经网络模型是否合法。
13.一种图像处理装置,包括:
语义识别单元,配置为将原始图像输入神经网络模型,通过所述神经网络模型确定所述原始图像中的像素点对应的语义信息,得到所述原始图像的语义识别结果;
添加单元,配置为将预设的防伪信息添加到所述语义识别结果中,所述防伪信息用于确认所述神经网络模型是否合法。
14.一种电子设备,所述电子设备包括:
显示装置;
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并控制所述显示装置执行所述指令以实现上述权利要求1-12任一所述的图像处理方法。
15.一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述权利要求1-12任一所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910576589.2A CN112150337B (zh) | 2019-06-28 | 2019-06-28 | 图像处理方法、装置以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910576589.2A CN112150337B (zh) | 2019-06-28 | 2019-06-28 | 图像处理方法、装置以及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112150337A CN112150337A (zh) | 2020-12-29 |
CN112150337B true CN112150337B (zh) | 2024-02-23 |
Family
ID=73869448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910576589.2A Active CN112150337B (zh) | 2019-06-28 | 2019-06-28 | 图像处理方法、装置以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112150337B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1421814A (zh) * | 2001-11-30 | 2003-06-04 | 温天 | 一种数字防伪方法 |
CN107480744A (zh) * | 2017-05-17 | 2017-12-15 | 上海冠众光学科技有限公司 | 一种含水印信息的防伪标签生成方法及防伪标签 |
CN109635662A (zh) * | 2018-11-14 | 2019-04-16 | 浙江科技学院 | 一种基于卷积神经网络的道路场景语义分割方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3044140B1 (fr) * | 2015-11-24 | 2017-11-24 | B<>Com | Procede de traitement d'une sequence d'images numeriques, procede de tatouage, dispositifs et programmes d'ordinateurs associes |
US10339642B2 (en) * | 2017-03-30 | 2019-07-02 | Adobe Inc. | Digital image processing through use of an image repository |
US10628668B2 (en) * | 2017-08-09 | 2020-04-21 | Open Text Sa Ulc | Systems and methods for generating and using semantic images in deep learning for classification and data extraction |
-
2019
- 2019-06-28 CN CN201910576589.2A patent/CN112150337B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1421814A (zh) * | 2001-11-30 | 2003-06-04 | 温天 | 一种数字防伪方法 |
CN107480744A (zh) * | 2017-05-17 | 2017-12-15 | 上海冠众光学科技有限公司 | 一种含水印信息的防伪标签生成方法及防伪标签 |
CN109635662A (zh) * | 2018-11-14 | 2019-04-16 | 浙江科技学院 | 一种基于卷积神经网络的道路场景语义分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112150337A (zh) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110502984B (zh) | 图纸审查方法、装置、计算机设备和存储介质 | |
CN109767375B (zh) | 图像水印嵌入和追溯的方法及*** | |
US7440143B2 (en) | Tampering judgement system, encrypting system for judgement of tampering and tampering judgement method | |
CN108648132B (zh) | 根据图形生成水印的方法、***、终端及介质 | |
US20050053258A1 (en) | System and method for watermarking a document | |
CN104200150A (zh) | 验证码处理方法和装置 | |
CN113887438B (zh) | 人脸图像的水印检测方法、装置、设备及介质 | |
Nezami et al. | Pick-object-attack: Type-specific adversarial attack for object detection | |
Alkhafaji et al. | Payload capacity scheme for quran text watermarking based on vowels with kashida | |
US11809531B2 (en) | Method for watermarking a machine learning model | |
CN113987429A (zh) | 基于水印嵌入的神经网络模型的版权验证方法 | |
CN116956906A (zh) | 文本生成方法、装置及电子设备 | |
CN112150337B (zh) | 图像处理方法、装置以及电子设备 | |
CN109561236B (zh) | 图像加密、识别方法装置、设备及介质 | |
JP6892844B2 (ja) | 情報処理装置、情報処理方法、透かし検出装置、透かし検出方法、及びプログラム | |
KR100988309B1 (ko) | 문서식별자의 삽입방법 및 그의 해독방법 | |
CN114881836A (zh) | 图片水印处理方法及装置 | |
CN103824006B (zh) | 一种手机应用软件自动生成水印的方法和*** | |
EP4172925A1 (en) | Zoom agnostic watermark extraction | |
EP4360038A1 (en) | Zoom agnostic watermark extraction | |
US20070174619A1 (en) | Digital watermarking system according to pixel brightness value and digital watermarking method | |
JP2009200794A (ja) | 文書の改竄検出プログラム及び改竄検出装置 | |
JP4958868B2 (ja) | 文書特徴量抽出装置及び方法 | |
US20040034667A1 (en) | Incorporating data into files | |
CN115099200B (zh) | 防篡改的文本处理方法、装置和计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |