CN113011342B - 用于版权侵权检索的特征提取、处理方法和*** - Google Patents

用于版权侵权检索的特征提取、处理方法和*** Download PDF

Info

Publication number
CN113011342B
CN113011342B CN202110303810.4A CN202110303810A CN113011342B CN 113011342 B CN113011342 B CN 113011342B CN 202110303810 A CN202110303810 A CN 202110303810A CN 113011342 B CN113011342 B CN 113011342B
Authority
CN
China
Prior art keywords
feature
file
client
retrieval
infringement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110303810.4A
Other languages
English (en)
Other versions
CN113011342A (zh
Inventor
黄凯明
张晓博
杨旭东
潘覃
程远
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Ant Blockchain Technology Shanghai Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Ant Blockchain Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd, Ant Blockchain Technology Shanghai Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110303810.4A priority Critical patent/CN113011342B/zh
Publication of CN113011342A publication Critical patent/CN113011342A/zh
Application granted granted Critical
Publication of CN113011342B publication Critical patent/CN113011342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例公开了用于版权侵权检索的特征提取、处理方法和***。客户端在隔离环境中部署有特征提取模型的客户端部分，服务端部署有特征提取模型的服务端部分。对于每个待进行版权侵权检索的作品，客户端获得该作品的模型输入文件，将所述模型输入文件输入所述客户端部分，以获得客户端部分输出的待处理特征文件，将所述待处理特征文件通过能够连接网络的客户机上传给部署有所述服务端部分的服务端，以便服务端利用所述服务端部分处理所述待处理特征文件得到检索特征文件，并将所述检索特征文件与特征库中的侵权比对用特征文件进行比对，以获得侵权检索结果。

Description

用于版权侵权检索的特征提取、处理方法和***
技术领域
本说明书涉及信息技术领域，特别涉及用于版权侵权检索的特征提取、处理方法和***。
背景技术
版权，亦称作“著作权”，是指作者或其他人(包括法人)依法对某一著作物享受的权利。在版权侵权检索服务中，客户处于数据安全性考虑，不希望对外提供待检测作品的原始内容。然而，基于作品的原始内容进行特征比对，有助于满足多样化的侵权检索手段以及提供强大的侵权检索能力，进而获得全面、精准的侵权检测检索结果。
因此，希望提供一种兼顾数据安全的版权侵权检索方案。
发明内容
本说明书实施例之一提供一种用于版权侵权检索的特征提取方法。所述方法由客户端执行，其包括：在网络隔离环境中部署特征提取模型的客户端部分，其中，所述特征提取模型还包括服务端部分，所述客户端部分的输入层为所述特征提取模型的输入层，所述服务端部分的输出层为所述特征提取模型的输出层，所述客户端部分的输出为所述服务端部分的输入；对于每个待进行版权侵权检索的作品：获得该作品的模型输入文件；将所述模型输入文件输入所述客户端部分，以获得所述客户端部分输出的待处理特征文件；将所述待处理特征文件通过能够连接网络的客户机上传给部署有所述服务端部分的服务端，以便服务端利用所述服务端部分处理所述待处理特征文件得到检索特征文件，并将所述检索特征文件与特征库中的侵权比对用特征文件进行比对，以获得侵权检索结果。
本说明书实施例之一提供一种用于版权侵权检索的特征提取***。所述***在客户端上实现，所述***包括第一部署模块和特征提取模块。所述第一部署模块用于在网络隔离环境中部署特征提取模型的客户端部分，其中，所述特征提取模型还包括服务端部分，所述客户端部分的输入层为所述特征提取模型的输入层，所述服务端部分的输出层为所述特征提取模型的输出层，所述客户端部分的输出为所述服务端部分的输入。所述特征提取模块用于：对于每个待进行版权侵权检索的作品，获得该作品的模型输入文件，将所述模型输入文件输入所述客户端部分，以获得所述客户端部分输出的待处理特征文件，将所述待处理特征文件通过能够连接网络的客户机上传给部署有所述服务端部分的服务端，以便服务端利用所述服务端部分处理所述待处理特征文件得到检索特征文件，并将所述检索特征文件与特征库中的侵权比对用特征文件进行比对，以获得侵权检索结果。
本说明书实施例之一提供一种用于版权侵权检索的特征提取装置。所述装置包括处理器和存储设备，所述存储设备用于存储指令，当所述处理器执行指令时，实现如本说明书任一实施例所述的用于版权侵权检索的特征提取方法。
本说明书实施例之一提供一种用于版权侵权检索的特征处理方法。所述方法由服务端执行，所述服务端部署有特征提取模型的服务端部分，所述特征提取模型还包括客户端部分，所述客户端部分的输入层为所述特征提取模型的输入层，所述服务端部分的输出层为所述特征提取模型的输出层。所述方法包括，对于每个待进行版权侵权检索的作品：从客户端接收该作品的待处理特征文件；将所述待处理特征文件输入所述服务端部分，以获得该作品的检索特征文件；将该作品的检索特征文件与特征库中的侵权比对用特征文件进行比对，以获得侵权检索结果。
本说明书实施例之一提供一种用于版权侵权检索的特征处理***。所述***在服务端上实现，所述服务端部署有特征提取模型的服务端部分，所述特征提取模型还包括客户端部分，所述客户端部分的输入层为所述特征提取模型的输入层，所述服务端部分的输出层为所述特征提取模型的输出层。所述***包括特征接收模块、特征处理模块和特征比对模块。所述特征接收模块用于：对于每个待进行版权侵权检索的作品，从客户端接收该作品的待处理特征文件。所述特征处理模块用于：对于每个待进行版权侵权检索的作品，将该作品的待处理特征文件输入所述服务端部分，以获得该作品的检索特征文件。所述特征比对模块用于：对于每个待进行版权侵权检索的作品，将该作品的检索特征文件与特征库中的侵权比对用特征文件进行比对，以获得侵权检索结果。
本说明书实施例之一提供一种用于版权侵权检索的特征处理装置。所述装置包括处理器和存储设备，所述存储设备用于存储指令，当所述处理器执行指令时，实现如本说明书任一实施例所述的用于版权侵权检索的特征处理方法。
本说明书实施例之一提供一种用于版权侵权检索的特征库更新方法。所述方法由服务端执行，所述服务端部署有特征提取模型的服务端部分，所述特征提取模型还包括客户端部分，所述客户端部分的输入层为所述特征提取模型的输入层，所述服务端部分的输出层为所述特征提取模型的输出层，所述服务端还存储有所述特征库中各侵权对比用特征文件对应的第一特征文件，所述第一特征文件为利用客户端部分处理各侵权对比用特征文件对应的模型输入文件得到。所述方法包括：更新所述服务端部分；对于每个第一特征文件，将该第一特征文件输入更新后的服务端部分，以获得更新后的侵权对比用特征文件；将更新后的侵权对比用特征文件替换所述特征库中原有的侵权对比用特征文件。
本说明书实施例之一提供一种用于版权侵权检索的特征库更新***。所述***在服务端上实现，所述服务端部署有特征提取模型的服务端部分，所述特征提取模型还包括客户端部分，所述客户端部分的输入层为所述特征提取模型的输入层，所述服务端部分的输出层为所述特征提取模型的输出层，所述服务端还存储有所述特征库中各侵权对比用特征文件对应的第一特征文件，所述第一特征文件为利用客户端部分处理各侵权对比用特征文件对应的模型输入文件得到，所述***包括模型更新模块和特征更新模块。所述模型更新模块用于更新所述服务端部分。所述特征更新模块用于：对于每个第一特征文件，将该第一特征文件输入更新后的服务端部分，以获得更新后的侵权对比用特征文件，将更新后的侵权对比用特征文件替换所述特征库中原有的侵权对比用特征文件。
本说明书实施例之一提供一种用于版权侵权检索的特征库更新装置。所述装置包括处理器和存储设备，所述存储设备用于存储指令，当所述处理器执行指令时，实现如本说明书任一实施例所述的用于版权侵权检索的特征库更新方法。
附图说明
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书一些实施例所示的侵权检索服务的应用场景示意图；
图2是根据本说明书一些实施方式所示的在客户端部署特征提取模型的示意图；
图3是根据本说明书另一些实施方式所示的在客户端部署特征提取模型的示意图；
图4是根据本说明书一些实施例所示的提取浅层特征的示意图；
图5是根据本说明书一些实施例所示的用于版权侵权检索的特征提取***的示例性模块图；
图6是根据本说明书一些实施例所示的用于版权侵权检索的特征处理***的示例性模块图；
图7是根据本说明书一些实施例所示的用于版权侵权检索的特征库更新***的示例性模块图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本文使用的“***”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的***所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的侵权检索服务的应用场景示意图。
如图1所示，场景100可以包括客户端110、服务端120和网络130。
客户端110可以通过网络130向服务端120上传数据，以便服务端120基于客户端110上传的数据提供侵权检索服务。简单来说，侵权检索服务是指将待检测作品与已知获得版权的多个作品中的作品进行比对，以判断该待检测作品是否存在侵权风险。
在一些实施例中，客户端110可以包括各类计算设备，如智能电话、平板电脑、膝上型计算机、台式计算机、服务器等等。
在一些实施例中，服务端120可以包括服务器。服务器可以是独立的服务器或者服务器组，该服务器组可以是集中式的或者分布式的。在一些实施例中，服务器可以是区域的或者远程的。在一些实施例中，服务器可在云平台上执行。例如，该云平台可包括私有云、公共云、混合云、社区云、分散式云、内部云等中的一种或其任意组合。
网络130连接客户端110和服务端120，使得客户端110和服务端120之间可以进行通讯。网络130可以包括有线网络和/或无线网络。例如，网络130可以包括电缆网络、有线网络、光纤网络、电信网络、内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络(ZigBee)、近场通信(NFC)、设备内总线、设备内线路、线缆连接等或其任意组合。
在一些实施例中，可以将待检测作品的哈希值与已知获得版权的多个作品中的作品的哈希值进行比对，以获得侵权检索结果。一般情况下，若两个作品的哈希值相同，则可以认为其中一个作品对另一作品构成侵权。通过哈希比对判定侵权依据的是：当两个作品的内容相同时，产生的哈希值也是相同的，且通常情况下可认为哈希值与原始数据是一一对应的关系。具体地，可以将已知获得版权的作品的哈希值录入数据库(可简称底库)，在进行版权侵权检索时，可获得待检测作品的哈希值并在底库中检索是否存在相同的哈希值，若存在，则可认为该待检测作品存在侵权风险。哈希比对所提供的侵权检测能力有限，因为在一些情况下作品内容相似也可构成侵权。
在一些实施例中，可以利用训练好的特征提取模型生成待检测作品的检索特征文件。通过比对两个作品的检索特征文件，可以判断其中一个作品对另一作品是否构成侵权。
以图片作品为例，一张图片的检索特征文件可以包括将该图片输入特征提取模型得到的特征向量，通过计算两张图片的特征向量间的距离，可以判断其中一张图片对另一图片是否构成侵权。具体地，可以预先将已知获得版权的图片的特征向量作为侵权比对用特征文件录入数据库(以下称作特征库/底库)，在进行图片版权的侵权检索时，利用特征提取模型获得待检测图片的特征向量作为检索特征文件，并在特征库中检索是否存在相同或类似的特征向量(即向量检索)。若存在，则可认为该待检测图片存在侵权风险。
对于视频作品，可以对抽取出的视频帧(图片)进行特征提取。具体地，可以按固定的时间间隔对待检测视频进行抽帧，或者根据连续多帧图像的变化情况对视频进行抽帧，得到图片序列(或称作图像序列)。可以理解，图片序列中的不同帧可按在视频中出现的时间点排序。进而，可以利用特征提取模型将图片序列向量化，得到特征向量序列作为检索特征文件。可以理解，特征向量序列中的每个向量对应从视频中抽取出的一帧画面(即一张图片)。在进行向量检索时，对于特征向量序列中的每个向量，可在图片版权的特征库中检索是否存在相同或类似的特征向量，即获得向量检索结果。即，可以获得图片序列对应的向量检索结果序列。对该向量检索结果序列进行处理(可称作后处理)，可以获得待检测视频的侵权检索结果。例如，待检测视频的侵权检索结果可以指示待检测视频中哪些时间点对应的内容存在侵权风险。
应当理解，对于其他类型作品的版权侵权检索，可以参考上述示例。例如，对于文本/音频作品，可以预先将已知获得版权的作品的片段对应的特征向量作为侵权比对用特征文件录入特征库，在进行版权侵权检索时，可以将待检测作品拆分成片段(段落或语句)，利用特征提取模型获得该待检测作品的特征向量序列，获得各个音频片段对应的向量检索结果，对各个音频片段对应的向量检索结果进行后处理得到该待检测音频的侵权检索结果。
在一些实施例中，服务端还可以将侵权检索结果为不侵权的待检测作品对应的检索特征文件录入数据库，以扩增特征库中的侵权比对用特征文件，提高侵权检索的查全能力。
如图2所示，在一些实施方式中，可以将完整的特征提取模型部署于客户端。对于每个待进行版权侵权检索的作品(简称待检测作品)，客户端可以按以下流程进行处理：获得待检测作品的模型输入文件；将待检测作品的模型输入文件输入特征提取模型，以获得特征提取模型生成(输出)的检索特征文件；将待检测作品的检索特征文件上传给服务端。进而，对于每个待检测作品，服务端可以接收该作品的检索特征文件，并将该作品的检索特征文件用于版权侵权检索，即将该作品的检索特征文件与特征库中的侵权比对用特征文件进行比对以获得侵权检索结果。
参考前述内容，本说明书提及的模型输入文件可以是待检测作品(如图片)的原文件，也可以是待检测作品的预处理结果，如从视频中抽取的图像序列。
在此实施方式中，特征提取模型升级后，需要在客户端全量刷新历史上的存量数据(简称全量刷库)，即利用升级后的模型重新生成特征库中已有作品的侵权比对用特征文件，以确保模型升级后侵权检索的有效性。然而，全量刷库、升级时需要保存两个版本的模型、运行完整的特征提取模型等对于客户端而言都会产生较多成本。
在另一些实施方式中，还可以采用经过同态加密算法处理客户端的待检测作品，后续的侵权比对等处理也在同态加密的基础上进行。同态加密虽然可以保证客户数据的高度安全性，但是会在计算资源、硬件存储等方面耗费高昂的成本。
如图3所示，在另一些实施方式中，可以将特征提取模型拆分成客户端部分和服务端部分。应当理解，客户端部分部署于客户端，服务端部分部署于服务端。具体地，对于包含n(n为不小于2的整数)层的特征提取模型，可以将该特征提取模型的前k(k为小于n的整数)层作为客户端部分，将该特征提取模型的后n-k层作为客户端部分。即，客户端部分包含特征提取模型的输入层，客户端的输出为服务端的输入，服务端包含特征提取模型的输出层。仅作为示例，当特征提取模型为ResNet-101(101层的深度残差网络)时，可以将ResNet-101的前2层作为客户端部分，当特征提取模型为ResNet-50(50层的深度残差网络)时，可以将ResNet-50的前6层作为客户端部分。
对于每个待进行版权侵权检索的作品(简称待检测作品)，客户端可以按以下流程进行处理：获得待检测作品的模型输入文件；将所述模型输入文件输入客户端部分，以获得客户端部分生成(输出)的待处理特征文件；将待检测作品的待处理特征文件(简称待处理特征)上传给服务端。进而，对于每个待检测作品，服务端可以从客户端接收该作品的待处理特征文件，并将该待处理特征文件输入服务端部分，以获得用于版权侵权检索的检索特征文件。其中，版权侵权检索是指服务端可将待检测作品的检索特征文件与特征库中的侵权比对用特征文件进行比对以获得侵权检索结果。
在此实施方式中，由于客户端仅部署特征提取模型的一部分，可以减轻客户端在计算资源、硬件存储等方面耗费的成本，以实现轻量化客户端。无论是在传统的中心化的CS(Client-Server，客户机-服务器)架构下，还是在新型的去中心化的区块链架构下，客户端轻量化已然成为一项重要的业务需求。值得说明的是，为了尽可能减轻客户端的成本，客户端部分的层数可以不超过阈值，如不超过3层。鉴于此，特征提取模型的客户端部分也可称作“浅层”。
在一些实施例中，可以在隔离环境中部署特征提取模型的浅层，以防止客户数据(作品的原始内容/原文件)对外泄露。
网络隔离环境可以是指该环境不连接网络或者至少不连接外网，其可以通过各种途径实现。例如，可以由客户端所在的局域网提供网络隔离环境。又如，可以由客户购买的私有云服务器提供网络隔离环境，客户机可以与私有云服务器通信以调用特征提取模型的客户端部分。值得说明的是，在此场景下可将客户机与私有云服务器的组合看作客户端。在一些场景下，网络隔离环境在由不连接任何网络的单机实现。
在具体的实施方式中，可以由一个具备网络隔离环境的客户机(简称第一客户机)负责部署浅层，再由一个客户机(称为第二客户机)负责将作品的原文件提供给第二客户机，接收第一客户机返回的该作品的待处理特征文件，并将所述待处理特征文件上传至服务端。由于第一客户机在网络隔离环境中处理作品的原文件，连接外网的第二客户机负责上传待处理特征文件，可以有效避免在通过特征提取模型的客户端部分获取待处理特征文件的过程中泄露作品的原始内容。
在一些实施例中，版权侵权检索服务的提供商(简称服务商)可以通过镜像文件向客户方交付特征提取模型的浅层。客户端可以获取用于部署浅层的镜像文件，在网络隔离环境中由该镜像文件生成容器(如Docker)，以运行浅层。利用容器技术部署及运行浅层具备诸多优点，例如，可以提供标准化的运行环境、高效地利用***资源、实现持续交付和部署、易于迁移、维护和拓展、具备快速的启动时间等等。
在一些实施例中，考虑到模型参数属于服务商的商业机密，服务商交付的镜像文件中的模型参数可以是经过加密的，以免客户方获得模型参数的明文。
在一些实施例中，还可以在网络隔离环境中部署可信执行环境(TrustedExecution Environment，TEE)。版权侵权检索服务的提供商(简称服务商)可以直接将特征提取模型的浅层部署在TEE中。TEE中的操作可以保证不***作***访问，因此被称作“可信”，可以防止特征提取模型数据对外泄露。
需要说明的是，对于某些类型的作品(如视频)，版权侵权检索服务的提供商除了要向客户方交付特征提取模型的浅层(或完整的特征提取模型)外，还要向客户方交付预处理模块。该预处理模块用于对待检测作品(的原文件)进行预处理，以获得特征提取模型的模型输入文件。
在一些实施例中，客户端可以通过SDK上传特征文件(待处理特征文件或检索特征文件)给服务端。SDK全称Software Development Kit，意为软件开发工具包。SDK的大小很小(可以做到几百kB左右)，通过SDK上传时客户端传递的参数也很简单，可以极大减轻客户端对接至服务端的成本。
在一些实施例中，可以固定客户端部分的模型参数(即不更新客户端部分)，只更新服务端部分。如此，可以节省客户端因模型升级(更新)产生的成本。
更新服务端部分后，服务端可以基于存储的特征库中的各侵权比对用特征文件对应的第一特征文件和更新后的服务端部分对特征库进行更新。其中，第一特征文件为利用客户端部分处理各侵权对比用特征文件对应的模型输入文件得到，故第一特征文件与前述待处理特征文件同为客户端部分(浅层)的输出且同为服务端的输入。具体地，对于每个第一特征文件，服务端可以将该第一特征文件输入更新后的服务端部分，以获得更新后的侵权对比用特征文件，并将更新后的侵权对比用特征文件替换所述特征库中原有的侵权对比用特征文件，从而实现特征库的更新。
可以理解，本说明书中的不同实施例可以适当组合。下面结合图4进行示例。
图4是根据本说明书一些实施例所示的提取浅层特征的示意图。其中，浅层特征即待处理特征，其既是客户端部分的输出又是服务端部分的输入。
如图4所示，客户端可以包括负责上传浅层特征的客户机和具备网络隔离环境的客户机(图4中仅用虚线框示意了网络隔离环境)，这两个客户机均处于客户方的局域网(简称客户网络)中。在网络隔离环境中，可以由服务商交付的镜像文件生成容器，通过运行生成的容器即可运行特征提取模型的浅层，从而实现在网络隔离环境中运行浅层特征提取服务。客户机可以通过调用网络隔离环境中的浅层特征提取服务，基于待检测作品的原文件生成浅层特征。进而，客户机可通过调用SDK将获得的浅层特征上传至服务端，以获得版权侵权检索结果。
应当注意的是，上述有关流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
图5是根据本说明书一些实施例所示的用于版权侵权检索的特征提取***的示例性模块图。***500可以在客户端上实现。参考前述实施例，客户端可以包括具备网络隔离环境的第一客户机和负责上传待处理特征文件的第二客户机。
如图5所示，***500可以包括第一部署模块510和特征提取模块520。
第一部署模块510可以用于在所述网络隔离环境中部署特征提取模型的客户端部分。
特征提取模块520可以用于：对于每个待进行版权侵权检索的作品，获得该作品的模型输入文件，将所述模型输入文件输入所述客户端部分，以获得所述客户端部分输出的待处理特征文件，将所述待处理特征文件通过能够连接网络的客户机(如第二客户机)上传给部署有所述服务端部分的服务端，以便服务端利用所述服务端部分处理所述待处理特征文件得到检索特征文件，并将所述检索特征文件与特征库中的侵权比对用特征文件进行比对，以获得侵权检索结果。
图6是根据本说明书一些实施例所示的用于版权侵权检索的特征处理***的示例性模块图。部署有特征提取模型的服务端部分的服务端上实现。
如图6所示，***600可以包括特征接收模块610、特征处理模块620和特征比对模块630。
特征接收模块610可以用于：对于每个待进行版权侵权检索的作品，从客户端接收该作品的待处理特征文件。
特征处理模块620可以用于：对于每个待进行版权侵权检索的作品，将该作品的待处理特征文件输入所述服务端部分，以获得用于该作品的检索特征文件。
特征比对模块630可以用于：对于每个待进行版权侵权检索的作品，将该作品的检索特征文件与特征库中的侵权比对用特征文件进行比对，以获得侵权检索结果。
图7是根据本说明书一些实施例所示的用于版权侵权检索的特征库更新***的示例性模块图。***700可以在部署有特征提取模型的服务端部分的服务端上实现。服务端还存储有特征库中各侵权对比用特征文件对应的第一特征文件，所述第一特征文件为利用所述特征提取模型的客户端部分处理各侵权对比用特征文件对应的模型输入文件得到。
如图7所示，***700可以包括模型更新模块710和特征更新模块720。
模型更新模块710用于更新特征提取模型的服务端部分。
特征更新模块720可以用于：对于每个第一特征文件，将该第一特征文件输入更新后的服务端部分，以获得更新后的侵权对比用特征文件，将更新后的侵权对比用特征文件替换特征库中原有的侵权对比用特征文件。
关于图5～7所示的***及其模块的更多细节，可以参考图3～5及其相关描述。
应当理解，图5～7所示的***及其模块可以利用各种方式来实现。例如，在一些实施例中，***及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和***可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的***及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要注意的是，以上对于***及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解***的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子***与其他模块连接。例如，特征接收模块610和特征处理模块620可以是两个模块，也可以合并为一个模块。诸如此类的变形，均在本说明书的保护范围之内。
本说明书实施例可能带来的有益效果包括但不限于：(1)基于作品的原始内容提取特征，有助于满足多样化的侵权检索手段以及提供强大的侵权检索能力，进而获得全面、精准的侵权检测检索结果；(2)客户端仅部署部分特征提取模型，可以减轻客户端在计算资源、硬件存储等方面耗费的成本，以实现轻量化客户端；(3)通过固定客户端部分的模型参数(即不更新客户端部分)，只更新服务端部分，可以节省客户端因模型升级(更新)产生的成本；(4)在网络隔离环境中部署特征提取模型，可以保护客户数据安全；(5)通过SDK上传特征文件，可以极大减轻客户端对接至服务端的成本。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书实施例的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书实施例进行各种修改、改进和修正。该类修改、改进和修正在本说明书实施例中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书实施例的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书实施例的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。此外，本说明书实施例的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可以包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可以有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书实施例各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本说明书实施例所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书实施例流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的***。
同理，应当注意的是，为了简化本说明书实施例披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书实施例对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书实施例的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (14)

1.一种用于版权侵权检索的特征提取方法，其中，所述方法由客户端执行，其包括：
在网络隔离环境中部署特征提取模型的客户端部分，其中，所述特征提取模型还包括服务端部分，所述客户端部分的输入层为所述特征提取模型的输入层，所述服务端部分的输出层为所述特征提取模型的输出层，所述客户端部分的输出为所述服务端部分的输入；
对于每个待进行版权侵权检索的作品：获得该作品的模型输入文件；将所述模型输入文件输入所述客户端部分，以获得所述客户端部分输出的待处理特征文件；将所述待处理特征文件通过能够连接网络的客户机上传给部署有所述服务端部分的服务端，以便服务端利用所述服务端部分处理所述待处理特征文件得到检索特征文件，并将所述检索特征文件与特征库中的侵权比对用特征文件进行比对，以获得侵权检索结果。
2.如权利要求1所述的方法，其中，所述在网络隔离环境中部署特征提取模型的客户端部分，包括：
获取用于部署所述客户端部分的镜像文件；
在网络隔离环境中由所述镜像文件生成容器，以运行所述客户端部分。
3.如权利要求2所述的方法，其中，所述镜像文件包括经过加密的模型参数。
4.如权利要求1所述的方法，其中，所述将所述待处理特征文件通过能够连接网络的客户机上传给部署有所述服务端部分的服务端，包括：
通过所述客户机中的SDK将所述待处理特征文件上传给所述服务端。
5.如权利要求1所述的方法，其中，所述网络隔离环境由单机、局域网或私有云服务器提供。
6.如权利要求1所述的方法，其中，所述在网络隔离环境中部署特征提取模型的客户端部分，包括：
在网络隔离环境中部署可信执行环境；
将所述客户端部分部署在所述可信执行环境中。
7.一种用于版权侵权检索的特征提取***，其中，所述***在客户端上实现，所述***包括第一部署模块和特征提取模块；
所述第一部署模块用于在网络隔离环境中部署特征提取模型的客户端部分，其中，所述特征提取模型还包括服务端部分，所述客户端部分的输入层为所述特征提取模型的输入层，所述服务端部分的输出层为所述特征提取模型的输出层，所述客户端部分的输出为所述服务端部分的输入；
所述特征提取模块用于：对于每个待进行版权侵权检索的作品，获得该作品的模型输入文件，将所述模型输入文件输入所述客户端部分，以获得所述客户端部分输出的待处理特征文件，将所述待处理特征文件通过能够连接网络的客户机上传给部署有所述服务端部分的服务端，以便服务端利用所述服务端部分处理所述待处理特征文件得到检索特征文件，并将所述检索特征文件与特征库中的侵权比对用特征文件进行比对，以获得侵权检索结果。
8.一种用于版权侵权检索的特征提取装置，其中，包括处理器和存储设备，所述存储设备用于存储指令，当所述处理器执行指令时，实现如权利要求1～6中任一项所述的方法。
9.一种用于版权侵权检索的特征处理方法，其中，所述方法由服务端执行，所述服务端部署有特征提取模型的服务端部分，所述特征提取模型还包括客户端部分，所述客户端部分的输入层为所述特征提取模型的输入层，所述服务端部分的输出层为所述特征提取模型的输出层，所述方法包括：
对于每个待进行版权侵权检索的作品：从客户端接收该作品的待处理特征文件；将所述待处理特征文件输入所述服务端部分，以获得该作品的检索特征文件；将该作品的检索特征文件与特征库中的侵权比对用特征文件进行比对，以获得侵权检索结果。
10.一种用于版权侵权检索的特征处理***，其中，所述***在服务端上实现，所述服务端部署有特征提取模型的服务端部分，所述特征提取模型还包括客户端部分，所述客户端部分的输入层为所述特征提取模型的输入层，所述服务端部分的输出层为所述特征提取模型的输出层，所述***包括特征接收模块、特征处理模块和特征比对模块；
所述特征接收模块用于：对于每个待进行版权侵权检索的作品，从客户端接收该作品的待处理特征文件；
所述特征处理模块用于：对于每个待进行版权侵权检索的作品，将该作品的待处理特征文件输入所述服务端部分，以获得该作品的检索特征文件；
所述特征比对模块用于：对于每个待进行版权侵权检索的作品，将该作品的检索特征文件与特征库中的侵权比对用特征文件进行比对，以获得侵权检索结果。
11.一种用于版权侵权检索的特征处理装置，其中，包括处理器和存储设备，所述存储设备用于存储指令，当所述处理器执行指令时，实现如权利要求9所述的方法。
12.一种用于版权侵权检索的特征库更新方法，其中，所述方法由服务端执行，所述服务端部署有特征提取模型的服务端部分，所述特征提取模型还包括客户端部分，所述客户端部分的输入层为所述特征提取模型的输入层，所述服务端部分的输出层为所述特征提取模型的输出层，所述服务端还存储有所述特征库中各侵权对比用特征文件对应的第一特征文件，所述第一特征文件为利用客户端部分处理各侵权对比用特征文件对应的模型输入文件得到，所述方法包括：
更新所述服务端部分；
对于每个第一特征文件，将该第一特征文件输入更新后的服务端部分，以获得更新后的侵权对比用特征文件；
将更新后的侵权对比用特征文件替换所述特征库中原有的侵权对比用特征文件。
13.一种用于版权侵权检索的特征库更新***，其中，所述***在服务端上实现，所述服务端部署有特征提取模型的服务端部分，所述特征提取模型还包括客户端部分，所述客户端部分的输入层为所述特征提取模型的输入层，所述服务端部分的输出层为所述特征提取模型的输出层，所述服务端还存储有所述特征库中各侵权对比用特征文件对应的第一特征文件，所述第一特征文件为利用客户端部分处理各侵权对比用特征文件对应的模型输入文件得到，所述***包括模型更新模块和特征更新模块；
所述模型更新模块用于更新所述服务端部分；
所述特征更新模块用于：对于每个第一特征文件，将该第一特征文件输入更新后的服务端部分，以获得更新后的侵权对比用特征文件，将更新后的侵权对比用特征文件替换所述特征库中原有的侵权对比用特征文件。
14.一种用于版权侵权检索的特征库更新装置，其中，包括处理器和存储设备，所述存储设备用于存储指令，当所述处理器执行指令时，实现如权利要求12所述的方法。
CN202110303810.4A 2021-03-22 2021-03-22 用于版权侵权检索的特征提取、处理方法和*** Active CN113011342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110303810.4A CN113011342B (zh) 2021-03-22 2021-03-22 用于版权侵权检索的特征提取、处理方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110303810.4A CN113011342B (zh) 2021-03-22 2021-03-22 用于版权侵权检索的特征提取、处理方法和***

Publications (2)

Publication Number Publication Date
CN113011342A CN113011342A (zh) 2021-06-22
CN113011342B true CN113011342B (zh) 2022-06-14

Family

ID=76404552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110303810.4A Active CN113011342B (zh) 2021-03-22 2021-03-22 用于版权侵权检索的特征提取、处理方法和***

Country Status (1)

Country Link
CN (1) CN113011342B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966020A (zh) * 2014-07-24 2015-10-07 哈尔滨安天科技股份有限公司 基于特征向量的反病毒云检测方法及***
CN107832384A (zh) * 2017-10-28 2018-03-23 北京安妮全版权科技发展有限公司 侵权检测方法、装置、存储介质和电子设备
CN107967416A (zh) * 2016-10-19 2018-04-27 华为技术有限公司 版权维权检测的方法、装置和***
CN110365762A (zh) * 2019-07-10 2019-10-22 腾讯科技（深圳）有限公司 服务处理方法、装置、设备及存储介质
CN110427258A (zh) * 2019-07-31 2019-11-08 腾讯科技（深圳）有限公司 基于云平台的资源调度控制方法及装置
CN112395457A (zh) * 2020-12-11 2021-02-23 中国搜索信息科技股份有限公司 一种应用于视频版权保护的视频待检索定位方法
CN112417381A (zh) * 2020-12-11 2021-02-26 中国搜索信息科技股份有限公司 应用于图像版权保护的快速定位侵权图像的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347855A (zh) * 2019-07-17 2019-10-18 京东方科技集团股份有限公司 画作推荐方法、终端设备、服务器、计算机设备及介质
CN110427895A (zh) * 2019-08-06 2019-11-08 李震 一种基于计算机视觉的视频内容相似度判别方法及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104966020A (zh) * 2014-07-24 2015-10-07 哈尔滨安天科技股份有限公司 基于特征向量的反病毒云检测方法及***
CN107967416A (zh) * 2016-10-19 2018-04-27 华为技术有限公司 版权维权检测的方法、装置和***
CN107832384A (zh) * 2017-10-28 2018-03-23 北京安妮全版权科技发展有限公司 侵权检测方法、装置、存储介质和电子设备
CN110365762A (zh) * 2019-07-10 2019-10-22 腾讯科技（深圳）有限公司 服务处理方法、装置、设备及存储介质
CN110427258A (zh) * 2019-07-31 2019-11-08 腾讯科技（深圳）有限公司 基于云平台的资源调度控制方法及装置
CN112395457A (zh) * 2020-12-11 2021-02-23 中国搜索信息科技股份有限公司 一种应用于视频版权保护的视频待检索定位方法
CN112417381A (zh) * 2020-12-11 2021-02-26 中国搜索信息科技股份有限公司 应用于图像版权保护的快速定位侵权图像的方法及装置

Also Published As

Publication number Publication date
CN113011342A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN107316083B (zh) 用于更新深度学习模型的方法和装置
CN104461491B (zh) 一种Hybrid组件的运行方法和***
US20150089224A1 (en) Application Gateway Architecture with Multi-Level Security Policy and Rule Promulgations
US20140032915A1 (en) Method and apparatus for validating the integrity of installer files prior to installation
WO2017036228A1 (zh) 一种实现***升级的方法及装置
US9940115B2 (en) Mobile application deployment for distributed computing environments
CN107643984B (zh) 用于输出信息的方法和装置
CN106155661B (zh) 一种控件接入方法及装置
EP3851991A1 (en) System, device, and method of providing authenticity and rights verification mechanism for media content and for its derived versions
WO2016202000A1 (zh) 差分回退升级方法及装置
US20180174267A1 (en) Systems and methods for multimedia processing
WO2021121407A1 (zh) 一种虚拟机的容量更改方法及装置
CN110866224A (zh) 一种基于区块链的图片确权方法和***
US11544346B2 (en) System and method for generation of starter websites
CN106682491A (zh) 应用下载方法和装置
CN113011342B (zh) 用于版权侵权检索的特征提取、处理方法和***
CN111488170A (zh) 业务处理模型的更新方法、装置及设备
CN106599637B (zh) 一种在验证界面输入验证码的方法和装置
CN108595924B (zh) 一种业务权限管理方法、装置、计算机设备及存储介质
US9922388B2 (en) Systems and methods for multimedia processing
CN106611118A (zh) 申请登录凭证的方法和装置
US20220327849A1 (en) Computer-Implemented Method For Optical Character Recognition
CN110287087B (zh) 用于检测应用的方法和装置
CN108063679B (zh) 一种云管理平台的升级方法及装置
CN112346740A (zh) 一种通过应用来核实设备标识符的方法及其***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant