CN110633740A

CN110633740A - 一种图像语义匹配方法、终端及计算机可读存储介质

Info

Publication number: CN110633740A
Application number: CN201910824888.3A
Authority: CN
Inventors: 王健宗; 彭俊清; 瞿晓阳
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2019-09-02
Filing date: 2019-09-02
Publication date: 2019-12-31
Anticipated expiration: 2039-09-02
Also published as: CN110633740B; WO2021043092A1

Abstract

本发明公开了一种图像语义匹配方法、终端及计算机可读存储介质，通过解析第一图像、第二图像分别得到第一特征标签集和第二特征标签集，匹配第一特征标签集中的各个特征标签与第二特征标签集中的各个特征标签，确定第一特征标签集与第二特征标签集所共有的特征标签，基于第一特征标签集与第二特征标签集所共有的特征标签确定第一图像与第二图像的语义匹配关系可以通过解析没有关系的、不成对的第一图像与第二图像分别得到第一特征标签集、第二特征标签集，基于第一特征标签集与第二特征标签集所共有的特征标签可以确定第一图像与第二图像的是否具有语义关系。

Description

一种图像语义匹配方法、终端及计算机可读存储介质

技术领域

本发明涉及电子技术领域，更具体地说，涉及一种图像语义匹配方法、终端及计算机可读存储介质。

背景技术

语义匹配，即在不同的对象实例或场景之间建立语义对应关系，大多数的语义匹配研究都集中在有一定关系、已成对的图像上，而对于没有关系的、不成对的图像，则没有方法实现语义匹配。

发明内容

本发明新提供了一种图像语义匹配方法、终端及计算机可读存储介质。

本发明提供一种图像语义匹配方法，该方法包括：

解析第一图像、第二图像分别得到第一特征标签集和第二特征标签集，第一特征标签集包括第一图像中各个主体的特征标签，第二特征标签包括第二图像中各个主体的特征标签；

匹配第一特征标签集中的各个特征标签与第二特征标签集中的各个特征标签，确定第一特征标签集与第二特征标签集所共有的特征标签；

基于第一特征标签集与第二特征标签集所共有的特征标签确定第一图像与第二图像的语义匹配关系。

可选的，特征标签包括图像中各个主体的位置标签、像素标签、面积标签；

位置标签为主体在图像中的位置；

像素标签包括主体的平均亮度、灰度、色相、色调或色温信息；

面积标签包括主体的面积，或主体占图像总面积的比值。

可选的，解析第一图像、第二图像分别得到第一特征标签集和第二特征标签集，包括：

确定第一图像、第二图像中的主体；

基于第一图像、第二图像中的主体确定第一图像、第二图像中各个主体的特征标签；

将第一图像中各个主体的特征标签确定为第一图像的特征标签集，将第二图像中各个主体的特征标签确定为第二图像的特征标签集。

可选的，匹配第一特征标签集中的各个特征标签与第二特征标签集中的各个特征标签，确定第一特征标签集与第二特征标签集所共有的特征标签，包括：

将第一图像中的各个主体与第二图像中的各个主体进行匹配，确定第一图像与第二图像所共有的主体；

比较第一图像与第二图像所共有的主体的特征标签，得到共有的主体的特征标签，并将特征标签作为第一特征标签集与第二特征标签集所共有的特征标签。

对第一特征标签集中的各个特征标签与第二特征标签集中的各个特征标签进行分类；

分别将第一特征标签集与第二特征标签集中相同类别的特征标签进行比较，确定第一特征标签集与第二特征标签集所共有的特征标签。

可选的，基于第一特征标签集与第二特征标签集所共有的特征标签确定第一图像与第二图像的语义匹配关系，包括：

当共有的特征标签的数量大于等于预设标签数量时，判断第一图像与第二图像具有语义关系。

确定第一图像的第一特征标签集中的重要特征标签；

当第一特征标签集与第二特征标签集所共有的特征标签中包括重要特征标签时，判断第一图像与第二图像具有语义关系。

可选的，确定第一图像的第一特征标签集中的重要特征标签，包括：

确定第一图像中占图面积最大的主体的各个特征标签为重要特征标签；

或者，确定第一图像中亮度最大的主体的各个特征标签为重要特征标签；

或者，确定第一图像在九宫格中的第五宫格内的各个主体的特征标签为重要特征标签。

进一步的，本发明还提供了一种一种装置，包括处理器、存储器及通信总线；

通信总线用于实现处理器和存储器之间的连接通信；

处理器用于执行存储器中存储的一个或者多个程序，以实现如上的图像语义匹配方法的步骤。

进一步的，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上的图像语义匹配方法的步骤。

本发明提供了一种图像语义匹配方法、终端及计算机可读存储介质，可以通过解析没有关系的、不成对的第一图像与第二图像分别得到第一特征标签集、第二特征标签集，基于第一特征标签集与第二特征标签集所共有的特征标签可以确定第一图像与第二图像的是否具有语义关系。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的图像语义匹配方法的基本流程图；

图2为本发明实施例提供的图像语义匹配方法的细化流程图；

图3为本发明实施例提供的实现图像语义匹配方法的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本实施例提供的图像语义匹配方法基本流程图，该包括：

S101、解析第一图像、第二图像分别得到第一特征标签集和第二特征标签集。

步骤S101中，第一特征标签集包括第一图像中各个主体的特征标签，第二特征标签包括第二图像中各个主体的特征标签。

图像中的主体是图像中显眼的、与背景相具有对比反差的，同时，图像中的主体可以有多个。举个例子，一张图像中显示的画面为一条狗在草地上奔跑，这张图像中的主体为奔跑的狗，而背景即为草地。

特征标签可以包括图像中各个主体的位置标签、像素标签、面积标签中的一个或多个。在同时包括位置标签、像素标签、面积标签的示例下，位置标签为主体在图像中的位置；像素标签包括图像中主体的平均亮度、灰度、色相、色调或色温信息；面积标签包括主体的面积，或主体占图像总面积的比值。

需要了解的是，第一图像与第二图像可以是一定关系、已成对的图像，也可以是没有关系的、不成对的图像，对具有一定关系、已成对的图像，可以通过现有的语义匹配方法实现确定两图像是否具有语义关系；而对于没有关系的、不成对的图像，现有的语义匹配方法将不能判断其是否具有语义关系，基于此，本发明提出了此图像语义匹配方法。

S102、匹配第一特征标签集中的各个特征标签与第二特征标签集中的各个特征标签，确定第一特征标签集与第二特征标签集所共有的特征标签。

需要了解的是，特征标签集中的特征标签并不是混乱记录的，而是按照不同的主体进行记录的，如第一图像中包括主体1、主体2，对应第一图像特征标签集中就包括主体1的位置标签、像素标签、面积标签，以及主体2的位置标签、像素标签、面积标签。

因此，步骤S102中匹配确定第一特征标签集与第二特征标签集中共有特征标签的过程可以为：

(1)以第一图像、第二图像中的主体为单位先进行匹配，确定第一图像与第二图像的共有的主体，之后再对共有的主体的特征标签进行匹配，从而确定第一特征标签集与第二特征标签集所共有的特征标签。

(2)由于特征标签包括位置标签、像素标签、面积标签，因此可以先将第一特征标签集、第二特征标签集中的特征标签集按照特征标签的种类进行分类，如位置标签集、像素标签集、面积标签集，之后分别将第一特征标签集中的位置标签集与第二特征标签集中的位置标签集中各个位置标签分别记进行比较，从而确定出第一特征标签集与第二特征标签集所共有的特征标签。

S103、基于第一特征标签集与第二特征标签集所共有的特征标签确定第一图像与第二图像的语义匹配关系。

需要注意的是，可以通过确定共有的特征标签的数量与预设标签数量的关系，进一步判断第一图像与第二图像是否具有语义关系；也可以通过确定第一特征标签集与第二特征标签集所共有的特征标签中包括第一图像的重要特征标签时，判断第一图像与第二图像具有语义关系。

下文将基于上述介绍的图像语义匹配方法，继续介绍本发明提供的图像语义匹配方法的其他一些实施例。

请参见图2，图2为本发明第二实施例提供的图像语义匹配方法细化流程图，该方法包括：

S201、确定第一图像、第二图像中的主体。

图像中的主体是图像中显眼的、与背景相具有对比反差的，同时，图像中的主体可以有多个。

S202、基于第一图像、第二图像中的主体确定第一图像、第二图像中各个主体的特征标签。

特征标签可以包括图像中各个主体的位置标签、像素标签、面积标签中的一个或多个。

位置标签为主体在图像中的位置；像素标签包括图像中主体的平均亮度、灰度、色相、色调或色温信息；面积标签包括主体的面积，或主体占图像总面积的比值。

S203、将第一图像中各个主体的特征标签确定为第一图像的特征标签集，将第二图像中各个主体的特征标签确定为第二图像的特征标签集。

需要再次注意的是，第一特征标签集包括第一图像中各个主体的特征标签，第二特征标签包括第二图像中各个主体的特征标签。

S204、匹配第一特征标签集中的各个特征标签与第二特征标签集中的各个特征标签，确定第一特征标签集与第二特征标签集所共有的特征标签。

特征标签集中的特征标签并不是混乱记录的，而是按照不同的主体进行记录的，如第一图像中包括主体1、主体2，对应第一图像特征标签集中就包括主体1的位置标签、像素标签、面积标签，以及主体2的位置标签、像素标签、面积标签。

确定第一特征标签集与第二特征标签集所共有的特征标签的方法包括以下两种方式，本实施例以第一种为例继续介绍本发明。

第一种：

S20411、将所第一图像中的各个主体与第二图像中的各个主体进行匹配，确定第一图像与第二图像所共有的主体。

S20412、比较第一图像与第二图像所共有的主体的特征标签，得到共有的主体的特征标签，并将特征标签作为第一特征标签集与第二特征标签集所共有的特征标签。

第二种：

S20421、对第一特征标签集中的各个特征标签与第二特征标签集中的各个特征标签进行分类。

需要理解的是，特征标签包括位置标签、像素标签、面积标签这三类，对应分类可以得到位置标签集、像素标签集、面积标签集。

S20422、分别将第一特征标签集与第二特征标签集中相同类别的特征标签进行比较，确定第一特征标签集与第二特征标签集所共有的特征标签。

分别将第一特征标签集中的位置标签集与第二特征标签集中的位置标签集中各个位置标签分别记进行比较，从而确定出第一特征标签集与第二特征标签集所共有的特征标签。

S205、基于第一特征标签集与第二特征标签集所共有的特征标签确定第一图像与第二图像的语义匹配关系。

在另外的示例下，步骤S205还可以通过以下两个步骤实现：

S2051、确定第一图像的第一特征标签集中的重要特征标签。

需要理解的是，重要特征标签为图像中重要的主体对应的特征标签集合，重要的主体可以为图像中占图面积最大的主体、亮度最大的主体或者九宫格中的第五宫格内的各个主体。

因此，确定第一图像的第一特征标签集中重要特征标签可以为确定第一图像中占图面积最大的主体的各个特征标签为重要特征标签；也可以为确定第一图像中亮度最大的主体的各个特征标签为重要特征标签；还可以为确定第一图像在九宫格中的第五宫格内的各个主体的特征标签为重要特征标签。

S2052、当第一特征标签集与第二特征标签集所共有的特征标签中包括重要特征标签时，判断第一图像与第二图像具有语义关系

本实施例还提供了一种装置，参见图3所示，其包括处理器31、存储器32及通信总线33，其中：

通信总线33用于实现处理器31和存储器32之间的连接通信；

处理器31用于执行存储器32中存储的图像语义匹配程序，以实现上述各个实施例中的图像语义匹配方法的各步骤。

本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上的各个实施例中的图像语义匹配方法的各个步骤。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述，同时，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims

1.一种图像语义匹配方法，其特征在于，所述方法包括：

解析第一图像、第二图像分别得到第一特征标签集和第二特征标签集，所述第一特征标签集包括所述第一图像中各个主体的特征标签，所述第二特征标签包括所述第二图像中各个主体的特征标签；

匹配所述第一特征标签集中的各个特征标签与所述第二特征标签集中的各个特征标签，确定所述第一特征标签集与所述第二特征标签集所共有的特征标签；

基于所述第一特征标签集与所述第二特征标签集所共有的特征标签确定所述第一图像与所述第二图像的语义匹配关系。

2.如权利要求1所述的图像语义匹配方法，其特征在于，所述特征标签包括图像中各个主体的位置标签、像素标签、面积标签；

所述位置标签为主体在图像中的位置；

所述像素标签包括主体的平均亮度、灰度、色相、色调或色温信息；

所述面积标签包括主体的面积，或所述主体占所述图像总面积的比值。

3.如权利要求1所述的图像语义匹配方法，其特征在于，所述解析第一图像、第二图像分别得到第一特征标签集和第二特征标签集，包括：

确定第一图像、第二图像中的主体；

基于所述第一图像、第二图像中的主体确定所述第一图像、第二图像中各个主体的特征标签；

将所述第一图像中各个主体的特征标签确定为所述第一图像的特征标签集，将所述第二图像中各个主体的特征标签确定为所述第二图像的特征标签集。

4.如权利要求1所述的图像语义匹配方法，其特征在于，所述匹配所述第一特征标签集中的各个特征标签与所述第二特征标签集中的各个特征标签，确定所述第一特征标签集与所述第二特征标签集所共有的特征标签，包括：

将所述第一图像中的各个主体与所述第二图像中的各个主体进行匹配，确定所述第一图像与所述第二图像所共有的主体；

比较所述第一图像与所述第二图像所共有的主体的特征标签，得到所述共有的主体的特征标签，并将所述特征标签作为所述第一特征标签集与所述第二特征标签集所共有的特征标签。

5.如权利要求1所述的图像语义匹配方法，其特征在于，所述匹配所述第一特征标签集中的各个特征标签与所述第二特征标签集中的各个特征标签，确定所述第一特征标签集与所述第二特征标签集所共有的特征标签，包括：

对所述第一特征标签集中的各个特征标签与所述第二特征标签集中的各个特征标签进行分类；

分别将所述第一特征标签集与所述第二特征标签集中相同类别的特征标签进行比较，确定所述第一特征标签集与所述第二特征标签集所共有的特征标签。

6.如权利要求1所述的图像语义匹配方法，其特征在于，所述基于所述第一特征标签集与所述第二特征标签集所共有的特征标签确定所述第一图像与所述第二图像的语义匹配关系，包括：

当所述共有的特征标签的数量大于等于预设标签数量时，判断所述第一图像与所述第二图像具有语义关系。

7.如权利要求1所述的图像语义匹配方法，其特征在于，所述基于所述第一特征标签集与所述第二特征标签集所共有的特征标签确定所述第一图像与所述第二图像的语义匹配关系，包括：

确定所述第一图像的第一特征标签集中的重要特征标签；

当所述第一特征标签集与所述第二特征标签集所共有的特征标签中包括所述重要特征标签时，判断所述第一图像与所述第二图像具有语义关系。

8.如权利要求7所述的图像语义匹配方法，其特征在于，所述确定所述第一图像的第一特征标签集中的重要特征标签，包括：

确定所述第一图像中占图面积最大的主体的各个特征标签为重要特征标签；

或者，确定所述第一图像中亮度最大的主体的各个特征标签为重要特征标签；

或者，确定所述第一图像在九宫格中的第五宫格内的各个主体的特征标签为重要特征标签。

9.一种装置，其特征在于，所述装置包括处理器、存储器及通信总线；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的一个或者多个程序，以实现如权利要求1至8中任一项所述的图像语义匹配方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至8中任一项所述的图像语义匹配方法的步骤。