CN112232357A - 图像处理方法、装置、计算机可读存储介质及电子设备 - Google Patents

Abstract

本公开实施例提供了一种图像处理方法、装置、计算机可读存储介质以及电子设备，涉及计算机技术领域，所述方法包括：获取当前图像，所述当前图像包括第一对象和第二对象；获取所述第一对象的第一特征数据和所述第二对象的第二特征数据；通过第一神经网络模型对所述第一特征数据和所述第二特征数据进行处理，获得所述第一对象和所述第二对象之间的关系信息。本公开实施例的技术方案通过对当前图像的第一对象和第二对象的特征数据进行处理，得到第一对象和第二对象之间的关系信息，将对象间关系信息引入提取的图像特征，实现了图像信息和场景语义信息关联，提升了图像特征的表达能力。

Description

图像处理方法、装置、计算机可读存储介质及电子设备

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种图像处理方法、装置、计算机可读存储介质以及电子设备。

背景技术

相关技术中，一般基于图像中独立的单个物体进行图像特征提取。比如图像中含有一个人和一只动物，基于单个物体的图像特征提取方法只能得到图像中有人和动物的结论，同时得到人和动物在图像中的位置。

但在实际应用场景下，两个物体间往往具有语义关联，比如人喂动物，人骑动物，人看动物等等。根据单个物体进行图像特征提取得到的图像特征中，只包含人在动物旁边的结论，并不能体现人和动物之间的语义关联。

这样，得到的图像特征不能对图像中场景进行全面的理解，图像特征表达能力不足。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

公开内容

本公开实施例的目的在于提供一种图像处理方法、装置、计算机可读存储介质以及电子设备，进而至少在一定程度上提升图像特征的表达能力。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取当前图像，所述当前图像包括第一对象和第二对象；获取所述第一对象的第一特征数据和所述第二对象的第二特征数据；通过第一神经网络模型对所述第一特征数据和所述第二特征数据进行处理，获得所述第一对象和所述第二对象之间的关系信息。

在一些实施例中，所述第一特征数据包括所述第一对象的位置信息、类别信息和属性信息中的至少一种，所述第二特征数据包括所述第二对象的位置信息、类别信息和属性信息中的至少一种。

在一些实施例中，所述方法还包括：获取第一训练数据集；利用所述第一训练数据集训练所述第一神经网络模型。

在一些实施例中，获取第一训练数据集，包括：获取历史图像，所述历史图像包括n个第三对象，n为大于1的正整数；通过第二神经网络模型对所述历史图像进行处理，获得各第三对象的第三特征数据；标注两两组合的第三对象之间的关系信息；根据两两组合的第三对象的第三特征数据及其对应的关系信息形成所述第一训练数据集。

在一些实施例中，通过第二神经网络模型对所述历史图像进行处理，包括：将所述历史图像划分为不同的候选图像区域；通过第二神经网络模型分别对所述不同的候选图像区域进行处理，使得每个所述候选图像区域包含一个第三对象；根据所述第三对象和所述第三对象对应的候选图像区域，获得各所述第三对象的第三特征数据。

在一些实施例中，所述第一神经网络模型包括残差神经网络或快速区域卷积神经网络。

在一些实施例中，所述获取所述第一对象的第一特征数据和所述第二对象的第二特征数据，包括：通过所述第二神经网络模型对所述当前图像进行处理，获取所述第一对象的第一特征数据和所述第二对象的第二特征数据。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：图像获取单元，用于获取当前图像，所述当前图像包括第一对象和第二对象；特征数据获取单元，用于获取所述第一对象的第一特征数据和所述第二对象的第二特征数据；关系信息获取单元，用于通过第一神经网络模型对所述第一特征数据和所述第二特征数据进行处理，获得所述第一对象和所述第二对象之间的关系信息。

根据本公开实施例的第三方面，提供了计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的图像处理方法。

根据本公开实施例的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的图像处理方法。

本公开实施例提供的技术方案可以包括以下有益效果：

在本公开的一些实施例所提供的技术方案中，通过对当前图像的第一对象的和第二对象的特征数据进行处理，得到第一对象和第二对象之间的关系信息，将对象间关系信息引入提取的图像特征，实现了图像信息和场景语义信息关联，提升了图像特征的表达能力。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出了根据本公开实施例的图像处理方法的流程图；

图2示意性示出了根据本公开实施例的图像中物体之间的关系示意图；

图3示意性示出了根据本公开实施例的图像处理流程的示意图；

图4示意性示出了根据本公开实施例的图像处理流程的方框图；

图5示意性示出了根据本公开一种实施例的图像处理装置的方框图；

图6示意性示出了根据本公开另一种实施例的图像处理装置的方框图；

图7示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

语义理解(Semantic Understanding)是计算机视觉与多媒体领域中一个前沿的极具挑战性的任务。语义理解将图像中的内容和相应的文字描述联系起来，完成由图像到文本选项的转换，比如视觉问答(Visual Question Answer，VQA)、看图说话(ImageCaptioning)等任务。得益于近年来深度学习方法，如ResNet(Residual Neural Network，残差神经网络)和Faster RCNN(Faster Regions with Convolutional Neural Networks，快速区域卷积神经网络)等深度神经网络的广泛应用，目前可以自适应地提取复杂的图像特征，这些图像特征也为语义理解任务提供基础。

目前主要的获取图像特征的方法有基于整体图像的特征表示和基于独立物体的图像特征表示两种。前者来源于图像分类问题，主要关注图像中显著物体；后者来源于物体检测，在选出多个物体的可能存在区域后，分别提取区域特征。这两种方法都是假设一个或多个物体独立存在于图像中，物体之间没有交互和联系。这样，图像特征仍旧停留在图像中单个或者多个物体的视觉感知即视觉特征描述层面，无法全面地对图像中多个物体的之间的相互联系进行建模。

为解决上述问题，本公开实施例提供一种图像处理方法，在图像特征描述中加入物体之间的关系信息，以有助于理解物体在图像中出现的原因或出现在场景中的影响，对图像中高层语言进行认知与理解。

图1示意性示出了本公开的示例性实施方式的图像处理方法。本公开实施例提供的方法可以由任何具备计算处理能力的电子设备执行，例如终端设备和/或服务器，本公开对此不作限定。参考图1，本公开实施例提供的图像处理方法可以包括以下步骤：

步骤S102，获取当前图像，当前图像包括第一对象和第二对象。

步骤S104，获取第一对象的第一特征数据和第二对象的第二特征数据。

步骤S106，通过第一神经网络模型对第一特征数据和第二特征数据进行处理，获得第一对象和第二对象之间的关系信息。

在本公开实施例的技术方案中，先获取对象的特征数据，再通过第一神经网络模型对这些对象的特征数据进行处理，获得两个对象之间的关系信息，这样就可以识别两个对象之间在语义上的关联，对图像中的场景进行全面的理解，满足视觉认知任务的要求。

具体地，本公开实施例中，在图像特征描述中加入对象之间的关系信息，从而可以在理解图像中对象间关系的前提下，有效的将图像中的多个检测出的对象建立联系，使得多个孤立的对象彼此连结。这样，可以形成对场景和语义更加深刻的理解。

在本公开实施例中，所述第一特征数据可以包括第一对象的位置信息、类别信息和属性信息等中的至少一种，所述第二特征数据可以包括第二对象的位置信息、类别信息和属性信息中的至少一种。

在步骤S104中，可以通过第二神经网络模型对当前图像进行处理，获取所述第一对象的第一特征数据和所述第二对象的第二特征数据。

在步骤S106之前，需要训练第一神经网络模型。训练第一神经网络模型时，首先获取第一训练数据集，然后再利用第一训练数据集训练第一神经网络模型。

具体地，获取第一训练数据集时，需要获取历史图像，历史图像包括n个第三对象，n为大于1的正整数。之后，通过第二神经网络模型对历史图像进行处理，获得各第三对象的第三特征数据。此外，还需要标注两两组合的第三对象之间的关系信息，最后根据两两组合的第三对象的第三特征数据及其对应的关系信息形成第一训练数据集。

如图2所示，在本公开实施例中，以一张火车站的图像为历史图像。其中，该历史图像中的物体包括乘客205和乘客202、火车201、站台206、钟表204和地面203。这些物体即可以为第三对象。将这些第三对象两两组合后，获取两两组合的第三对象之间的关系信息。这些第三对象之间的关系信息结合这些第三对象以及第三对象的第三特征数据，即可形成第一训练数据集。其中，两两组合的第三对象之间的关系信息包括：乘客205离开火车201，乘客202面向火车201，钟表204矗立在地面203上以及火车201停靠在站台206旁边。

如图3所示，在通过第二神经网络模型对历史图像进行处理时，首先将历史图像划分为不同的候选图像区域，再通过第二神经网络模型分别对不同的候选图像区域进行处理即抽取物体视觉特征，使得每个候选图像区域包含一个第三对象，然后根据第三对象和第三对象对应的候选图像区域，获得各第三对象的第三特征数据。这里，第三特征数据包括物***置、物体类别和物体属性。

如图3所示的两个第三对象分别为熊和蜂蜜，这两个第三对象的相互关系为舔，即熊舔蜂蜜。

这里，第二神经网络模型可以提取图像中的单个物体的图像特征，并且通过对物***置和类别的学习使得第二神经网络模型具有对单个物体的描述能力。

在提取图片中单个物体后，假设通过第二神经网络模型得到初步的所有k个单个物体对象特征表达F_i，其中i＝0,1,……，k。将所有单个物体两两组合得到[F_i,F_j]，其中j＝0,1,……，k，同时i≠j，将这些数据和两两组合后的物体的相互关系作为第一训练数据集，即可以训练得到第一神经网络模型。

在本公开实施例中，第一神经网络模型可以为残差神经网络或快速区域卷积神经网络，且并不局限于此。

公开实施例中，通过将关系数据、物***置、类别、属性联合训练可以得到第一神经网络模型，如图4所示，第一神经网络模型可以将全图的单物体信息和多物体交互关系信息同时学习，对图片有着***而全面的表示，其学习到的特征对需要高层语义的或者视觉认知级别的任务上有很好的表现和性能。

采用本发明方法，在VQA任务比较中，对VQA-2.0数据集进行实验，在不改变方法只更换图片特征的条件下，在现今性能最好的两种方法MFH和MUTAN方法中相比原有方法分别取得1.73％和0.57％的提升。其中，MFH和MUTAN是针对视觉问答任务的两项开源技术。在看图说话任务中，相对截至目前最好方法，在CIDEr指标上提升了8.64％。其中，CIDEr是评价看图说话任务最后生成句子的质量的一个指标。

在本公开的一些实施例所提供的图像处理方法中，通过对当前图像的第一对象的和第二对象的特征数据进行处理得到第一对象和第二对象之间的关系信息，将对象间关系信息引入提取的图像特征，实现了图像信息和场景语义信息关联，提升了图像特征的表达能力。

以下介绍本公开的装置实施例，可以用于执行本公开上述的图像处理方法。具体地，参考图5，本公开实施例提供的图像处理装置300可以包括：

图像获取单元302，可以用于获取当前图像，当前图像包括第一对象和第二对象。

特征数据获取单元304，可以用于获取第一对象的第一特征数据和第二对象的第二特征数据。

关系信息获取单元306，可以用于通过第一神经网络模型对第一特征数据和第二特征数据进行处理，获得第一对象和第二对象之间的关系信息。

根据本公开的示例性实施例，参考图6，相比较图像处理装置300，图像处理装置400不仅包括图像获取单元302、特征数据获取单元304和关系信息获取单元306，还包括数据集获取单元402和训练单元404。

数据集获取单元402用于获取第一训练数据集。训练单元404用于利用第一训练数据集训练第一神经网络模型。

数据集获取单元402可以包括获取子单元、处理子单元、标注子单元和形成子单元。其中：

获取子单元可以用于获取历史图像，该历史图像包括n个第三对象，n为大于1的正整数。处理子单元用于通过第二神经网络模型对历史图像进行处理，获得各第三对象的第三特征数据。标注子单元用于标注两两组合的第三对象之间的关系信息。形成子单元用于根据两两组合的第三对象的第三特征数据及其对应的关系信息形成第一训练数据集。

具体地，处理子单元在通过第二神经网络模型对所述历史图像进行处理时，首先将所述历史图像划分为不同的候选图像区域，再通过第二神经网络模型分别对所述不同的候选图像区域进行处理，使得每个所述候选图像区域包含一个第三对象，然后根据所述第三对象和所述第三对象对应的候选图像区域，获得各所述第三对象的第三特征数据。

由于本公开的示例实施例的图像处理装置的各个功能模块与上述图像处理方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的图像处理方法的实施例。

在本公开的实施例所提供的图像处理装置，通过对当前图像的第一对象的和第二对象的特征数据进行处理得到第一对象和第二对象之间的关系信息，将对象间关系信息引入提取的图像特征，实现了图像信息和场景语义信息关联，提升了图像特征的表达能力。

下面参考图7，其示出了适于用来实现本公开实施例的电子设备的计算机***500的结构示意图。图7示出的电子设备的计算机***500仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图7所示，计算机***500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有***操作所需的各种程序和数据。CPU501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的***中限定的上述功能。

需要说明的是，本公开所示的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者发送用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质发送，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的图像处理方法。

例如，所述的电子设备可以实现如图1中所示的：步骤S102，获取当前图像，所述当前图像包括第一对象和第二对象；步骤S104，获取所述第一对象的第一特征数据和所述第二对象的第二特征数据；步骤S106，通过第一神经网络模型对所述第一特征数据和所述第二特征数据进行处理，获得所述第一对象和所述第二对象之间的关系信息。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取当前图像，所述当前图像包括第一对象和第二对象；

获取所述第一对象的第一特征数据和所述第二对象的第二特征数据；

通过第一神经网络模型对所述第一特征数据和所述第二特征数据进行处理，获得所述第一对象和所述第二对象之间的关系信息。

2.根据权利要求1所述的方法，其特征在于，所述第一特征数据包括所述第一对象的位置信息、类别信息和属性信息中的至少一种，所述第二特征数据包括所述第二对象的位置信息、类别信息和属性信息中的至少一种。

3.根据权利要求2所述的方法，其特征在于，还包括：

获取第一训练数据集；

利用所述第一训练数据集训练所述第一神经网络模型。

4.根据权利要求3所述的方法，其特征在于，获取第一训练数据集，包括：

获取历史图像，所述历史图像包括n个第三对象，n为大于1的正整数；

通过第二神经网络模型对所述历史图像进行处理，获得各第三对象的第三特征数据；

标注两两组合的第三对象之间的关系信息；

根据两两组合的第三对象的第三特征数据及其对应的关系信息形成所述第一训练数据集。

5.根据权利要求4所述的方法，其特征在于，通过第二神经网络模型对所述历史图像进行处理，包括：

将所述历史图像划分为不同的候选图像区域；

通过第二神经网络模型分别对所述不同的候选图像区域进行处理，使得每个所述候选图像区域包含一个第三对象；

根据所述第三对象和所述第三对象对应的候选图像区域，获得各所述第三对象的第三特征数据。

6.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型包括残差神经网络或快速区域卷积神经网络。

7.根据权利要求5所述的方法，其特征在于，所述获取所述第一对象的第一特征数据和所述第二对象的第二特征数据，包括：

通过所述第二神经网络模型对所述当前图像进行处理，获取所述第一对象的第一特征数据和所述第二对象的第二特征数据。

8.一种图像处理装置，其特征在于，包括：

图像获取单元，用于获取当前图像，所述当前图像包括第一对象和第二对象；

特征数据获取单元，用于获取所述第一对象的第一特征数据和所述第二对象的第二特征数据；

关系信息获取单元，用于通过第一神经网络模型对所述第一特征数据和所述第二特征数据进行处理，获得所述第一对象和所述第二对象之间的关系信息。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的图像处理方法。

Images