CN109740571A - 图像采集的方法、图像处理的方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种图像采集的方法、图像处理的方法、装置和电子设备，该图像采集的方法包括：获取摄像机拍摄到的原始图像；采用目标检测模型对原始图像进行目标检测处理，得到目标对象的包围框信息；基于原始图像和包围框信息确定训练样本。本发明通过目标检测模型对原始图像实现了自动标注，提高了标注的效率和准确性，并且在目标区域内摆满目标对象的情况下，可以一次性得到目标对象在目标区域中各个位置的一张原始图像，如此得到多张不同摆放姿态的目标对象的原始图像，这样，在基于原始图像和包围框信息确定的训练样本中，目标对象的图像信息也更加全面，缓解了现有的图像采集方法采集的图像不全面，效率低，易出错的技术问题。

Description

图像采集的方法、图像处理的方法、装置和电子设备

技术领域

本发明涉及图像处理的技术领域，尤其是涉及一种图像采集的方法、图像处理的方法、装置和电子设备。

背景技术

无人货柜(unmanned supermarket)是零售行业在物联网和互联网融合下的产物，随着新零售场景下无人结算和便捷收银需求的日益增长，无人货柜获得越来越多的关注。基于视觉方案的静态无人货柜的模型(包括检测模型和分类模型)在训练时需要大量的货架图和相应的商品标注信息。不同于传统的图像数据采集，货柜内部的商品图像采集需要考虑到商品在货柜内部的不同位置，此外，对于每种商品，还要采集其单品不同角度的图像。

现行的采集方法多通过人为地随意摆放货柜内部的多种商品(一般需要采集人员按照指定规则进行多次摆放操作)，然后通过鱼眼摄像头对随意摆放后的多种商品进行图像采集，以及通过鱼眼摄像头对货柜内部的不同位置的每种单品进行单独采集，进而再对采集得到的图像进行人工标注。该采集方法无法很好的考虑到每种商品在货柜内部的各种可能位置，采集得到的图像信息不全，并且人工随意摆放的工作量大，人工标注的效率低，易出错。

综上，现有的图像采集方法采集的图像不全面，效率低，易出错的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种图像采集的方法、图像处理的方法、装置和电子设备，以缓解现有的图像采集方法采集的图像不全面，效率低，易出错的技术问题。

第一方面，本发明实施例提供了一种图像采集的方法，应用于处理器，所述处理器与摄像机相连接，所述摄像机安装在目标区域内，所述目标区域中按照预设摆放原则摆放目标对象，包括：获取所述摄像机拍摄到的原始图像；所述原始图像中包括多种摆放姿态的目标对象；采用目标检测模型对所述原始图像进行目标检测处理，得到所述目标对象的包围框信息；所述目标检测模型为训练之后的检测模型；基于所述原始图像和所述包围框信息确定训练样本；所述训练样本包括目标对象的图像信息和/或目标对象的类别信息。

进一步地，基于所述原始图像和所述包围框信息确定训练样本包括：在所述原始图像中确定所述包围框信息所确定的包围框所包围的目标对象的类别信息；在所述原始图像中确定所述包围框信息所确定的包围框所包围的目标对象的图像信息；基于所述图像信息和所述类别信息构建所述训练样本。

进一步地，在所述原始图像中确定所述包围框信息所确定的包围框所包围的目标对象的图像信息包括：按照所述包围框信息所确定的包围框对所述原始图像进行裁剪，得到所述目标对象的图像信息。

进一步地，所述方法还包括：获取包含训练对象的多张训练样本图像和每张训练样本图像中训练对象的包围框信息，其中，所述多张训练样本图像中包含所述目标区域内的训练对象在多种不同姿态下的图像信息；通过所述多张训练样本图像和每张训练样本图像中训练对象的包围框信息对所述目标检测模型的原始模型进行训练，得到所述目标检测模型。

进一步地，获取包含训练对象的多张训练样本图像和每张训练样本图像中训练对象的包围框信息包括：获取所述摄像机对所述目标区域中的训练对象拍摄得到的原始图像，并确定所述原始图像中训练对象的包围框信息；对所述原始图像进行扩充，得到扩充图像，并确定所述扩充图像中训练对象的包围框信息；将所述原始图像和所述扩充图像作为所述多张训练样本图像，并基于所述原始图像中训练对象的包围框信息和所述扩充图像中训练对象的包围框信息确定每张训练样本图像中训练对象的包围框信息。

进一步地，对所述原始图像进行扩充，得到扩充图像包括：获取目标背景图像，其中，所述目标背景图像为所述摄像机对所述目标区域进行拍摄得到的图像，且所述目标背景图像中不包含训练对象；对所述原始图像进行前景分割，得到前景图像；将所述前景图像粘贴到所述目标背景图像中，得到所述扩充图像。

进一步地，对所述原始图像进行扩充，得到扩充图像还包括：对所述原始图像进行旋转处理，得到第一扩充子图像；对所述原始图像进行镜像处理，得到第二扩充子图像；将所述第一扩充子图像和所述第二扩充子图像作为所述扩充图像。

第二方面，本发明实施例还提供了一种图像处理的方法，包括：获取待处理图像，其中，所述待处理图像中包括至少一个待识别对象；利用分类模型对所述待处理图像中的待识别对象进行分类处理，得到所述待处理图像中待识别对象的类别信息，其中，所述分类模型为通过上述第一方面中任一项所述的方法得到的训练样本对原始分类模型进行训练之后得到的模型。

进一步地，在获取待处理图像之后，所述方法还包括：若所述待处理图像中包含多个待识别对象，则对所述待处理图像进行裁剪，得到至少一个子图像，其中，每个所述子图像中包含所述待处理图像中的一个待识别对象。

进一步地，利用分类模型对所述待处理图像中的待识别对象进行分类处理包括：将每个所述子图像输入到所述分类模型中进行分类处理，以根据分类处理结果确定每个所述子图像中所包含的待识别对象的类别信息。

第三方面，本发明实施例还提供了一种图像采集的装置，应用于处理器，所述处理器与摄像机相连接，所述摄像机安装在目标区域内，所述目标区域中按照预设摆放原则摆放目标对象，包括：第一获取单元，用于获取所述摄像机拍摄到的原始图像；所述原始图像中包括多种摆放姿态的目标对象；检测处理单元，用于采用目标检测模型对所述原始图像进行目标检测处理，得到所述目标对象的包围框信息；所述目标检测模型为训练之后的检测模型；确定单元，用于基于所述原始图像和所述包围框信息确定训练样本；所述训练样本包括目标对象的图像信息和/或目标对象的类别信息。

第四方面，本发明实施例还提供了一种图像处理的装置，包括：第二获取单元，用于获取待处理图像，其中，所述待处理图像中包括至少一个待识别对象；分类处理单元，用于利用分类模型对所述待处理图像中的待识别对象进行分类处理，得到所述待处理图像中待识别对象的类别信息，其中，所述分类模型为通过上述第一方面中任一项所述的方法得到的训练样本对原始分类模型进行训练之后得到的模型。

第五方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤，或者，实现上述第二方面任一项所述的方法的步骤。

第六方面，本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面任一项所述的方法的步骤，或者，执行上述第二方面任一项所述的方法的步骤。

在本发明实施例中，首先，获取摄像机拍摄到的原始图像；然后，采用目标检测模型对原始图像进行目标检测处理，得到目标对象的包围框信息；最后，基于原始图像和包围框信息确定训练样本，该训练样本包括目标对象的图像信息和/或目标对象的类别信息。通过上述描述可知，在本发明实施例中，通过目标检测模型对原始图像实现了自动标注，提高了标注的效率和准确性，并且在目标区域内摆满目标对象的情况下，可以一次性得到目标对象在目标区域中各个位置的一张原始图像，如此得到多张不同摆放姿态的目标对象的原始图像，这样，在基于原始图像和包围框信息确定的训练样本中，目标对象的图像信息更加全面，缓解了现有的图像采集方法采集的图像不全面，效率低，易出错的技术问题。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子设备的示意图；

图2为本发明实施例提供的一种图像采集的方法的流程图；

图3为本发明实施例提供的一种无人售货机的示意图；

图4为本发明实施例提供的通过鱼眼摄像头拍摄得到的货架上的商品图像的示意图；

图5为本发明实施例提供的一种图像处理的方法的流程图；

图6为本发明实施例提供的一种图像采集的装置的示意图；

图7为本发明实施例提供的一种图像处理的装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的图像采集的方法。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像机110，这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP，Digital Signal Processing)、现场可编程门阵列(FPGA，Field－Programmable Gate Array)、可编程逻辑阵列(PLA，Programmable Logic Array)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU，Central ProcessingUnit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述摄像机110用于进行原始图像的采集，其中，摄像机所采集的原始图像经过所述图像采集的方法进行处理之后得到训练样本，例如，摄像机可以拍摄用户期望的图像(例如照片、视频等)，然后，将该图像经过所述图像采集的方法进行处理之后得到训练样本，摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像采集的方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端。

实施例2：

根据本发明实施例，提供了一种图像采集的方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种图像采集的方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，获取摄像机拍摄到的原始图像；原始图像中包括多种摆放姿态的目标对象；

在本发明实施例中，该图像采集的方法应用于处理器，处理器与摄像机相连接，摄像机安装在目标区域内，目标区域中按照预设摆放原则摆放目标对象。

具体的，目标区域可以理解为被监控的区域，该目标区域可以是指地理范围内的区域(比如：河北省内的区域)，也可以为具体实物内的区域(比如：无人售货机中的货架区域、某间房间内的区域等等)，本发明实施例对目标区域不进行具体限制。

在本发明实施例中，以目标区域为无人售货机中的货架区域为例进行说明。图3为本发明的一种无人售货机的示意图，在图3中所示的无人售货机中，其中包含三层货架，实现时，在每层货架的顶部分别安装一个鱼眼摄像头(即本发明中的摄像机)，每个鱼眼摄像头的视角可以覆盖其下方的货架，再将鱼眼摄像头与处理器(可以为带有GPU(GraphicsProcessing Unit，图形处理器)运算的电脑)连接，这样，鱼眼摄像头采集到的图像就能发送至处理器，进而由处理器对图像进行处理。

当目标区域为无人售货机中的货架区域时，目标对象可以为货架上的一种商品(比如，罐装百事可乐)。在该种应用场景下，无人售货机要实现无人售货，需要分类模型对用户购买的商品图像(通过鱼眼摄像头拍摄得到)进行分类，确定商品图像中的商品的类别信息。但是，在通过鱼眼摄像头拍摄得到的货架上的商品图像中，同种商品在图像中会呈现不同的姿态，如图4所示。当用分类模型对鱼眼摄像头所拍摄的商品图像进行分类时，分类模型对于其没见过的同种商品的不同姿态在一定程度上会造成大量的错误分类。因此，需要采集商品在货架上各种姿态下的图像，这样通过采集得到的商品在货架上各种姿态下的图像作为训练样本对分类模型进行训练后，才能提高分类模型分类的准确性。

为了得到各种商品在货架上各种姿态下的图像，本发明中的图像采集的方法在实现时，在一层货架上摆满(即本发明中的预设摆放原则)同一种商品，这样，鱼眼摄像头在对货架中的商品(即目标对象)进行拍摄时，就能一次性得到该种商品在货架的不同摆放位置的一张原始图像，然后，调整货架上的该种商品的摆放位置和/或摆放角度(即本发明中的摆放姿态)，再对货架上的该种商品进行拍摄，得到另一张原始图像，如此，便能得到多张不同摆放姿态的目标对象的原始图像。

步骤S204，采用目标检测模型对原始图像进行目标检测处理，得到目标对象的包围框信息；目标检测模型为训练之后的检测模型；

在得到上述多张不同摆放姿态的目标对象的原始图像后，采用目标检测模型对上述多张原始图像进行目标检测处理，得到目标对象的包围框信息。其中，目标检测模型为训练之后的检测模型，下文中再对目标检测模型的训练过程进行具体介绍，在此不再赘述。

步骤S206，基于原始图像和包围框信息确定训练样本；训练样本包括目标对象的图像信息和/或目标对象的类别信息。

在得到目标对象的包围框信息后，进一步基于原始图像和包围框信息确定训练样本。确定得到的训练样本中，包括目标对象的图像信息和/或目标对象的类别信息。下文中再对该过程进行详细描述，在此不再赘述。

在本发明实施例中，首先，获取摄像机拍摄到的原始图像；然后，采用目标检测模型对原始图像进行目标检测处理，得到目标对象的包围框信息；最后，基于原始图像和包围框信息确定训练样本，该训练样本包括目标对象的图像信息和/或目标对象的类别信息。通过上述描述可知，在本发明实施例中，通过目标检测模型对原始图像实现了自动标注，提高了标注的效率和准确性，并且在目标区域内摆满目标对象的情况下，可以一次性得到目标对象在目标区域中各个位置的一张原始图像，如此得到多张不同摆放姿态的目标对象的原始图像，这样，在基于原始图像和包围框信息确定的训练样本中，目标对象的图像信息更加全面，缓解了现有的图像采集方法采集的图像不全面，效率低，易出错的技术问题。

上述内容对本发明的图像采集的方法进行了简要介绍，下面对其中涉及到的具体内容进行详细描述。

在本发明的一个可选实施例中，步骤S206，基于原始图像和包围框信息确定训练样本包括如下步骤：

步骤S2061，在原始图像中确定包围框信息所确定的包围框所包围的目标对象的类别信息；

具体实现时，如步骤S202中的内容可知，由于一层货架上摆满同一种商品，用户摆放时，用户可知该层货架上摆放商品的类别信息，所以用户可以将类别信息输入至处理器，从而处理器就能根据用户输入的预设类别信息确定原始图像中包围框信息所确定的包围框所包围的目标对象的类别信息，进而，处理器再对原始图像中包围框信息所确定的包围框所包围的目标对象进行类别信息标注，得到携带类别信息的原始图像。

步骤S2062，在原始图像中确定包围框信息所确定的包围框所包围的目标对象的图像信息；

具体的，在得到携带类别信息的原始图像后，按照包围框信息所确定的包围框对携带类别信息的原始图像进行裁剪，得到目标对象的图像信息。其中，裁剪之后，每个目标对象的图像信息中仅包含一个目标对象。

步骤S2063，基于图像信息和类别信息构建训练样本。

在得到图像信息和类别信息后，将裁剪之后的带有目标对象的图像信息和带有目标对象的类别信息的图像作为训练样本。

通过上述描述可知，在目标区域内摆满目标对象的情况下，可以一次性得到目标对象在目标区域中各个位置的一张原始图像，调整目标区域内的目标对象的姿态后，再次对目标对象进行拍摄，如此得到多张不同摆放姿态的目标对象的原始图像，再采用目标检测模型对多张原始图像进行目标检测处理，得到目标对象的包围框信息，然后，根据预设类别信息对每张包围框信息所确定的包围框中的目标对象进行类别信息标注，得到携带类别信息的原始图像，最后，按照包围框信息所确定的包围框对携带类别信息的原始图像进行裁剪，裁剪之后得到的带有目标对象的图像信息和带有目标对象的类别信息的图像(可称之为单品图像)作为训练样本。这样，可以一次性得到大量包含不同姿态下目标对象的训练样本，得到的训练样本中的目标对象的图像信息(是指目标对象不同姿态下的图像信息)更加全面，避免了对目标对象各个姿态下的图像进行单独采集的过程，提升了单品图像的采集效率，另外，通过机器标注(即采用目标检测模型对原始图像进行目标检测处理)代替繁琐的人工标注，准确性好，且进一步提升了图像采集的效率。

上述内容对本发明的图像采集的方法进行了详细介绍，下面对目标检测模型的训练过程进行详细介绍。

在本发明的一个可选实施例中，该方法还包括如下步骤：

步骤S301，获取包含训练对象的多张训练样本图像和每张训练样本图像中训练对象的包围框信息，其中，多张训练样本图像中包含目标区域内的训练对象在多种不同姿态下的图像信息；

获取包含训练对象的多张训练样本图像和每张训练样本图像中训练对象的包围框信息具体包括如下步骤：

步骤S3011，获取摄像机对目标区域中的训练对象拍摄得到的原始图像，并确定原始图像中训练对象的包围框信息；

在本发明实施例中，原始图像的获取过程为：货架上摆满同一种训练对象，然后，通过货架顶部的鱼眼摄像头对训练对象进行拍摄，得到一张原始图像；然后，调整货架上训练对象的姿态，调整后再对货架上的训练对象进行拍摄，得到另外一张原始图像，如此，对于一种训练对象拍摄预设数量张(优选为20张，本发明实施例对其不进行限制)原始图像。再对拍摄的预设数量张原始图像进行人工标注，得到原始图像中训练对象的包围框信息。

在完成该种训练对象的原始图像采集后，按照上述方式继续对另外的训练对象的原始图像进行采集。

需要说明的是，采集时，应当尽可能多的采集各种形状的训练对象的原始图像，采集到的训练对象的原始图像即为多张训练样本图像中的部分图像。

步骤S3012，对原始图像进行扩充，得到扩充图像，并确定扩充图像中训练对象的包围框信息；

在得到原始图像后，如上述步骤S3011所述，上述原始图像的数据量很少，如果训练对象共10种，每种采集20张原始图像，那么训练样本图像共200张，采用200张的训练样本图像对目标检测模型的原始模型训练后，得到的目标检测模型的处理精度很难满足要求。

为此，需要对原始图像进行扩充，扩充时可采用以下两种方式：

方式一：

1、获取目标背景图像，其中，目标背景图像为摄像机对目标区域进行拍摄得到的图像，且目标背景图像中不包含训练对象；

具体的，目标背景图像为摄像机对不包含训练对象的目标区域进行拍摄得到的图像。例如，对空的货架进行拍摄得到的图像。

2、对原始图像进行前景分割，得到前景图像；

具体的，对原始图像中的训练对象进行前景分割，得到前景图像。

3、将前景图像粘贴到目标背景图像中，得到扩充图像。

在得到训练对象的前景图像和目标背景图像后，将训练对象的前景图像粘贴到目标背景图像上，得到扩充图像。粘贴时，应该保证任意两个训练对象的前景图像之间互不相交。

需要说明的是，在得到训练对象的前景图像后，将训练对象的前景图像保存为PNG格式(PNG格式的图像为带有透明通道的图像，其中，训练对象的前景图像位于PNG格式的图像的中间位置，在训练对象的前景图像的周围存在透明通道，使得整个的PNG格式的图像呈现为矩形图像)，然后将PNG格式的图像粘贴到目标背景图像上，由于PNG格式的图像为矩形图像，所以粘贴时，能够确定矩形图像在目标背景图像上的左上角坐标和右下角坐标，这样也就是能确定扩充图像中训练对象的包围框信息。

方式二：

具体包括如下步骤：

(a)对原始图像进行旋转处理，得到第一扩充子图像；

(b)对原始图像进行镜像处理，得到第二扩充子图像；

(c)将第一扩充子图像和第二扩充子图像作为扩充图像。

具体的，在进行上述旋转处理和镜像处理时，由于原始图像中训练对象的包围框信息已知，那么可以根据具体的转换方式分别确定第一扩充子图像和第二扩充子图像中训练对象的包围框信息。

步骤S3013，将原始图像和扩充图像作为多张训练样本图像，并基于原始图像中训练对象的包围框信息和扩充图像中训练对象的包围框信息确定每张训练样本图像中训练对象的包围框信息

在得到原始图像和扩充图像后，将原始图像和扩充图像作为多张训练样本图像，并基于原始图像中训练对象的包围框信息和扩充图像中训练对象的包围框信息确定每张训练样本图像中训练对象的包围框信息。

步骤S302，通过多张训练样本图像和每张训练样本图像中训练对象的包围框信息对目标检测模型的原始模型进行训练，得到目标检测模型。

通过上述的描述可知，本发明中训练目标检测模型时，需要人工标注的数据量少，训练样本图像中的图像可通过扩充得到，这样，在保证目标检测模型处理精度的前提下，大大减少了人工标注的工作量，节省了人力成本。

实施例3：

根据本发明实施例，提供了一种图像处理的方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图5是根据本发明实施例的一种图像处理的方法的流程图，如图5所示，该方法包括如下步骤：

步骤S502，获取待处理图像，其中，待处理图像中包括至少一个待识别对象；

步骤S504，利用分类模型对待处理图像中的待识别对象进行分类处理，得到待处理图像中待识别对象的类别信息，其中，分类模型为通过上述实施例2中的方法得到的训练样本对原始分类模型进行训练之后得到的模型。

本发明图像处理的方法中，采用的分类模型为上述实施例2中的方法得到的训练样本对原始分类模型进行训练之后得到的模型，实施例2中的方法得到的训练样本中，包含了对象在各个姿态下的单品图像，这样训练得到的分类模型的处理精度更高，最终得到的类别信息更加准确。

在本发明的一个可选实施例中，在获取待处理图像之后，该方法还包括如下步骤：若待处理图像中包含多个待识别对象，则对待处理图像进行裁剪，得到至少一个子图像，其中，每个子图像中包含待处理图像中的一个待识别对象。

在本发明的一个可选实施例中，利用分类模型对待处理图像中的待识别对象进行分类处理包括：将每个子图像输入到分类模型中进行分类处理，以根据分类处理结果确定每个子图像中所包含的待识别对象的类别信息。

实施例4：

本发明实施例还提供了一种图像采集的装置，该图像采集的装置主要用于执行本发明实施例上述内容所提供的图像采集的方法，以下对本发明实施例提供的图像采集的装置做具体介绍。

图6是根据本发明实施例的一种图像采集的装置的示意图，如图6所示，该装置应用于处理器，处理器与摄像机相连接，摄像机安装在目标区域内，目标区域中按照预设摆放原则摆放目标对象，该图像采集的装置主要包括第一获取单元10，检测处理单元20和确定单元30，其中：

第一获取单元，用于获取摄像机拍摄到的原始图像；原始图像中包括多种摆放姿态的目标对象；

检测处理单元，用于采用目标检测模型对原始图像进行目标检测处理，得到目标对象的包围框信息；目标检测模型为训练之后的检测模型；

确定单元，用于基于原始图像和包围框信息确定训练样本；训练样本包括目标对象的图像信息和/或目标对象的类别信息。

在本发明实施例中，首先，获取摄像机拍摄到的原始图像；然后，采用目标检测模型对原始图像进行目标检测处理，得到目标对象的包围框信息；最后，基于原始图像和包围框信息确定训练样本，该训练样本包括目标对象的图像信息和/或目标对象的类别信息。通过上述描述可知，在本发明实施例中，通过目标检测模型对原始图像实现了自动标注，提高了标注的效率和准确性，并且在目标区域内摆满目标对象的情况下，可以一次性得到目标对象在目标区域中各个位置的一张原始图像，如此得到多张不同摆放姿态的目标对象的原始图像，这样，在基于原始图像和包围框信息确定的训练样本中，目标对象的图像信息更加全面，缓解了现有的图像采集方法采集的图像不全面，效率低，易出错的技术问题。

可选地，确定单元还用于：在原始图像中确定包围框信息所确定的包围框所包围的目标对象的类别信息；在原始图像中确定包围框信息所确定的包围框所包围的目标对象的图像信息；基于图像信息和类别信息构建训练样本。

可选地，确定单元还用于：按照包围框信息所确定的包围框对原始图像进行裁剪，得到目标对象的图像信息。

可选地，该装置还用于：获取包含训练对象的多张训练样本图像和每张训练样本图像中训练对象的包围框信息，其中，多张训练样本图像中包含目标区域内的训练对象在多种不同姿态下的图像信息；通过多张训练样本图像和每张训练样本图像中训练对象的包围框信息对目标检测模型的原始模型进行训练，得到目标检测模型。

可选地，该装置还用于：获取摄像机对目标区域中的训练对象拍摄得到的原始图像，并确定原始图像中训练对象的包围框信息；对原始图像进行扩充，得到扩充图像，并确定扩充图像中训练对象的包围框信息；将原始图像和扩充图像作为多张训练样本图像，并基于原始图像中训练对象的包围框信息和扩充图像中训练对象的包围框信息确定每张训练样本图像中训练对象的包围框信息。

可选地，该装置还用于：获取目标背景图像，其中，目标背景图像为摄像机对目标区域进行拍摄得到的图像，且目标背景图像中不包含训练对象；对原始图像进行前景分割，得到前景图像；将前景图像粘贴到目标背景图像中，得到扩充图像。

可选地，该装置还用于：对原始图像进行旋转处理，得到第一扩充子图像；对原始图像进行镜像处理，得到第二扩充子图像；将第一扩充子图像和第二扩充子图像作为扩充图像。

本发明实施例所提供的图像采集的装置，其实现原理及产生的技术效果和前述实施例2中的方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例5：

本发明实施例还提供了一种图像处理的装置，该图像处理的装置主要用于执行本发明实施例上述内容所提供的图像处理的方法，以下对本发明实施例提供的图像处理的装置做具体介绍。

图7是根据本发明实施例的一种图像处理的装置的示意图，如图7所示，该图像处理的装置主要包括第二获取单元40和分类处理单元50，其中：

第二获取单元，用于获取待处理图像，其中，待处理图像中包括至少一个待识别对象；

分类处理单元，用于利用分类模型对待处理图像中的待识别对象进行分类处理，得到待处理图像中待识别对象的类别信息，其中，分类模型为通过上述实施例2中的方法得到的训练样本对原始分类模型进行训练之后得到的模型。

本发明图像处理的装置中，采用的分类模型为上述实施例2中的方法得到的训练样本对原始分类模型进行训练之后得到的模型，实施例2中的方法得到的训练样本中，包含了对象在各个姿态下的单品图像，这样训练得到的分类模型的处理精度更高，最终得到的类别信息更加准确。

可选地，该装置还用于：若待处理图像中包含多个待识别对象，则对待处理图像进行裁剪，得到至少一个子图像，其中，每个子图像中包含待处理图像中的一个待识别对象。

可选地，分类处理单元还用于：将每个子图像输入到分类模型中进行分类处理，以根据分类处理结果确定每个子图像中所包含的待识别对象的类别信息。

本发明实施例所提供的图像处理的装置，其实现原理及产生的技术效果和前述实施例3中的方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

在另一个实施例中，还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述权实施例2或实施例3中任意实施例所述的方法的步骤。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种图像采集的方法，其特征在于，应用于处理器，所述处理器与摄像机相连接，所述摄像机安装在目标区域内，所述目标区域中按照预设摆放原则摆放目标对象，包括：

获取所述摄像机拍摄到的原始图像；所述原始图像中包括多种摆放姿态的目标对象；

采用目标检测模型对所述原始图像进行目标检测处理，得到所述目标对象的包围框信息；所述目标检测模型为训练之后的检测模型；

基于所述原始图像和所述包围框信息确定训练样本；所述训练样本包括目标对象的图像信息和/或目标对象的类别信息。

2.根据权利要求1所述的方法，其特征在于，基于所述原始图像和所述包围框信息确定训练样本包括：

在所述原始图像中确定所述包围框信息所确定的包围框所包围的目标对象的类别信息；

在所述原始图像中确定所述包围框信息所确定的包围框所包围的目标对象的图像信息；

基于所述图像信息和所述类别信息构建所述训练样本。

3.根据权利要求2所述的方法，其特征在于，在所述原始图像中确定所述包围框信息所确定的包围框所包围的目标对象的图像信息包括：

按照所述包围框信息所确定的包围框对所述原始图像进行裁剪，得到所述目标对象的图像信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取包含训练对象的多张训练样本图像和每张训练样本图像中训练对象的包围框信息，其中，所述多张训练样本图像中包含所述目标区域内的训练对象在多种不同姿态下的图像信息；

通过所述多张训练样本图像和每张训练样本图像中训练对象的包围框信息对所述目标检测模型的原始模型进行训练，得到所述目标检测模型。

5.根据权利要求4所述的方法，其特征在于，获取包含训练对象的多张训练样本图像和每张训练样本图像中训练对象的包围框信息包括：

获取所述摄像机对所述目标区域中的训练对象拍摄得到的原始图像，并确定所述原始图像中训练对象的包围框信息；

对所述原始图像进行扩充，得到扩充图像，并确定所述扩充图像中训练对象的包围框信息；

将所述原始图像和所述扩充图像作为所述多张训练样本图像，并基于所述原始图像中训练对象的包围框信息和所述扩充图像中训练对象的包围框信息确定每张训练样本图像中训练对象的包围框信息。

6.根据权利要求5所述的方法，其特征在于，对所述原始图像进行扩充，得到扩充图像包括：

获取目标背景图像，其中，所述目标背景图像为所述摄像机对所述目标区域进行拍摄得到的图像，且所述目标背景图像中不包含训练对象；

对所述原始图像进行前景分割，得到前景图像；

将所述前景图像粘贴到所述目标背景图像中，得到所述扩充图像。

7.根据权利要求5所述的方法，其特征在于，对所述原始图像进行扩充，得到扩充图像还包括：

对所述原始图像进行旋转处理，得到第一扩充子图像；

对所述原始图像进行镜像处理，得到第二扩充子图像；

将所述第一扩充子图像和所述第二扩充子图像作为所述扩充图像。

8.一种图像处理的方法，其特征在于，包括：

获取待处理图像，其中，所述待处理图像中包括至少一个待识别对象；

利用分类模型对所述待处理图像中的待识别对象进行分类处理，得到所述待处理图像中待识别对象的类别信息，其中，所述分类模型为通过上述权利要求1至7中任一项所述的方法得到的训练样本对原始分类模型进行训练之后得到的模型。

9.根据权利要求8所述的方法，其特征在于，在获取待处理图像之后，所述方法还包括：

若所述待处理图像中包含多个待识别对象，则对所述待处理图像进行裁剪，得到至少一个子图像，其中，每个所述子图像中包含所述待处理图像中的一个待识别对象。

10.根据权利要求9所述的方法，其特征在于，利用分类模型对所述待处理图像中的待识别对象进行分类处理包括：

将每个所述子图像输入到所述分类模型中进行分类处理，以根据分类处理结果确定每个所述子图像中所包含的待识别对象的类别信息。

11.一种图像采集的装置，其特征在于，应用于处理器，所述处理器与摄像机相连接，所述摄像机安装在目标区域内，所述目标区域中按照预设摆放原则摆放目标对象，包括：

第一获取单元，用于获取所述摄像机拍摄到的原始图像；所述原始图像中包括多种摆放姿态的目标对象；

检测处理单元，用于采用目标检测模型对所述原始图像进行目标检测处理，得到所述目标对象的包围框信息；所述目标检测模型为训练之后的检测模型；

确定单元，用于基于所述原始图像和所述包围框信息确定训练样本；所述训练样本包括目标对象的图像信息和/或目标对象的类别信息。

12.一种图像处理的装置，其特征在于，包括：

第二获取单元，用于获取待处理图像，其中，所述待处理图像中包括至少一个待识别对象；

分类处理单元，用于利用分类模型对所述待处理图像中的待识别对象进行分类处理，得到所述待处理图像中待识别对象的类别信息，其中，所述分类模型为通过上述权利要求1至7中任一项所述的方法得到的训练样本对原始分类模型进行训练之后得到的模型。

13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7中任一项所述的方法的步骤，或者，实现上述权利要求8至10中任一项所述的方法的步骤。

14.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至7中任一项所述的方法的步骤，或者，执行上述权利要求8至10中任一项所述的方法的步骤。