CN115601547A - 样本图像获取、货物管理方法、装置、设备及存储介质 - Google Patents

样本图像获取、货物管理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115601547A
CN115601547A CN202211332491.0A CN202211332491A CN115601547A CN 115601547 A CN115601547 A CN 115601547A CN 202211332491 A CN202211332491 A CN 202211332491A CN 115601547 A CN115601547 A CN 115601547A
Authority
CN
China
Prior art keywords
image
warehouse
scene
model
virtual warehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211332491.0A
Other languages
English (en)
Inventor
易康睿
李壮志
张园
蒋秀才
王佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202211332491.0A priority Critical patent/CN115601547A/zh
Publication of CN115601547A publication Critical patent/CN115601547A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种样本图像获取、货物管理方法、装置、设备及存储介质。方法包括：获取参数化虚拟仓库三维模型；参数化虚拟仓库三维模型中至少一项模型参数的取值可变，模型参数包括：虚拟仓库中的货物参数、照进虚拟仓库的光源参数、拍摄虚拟仓库的相机参数；根据各模型参数的取值，对参数化虚拟仓库三维模型进行渲染，得到至少一个虚拟仓库场景渲染图像，以及，标注图像；根据虚拟仓库场景渲染图像，以及，标注图像，得到样本图像集；样本图像集用于训练第一预设模型，得到图像分割模型；图像分割模型，用于根据包括仓库和货物的目标仓库场景图像，确定货物在目标仓库场景图像中所占区域。本申请提高了图像分割模型训练的准确性。

Description

样本图像获取、货物管理方法、装置、设备及存储介质
技术领域
本申请涉及计算机技术，尤其涉及一种样本图像获取、货物管理方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展，深度学习技术在越来越多的领域得到应用。例如，在仓库货物管理领域，也可以基于深度学习技术，实现对仓库中货物存储量进行自动化管理。目前，现有的仓库货物管理方法主要是：收集仓库在不同场景下的样本图像，然后通过大量人工对上述样本图像中的货物一一进行标注。然后，可以使用人工标注得到的标注样本图像，训练神经网络模型，得到图像分割模型。该图像分割模型可以将图像中的货物分割出来。
样本图像集的数据丰富程度及质量对于图像分割模型的最终进行图像分割的准确性有较大影响。然而，人工获取和标注的样本图像集通常会遇到样本图像采集量不够、样本采集内容单一不丰富、标注质量难以保证等问题，进而导致现有的图像分割模型训练的准确性较差。
发明内容
本申请提供一种样本图像获取、货物管理方法、装置、设备及存储介质，以克服图像分割模型训练的准确性较差的问题。
第一方面，本申请提供样本图像获取方法，所述方法包括：
获取参数化虚拟仓库三维模型；所述参数化虚拟仓库三维模型中至少一项模型参数的取值可变，所述模型参数包括：所述虚拟仓库中的货物参数、照进所述虚拟仓库的光源参数、拍摄所述虚拟仓库的相机参数；
根据所述各模型参数的取值，对所述参数化虚拟仓库三维模型进行渲染，得到至少一个虚拟仓库场景渲染图像，以及，各所述虚拟仓库场景渲染图像对应的标注图像；
根据所述至少一个虚拟仓库场景渲染图像，以及，所述标注图像，得到样本图像集；所述样本图像集用于训练第一预设模型，得到图像分割模型；所述图像分割模型，用于根据包括仓库和货物的目标仓库场景图像，确定所述货物在所述目标仓库场景图像中所占区域。
可选的，所述根据所述各模型参数的取值，对所述参数化虚拟仓库三维模型进行渲染，得到至少一个虚拟仓库场景渲染图像，以及，各所述虚拟仓库场景渲染图像对应的标注图像，包括：
使用随机函数，获取至少一组所述模型参数的取值；任一组所述模型参数的取值包括：每个所述模型参数对应的一个取值；
针对任一组所述模型参数的取值，根据该组所述模型参数的取值，对所述参数化虚拟仓库三维模型进行基于光照的渲染，得到虚拟仓库场景渲染图像；
根据该组所述模型参数的取值，对所述参数化虚拟仓库三维模型进行基于货物类别的渲染，得到该虚拟仓库场景渲染图像对应的标注图像。
可选的，所述根据所述至少一个虚拟仓库场景渲染图像，以及，所述标注图像，得到样本图像集，包括：
获取至少一个真实仓库场景样本图像，以及，各所述真实仓库场景样本图像对应的标注图像；
根据所述至少一个虚拟仓库场景渲染图像、所述各所述虚拟仓库场景渲染图像对应的标注图像、所述至少一个真实仓库场景样本图像，以及，各所述真实仓库场景样本图像对应的标注图像，得到所述样本图像集。
可选的，在所述根据所述至少一个虚拟仓库场景渲染图像，以及，所述标注图像，得到样本图像集之后，所述方法还包括：
使用所述样本图像集，训练所述第一预设模型，得到图像分割模型。
第二方面，本申请提供一种货物管理方法，所述方法包括：
获取目标仓库场景图像；所述目标仓库场景图像包括：仓库，以及，货物；
通过图像分割模型，确定所述货物在所述目标仓库场景图像中所占区域；所述图像分割模型为使用通过如第一方面任一项所述的样本图像获取方法得到的样本图像集训练得到的；
根据所述货物在所述目标仓库场景图像中所占区域，进行货物管理。
第三方面，本申请提供一种样本图像获取装置，所述装置包括：
获取模块，用于获取参数化虚拟仓库三维模型；所述参数化虚拟仓库三维模型中至少一项模型参数的取值可变，所述模型参数包括：所述虚拟仓库中的货物参数、照进所述虚拟仓库的光源参数、拍摄所述虚拟仓库的相机参数；
第一处理模块，用于根据所述各模型参数的取值，对所述参数化虚拟仓库三维模型进行渲染，得到至少一个虚拟仓库场景渲染图像，以及，各所述虚拟仓库场景渲染图像对应的标注图像；
第二处理模块，用于根据所述至少一个虚拟仓库场景渲染图像，以及，所述标注图像，得到样本图像集；所述样本图像集用于训练第一预设模型，得到图像分割模型；所述图像分割模型，用于根据包括仓库和货物的目标仓库场景图像，确定所述货物在所述目标仓库场景图像中所占区域。
第四方面，本申请提供一种货物管理装置，所述装置包括：
获取模块，用于获取目标仓库场景图像；所述目标仓库场景图像包括：仓库，以及，货物；
处理模块，用于通过图像分割模型，确定所述货物在所述目标仓库场景图像中所占区域；根据所述货物在所述目标仓库场景图像中所占区域，进行货物管理；所述图像分割模型为使用通过如第一方面任一项所述的样本图像获取方法得到的样本图像集训练得到的。
第五方面，本申请提供一种电子设备，所述电子设备包括存储器和处理器；
所述存储器中存储有计算机程序；
所述处理器被设置为通过所述计算机程序执行第一方面和第二方面中任一项所述的方法。
第六方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现第一方面和第二方面任一项所述的方法。
第七方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面和第二方面任一项所述的方法。
本申请提供的样本图像获取、货物管理方法、装置、设备及存储介质，通过获取参数化虚拟仓库三维模型，可以根据取值可变的各模型参数的取值，对参数化虚拟仓库三维模型进行渲染，进而可以得到至少一个虚拟仓库场景渲染图像，以及，虚拟仓库场景渲染图像对应的标注图像。通过将虚拟仓库三维模型参数化，可以通过改变该模型参数的取值，得到不同渲染结果，也就是得到不同的虚拟仓库场景渲染图像和对应的标注图像。然后，通过该虚拟仓库场景渲染图像和对应的标注图像，可以得到用于进行第一预设模型训练得到的图像分割模型的样本图像集。通过上述方法，通过根据不同的虚拟仓库场景渲染图像和对应的标注图像，获取样本图像集，则提高了该样本图像集的丰富性。因此，通过上述方法，不需人工收集大量仓库在不同场景下的样本图像，也不需人工对样本图像进行标注，实现了自动获取样本图像集，避免了样本图像采集量不够、样本采集内容单一不丰富、标注质量较低的问题，提高了样本图像集的丰富性和标注的准确性，进而提高了基于该样本图像集进行图像分割模型训练的准确性。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的一种样本图像获取方法的流程示意图；
图2为本申请提供的一种虚拟仓库场景渲染图像和标注图像的示意图；
图3为本申请提供的另一种样本图像获取方法的流程示意图；
图4为本申请提供的一种货物管理方法的流程示意图；
图5为本申请提供的货物在目标仓库场景图像中所占区域的示意图；
图6为本申请提供的一种样本图像获取装置的结构示意图；
图7为本申请提供的一种货物管理装置的结构示意图；
图8为本申请提供的一种电子设备结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面对本申请涉及到的部分名词概念进行解释：
图像分割(Image Segmentation)：也可以称为语义分割(SemanticSegmentation)。图像分割是一种将属于同一类的图像部分聚集在一起的任务，一般需要针对每个图像像素做出分类。目前，通常采用深度神经网络算法来完成这一工作。
深度神经网络算法：也可以称为深度神经网络模型，是一类使用多个简单计算单元组成神经网络(Neural Network)结构模拟目标函数关系，以实现复杂的运算过程的算法。当前，基于深度神经网络的算法能够具有强大的统计分析能力，在投入足量训练数据后足以胜任许多复杂工作，例如人脸识别、语义分割、目标检测、机器翻译等。
数字孪生：数字孪生(Digital Twin)是一类虚拟表示，可以作为现实世界物理对象或过程的实时数字对应物。
渲染：计算机图形学中的渲染(Rendering)，指的是将虚拟空间中的三维物体投影并绘制到二维采样平面(如计算机屏幕)上的过程。渲染过程常需要求解物体受光照影响后在虚拟相机中呈现出的色彩，以取得具有足够真实感的场景图像。
在仓库货物管理领域，可以基于深度学习技术，实现对仓库中货物存储量进行自动化管理。现有的仓库货物管理方法主要是：收集仓库在不同场景下的样本图像，然后通过大量人工对上述样本图像中的货物一一进行标注。然后，可以使用人工标注得到的标注样本图像，训练神经网络模型，得到图像分割模型。该图像分割模型可以将图像中的货物分割出来。
样本图像集的数据丰富程度及质量对于图像分割模型的最终进行图像分割的准确性有较大影响。
然而，人工获取和标注的样本图像集通常会遇到样本图像采集量不够、样本采集内容单一不丰富、标注质量难以保证等问题，进而导致现有的图像分割模型训练的准确性较差。
考虑到现有的模型训练方法存在的上述问题，本申请提出了一种不需人工收集大量仓库在不同场景下的样本图像，也不需人工对样本图像进行标注，自动获取样本图像集用于训练得到图像分割模型的方法。通过上述方法，避免了样本图像采集量不够、样本采集内容单一不丰富、标注质量较低的问题，提高了样本图像集的丰富性和标注的准确性，进而提高了基于该样本图像集进行图像分割模型训练的准确性。
可选的，本申请提供的样本图像获取方法的执行主体可以为终端、服务器等任意一种具有处理功能的电子设备。
下面结合具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本申请提供的一种样本图像获取方法的流程示意图。如图1所示，该方法包括以下步骤：
S101、获取参数化虚拟仓库三维模型。
上述参数化虚拟仓库三维模型中至少一项模型参数的取值可变。其中，该模型参数例如可以包括：该虚拟仓库中的货物参数、照进该虚拟仓库的光源参数，以及，拍摄该虚拟仓库的相机参数。应理解，此处所说的相机为虚拟相机。在一些实施例中，该模型参数例如还可以包括：仓库形状参数等。
示例性的，上述虚拟仓库中的货物参数例如包括：货物数量、货物尺寸、货物位置、货物堆叠高度、货物的材质等参数中的至少一项。上述照进该虚拟仓库的光源参数例如包括：光源位置、光照强度、光源数量、仓库外部天气状况等参数中的至少一项。上述拍摄该虚拟仓库的相机参数例如可以包括：虚拟相机的位置、虚拟相机的拍摄角度等参数中的至少一项。
可选的，电子设备例如可以从存储有该参数化虚拟仓库三维模型的数据库中，获取该参数化虚拟仓库三维模型。或者，电子设备还可以通过应用程序接口(ApplicationProgramming Interface，API)，或者，图形用户界面(Graphical User Interface，GUI)等接收用户输入的参数化虚拟仓库三维模型。再或者，以该电子设备中安装有三维模型建模软件为例，电子设备例如可以通过该三维模型建模软件响应用户触发的建模操作，得到该参数化虚拟仓库三维模型。
S102、根据至少一项模型参数的取值，对参数化虚拟仓库三维模型进行渲染，得到至少一个虚拟仓库场景渲染图像，以及，各虚拟仓库场景渲染图像对应的标注图像。
可选的，电子设备例如可以接收用户输入的各模型参数的取值。或者，电子设备还可以通过随机函数，生成各模型参数的取值。
可选的，电子设备可以通过任意一种现有的渲染方法，对参数化虚拟仓库三维模型进行渲染。其中，电子设备对参数化虚拟仓库三维模型进行渲染，得到虚拟仓库场景渲染图像的方法，与，电子设备对参数化虚拟仓库三维模型进行渲染，得到虚拟仓库场景渲染图像对应的标注图像的方法可以相同，也可以不同。
针对任一标注图像，可选的，该标注图像中可以包括货物所在区域的标签，和/或，除了货物之外的区域的标签。进一步的，在一些实施例中，该标注图像中例如还可以包括货物类别的标签。在一些实施例中，虚拟仓库场景渲染图像对应的标注图像，也可以称为虚拟仓库场景渲染图像对应的真值(Ground Truth)。
示例性的，图2为本申请提供的一种虚拟仓库场景渲染图像和标注图像的示意图。如图2中的a、b、d、e均为虚拟仓库场景渲染图像。图2中的c为虚拟仓库场景渲染图像a和虚拟仓库场景渲染图像b对应的标注图像。图2中的f为虚拟仓库场景渲染图像d和虚拟仓库场景渲染图像e对应的标注图像。如图2所示中的a、b、d、e四种虚拟仓库场景渲染图像互不相同。例如，a与b之间的光照强度不同。a和d之间仓库门的开关状态、货物堆放的数量、位置均不同。
S103、根据至少一个虚拟仓库场景渲染图像，以及，上述标注图像，得到样本图像集。
其中，该样本图像集可以用于训练第一预设模型，得到图像分割模型。该图像分割模型，可以用于根据包括仓库和货物的目标仓库场景图像，确定货物在该目标仓库场景图像中所占区域。
可选的，上述样本图像集可以包括至少一个样本图像子集。针对任一样本图像子集，该样本图像子集可以包括：一个虚拟仓库场景渲染图像，以及，该虚拟仓库场景渲染图像对应的标注图像。
在本实施例中，通过获取参数化虚拟仓库三维模型，可以根据取值可变的各模型参数的取值，对参数化虚拟仓库三维模型进行渲染，进而可以得到至少一个虚拟仓库场景渲染图像，以及，虚拟仓库场景渲染图像对应的标注图像。通过将虚拟仓库三维模型参数化，可以通过改变该模型参数的取值，得到不同渲染结果，也就是得到不同的虚拟仓库场景渲染图像和对应的标注图像。然后，通过该虚拟仓库场景渲染图像和对应的标注图像，可以得到用于进行第一预设模型训练得到的图像分割模型的样本图像集。通过上述方法，通过根据不同的虚拟仓库场景渲染图像和对应的标注图像，获取样本图像集，则提高了该样本图像集的丰富性。因此，通过上述方法，不需人工收集大量仓库在不同场景下的样本图像，也不需人工对样本图像进行标注，实现了自动获取样本图像集，避免了样本图像采集量不够、样本采集内容单一不丰富、标注质量较低的问题，提高了样本图像集的丰富性和标注的准确性，进而提高了基于该样本图像集进行图像分割模型训练的准确性。
此外，相较于人工收集和标注样本图像的方法，较难做出快速调整，导致模型训练的效率也较低的情况，本申请可以通过改变参数化虚拟仓库三维模型中至少一项模型参数的取值，得到不同场景下的虚拟仓库场景渲染图像和对应的标注图像。因此，通过上述方法，还可以提高对样本图像集的调整的效率，进而提高对第一预设模型进行训练的效率。
进一步的，作为一种可能的实现方式，电子设备在根据至少一个虚拟仓库场景渲染图像，以及，标注图像，得到样本图像集之后，还可以使用该样本图像集，训练第一预设模型，得到图像分割模型。
应理解，本申请对上述第一预设模型并不进行限定。可选的，该第一预设模型可以为任意一种现有的神经网络模型。此外，应理解，本申请对如何使用该样本图像集，训练第一预设模型也不进行限定。
在本实施例中，电子设备可以在获取样本图像集之后，直接使用该样本图像集进行第一预设模型的训练，提高了基于该样本图像集训练第一预设模型得到图像分割模型的效率。通过上述方法，因为提高了该样本图像集中样本图像的丰富性和标注图像的准确性，因此可以提高基于该样本图像得到的图像分割模型的准确性。
作为另一种可能的实现方式，电子设备在根据至少一个虚拟仓库场景渲染图像，以及，标注图像，得到样本图像集之后，还可以将该样本图像集发送至数据库，实现将该样本图像集存储在该数据库中。通过上述方法，使得除了该电子设备之外的其他电子设备可以从该数据库中的获取上述样本图像集，并基于该样本图像集执行模型训练任务。因此，通过上述方法，提高了基于该样本图像得到的图像分割模型的灵活性，且降低了对该电子设备的资源占用，因此降低了对该电子设备计算能力的要求。
下面对电子设备如何根据各模型参数的取值，对参数化虚拟仓库三维模型进行渲染，得到至少一个虚拟仓库场景渲染图像，以及，各虚拟仓库场景渲染图像对应的标注图像，进行详细说明：
作为一种可能的实现方式，电子设备可以先使用随机函数，获取至少一组模型参数的取值。其中，任一组模型参数的取值可以包括：每个模型参数对应的一个取值。
示例性的，各组模型参数的取值例如可以如下表1所示：
表1
各组模型参数 光源位置 光照强度 货物尺寸 虚拟相机的位置
第一组取值 11 12 12 14
第二组取值 21 22 23 24
第三组取值 31 32 33 34
… … … … …
可选的，该随机函数可以为任意一种现有的能够生成多个随机数的函数。通过使用随机函数，获取至少一组模型参数的取值，提高了不同组之间模型参数的取值的差异性，进而提高了基于多组组模型参数的取值得到的样本图像集的丰富性。
电子设备在获取至少一组模型参数的取值之后，针对任一组模型参数的取值，电子设备可以根据该组模型参数的取值，对参数化虚拟仓库三维模型进行基于光照的渲染，得到虚拟仓库场景渲染图像。
可选的，上述基于光照的渲染方式可以参照任意一种现有的基于光照的渲染方法，本申请在此不再赘述。
针对任一组模型参数的取值，电子设备可以根据该组模型参数的取值，对参数化虚拟仓库三维模型进行基于货物类别的渲染，得到该虚拟仓库场景渲染图像对应的标注图像。
可选的，上述基于货物类别的渲染方式可以参照任意一种现有的基于货物类别的渲染方法，本申请在此不再赘述。
应理解，本申请对电子设备执行“根据该组模型参数的取值，对参数化虚拟仓库三维模型进行基于光照的渲染”，和，“根据该组模型参数的取值，对参数化虚拟仓库三维模型进行基于货物类别的渲染”的先后顺序并不进行限定。
下面对电子设备如何根据至少一个虚拟仓库场景渲染图像，以及，标注图像，得到样本图像集，进行详细说明：
作为一种可能的实现方式，电子设备可以直接将上述虚拟仓库场景渲染图像，以及，虚拟仓库场景渲染图像对应的标注图像作为样本图像集。
作为另一种可能的实现方式，电子设备还可以结合上述虚拟仓库场景渲染图像，以及，真实仓库场景样本图像，得到该样本图像集。
在该实现方式下，电子设备例如可以先获取至少一个真实仓库场景样本图像，以及，各真实仓库场景样本图像对应的标注图像。然后，电子设备可以根据上述至少一个虚拟仓库场景渲染图像、各虚拟仓库场景渲染图像对应的标注图像、至少一个真实仓库场景样本图像，以及，各真实仓库场景样本图像对应的标注图像，得到样本图像集。
示例性的，电子设备例如可以通过API或者GUI接收用户输入的至少一个真实仓库场景样本图像，以及，各真实仓库场景样本图像对应的标注图像。或者，电子设备还可以从存储有该至少一个真实仓库场景样本图像，以及，各真实仓库场景样本图像对应的标注图像的数据库中，读取该至少一个真实仓库场景样本图像，以及，各真实仓库场景样本图像对应的标注图像。
本申请对上述虚拟仓库场景渲染图像的数量，以及，真实仓库场景样本图像的数量并不进行限定。可选的，虚拟仓库场景渲染图像的数量，与，真实仓库场景样本图像的数量可以相同，也可以不同。
在该实现方式下，上述样本图像集例如可以包括：至少一个样本图像子集。每个样本图像子集可以包括：一个虚拟仓库场景渲染图像、该虚拟仓库场景渲染图像对应的标注图像、一个真实仓库场景样本图像，以及，该真实仓库场景样本图像对应的标注图像。不同样本图像子集中包括的虚拟仓库场景渲染图像，或者，真实仓库场景样本图像可以相同，也可以不同。也就是说，假定存在M个虚拟仓库场景渲染图像，以及，N个真实仓库场景样本图像，则样本图像子集可以包括M×N个互不相同的样本图像子集。
在本实施例中，通过结合虚拟仓库场景渲染图像，与，真实仓库场景样本图像，以及，各个图像对应的标注图像得到样本图像集，进一步提高了该样本图像集的丰富性和数量，仅此进一步提高了使用该样本图像集得到的图像分割模型的准确性。
图3为本申请提供的另一种样本图像获取方法的流程示意图。如图3所示，电子设备可以通过建模及参数化模块(该模块中可以部署有开源建模工具)，响应用户根据现实仓库数据触发的建模操作，得到参数化虚拟仓库三维模型。
示例性的，用户可以通过观察现实中的特定仓库场景，测量其建筑结构、采光情况及货位等信息，并根据这些信息，通过上述电子设备建立参数化虚拟仓库三维模型(也就是现实仓库的数字孪生虚拟场景)。可选的，为完成虚拟场景内部布置随机化的任务，可以将虚拟场景中的货物、光源、相机等物体参数化。此时，现实仓库场景对应一组特定参数下的虚拟场景。在本申请中，可以使用了三维建模技术来建立现实仓库的数字孪生场景，并使用参数化方法派生出不同的数字线程(Digital Thread)。
以货物为例：电子设备首先可以响应用户建模操作，建立多个货物模板，然后将场景中可选的货位及在货位上的堆叠高度设置为输入参数，再设置不同的光源选项、相机位置以及渲染方法。
然后，电子设备可以将该参数化虚拟仓库三维模型存储至数据库中。
电子设备可以从该数据库中获取该参数化虚拟仓库三维模型。然后，电子设备可以通过随机函数获取随机参数，作为至少一组模型参数的取值。
然后，电子设备可以通过场景生成与渲染模块，根据至少一组模型参数的取值，对该参数化虚拟仓库三维模型进行渲染，得到虚拟场景图像(也就是虚拟仓库场景渲染图像)及标注图像。
可选的，电子设备可以利用基于光照的渲染过程和基于物体类别的渲染过程分别得到虚拟仓库场景渲染图像以及标注图像，以作为样本图像集中的一组输入图像及真值(Ground Truth)输出图像。重复以上过程得到多组虚拟仓库场景渲染图像及标注图像。
在一些实施例中，该电子设备还可以结合现实场景图像(也就是真实仓库场景样本图像)及标注图像，与，虚拟场景图像及标注图像，通过神经网络训练数据生成模块，得到样本图像集。
可选的，用户可以通过相机拍摄获取少量现实仓库图像，由人工标注这些图像中的物体类别，形成真实仓库场景样本图像及标注图像(现实训练数据)。通过将现实训练数据与虚拟训练数据结合，形成多对虚实结合训练数据，可以得到作为用于模型训练得到图像分割模型的样本图像集。
然后，电子设备可以使用该样本图像集，将样本数据集中的数据转换为神经网络模型的输入格式，进行第一预设模型的训练，得到深度神经网络训练数据(也就是图像分割模型)。然后，电子设备可以将该深度神经网络训练数据存储至数据库，以使其他电子设备也可以从该数据库中获取上述深度神经网络训练数据，进行图像分割。
在本实施例中，在根据现实仓库场景建立的数字孪生三维场景基础上，将货物、光源、相机等物体参数化，并自动化地生成随机参数下的虚拟场景，将其渲染成虚拟仓库场景渲染图像。事实上，现实仓库的货物更新速度往往以小时为单位，其光照情况变化缓慢，而摄像头机位也有限。通过数字孪生则突破了这些限制，只需要计算数秒到数十秒，即可生成新的货物摆放位置，切换光照选项与摄像头机位也非常便捷，而能够生成精确的标注数据更是节约了大量的人工标注工作量。
通过结合少量现实图像及标注图像组成的现实训练数据，与虚拟仓库场景渲染图像与标注图像，可以得到样本图像集。通过上述方法，具有生成样本图像集速度快、成本较低、标注质量好、易于调整、训练效果好等优点。相对纯人工标注得到样本图像集的流程具有较大优势。此外，若单独投入现实训练数据，由于数据量太少，则训练很容易进入过拟合状态，使得算法的泛化能力(即应对不同条件的实景的能力较差)。组合虚景和实景数据时，神经网络算法提取特征的参数将兼顾两者，由于虚景数据的数量大、条件丰富而能够应对多种不同的货物、光照及机位，保证了图像分割模型的泛化能力。由于训练过程需要尽可能减小误差，而误差计算包含了实景数据，从而也能提高图像分割模型的准确性。
在通过前述任一实施例的样本图像获取方法得到样本图像集之后，可以使用该样本图像集，进行训练第一预设模型，得到图像分割模型。可选的，执行下述货物管理法的执行主体也可以为终端或者服务器等任何一种具有处理功能的电子设备。
其中，执行该货物管理方法的电子设备，与，前述执行样本图像获取方法的电子设备可以为同一电子设备，也可以为不同电子设备。
图4为本申请提供的一种货物管理方法的流程示意图。如图4所示，该方法包括以下步骤：
S201、获取目标仓库场景图像。
其中，该目标仓库场景图像包括：仓库，以及，货物。
示例性的，电子设备例如可以通过API，或者，GUI等获取用户输入的目标仓库场景图像。或者，电子设备还可以从存储有目标仓库场景图像的数据库中读取该目标仓库场景图像。再或者，电子设备还可以接收来自其他终端或服务器的货物管理指令，并从该货物管理指令中获取该目标仓库场景图像。
S202、通过图像分割模型，确定货物在该目标仓库场景图像中所占区域。
该图像分割模型为使用“通过如前述任一实施例所述的样本图像获取方法，得到的样本图像集”训练得到的。
示例性的，图5为本申请提供的货物在目标仓库场景图像中所占区域的示意图。如图5所示，图5中的(1)为目标仓库场景图像。图5中的(2)为货物在目标仓库场景图像中所占区域的第一种示意图，图5中的(3)为货物在目标仓库场景图像中所占区域的第二种示意图，图5中的(4)为货物在目标仓库场景图像中所占区域的第三种示意图。
S203、根据货物在该目标仓库场景图像中所占区域，进行货物管理。
示例性的，上述货物管理例如可以包括：电子设备可以根据货物在该目标仓库场景图像中所占区域，确定货物的高度，并通过该货物的高度，确定该仓库中货物的数量是否发生改变。或者，货物管理例如可以包括：电子设备可以根据货物在该目标仓库场景图像中所占区域，确定货物所占据的实际空间，并通过该货物所占据的实际空间，确定该仓库中货物的数量是否发生改变。
在本实施例中，通过提高了准确性的图像分割模型，来对目标仓库场景图像进行图像分割，确定货物在该目标仓库场景图像所占据的区域，因此提高了确定货物在该目标仓库场景图像中所占区域的准确性。通过该货物在该目标仓库场景图像所占据的区域，可以进行货物管理，进而提高了货物管理的准确性。
图6为本申请提供的一种样本图像获取装置的结构示意图。如图6所示，该装置包括：获取模块31、第一处理模块32，以及，第二处理模块33。其中，
获取模块31，用于获取参数化虚拟仓库三维模型。其中，所述参数化虚拟仓库三维模型中至少一项模型参数的取值可变，所述模型参数包括：所述虚拟仓库中的货物参数、照进所述虚拟仓库的光源参数、拍摄所述虚拟仓库的相机参数。
第一处理模块32，用于根据所述至少一项模型参数的取值，对所述参数化虚拟仓库三维模型进行渲染，得到至少一个虚拟仓库场景渲染图像，以及，各所述虚拟仓库场景渲染图像对应的标注图像。
第二处理模块33，用于根据所述至少一个虚拟仓库场景渲染图像，以及，所述标注图像，得到样本图像集。其中，所述样本图像集用于训练第一预设模型，得到图像分割模型；所述图像分割模型，用于根据包括仓库和货物的目标仓库场景图像，确定所述货物在所述目标仓库场景图像中所占区域。
可选的，第一处理模块32，具体用于使用随机函数，获取至少一组所述模型参数的取值；针对任一组所述模型参数的取值，根据该组所述模型参数的取值，对所述参数化虚拟仓库三维模型进行基于光照的渲染，得到虚拟仓库场景渲染图像；根据该组所述模型参数的取值，对所述参数化虚拟仓库三维模型进行基于货物类别的渲染，得到该虚拟仓库场景渲染图像对应的标注图像。其中，任一组所述模型参数的取值包括：每个所述模型参数对应的一个取值。
可选的，第二处理模块33，具体用于获取至少一个真实仓库场景样本图像，以及，各所述真实仓库场景样本图像对应的标注图像；根据所述至少一个虚拟仓库场景渲染图像、所述各所述虚拟仓库场景渲染图像对应的标注图像、所述至少一个真实仓库场景样本图像，以及，各所述真实仓库场景样本图像对应的标注图像，得到所述样本图像集。
可选的，该装置还可以包括训练模块34，用于在所述根据所述至少一个虚拟仓库场景渲染图像，以及，所述标注图像，得到样本图像集之后，使用所述样本图像集，训练所述第一预设模型，得到图像分割模型。
本申请提供的样本图像获取装置，用于执行前述样本图像获取方法实施例，其实现原理与技术效果类似，对此不再赘述。
图7为本申请提供的一种货物管理装置的结构示意图。如图7所示，该装置包括：获取模块41和处理模块42。其中，
获取模块41，用于获取目标仓库场景图像。其中，所述目标仓库场景图像包括：仓库，以及，货物。
处理模块42，用于通过图像分割模型，确定所述货物在所述目标仓库场景图像中所占区域；根据所述货物在所述目标仓库场景图像中所占区域，进行货物管理。其中，所述图像分割模型为使用通过如前述任一实施例所述的样本图像获取方法得到的样本图像集训练得到的。
本申请提供的货物管理装置，用于执行前述货物管理方法实施例，其实现原理与技术效果类似，对此不再赘述。
图8为本申请提供的一种电子设备结构示意图。如图8所示，该电子设备500可以包括：至少一个处理器501和存储器502。
存储器502，用于存放程序。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。
存储器502可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器501用于执行存储器502存储的计算机执行指令，以实现前述方法实施例所描述的样本图像获取或货物管理方法。其中，处理器501可能是一个中央处理器(CentralProcessing Unit，简称为CPU)，或者是特定集成电路(Application Specific IntegratedCircuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
可选的，该电子设备500还可以包括通信接口503。在具体实现上，如果通信接口503、存储器502和处理器501独立实现，则通信接口503、存储器502和处理器501可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry StandardArchitecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果通信接口503、存储器502和处理器501集成在一块芯片上实现，则通信接口503、存储器502和处理器501可以通过内部接口完成通信。
本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或者光盘等各种可以存储程序代码的介质，具体的，该计算机可读存储介质中存储有程序指令，程序指令用于上述实施例中的方法。
本申请还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得电子设备实施上述的各种实施方式提供的样本图像获取或货物管理方法。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种样本图像获取方法，其特征在于，所述方法包括：
获取参数化虚拟仓库三维模型；所述参数化虚拟仓库三维模型中至少一项模型参数的取值可变，所述模型参数包括：所述虚拟仓库中的货物参数、照进所述虚拟仓库的光源参数、拍摄所述虚拟仓库的相机参数；
根据所述至少一项模型参数的取值，对所述参数化虚拟仓库三维模型进行渲染，得到至少一个虚拟仓库场景渲染图像，以及，各所述虚拟仓库场景渲染图像对应的标注图像；
根据所述至少一个虚拟仓库场景渲染图像，以及，所述标注图像，得到样本图像集；所述样本图像集用于训练第一预设模型，得到图像分割模型；所述图像分割模型，用于根据包括仓库和货物的目标仓库场景图像，确定所述货物在所述目标仓库场景图像中所占区域。
2.根据权利要求1所述的方法，其特征在于，所述根据所述各模型参数的取值，对所述参数化虚拟仓库三维模型进行渲染，得到至少一个虚拟仓库场景渲染图像，以及，各所述虚拟仓库场景渲染图像对应的标注图像，包括：
使用随机函数，获取至少一组所述模型参数的取值；任一组所述模型参数的取值包括：每个所述模型参数对应的一个取值；
针对任一组所述模型参数的取值，根据该组所述模型参数的取值，对所述参数化虚拟仓库三维模型进行基于光照的渲染，得到虚拟仓库场景渲染图像；
根据该组所述模型参数的取值，对所述参数化虚拟仓库三维模型进行基于货物类别的渲染，得到该虚拟仓库场景渲染图像对应的标注图像。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述至少一个虚拟仓库场景渲染图像，以及，所述标注图像，得到样本图像集，包括：
获取至少一个真实仓库场景样本图像，以及，各所述真实仓库场景样本图像对应的标注图像；
根据所述至少一个虚拟仓库场景渲染图像、所述各所述虚拟仓库场景渲染图像对应的标注图像、所述至少一个真实仓库场景样本图像，以及，各所述真实仓库场景样本图像对应的标注图像，得到所述样本图像集。
4.根据权利要求1或2所述的方法，其特征在于，在所述根据所述至少一个虚拟仓库场景渲染图像，以及，所述标注图像，得到样本图像集之后，所述方法还包括：
使用所述样本图像集，训练所述第一预设模型，得到图像分割模型。
5.一种货物管理方法，其特征在于，所述方法包括：
获取目标仓库场景图像；所述目标仓库场景图像包括：仓库，以及，货物；
通过图像分割模型，确定所述货物在所述目标仓库场景图像中所占区域；所述图像分割模型为使用通过如权利要求1-4任一项所述的样本图像获取方法得到的样本图像集训练得到的；
根据所述货物在所述目标仓库场景图像中所占区域，进行货物管理。
6.一种样本图像获取装置，其特征在于，所述装置包括：
获取模块，用于获取参数化虚拟仓库三维模型；所述参数化虚拟仓库三维模型中至少一项模型参数的取值可变，所述模型参数包括：所述虚拟仓库中的货物参数、照进所述虚拟仓库的光源参数、拍摄所述虚拟仓库的相机参数；
第一处理模块，用于根据所述至少一项模型参数的取值，对所述参数化虚拟仓库三维模型进行渲染，得到至少一个虚拟仓库场景渲染图像，以及，各所述虚拟仓库场景渲染图像对应的标注图像；
第二处理模块，用于根据所述至少一个虚拟仓库场景渲染图像，以及，所述标注图像，得到样本图像集；所述样本图像集用于训练第一预设模型，得到图像分割模型；所述图像分割模型，用于根据包括仓库和货物的目标仓库场景图像，确定所述货物在所述目标仓库场景图像中所占区域。
7.一种货物管理装置，其特征在于，所述装置包括：
获取模块，用于获取目标仓库场景图像；所述目标仓库场景图像包括：仓库，以及，货物；
处理模块，用于通过图像分割模型，确定所述货物在所述目标仓库场景图像中所占区域；根据所述货物在所述目标仓库场景图像中所占区域，进行货物管理；所述图像分割模型为使用通过如权利要求1-4任一项所述的样本图像获取方法得到的样本图像集训练得到的。
8.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；
所述存储器中存储有计算机程序；
所述处理器被设置为通过所述计算机程序执行权利要求1-5中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现权利要求1-5任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法。
CN202211332491.0A 2022-10-28 2022-10-28 样本图像获取、货物管理方法、装置、设备及存储介质 Pending CN115601547A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211332491.0A CN115601547A (zh) 2022-10-28 2022-10-28 样本图像获取、货物管理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211332491.0A CN115601547A (zh) 2022-10-28 2022-10-28 样本图像获取、货物管理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN115601547A true CN115601547A (zh) 2023-01-13

Family

ID=84850131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211332491.0A Pending CN115601547A (zh) 2022-10-28 2022-10-28 样本图像获取、货物管理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115601547A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258821A (zh) * 2023-05-15 2023-06-13 北京科技大学 一种基于数字孪生的虚拟带标签图像数据生成方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116258821A (zh) * 2023-05-15 2023-06-13 北京科技大学 一种基于数字孪生的虚拟带标签图像数据生成方法及装置

Similar Documents

Publication Publication Date Title
CN110689037B (zh) 用于使用深度网络的自动对象注释的方法和***
CN105144239B (zh) 图像处理装置、图像处理方法
CN108921105B (zh) 识别目标数量的方法、装置及计算机可读存储介质
CN110853022B (zh) 病理切片图像的处理方法、装置、***及存储介质
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN110807775A (zh) 基于人工智能的中医舌像分割装置、方法及存储介质
CN111008561A (zh) 一种牲畜的数量确定方法、终端及计算机存储介质
CN110969600A (zh) 一种产品缺陷检测方法、装置、电子设备及存储介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN109034121B (zh) 商品识别处理的方法、装置、设备及计算机存储介质
CN113095441A (zh) 一种猪群扎堆检测方法、装置、设备及可读存储介质
CN115601547A (zh) 样本图像获取、货物管理方法、装置、设备及存储介质
CN112651989A (zh) 基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和***
CN111325212A (zh) 模型训练方法、装置、电子设备和计算机可读存储介质
CN111950544A (zh) 一种确定病理图像中感兴趣区域的方法及装置
CN110991437A (zh) 字符识别方法及其装置、字符识别模型的训练方法及其装置
CN110765917A (zh) 适用于人脸识别模型训练的主动学习方法、装置、终端、介质
CN115734072A (zh) 一种工业自动化设备的物联网集中监控方法及装置
Otoya et al. A machine vision system based on RGB-D image analysis for the artichoke seedling grading automation according to leaf area
CN113034449B (zh) 目标检测模型训练方法、装置及通信设备
CN111243058B (zh) 物件模拟图像生成方法及计算机可读存储介质
CN114120057A (zh) 一种基于PaddleDetection的混淆矩阵生成方法
van Meekeren et al. Exploring the Effectiveness of Dataset Synthesis: An application of Apple Detection in Orchards
CN117830731B (zh) 多维并行调度方法
KR102482573B1 (ko) 딥러닝을 이용한 이미지 배경제거 및 수피 기반 수종 탐지 시스템 및 이를 이용한 수종 탐지 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination