CN111460909A - 基于视觉的货位管理方法和装置 - Google Patents
基于视觉的货位管理方法和装置 Download PDFInfo
- Publication number
- CN111460909A CN111460909A CN202010159831.9A CN202010159831A CN111460909A CN 111460909 A CN111460909 A CN 111460909A CN 202010159831 A CN202010159831 A CN 202010159831A CN 111460909 A CN111460909 A CN 111460909A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- goods
- detected
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007726 management method Methods 0.000 title claims abstract description 42
- 238000003062 neural network model Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims description 29
- 238000012360 testing method Methods 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 239000000872 buffer Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
- G06Q10/0832—Special goods or special handling procedures, e.g. handling of hazardous or fragile goods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Economics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Development Economics (AREA)
- Multimedia (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于视觉的货位管理方法和装置，涉及自动化物流运输***的技术领域，方法包括获取目标货位的待测图像；采用预先训练好的深度神经网络模型对待测图像进行识别，得到第一识别结果；其中，所述第一识别结果包括待测图像中目标货位内目标货物的位置特征和/或外形特征；采用正负标定方法得到训练好的深度神经网络模型；将所述识别结果发送至自动引导车；本发明能够对货位上的货物进行精确识别，扩大货物识别的种类和范围，降低设备投入。
Description
技术领域
本发明涉及自动化物流运输***技术领域，尤其是涉及一种基于视觉的货位管理方法和装置。
背景技术
在一套自动化物流***中，自动引导车(Automated Guided Vehicle，简称AGV)缓存区是必备的设施，能够缓解***调配压力，使***能够按照既定计划运行，而不至于因货物输入量或者对外输出的需求量而对***运行造成较大影响。一般，对缓存区货物识别的方法主要有光电感应、声波、质量计量等方式。其中，光电感应技术是应用最成熟的技术，***响应较灵敏、精度较高，但是其识别能力有限，无法识别货物种类，无法做到对货物的精确识别；而且一个货位上有时需要布置多个光电感应装置，还往往需要其他设备(例如，扫码器等)来配合使用，增加了设备投入。同样地，声波技术、质量计量的方式也存在类似的缺点，且只适合应用于特定场合。
发明内容
本发明的目的在于提供一种基于视觉的货位管理方法和装置，能够对货位上的货物进行精确识别，扩大货物识别的种类和范围，降低设备投入。
第一方面，实施例提供一种基于视觉的货位管理方法，包括：
获取目标货位的待测图像；
采用预先训练好的深度神经网络模型对待测图像进行识别，得到第一识别结果；其中，所述第一识别结果包括待测图像中目标货位内目标货物的位置特征和/或外形特征；采用正负标定方法得到训练好的深度神经网络模型；
将所述识别结果发送至自动引导车。
在可选的实施方式中，采用正负标定方法得到训练好的深度神经网络模型包括：
获取目标货位的训练样本和测试样本；
对所述训练样本进行图像属性的标定；其中，所述图像属性包括正标定和负标定；所述正标定为对目标货位进行的标定，所述负标定为对非目标货位进行的标定；
按照所述图像属性将所述训练样本转换成数据文件，所述数据文件包括掩模文件和标签文件；
将所述数据文件输入深度神经网络模型进行训练，得到训练好的深度神经网络模型。
在可选的实施方式中，还包括：
将测试样本和图像特征权重模型输入深度神经网络模型，得到目标货物的位置的概率值；
将目标货物的位置的概率值与预设阈值进行比较，得到第二识别结果；第二识别结果包括待测图像中目标货位内目标货物的位置特征和/或外形特征；
根据第二识别结果调整训练好的深度神经网络模型。
在可选的实施方式中，深度神经网络模型为SSD、YOLO、Mask R-CNN和自定义深度学习网络中的任意一种；所述YOLO为YOLO V1、YOLO V2或YOLO V3中的任意一种。
在可选的实施方式中，获取目标货位的待测图像包括：
从多个相机中选择目标相机；
向目标相机发送初始化信息；
接收目标相机发送的目标货位的待测图像。
在可选的实施方式中，采用预先训练好的深度神经网络模型对待测图像进行识别，得到第一识别结果之前还包括：
确定目标货位的位置。
第二方面，实施例提供一种基于视觉的货位管理装置，包括：
获取模块，用于获取目标货位的待测图像；
识别模块，用于采用预先训练好的深度神经网络模型对待测图像进行识别，得到第一识别结果，所述第一识别结果包括待测图像中目标货位的位置和外形特征；
发送模块，用于将所述识别结果发送至自动引导车。
第三方面，实施例提供一种基于视觉的货位管理***，包括图像获取装置、如前述实施例所述的基于视觉的货位管理装置和自动引导车；
所述图像获取装置，用于拍摄待测图像，并将待测图像发送至基于视觉的货位管理装置；
所述基于视觉的货位管理装置，用于对所述待测图像中目标货位内的货物进行识别，得到第一识别结果；
所述自动引导车，用于根据所述第一识别结果判断是否需要移动至目标货位。
第四方面，实施例一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述实施方式任一项所述的方法的步骤。
第五方面，实施例提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行前述实施方式任一所述方法。
本发明提供的基于视觉的货位管理方法和装置，通过采用深度神经网络模型对目标货位内的目标货物进行识别，从而得到目标货物的识别结果，然后将识别结果发送至AGV，从而能够使得AGV根据识别结果到达目标货位对目标货物进行处理；本发明应用机器视觉的方法，能够对货位上的货物进行精确识别，扩大货物识别的种类和范围，降低设备投入。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于视觉的货位管理方法的流程图；
图2为本发明实施例提供的基于视觉的货位管理方法的另一个流程图；
图3为本发明实施例提供的基于视觉的货位管理方法的原理图；
图4为本发明实施例提供的基于视觉的货位管理方法的另一个原理图；
图5为本发明实施例提供的基于视觉的货位管理装置的***原理图；
图6为本发明实施例提供的基于视觉的货位管理***的***原理图；
图7为本发明实施例提供的基于视觉的货位管理***的另一个***原理图；
图8为本发明实施例提供的电子设备的***原理图。
图标：51-获取模块；52-识别模块；53-发送模块；61-图像获取装置；62-基于视觉的货位管理装置；63-物流***主服务器；64-自动引导车；65-交换机；100-电子设备；101-通信接口；102-处理器；103-存储器；104-总线。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
在烟草、制造、电商等企业的物流管理***中，往往会存在着多种不同的应用场景，对物流的组织来说需要较高的柔性。物流***的输入和输出是随着人的意愿而变化的，具有随机性，但物流***内部的管理是自动化完成，具有一致性和及时性。简单来说，***输入输出的无序性和***运行的有序性是一对矛盾因素。AGV是自动化物流运输***、柔性生产组织***的核心设备，能够解决这一因素产生的问题。
目前，AGV缓存区能够环境***调配压力，是自动化物流***中的必备设备。但是，目前通常采用光电感应设备、声波设备或质量计量等方式对缓存区货物进行识别，但是，这些方式都具有识别能力有限、识别货物种类少、设备成本投入高、适用范围窄的不足。
基于此，本发明提供一种基于视觉的货位管理方法和装置，能够对货位上的货物进行精确识别，扩大货物识别的种类和范围，降低设备投入，下面通过实施例对本发明进行详细介绍。
参照图1，本实施例提供的一种基于视觉的货位管理方法，包括：
S110，获取目标货位的待测图像；
S120，采用预先训练好的深度神经网络模型对待测图像进行识别，得到第一识别结果；其中，第一识别结果包括待测图像中目标货位内目标货物的位置特征和/或外形特征；采用正负标定方法得到训练好的深度神经网络模型；
S130，将识别结果发送至自动引导车。
具体地，目标货位指的是位于AGV缓存区的货位，本实施例通过工业相机获取目标货位的待测图像，还可以采用2D或3D的黑白或彩色相机。
本实施例中每个工业相机监控多个缓存区域；这些相机位于货位或AGV缓存区的上方。根据具体情况，可对一个货位或一个缓存区设置多个工业相机。
本实施例的方法采用采用工控机或PC进行处理。
参照图4，为本实施例的一种可能的实施方式，介绍了解耦化设计原理。首先，需要对***初始化，根据项目需要选择相机设备初始化或者现有图片数据集(待识别图像)；若选择相机设备，在相机初始化设备列表里，选择配置的A款相机、B款相机或者其他相机(本实施例设置多款相机，可选择一款进行拍摄)；获取输入数据后，需要在识别网络初始化列表里选择一种深度神经网络模型，如SSD、YOLO、MaskR-CNN或者自定义深度学习网络(可根据硬件条件、图像的复杂程度和项目需求选择其中一种模型)；最后，通过运行选定的深度神经网络，得到第一识别结果。整个识别过程采用解耦化设计，通过节点编辑器将各个环节的算法连接在一起，便于进行快速项目部署、测试与应用。以图4为例，实现路径为当前选择的识别方案，虚线路径为可选择的识别方案。
本实施例可以采用多个相机进行监控，每个相机至少可监控一个AGV缓存区，相比于传统的光电式监控模式，本实施例既能实现缓存区有无货状态监控，又可实现对货物种类的识别，提高了设备的利用率，扩展了设备的功能，性价比较高。
可以理解的是，获取待测图像后，还会对待测图像进行预处理，预处理可以是灰度化、均衡化、去噪、格式转化等等。
可选地，上述实施例步骤S120中采用正负标定方法得到训练好的深度神经网络模型包括：
获取目标货位的训练样本和测试样本；
将训练样本进行预处理后，转换为数据文件；
将数据文件输入深度神经网络模型进行训练，得到训练好的深度神经网络模型。
具体地，本实施例中采用工业相机采集一定数量的训练样本，针对项目要求和复杂程序，可采集200-5000张照片作为训练样本。
然后，采用labelme等标定工具对样本进行标定，为增强***的鲁棒性，可将图像中的物体进行正标定和负标定，按照标定的属性将json样本数据集转换成掩膜及标签等数据文件。接着，将数据文件随机读入训练网络(深度神经网络模型中的一个)进行训练；训练结束后，将图像特征权重数据集保存为一个模型，即图像特征权重模型。
优选地，本实施例还包括对训练网络进行测试的步骤：
将测试样本和图像特征权重模型输入深度神经网络模型，得到目标货物的位置的概率值；
将目标货物的位置的概率值与预设阈值进行比较，得到第二识别结果；第二识别结果包括待测图像中目标货位内目标货物的位置特征和/或外形特征；
根据第二识别结果调整训练好的深度神经网络模型。
具体地，测试过程中，工业相机随机拍摄的样本作为测试样本，将测试样本和图像特征权重模型读入到预测网络，预测网络具有与训练网络一致的深度神经网络模型结构，经过计算，输出目标货物位置的概率值，将其与预设阈值进行比较，选取满意的作为第二识别结果，该结果具有目标物体的图像外形特征和/或位置特征(即位置信息)，可供AGV查询取货。
图3为本实施例的原理，即首先获取训练样本，然后进行样本标定、训练网络，得到(深度神经网络)模型，通过将测试样本输入到深度神经网络模型进行预测，得到预测网络的第二识别结果。
可选地，上述实施例中的将训练样本进行预处理后，转换为数据文件包括如下步骤：
对训练样本进行图像属性的标定；其中，图像属性包括正标定和负标定；正标定为对目标货位进行的标定，负标定为对非目标货位进行的标定；
按照图像属性将训练样本转换成数据文件，数据文件包括掩模文件和标签文件。
具体地，本实施例中将需要识别的目标确定为正标定，需要特别去除或者避免的目标确定为负标定。
本实施例在样本标定过程中，独创性地提出了正负标定的概念，将目标标定作为正标定，将需要去除或者避免的目标作为负标定，极大地提高了***的鲁棒性，更加适应复杂多变的货物缓存区环境。
可选地，上述实施例的S120中的深度神经网络模型为SSD、YOLO、Mask R-CNN和自定义深度学习网络中的任意一种；YOLO为YOLO V1、YOLO V2或YOLO V3中的任意一种。
具体地，自定义深度学习网络包括进行特征提取的卷积层、进行下采样的池化层和进行分类计算的全连接层。
可选地，上述实施例中的步骤S110包括如下步骤：
从多个相机中选择目标相机；
向目标相机发送初始化信息；
接收目标相机发送的目标货位的待测图像。
具体地，本实施例中首先进行***初始化，配置各种参数，查询物流***主服务器是否发布了AGV缓存区货物***调度任务，若接收到***查询任务，则向目标相机发送初始化信息，使得目标相机拍摄照片，并接收相机发送的待测图像，然后对待测图像进行图像预处理。
参照图2，本实施例的一种优选的方法为：
S200，***初始化；
具体地，本实施例中首先进行***初始化，配置各种参数，例如：根据项目需要选择相机设备初始化或者现有图片数据集；若选择相机设备，在相机初始化设备列表里，选择配置的A款相机、B款相机或者其他相机。
S210，判断是否为***调度，如果是，则进行下一步，否则转入S290；
具体地，查询物流***主服务器是否发布了AGV缓存区货物***调度任务，若接收到***查询任务，则向目标相机发送初始化信息，使得目标相机拍摄照片。获取输入数据后，需要在识别网络初始化(31)列表里选择一种深度神经网络模型，如SSD(28)、YOLO(29)、MaskR-CNN(33)或者自定义深度学习网络(32)。
S220，拍摄照片；
具体的，目标相机发送初始化信息，使得目标相机拍摄照片，并接收相机发送的待测图像。
S230，图像预处理；
S240，识别缓存区；
S250，识别缓存区内货物；
具体，在本实施例中采用一个相机监控多个缓存区，因此首先需要识别(目标)缓存区。
S260，识别缓存区内货物；
具体地，采用上述实施例中的货物监控方法，采用S210选定的网络进行识别，得到第一识别结果。
S270，识别结果发布；
具体地，将识别结果发送至物流***主服务器。
S280，判断***状态，需要继续运行则转职S210，否则进行下一步；
具体的，查询***状态，判断是否继续运行；
S290，将***挂起。
可选地，上述实施例的步骤S120之前还包括如下步骤：
确定目标货位的位置。
具体地，本实施例中的识别过程分为识别缓存区和识别缓存区内货物两个阶段，其中，识别缓存区以确定目标货位的位置。
识别缓存区时可以采用图像处理技术或者深度学习网络进行识别；识别缓存区内货物时采用深度学习技术对这一区域内的货物进行识别。
本实施例方法设计灵活，针对不同的项目现场环境和项目应用要求，可采用不同的深度学习算法或者传统的图像处理算法，方便***集成与后期升级。本实施例采用通用设备，视觉设备可选择2D或3D的黑白或彩色相机，配合图像处理算法，***部署更加灵活，设备与算法相容度更高。本实施例方法各个环节的算法采用解耦化设计，加入节点编辑器，便于进行快速项目部署、测试与应用。
参照图5，本发明实施例提供的一种基于视觉的货位管理装置，包括：
获取模块51，用于获取目标货位的待测图像；
识别模块52，用于采用预先训练好的深度神经网络模型对待测图像进行识别，得到第一识别结果，第一识别结果包括待测图像中目标货位的位置和外形特征；采用正负标定方法得到训练好的深度神经网络模型；
发送模块53，用于将识别结果发送至自动引导车。
可选地，上述实施例中的识别模块52包括如下模块：
样本获取模块，用于获取目标货位的训练样本和测试样本；
标定模块，用于对所述训练样本进行图像属性的标定；其中，所述图像属性包括正标定和负标定；所述正标定为对目标货位进行的标定，所述负标定为对非目标货位进行的标定；
格式转换模块，用于按照所述图像属性将所述训练样本转换成数据文件，所述数据文件包括掩模文件和标签文件；
第一输入模块，用于将所述数据文件输入深度神经网络模型进行训练，得到训练好的深度神经网络模型；
第二输入模块，用于将测试样本和所述图像特征权重模型输入深度神经网络模型，得到目标货物的位置的概率值；
比较模块，用于将目标货物的位置的概率值与预设阈值进行比较，得到第二识别结果；所述第二识别结果包括待测图像中目标货位内目标货物的位置特征和/或外形特征；
确定模块，用于根据所述第二识别结果确定训练好的深度神经网络模型。
可选地，上述实施例中的预处理及格式转换模块包括：
可选地，上述实施例的装置还包括如下模块：
输入模块，用于将测试样本和图像特征权重模型输入深度神经网络模型，得到目标货物的位置的概率值；
比较模块，用于将目标货物的位置的概率值与预设阈值进行比较，得到第二识别结果；第二识别结果包括待测图像中目标货位内目标货物的位置特征和/或外形特征；
调整模块，用于根据第二识别结果调整训练好的深度神经网络模型。
可选地，上述实施例服务器中使用的深度神经网络模型为SSD、YOLO、Mask R-CNN和自定义深度学习网络中的任意一种；所述YOLO为YOLO V1、YOLO V2或YOLO V3中的任意一种。
可选地，上述实施例中的获取模块包括：
选择模块，用于从多个相机中选择目标相机；
初始化模块，用于向目标相机发送初始化信息；
图像获取模块，用于接收目标相机发送的目标货位的待测图像。
可选地，上述实施例的装置还包括：
货位定位模块，用于确定目标货位的位置。
参照图6，本发明实施例提供的一种基于视觉的货位管理***，包括图像获取装置61、如前述实施例所述的基于视觉的货位管理装置62和自动引导车64；
所述图像获取装置61，用于拍摄待测图像，并将待测图像发送至基于视觉的货位管理装置62；
所述基于视觉的货位管理装置62，用于对所述待测图像中目标货位内的货物进行识别，得到第一识别结果；
所述自动引导车64，用于根据所述第一识别结果判断是否需要移动至目标货位。
具体地，参照图7，在优选的实施方式中，本实施例的***还包括交换机65和物流***主服务器63。其中，交换机65用于将图像获取装置61拍摄的待测图像发送至基于视觉的货位管理装置62；物流***主服务器63用于将第一识别结果发送至自动引导车64。图像获取装置61优选地，采用工业相机。
本实施例的工业相机可以为高速工业相机，物流***主服务器63发布对缓存区货物识别的查询命令，基于视觉的货位管理装置62接受到调度任务后，确定对缓存区货物状态进行查询；然后，通过交换机65控制工业相机进行拍照，通过高速以太网将图片数据传回到基于视觉的货位管理装置62，并对图片进行编码；最后，基于视觉的货位管理装置62将这组图片进行识别计算，得出AGV缓存区的货物信息，并传回物流***主服务器63。
本实施例采用高速工业相机、工控机及高速信息交换网络，***响应性高，精确度高，提高***运行效率，便于集成到其他应用项目中。
参见图8，本发明实施例还提供了一种电子设备100，包括通信接口101、处理器102、存储器103以及总线104，处理器102、通信接口101和存储器103通过总线104连接；上述存储器103用于存储支持处理器102执行上述基于视觉的货位管理方法的计算机程序，上述处理器102被配置为用于执行该存储器103中存储的程序。
可选地，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行如基于视觉的货位管理方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于视觉的货位管理方法，其特征在于，包括：
获取目标货位的待测图像；
采用预先训练好的深度神经网络模型对待测图像进行识别，得到第一识别结果；其中，所述第一识别结果包括待测图像中目标货位内目标货物的位置特征和/或外形特征；采用正负标定方法得到训练好的深度神经网络模型；
将所述识别结果发送至自动引导车。
2.根据权利要求1所述的方法，其特征在于，采用正负标定方法得到训练好的深度神经网络模型包括：
获取目标货位的训练样本和测试样本；
对所述训练样本进行图像属性的标定；其中，所述图像属性包括正标定和负标定；所述正标定为对目标货位进行的标定，所述负标定为对非目标货位进行的标定；
按照所述图像属性将所述训练样本转换成数据文件，所述数据文件包括掩模文件和标签文件；
将所述数据文件输入深度神经网络模型进行训练，得到训练好的深度神经网络模型。
3.根据权利要求2所述的方法，其特征在于，还包括：
将测试样本和图像特征权重模型输入深度神经网络模型，得到目标货物的位置的概率值；
将目标货物的位置的概率值与预设阈值进行比较，得到第二识别结果；第二识别结果包括待测图像中目标货位内目标货物的位置特征和/或外形特征；
根据第二识别结果调整训练好的深度神经网络模型。
4.根据权利要求1所述的方法，其特征在于，深度神经网络模型为SSD、YOLO、MaskR-CNN和自定义深度学习网络中的任意一种；所述YOLO为YOLO V1、YOLO V2或YOLO V3中的任意一种。
5.根据权利要求1所述的方法，其特征在于，获取目标货位的待测图像包括：
从多个相机中选择目标相机；
向目标相机发送初始化信息；
接收目标相机发送的目标货位的待测图像。
6.根据权利要求1所述的方法，其特征在于，采用预先训练好的深度神经网络模型对待测图像进行识别，得到第一识别结果之前还包括：
确定目标货位的位置。
7.一种基于视觉的货位管理装置，其特征在于，包括：
获取模块，用于获取目标货位的待测图像；
识别模块，用于采用预先训练好的深度神经网络模型对待测图像进行识别，得到第一识别结果，所述第一识别结果包括待测图像中目标货位的位置和外形特征；
发送模块，用于将所述识别结果发送至自动引导车。
8.一种基于视觉的货位管理***，其特征在于，包括图像获取装置、如权利要求7所述的基于视觉的货位管理装置和自动引导车；
所述图像获取装置，用于拍摄待测图像，并将待测图像发送至基于视觉的货位管理装置；
所述基于视觉的货位管理装置，用于对所述待测图像中目标货位内的货物进行识别，得到第一识别结果；
所述自动引导车，用于根据所述第一识别结果判断是否需要移动至目标货位。
9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至6任一项所述的方法的步骤。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至6任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010159831.9A CN111460909A (zh) | 2020-03-09 | 2020-03-09 | 基于视觉的货位管理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010159831.9A CN111460909A (zh) | 2020-03-09 | 2020-03-09 | 基于视觉的货位管理方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111460909A true CN111460909A (zh) | 2020-07-28 |
Family
ID=71684221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010159831.9A Pending CN111460909A (zh) | 2020-03-09 | 2020-03-09 | 基于视觉的货位管理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111460909A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298977A (zh) * | 2021-05-11 | 2021-08-24 | 上海通立信息科技有限公司 | 基于图像识别技术的搅拌车监控***及标定安装方法 |
| CN114842332A (zh) * | 2022-04-12 | 2022-08-02 | 苏州艾吉威机器人有限公司 | 一种库位检测方法和*** |
| CN114994046A (zh) * | 2022-04-19 | 2022-09-02 | 深圳格芯集成电路装备有限公司 | 基于深度学习模型的缺陷检测*** |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021364A (zh) * | 2016-05-10 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 图片搜索相关性预测模型的建立、图片搜索方法和装置 |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN107403192A (zh) * | 2017-07-18 | 2017-11-28 | 四川长虹电器股份有限公司 | 一种基于多分类器的快速目标检测方法及*** |
| CN107617573A (zh) * | 2017-09-30 | 2018-01-23 | 浙江瀚镪自动化设备股份有限公司 | 一种基于多任务深度学习的物流编码识别和分拣方法 |
| CN108416412A (zh) * | 2018-01-23 | 2018-08-17 | 浙江瀚镪自动化设备股份有限公司 | 一种基于多任务深度学习的物流复合码识别方法 |
| CN108510194A (zh) * | 2018-03-30 | 2018-09-07 | 平安科技（深圳）有限公司 | 风控模型训练方法、风险识别方法、装置、设备及介质 |
| CN108537272A (zh) * | 2018-04-08 | 2018-09-14 | 上海天壤智能科技有限公司 | 用于检测和分析仓位的方法和装置 |
| CN108549862A (zh) * | 2018-04-11 | 2018-09-18 | 北京航空航天大学 | 异常场景检测方法及装置 |
| CN109785333A (zh) * | 2018-12-11 | 2019-05-21 | 华北水利水电大学 | 用于并联机器人视觉***的目标检测方法及装置 |
| CN109927033A (zh) * | 2019-04-01 | 2019-06-25 | 杭州电子科技大学 | 一种应用于传送带分拣的目标物体动态适配方法 |
| CN110163234A (zh) * | 2018-10-10 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种模型训练方法、装置和存储介质 |
| CN110427922A (zh) * | 2019-09-03 | 2019-11-08 | 陈�峰 | 一种基于机器视觉和卷积神经网络病虫害识别***和方法 |
| CN110532978A (zh) * | 2019-09-03 | 2019-12-03 | 北京百度网讯科技有限公司 | 仓储管理方法、装置、设备及存储介质 |
| WO2019233421A1 (zh) * | 2018-06-04 | 2019-12-12 | 京东数字科技控股有限公司 | 图像处理方法及装置、电子设备、存储介质 |
-
2020
- 2020-03-09 CN CN202010159831.9A patent/CN111460909A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106021364A (zh) * | 2016-05-10 | 2016-10-12 | 百度在线网络技术（北京）有限公司 | 图片搜索相关性预测模型的建立、图片搜索方法和装置 |
| CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
| CN107403192A (zh) * | 2017-07-18 | 2017-11-28 | 四川长虹电器股份有限公司 | 一种基于多分类器的快速目标检测方法及*** |
| CN107617573A (zh) * | 2017-09-30 | 2018-01-23 | 浙江瀚镪自动化设备股份有限公司 | 一种基于多任务深度学习的物流编码识别和分拣方法 |
| CN108416412A (zh) * | 2018-01-23 | 2018-08-17 | 浙江瀚镪自动化设备股份有限公司 | 一种基于多任务深度学习的物流复合码识别方法 |
| WO2019184124A1 (zh) * | 2018-03-30 | 2019-10-03 | 平安科技（深圳）有限公司 | 风控模型训练方法、风险识别方法、装置、设备及介质 |
| CN108510194A (zh) * | 2018-03-30 | 2018-09-07 | 平安科技（深圳）有限公司 | 风控模型训练方法、风险识别方法、装置、设备及介质 |
| CN108537272A (zh) * | 2018-04-08 | 2018-09-14 | 上海天壤智能科技有限公司 | 用于检测和分析仓位的方法和装置 |
| CN108549862A (zh) * | 2018-04-11 | 2018-09-18 | 北京航空航天大学 | 异常场景检测方法及装置 |
| WO2019233421A1 (zh) * | 2018-06-04 | 2019-12-12 | 京东数字科技控股有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN110163234A (zh) * | 2018-10-10 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种模型训练方法、装置和存储介质 |
| CN109785333A (zh) * | 2018-12-11 | 2019-05-21 | 华北水利水电大学 | 用于并联机器人视觉***的目标检测方法及装置 |
| CN109927033A (zh) * | 2019-04-01 | 2019-06-25 | 杭州电子科技大学 | 一种应用于传送带分拣的目标物体动态适配方法 |
| CN110427922A (zh) * | 2019-09-03 | 2019-11-08 | 陈�峰 | 一种基于机器视觉和卷积神经网络病虫害识别***和方法 |
| CN110532978A (zh) * | 2019-09-03 | 2019-12-03 | 北京百度网讯科技有限公司 | 仓储管理方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李弼程等: "《模式识别原理与应用》", 西安电子科技大学出版社, pages: 183 - 184 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298977A (zh) * | 2021-05-11 | 2021-08-24 | 上海通立信息科技有限公司 | 基于图像识别技术的搅拌车监控***及标定安装方法 |
| CN114842332A (zh) * | 2022-04-12 | 2022-08-02 | 苏州艾吉威机器人有限公司 | 一种库位检测方法和*** |
| CN114994046A (zh) * | 2022-04-19 | 2022-09-02 | 深圳格芯集成电路装备有限公司 | 基于深度学习模型的缺陷检测*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108241870B (zh) | 用于分配测量数据内特定的感兴趣类别的方法 | |
| CN111460909A (zh) | 基于视觉的货位管理方法和装置 | |
| KR20190069457A (ko) | 이미지 기반 차량 손실 평가 방법, 장치 및 시스템, 및 전자 디바이스 | |
| US11562179B2 (en) | Artificial intelligence system for inspecting image reliability | |
| CN112052868A (zh) | 模型训练方法、图像相似度度量方法、终端及存储介质 | |
| CN111814850A (zh) | 缺陷检测模型训练方法、缺陷检测方法及相关装置 | |
| CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN113807350A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| CN111699499A (zh) | 检查***、图像识别***、识别***、识别器生成***及学习数据生成装置 | |
| KR102476679B1 (ko) | 객체 탐지 장치 및 방법 | |
| CN110853085A (zh) | 基于语义slam的建图方法和装置及电子设备 | |
| KR20230069892A (ko) | 이상 온도를 나타내는 객체를 식별하는 방법 및 장치 | |
| CN113780145A (zh) | ***形态检测方法、装置、计算机设备和存储介质 | |
| CN112101156A (zh) | 一种目标识别的方法、装置和电子设备 | |
| CN112329616A (zh) | 目标检测方法、装置、设备以及存储介质 | |
| CN116977257A (zh) | 缺陷检测方法、装置、电子设备、存储介质及程序产品 | |
| CN115035367A (zh) | 图片识别方法、装置及电子设备 | |
| CN114663755A (zh) | 用于半导体晶圆粗糙度智能检测的神经网络训练方法 | |
| CN113065634B (zh) | 一种图像处理方法、神经网络的训练方法以及相关设备 | |
| CN114139630A (zh) | 姿态识别方法、装置、存储介质和电子设备 | |
| CN113762005B (zh) | 特征选择模型的训练、对象分类方法、装置、设备及介质 | |
| CN111968102B (zh) | 一种目标设备检测方法、***、介质及电子终端 | |
| CN112183603A (zh) | 痘痘类型识别模型训练方法及相关装置 | |
| CN116994049A (zh) | 全自动针织横机及其方法 | |
| KR20210142864A (ko) | 계량기 숫자 인식 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |