CN108876241B - 一种基于视觉的仓储空间识别管理*** - Google Patents

一种基于视觉的仓储空间识别管理*** Download PDF

Info

Publication number
CN108876241B
CN108876241B CN201810587214.1A CN201810587214A CN108876241B CN 108876241 B CN108876241 B CN 108876241B CN 201810587214 A CN201810587214 A CN 201810587214A CN 108876241 B CN108876241 B CN 108876241B
Authority
CN
China
Prior art keywords
area
image
camera
warehouse
base station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810587214.1A
Other languages
English (en)
Other versions
CN108876241A (zh
Inventor
蒋涛
蔡涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Smart Motion Muniu Intelligent Technology Co., Ltd.
Original Assignee
Sichuan Smart Motion Muniu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Smart Motion Muniu Intelligent Technology Co ltd filed Critical Sichuan Smart Motion Muniu Intelligent Technology Co ltd
Priority to CN201810587214.1A priority Critical patent/CN108876241B/zh
Publication of CN108876241A publication Critical patent/CN108876241A/zh
Application granted granted Critical
Publication of CN108876241B publication Critical patent/CN108876241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于视觉的仓储空间识别管理***，包括仓库信息管理中心、相机、网络交换机和基站，网络交换机与相机、基站连接，基站连接仓库信息管理中心；基站为图像处理工作站；每一个库位安装四个相机；每个库位就是一个矩形区域；四个边界线对应的中心点正上方各安装一个相机，相机在每条边界的中心点上方，相机拍摄的区域划分为有效区域和无效区域。基站采集到图像后，每个相机采集的图像为一组，共4组，辨别对应库区中剩余可堆货的地面区域，并计算面积。本发明解决了仓库管理中获取仓库内剩余堆货区域的面积信息不及时，造成的仓库资源利用效率低问题，避免人工原因引起的各种错误；及时进行物流运输调配，高效的利用仓库资源。

Description

一种基于视觉的仓储空间识别管理***
技术领域
本发明属于物流仓库管理技术领域，具体涉及一种基于视觉的仓储空间识别管理***。
背景技术
经济不断发展，物流量在逐渐增大，促使了智能化仓库的建设。目前，部分已经实现了一定程度智能化建设或改造的仓库，资源利用和效率得到了很大提升。而对于智能化建设程度比较抵的仓库，资源利用和工作效率都较低，特别是像铁路上的中转站，入库、出库的货运量很大，货物种类繁多，存货周期短，使智能化建设难度加大，获取仓库内的存货量、还剩多少可存货区域等信息还是靠人工来完成，容易造成信息获取不及时、误差大现象，给仓库管理及仓库资源分配利用造成很大困扰。
本发明重在为类似于铁路中转站这种货物流通量大、货物存储周期短的仓库提供一种前期的智能化仓库建设方案，用于仓库地面剩余堆货区域辨别及面积计算，实施性强。利用相机采集仓库内库位的地面图像，通过图像判断堆积货物的区域是那些，计算每一库位内剩余可堆货的区域面积是多少，通过网络传给仓库信息管理中心，便于仓库管理人员及时掌握仓库现状，合理安排仓库储存，改善物流高峰期由于仓库信息获取不及时造成的运输拥堵现象，方便物流运输业务的调配。相比人工，信息获取更及时，更方便，使仓库资源调配更快捷，更合理。
发明内容
本发明针对当前智能仓库建设现状，提供一种基于视觉的仓储空间识别管理***，它运用机器视觉及图像处理技术，计算各个仓库内各个库位剩余可堆货区域的面积，利用网络技术和先进的管理理念，使物流仓库地面库位信息获取更及时，方便仓库管理及物流运输调配，促进智能化仓库管理的建设。
本发明的目的是通过以下技术方案来实现的：一种基于视觉的仓储空间识别管理***，包括仓库信息管理中心、相机、网络交换机和基站，网络交换机与相机、基站连接，基站连接仓库信息管理中心；基站为图像处理工作站；
一个仓库内有N个库位，每一个仓库中的每一个库位安装四个相机，则一个仓库内相机安装总数＝N*4；
每个库位就是一个矩形区域，矩形区域的边界画有与地面颜色形成鲜明对比的边界线；边界线在图像处理时作为库位边界识别的一个特征点；
矩形区域有四条边界线，四个边界线对应的中心点正上方各安装一个相机，相机在每条边界的中心点上方，且垂直向下拍摄，相机拍摄的区域划分为有效区域和无效区域；
计算过程如下：
首先通过基站发送一个库位的四个相机的控制信号，经交换机传输到相机，这一库位的四个相机从待机状态转换到工作状态，开始采集库位地面图像，每个相机采集多张图像后停止采集，四个相机的图像信息通过网线经交换机传输到基站，基站负责接收并分开存储四个相机的图像信息；
基站采集到图像后，开始进行图像分析处理；每个相机采集的图像为一组，共4组，对每组图像处理，从中辨别对应库区中剩余可堆货的地面区域，并计算面积。
作为优选方式，网络交换机采用多个交换机级联，一级交换机连接相机，二级交换机连接所有一级交换机，二级交换机再与相机管理与信息处理基站相连。
作为优选方式，相机网口输出为百兆，则一级交换机选用百兆网口，二级交换机选用千兆网口，基站配备千兆网口。
作为优选方式，安装的相机支持以太网通信和POE供电，每个相机通过网线，连接到带POE供电的交换机，交换机利用网线与相机通信，并向相机供电，提供相机的工作能源。
作为优选方式，每个相机采集20张图像后停止采集。
作为优选方式，一个库位四个边界线，分别为AB、BC、CD、DA，四个边界线对应的中心点是E、F、G、H，在E、F、G、H四个中心点的正上方高H米处各安装一个高清网络相机，对应相机编号为1、2、3、4；
每个相机在高H米处垂直向下拍摄地面图像，拍摄的地面区域大小大致为库位的大小；因相机在每条边界的中心点上方，且垂直向下拍摄，库位内能被相机拍摄到的区域大小只占库位区域的一半多一些，而计算时也只计算对应的这一半库位区域，其余部分为此相机的无效拍摄区域。
作为优选方式，每一组图像处理的具体过程：
(1)相机标定；
(2)矫正图像；
(3)提取库位区域图像；
(4)图像预处理；
(5)RGB颜色空间下的地面区域辨别；
(6)HSV颜色空间下的地面区域辨别；
(7)RGB与HSV两颜色空间下识别的区域合并；
(8)计算面积：由于实际的库位面积与图像中对应像素点组成面的面积对应，计算图像中的区域面积，再与对应的关系系数求积，即可得到实际库位的剩余可堆货面积。
作为优选方式，(1)相机标定
这个标定过程只在初次处理该相机图像时需人工来帮助进行，通过对相机进行标定，获取相机的内参或内外参，矫正其畸变，便于后面图像的畸变矫正处理；
(2)矫正图像
经过一次的相机标定，相机的内参或内外参都已确定好，只需利用所述已确定的相机的内参或内外参，就可以很好的矫正拍摄的图像，如果还存在畸变，可使用一些矫正算法进行适当矫正，减小图像畸变；
(3)提取库位区域图像
图像矫正后，每一幅图像中库位区域的边界对应所在位置几乎保持不变，通过给定图像中坐标点方式，直接可提取库位区域所对应的图像信息；
(4)图像预处理
包括图像滤波处理、彩色图像灰度化、颜色空间转换，为图像分割与目标识别做一些准备；
(5)RGB颜色空间下的地面区域辨别
对灰度图像先进行局部自适应阈值分割，这种方法是据像素的邻域块的像素值分布来确定该像素位置上的二值化阈值；然后再进行边缘检测；然后将轮廓与分水岭分割算法相结合，分割出不同的目标区域；
(6)HSV颜色空间下的地面区域辨别
在进行地面区域识别前，需要确定地面对应的H、V、S颜色特征值范围，且只在初始时确定一次，以后的地面区域识别可直接利用该颜色特征值范围，不需要重复确定；
此后需要进行地面区域识别的HVS图像中，像素点的H、S、V值在该范围内的区域即为地面图像区域，通过判断像素点的H、V、S值可将地面区域从图像中分离出来；
颜色匹配划分出各个区域后，将不靠近图像边缘的区域删除；
(7)RGB与HSV两颜色空间下识别的区域合并
将RGB和HSV两个颜色空间下识别的区域进行图像数据重叠，以或的关系重叠合并到一幅图中，每个颜色空间下的区域都有区域边界，除开图像的边界，另一边取靠近图像边缘的边界线；最后重叠后留下的部分即为该库位区域内剩余可堆货的区域；
计算面积：由于实际的库位面积与图像中对应像素点组成面的面积对应，计算图像中的区域面积，再与对应的关系系数求积，即可得到实际库位的剩余可堆货面积。
作为优选方式，一个库位的剩余可堆货面积计算完成后，基站再次发送下一个库位的四个相机的控制信号，通过以太网，接收相机的图像数据，并重复一组图像处理过程。
作为优选方式，直到某基站所连接的库位的面积都计算完成，再进入下一轮采集和计算，其中基站每计算出一个库位的剩余可堆货面积，立即将面积和库位位置数据通过以太网发往仓库管理信息中心和/或将库位拍摄的图像信息上传至仓库信息管理中心，方便管理人员查看；
最终工作人员可通过仓库信息管理中心利用传上来的数据可进行调配仓库的资源，调配物流运输，也可将数据传到互联网上，另一物流中转站可观看数据，与该物流中转站协同调配物流运输业务。
本发明的有益效果为：解决了仓库管理中获取仓库内剩余堆货区域的面积信息不及时，造成的仓库资源利用效率低问题，避免人工原因引起的各种错误。更好的实现了对仓库内地面堆货情况的掌握，及时进行物流运输调配，高效的利用仓库资源，为实现智慧物流、智慧仓储的建设起到重要的推进作用。
附图说明
图1为本发明的***结构方框图；
图2为某一个仓库内库位布局示意图；
图3某一个库位正上方相机安装位置示意图；
图4为各个相机的有效区域和整体有效区域示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种基于视觉的仓储空间识别管理***，其特征在于：包括仓库信息管理中心、相机、网络交换机和基站，网络交换机与相机、基站连接，基站连接仓库信息管理中心；基站为图像处理工作站；
一个仓库内有N个库位，每一个仓库中的每一个库位安装四个相机，则一个仓库内相机安装总数＝N*4；
如图2所示，一个仓库内含有10个库位，每个库位就是一个矩形区域，矩形区域的边界画有与地面颜色形成鲜明对比的边界线；边界线在图像处理时作为库位边界识别的一个特征点；
库位的矩形区域划分不易过大，已建好的仓库，仓库顶部能安装相机的高度H有限，先根据库位区域大小与高度H选择相机，若不存在符合规定的相机，则可根据高度H与相机的参数重新划分库位大小；
矩形区域有四条边界线，四个边界线对应的中心点正上方各安装一个相机，相机在每条边界的中心点上方，且垂直向下拍摄，相机拍摄的区域划分为有效区域和无效区域；
计算过程如下：
首先通过基站发送一个库位的四个相机的控制信号，经交换机传输到相机，这一库位的四个相机从待机状态转换到工作状态，开始采集库位地面图像，每个相机采集多张图像后停止采集，四个相机的图像信息通过网线经交换机传输到基站，基站负责接收并分开存储四个相机的图像信息；
基站采集到图像后，开始进行图像分析处理；每个相机采集的图像为一组，共4组，对每组图像处理，从中辨别对应库区中剩余可堆货的地面区域，并计算面积。
库位内能被相机拍摄到的区域大小只占库位区域的一半多一些，而计算时也只计算对应的这一半库位区域，其余部分为此相机的无效拍摄区域；。
在一个优选实施例中，网络交换机采用多个交换机级联，一级交换机连接相机，二级交换机连接所有一级交换机，二级交换机再与相机管理与信息处理基站相连。因库内的相机所需的电源由交换机产生，当库内库位数量较多时，使用一个交换机，其网络接口数量多，负载较大，所以可使用多个交换机进行级联。
在一个优选实施例中，相机网口输出为百兆，则一级交换机选用百兆网口，二级交换机选用千兆网口，基站配备千兆网口。
在一个优选实施例中，安装的相机支持以太网通信和POE供电，每个相机通过网线，连接到带POE供电的交换机，交换机利用网线与相机通信，并向相机供电，提供相机的工作能源。相机采用POE供电，相比独立供电的相机，不用单独考虑相机电源供电线的安装布线，减小相机安装时布线的施工难度。
在一个优选实施例中，每个相机采集20张图像后停止采集。
在一个优选实施例中，如图3所示，一个库位四个边界线，分别为AB、BC、CD、DA，四个边界线对应的中心点是E、F、G、H，在E、F、G、H四个中心点的正上方高H米处各安装一个高清网络相机，对应相机编号为1、2、3、4；
每个相机在高H米处垂直向下拍摄地面图像，拍摄的地面区域大小大致为库位的大小；因相机在每条边界的中心点上方，且垂直向下拍摄，库位内能被相机拍摄到的区域大小只占库位区域的一半多一些，而计算时也只计算对应的这一半库位区域，其余部分为此相机的无效拍摄区域。比如1号相机，拍摄的有效区域为矩形ABFH，而实际的拍摄区域为矩形区域ABFH的2倍多一些，2、3、4号相机拍摄的区域中对应的有效区域为EBCG、FCDH、GDAE。这四个有效区域在每个相机拍摄的图像中也只占到一部分，接近1/2。ABFH、EBCG、FCDH、GDA对应的图像部分正是实际用作地面剩余堆货区域辨别与面积计算的图像部分。其中相机的拍摄中心点在边界上，只考虑库位边界线以内视野被遮挡的情况，分别用四个相机的图像辨别剩余堆货区域，然后重叠就可以很好的去除四个方位上视线被货物遮挡的区域，而边界以外的区域，拍摄存在遮挡，也是无效的拍摄区域，这样做可很大程度上减小因相机拍摄存在视野被遮挡情况下的误差。
在一个优选实施例中，每一组图像处理的具体过程：
(1)相机标定；
(2)矫正图像；
(3)提取库位区域图像；
(4)图像预处理；
(5)RGB颜色空间下的地面区域辨别；
(6)HSV颜色空间下的地面区域辨别；
(7)RGB与HSV两颜色空间下识别的区域合并；
(8)计算面积：由于实际的库位面积与图像中对应像素点组成面的面积对应，计算图像中的区域面积，再与对应的关系系数求积，即可得到实际库位的剩余可堆货面积。
在一个优选实施例中，(1)相机标定
这个标定过程只在初次处理该相机图像时需人工来帮助进行，通过对相机进行标定，获取相机的内参或内外参，矫正其畸变，便于后面图像的畸变矫正处理；由于相机是定点拍摄地面图像，拍摄距离不变，一次标定好相机参数后，以后只需利用标定好的参数，不需再标定，除非相机更换和移位等情况使相机拍摄位置发生变化。
(2)矫正图像
经过一次的相机标定，相机的内参或内外参都已确定好，只需利用所述已确定好的相机的内参或内外参，就可以很好的矫正拍摄的图像，如果还存在畸变，可使用一些矫正算法进行适当矫正，减小图像畸变；
(3)提取库位区域图像
图像矫正后，每一幅图像中库位区域的边界对应所在位置几乎保持不变，通过给定图像中坐标点方式，直接可提取库位区域所对应的图像信息，例如，处理1号相机的图像时，我只需给定ABFH矩形区域四个顶点A、B、F、H在图像中位置坐标，该四个点的坐标圈起来的图像区域即为库位区域对应的图像信息，可将这部分的图像信息作为前景分离出来，其余部分作为背景全部变为黑色，相当于做一个分割。如果图像还存在畸变，除开四个顶点，可再多指定几个点来圈出库位区域对应的图像区域；
(4)图像预处理
包括图像滤波处理、彩色图像灰度化、颜色空间转换，为图像分割与目标识别做一些准备。图像滤波处理是将图像做滤波处理，使图像显得更平滑，达到降噪的目的；彩色图像灰度化是将RGB三通道彩色图像转换成单通道的灰度图；颜色空间转换是将RGB三通道彩色图转化成HVS颜色空间的图像；
(5)RGB颜色空间下的地面区域辨别
对灰度图像先进行局部自适应阈值分割，这种方法是据像素的邻域块的像素值分布来确定该像素位置上的二值化阈值。这样做的好处在于每个像素位置处的二值化阈值不是固定不变的，而是由其周围邻域像素的分布来决定的。亮度较高的图像区域的二值化阈值通常会较高，而亮度较低的图像区域的二值化阈值则会相适应地变小。不同亮度、对比度、纹理的局部图像区域将会拥有相对应的局部二值化阈值。这样分割方式几乎会分割出所有的轮廓，轮廓信息也比较完整，不同全局固定阈值分割，全局固定阈值分割对整幅图像都是用一个统一的阈值来进行二值化，在仓库内光线存在变化时，图像经这种分割方式分割后可能会造成我们想要的轮廓信息丢失。局部自适应阈值分割后所有物体的轮廓边界可清楚的分离出来；然后再进行边缘检测，运用最常用的Canny算子(或者这个算子的变体)边缘检测方法，检测出不同对象的边界轮廓，接着剔除轮廓长度较小、面积较小的轮廓；然后将轮廓与分水岭分割算法相结合，分割出不同的目标区域，这里使用改进的分水岭算法，即使用一系列预定义标记来引导图像分割的定义方式。具体实现过程是：将刚检测出的轮廓作为分水岭分割算法的标签，对滤波后的彩色RGB图像中的部分像素做标记，表明它的所属区域是已知的，分水岭算法再根据这个初始标签确定其他像素所属的区域，进而分割出不同的对象区域。将靠近图像边界的区域暂标记为地面区域，此处的图像边界指的是已分离出的库位区域图像的边界；
(6)HSV颜色空间下的地面区域辨别
HSV颜色空间下，H参数表示色彩信息，即所处的光谱颜色的位置；该参数用一角度量来表示，红、绿、蓝分别相隔120度；互补色分别相差180度；纯度S为一比例值，范围从0到1，它表示成所选颜色的纯度和该颜色最大的纯度之间的比率；V表示色彩的明亮程度，范围从0到1；在进行地面区域识别前，需要确定地面对应的H、V、S颜色特征值范围，且只在初始时确定一次，以后的地面区域识别可直接利用该颜色特征值范围，不需要重复确定。过程是利用相机拍摄不同时刻下的库位地面图像，从每张图像中截取地面区域图像，然后将每张RGB彩色图像转换成HVS图像，求得不同时刻下地面图像的H、V、S值，再根据所有图像的H、S、V值判断地面颜色特征对应的H、S、V值的范围，即H值范围在H1～H2内，V值范围在V1～V2内，S值范围在S1～S2内，将此H、V、S值范围作为地面颜色匹配时的判断标准。
此后需要进行地面区域识别的HVS图像中，像素点的H、S、V值在该范围内的区域即为地面图像区域，通过判断像素点的H、V、S值可将地面区域从图像中分离出来，此处可能分离的不是很准确，因为地面颜色很可能会遇到一些干扰，造成匹配准确率降低，根据环境，可使用涂料给库位涂上比较鲜明的色，增加匹配准确率。颜色匹配划分出各个区域后，将不靠近图像边缘的区域删除；
(7)RGB与HSV两颜色空间下识别的区域合并
将RGB和HSV两个颜色空间下识别的区域进行图像数据重叠，以或的关系重叠合并到一幅图中，每个颜色空间下的区域都有区域边界，除开图像的边界，另一边取靠近图像边缘的边界线；最后重叠后留下的部分即为该库位区域内剩余可堆货的区域。
4组图像数据处理完毕，参考图4，得到库位四个方向上的剩余可堆货区域，图4中1、2、3、4中黑点表示区域，将其叠加得一幅图中，得到整个库位的剩余可堆货区域图像信息，即图4中5中黑点表示区域。
计算面积：由于实际的库位面积与图像中对应像素点组成面的面积对应，计算图像中的区域面积，再与对应的关系系数求积，即可得到实际库位的剩余可堆货面积。
假设实际中整个库位的面积为S1，在图像中与实际库位对应的整个区域的图像面积为S2，图像面积转到实际库位地面面积的转换关系系数为：a＝S1/S2，假设现测得某一库位中剩余堆货区域的图像面积为S3，对应到实际库位中的地面面积S4为：S4＝S3*a。这里采用四个方位的区域叠加可很好的减小视野盲区带来的误差，视野盲区即相机拍摄地面时，货物挡住相机视野，侧面的地面上有部分未堆货的区域拍摄不到，丢失了这部分区域的信息。
在一个优选实施例中，一个库位的剩余可堆货面积计算完成后，基站再次发送下一个库位的四个相机的控制信号，通过以太网，接收相机的图像数据，并重复一组图像处理过程。
在一个优选实施例中，直到某基站所连接的库位的面积都计算完成，再进入下一轮采集和计算，其中基站每计算出一个库位的剩余可堆货面积，立即将面积和库位位置数据通过以太网发往仓库管理信息中心和/或将库位拍摄的图像信息上传至仓库信息管理中心，方便管理人员查看；
最终工作人员可通过仓库信息管理中心利用传上来的数据可进行调配仓库的资源，调配物流运输，也可将数据传到互联网上，另一物流中转站可观看数据，与该物流中转站协同调配物流运输业务。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，应当指出的是，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视觉的仓储空间识别管理***，其特征在于：包括仓库信息管理中心、相机、网络交换机和基站，网络交换机与相机、基站连接，基站连接仓库信息管理中心；基站为图像处理工作站；
一个仓库内有N个库位，每一个仓库中的每一个库位安装四个相机，则一个仓库内相机安装总数＝N*4；
每个库位就是一个矩形区域，矩形区域的边界画有与地面颜色形成鲜明对比的边界线；边界线在图像处理时作为库位边界识别的一个特征点；
矩形区域有四条边界线，四个边界线对应的中心点正上方各安装一个相机，相机在每条边界的中心点上方，且垂直向下拍摄，相机拍摄的区域划分为有效区域和无效区域；
计算过程如下：
首先通过基站发送一个库位的四个相机的控制信号，经交换机传输到相机，这一库位的四个相机从待机状态转换到工作状态，开始采集库位地面图像，每个相机采集多张图像后停止采集，四个相机的图像信息通过网线经交换机传输到基站，基站负责接收并分开存储四个相机的图像信息；
基站采集到图像后，开始进行图像分析处理；每个相机采集的图像为一组，共4组，对每组图像处理，从中辨别对应库区中剩余可堆货的地面区域，并计算面积。
2.根据权利要求1所述的一种基于视觉的仓储空间识别管理***，其特征在于：网络交换机采用多个交换机级联，一级交换机连接相机，二级交换机连接所有一级交换机，二级交换机再与相机管理与信息处理基站相连。
3.根据权利要求2所述的一种基于视觉的仓储空间识别管理***，其特征在于：相机网口输出为百兆，则一级交换机选用百兆网口，二级交换机选用千兆网口，基站配备千兆网口。
4.根据权利要求1所述的一种基于视觉的仓储空间识别管理***，其特征在于：安装的相机支持以太网通信和POE供电，每个相机通过网线，连接到带POE供电的交换机，交换机利用网线与相机通信，并向相机供电，提供相机的工作能源。
5.根据权利要求1所述的一种基于视觉的仓储空间识别管理***，其特征在于：每个相机采集20张图像后停止采集。
6.根据权利要求1所述的一种基于视觉的仓储空间识别管理***，其特征在于：一个库位四个边界线，分别为AB、BC、CD、DA，四个边界线对应的中心点是E、F、G、H，在E、F、G、H四个中心点的正上方高H米处各安装一个高清网络相机，对应相机编号为1、2、3、4；
每个相机在高H米处垂直向下拍摄地面图像，拍摄的地面区域大小大致为库位的大小；因相机在每条边界的中心点上方，且垂直向下拍摄，库位内能被相机拍摄到的区域大小只占库位区域的一半多一些，而计算时也只计算对应的这一半库位区域，其余部分为此相机的无效拍摄区域。
7.根据权利要求1所述的一种基于视觉的仓储空间识别管理***，其特征在于：每一组图像处理的具体过程：
(1)相机标定；
(2)矫正图像；
(3)提取库位区域图像；
(4)图像预处理；
(5)RGB颜色空间下的地面区域辨别；
(6)HSV颜色空间下的地面区域辨别；
(7)RGB与HSV两颜色空间下识别的区域合并；
(8)计算面积：由于实际的库位面积与图像中对应像素点组成面的面积对应，计算图像中的区域面积，再与对应的关系系数求积，即可得到实际库位的剩余可堆货面积。
8.根据权利要求1或7所述的一种基于视觉的仓储空间识别管理***，其特征在于：
(1)相机标定
这个标定过程只在初次处理该相机图像时需人工来帮助进行，通过对相机进行标定，获取相机的内参或内外参，矫正其畸变，便于后面图像的畸变矫正处理；
(2)矫正图像
经过一次的相机标定，相机的内参或内外参都已确定好，只需利用所述已确定的相机的内参或内外参，就可以很好的矫正拍摄的图像，如果还存在畸变，可使用一些矫正算法进行适当矫正，减小图像畸变；
(3)提取库位区域图像
图像矫正后，每一幅图像中库位区域的边界对应所在位置几乎保持不变，通过给定图像中坐标点方式，直接可提取库位区域所对应的图像信息；
(4)图像预处理
包括图像滤波处理、彩色图像灰度化、颜色空间转换，为图像分割与目标识别做一些准备；
(5)RGB颜色空间下的地面区域辨别
对灰度图像先进行局部自适应阈值分割，这种方法是据像素的邻域块的像素值分布来确定该像素位置上的二值化阈值；然后再进行边缘检测；然后将轮廓与分水岭分割算法相结合，分割出不同的目标区域；
(6)HSV颜色空间下的地面区域辨别
在进行地面区域识别前，需要确定地面对应的H、V、S颜色特征值范围，且只在初始时确定一次，以后的地面区域识别可直接利用该颜色特征值范围，不需要重复确定；
此后需要进行地面区域识别的HVS图像中，像素点的H、S、V值在该范围内的区域即为地面图像区域，通过判断像素点的H、V、S值可将地面区域从图像中分离出来；
颜色匹配划分出各个区域后，将不靠近图像边缘的区域删除；
(7)RGB与HSV两颜色空间下识别的区域合并
将RGB与HSV两个颜色空间下识别的区域进行图像数据重叠，以或的关系重叠合并到一幅图中，每个颜色空间下的区域都有区域边界，除开图像的边界，另一边取靠近图像边缘的边界线；最后重叠后留下的部分即为该库位区域内剩余可堆货的区域；
计算面积：由于实际的库位面积与图像中对应像素点组成面的面积对应，计算图像中的区域面积，再与对应的关系系数求积，即可得到实际库位的剩余可堆货面积。
9.根据权利要求8所述的一种基于视觉的仓储空间识别管理***，其特征在于：一个库位的剩余可堆货面积计算完成后，基站再次发送下一个库位的四个相机的控制信号，通过以太网，接收相机的图像数据，并重复一组图像处理过程。
10.根据权利要求9所述的一种基于视觉的仓储空间识别管理***，其特征在于：
直到某基站所连接的库位的面积都计算完成，再进入下一轮采集和计算，其中基站每计算出一个库位的剩余可堆货面积，立即将面积和库位位置数据通过以太网发往仓库管理信息中心和/或将库位拍摄的图像信息上传至仓库信息管理中心，方便管理人员查看；
最终工作人员可通过仓库信息管理中心利用传上来的数据可进行调配仓库的资源，调配物流运输，也可将数据传到互联网上，另一物流中转站可观看数据，与该物流中转站协同调配物流运输业务。
CN201810587214.1A 2018-06-08 2018-06-08 一种基于视觉的仓储空间识别管理*** Active CN108876241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810587214.1A CN108876241B (zh) 2018-06-08 2018-06-08 一种基于视觉的仓储空间识别管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810587214.1A CN108876241B (zh) 2018-06-08 2018-06-08 一种基于视觉的仓储空间识别管理***

Publications (2)

Publication Number Publication Date
CN108876241A CN108876241A (zh) 2018-11-23
CN108876241B true CN108876241B (zh) 2021-09-03

Family

ID=64338584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810587214.1A Active CN108876241B (zh) 2018-06-08 2018-06-08 一种基于视觉的仓储空间识别管理***

Country Status (1)

Country Link
CN (1) CN108876241B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685467A (zh) * 2018-12-25 2019-04-26 杭州彦德信息科技有限公司 库存管理方法、库存管理装置、设备及存储介质
CN110084186A (zh) * 2019-04-25 2019-08-02 中信梧桐港供应链管理有限公司 一种仓库远程监管方法及装置
CN110751445B (zh) * 2019-10-25 2023-04-07 上海德启信息科技有限公司 一种库区货物管控方法、装置及存储介质
CN111340027A (zh) * 2020-03-05 2020-06-26 中冶赛迪重庆信息技术有限公司 一种堆钢识别方法、***、电子设备及介质
CN111832454A (zh) * 2020-06-30 2020-10-27 苏州罗伯特木牛流马物流技术有限公司 利用工业相机视觉识别实现地面货位管理的***和方法
CN111762490A (zh) * 2020-07-01 2020-10-13 泰森日盛集团有限公司 一种便于库位管理的成品库智能仓***
CN112184104A (zh) * 2020-09-18 2021-01-05 安徽三禾一信息科技有限公司 一种用于仓储的物料码放方法
CN114819285A (zh) * 2022-03-31 2022-07-29 日日顺供应链科技股份有限公司 一种仓库设置方法及一种入库方法
CN114936829B (zh) * 2022-07-26 2022-10-21 山东睿达电子科技有限责任公司 一种基于rfid技术的产品物流仓储用智能识别管控***
CN115860642B (zh) * 2023-02-02 2023-05-05 上海仙工智能科技有限公司 一种基于视觉识别的出入库管理方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102905113A (zh) * 2012-10-10 2013-01-30 吉林省粮油科学研究设计院 一种基于图像识别技术的粮食仓库智能监控***
CN106097329A (zh) * 2016-06-07 2016-11-09 浙江工业大学 一种基于边缘检测的集装箱轮廓定位方法
CN106485937A (zh) * 2016-08-31 2017-03-08 国网山东省电力公司巨野县供电公司 一种仓储空间智能管理方法
CN108122081A (zh) * 2016-11-26 2018-06-05 沈阳新松机器人自动化股份有限公司 机器人及其库存管理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193430A1 (en) * 2015-12-31 2017-07-06 International Business Machines Corporation Restocking shelves based on image data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102905113A (zh) * 2012-10-10 2013-01-30 吉林省粮油科学研究设计院 一种基于图像识别技术的粮食仓库智能监控***
CN106097329A (zh) * 2016-06-07 2016-11-09 浙江工业大学 一种基于边缘检测的集装箱轮廓定位方法
CN106485937A (zh) * 2016-08-31 2017-03-08 国网山东省电力公司巨野县供电公司 一种仓储空间智能管理方法
CN108122081A (zh) * 2016-11-26 2018-06-05 沈阳新松机器人自动化股份有限公司 机器人及其库存管理方法

Also Published As

Publication number Publication date
CN108876241A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108876241B (zh) 一种基于视觉的仓储空间识别管理***
Aquino et al. Automated early yield prediction in vineyards from on-the-go image acquisition
CN107610176B (zh) 一种基于Kinect的栈板动态识别与定位方法、***及介质
CN101493892B (zh) 图像特征提取方法及装置
CN102184398B (zh) 一种基于边缘检测的集装箱号码定位方法
CN113139521A (zh) 一种用于电力监控的行人越界标监测方法
CN102930279A (zh) 用于产品数量检测的图像识别方法
CN103198705A (zh) 车位状态自动检测方法
CN114219842A (zh) 港口集装箱自动装卸作业中的视觉识别、测距与定位方法
CN102693426A (zh) 一种图像显著区域检测方法
KR20170092734A (ko) 컬러 정보를 이용한 팔레트 검출 방법, 및 무인 운송 로봇의 팔레트 적재 상태 인식용 비전 모듈
CN109472261A (zh) 一种基于计算机视觉的粮仓储粮数量变化自动监测方法
CN103914833A (zh) 一种自动检测票据是否残缺的方法及***
CN107527343A (zh) 一种基于图像处理的双孢蘑菇分级方法
CN113034624A (zh) 基于感温变色胶贴的温度预警图像识别方法、***、设备及存储介质
CN103902985A (zh) 一种基于roi的强鲁棒性实时车道侦测算法
CN106529556A (zh) 一种仪表指示灯的视觉检测***
Changhui et al. Overlapped fruit recognition for citrus harvesting robot in natural scenes
Rodriguez-Telles et al. A fast floor segmentation algorithm for visual-based robot navigation
CN103065147A (zh) 一种基于图像匹配和识别技术的车辆监控方法
CN112926365A (zh) 一种车道线检测方法及其***
Wu et al. Steel bars counting and splitting method based on machine vision
CN111985436A (zh) 一种基于lsd的车间地标线识别拟合方法
CN115082841B (zh) 一种仓储物流机器人工作区域异常监测方法
CN108710850B (zh) 一种枸杞果实识别方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191122

Address after: 610043 No.129, middle Juqiao street, Wuhou District, Chengdu, Sichuan Province

Applicant after: Sichuan Smart Motion Muniu Intelligent Technology Co., Ltd.

Address before: West high tech Zone Fucheng Road in Chengdu city of Sichuan province 610000 399 No. 7 Building 1 unit 11 floor No. 1107

Applicant before: SICHUAN MONIULIUMA INTELLIGENT TECHNOLOGY CO., LTD.

GR01 Patent grant
GR01 Patent grant