CN112318485B - 物体分选***及其图像处理方法、装置 - Google Patents

物体分选***及其图像处理方法、装置 Download PDF

Info

Publication number
CN112318485B
CN112318485B CN202011073609.3A CN202011073609A CN112318485B CN 112318485 B CN112318485 B CN 112318485B CN 202011073609 A CN202011073609 A CN 202011073609A CN 112318485 B CN112318485 B CN 112318485B
Authority
CN
China
Prior art keywords
image
robot
coordinate system
processing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011073609.3A
Other languages
English (en)
Other versions
CN112318485A (zh
Inventor
商德勇
杨志远
牛艳奇
王宇威
汪俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology Beijing CUMTB
Original Assignee
China University of Mining and Technology Beijing CUMTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology Beijing CUMTB filed Critical China University of Mining and Technology Beijing CUMTB
Priority to CN202011073609.3A priority Critical patent/CN112318485B/zh
Publication of CN112318485A publication Critical patent/CN112318485A/zh
Application granted granted Critical
Publication of CN112318485B publication Critical patent/CN112318485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及数据处理技术领域，具体提供了一种物体分选***及其图像处理方法、装置，旨在解决如何提高物体分选效率与准确性的技术问题。为此目的，根据本发明实施例的图像处理方法，通过获取背景图像帧与实时图像帧的差分图像、利用Otsu算法对传送图像中ROI区域对应的差分图像区域进行阈值处理、根据阈值处理得到的灰度值分割阈值对差分图像进行图像分割处理，得到差分图像中的背景区域与物体识别区域，以便于***能够获取传送图像中与物体识别区域对应的局部图像、对局部图像进行图像识别并且根据图像识别结果判断传送区域内是否存在目标物体，以提高物体分选***抓取物体时的抓取精度，进而提高物体分选***的分选效率与准确性。

Description

物体分选***及其图像处理方法、装置
技术领域
本发明涉及数据处理技术领域，具体涉及一种物体分选***及其图像处理方法、装置。
背景技术
在煤炭生产过程中，原煤中不可避免的混有煤矸石。由于煤矸石的发热值低，与煤混在一起会降低煤炭的发热量，也是污染源之一，因此将煤矸石从煤炭中分拣出来是提高煤炭质量、清洁利用的一个必不可少的处理流程。目前基于信息传感、人工智能、视频监控等技术对原煤的洗选过程进行自动化、少人化操控是智能洗选***的发展方向，因而亟需一种煤矸石分选***对煤矸石自动识别并分选，大幅提高选矸石质量和分选效率，具有很好的社会效益和经济效益。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决如何提高物体如煤矸石分选效率与准确性的技术问题的物体分选***及其图像处理方法、装置。
第一方面，提供一种物体分选***的图像处理方法，所述***包括传送装置、图像获取/处理装置和物体抓取控制装置，所述物体抓取控制装置包括机器人和机器人控制器；
所述图像获取/处理装置被配置成获取在图像检测区域内所述传送装置的传送区域的传送图像，对所述传送图像进行图像识别并且根据图像识别结果判断所述传送区域内是否存在目标物体；若存在，则根据所述传送图像获取所述目标物体在相机坐标系下的第一位置并且将所述第一位置发送至所述物体抓取控制装置；
所述机器人控制器被配置成将所述第一位置转换成相应机器人坐标系下的第二位置，根据所述第二位置与所述传送装置的传送速度生成所述目标物体的抓取轨迹并且根据所述抓取轨迹控制所述机器人执行相应的抓取动作，以对所述目标物体进行抓取；
所述图像处理方法包括：
获取预先构建的所述传送图像的背景图像帧以及所述图像获取/处理装置当前采集到的所述传送图像的实时图像帧；
对所述背景图像帧与所述实时图像帧进行差分处理，得到所述传送图像的差分图像；
利用Otsu算法对所述传送图像中ROI区域对应的差分图像区域进行阈值处理，得到对所述差分图像进行图像分割的第一灰度值分割阈值；
根据所述第一灰度值分割阈值对所述差分图像进行图像分割处理，得到所述差分图像中的背景区域与物体识别区域，以便于所述图像获取/处理装置能够获取所述传送图像中与所述物体识别区域对应的局部图像、对所述局部图像进行图像识别并且根据图像识别结果判断所述传送区域内是否存在目标物体。
在上述图像处理方法的一个技术方案中，“根据所述第一灰度值分割阈值对所述差分图像进行图像分割处理，得到所述差分图像中的背景区域与物体识别区域”的步骤具体包括：
根据所述第一灰度值分割阈值以及所述差分图像内每个像素各自对应的灰度值进行二值化处理，得到背景灰度值区域与物体识别灰度值区域；所述背景灰度值区域内每个像素各自对应的灰度值均小于等于所述第一灰度值分割阈值，所述物体识别灰度值区域内每个像素各自对应的灰度值均大于所述第一灰度值分割阈值；
对所述物体识别灰度值区域进行形态学图像处理，随后利用邻域法对形态学图像处理结果进行连通性分析，根据连通性分析结果获取所述物体识别区域。
在上述图像处理方法的一个技术方案中，当所述目标物体是煤炭与煤矸石混合物料中的煤矸石时，所述图像获取/处理装置被配置成按照以下操作获取所述局部图像的灰度特征，以根据所述灰度特征进行图像识别，判断所述传送区域内是否存在目标物体：
对所述局部图像进行直方图均衡化处理，以扩展所述局部图像的灰度级数；
利用Otsu算法对经所述直方图均衡化处理后的局部图像进行阈值处理，得到对所述局部图像进行图像分割的第二灰度值分割阈值；
根据所述第二灰度值分割阈值以及所述局部图像内每个像素各自对应的灰度值进行二值化处理，根据二值化处理结果判断是否存在煤矸石裸露区域；所述煤矸石裸露区域内每个像素各自对应的灰度值均大于所述第二灰度值分割阈值；
若存在所述煤矸石裸露区域，则获取所述局部图像中与所述煤矸石裸露区域对应的区域图像、获取所述区域图像中每个子区域各自对应的每项灰度特征的灰度特征值、根据所述每个子区域各自对应的每项灰度特征的灰度特征值计算所述每项灰度特征各自对应的灰度特征均值，以及将所述每项灰度特征各自对应的灰度特征均值设定为所述局部图像的灰度特征。
在上述图像处理方法的一个技术方案中，所述图像处理方法还包括根据所述图像获取/处理装置获取的传送图像对所述物体分选***进行***坐标标定，具体包括：
根据所述图像获取/处理装置建立相机坐标系，根据所述物体抓取控制装置建立机器人坐标系，以在所述图像获取/处理装置的相机视野中所述传送装置的传送区域所在的平面为XY平面坐标，建立传送装置三维坐标系；
获取在所述传送装置对测试物体进行传送的过程中，所述物体抓取控制装置抓取测试物体时所述机器人在所述机器人坐标系下的机器人位置，以及获取在所述传送装置对测试物体进行传送的过程中所述传送装置三维坐标系的原点位置，根据所述机器人位置与所述原点位置，获取所述传送装置三维坐标系与所述机器人坐标系的第一转换矩阵；
根据所述图像获取/处理装置获取的包含有测试物体的传送图像，获取所述测试物体在所述相机坐标系下的测试物***置；获取在所述物体抓取控制装置抓取所述测试物体的过程中所述机器人接触到所述测试物体时所述机器人的第一机器人抓取位置；
根据所述测试物***置、所述第一机器人抓取位置以及所述第一转换矩阵，获取所述相机坐标系与所述传送装置三维坐标系的第二转换矩阵，以便于所述物体抓取控制装置能够根据所述第一转换矩阵与所述第二转换矩阵将所述目标物体的第一位置转换成相应的第二位置，进而根据所述第二位置执行相应的抓取操作。
在上述图像处理方法的一个技术方案中，所述第一转换矩阵如下式所示：
Figure GDA0002944580880000041
其中，所述
Figure GDA0002944580880000042
表示所述第一转换矩阵，所述
Figure GDA0002944580880000043
表示在所述传送装置移动距离ΔL1后的传送装置三维坐标系与机器人坐标系之间的转换矩阵，所述
Figure GDA0002944580880000044
表示在所述传送装置移动距离ΔL1前后的两个传送装置三维坐标系之间的转换矩阵；
所述转换矩阵
Figure GDA0002944580880000045
所述移动距离ΔL1＝(V′e3-Ve3)Factorc，所述Ve3和V′e3分别是所述传送装置移动距离ΔL1前后的起始位置和末端位置，所述Factorc是传送装置比例因子，
Figure GDA0002944580880000046
x1、y1、z1分别是将第一测试物体由初始位置移动到第一抓取位置之后抓取所述第一测试物体的过程中所述机器人接触到所述第一测试物体时所述机器人的第二机器人抓取位置
Figure GDA0002944580880000047
中的X轴、Y轴和Z轴的坐标，所述Ve1是所述第一测试物体由初始位置移动到第一抓取位置之后所述传送装置的位移；x2、y2、z2分别是将所述第一测试物体由所述第一抓取位置移动到第二抓取位置之后抓取所述第一测试物体的过程中所述机器人接触到所述第一测试物体时所述机器人的第三机器人抓取位置
Figure GDA0002944580880000048
中的X轴、Y轴和Z轴的坐标，所述Ve2是所述第一测试物体由所述第一抓取位置移动到所述第二抓取位置之后所述传送装置的位移；
所述转换矩阵
Figure GDA0002944580880000049
所述
Figure GDA00029445808800000410
是将第二测试物体由初始位置移动到第三抓取位置之后抓取所述第二测试物体的过程中所述机器人接触到所述第二测试物体时所述机器人的第四机器人抓取位置，所述
Figure GDA00029445808800000411
是在所述传送装置移动过程中所述传送装置三维坐标系的原点位置。
在上述图像处理方法的一个技术方案中，所述第二转换矩阵如下式所示：
Figure GDA00029445808800000412
其中，所述
Figure GDA0002944580880000051
表示所述第二转换矩阵，所述
Figure GDA0002944580880000052
是在所述物体抓取控制装置在抓取第三测试物体的过程中所述机器人接触到所述第三测试物体的第i个目标点时所述机器人的第一机器人抓取位置，所述
Figure GDA0002944580880000053
是根据所述图像获取/处理装置获取的包含有所述第三测试物体的传送图像，获取到的所述第三测试物体的第i个目标点在所述相机坐标系下的测试物***置，i＝1，2，3，4。
第二方面，提供一种存储装置，其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述图像处理方法的技术方案中任一项所述的物体分选***的图像处理方法。
第三方面，提供一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述图像处理方法的技术方案中任一项所述的物体分选***的图像处理方法。
第四方面，提供一种物体分选***，所述***包括传送装置、图像获取/处理装置、物体抓取控制装置以及上述控制装置的技术方案所述的控制装置，所述物体抓取控制装置包括机器人和机器人控制器；
所述图像获取/处理装置被配置成获取在图像检测区域内所述传送装置的传送区域的传送图像，对所述传送图像进行图像识别并且根据图像识别结果判断所述传送区域内是否存在目标物体；若存在，则根据所述传送图像获取所述目标物体在相机坐标系下的第一位置并且将所述第一位置发送至所述物体抓取控制装置；
所述机器人控制器被配置成将所述第一位置转换成相应机器人坐标系下的第二位置，根据所述第二位置与所述传送装置的传送速度生成所述目标物体的抓取轨迹并且根据所述抓取轨迹控制所述机器人执行相应的抓取动作，以对所述目标物体进行抓取。
在上述***的一个技术方案中，所述图像获取/处理装置包括CCD相机；所述机器人包括并联机器人，所述机器人控制器包括KeMotion控制器。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本发明的技术方案中，主要是通过包含有传送装置、图像获取/处理装置以及物体抓取控制装置的物体分选***进行物体抓取以实现物体分选。图像获取/处理装置能够对传送装置的传送区域(例如：传送带)进行图像采集与识别以判断是否存在目标物体，物体抓取控制装置能够根据图像获取/处理装置的图像识别结果对目标物体进行抓取。其中，物体抓取控制装置可以包括机器人和机器人控制器。通过获取背景图像帧与实时图像帧的差分图像、利用Otsu算法对传送图像中ROI区域对应的差分图像区域进行阈值处理、根据阈值处理得到的灰度值分割阈值对差分图像进行图像分割处理，得到差分图像中的背景区域与物体识别区域，以便于***能够获取传送图像中与物体识别区域对应的局部图像、对局部图像进行图像识别并且根据图像识别结果判断传送区域内是否存在目标物体，以提高物体分选***抓取物体时的抓取精度，进而提高物体分选***的分选效率与准确性。
进一步，由于机器人的理想结构参数与实际结构参数通常存在偏差并且在***安装过程中传送带移动方向与机器人坐标系的X轴，以及传送带与机器人坐标系的Z轴垂直方向通常会存在角度偏差，而这些偏差都会影响机器人对目标物体的抓取精度。对此，本发明通过对传送装置、机器人和图像获取/处理装置中的图像采集装置如相机进行坐标标定，以使分选***在将目标物体在相机坐标系下的第一位置转换到机器人坐标系下的第二位置之后，可以根据第二位置生成准确的物体抓取轨迹，完成目标物体抓取。具体而言，通过控制物体分选***对测试物体进行抓取测试，根据测试结果获取传送装置三维坐标系与机器人坐标系的第一转换矩阵，以及相机坐标系与传送装置三维坐标系的第二转换矩阵，从而能够根据第一转换矩阵与第二转换矩阵将测试物体在相机坐标系下的第一位置准确地转换到机器人坐标系下的第二位置，以进一步提高物体分选***的抓取精度。
附图说明
下面参照附图来描述本发明的具体实施方式，附图中：
图1是根据本发明的一个实施例的物体分选***的应用场景示意图；
图2是根据本发明的一个实施例的物体分选***的图像处理方法的主要步骤流程示意图；
图3是根据本发明的一个实施例的传送图像中ROI区域的示意图；
图4a是根据本发明的一个实施例的传送图像的背景图像帧的示意图；
图4b是根据本发明的一个实施例的图像获取/处理装置当前采集到的传送图像的实时图像帧的示意图；
图4c是根据本发明的一个实施例的差分图像的示意图；
图4d是根据本发明的一个实施例的利用第一灰度值分割阈值对差分图像进行图像分割处理后的图像示意图；
图4e是根据本发明的一个实施例的对物体识别灰度值区域进行形态学图像处理后的图像示意图；
图4f是根据本发明的一个实施例的对形态学图像处理结果进行连通性分析后得到的物体识别区域的图像示意图；
图5是根据本发明的一个实施例的物体分选***的标定方法的主要步骤流程示意图；
图6是根据本发明的一个实施例中的物体分选***中相机坐标系、机器人坐标系和传送装置三维坐标系的坐标系示意图；
图7是根据本发明的一个实施例中的传送装置三维坐标系的矢量示意图；
图8是根据本发明的一个实施例中的传送装置三维坐标系与机器人坐标系之间的转换示意图；
附图标记说明：
1：ROI区域的矩形边框。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
首先对根据本发明一个实施例的物体分选***进行说明，在该***实施例中物体分选***主要包括传送装置、图像获取/处理装置和物体抓取控制装置，物体抓取控制装置主要包括机器人和机器人控制器。传送装置指的是能够承载物体并且对物体进行输送的装置。一个实施方式中，传送装置可以包括传送带和驱动机构，传送带用于承载物体，驱动机构用于驱动传送带移动以实现对传送带上的物体进行输送。图像获取/处理装置指的是能够对传送装置的传送区域(例如：传送带)进行图像采集与识别以判断传送区域内是否存在目标物体的装置，物体抓取控制装置指的是能够根据图像获取/处理装置的图像识别结果对目标物体进行抓取的装置。在本实施例的一个可选实施方案中，图像获取/处理装置能够覆盖或能够进行图像检测的图像检测区域，以及物体抓取控制装置能够覆盖或能够进行物体抓取的物体抓取区域可以是没有交叉重合区域的，也可以是存在一部分交叉重合区域的。
一个实施方式中，图像获取/处理装置可以被配置成获取在图像检测区域内传送装置的传送区域的传送图像，对传送图像进行图像识别并且根据图像识别结果判断传送区域内是否存在目标物体；如果传送区域内存在目标物体，则根据该传送图像获取目标物体在相机坐标系下的第一位置并且将第一位置发送至物体抓取控制装置。物体抓取控制装置指可以包括机器人和机器人控制器，机器人控制器可以被配置成将图像获取/处理装置发送的第一位置转换成相应机器人坐标系下的第二位置，根据第二位置与传送装置的传送速度生成目标物体的抓取轨迹并且根据抓取轨迹控制机器人执行相应的抓取动作，以对目标物体进行抓取。在本实施例的一个可选实施方式中，图像获取/处理装置可以包括CCD相机(Charge Coupled Device Camera)，该CCD相机用于获取在其图像检测区域内传送装置的传送区域的传送图像。机器人包括但不限于：并联机器人(例如：Delta并联机器人)，机器人控制器包括但不限于：KeMotion控制器。要说明的是，虽然本实施例仅提供了CCD相机、并联机器人和KeMotion控制器这些具体实施方式，但是本领域技术人员能够理解的是，本发明的保护范围并不局限于这些具体实施方式，本领域技术人员能够根据实际需求选择使用其他类型的图像采集装置、机器人和机器人控制器，这些技术手段的更改或替换，均应落入本发明的保护范围之内。
参阅附图1，图1是物体分选***的一个应用场景示意图。如图1所示，传送装置可以包括两个传送带，1号传送带用于传输煤炭和煤矸石的混合物料，2号传送带用于传输机器人从1号传送带上抓取到的煤矸石，1号传送带按照自机器人远端向机器人靠近的方向带动物体移动(自图1左侧向右侧移动的方向)。图像获取/处理装置中的相机(例如：CCD相机)设置在传送带的机器人远端的区域附近(图1所示传送带的左侧)，图像获取/处理装置根据相机采集到的煤炭和煤矸石的混合物料的图像进行煤矸石识别，如果识别到煤矸石，则将煤矸石的位置发送到机器人控制器，机器人控制器根据煤矸石的位置生成抓取轨迹，控制机器人按照抓取轨迹将煤矸石从1号传送带抓取到2号传送带上，最终实现对煤矸石的分选。
参阅附图2，图2是根据本发明的一个实施例的物体分选***的图像处理方法，在本实施例中可以按照以下步骤S101-步骤S104对图像获取/处理装置采集到的传送图像进行图像处理，以便于图像获取/处理装置能够获取传送图像中与物体识别区域对应的局部图像、对局部图像进行图像识别并且根据图像识别结果判断传送区域内是否存在目标物体。其中，步骤S101-步骤S104具体如下。
步骤S101：获取预先构建的传送图像的背景图像帧以及图像获取/处理装置当前采集到的传送图像的实时图像帧。
参阅附图4a和附图4b，附图4a与附图4b分别示出了本实施例中一个实施方式的背景图像帧与实时图像帧。在本实施例中可以采用图像处理技术领域中常规的背景图像建模方法构建传送图像的背景图像帧，为了描述简洁，在此不再赘述。
步骤S102：对背景图像帧与实时图像帧进行差分处理，得到传送图像的差分图像。
参阅附图4c，附图4c示出了对上述实施方式中附图4a所示的背景图像帧以及附图4b所示的实时图像帧进行差分处理，得到传送图像的差分图像。其中，差分图像中每个像素点的像素值如下式(1)所示：
Dn(x，y)＝|Fn(x，y)-A(x，y)| (1)
公式(1)中各参数含义是：
Dn(x，y)表示在第n个实时图像帧Fn与背景图像帧A的差分图像Dn中像素点(x，y)的像素值，Fn(x，y)表示在第n个实时图像帧Fn中像素点(x，y)的像素值，A(x，y)表示在背景图像帧A中像素点(x，y)的像素值。
步骤S103：利用Otsu算法对传送图像中ROI区域对应的差分图像区域进行阈值处理，得到对差分图像进行图像分割的第一灰度值分割阈值。
Otsu算法(大津算法或最大类间方差法)是图像处理技术领域中常规的阈值分割算法，该算法不仅操作简单，而且鲁棒性好，不受图像亮度和对比度影响，因此算法稳定性高且效果好。为了描述简洁，在此不再对Otsu算法的具体计算原理进行说明。
ROI(Region Of Interest)区域指的是在被处理的图像上以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域(感兴趣区域)。图像获取/处理装置采集到的传送图像中包含有复杂的背景部分，而此背景区域属于图像分割过程中需要去除的部分。同时，由于传送图像中相机和传送带背景的位置都是固定不变的，因此可以在图像检测区域中选取指定处理区域，该区域属于需要进行图像处理的工作区域(如图3中矩形边框1所示出的ROI区域)。选择该区域能够避免复杂背景带来的干扰，提高了后期图像分割效率。而本实施例中可以采用图像处理技术领域中常规的ROI区域获取方法来获取传送图像中的ROI区域，为了描述简洁，在此不再对ROI区域的获取方法进行赘述。
步骤S104：根据第一灰度值分割阈值对差分图像进行图像分割处理，得到差分图像中的背景区域与物体识别区域，以便于图像获取/处理装置能够获取传送图像中与物体识别区域对应的局部图像、对局部图像进行图像识别并且根据图像识别结果判断传送区域内是否存在目标物体，即通过图像分割处理去除传送图像中的背景部分，获取物体所在的局部图像。参阅附图4d，附图4d示出了对上述实施方式中附图4c所示的差分图像进行图像分割处理后的图像。其中，图像中的白色区域表示背景区域与物体识别区域。
具体而言，在本实施例中可以按照以下步骤S1041-步骤S1042获取差分图像中的背景区域与物体识别区域：
步骤S1041：根据第一灰度值分割阈值以及差分图像内每个像素各自对应的灰度值进行二值化处理，得到背景灰度值区域与物体识别灰度值区域。参阅附图4e，附图4e示出了对上述实施方式中附图4c所示的差分图像进行二值化处理后的图像。其中，图像中的白色区域表示背景灰度值区域与物体识别灰度值区域。
在本实施例中背景灰度值区域内每个像素各自对应的灰度值均小于等于第一灰度值分割阈值，物体识别灰度值区域内每个像素各自对应的灰度值均大于第一灰度值分割阈值。
步骤S1042：对物体识别灰度值区域进行形态学图像处理，随后利用邻域法对形态学图像处理结果进行连通性分析，根据连通性分析结果获取物体识别区域。参阅附图4f，附图4f示出了对上述实施方式中物体识别灰度值区域依次进行形态学图像处理与连通性分析后，得到的物体识别区域(图4f中两个封闭曲线所示的区域)。
在实际应用中，物体(例如煤炭与煤矸石的混合物料)在传送带运输过程中由于物理碰撞造成物体的碎块会随着传送带一起进入图像检测区域。细小的碎块由于与物体具有相同的灰度特征，因此仅通过图像滤波(例如：采用自适应阈值滤波算法对图像进行滤波，以去除图像噪声)无法将这些碎块有效的分割。这些碎块会影响后续的图像特征提取等图像处理的准确性，从而进一步影响图像识别的准确性。而在本实施例中可以通过对物体识别灰度值区域进行形态学图像处理，有效去除物体轮廓周边的粉尘碎块的影响，以准确进行图像分割。
在本实施例中可以采用图像处理技术领域中常规的形态学图像处理算法对物体识别灰度值区域进行形态学图像处理。例如：利用设定的模板来对物体识别灰度值区域进行相应的形态学代数运算，常用的四个基本的形态学运算有：膨胀(或扩张)、腐蚀(或侵蚀)、开启和闭合。同时在这些运算的基础上，进一步推导和相互组合衍生出各种其他有效的算法，例如开运算、闭运算。为了描述简洁，在此不再对上述对物体识别灰度值区域进行形态学图像处理的具体过程进行赘述。
连通性分析指的是对图像中两个像素是否连通进行分析，具体包括利用邻域法分析两个像素的位置是否相邻，以及分析两个相邻的像素的灰度值是否满足特定的相似性约束条件或者相等，如果两个相邻的像素的灰度值满足特定的相似性约束条件或者相等，则判定这两个相邻的像素是连通的。根据连通性分析结果，获取相互连通的像素集合，就可以得到物体识别区域，即物体识别区域内每个像素之间的都是相互连通的。而在本实施例中可以采用图像处理技术领域中常规的邻域法(例如：4邻域算法等)分析图像中的两个像素的位置是否相邻。为了描述简洁，在此不再对上述利用邻域法分析两个像素的位置是否相邻的具体过程进行赘述。
当目标物体是煤炭与煤矸石混合物料中的煤矸石时，煤中镜质体(微观层面中的玻璃成分)在光照下由于反光呈现的灰度值要偏高，而煤矸石中沾有煤粉的区域灰度值比未沾煤粉的区域灰度值要低很多。一个实施方式中，为了准确获取传送图像中的灰度特征，以便于区分煤炭与煤矸石，图1所示的图像获取/处理装置被配置成按照以下操作获取局部图像的灰度特征，以根据灰度特征进行图像识别，判断传送区域内是否存在目标物体(煤矸石)：
步骤11：对传送图像中与物体识别区域(步骤S104获取到的物体识别区域)对应的局部图像进行直方图均衡化处理，以扩展局部图像的灰度级数，即将局部图像的灰度级数从原来的基础上扩充至0～256，以增强图像对比度。在本实施例中可以采用图像处理技术领域中常规的直方图均衡化处理来对局部图像进行直方图均衡化处理，为了描述简洁，在此不再赘述。
步骤12：利用Otsu算法对经直方图均衡化处理后的局部图像进行阈值处理，得到对局部图像进行图像分割的第二灰度值分割阈值。其中，Otsu算法与前述方法实施例描述的Otsu算法相同，为了描述简洁，在此不再赘述。
步骤13：根据第二灰度值分割阈值以及局部图像内每个像素各自对应的灰度值进行二值化处理，根据二值化处理结果判断是否存在煤矸石裸露区域。其中，煤矸石裸露区域内每个像素各自对应的灰度值均大于第二灰度值分割阈值。
如果存在煤矸石裸露区域，则获取局部图像中与煤矸石裸露区域对应的区域图像、获取这个区域图像中每个子区域各自对应的每项灰度特征的灰度特征值、根据每个子区域各自对应的每项灰度特征的灰度特征值计算每项灰度特征各自对应的灰度特征均值，以及将每项灰度特征各自对应的灰度特征均值设定为这个局部图像的灰度特征。
基于直方图均衡化后筛选阈值分割得到的局部图像中煤炭的灰度均值整体降低，煤矸石的灰度均值整体提高且灰度特征值变化范围显著降低，从而使得煤炭与煤矸石的灰度特征重合区间显著降低，差异性逐渐增大，呈现出较好的可分性。一个实施方式中，可以先对图像进行滤波处理以有效减轻煤中镜质体的干扰从而使得煤的灰度特征维持稳定，然后再执行上述步骤11-步骤13所描述的灰度特征获取步骤。
由于机器人的理想结构参数与实际结构参数通常存在偏差并且在***安装过程中传送带移动方向与机器人坐标系的X轴，以及传送带与机器人坐标系的Z轴垂直方向通常会存在角度偏差，而这些偏差都会影响机器人对目标物体的抓取精度。为了避免上述偏差对机器人抓取精度的影响，可以对传送装置、机器人和图像获取/处理装置中的图像采集装置如相机进行坐标标定，以使分选***在将目标物体在相机坐标系下的第一位置转换到机器人坐标系下的第二位置之后，可以根据第二位置生成准确地物体抓取轨迹，完成目标物体抓取。具体而言，在根据本发明的一个物体分选***的标定方法的实施例中，可以按照图5所示的步骤S201-步骤S203对上述***实施例所述的物体分选***进行标定：
步骤S201：建立相机坐标系、机器人坐标系和传送装置三维坐标系。具体而言，根据图像获取/处理装置建立相机坐标系，根据机器人建立机器人坐标系，以在图像获取/处理装置的相机视野中传送装置的传送区域所在的平面为XY平面坐标，建立传送装置三维坐标系。参阅附图6，根据图像获取/处理装置中的图像获取装置如相机建立相机坐标系V(图6中XV，YV，ZV所属的坐标系)，根据机器人建立机器人坐标系R(图6中XR，YR，ZR所属的坐标系)，以图像获取/处理装置的相机视野中传送装置的传送区域所在的平面为XY平面坐标，建立传送装置三维坐标系C(图6中XC，YC，ZC所属的坐标系)。
步骤S202：获取传送装置三维坐标系与机器人坐标系的第一转换矩阵。
在传送装置移动过程中(传送装置驱动传送带移动以实现对传送带上的物体进行输送)，传送装置三维坐标系是动态变化的，即传送装置三维坐标系的原点是随着传送装置移动而移动变化的。参阅附图6，在当前图6所示的传送装置状态下，传送装置三维坐标系C的原点位于传送装置的左侧，在传送装置自左向右移动时该原点也是随着传送装置的移动不断向右移动的。因而，为了准确获取传送装置三维坐标系与机器人坐标系的第一转换矩阵，需要获取传送装置移动过程传送装置三维坐标系的原点位置，进而根据该原点位置获取第一转换矩阵。具体而言，在本实施例中可以按照以下步骤获取第一转换矩阵：获取在传送装置对测试物体进行传送的过程中，物体抓取控制装置抓取测试物体时机器人在机器人坐标系下的机器人位置，以及获取在传送装置对测试物体进行传输的过程中传送装置三维坐标系的原点位置，根据上述机器人位置与原点位置，获取传送装置三维坐标系与机器人坐标系的第一转换矩阵。
一个实施方式中，可以按照下式(2)所示的方法获取传送装置三维坐标系与机器人坐标系的第一转换矩阵：
Figure GDA0002944580880000141
公式(2)中各参数含义是：
参阅附图8，图8示例性示出了传送装置三维坐标系与机器人坐标系之间的转换示意图。其中，C′表示传送装置静止时传送装置三维坐标系，C表示传送装置移动距离ΔL1后的传送装置三维坐标系，R表示机器人坐标系。如图8所示，
Figure GDA0002944580880000142
表示在传送装置移动距离ΔL1后的传送装置三维坐标系与机器人坐标系之间的转换矩阵，
Figure GDA0002944580880000143
表示在传送装置移动距离ΔL1前后的两个传送装置三维坐标系之间的转换矩阵，
Figure GDA0002944580880000144
表示传送装置三维坐标系与机器人坐标系的第一转换矩阵。
移动距离ΔL1＝(V′e3-Ve3)Factorc，Ve3和V′e3分别是传送装置移动距离ΔL1前后的起始位置和末端位置，Factorc是传送装置比例因子，
Figure GDA0002944580880000145
x1、y1、z1分别是将第一测试物体由初始位置移动到第一抓取位置之后抓取第一测试物体的过程中机器人接触到第一测试物体时机器人的第二机器人抓取位置
Figure GDA0002944580880000146
中的X轴、Y轴和Z轴的坐标，Ve1是第一测试物体由初始位置移动到第一抓取位置之后传送装置的位移；x2、y2、z2分别是将第一测试物体由第一抓取位置移动到第二抓取位置之后抓取第一测试物体的过程中机器人接触到第一测试物体时机器人的第三机器人抓取位置
Figure GDA0002944580880000151
中的X轴、Y轴和Z轴的坐标，Ve2是第一测试物体由第一抓取位置移动到第二抓取位置之后传送装置的位移。
转换矩阵
Figure GDA0002944580880000152
如下式(3)所示：
Figure GDA0002944580880000153
转换矩阵
Figure GDA0002944580880000154
如下式(4)所示：
Figure GDA0002944580880000155
公式(4)中各参数含义是：
Figure GDA0002944580880000156
和
Figure GDA0002944580880000157
分别是传送装置三维坐标系C的X、Y和Z轴方向的矢量分量。参阅附图7，图7示例性示出了本实施例中传送装置坐标的矢量图，
Figure GDA0002944580880000158
是将第二测试物体由初始位置移动到第三抓取位置之后抓取第二测试物体的过程中机器人接触到第二测试物体时机器人的第四机器人抓取位置，
Figure GDA0002944580880000159
是在传送装置移动过程中传送装置三维坐标系的原点位置(原点的动态位置)，根据图7所示的矢量图并且结合
Figure GDA00029445808800001510
和
Figure GDA00029445808800001511
可以得到
Figure GDA00029445808800001512
和
Figure GDA00029445808800001513
的计算公式如下式(5)所示：
Figure GDA00029445808800001514
公式(5)中的“
Figure GDA00029445808800001515
”表示先对向量
Figure GDA00029445808800001516
与向量
Figure GDA00029445808800001517
作差，再计算作差得到的X、Y和Z轴方向的矢量分量的平方和，最后对平方和进行开根号运算；“
Figure GDA00029445808800001518
”表示先对向量
Figure GDA00029445808800001519
与向量
Figure GDA00029445808800001520
作差，再计算作差得到的X、Y和Z轴方向的矢量分量的平方和，最后对平方和进行开根号运算。
步骤S203：获取相机坐标系与传送装置三维坐标系的第二转换矩阵，以便于物体抓取控制装置能够根据第一转换矩阵与第二转换矩阵抓取目标物体。具体而言，可以按照以下步骤获取相机坐标系与传送装置三维坐标系的第二转换矩阵：
步骤21：根据图像获取/处理装置获取的包含有测试物体的传送图像，获取测试物体在相机坐标系下的测试物***置(利用图像获取装置如相机得到的测试物***置)；获取在物体抓取控制装置抓取测试物体的过程中机器人接触到测试物体时机器人的第一机器人抓取位置(利用机器人得到的测试物***置)。
步骤22：根据测试物***置、第一机器人抓取位置以及第一转换矩阵，获取相机坐标系与传送装置三维坐标系的第二转换矩阵，以便于物体抓取控制装置能够根据第一转换矩阵与第二转换矩阵将目标物体的第一位置转换成相应的第二位置，进而根据第二位置执行相应的抓取操作。
一个实施方式中，可以按照下式(6)所示的方法获取第二转换矩阵：
Figure GDA0002944580880000161
公式(6)中各参数含义是：
Figure GDA0002944580880000162
表示第二转换矩阵，
Figure GDA0002944580880000163
是在物体抓取控制装置在抓取第三测试物体的过程中机器人接触到第三测试物体的第i个目标点时机器人的第一机器人抓取位置，
Figure GDA0002944580880000164
是根据图像获取/处理装置获取的包含有第三测试物体的传送图像，获取到的第三测试物体的第i个目标点在相机坐标系下的测试物***置，i＝1，2，3，4。
Figure GDA0002944580880000165
和
Figure GDA0002944580880000166
的计算方法分别如公式(3)和(4)所示。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
下面结合表1对在利用本发明一个实施例的物体分选***的标定方法以及传统的标定方法对图1所示的物体分选***进行标定之后机器人的抓取位置偏差进行比较说明。
表1
Figure GDA0002944580880000171
在表1中，移动次序表示控制物体分选***中的传送装置对测试物体进行5次等距离输送时每次等距离输送的序号，位置坐标1指的是利用本发明的标定方法标定的物体分选***对测试物体进行一次等距离输送时该***得到的用于生成抓取轨迹的第二位置(由测试物体在相机坐标系下的第一位置转换成的在机器人坐标系下的第二位置)，位置坐标2指的是利用传统标定方法标定的物体分选***对测试物体进行一次等距离输送时该***得到的用于生成抓取轨迹的第二位置，偏差1指的是根据本发明的标定方法标定的物体分选***的机器人抓取位置偏差，偏差2指的是根据传统标定方法标定的物体分选***的机器人抓取位置偏差。
根据表1可知，根据本发明的标定方法标定的物体分选***的机器人抓取位置偏差(偏差1)显著小于根据传统标定方法标定的物体分选***的机器人抓取位置偏差(偏差2)。特别是，本发明的标定方法的最大累计偏差(3.448)远远小于传统标定方法的最大累计偏差(14.480)。由此可知，本发明提供的物体分选***的标定方法不仅操作简单，易于实施，还能够显著提高物体分选***进行物体抓取时的抓取精度。
进一步，本发明还提供了一种存储装置。在根据本发明的一个存储装置实施例中，存储装置可以被配置成存储执行上述方法实施例的物体分选***的图像处理方法的程序，该程序可以由处理器加载并运行以实现上述物体分选***的标定方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该存储装置可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中存储是非暂时性的计算机可读存储介质。
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的物体分选***的图像处理方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的物体分选***的标定方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
进一步，本发明还提供了一种物体分选***。在根据本发明的一个物体分选***实施例中，该物体分选***可以包括传送装置、图像获取/处理装置、物体抓取控制装置以及上述控制装置实施例所述的控制装置，物体抓取控制装置包括机器人和机器人控制器。图像获取/处理装置可以被配置成获取在图像检测区域内传送装置的传送区域的传送图像，对传送图像进行图像识别并且根据图像识别结果判断是否存在目标物体；若存在，则获取目标物体在相机坐标系下的第一位置并且将第一位置发送至物体抓取控制装置。机器人控制器可以被配置成将第一位置转换成相应机器人坐标系下的第二位置，根据第二位置与传送装置的传送速度生成目标物体的抓取轨迹并且根据抓取轨迹控制机器人执行相应的抓取动作，以对目标物体进行抓取。一个实施方式中，传送装置、图像获取/处理装置、物体抓取控制装置与前述物体分选***实施例中的传送装置、图像获取/处理装置、物体抓取控制装置相同，为了描述简洁，在此不再赘述。
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的***的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对***中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此，已经结合附图所示的一个实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种物体分选***的图像处理方法，其特征在于，所述***包括传送装置、图像获取/处理装置和物体抓取控制装置，所述物体抓取控制装置包括机器人和机器人控制器；
所述图像获取/处理装置被配置成获取在图像检测区域内所述传送装置的传送区域的传送图像，对所述传送图像进行图像识别并且根据图像识别结果判断所述传送区域内是否存在目标物体；若存在，则根据所述传送图像获取所述目标物体在相机坐标系下的第一位置并且将所述第一位置发送至所述物体抓取控制装置；
所述机器人控制器被配置成将所述第一位置转换成相应机器人坐标系下的第二位置，根据所述第二位置与所述传送装置的传送速度生成所述目标物体的抓取轨迹并且根据所述抓取轨迹控制所述机器人执行相应的抓取动作，以对所述目标物体进行抓取；
所述图像处理方法包括：
获取预先构建的所述传送图像的背景图像帧以及所述图像获取/处理装置当前采集到的所述传送图像的实时图像帧；
对所述背景图像帧与所述实时图像帧进行差分处理，得到所述传送图像的差分图像；
利用Otsu算法对所述传送图像中ROI区域对应的差分图像区域进行阈值处理，得到对所述差分图像进行图像分割的第一灰度值分割阈值；
根据所述第一灰度值分割阈值对所述差分图像进行图像分割处理，得到所述差分图像中的背景区域与物体识别区域，以便于所述图像获取/处理装置能够获取所述传送图像中与所述物体识别区域对应的局部图像、对所述局部图像进行图像识别并且根据图像识别结果判断所述传送区域内是否存在目标物体；
当所述目标物体是煤炭与煤矸石混合物料中的煤矸石时，所述图像获取/处理装置被配置成按照以下操作获取所述局部图像的灰度特征，以根据所述灰度特征进行图像识别，判断所述传送区域内是否存在目标物体：
对所述局部图像进行直方图均衡化处理，以扩展所述局部图像的灰度级数；利用Otsu算法对经所述直方图均衡化处理后的局部图像进行阈值处理，得到对所述局部图像进行图像分割的第二灰度值分割阈值；根据所述第二灰度值分割阈值以及所述局部图像内每个像素各自对应的灰度值进行二值化处理，根据二值化处理结果判断是否存在煤矸石裸露区域；所述煤矸石裸露区域内每个像素各自对应的灰度值均大于所述第二灰度值分割阈值；若存在所述煤矸石裸露区域，则获取所述局部图像中与所述煤矸石裸露区域对应的区域图像、获取所述区域图像中每个子区域各自对应的每项灰度特征的灰度特征值、根据所述每个子区域各自对应的每项灰度特征的灰度特征值计算所述每项灰度特征各自对应的灰度特征均值，以及将所述每项灰度特征各自对应的灰度特征均值设定为所述局部图像的灰度特征。
2.根据权利要求1所述的物体分选***的图像处理方法，其特征在于，“根据所述第一灰度值分割阈值对所述差分图像进行图像分割处理，得到所述差分图像中的背景区域与物体识别区域”的步骤具体包括：
根据所述第一灰度值分割阈值以及所述差分图像内每个像素各自对应的灰度值进行二值化处理，得到背景灰度值区域与物体识别灰度值区域；所述背景灰度值区域内每个像素各自对应的灰度值均小于等于所述第一灰度值分割阈值，所述物体识别灰度值区域内每个像素各自对应的灰度值均大于所述第一灰度值分割阈值；
对所述物体识别灰度值区域进行形态学图像处理，随后利用邻域法对形态学图像处理结果进行连通性分析，根据连通性分析结果获取所述物体识别区域。
3.根据权利要求1或2所述的物体分选***的图像处理方法，其特征在于，所述图像处理方法还包括根据所述图像获取/处理装置获取的传送图像对所述物体分选***进行***坐标标定，具体包括：
根据所述图像获取/处理装置建立相机坐标系，根据所述物体抓取控制装置建立机器人坐标系，以在所述图像获取/处理装置的相机视野中所述传送装置的传送区域所在的平面为XY平面坐标，建立传送装置三维坐标系；
获取在所述传送装置对测试物体进行传送的过程中，所述物体抓取控制装置抓取测试物体时所述机器人在所述机器人坐标系下的机器人位置，以及获取在所述传送装置对测试物体进行传送的过程中所述传送装置三维坐标系的原点位置，根据所述机器人位置与所述原点位置，获取所述传送装置三维坐标系与所述机器人坐标系的第一转换矩阵；
根据所述图像获取/处理装置获取的包含有测试物体的传送图像，获取所述测试物体在所述相机坐标系下的测试物***置；获取在所述物体抓取控制装置抓取所述测试物体的过程中所述机器人接触到所述测试物体时所述机器人的第一机器人抓取位置；
根据所述测试物***置、所述第一机器人抓取位置以及所述第一转换矩阵，获取所述相机坐标系与所述传送装置三维坐标系的第二转换矩阵，以便于所述物体抓取控制装置能够根据所述第一转换矩阵与所述第二转换矩阵将所述目标物体的第一位置转换成相应的第二位置，进而根据所述第二位置执行相应的抓取操作。
4.根据权利要求3所述的物体分选***的图像处理方法，其特征在于，所述第一转换矩阵如下式所示：
Figure FDA0003456646140000031
其中，所述
Figure FDA0003456646140000032
表示所述第一转换矩阵，所述
Figure FDA0003456646140000033
表示在所述传送装置移动距离ΔL1后的传送装置三维坐标系与机器人坐标系之间的转换矩阵，所述
Figure FDA0003456646140000034
表示在所述传送装置移动距离ΔL1前后的两个传送装置三维坐标系之间的转换矩阵；
所述转换矩阵
Figure FDA0003456646140000035
所述移动距离ΔL1＝(V′e3-Ve3)Factorc，所述Ve3和V′e3分别是所述传送装置移动距离ΔL1前后的起始位置和末端位置，所述Factorc是传送装置比例因子，
Figure FDA0003456646140000036
x1、y1、z1分别是将第一测试物体由初始位置移动到第一抓取位置之后抓取所述第一测试物体的过程中所述机器人接触到所述第一测试物体时所述机器人的第二机器人抓取位置
Figure FDA0003456646140000037
中的X轴、Y轴和Z轴的坐标，所述Ve1是所述第一测试物体由初始位置移动到第一抓取位置之后所述传送装置的位移；x2、y2、z2分别是将所述第一测试物体由所述第一抓取位置移动到第二抓取位置之后抓取所述第一测试物体的过程中所述机器人接触到所述第一测试物体时所述机器人的第三机器人抓取位置
Figure FDA0003456646140000041
中的X轴、Y轴和Z轴的坐标，所述Ve2是所述第一测试物体由所述第一抓取位置移动到所述第二抓取位置之后所述传送装置的位移；
所述转换矩阵
Figure FDA0003456646140000042
所述
Figure FDA0003456646140000043
是将第二测试物体由初始位置移动到第三抓取位置之后抓取所述第二测试物体的过程中所述机器人接触到所述第二测试物体时所述机器人的第四机器人抓取位置，所述
Figure FDA0003456646140000044
是在所述传送装置移动过程中所述传送装置三维坐标系的原点位置，
Figure FDA0003456646140000045
和
Figure FDA0003456646140000046
分别是所述传送装置三维坐标系的X、Y和Z轴方向的矢量分量。
5.根据权利要求4所述的物体分选***的图像处理方法，其特征在于，所述第二转换矩阵如下式所示：
Figure FDA0003456646140000047
其中，所述
Figure FDA0003456646140000048
表示所述第二转换矩阵，所述
Figure FDA0003456646140000049
是在所述物体抓取控制装置在抓取第三测试物体的过程中所述机器人接触到所述第三测试物体的第i个目标点时所述机器人的第一机器人抓取位置，所述
Figure FDA00034566461400000410
是根据所述图像获取/处理装置获取的包含有所述第三测试物体的传送图像，获取到的所述第三测试物体的第i个目标点在所述相机坐标系下的测试物***置，i＝1，2，3，4。
6.一种存储装置，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至5中任一项所述的物体分选***的图像处理方法。
7.一种控制装置，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至5中任一项所述的物体分选***的图像处理方法。
8.一种物体分选***，其特征在于，所述***包括传送装置、图像获取/处理装置、物体抓取控制装置以及权利要求7所述的控制装置，所述物体抓取控制装置包括机器人和机器人控制器；
所述图像获取/处理装置被配置成获取在图像检测区域内所述传送装置的传送区域的传送图像，对所述传送图像进行图像识别并且根据图像识别结果判断所述传送区域内是否存在目标物体；若存在，则根据所述传送图像获取所述目标物体在相机坐标系下的第一位置并且将所述第一位置发送至所述物体抓取控制装置；
所述机器人控制器被配置成将所述第一位置转换成相应机器人坐标系下的第二位置，根据所述第二位置与所述传送装置的传送速度生成所述目标物体的抓取轨迹并且根据所述抓取轨迹控制所述机器人执行相应的抓取动作，以对所述目标物体进行抓取。
9.根据权利要求8所述的物体分选***，其特征在于，所述图像获取/处理装置包括CCD相机；所述机器人包括并联机器人，所述机器人控制器包括KeMotion控制器。
CN202011073609.3A 2020-10-09 2020-10-09 物体分选***及其图像处理方法、装置 Active CN112318485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011073609.3A CN112318485B (zh) 2020-10-09 2020-10-09 物体分选***及其图像处理方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011073609.3A CN112318485B (zh) 2020-10-09 2020-10-09 物体分选***及其图像处理方法、装置

Publications (2)

Publication Number Publication Date
CN112318485A CN112318485A (zh) 2021-02-05
CN112318485B true CN112318485B (zh) 2022-03-15

Family

ID=74314823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011073609.3A Active CN112318485B (zh) 2020-10-09 2020-10-09 物体分选***及其图像处理方法、装置

Country Status (1)

Country Link
CN (1) CN112318485B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021113125A1 (de) 2021-05-20 2022-11-24 Schuler Pressen Gmbh Verfahren zur Überwachung der Positionen von Halbzeugen
CN113436146B (zh) * 2021-06-01 2024-06-21 北京京东乾石科技有限公司 信息生成方法、装置、电子设备和计算机可读介质
CN113808206B (zh) * 2021-09-14 2024-02-02 广东三水合肥工业大学研究院 一种基于视觉追踪机器人的排版***及方法
CN114924529B (zh) * 2022-06-20 2024-06-18 九众九机器人有限公司 一种机器人配对控制方法、装置、电子设备及存储介质
CN117011302B (zh) * 2023-10-08 2024-01-09 山东济宁运河煤矿有限责任公司 一种基于煤矸识别的智能干选***
CN117112816B (zh) * 2023-10-20 2024-02-02 浙江啄云智能科技有限公司 安检图像的排序方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106269576A (zh) * 2016-09-12 2017-01-04 中国矿业大学 一种煤矸石自动分选***与方法
CN107145884A (zh) * 2017-04-26 2017-09-08 太原理工大学 煤矸石近红外图像识别技术
US10369701B1 (en) * 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
CN111266315A (zh) * 2020-02-20 2020-06-12 南京工程学院 基于视觉分析的矿石物料在线分拣***及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106269576A (zh) * 2016-09-12 2017-01-04 中国矿业大学 一种煤矸石自动分选***与方法
CN107145884A (zh) * 2017-04-26 2017-09-08 太原理工大学 煤矸石近红外图像识别技术
US10369701B1 (en) * 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
CN111266315A (zh) * 2020-02-20 2020-06-12 南京工程学院 基于视觉分析的矿石物料在线分拣***及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
煤矸分拣机器人设计与关键技术分析;商德勇 等;《煤炭科学技术》;20200616;第1-5页 *

Also Published As

Publication number Publication date
CN112318485A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112318485B (zh) 物体分选***及其图像处理方法、装置
CN110314854B (zh) 一种基于视觉机器人的工件检测分拣的装置及方法
CN109454006B (zh) 基于化纤丝锭绊丝缺陷在线检测和分级的装置的检测分级方法
CN104992449B (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN109598715B (zh) 基于机器视觉的物料粒度在线检测方法
CN112893159B (zh) 一种基于图像识别的煤矸石分拣方法
CN112338898B (zh) 物体分选***的图像处理方法、装置及物体分选***
CN109781737B (zh) 一种软管表面缺陷的检测方法及其检测***
CN105388162A (zh) 基于机器视觉的原料硅片表面划痕检测方法
CN107891012B (zh) 基于等效算法的珍珠大小及圆形度分拣装置
CN108672316A (zh) 一种基于卷积神经网络的微小零件质量检测***
CN106780437B (zh) 一种快速qfn芯片塑封图像获取与放大方法
CN114998314A (zh) 一种基于计算机视觉的pcb电路板缺陷检测方法
CN113971681A (zh) 一种复杂环境下带式输送机边缘检测方法
CN109738448A (zh) 一种工业产品智能检测装置和方法
CN115384971A (zh) 透明对象料箱拾取
CN115007474A (zh) 一种基于图像识别的选煤机器人及选煤方法
CN114029943A (zh) 一种基于图像数据处理的目标抓取定位方法及***
CN114241037A (zh) 混合尺寸卸盘
CN112541942A (zh) 一种基于距离变换的中药丸视觉引导定位方法
CN105973903B (zh) 一种口服液瓶盖检测方法
CN115973724B (zh) 航空行李自动化调姿方法、装置、设备及介质
KR102436943B1 (ko) Rgb-d 영상에서의 기계학습 기반 물류박스 자동인식 방법
CN109345519A (zh) 基于深度学习yolo算法的线束连接器加工型号检测方法
CN115393696A (zh) 具有旋转补偿的对象料箱拾取

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant