CN111570332A - 人机协作分选***及其作业方法 - Google Patents

人机协作分选***及其作业方法 Download PDF

Info

Publication number
CN111570332A
CN111570332A CN202010438648.2A CN202010438648A CN111570332A CN 111570332 A CN111570332 A CN 111570332A CN 202010438648 A CN202010438648 A CN 202010438648A CN 111570332 A CN111570332 A CN 111570332A
Authority
CN
China
Prior art keywords
workpiece
data
queue
camera
workpiece data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010438648.2A
Other languages
English (en)
Other versions
CN111570332B (zh
Inventor
莫卓亚
罗海城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Gongye Technology Co Ltd
Original Assignee
Guangdong Gongye Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Gongye Technology Co Ltd filed Critical Guangdong Gongye Technology Co Ltd
Priority to CN202010438648.2A priority Critical patent/CN111570332B/zh
Publication of CN111570332A publication Critical patent/CN111570332A/zh
Application granted granted Critical
Publication of CN111570332B publication Critical patent/CN111570332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B07C5/362—Separating or distributor mechanisms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00—Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063—Using robots

Landscapes

  • Manipulator (AREA)

Abstract

本发明公开一种人机协作分选***的作业方法，其包括工件数据发送步骤和接收步骤，在发送步骤中，其在工件移动至相机视野外之后再将工件数据发送给机器人来进行工件抓取，发送前后两次选中的工件数据的时间间隔较长，机器人可以依照发送的先后顺序依次收到工件数据；在接收步骤中，采用异步接收线程进行接收，主线程再读取异步接收线程的数据，减少了主线程的等待时间，进而也减少了相机的等待时间。本发明的工件数据发送方式和接收方式使得处理装置和机器人能够适应前后两帧图像之间时间间隔非常短的作业需求，从而可以在显示器以视频流的方式显示图像，分选工人可以更好地进行操作。另，本发明还公开一种人机协作分选***。

Description

人机协作分选***及其作业方法
技术领域
本发明涉及工件分选技术领域，尤其涉及一种人机协作分选***及人机协作分选***的作业方法。
背景技术
人机协作分选***一般包括传送带(设有用于记录传送带坐标的编码器)、相机、处理装置、显示器及机器人，机器人包括机械臂和用于控制机械臂动作的控制***，相机采集工件的图像，处理装置对图像进行处理后由显示器显示，显示器接受分选工人的操作并将选中工件的信息传送至处理装置，而处理装置(工控机)将显示器传送的工件数据进行处理后需要发送给控制***，控制***再依据工件数据控制机械臂进行工件抓取。
现有技术中，处理装置通常是每获取到一工件数据便发送给控制***，正常情况下，控制***会先收到处理装置前一时间发送的工件数据，再收到处理装置后一时间发送的工件数据。但是，在工件数据的发送频率(选中操作频率)过高时，由于前后两工件数据间隔时间极短，若机器人的网络硬件或者网络优化设计较差，控制***可能会同时收到处理装置前后发送的两个工件数据，将无法正常进行数据解析，导致无法进行工件抓取。
此外，机器人一般都自带传送带跟踪抓取功能，其控制***在捕捉到相机发送的拍照完成信号后，记录传送带的当前编码器值，然后等待显示器发送工件数据，具体流程如图6所示。由图6可知，机器人作业过程中，主要存在等待拍照完成信号及等待显示器发送工件数据两个耗时等待。等待拍照完成信号的时间极短，相对于一帧图像的时间基本可忽略。而等待显示器发送工件数据时，由于会受分选工人操作影响，具体耗时长短则变得未知；在此过程中，控制***将一直处于等到状态，也就使得相机不会进行下一帧图像的拍摄。这就导致了显示器上前后两帧图像之间的时间间隔变得随机，造成卡顿现象，导致分选工人难以适应操作，且作业效率低下。
发明内容
本发明的目的在于提供一种人机协作分选***的作业方法及人机协作分选***，以可以适用于前后两帧图像之间时间间隔非常短时的作业情景，进而可以在显示器以视频流的方式(高速的图片流)显示图像。
为了实现上述目的，本发明公开了一种人机协作分选***的作业方法，所述人机协作分选***包括用于输送工件的传送带、用于获取工件的图像的相机、用于显示所述图像并接受选择操作的显示器、处理装置及用于抓取被选中工件的机器人。所述人机协作分选***的作业方法包括工件数据发送步骤和工件数据接收步骤。其中，所述工件数据发送步骤具体为：将在所述显示器中被选中且位于相机视野内的工件数据写入预先定义的视野内工件队列；实时计算所述视野内工件队列中各工件的坐标，将实时坐标处于相机视野外的工件数据从所述视野内工件队列中移除并写入预先定义的视野外工件队列；将所述视野外工件队列中的工件数据发送给所述机器人进行工件抓取。所述工件数据接收步骤具体为：通过异步接收线程接收所述工件数据，并将所述工件数据解析后写入工件缓冲区；通过主线程判断所述工件缓冲区中是否存在工件数据，若是，执行：暂停所述异步接收线程的工件数据接收，取出所述工件缓冲区中的工件数据并写入工件抓取队列以抓取工件；若否，触发所述相机拍照。
具体地，所述工件数据发送步骤中，在将所述视野外工件队列的工件数据发送给所述机器人之后，还执行：清空所述视野外工件队列。
具体地，所述工件数据发送步骤还包括：预先定义一所述视野内工件队列和一所述视野外工件队列。
具体地，所述工件数据接收步骤中，在取出所述工件缓冲区中的工件数据之后，还包括：重启所述异步接收线程的工件数据接收。
较佳地，所述人机协作分选***的作业方法还包括：实时跟踪被选中的工件在每一帧图像中的坐标，并标记该被选中的工件。
具体地，所述“标记所述工件”具体为：在每一帧图像圈中该被选中的工件。
具体地，所述“实时跟踪被选中的工件在每一帧图像中的坐标”具体为：标定机器人和传送带，获得传送带坐标转换成机器人坐标的第一转换矩阵M0，其中，传送带上设有用于记录传送带坐标的编码器；标定相机和传送带，获得相机像素坐标转换成传送带坐标的第二转换矩阵M1及传送带坐标转换成相机像素坐标的第三转换矩阵M2；依据下式获得工件在当前帧图像的坐标P：P＝(P’*M1+△d)*M2；其中，P’为工件在上一帧图像中被选中时的对应坐标，△d为当前编码器值与上一帧图像锁存的编码器值的平移矩阵，所述编码器值由第一转换矩阵M0和编码器发送的传送带坐标获得。
为了实现上述目的，本发明还公开了一种人机协作分选***，包括传送带、相机、显示器、处理装置及机器人，其中，所述传送带用于承载和输送工件；所述相机用于采集工件的图像；所述显示器用于显示所述图像和接受选择操作，并将选中的工件数据发送至所述处理装置；所述处理装置执行：接收所述显示器发送的工件数据；将位于相机视野内的所述工件数据写入预先定义的视野内工件队列；实时计算所述视野内工件队列中各工件的坐标，将实时坐标处于相机视野外的工件数据从所述视野内工件队列中移除并写入预先定义的视野外工件队列；将所述视野外工件队列中的工件数据发送给所述机器人进行工件抓取；所述机器人包括控制***和机械臂，所述控制***执行：通过异步接收线程接收所述工件数据，并将所述工件数据解析后写入工件缓冲区；通过主线程判断所述工件缓冲区中是否存在工件数据，若是，执行：暂停所述异步接收线程的工件数据接收，取出所述工件缓冲区中的工件数据并写入工件抓取队列；若否，触发所述相机拍照；所述机械臂依据所述工件抓取队列抓取对应的工件。
较佳地，所述处理装置还实时跟踪被选中的工件在每一帧图像中的坐标，并标记该被选中的工件。
具体地，所述“标记所述工件”具体为：在每一帧图像圈中该被选中的工件。
与现有技术相比，本发明的处理装置是待工件移动至相机视野外才将工件数据发送给机器人来进行工件抓取，由于工件从相机视野内移动到相机视野外需要耗费的时间较长，因此发送前后两次选中的工件数据的时间间隔较长，这就使得机器人的控制***可以依照工件数据发送的先后顺序依次收到工件数据，进而确保了控制***能够正常进行工件数据解析以进行工件抓取，能够适应于选中操作比较频繁的情形；同时，也有效减轻了以太网网卡的负担。而机器人的控制***接收处理装置发送的工件数据时，是采用异步接收线程进行接收，主线程再读取异步接收线程的数据，大大减少了主线程的等待时间，进而也减少了相机的等待时间，提高了作业效率。即是，本发明的工件数据发送方式和接收方式使得处理装置和机器人可以适应前后两帧图像之间时间间隔非常短的作业需求，从而可以在显示器以视频流的方式(高速的图片流)显示图像，更好地模拟工件在现场的真实环境，图像显示也更加顺畅，分选工人可以更好地进行操作。
附图说明
图1是本发明人机协作分选***的组成结构框图。
图2是本发明人机协作分选***一实施例的结构示意图。
图3是本发明人机协作分选***另一实施例的结构示意图。
图4是本发明人机协作分选***又一实施例的结构示意图。
图5是本发明处理装置发送工件数据的流程图。
图6是现有技术中机器人接收工件数据的流程图。
图7是本发明机器人接收工件数据的流程图。
具体实施方式
为详细说明本发明的内容、构造特征、所实现目的及效果，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1和图2，本实施例提供一种人机协作分选***，包括传送带1、相机2、处理装置3、显示器4及机器人5，处理装置3与相机2、显示器4通信连接，机器人5包括控制***51和机械臂52，控制***51与处理装置3通信连接，传送带1、相机2、机器人5设置在分选车间现场，显示器4设置在分选车间现场之外。其中，传送带1用于承载和输送工件。相机2用于采集工件的图像。显示器4用于显示图像和接受选择操作，并将选中的工件数据发送至处理装置3。处理装置3执行：接收显示器4发送的工件数据；将位于相机视野内(相机2当前时刻可以拍摄到工件)的工件数据写入预先定义的视野内工件队列；实时计算视野内工件队列中各工件的坐标，将实时坐标处于相机视野外(相机2当前时刻已拍摄不到工件)的工件数据从视野内工件队列中移除并写入预先定义的视野外工件队列；将视野外工件队列中的工件数据发送给机器人5进行工件抓取(如图5所示)。控制***51执行：预先创建一异步接收线程和一主线程；通过异步接收线程接收工件数据，并将工件数据解析后写入工件缓冲区。与此同时，通过主线程判断工件缓冲区中是否存在工件数据，若否，直接触发相机2拍照；若是，执行：暂停异步接收线程的工件数据接收；接着，取出工件缓冲区中的工件数据，将工件数据写入工件抓取队列，并清空工件缓冲区；接着，重启异步接收线程的工件数据接收，然后触发相机2拍照；接着，判断是否有接收到相机2发送的拍照完成信号，若是，记录传送带1的当前编码器值，退出回调函数(如图7所示)。机械臂52依据工件抓取队列抓取对应的工件。
图2所示人机协作分选***的相机2和机器人5均横跨在传送带1之上，相机2和机器人5分别通过一支撑架61、62支撑，相机2和机器人5沿工件的前进方向依次设置。在一些实施例中，相机2横跨在传送带1之上，相机2通过一支撑架6支撑，机器人5则设置在传送带1的一侧，且机器人5的底部设有多个车轮53，当机器人5受到移动驱动力时，车轮53将相对地面移动，使得机器人5的位置调整方便省力(如图3所示)。在一些实施例中，相机2和机器人5均横跨在传送带1之上，相机2和机器人5集成在一起并通过同一支撑架6支撑(如图4所示)。
其中，相机2为2D相机，处理装置3可以为任何具备图像处理能力和数据运算能力的装置，例如PC机等。显示器4为具有显示和触控功能的触屏显示器，选择操作即为分选工人10的手指触控显示器4，手指触控到图像中的哪一工件，该工件即被选中。当然，显示器4也可以仅具有显示功能，具体实施中还可以通过鼠标点选显示器4的显示屏来选中欲抓取的工件。
传统方式中，前后两帧图像之间时间间隔较长(低速的图片流的方式)，可以额外通过控制相机2的拍照范围来使得同一工件只会被相机2拍到一次，即同一工件只会在一帧图像中出现。但是，采用本发明将前后两帧图像之间的时间间隔非常短(视频流的方式，即高速的图片流，每秒大致能闪过24张图片，人眼感受不到停顿)时，为了保证流畅性，无法再进行人为干预相机2的拍照范围，因此，同一工件会在前后多张图像中出现。当工件比较堆积的时候现场的分选工人可能会在多次选中前后帧图像中的同一工件。
为此，处理装置3还实时跟踪被选中的工件在每一帧图像中的坐标，并标记该被选中的工件。“标记工件”具体为：在每一帧图像圈中该被选中的工件，从而提醒分选工人该工件已经在前一帧图像中被选中过，防止分选工人多次选中同一工件，进而避免机器人5多次抓取同一工件(空抓)，保证作业效率。
请参阅图2、图5及图7，本实施例提供一种人机协作分选***的作业方法，人机协作分选***包括传送带1、相机2、处理装置3、显示器4及机器人5，传送带1、相机2、机器人5设置在分选车间现场，显示器4设置在分选车间现场之外。人机协作分选***的作业方法包括工件数据发送步骤和工件数据接收步骤。其中，工件数据发送步骤具体为：将在显示器4中被选中且位于相机视野内(相机2当前时刻可以拍摄到工件)的工件数据写入预先定义的视野内工件队列；实时计算视野内工件队列中各工件的坐标，将实时坐标处于相机视野外(相机2当前时刻已拍摄不到工件)的工件数据从视野内工件队列中移除并写入预先定义的视野外工件队列；将视野外工件队列中的工件数据发送给机器人5进行工件抓取(如图5所示)。至于如何计算工件的实时坐标是否处于相机视野内，参阅下述“实时跟踪被选中的工件在每一帧图像中的坐标”的具体实现方式。工件数据接收步骤具体为：预先创建一异步接收线程和一主线程；异步接收线程实时等待接收工件数据，并判断是否接收到工件数据；若是，则将工件数据解析，并将解析的工件数据写入工件缓冲区。与此同时，主线程实时判断工件缓冲区中是否存在工件数据，若否，直接触发相机2拍照；若是，暂停异步接收线程的工件数据接收；接着，取出工件缓冲区中的工件数据，将工件数据写入工件抓取队列，并清空工件缓冲区；接着，重启异步接收线程的工件数据接收，然后触发相机2拍照；接着，判断是否有接收到相机2发送的拍照完成信号，若是，记录传送带1的当前编码器值，退出回调函数(如图7所示)。
具体的，在本实施例中，工件数据发送步骤还包括：预先定义一视野内工件队列和一视野外工件队列。当然，在定义工件队列之前，还需预先声明一个数据结构，该数据结构包括工件的实时坐标和工件类型(可通过手势或者接入外设的方式获取，此部分为现有技术，在此不再赘述)。
另一实施例中，在工件数据发送步骤中，还预先定义有一总工件队列；其将在显示器4中被选中的工件数据写入预先定义的总工件队列；并实时计算总工件队列中各工件的坐标；然后将实时坐标处于相机视野内的工件数据写入视野内工件队列，将实时坐标处于相机视野外的工件数据写入视野外工件队列，并从总工件队列中删除该处于相机视野外的工件数据。进一步的，在该实施例中，还定时清空视野内工件队列和视野外工件队列。
传统方式中，前后两帧图像之间时间间隔较长(低速图片流的方式)，可以额外通过控制相机2的拍照范围来使得同一工件只会被相机2拍到一次，即同一工件只会在一帧图像中出现。但是，采用本发明将前后两帧图像之间的时间间隔非常短(视频流的方式，即高速的图片流，每秒大致能闪过24张图片，人眼感受不到停顿)时，为了保证流畅性，无法再进行人为干预相机2的拍照范围，因此，同一工件会在前后多张图像中出现。当工件比较堆积的时候现场分选工人可能会在多次选中前后帧图像中的同一工件。
为此，本发明还实时跟踪被选中的工件在每一帧图像中的坐标，并标记该被选中的工件。在一实施例中，“标记工件”具体为：在每一帧图像圈中该被选中的工件，从而提醒分选工人该工件已经在前一帧图像中被选中过，防止分选工人多次选中同一工件，进而避免机器人5多次抓取同一工件(空抓)，保证作业效率。
具体的，在一实施例中，“实时跟踪被选中的工件在每一帧图像中的坐标”具体为：标定机器人5和传送带1(传送带1上设有用于记录传送带坐标的编码器)，获得传送带坐标转换成机器人坐标的第一转换矩阵M0，由转换矩阵M0可以准确知道编码器转一圈对应传送带1真实移动距离为多少；标定相机2和传送带1，获得相机像素坐标转换成传送带坐标的第二转换矩阵M1及传送带坐标转换成相机像素坐标的第三转换矩阵M2(即M1的逆矩阵)，由转换矩阵M1可以准确知道传送带1走过1mm时对应相机2走过几个像素；依据公式P＝(P’*M1+△d)*M2获得工件在当前帧图像的坐标。其中，P为工件在当前帧图像的坐标，P’为工件在上一帧图像中被选中时的对应坐标，△d为当前编码器值与上一帧图像锁存的编码器值(即工件在传送到的实时坐标)的平移矩阵，而编码器值由第一转换矩阵M0和传送带1的编码器发送的传送带坐标获得。通过机器人5来间接获取编码器数据从而实现传送带1跟踪，无需额外增加硬件成本。
当然，在一些实施例中，也可以将处理装置3与编码器连接，通过处理装置3实时读取当前编码器值，通过处理装置3来实现传送带1跟踪功能以跟踪已经点击过的工件，在此不再赘述。
与现有技术相比，本发明的处理装置3是待工件移动至相机视野外才将工件数据发送给机器人5来进行工件抓取，由于工件从相机视野内移动到相机视野外需要耗费的时间较长，因此发送前后两次选中的工件数据的时间间隔较长，这就使得机器人5的控制***51可以依照工件数据发送的先后顺序依次收到工件数据，进而确保了控制***51能够正常进行工件数据解析以进行工件抓取，能够适应于选中操作比较频繁的情形；同时，也有效减轻了以太网网卡的负担。而机器人5的控制***51接收处理装置3发送的工件数据时，是采用异步接收线程进行接收，主线程再读取异步接收线程的数据，大大减少了主线程的等待时间，进而也减少了相机2的等待时间，提高了作业效率。即是，本发明的工件数据发送方式和接收方式使得处理装置3和机器人5可以适应前后两帧图像之间时间间隔非常短的作业需求，从而可以在显示器4以视频流的方式(高速的图片流)显示图像，更好地模拟工件在现场的真实环境，图像显示也更加顺畅，分选工人可以更好地进行操作。
以上所揭露的仅为本发明的优选实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种人机协作分选***的作业方法，所述人机协作分选***包括用于输送工件的传送带、用于获取工件的图像的相机、用于显示所述图像并接受选择操作的显示器、处理装置及用于抓取被选中工件的机器人，其特征在于，所述人机协作分选***的作业方法包括：
工件数据发送步骤，具体为：
将在所述显示器中被选中且位于相机视野内的工件数据写入预先定义的视野内工件队列；
实时计算所述视野内工件队列中各工件的坐标，将实时坐标处于相机视野外的工件数据从所述视野内工件队列中移除并写入预先定义的视野外工件队列；
将所述视野外工件队列中的工件数据发送给所述机器人进行工件抓取；及
工件数据接收步骤，具体为：
通过异步接收线程接收所述工件数据，并将所述工件数据解析后写入工件缓冲区；
通过主线程判断所述工件缓冲区中是否存在工件数据，若是，执行：暂停所述异步接收线程的工件数据接收，取出所述工件缓冲区中的工件数据并写入工件抓取队列以抓取工件；若否，触发所述相机拍照。
2.如权利要求1所述的人机协作分选***的作业方法，其特征在于，所述工件数据发送步骤中，在将所述视野外工件队列的工件数据发送给所述机器人之后，还执行：
清空所述视野外工件队列。
3.如权利要求1所述的人机协作分选***的作业方法，其特征在于，所述工件数据发送步骤还包括：
预先定义一所述视野内工件队列和一所述视野外工件队列。
4.如权利要求1所述的人机协作分选***的作业方法，其特征在于，所述工件数据接收步骤中，在取出所述工件缓冲区中的工件数据之后，还包括：
重启所述异步接收线程的工件数据接收。
5.如权利要求1所述的人机协作分选***的作业方法，其特征在于，还包括：
实时跟踪被选中的工件在每一帧图像中的坐标，并标记该被选中的工件。
6.如权利要求5所述的人机协作分选***的作业方法，其特征在于，所述“标记所述工件”具体为：在每一帧图像圈中该被选中的工件。
7.如权利要求5所述的人机协作分选***的作业方法，其特征在于，所述“实时跟踪被选中的工件在每一帧图像中的坐标”具体为：
标定机器人和传送带，获得传送带坐标转换成机器人坐标的第一转换矩阵M0，其中，传送带上设有用于记录传送带坐标的编码器；
标定相机和传送带，获得相机像素坐标转换成传送带坐标的第二转换矩阵M1及传送带坐标转换成相机像素坐标的第三转换矩阵M2；
依据下式获得工件在当前帧图像的坐标P：
P＝(P’*M1+△d)*M2；其中，P’为工件在上一帧图像中被选中时的对应坐标，△d为当前编码器值与上一帧图像锁存的编码器值的平移矩阵，所述编码器值由第一转换矩阵M0和编码器发送的传送带坐标获得。
8.一种人机协作分选***，包括传送带、相机、显示器、处理装置及机器人，其特征在于，
所述传送带用于承载和输送工件；
所述相机用于采集工件的图像；
所述显示器用于显示所述图像和接受选择操作，并将选中的工件数据发送至所述处理装置；
所述处理装置执行：接收所述显示器发送的工件数据；将位于相机视野内的所述工件数据写入预先定义的视野内工件队列；实时计算所述视野内工件队列中各工件的坐标，将实时坐标处于相机视野外的工件数据从所述视野内工件队列中移除并写入预先定义的视野外工件队列；将所述视野外工件队列中的工件数据发送给所述机器人进行工件抓取；
所述机器人包括控制***和机械臂，所述控制***执行：通过异步接收线程接收所述工件数据，并将所述工件数据解析后写入工件缓冲区；通过主线程判断所述工件缓冲区中是否存在工件数据，若是，执行：暂停所述异步接收线程的工件数据接收，取出所述工件缓冲区中的工件数据并写入工件抓取队列；若否，触发所述相机拍照；所述机械臂依据所述工件抓取队列抓取对应的工件。
9.如权利要求8所述的人机协作分选***，其特征在于，所述处理装置还实时跟踪被选中的工件在每一帧图像中的坐标，并标记该被选中的工件。
10.如权利要求9所述的人机协作分选***，其特征在于，所述“标记所述工件”具体为：在每一帧图像圈中该被选中的工件。
CN202010438648.2A 2020-05-21 2020-05-21 人机协作分选***及其作业方法 Active CN111570332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010438648.2A CN111570332B (zh) 2020-05-21 2020-05-21 人机协作分选***及其作业方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010438648.2A CN111570332B (zh) 2020-05-21 2020-05-21 人机协作分选***及其作业方法

Publications (2)

Publication Number Publication Date
CN111570332A true CN111570332A (zh) 2020-08-25
CN111570332B CN111570332B (zh) 2021-12-24

Family

ID=72113804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010438648.2A Active CN111570332B (zh) 2020-05-21 2020-05-21 人机协作分选***及其作业方法

Country Status (1)

Country Link
CN (1) CN111570332B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2795852Y (zh) * 2005-05-12 2006-07-12 佛山市德科机电设备有限公司 瓷砖表面质量自动检测装置
EP2998234A1 (en) * 2014-09-02 2016-03-23 Bell and Howell, LLC System and method for transfering data from delivery items to labels for application onto the delivery items
CN107552412A (zh) * 2016-06-30 2018-01-09 休伦瓦雷钢铁公司 废料分拣***
CN107618030A (zh) * 2016-07-16 2018-01-23 深圳市得意自动化科技有限公司 基于视觉的机器人动态跟踪抓取方法及***
CN108480239A (zh) * 2018-02-10 2018-09-04 浙江工业大学 基于立体视觉的工件快速分拣方法及装置
CN109163686A (zh) * 2018-11-27 2019-01-08 南京新尼亚文汽车零部件有限公司 一种测量曲轴孔位置度的次级飞轮综合检具
CN109365318A (zh) * 2018-11-30 2019-02-22 天津大学 一种多机器人协作分拣方法及***
CN110841927A (zh) * 2019-11-15 2020-02-28 上海威士顿信息技术股份有限公司 一种分拣装置、***及方法、电子设备
CN111036576A (zh) * 2019-12-10 2020-04-21 清远职业技术学院 基于无矸图像过滤和blob分析的煤矸石识别分拣法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2795852Y (zh) * 2005-05-12 2006-07-12 佛山市德科机电设备有限公司 瓷砖表面质量自动检测装置
EP2998234A1 (en) * 2014-09-02 2016-03-23 Bell and Howell, LLC System and method for transfering data from delivery items to labels for application onto the delivery items
CN107552412A (zh) * 2016-06-30 2018-01-09 休伦瓦雷钢铁公司 废料分拣***
CN107618030A (zh) * 2016-07-16 2018-01-23 深圳市得意自动化科技有限公司 基于视觉的机器人动态跟踪抓取方法及***
CN108480239A (zh) * 2018-02-10 2018-09-04 浙江工业大学 基于立体视觉的工件快速分拣方法及装置
CN109163686A (zh) * 2018-11-27 2019-01-08 南京新尼亚文汽车零部件有限公司 一种测量曲轴孔位置度的次级飞轮综合检具
CN109365318A (zh) * 2018-11-30 2019-02-22 天津大学 一种多机器人协作分拣方法及***
CN110841927A (zh) * 2019-11-15 2020-02-28 上海威士顿信息技术股份有限公司 一种分拣装置、***及方法、电子设备
CN111036576A (zh) * 2019-12-10 2020-04-21 清远职业技术学院 基于无矸图像过滤和blob分析的煤矸石识别分拣法

Also Published As

Publication number Publication date
CN111570332B (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
US9604365B2 (en) Device and method of transferring articles by using robot
US10857675B2 (en) Control device, robot, and robot system
CN112179910A (zh) 一种锂电池极片瑕疵实时检测处理方法和***
CN107150911B (zh) 一种袋状物料装车机器人车辆识别与控制***
US20110115892A1 (en) Real-time embedded visible spectrum light vision-based human finger detection and tracking method
CN110519497B (zh) 一种基于vdma的零拷贝触发采集装置及方法
WO2020225958A1 (ja) 作業分析装置、作業分析方法およびプログラム
EP3444080B1 (en) Actuator control system, actuator control method, information-processing program, and recording medium
CN109358656A (zh) 一种适用于机载光电***的目标捕获方法
CN115070781B (zh) 一种物体抓取方法及双机械臂协作***
CN1727129A (zh) 高压输电线自动巡检机器人控制器
CN111830039B (zh) 一种智能化的产品质量检测方法及装置
CN111570332B (zh) 人机协作分选***及其作业方法
EP3454202A1 (en) Frame drop processing method and system for played ppt
CN114694064A (zh) 一种基于目标识别的切图方法与***
JP6210722B2 (ja) 画像測定装置及び画像測定プログラム
JP6608196B2 (ja) 情報処理装置、情報処理方法
CN110602462B (zh) 一种基于ai的工业图像检测装置及方法
WO2024094197A1 (zh) 示教轨迹处理方法、装置、机械臂、示教控制器及***
CN113524170A (zh) 监视对象的图像处理装置及其控制方法以及存储介质
CN115096902B (zh) 一种运动控制方法及中框缺陷的检测***
CN215178509U (zh) 一种检测显示模组的测试装置
WO2021217922A1 (zh) 人机协作分选***及其机器人的抓取位置获取方法
CN209111064U (zh) 一种用于抓取薄壁壳体类工件的机器人工具***
CN112069984A (zh) 一种物品边框匹配显示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant