CN116385437B - 一种多视角的多图像融合方法及装置 - Google Patents
一种多视角的多图像融合方法及装置 Download PDFInfo
- Publication number
- CN116385437B CN116385437B CN202310651022.3A CN202310651022A CN116385437B CN 116385437 B CN116385437 B CN 116385437B CN 202310651022 A CN202310651022 A CN 202310651022A CN 116385437 B CN116385437 B CN 116385437B
- Authority
- CN
- China
- Prior art keywords
- target object
- grabbing
- mechanical gripper
- picture
- workbench
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims abstract description 54
- 238000005286 illumination Methods 0.000 claims abstract description 39
- 239000013307 optical fiber Substances 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims description 26
- 230000004927 fusion Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 4
- 239000000835 fiber Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E30/00—Energy generation of nuclear origin
- Y02E30/10—Nuclear fusion reactors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Manipulator (AREA)
Abstract
本申请公开了一种多视角的多图像融合方法及装置，机械抓手的每个抓取指上都固定有一光学组件，该光学组件既包括向工作台投射指示光斑的照明光纤又包括拍摄工作台的分指摄像头，分指摄像头所拍摄的当前画面中既包括目标物体又包括各个指示光斑。将指示光斑与目标物体重合时的当前画面作为第一画面，将指示光斑与目标物体不再重合时的当前画面作为第二画面，控制装置对比第一画面和第二画面中指示光斑的尺寸变化，可以计算出目标物体的高度，从而精确地调整机械抓手抓取目标物体时的纵向移动距离，避免机械抓手磨损。
Description
技术领域
本申请涉及智能机器人领域，特别涉及一种多视角的多图像融合方法及装置。
背景技术
目前，各种自动化行业飞速发展，对一些简单重复而且要求精度较高的操作，人为操作存在一定的偏差，需要高精度的机械臂进行操作。机器视觉是人工智能正在快速发展的一个分支，简单说来，机器视觉就是用机器代替人眼来做测量和判断。工业机器人在实现基于机器视觉的机械臂物体抓取的过程中，需要用摄像机采集目标物体图片、确定目标物体的位置信息、标定机械臂与目标物体之间的相对位置，从而控制机械臂进行相关操作以抓取目标物体。
但是，由于缺乏获取目标物体在纵深方向上的位置信息，对机械臂下达的抓取指令往往难以准确地将目标物体安稳地抓取起来，而且机械臂在抓取目标物体的过程中很可能在纵深方向上触碰到其他障碍物，导致机械抓手磨损。
发明内容
本申请的目的在于提供一种多视角的多图像融合方法及装置，其能够改善上述问题。
本申请的实施例是这样实现的：
第一方面，本申请提供一种多视角的多图像融合装置，其包括：
机械抓手，包括抓取驱动件和至少两支抓取指，所述抓取驱动件用于驱动所述至少两支抓取指实现抓取动作；
运动驱动组件，用于驱动所述机械抓手在三维空间移动；
距离探测器，设置于所述机械抓手上且设置于所述至少两支抓取指之间；
至少两个光学组件，所述光学组件安装于对应的所述抓取指上，所述光学组件将照明光纤朝向所述抓取指的延伸方向固定，所述光学组件上还设置有分指摄像头；
激光器，所述激光器的输出端与所述照明光纤的首端连接；
控制装置，分别与所述激光器、所述分指摄像头、所述运动驱动组件和所述抓取驱动件电连接。
可以理解，本申请公开了一种多视角的多图像融合装置，机械抓手的每个抓取指上都固定有一光学组件，该光学组件既包括向工作台投射指示光斑的照明光纤又包括拍摄工作台的分指摄像头，分指摄像头所拍摄的当前画面中既包括目标物体又包括各个指示光斑。将指示光斑与目标物体重合时的当前画面作为第一画面，将指示光斑与目标物体不再重合时的当前画面作为第二画面，控制装置对比第一画面和第二画面中指示光斑的尺寸变化，可以计算出目标物体的高度，从而精确地调整机械抓手抓取目标物体时的纵向移动距离，避免机械抓手磨损。
在本申请可选的实施例中，所述机械抓手上还设置有中央摄像头，设置于所述至少两支抓取指之间，所述中央摄像头与所述控制装置电连接。
可以理解，设置于各个抓取指之间的中央摄像头用于拍摄工作台，在中央摄像头所拍摄的当前画面中既包括目标物体又包括各个指示光斑；控制装置通过分析当前画面可以快速准确地标定机械臂与目标物体之间的相对位置，从而调整机械抓手在水平方向上向所述目标物体移动。
在本申请可选的实施例中，所述光学组件包括光筒，所述照明光纤、固定件和扩束光学元件；所述照明光纤的末端***所述光筒，且通过所述固定件固定于所述光筒上，所述照明光纤的输出光路上还设置有所述扩束光学元件，所述扩束光学元件用于在所述控制装置的控制下对所述照明光纤的出射光束进行扩束。
可以理解，上述照明光纤的输出光路上还设置有扩束光学元件，该扩束光学元件可以是多个透镜组成的透镜组件，用于对照明光纤的出射光束进行扩束，以扩大投射于工作台上的指示光斑的面积。上述扩束光学元件可以是电控扩束光学元件，在控制装置的控制下对照明光纤的出射光束进行扩束，在未接收到控制装置的控制指令时对照明光纤的出射光束只起到透射作用。
在本申请可选的实施例中，所述分指摄像头设置于所述光筒上，且所述分指摄像头与所述照明光纤均朝向所述抓取指的延伸方向设置。
第二方面，本申请公开了一种多视角的多图像融合方法，应用于如第一方面任一项的所述多视角的多图像融合装置的所述控制装置上，该方法包括以下步骤：
S1、向所述激光器发送启动指令，使得所述激光器通过所述照明光纤向工作台投射出指示光斑后，获取所述分指摄像头所拍摄的当前画面；
S2、向所述抓取驱动件发送第一指令，驱动所述机械抓手调整所述抓取指角度，使得所述抓取指垂直于工作台后，向所述运动驱动组件发送第一运动指令，驱动所述机械抓手在距离所述工作台预设高度的平面上向所述目标物体移动，在所述当前画面中所述指示光斑与所述目标物体重合且所述指示光斑与所述目标物体的轮廓相切的情况下，将所述当前画面作为第一画面；
S3、向所述抓取驱动件发送第二指令，驱动所述机械抓手调整所述抓取指角度，使得所述抓取指向远离所述目标物体的一侧转动，在所述当前画面中所述指示光斑与所述目标物体不重合且所述指示光斑与所述目标物体的轮廓相切的情况下，将所述当前画面作为第二画面；
S4、根据所述第一画面和所述第二画面中所述指示光斑的尺寸变化，计算出所述目标物体的高度。
本申请公开了一种多视角的多图像融合方法，用于如上述任一项的所述多视角的多图像融合装置的所述控制装置上，主要包括：在工作台被投射指示光斑后，获取分指摄像头所拍摄的既包括目标物体又包括各个指示光斑的当前画面；通过抓取驱动件调整所述抓取指角度，在抓取指垂直于工作台且指示光斑与目标物体重合时的当前画面作为第一画面，在抓取指不再垂直于工作台且指示光斑与目标物体不再重合时的当前画面作为第二画面；对比第一画面和第二画面中指示光斑的尺寸变化，可以计算出目标物体的高度，从而精确地调整机械抓手抓取目标物体时的纵向移动距离，避免机械抓手磨损。
其中,S1、S2等仅为步骤标识，方法的执行顺序并不一定按照数字由小到大的顺序进行，比如可以是先执行步骤S2再执行步骤S1，本申请不做限制。
在本申请可选的实施例中，所述方法还包括：
S5、向所述运动驱动组件发送第二运动指令，驱动所述机械抓手在距离所述工作台预设高度的平面上向所述目标物体移动，直到所述机械抓手位于所述目标物体的正上方；
S6、根据下式计算出目标下降距离：，其中，/>代表所述目标下降距离，/>代表所述预设高度，/>代表所述目标物体的高度；
S7、向所述运动驱动组件发送下降指令，驱动所述机械抓手在垂直于所述工作台的方向上向所述目标物体移动所述目标下降距离；
S8、在所述机械抓手移动所述目标下降距离后，向所述抓取驱动件发送抓取指令，驱动所述机械抓手对所述目标物体进行抓取。
可以理解，本方案根据目标物体的高度计算出目标下降距离，机械抓手按照该目标下降距离下降，即避免了由于下降距离过多导致与工作台发生摩擦的情况，又能够在目标物体的中间区域对其进行抓取，有利于在抓取过程中的保持平衡。
在本申请可选的实施例中，步骤S5包括：
S51、在所述工作台被投射所述指示光斑后，获取所述中央摄像头所拍摄的中央当前画面；
S52、识别所述中央当前画面中的目标物体，确定所述中央当前画面中所述目标物体的目标中心点；
S53、识别所述中央当前画面中的所述指示光斑，通过直线依次连接各个所述指示光斑形成抓取范围轮廓，确定所述抓取范围轮廓的轮廓中心点；
S54、向所述运动驱动组件发送第二运动指令，驱动所述机械抓手在距离所述工作台预设高度的平面上向所述目标物体移动，使得所述轮廓中心点与所述目标中心点重合。
可以理解，在工作台被投射指示光斑后，获取中央摄像头所拍摄的既包括目标物体又包括各个指示光斑的当前画面；识别当前画面中的目标物体和指示光斑；连接各个指示光斑构成抓取范围轮廓，确定抓取范围轮廓的轮廓中心点；通过轮廓中心点与目标物体的目标中心点的位置关系，快速准确地标定机械臂与目标物体之间的相对位置。在轮廓中心点与目标中心点重合的情况下，判断机械抓手移动至目标物体的正上方，最适合进行抓取操作，因此，控制运动驱动组件驱动机械抓手向目标物体移动，使得轮廓中心点与目标中心点重合。
在本申请可选的实施例中，步骤S4包括：
S41、将所述第一画面中的所述指示光斑的直径作为第一直径，将所述第二画面中的所述指示光斑的直径作为第二直径，计算所述第一直径与所述第二直径的直径比值；
S42、根据下式计算所述目标物体的高度：
；
其中，代表所述目标物体的高度，/>代表所述机械抓手距离所述工作台的所述预设高度，/>代表从所述光学组件出射光束的发散角度，/>代表所述抓取指与垂直于所述工作台方向的夹角，/>代表所述直径比值。
在本申请可选的实施例中，所述方法还包括：获取所述距离探测器所探测到的距离所述工作台的当前高度；其中，所述向所述运动驱动组件发送第一运动指令，驱动所述机械抓手在距离所述工作台预设高度的平面上向所述目标物体移动，包括：向所述运动驱动组件发送第一运动指令，驱动所述机械抓手在所述当前高度等于预设高度的平面上向所述目标物体移动。
在本申请可选的实施例中，在所述当前高度等于所述预设高度的情况下，所述当前画面中所述指示光斑的面积大于或等于面积阈值。
可以理解，在轮廓中心点与目标中心点重合的情况下，可以判断机械抓手移动至目标物体的正上方，但无法确定机械抓手在纵向方向上的运动距离。因此可以通过指示光斑的光斑面积来判断当前机械抓手与目标物体在纵向方向上的距离。上述面积阈值可由本领域技术人员根据具体情况进行制定，目的在于作为标准判断机械抓手在纵向方向上是否运动到与工作台距离预设高度的位置。
第三方面，本申请提供相互连接的处理器和存储器；所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第二方面任一项所述的方法。
第四方面，本发明供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现第二方面任一方法的步骤。
有益效果：本申请公开了一种多视角的多图像融合装置，机械抓手的每个抓取指上都固定有一光学组件，该光学组件既包括向工作台投射指示光斑的照明光纤又包括拍摄工作台的分指摄像头，分指摄像头所拍摄的当前画面中既包括目标物体又包括各个指示光斑。将指示光斑与目标物体重合时的当前画面作为第一画面，将指示光斑与目标物体不再重合时的当前画面作为第二画面，控制装置对比第一画面和第二画面中指示光斑的尺寸变化，可以计算出目标物体的高度，从而精确地调整机械抓手抓取目标物体时的纵向移动距离，避免机械抓手磨损。
本申请公开了一种多视角的多图像融合方法，用于如上述任一项的所述多视角的多图像融合装置的所述控制装置上，主要包括：在工作台被投射指示光斑后，获取分指摄像头所拍摄的既包括目标物体又包括各个指示光斑的当前画面；通过抓取驱动件调整所述抓取指角度，在抓取指垂直于工作台且指示光斑与目标物体重合时的当前画面作为第一画面，在抓取指不再垂直于工作台且指示光斑与目标物体不再重合时的当前画面作为第二画面；对比第一画面和第二画面中指示光斑的尺寸变化，可以计算出目标物体的高度，从而精确地调整机械抓手抓取目标物体时的纵向移动距离，避免机械抓手磨损。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举可选实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请提供的一种多视角的多图像融合装置的结构示意图；
图2是图1所示的光学组件的结构示意图；
图3是本申请提供的一种第一画面的局部示意图；
图4是图1所示的机械抓手中抓取指向远离目标物体的一侧转动后的示意图；
图5是本申请提供的一种第二画面的局部示意图；
图6是本申请公开的目标物体的高度的计算原理示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
第一方面，如图1所示，本申请提供一种多视角的多图像融合装置，其包括：机械抓手1，包括抓取驱动件10、第一抓取指11和第二抓取指12，抓取驱动件10用于驱动第一抓取指11和第二抓取指12实现抓取动作；运动驱动组件（图中未示出），用于驱动机械抓手在三维空间移动；距离探测器2，设置于机械抓手1上且设置于第一抓取指11和第二抓取指12之间；第一光学组件31和第二光学组件32，第一光学组件31安装于对应的第一抓取指11上，第二光学组件32安装于对应的第二抓取指12上，第一光学组件31将第一照明光纤41朝向第一抓取指11的延伸方向固定，第二光学组件32将第二照明光纤42朝向第二抓取指12延伸方向固定，第一光学组件31上还设置有第一分指摄像头51，第二光学组件32上还设置有第二分指摄像头52；激光器（图中未示出），激光器的输出端与每根照明光纤的首端连接；控制装置（图中未示出），分别与激光器、各个分指摄像头、运动驱动组件和抓取驱动件20电连接。
在本申请实施例中，图1所示为机械抓手为两指抓手的情况，实际上机械抓手的抓取指的数量还可以是大于2的正整数，比如：三指抓手、四指抓手等。对应地，光学组件和照明光纤的数量与抓取指的数量相同，每个抓取指上都通过光线固定装置固定有一个光学组件和一根照明光纤。
可以理解，本申请公开了一种多视角的多图像融合装置，机械抓手的每个抓取指上都固定有一光学组件，该光学组件既包括向工作台投射指示光斑的照明光纤又包括拍摄工作台的分指摄像头，分指摄像头所拍摄的当前画面中既包括目标物体又包括各个指示光斑。将指示光斑与目标物体重合时的当前画面作为第一画面，将指示光斑与目标物体不再重合时的当前画面作为第二画面，控制装置对比第一画面和第二画面中指示光斑的尺寸变化，可以计算出目标物体的高度，从而精确地调整机械抓手抓取目标物体时的纵向移动距离，避免机械抓手磨损。
在本申请可选的实施例中，机械抓手上还设置有中央摄像头（图中未示出），设置于至少两支抓取指之间，中央摄像头与控制装置电连接。
可以理解，设置于各个抓取指之间的中央摄像头用于拍摄工作台，在中央摄像头所拍摄的当前画面中既包括目标物体又包括各个指示光斑；控制装置通过分析当前画面可以快速准确地标定机械臂与目标物体之间的相对位置，从而调整机械抓手在水平方向上向目标物体移动。
在本申请可选的实施例中，如图2所示，以第一光学组件31为例，光学组件包括光筒311，照明光纤41、固定件312和扩束光学元件313；照明光纤的末端***光筒311，且通过固定件312固定于光筒311上，照明光纤的输出光路上还设置有扩束光学元件313，扩束光学元件313用于在控制装置的控制下对照明光纤的出射光束进行扩束。
可以理解，上述照明光纤的输出光路上还设置有扩束光学元件，该扩束光学元件可以是多个透镜组成的透镜组件，用于对照明光纤的出射光束进行扩束，以扩大投射于工作台上的指示光斑的面积。上述扩束光学元件可以是电控扩束光学元件，在控制装置的控制下对照明光纤的出射光束进行扩束，在未接收到控制装置的控制指令时对照明光纤的出射光束只起到透射作用。
在本申请可选的实施例中，继续参考图2，以第一光学组件31为例，分指摄像头51设置于光筒311上，且分指摄像头51与照明光纤41均朝向抓取指11的延伸方向设置。
第二方面，本申请公开了一种多视角的多图像融合方法，应用于如第一方面任一项的多视角的多图像融合装置的控制装置上，该方法包括以下步骤：
S1、向激光器发送启动指令，使得激光器通过照明光纤向工作台投射出指示光斑后，获取分指摄像头所拍摄的当前画面。
可以理解，在工作台被投射指示光斑后，分指摄像头所拍摄的当前画面既包括目标物体又包括各个指示光斑。
S2、向抓取驱动件发送第一指令，驱动机械抓手调整抓取指角度，使得抓取指垂直于工作台后，向运动驱动组件发送第一运动指令，驱动机械抓手在距离工作台预设高度的平面上向目标物体移动，在当前画面中指示光斑与目标物体重合且指示光斑与目标物体的轮廓相切的情况下，将当前画面作为第一画面。
如图3所示，当前画面中指示光斑201与目标物体200的轮廓内切，即指示光斑201与目标物体200重合且指示光斑201与目标物体200的边缘相接触，其中，r1代表指示光斑201的当前直径。
S3、向抓取驱动件发送第二指令，驱动机械抓手调整抓取指角度，使得抓取指向远离目标物体的一侧转动，在当前画面中指示光斑与目标物体不重合且指示光斑与目标物体的轮廓相切的情况下，将当前画面作为第二画面。
如图4所示，驱动机械抓手调整抓取指角度，使得抓取指向远离目标物体的一侧转动θ角度，抓取指不再与工作台垂直。
如图5所示，当前画面中指示光斑201与目标物体200的轮廓外切，即指示光斑201与目标物体200不再重合且指示光斑201与目标物体200的边缘相接触，其中，r2代表指示光斑201的当前直径。
S4、根据第一画面和第二画面中指示光斑的尺寸变化，计算出目标物体的高度。
本申请公开了一种多视角的多图像融合方法，用于如上述任一项的多视角的多图像融合装置的控制装置上，主要包括：在工作台被投射指示光斑后，获取分指摄像头所拍摄的既包括目标物体又包括各个指示光斑的当前画面；通过抓取驱动件调整抓取指角度，在抓取指垂直于工作台且指示光斑与目标物体重合时的当前画面作为第一画面，在抓取指不再垂直于工作台且指示光斑与目标物体不再重合时的当前画面作为第二画面；对比第一画面和第二画面中指示光斑的尺寸变化，可以计算出目标物体的高度，从而精确地调整机械抓手抓取目标物体时的纵向移动距离，避免机械抓手磨损。
其中,S1、S2等仅为步骤标识，方法的执行顺序并不一定按照数字由小到大的顺序进行，比如可以是先执行步骤S2再执行步骤S1，本申请不做限制。
在本申请可选的实施例中，方法还包括：
S5、向运动驱动组件发送第二运动指令，驱动机械抓手在距离工作台预设高度的平面上向目标物体移动，直到机械抓手位于目标物体的正上方。
S6、根据下式计算出目标下降距离：，其中，/>代表目标下降距离，代表预设高度，/>代表目标物体的高度。
S7、向运动驱动组件发送下降指令，驱动机械抓手在垂直于工作台的方向上向目标物体移动目标下降距离。
S8、在机械抓手移动目标下降距离后，向抓取驱动件发送抓取指令，驱动机械抓手对目标物体进行抓取。
可以理解，本方案根据目标物体的高度计算出目标下降距离，机械抓手按照该目标下降距离下降，即避免了由于下降距离过多导致与工作台发生摩擦的情况，又能够在目标物体的中间区域对其进行抓取，有利于在抓取过程中的保持平衡。
在本申请可选的实施例中，步骤S5包括：
S51、在工作台被投射指示光斑后，获取中央摄像头所拍摄的中央当前画面。
S52、识别中央当前画面中的目标物体，确定中央当前画面中目标物体的目标中心点。
S53、识别中央当前画面中的指示光斑，通过直线依次连接各个指示光斑形成抓取范围轮廓，确定抓取范围轮廓的轮廓中心点。
S54、向运动驱动组件发送第二运动指令，驱动机械抓手在距离工作台预设高度的平面上向目标物体移动，使得轮廓中心点与目标中心点重合。
可以理解，在工作台被投射指示光斑后，获取中央摄像头所拍摄的既包括目标物体又包括各个指示光斑的当前画面；识别当前画面中的目标物体和指示光斑；连接各个指示光斑构成抓取范围轮廓，确定抓取范围轮廓的轮廓中心点；通过轮廓中心点与目标物体的目标中心点的位置关系，快速准确地标定机械臂与目标物体之间的相对位置。在轮廓中心点与目标中心点重合的情况下，判断机械抓手移动至目标物体的正上方，最适合进行抓取操作，因此，控制运动驱动组件驱动机械抓手向目标物体移动，使得轮廓中心点与目标中心点重合。
在本申请可选的实施例中，步骤S52包括：
S521、识别当前画面中的目标物体，确定当前画面中目标物体的物体轮廓。
S522、计算物体轮廓内每个像素点对应的边缘距离差值。
S523、在物体轮廓内找出边缘距离差值最小的像素点，作为目标物体的目标中心点。
可以理解，在物体轮廓内边缘距离差值最小的像素点即为目标物体的目标中心点，该目标中心点沿相反相两方向至物体轮廓边缘的距离差值最小。在物体轮廓内边缘向内均匀施加外力的情况下，该目标中心点的受力最为均匀。
在本申请可选的实施例中，步骤S522包括：
S5221、逐一将物体轮廓内每个像素点作为目标像素点。
S5222、以目标像素点为交点生成至少一组方向线组，方向线组包括相互垂直的两条方向线。
S5223、将方向线与物体轮廓的两个交点分别作为第一交点和第二交点，将第一交点与目标像素点的距离作为第一距离值，将第二交点与目标像素点的距离作为第二距离值。
S5224、计算目标像素点对应的各组方向线组中的第一距离值的平均值作为第一平均距离值，计算目标像素点对应的各组方向线组中的第二距离值的平均值作为第二平均距离值。
S5225、将第一平均距离值和第二平均距离值的差值的绝对值作为目标像素点对应的边缘距离差值。
在本申请可选的实施例中，步骤S53包括：
S531、识别当前画面中的指示光斑，确定指示光斑的几何中心点作为光斑点。
S532、在当前画面中指示光斑的数量为2的情况下，通过直线连接两个指示光斑的光斑点形成抓取线段。
S533、将抓取线段的几何中心点作为轮廓中心点。
在本申请可选的实施例中，步骤S53包括：
S534、识别当前画面中的指示光斑，确定指示光斑的几何中心点作为光斑点。
S535、在当前画面中指示光斑的数量为3的情况下，通过直线依次连接各个指示光斑的光斑点，形成抓取三角形轮廓。
S536、将抓取三角形轮廓的几何重心点作为轮廓中心点。
在本申请可选的实施例中，步骤S4包括：
S41、将第一画面中的指示光斑的直径作为第一直径，将第二画面中的指示光斑的直径作为第二直径，计算第一直径与第二直径的直径比值；
S42、根据下式计算目标物体的高度：
；
其中，代表目标物体的高度，/>代表机械抓手距离工作台的预设高度，/>代表从光学组件出射光束的发散角度，/>代表抓取指与垂直于工作台方向的夹角，/>代表直径比值。
如图6所示，其中r1’和r2’分别代表第一画面和第二画面中指示光斑的实际直径，代表预设高度。
在本申请可选的实施例中，方法还包括：获取距离探测器所探测到的距离工作台的当前高度；其中，向运动驱动组件发送第一运动指令，驱动机械抓手在距离工作台预设高度的平面上向目标物体移动，包括：向运动驱动组件发送第一运动指令，驱动机械抓手在当前高度等于预设高度的平面上向目标物体移动。
在本申请可选的实施例中，在当前高度等于预设高度的情况下，当前画面中指示光斑的面积大于或等于面积阈值。
可以理解，在轮廓中心点与目标中心点重合的情况下，可以判断机械抓手移动至目标物体的正上方，但无法确定机械抓手在纵向方向上的运动距离。因此可以通过指示光斑的光斑面积来判断当前机械抓手与目标物体在纵向方向上的距离。上述面积阈值可由本领域技术人员根据具体情况进行制定，目的在于作为标准判断机械抓手在纵向方向上是否运动到与工作台距离预设高度的位置。
第三方面，本申请提供一个或多个处理器和存储器。上述处理器和存储器通过总线连接。存储器用于存储计算机程序，该计算机程序包括程序指令，处理器用于执行存储器存储的程序指令。其中，处理器被配置用于调用该程序指令执行第二方面任一方法的操作。
应当理解，在本发明实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
第四方面，本发明供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现第二方面任一方法的步骤。
上述计算机可读存储介质可以是前述任一实施例的终端设备的内部存储单元，例如终端设备的硬盘或内存。上述计算机可读存储介质也可以是上述终端设备的外部存储设备，例如上述终端设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，上述计算机可读存储介质还可以既包括上述终端设备的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述终端设备所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例中方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本公开的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。
当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第三元件)***在这两者之间。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本申请不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
以上描述仅为本申请的可选实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
以上描述仅为本申请的可选实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
以上所述仅为本申请的可选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (5)
1.一种多视角的多图像融合方法，应用于多视角的多图像融合装置的控制装置上，所述多视角的多图像融合装置包括：
机械抓手，包括抓取驱动件和至少两支抓取指，所述抓取驱动件用于驱动所述至少两支抓取指实现抓取动作；
运动驱动组件，用于驱动所述机械抓手在三维空间移动；
距离探测器，设置于所述机械抓手上且设置于所述至少两支抓取指之间；
至少两个光学组件，所述光学组件安装于对应的所述抓取指上，所述光学组件将照明光纤朝向所述抓取指的延伸方向固定，所述光学组件上还设置有分指摄像头；
激光器，所述激光器的输出端与所述照明光纤的首端连接；
控制装置，分别与所述激光器、所述分指摄像头、所述运动驱动组件和所述抓取驱动件电连接；
所述机械抓手上还设置有中央摄像头，设置于所述至少两支抓取指之间，所述中央摄像头与所述控制装置电连接；
所述光学组件包括光筒，所述照明光纤、固定件和扩束光学元件；
所述照明光纤的末端***所述光筒，且通过所述固定件固定于所述光筒上，所述照明光纤的输出光路上还设置有所述扩束光学元件，所述扩束光学元件用于在所述控制装置的控制下对所述照明光纤的出射光束进行扩束；
所述分指摄像头设置于所述光筒上，且所述分指摄像头与所述照明光纤均朝向所述抓取指的延伸方向设置；
其特征在于，包括：
向所述激光器发送启动指令，使得所述激光器通过所述照明光纤向工作台投射出指示光斑后，获取所述分指摄像头所拍摄的当前画面；
向所述抓取驱动件发送第一指令，驱动所述机械抓手调整所述抓取指角度，使得所述抓取指垂直于工作台后，向所述运动驱动组件发送第一运动指令，驱动所述机械抓手在距离所述工作台预设高度的平面上向目标物体移动，在所述当前画面中所述指示光斑与所述目标物体重合且所述指示光斑与所述目标物体的轮廓相切的情况下，将所述当前画面作为第一画面；
向所述抓取驱动件发送第二指令，驱动所述机械抓手调整所述抓取指角度，使得所述抓取指向远离所述目标物体的一侧转动，在所述当前画面中所述指示光斑与所述目标物体不重合且所述指示光斑与所述目标物体的轮廓相切的情况下，将所述当前画面作为第二画面；
根据所述第一画面和所述第二画面中所述指示光斑的尺寸变化，计算出所述目标物体的高度；
所述根据所述第一画面和所述第二画面中所述指示光斑的尺寸变化，计算出所述目标物体的高度，包括：
将所述第一画面中的所述指示光斑的直径作为第一直径，将所述第二画面中的所述指示光斑的直径作为第二直径，计算所述第一直径与所述第二直径的直径比值；
根据下式计算所述目标物体的高度：
；
其中，代表所述目标物体的高度，/>代表所述机械抓手距离所述工作台的所述预设高度，/>代表从所述光学组件出射光束的发散角度，/>代表所述抓取指与垂直于所述工作台方向的夹角，/>代表所述直径比值。
2.根据权利要求1所述的多视角的多图像融合方法，其特征在于，
所述方法还包括：
向所述运动驱动组件发送第二运动指令，驱动所述机械抓手在距离所述工作台预设高度的平面上向所述目标物体移动，直到所述机械抓手位于所述目标物体的正上方；
根据下式计算出目标下降距离：，其中，/>代表所述目标下降距离，/>代表所述预设高度，/>代表所述目标物体的高度；
向所述运动驱动组件发送下降指令，驱动所述机械抓手在垂直于所述工作台的方向上向所述目标物体移动所述目标下降距离；
在所述机械抓手移动所述目标下降距离后，向所述抓取驱动件发送抓取指令，驱动所述机械抓手对所述目标物体进行抓取。
3.根据权利要求2所述的多视角的多图像融合方法，其特征在于，
所述向所述运动驱动组件发送第二运动指令，驱动所述机械抓手在距离所述工作台预设高度的平面上向所述目标物体移动，直到所述机械抓手位于所述目标物体的正上方，包括：
在所述工作台被投射所述指示光斑后，获取所述中央摄像头所拍摄的中央当前画面；
识别所述中央当前画面中的目标物体，确定所述中央当前画面中所述目标物体的目标中心点；
识别所述中央当前画面中的所述指示光斑，通过直线依次连接各个所述指示光斑形成抓取范围轮廓，确定所述抓取范围轮廓的轮廓中心点；
向所述运动驱动组件发送第二运动指令，驱动所述机械抓手在距离所述工作台预设高度的平面上向所述目标物体移动，使得所述轮廓中心点与所述目标中心点重合。
4.根据权利要求1所述的多视角的多图像融合方法，其特征在于，还包括：获取所述距离探测器所探测到的距离所述工作台的当前高度；
所述向所述运动驱动组件发送第一运动指令，驱动所述机械抓手在距离所述工作台预设高度的平面上向所述目标物体移动，包括：
向所述运动驱动组件发送第一运动指令，驱动所述机械抓手在所述当前高度等于预设高度的平面上向所述目标物体移动。
5.根据权利要求4所述的多视角的多图像融合方法，其特征在于，
在所述当前高度等于所述预设高度的情况下，所述当前画面中所述指示光斑的面积大于或等于面积阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310651022.3A CN116385437B (zh) | 2023-06-05 | 2023-06-05 | 一种多视角的多图像融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310651022.3A CN116385437B (zh) | 2023-06-05 | 2023-06-05 | 一种多视角的多图像融合方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116385437A CN116385437A (zh) | 2023-07-04 |
| CN116385437B true CN116385437B (zh) | 2023-08-25 |
Family
ID=86971519
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310651022.3A Active CN116385437B (zh) | 2023-06-05 | 2023-06-05 | 一种多视角的多图像融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385437B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018076776A1 (zh) * | 2016-10-25 | 2018-05-03 | 深圳光启合众科技有限公司 | 机器人、机械臂及其控制方法和装置 |
| CN109269421A (zh) * | 2018-09-14 | 2019-01-25 | 李刚 | 万能拍摄测量尺 |
| CN112192603A (zh) * | 2020-09-30 | 2021-01-08 | 中石化四机石油机械有限公司 | 小修平台油管推扶机械手装置及使用方法 |
| CN113093356A (zh) * | 2021-03-18 | 2021-07-09 | 北京空间机电研究所 | 一种基于机械臂的大型分块光学组件装配方法 |
| CN114046768A (zh) * | 2021-11-10 | 2022-02-15 | 重庆紫光华山智安科技有限公司 | 激光测距方法、装置、激光测距设备及存储介质 |
| CN114526680A (zh) * | 2022-01-27 | 2022-05-24 | 太原理工大学 | 一种基于反射光斑图像识别的薄冰厚度测量装置和测量方法 |
| CN114693590A (zh) * | 2020-12-29 | 2022-07-01 | 深圳市光鉴科技有限公司 | 基于光斑图像的距离检测方法、***、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI127908B (en) * | 2015-09-22 | 2019-05-15 | Teknologian Tutkimuskeskus Vtt Oy | Method and apparatus for measuring surface height |
-
2023
- 2023-06-05 CN CN202310651022.3A patent/CN116385437B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018076776A1 (zh) * | 2016-10-25 | 2018-05-03 | 深圳光启合众科技有限公司 | 机器人、机械臂及其控制方法和装置 |
| CN109269421A (zh) * | 2018-09-14 | 2019-01-25 | 李刚 | 万能拍摄测量尺 |
| CN112192603A (zh) * | 2020-09-30 | 2021-01-08 | 中石化四机石油机械有限公司 | 小修平台油管推扶机械手装置及使用方法 |
| CN114693590A (zh) * | 2020-12-29 | 2022-07-01 | 深圳市光鉴科技有限公司 | 基于光斑图像的距离检测方法、***、设备及存储介质 |
| CN113093356A (zh) * | 2021-03-18 | 2021-07-09 | 北京空间机电研究所 | 一种基于机械臂的大型分块光学组件装配方法 |
| CN114046768A (zh) * | 2021-11-10 | 2022-02-15 | 重庆紫光华山智安科技有限公司 | 激光测距方法、装置、激光测距设备及存储介质 |
| CN114526680A (zh) * | 2022-01-27 | 2022-05-24 | 太原理工大学 | 一种基于反射光斑图像识别的薄冰厚度测量装置和测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 单目摄像头精确测距技术及实现方法;樊露;;装备制造技术(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116385437A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10055805B2 (en) | Device for measuring positions and postures of plurality of articles, and robot system having the device | |
| US20190193947A1 (en) | Article transfer apparatus, robot system, and article transfer method | |
| CN106945035B (zh) | 机器人控制设备及其控制方法和机器人*** | |
| TWI670153B (zh) | 機器人及機器人系統 | |
| EP2931485B1 (en) | Bare hand robot path teaching | |
| CN113146172B (zh) | 一种基于多视觉的检测与装配***及方法 | |
| JP6879238B2 (ja) | ワークピッキング装置及びワークピッキング方法 | |
| JP2015213973A (ja) | ピッキング装置およびピッキング方法 | |
| CN114355953B (zh) | 一种基于机器视觉的多轴伺服***的高精度控制方法及*** | |
| Herakovic | Robot vision in industrial assembly and quality control processes | |
| JPH0798208A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| CN112276936A (zh) | 三维数据生成装置以及机器人控制*** | |
| EA038279B1 (ru) | Способ и система захвата объекта с помощью роботизированного устройства | |
| Kirschner et al. | YuMi, come and play with Me! A collaborative robot for piecing together a tangram puzzle | |
| CN112947458B (zh) | 基于多模态信息的机器人准确抓取方法及计算机可读介质 | |
| CN113269835A (zh) | 基于轮廓特征的工业零件位姿识别方法、装置和电子设备 | |
| US11478922B2 (en) | Robot teaching device and robot system | |
| JPH0798214A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| CN116385437B (zh) | 一种多视角的多图像融合方法及装置 | |
| JP2015007639A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN114037595A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
| Martinez et al. | Automated 3D vision guided bin picking process for randomly located industrial parts | |
| JP7488033B2 (ja) | 物体検出装置及び物体検出用コンピュータプログラム | |
| CN116766183B (zh) | 一种基于视觉图像的机械臂控制方法及装置 | |
| US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |