CN114670194B - 机械手***定位方法及装置 - Google Patents

Abstract

本申请提供了一种机械手***定位方法及装置，该方法获取机械坐标系与相机坐标系之间的第一映射关系；获取相机坐标系与电子设备的设备坐标系之间的第二映射关系；基于第一映射关系和第二映射关系，获得设备坐标系与机械坐标系之间的第三映射关系；获取电子设备的目标位置在设备坐标系中的设备坐标，并基于第三映射关系转换得到目标位置的机械坐标。该方案不需要依据机械手设备获得目标位置的机械位置，自动化脚本的开发和调试过程可以与机械手设备解耦，提高了自动化脚本的开发和调试效率。同时，不需要依赖相机获得目标位置对应的机械坐标，因此，节省了目标位置的机械坐标获得过程的耗时，提高了整个测试过程的测试效率。

Description

机械手***定位方法及装置

技术领域

本申请涉及机器视觉***技术领域，尤其涉及一种机械手***定位方法及装置。

背景技术

利用机械手***可以实现设备的自动化测试、自动装配等，广泛应用于工业生产中。机器视觉***是机械手***的重要组成部分，机器视觉***相当于机械手***的眼睛，通过机器视觉***获得设备上被测试项的位置坐标。进一步，控制机械手设备移动至该位置坐标处执行相应的操作，如可以对电子设备的屏幕进行滑动、点击、长按等，如实现目标电子设备的自动化测试，如压力测试、性能测试。但目前的机械手***的效率低。

发明内容

有鉴于此，本申请提供了一种机械手***定位方法及装置，以解决上述的技术问题，其公开的技术方案如下：

第一方面，本申请提供了一种机械手***定位方法，该方法包括：获取机械坐标系与相机坐标系之间的第一映射关系；获取相机坐标系与电子设备的设备坐标系之间的第二映射关系；基于第一映射关系和第二映射关系，获得设备坐标系与机械坐标系之间的第三映射关系；获取电子设备的目标位置在设备坐标系中的设备坐标，并基于第三映射关系转换得到目标位置的机械坐标。可见，该方案提供的机械手***定位方法可以直接将电子设备的目标位置对应的设备坐标转换为机械坐标，进一步基于该机械坐标控制机械手设备移动至目标位置并执行相应的操作。该方案可以通过工具获得目标位置的设备坐标，或者直接将目标位置的设备坐标写入自动化脚本中，这样不需要依据机械手设备写入目标位置的机械位置，因此自动化脚本的开发和调试过程可以与机械手设备解耦，从而提高了自动化脚本的开发和调试效率。同时，利用该方案不需要利用相机获得目标位置的相机坐标，再将相机坐标转换为机械坐标，因此，节省了获得目标位置的机械坐标这一过程的耗时，提高了整个测试过程的测试效率。

在第一方面一种可能的实现方式中，目标位置是电子设备的显示界面上的目标控件；获取电子设备的目标位置在设备坐标系中的设备坐标，包括：获取目标控件对应的控件标识；向电子设备发送用于获得目标控件的设备坐标的控件坐标请求，控件坐标请求包括目标控件的控件标识；接收电子设备发送的目标控件对应的设备坐标。可见，该场景下，可以直接通过电子设备上安装的工具获得任一控件对应的设备坐标，无需在自动化脚本中写入目标位置的设备坐标，只需在自动化脚本中写入控件对应的标识，对于物理尺寸有差异但控件标识不变的不同类型的电子设备，不需要重新开发自动化脚本，因此，利用该方案开发得到的自动化脚本能够兼容不同物理尺寸的电子设备，即提高了自动化脚本的兼容性。

在第一方面另一种可能的实现方式中，目标位置是所述电子设备的显示界面的非控件位；所述获取所述电子设备的目标位置在所述设备坐标系中的设备坐标，包括：接收所述电子设备发送的所述目标位置对应的设备坐标，所述设备坐标由所述电子设备接收到对所述目标位置的点击操作后获得。可见，该场景需要预先获得目标位置的设备坐标并写入自动化脚本中。

在第一方面又一种可能的实现方式中，获取机械坐标系与相机坐标系之间的第一映射关系，包括：获取机械手设备上的至少两个机械手标定点对应的机械坐标；通过相机获取每个机械手标定点在相机坐标系中的相机坐标；基于至少两个机械手标定点对应的机械坐标和相机坐标，获得机械坐标系与相机坐标系之间的第一映射关系。可见，该方案直接在机械手设备上设置标定点，这样不需要依赖机械手获得机械标定点的机械坐标，实现与机械手设备之间的解耦，同时，提高了标定效率。

在第一方面另一种可能的实现方式中，获取机械手设备上的至少两个机械手标定点对应的机械坐标，包括：机械手设备的夹具平台上设置有至少两个标定点，基于机械手设备的设备信息获得每个标定点的机械坐标。

在第一方面又一种可能的实现方式中，获取相机坐标系与电子设备的设备坐标系之间的第二映射关系包括：获取电子设备上的至少两个设备标定点对应的设备坐标；通过相机获取每个设备标定点在所述相机坐标系中的相机坐标；基于所述至少两个设备标定点对应的设备坐标和相机坐标，获得所述相机坐标系与所述设备坐标系之间的第二映射关系。

在第一方面再一种可能的实现方式中，设备标定点是电子设备的显示界面上的标定控件；获取电子设备上的至少两个设备标定点对应的设备坐标，包括：获取标定控件对应的控件标识；向电子设备发送控件坐标请求，所述控件坐标请求包括所述控件标识；接收电子设备发送的所述标定控件对应的设备坐标。

在第一方面另一种可能的实现方式中，设备标定点是电子设备显示的预设图片中的标定点；获取电子设备上的至少两个设备标定点对应的设备坐标包括：基于标定点在预设图片中的坐标，获得标定点在设备坐标系中的设备坐标。

在第一方面又一种可能的实现方式中，通过相机获取每个设备标定点在相机坐标系中的相机坐标包括：接收相机拍摄的电子设备的图像，该图像包括设备标定点；基于图像识别技术识别出图像包含的设备标定点，并确定每个设备标定点在图像中的位置坐标，获得设备标定点的相机坐标。

在第一方面另一种可能的实现方式中，目标位置是电子设备的显示界面的非控件位置；获取电子设备的目标位置在设备坐标系中的设备坐标，包括：接收电子设备发送的目标位置对应的设备坐标，设备坐标由电子设备接收到对目标位置的点击操作后获得。

在第一方面又一种可能的实现方式中，基于第三映射关系转换得到目标位置的机械坐标，包括：将目标位置的设备坐标输入至映射关系，计算得到目标位置对应的机械坐标。

在第一方面再一种可能的实现方式中，该方法还包括：基于目标位置的机械坐标控制机械手设备移动至电子设备的目标位置处；控制机械手在目标位置处执行相应的操作。

在第一方面另一种可能的实现方式中，基于所述目标位置的机械坐标控制所述机械手设备移动至所述电子设备的目标位置处，包括：基于所述目标位置的机械坐标，以及所述机械手设备当前所处位置的机械坐标，生成运动控制指令；向所述机械手设备发送所述运动控制指令，以使所述机械手设备响应所述运动控制指令从所述当前所处位置移动至所述目标位置。

第二方面，本申请还提供了一种计算机设备，电子设备包括：一个或多个处理器、存储器和触摸屏；存储器用于存储程序代码；处理器用于运行程序代码，使得电子设备实现如第一方面任一种可能的实现方式所述的机械手***定位方法。

第三方面，本申请还提供了一种计算机可读存储介质，其上存储有指令，当指令在计算机设备上运行时，使得电子设备执行如第一方面任一种所述的机械手***定位方法。

应当理解的是，本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反，可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此，本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而，还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解，无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中，还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种机械手夹具平台的示意图；

图2是本申请实施例提供的机械手夹具平台上放置目标电子设备时对应图像的示意图；

图3是本申请实施例提供的一种机械手***的结构示意图；

图4是本申请实施例提供的一种目标电子设备的设备坐标系的示意图；

图5是本申请实施例提供的一种机械坐标系、相机坐标系及设备坐标系的示意图；

图6是本申请实施例提供的一种机械手***定位方法的流程图；

图7是本申请实施例提供的一种夹具平台上的标定点的示意图；

图8是本申请实施例提供的一种夹具平台上的标定点的相机坐标的示意图；

图9是本申请实施例提供的一种目标电子设备的标定点的设备坐标的示意图；

图10是本申请实施例提供的一种目标电子设备的标定点的相机坐标的示意图；

图11是本申请实施例提供的一种夹具平台和目标电子设备上的标定点对应的相机坐标的示意图。

具体实施方式

本申请说明书和权利要求书及附图说明中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于限定特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

为了下述各实施例的描述清楚简洁，首先给出相关技术的简要介绍：

机器视觉***是利用机器代替人眼做测量和判断，通过图像摄取装置(如相机)将被摄取目标转换成图像信号，进一步处理该图像信号获得目标的某些特征，进而根据该特征控制现场的设备动作。

坐标系标定，是指对两个不同的坐标系之间的转换关系的标定，例如，在本申请中，涉及视觉坐标系(也称为相机坐标系)、机械坐标系(即机械手夹具平台的坐标系)和设备坐标系这三个坐标系之间转换关系的标定，通过坐标系标定帮助机器人(即机械手***)转换获得的视觉信息，从而完成后续的控制工作，例如视觉抓取等。

下面以利用机械手***对电子设备屏幕进行自动化测试的场景为例进行说明，其中，相关技术提供的一种机械手***定位方法如下：

在开发自动化脚本阶段，先将电子设备放置在机械手的夹具平台上，并将机械手移动到指定的被测位置，并记录这些被测位置对应的机械坐标，并将这些机械坐标写入测试脚本中。

在电子设备的测试阶段，执行自动化脚本，根据测试脚本中被测位置的机械坐标控制机械手移动至相应的被测位置，并对被测位置进行相应的测试操作。

可见，该过程在开发自动化脚本阶段，依赖于机械手设备获得被测位置对应的机械坐标，导致自动化脚本的开发效率低。此外，如果测试设备的物理尺寸改变，需要重新依赖机械手设备获得被测位置的机械坐标，并修改自动化脚本中测试点的坐标，可见此种方式开发的自动化脚本的对不同物理尺寸的电子设备的兼容能力差。

相关技术中的另一种机械手***定位方式是：通过相机坐标系与机械坐标系之间的映射关系获得电子设备中被测位置的机械坐标，进而依据被测位置对应的机械坐标控制机械手移动。

例如，为测试电子设备中安装的应用程序的基本功能是否符合要求，需控制相应的控件(如，设置控件、弹窗删除控件、确认控件等)执行相应的操作。此种场景下，控件的图标比较容易通过图像识别技术识别出来，因此，对于图标对应位置的机械坐标可以通过建立机械坐标系与相机坐标系之间的映射关系获得，具体过程如下：

在开发自动化测试脚本阶段，使用相机拍摄包含待测试的图标的电子设备屏幕的图片，进一步从该图片中获得待识别的图标的图片并保存为模板图片。

在执行自动化测试脚本对电子设备进行自动化测试时，如图1所示，目标电子设备(如手机、平板电脑、手表等)放置在机械手的夹具平台上。然后，利用相机拍摄得到如图2所示的目标电子设备的图像。基于图像识别技术识别出该图像包含的与模板图片相匹配的图标对象后，获得该图标对象(如图2中的P点)对应的相机坐标。

进一步，根据机械坐标系与相机坐标系之间的映射关系，将P点的相机坐标转换为机械坐标系中的坐标，即得到P点的机械坐标。最后，基于P点的机械坐标控制机械手执行相应的操作。

可见，此种方式在获得被测设备的机械坐标时需要利用相机拍摄相应的图像，导致测试效率低。

为了解决上述技术问题，本申请的发明人提供了一种机械手***定位方法，该方案通过在机械手的夹具平台上设置至少两个标定点，即已知标定点的机械坐标。利用相机拍摄夹具平台的图像，获得夹具平台上标定点在相机坐标系中的坐标，即标定点的相机坐标。通过夹具平台上的标定点对应的机械坐标和相机坐标，获得机械坐标系与相机坐标系之间的映射关系。以及，在被测电子设备上确定至少两个标定点，即已知被测电子设备上的标定点在设备坐标系中的坐标，即设备坐标。然后，利用相机拍摄被测电子设备的图像，获得被测电子设备上的标定点的相机坐标。进而获得设备坐标系与相机坐标系之间的映射关系。进一步，根据上述的机械坐标系与相机坐标系之间的映射关系，以及相机坐标系与设备坐标系之间的映射关系，获得设备坐标系与机械坐标系之间的映射关系。基于机械坐标系与设备坐标系之间的映射关系，可以直接将被测电子设备上的任一点的设备坐标转换为机械坐标。最后，基于该点的机械坐标控制机械手移动至相应的位置处并执行相应的操作。

可见，利用该方案提供的机械手定位方法可以直接基于被测电子设备的被测位置的设备坐标控制机械手，该方案获得的自动化脚本不需要写入被测位置的机械坐标，换言之，该方案的自动化脚本的开发和调试过程与机械手设备解耦，从而提高了自动化脚本的开发和调试效率。

同时，利用该方案可以直接获得被测位置的设备坐标，不需要先利用相机获得被测位置的相机坐标，降低了获得被测位置的机械坐标这一过程的耗时，提高了整个测试过程的测试效率。

进一步地，在对被测设备的被测控件进行自动化测试的场景中，被测位置即被测控件所在位置。此种场景下，该方案的自动化脚本中无需写入电子设备的被测位置的机械坐标，而是写入被测控件对应的控件ID，对于同类型的被测电子设备，如两种不同型号的手机(或其他电子设备)，物理尺寸存在差异，但同一被测控件对应的控件ID不改变，因此，对于此类被测电子设备无需修改自动化脚本，即本方案获得的自动化脚本可以兼容不同物理尺寸的被测设备，提高了自动化脚本对不同物理尺寸的兼容能力。

为了下述各实施例的描述清楚简洁，以利用机械手***对手机进行自动化测试为例说明机械手***的工作过程。

请参见图3，示出了本申请实施例提供的一种机械手***的结构示意图，如图3所示，该机械手***包括：机械手设备、至少一个相机(或可称为摄像机)、计算机。其中，机械手

包括机械手设备包括机械手(或可称为操作机构)和夹具平台(或可称为支撑平台)。

可以理解的是，本实施例示意的自动装配设备的结构并不构成对该设备的具体限定。在另一些实施例中，该自动装配设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者，不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

在自动化测试的场景中，机械手用于控制电子设备进行自动化测试，夹具平台用于固定电子设备。例如，将待测试的手机固定在夹具平台上，以便对手机进行稳定性测试、功能测试和功耗测试等自动化测试。

在本申请中，目标电子设备是指通过机械手***进自动测试，目标电子设备可以是手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(Ultra-mobilePersonal Computer，UMPC)、手持计算机、上网本、个人数字助理(Personal DigitalAssistant，PDA)、可穿戴电子设备、智能手表等设备，本申请对电子设备的具体形式不做特殊限制。

相机用于拍摄目标电子设备的图像，确定目标电子设备的位置坐标。相机可以采用CCD相机、CMOS相机中的任意一种。

计算机用于控制机械手的运动状态，控制相机的工作状态，以及对相机拍摄的图像进行图像分析获得图像中的目标位置的坐标。其中，本申请提供的机械手***定位方法运行于图3所示的计算机中。

计算机向相机发送拍摄指令，相机执行该拍摄指令进行相应的拍摄操作。相机向计算机发送拍摄的图像，以便计算机进行图像处理得到图像中目标位置的坐标，并将目标位置的坐标转换为机械坐标。进一步地，计算机基于目标位置的机械坐标生成运动控制指令并发送至机械手，以控制机械手移动至目标位置，并执行相应的操作。

以目标电子设备是手机为例，图4所示为手机的坐标系，即设备坐标系。

假设机械手在生产时通过提高精度可以保证上述的三个坐标系(即相机坐标系、机械坐标系和设备坐标系)处于同一平面，如图5所示，示出了处于同一平面的相机坐标系、机械坐标系和设备坐标系。

如图5所示，xoy坐标系是相机坐标系，x'o'y'坐标系是机械坐标系，x”o”y”坐标系是设备坐标系。不同坐标系的原点及坐标轴的正方向不同。

前已叙及，机器视觉***基于相机坐标系建立，而机械手的操作基于机械坐标系，因此，需要建立相机坐标系与机械坐标系之间的映射关系。获得这两个坐标系之间的映射关系后，对于同一个位置点，如果已知该位置点在任一坐标系的坐标，根据两个坐标之间的映射关系可以转换到该位置点在另一个坐标系中的坐标。例如，在获得位置点对应的相机坐标后，根据相机坐标和机械坐标之间的映射关系，可以转换得到该位置点对应的机械坐标。

下面将结合图6介绍本申请实施例提供的机械手***定位方法的流程，该方法运行于图3中的计算机中。如图6所示，所述机械手***定位方法包括以下步骤：

S110，获取机械手的夹具平台上的至少两个标定点A、B的机械坐标。

在一示例性中，可以在机械手生产时，就在机械手的夹具平台上固定两个点作为标定点，且在机械手出厂时就标注了至少两个标定点的机械坐标。例如，可以直接在夹具平台上标注每个标定点的机械坐标。

其中，夹具平台上的标定点的数量可以是两个或两个以上，本申请对此不作限定。

在另一示例中，可以由使用机械手的一方在机械手的夹具平台上选取两个固定点作为标定点，根据机械手的机械坐标系确定出这两个标定点对应的机械坐标。

例如，如图7所示，夹具平台上的两个标定点对应的机械坐标分别为A(x′₁，y′₁)，B(x′₂，y′₂)。

在一示例性实施例中，可以通过修改夹具平台上的标定点的颜色或增加荧光提高图像识别精度。

S120，获取夹具平台上的每个标定点对应的相机坐标。

可以利用高清相机拍摄夹具平台的图像，如图8所示，为相机拍摄的夹具平台的图像的示意图，该图像中包含夹具平台，以及夹具平台上的标定点A和B。

进一步通过图像识别技术获得该图像中两个标定点在相机坐标系中的坐标，即获得图像中标定点A和B对应的相机坐标，如A(x₁，y₁)、B(x₂，y₂)。

S130，根据夹具平台上的标定点对应的机械坐标和相机坐标，获得机械坐标系和相机坐标系之间的映射关系，或称为第一映射关系。

如果已知某一个点分别对应的相机坐标和机械坐标，则可以建立相机坐标系与机械坐标系之间的映射关系，例如，某一个点的相机坐标为(x，y)，该点在机械坐标系中的坐标为(x'，y')，则相机坐标系与机械坐标系之间的映射关系可以采用如下的公式(1)表示：

公式(1)中的a、b、c、d为未知参数。

已知A和B两个标定点对应的相机坐标(x₁，y₁)、(x₂，y₂)，以及已知A和B对应的机械坐标(x′₁，y′₁)和(x′₂，y′₂)，分别将A、B两点对应的相机坐标和机械坐标代入公式(1)中得到公式(2)所示的方程组：

根据公式(2)所示的方程组，可以求解得到未知参数a、b、c、d的具体数值，即如果已知任一点的相机坐标，利用该映射关系可以转换得到该点对应的机械坐标。同理，如果已知某一点对应的机械坐标，可以转换得到该点对应的相机坐标。

机械坐标系与相机坐标系之间的映射关系，只需在相机位置改变后重新计算。在相机位置不改变的前提下，S110～S130所述的过程只需执行一次，后续可以直接使用第一映射关系。

如在相机检修或更换等场景下相机的位置可能会改变。相机位置改变后，重新按照上述的S110～S130的过程重新计算机械坐标系与相机坐标系之间的映射关系。

S140，获取目标电子设备上至少两个标定点在设备坐标系中的坐标(即设备坐标)。

本申请实施例以目标电子设备是手机为例进行说明。目标电子设备上标注的标定点的数量可以是两个或两个以上，本申请对此不做限定。

在对手机的屏幕进行自动化测试的场景下，可以选取手机上的两个点作为标定点，例如，可以选取手机显示界面上的两个控件所在位置为标定点。或者，可以在手机上显示包含标定点的图片，该图片的分辨率与手机屏幕的分辨率相同，该图片可以是纯色图片，且标定点的颜色与图片的颜色不同，例如，该图片可以是白色，标定点的颜色可以是黑色。

对于标定点为手机显示界面上显示的控件的场景，可以利用UI自动化测试工具直接获取个控件对应的设备坐标。例如，可以利用电子设备中安装UI自动化测试工具(如UIAutomator)获得控件对应的设备坐标。

对于标定点为图片中的标定点的场景，可以根据被测试设备的屏幕分辨率生成包含标定点的图片，即已知图片中的标定点的设备坐标。

例如，如图9所示，手机上的两个标定点对应的设备坐标分别是C(x″₃，y″₃)和D(x″₄，y″₄)。

S150，获取目标电子设备上的标定点对应的相机坐标。

与获取夹具平台上的标定点的相机坐标的方式相似，将目标电子设备固定在机械手的夹具平台的固定位置处，然后，利用高清相机拍摄目标电子设备的图像。

进一步，通过图像识别技术获得该图像中标定点C、D对应的相机坐标，例如，如图10所示，标定点C、D在相机坐标系中的坐标分别为C(x′₃，y′₃)和D(x′₄，y′₄)。

S160，根据目标电子设备上的标定点对应的设备坐标和相机坐标，获得相机坐标系与设备坐标系之间的映射关系，或称为第二映射关系。

对于同一个位置点，若已知该点在设备坐标系中的坐标，以及该点在相机坐标中的坐标，则可以建立设备坐标系与相机坐标系之间的映射关系。例如，该映射关系可以采用如下的公式(3)表示：

公式(3)中a₁、b₁、c₁、d₁均为未知参数。

将目标电子设备上的C、D两点对应的设备坐标和相机坐标代入公式(3)中，得到如下公式(4)所示的方程组：

根据公式(4)所示的方程组，可以求解得到未知参数a₁、b₁、c₁、d₁的具体数值，即如果已知目标电子设备上的任一点对应的相机坐标，利用该映射关系可以转换得到该点对应的设备坐标。同理，如果已知目标电子设备上任一点对应的设备坐标，可以转换得到该点对应的相机坐标。

通过S140～S160所述的过程获得相机坐标系与设备坐标系之间的第二映射关系后，在电子设备的物理尺寸不改变的情况下，后续可以直接使用第二映射关系，即S140～S160只需执行一次。

在电子设备的物理尺寸发生改变的情况下，第二映射关系会跟随电子设备的变化而更新，例如，不同型号的测试设备(如，不同型号的手机)，或者不同类型的测试设备(如，手机与平板电脑、智能手表等)的物理尺寸可能不同，测试设备的物理尺寸不同，其对应的设备坐标系也不同，因此，需要针对不同物理尺寸的测试设备分别建立设备坐标系与相机坐标系之间的映射关系。即，更换测试设备后，需要按照S140～S160重新确定第二映射关系。

通过以上步骤，获得了机械坐标系与相机坐标系之间的映射关系的参数，即a、b、c、d的具体数值，以及，设备坐标系与相机坐标系之间的映射关系的参数，如a₁、b₁、c₁、d₁的具体数值。进一步，可以根据第一映射关系和第二映射关系的参数值，得到机械坐标系与设备坐标系之间的映射关系，或可称为第三映射关系。

在另一示例中，夹具平台上标注有标定点A、B，进一步可以直接将显示有标定点C、D的目标电子设备固定在该夹具平台的固定位置上。然后，利用相机拍摄包含夹具平台和目标电子设备的一张图像，即获得如图11所示的图像。

如图11所示，该图像包括夹具平台和放置在夹具平台上的手机，而且，包括夹具平台上的标定点A、B，以及手机上的标定点C、D。

分析图11所示的一张图像即可同时获得夹具平台上的标定点A、B对应的相机坐标，以及手机上的标定点C、D对应的相机坐标。无需相机分别拍摄夹具平台、测试设备的图像，分别进行图像分析获得标定点A、B，以及标定点C、D的相机坐标。提高了坐标系标定过程的效率。

S170，基于机械坐标系与相机坐标系之间的第一映射关系，以及设备坐标系与相机坐标系之间的第二映射关系，获得机械坐标系与设备坐标系之间的第三映射关系。

将公式(1)代入公式(3)中，即可获得机械坐标系与设备坐标系之间的第三映射关系，例如，第三映射关系如公式(5)所示：

其中，a、b、c、d和a₁、b₁、c₁、d₁均已知，因此，参数aa₁-bb₁，a₁b+ab₁，-ab₁-a₁b，a₁c+b₁d+c₁和a₁d-b₁c+d₁均可以计算得到具体数值。

需要说明的是，在相机的位置未改变且电子设备的物理尺寸未改变的情况下，S170所述的获得第三映射关系的过程也只需执行一次，后续使用机械手***时，可以直接使用第三映射关系。例如，对相同物理尺寸的电子设备进行测试时，上述S110～S170所述的过程只需执行一次获得第三映射关系后，对具有同一物理尺寸的多个电子设备进行测试时，可以直接使用第三映射关系。

S180，获取目标电子设备上目标位置对应的设备坐标，基于第三映射关系将目标位置的设备坐标转换为机械坐标。

在利用机械手操作手机屏幕实现自动化测试的场景下，机械手需要移动至被测位置处进行相应的测试操作。例如，对手机屏幕进行触控性能测试时，需要机械手移动至测试点并对屏幕进行触摸操作；又如，对手机屏幕进行压力测试时，同样需要机械手移动至测试点并对屏幕进行按压操作。

获得屏幕上被测位置对应的设备坐标后，可以直接根据第三映射关系将被测位置的设备坐标转换为机械坐标。进一步，基于被测位置对应的机械坐标控制机械手移动至相应的被测位置处。在一种场景中，被测位置是手机显示界面上的控件，此种场景下，可以在目标电子设备中安装UI自动化测试工具，如UI Automator，通过UI自动化测试工具可以获得被测试控件的设备坐标。而且，更换同类型的其他电子设备后，如测试完某一型号手机的某些控件后，又继续测试另一型号手机的这些控件，此种场景下，这些被测试控件的控件ID不变，利用UI自动化测试工具可以快速获得这些被测控件对应控件的设备坐标，即更换电子设备后也可以快速获得被测试控件的坐标，无需修改自动化脚本，而且，提高了自动化脚本的兼容能力。

在另一种场景中，如果被测位置是没有控件的位置，如手机显示界面上的空白位置，此种场景下，将手指定位在手机的被测位置处，通过电子设备的“指针位置”功能，可以获得被触摸的位置的设备坐标，并将该被测位置的设备坐标写入自动化脚本中。在对被测设备进行测试的阶段，基于设备坐标系与机械坐标系之间的映射关系，将被测位置的设备坐标转换为机械坐标，并基于该机械坐标控制机械手移动至被测位置处，执行相应的测试操作。可见，此种场景也不需要依赖机械手开发自动化脚本。

S190，基于目标位置的机械坐标生成运动控制指令，并向机械手发送运动控制指令，使得机械手移动至目标位置。

在一示例中，计算机生成的运动控制指令可以直接控制机械手移动。例如，计算机基于机械手的当前位置以及目标位置对应的机械坐标，基于这两个位置的机械坐标生成控制机械手移动的运动控制指令，如，左移300mm，再向正前方移动500mm，生成的运动控制指令发送至机械手。机械手接收到运动控制指令执行该指令后从当前位置移动到目标位置。

在另一示例中，计算机生成的运动控制指令用于告知机械手目标位置，例如，计算机获得目标位置的机械坐标后，向机械手发送运动控制指令，该运动控制指令包含目标位置。机械手解析该运动控制指令后获得目标位置的机械坐标，进一步，机械手根据自己当前所处的位置以及接收到的目标位置，生成移动指令，并执行该移动指令从当前位置移动至目标位置。

本申请实施例对机械手从当前位置移动至目标位置的控制方式不作限定。

S1100，向机械手发送测试指令，使得机械手对目标电子设备上的目标位置进行相应的测试操作。

在一示例性中，机械手移动至目标位置后向计算机反馈自己已移动至目标位置处，此时，计算机向机械手发送测试指令，如控制机械手执行触摸或按压等操作。机械手接收到测试执行后解析并执行测试指令，实现对测试设备的自动化测试。

本实施例提供的机械手***定位方法，通过在机械手的夹具平台上设置至少两个标定点，即已知标定点在机械坐标系中的机械坐标。利用相机拍摄夹具平台的图像，获得夹具平台上的标定点的相机坐标。通过夹具平台上的至少两个标定点对应的机械坐标和相机坐标，获得机械坐标系与相机坐标系之间的映射关系。同理，可以在目标电子设备上确定至少两个标定点，即已知目标电子设备上的标定点的设备坐标。然后，利用相机拍摄目标电子设备的图像，获得目标电子设备上的标定点的相机坐标。进而获得设备坐标系与相机坐标系之间的映射关系。进一步，根据上述的两个坐标系之间的映射关系，获得设备坐标系与机械坐标系之间的映射关系。最后，基于机械坐标系与设备坐标系之间的映射关系，可以直接将目标电子设备上任一点的设备坐标转换为机械坐标。最后，基于该点的机械坐标控制机械手移动至相应的位置处并执行相应的操作。可见，利用该方案可以直接基于输入的目标电子设备的设备坐标控制机械手，该方案获得的自动化脚本不需要写入被测位置的机械坐标，换言之，该方案的自动化脚本的开发和调试过程与机械手设备解耦，从而提高了自动化脚本的开发和调试效率。

同时，利用该方案可以直接获得被测位置的设备坐标，不需要先利用相机获得被测位置的相机坐标，降低了获得被测位置的机械坐标这一过程的耗时，提高了整个测试过程的测试效率。

进一步地，更换相机位置后，相机坐标系也随之改变，机械坐标系与相机坐标系之间的第一映射关系，相机坐标系与设备坐标系之间的第二映射关系，以及机械坐标系与设备坐标系之间的第三映射关系都会随之改变。同理，更换测试设备后，测试设备的物理尺寸改变，设备坐标系跟随改变，设备坐标系与相机坐标系之间的第二映射关系，设备坐标系与机械坐标系之间的第三映射关系也跟随改变。利用本申请的方案，预先在机械手的夹具平台和测试设备上分别设置至少两个标定点，基于夹具平台上的标定点能够快速地、自动地标定机械坐标系与相机坐标系之间的第一映射关系。基于测试设备上的标定点可以快速、自动地标定设备坐标系与相机坐标系之间的第二映射关系。在更新第一映射关系、第二映射关系后，可以快速地更新第三映射关系。可见，该方案可以快速实现三个坐标系之间的自动标定，提高了坐标系标定过程的效率。

进一步地，在对被测设备的被测控件进行自动化测试的场景中，被测位置即被测控件所在位置。此种场景下，该方案的自动化脚本中无需写入电子设备的被测位置的机械坐标，而是写入被测控件对应的控件ID，对于同类型的被测电子设备，如两种不同型号的手机(或其他电子设备)，物理尺寸存在差异，但同一被测控件对应的控件ID不改变，因此，对于此类被测电子设备无需修改自动化脚本，即本方案获得的自动化脚本可以兼容不同物理尺寸的被测设备，提高了自动化脚本对不同物理尺寸的兼容能力。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本实施例所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种机械手***定位方法，其特征在于，包括：

获取机械坐标系与相机坐标系之间的第一映射关系；

基于电子设备的至少两个设备标定点对应的设备坐标及相机坐标，获得相机坐标系与电子设备的设备坐标系之间的第二映射关系，所述设备标定点是所述电子设备的显示界面上的标定控件，或者所述电子设备显示的预设图片中的标定点；

基于所述第一映射关系和所述第二映射关系，获得所述设备坐标系与所述机械坐标系之间的第三映射关系；

获取所述电子设备的目标位置在所述设备坐标系中的设备坐标，并基于所述第三映射关系转换得到所述目标位置的机械坐标。

2.根据权利要求1所述的方法，其特征在于，所述获取机械坐标系与相机坐标系之间的第一映射关系，包括：

获取机械手设备上的至少两个机械手标定点对应的机械坐标；

通过相机获取每个机械手标定点在所述相机坐标系中的相机坐标；

基于所述至少两个机械手标定点对应的机械坐标和相机坐标，获得所述机械坐标系与所述相机坐标系之间的第一映射关系。

3.根据权利要求2所述的方法，其特征在于，所述获取机械手设备上的至少两个机械手标定点对应的机械坐标，包括：

所述机械手设备的夹具平台上设置有至少两个标定点，基于所述机械手设备的设备信息获得每个标定点的机械坐标。

4.根据权利要求1或2所述的方法，其特征在于，所述基于所述电子设备的至少两个设备标定点对应的设备坐标及相机坐标，获得相机坐标系与电子设备的设备坐标系之间的第二映射关系，包括：

获取所述电子设备上的至少两个设备标定点对应的设备坐标；

通过相机获取每个设备标定点在所述相机坐标系中的相机坐标；

基于所述至少两个设备标定点对应的设备坐标和相机坐标，获得所述相机坐标系与所述设备坐标系之间的第二映射关系。

5.根据权利要求4所述的方法，其特征在于，所述设备标定点是所述电子设备的显示界面上的标定控件；获取所述电子设备上的至少两个设备标定点对应的设备坐标，包括：

获取所述标定控件对应的控件标识；

向所述电子设备发送控件坐标请求，所述控件坐标请求包括所述控件标识；

接收所述电子设备发送的所述标定控件对应的设备坐标。

6.根据权利要求4所述的方法，其特征在于，所述设备标定点是所述电子设备显示的预设图片中的标定点；获取所述电子设备上的至少两个设备标定点对应的设备坐标，包括：

基于所述标定点在所述预设图片中的坐标，获得所述标定点在所述设备坐标系中的设备坐标。

7.根据权利要求4所述的方法，其特征在于，所述通过相机获取每个设备标定点在所述相机坐标系中的相机坐标，包括：

接收相机拍摄的所述电子设备的图像，所述图像包括所述设备标定点；

基于图像识别技术识别出所述图像包含的所述设备标定点，并确定每个设备标定点在所述图像中的位置坐标，获得所述设备标定点的相机坐标。

8.根据权利要求1所述的方法，其特征在于，所述目标位置是所述电子设备的显示界面的非控件位置；所述获取所述电子设备的目标位置在所述设备坐标系中的设备坐标，包括：

接收所述电子设备发送的所述目标位置对应的设备坐标，所述设备坐标由所述电子设备接收到对所述目标位置的点击操作后获得。

9.根据权利要求1所述的方法，其特征在于，基于所述第三映射关系转换得到所述目标位置的机械坐标，包括：

将所述目标位置的设备坐标输入至所述映射关系，计算得到所述目标位置对应的机械坐标。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述目标位置的机械坐标控制机械手设备移动至所述电子设备的目标位置处；

控制所述机械手在所述目标位置处执行相应的操作。

11.根据权利要求10所述的方法，其特征在于，基于所述目标位置的机械坐标控制所述机械手设备移动至所述电子设备的目标位置处，包括：

基于所述目标位置的机械坐标，以及所述机械手设备当前所处位置的机械坐标，生成运动控制指令；

向所述机械手设备发送所述运动控制指令，以使所述机械手设备响应所述运动控制指令从所述当前所处位置移动至所述目标位置。

12.一种计算机设备，其特征在于，所述电子设备包括：一个或多个处理器、存储器和触摸屏；所述存储器用于存储程序代码；所述处理器用于运行所述程序代码，使得所述电子设备实现如权利要求1至11任一项所述的机械手***定位方法。

13.一种计算机可读存储介质，其特征在于，其上存储有指令，当所述指令在计算机设备上运行时，使得所述电子设备执行如权利要求1至11任一项所述的机械手***定位方法。

Images