机械手臂路径规划与作业方法、装置以及计算机设备
技术领域
本申请涉及理疗设备技术领域,特别是涉及一种机械手臂路径规划与作业方法、装置、计算机设备和存储介质。
背景技术
随着人们生活水平的提高,理疗、美容设备的使用越来越普及,理疗、美容设备的自动化、智能化是一个大趋势。
然而目前大多理疗设备功能比较单一,很多还是需要专业的医师亲自进行,设备只能起到辅助医师的作用。对于这种日益增长的市场需求,愿意做这种纯体力活的医师人数却越来越少,缺乏能够实现自动化和智能化的理疗、美容等处理技术。
发明内容
基于此,有必要针对缺乏自动化的面部理疗、美容等处理技术,提供一种实现自动化的机械手臂路径规划与作业方法、装置、计算机设备和存储介质。
一种机械手臂路径规划与作业方法,所述方法包括:
获取面部点云信息;
根据所述面部点云信息,确定面部待处理部位;
根据所述面部待处理部位,规划机械手臂工作路径;
获取所述机械手臂上工具头的参数信息;
根据所述机械手臂工作路径与所述参数信息,进行作业处理。
在其中一个实施例中,所述获取所述机械手臂上工具头的参数信息包括:
获取所述工具头的温度参数信息;
所述获取所述工具头的温度参数信息之后,还包括:
根据预设的温度条件以及所述工具头的温度参数信息,对所述工具头的温度进行调节。
在其中一个实施例中,所述获取所述机械手臂上工具头的参数信息包括:
获取所述工具头的压力参数信息;
所述获取所述工具头的压力参数信息之后,还包括:
根据所述压力参数信息,对所述机械手臂的位姿进行调整。
在其中一个实施例中,所述获取面部点云信息包括:
获取在红外结构光照射下,面部各位置的点云信息;
对所述面部各位置的点云信息进行拼接处理,获取面部点云信息。
在其中一个实施例中,所述根据所述面部点云信息,确定面部待处理部位包括:
根据所述面部点云信息,获取与所述面部点云信息对应的平面图像信息;
根据所述平面图像信息,选取面部待处理部位。
在其中一个实施例中,所述根据所述平面图像信息,选取面部待处理部位包括:
根据所述平面图像的灰度值信息,选取面部待处理部位。
在其中一个实施例中,所述根据所述面部待处理部位,规划机械手臂工作路径包括:
根据所述面部待处理部位,进行待处理区域划分,确定划分的各区域的取样点;
确定所述各取样点的坐标信息与法向量信息;
根据所述各取样点的坐标信息与法向量信息,规划机械手臂工作路径。
一种机械手臂路径规划与作业装置,所述装置包括:
点云信息获取模块,用于获取面部点云信息,
面部待处理部位确定模块,用于根据所述面部点云信息,确定面部待处理部位;
路径规划模块,用于根据所述面部待处理部位,规划机械手臂工作路径;
参数信息获取模块,用于获取所述机械手臂上工具头的参数信息;
执行模块,用于根据所述机械手臂工作路径和所述参数信息,进行作业处理。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现所述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现所述方法的步骤。
上述机械手臂路径规划与作业方法、装置、计算机设备和存储介质,通过面部的点云信息,使得到的面部数据更为精准,并对面部点云信息进行进一步处理,得到面部中需要进行待处理的部位,确保对面部这一特殊部位,在对其作业处理过程中的作业部位的准确性,依据机械手臂上工具头的参数信息,可以及时了解工具头以及机械手臂的作业过程,合理进行调整,通过规划机械手臂的工作路径与获取工具头的参数信息来进行作业处理,实现了自动化的作业处理过程。
附图说明
图1为一个实施例中机械手臂路径规划与作业方法的流程示意图;
图2为另一个实施例中机械手臂路径规划与作业方法的流程示意图;
图3为另一个实施例中机械手臂路径规划与作业方法的流程示意图;
图4为另一个实施例中机械手臂路径规划与作业方法的流程示意图;
图5为另一个实施例中机械手臂路径规划与作业方法的流程示意图;
图6为另一个实施例中机械手臂路径规划与作业方法的流程示意图;
图7为一个实施例中机械手臂路径规划与作业装置的结构框图;
图8为另一个实施例中机械手臂路径规划与作业装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
如图1所示,在一个实施例中,一种机械手臂路径规划与作业方法,包括:
步骤S100,获取面部点云信息。
点云信息是通过测量仪器得到的产品外观表面的点数据集合,使用三维激光扫描仪或照相式扫描仪得到的点云,点数量比较大并且比较密集,叫密集点云,面部点云信息是指通过测量得到的密集的面部点数据集合,具体地,面部点云信息可以通过摄像机和结构光的组合使用来获取,点云信息可以包括三维坐标、激光反射强度和和颜色信息。
步骤S200,根据面部点云信息,确定面部待处理部位。
面部待处理部位是指能够在机械手臂的工具头的作用下,接受面部作业处理的部位,面部处理作业包括面部理疗,面部美容等,主要是针对面部皮肤的按摩作业,例如眼睛、鼻子、眉毛以及嘴巴等,因为其存在特殊性,一般不属于面部待处理部位,这里的面部待处理部位是指除眼睛、鼻子、眉毛以及嘴巴等特殊部位以外的面部部位。
步骤S300,根据面部待处理部位,规划机械手臂工作路径。
机械手臂是机械人技术领域中得到最广泛实际应用的自动化机械装置,能够接受指令,精确地定位到三维或二维空间上的某一点进行作业,机械手臂包括多关节机械手臂,机械手臂的工作路径是指机械手臂按照一定的规划路线进行移动并进行作业处理,路径可以通过面部待处理部位的位置信息来规划确定。具体地,不同的面部待处理部位可以采用不同的作业手法,作业手法包括工具头对面部进行按摩的方向,力度,同一部位的重复次数等。
步骤S400,获取机械手臂上工具头的参数信息。
机械手臂的工具头是指用于对面部进行作业处理的器件,工具头上可以按照作业要求设置所需传感器,以获得实时数据,具体地,可以包括温度传感器、压力传感器,湿度传感器等,工具头的参数信息包括工具头在作业时的温度、湿度、压力等信息,可以使用户及时了解工作状态,并以此为参考,根据实际需求进行参数调整,获得较好的作业效果。
步骤S500,根据机械手臂工作路径与参数信息,进行作业处理。
工作路径确定了机械手臂的移动线路,并使得各个面部待处理部位得到相应处理,保证工作范围的全面性,根据参数信息,可以实时了解工作状态并可以对机械手臂工具头的参数进行相应调整,使得对每一个部位的处理过程更加精细有效,通过结合机械手臂的工作路径与参数信息,完成整个自动化的作业过程,既实现了作业的完整性,也满足了作业的精确性。
上述机械手臂路径规划与作业方法、装置、计算机设备和存储介质,通过面部的点云信息,使得到的面部数据更为精准,并对面部点云信息进行进一步处理,得到面部中需要进行待处理的部位,确保对面部这一特殊部位,在对其作业处理过程中的作业部位的准确性,依据机械手臂上工具头的参数信息,可以及时了解工具头以及机械手臂的作业过程,合理进行调整,通过规划机械手臂的工作路径与获取工具头的参数信息来进行作业处理,实现了自动化的作业处理过程。
如图2所示,在其中一个实施例中,步骤S400包括:
步骤S410,获取工具头的温度参数信息。
机械手臂的工具头上可以设置有温度传感器,当工具头接触到面部待处理位置时,可以接收面部的温度信息,并通过温度传感器传送,从而获得温度参数信息。
步骤S410之后,还包括:
步骤S420,根据预设的温度条件以及工具头的温度参数信息,对工具头的温度进行调节。
在实际的作业处理过程中,为照顾用户的使用感受,会根据实际情况设定相应的温度条件,比如在可以根据季节的不同设置不同的温度条件,也可以根据用户肤质的不同设置温度条件,还可以根据作业部位的不同是指温度条件,根据温度条件,以及通过工具头获取的温度参数信息,当所述温度参数信息与预设参数信息不符时,对工具头的温度进行调节,使用户获得较好的体验和较好的作业效果。
在其中一个实施例中,步骤S400包括:
步骤S430,获取工具头的压力参数信息。
工具头的压力参数信息可以通过压力传感组件获得,具体地,压力传感组件可以是多个压力传感器集成的组件,通过集成于整个工具头上来获取工具头上各个角落对用户面部的压力。具体地,压力传感组件由10*10的100个压力传感器集成在整个工具头上构成,在其他实施例中,也可以是其他个数或排列形式的压力传感器构成的组件。
步骤S430之后,还包括:
步骤S440,根据压力参数信息,对机械手臂的位姿进行调整。
根据总压力和压力的分布实时调整机械手臂的位姿,可以弥补视觉测量计算的偏差,使得在面部处理的作业过程可以根据实际情况进行实时微调,调高整个作业过程的稳定性。
如图3所示,在其中一个实施例中,步骤S100包括:
步骤S120,获取在红外结构光照射下,面部各位置的点云信息。
采用红外光作为光源,照明光栅,从而产生红外结构光,红外结构光一种编码结构光,光的波长为800nm-1000nm,红外光比可见光能量低,且不可见,由于超出了可见光的范围,不被肉眼察觉,不会刺激、伤害人眼,市面上对工件的扫描多用可见的结构光,白光,蓝光等,对人眼伤害较大。面部点云信息可以通过相机获取,具体地,可以通过相机与红外结构光的相间组合形成的多组双目结构光,双目结构光利用两个相机模仿人眼的视差原理,加结构光以方便两个相机找到对应的点,来获取面部各位置点云信息,可以通过间隔45度,沿圆周排列的3个相机以及分布于每2个相机之间的红外机构光,组成的2组双目结构光来分别获取面部左右两边的点云信息,在其他实施例中,也可以通过相机与红外结构光相间分布构成的多组双目结构光来获取。
步骤S140,对面部各位置的点云信息进行拼接处理,获取面部点云信息。
通过双目结构光获取的面部各个位置的点云信息,利用仿射变换和点云的位置信息,将得到的各位置的点云信息进行拼接,得到完整的面部点云信息。采用的双目结构光组数越多,采集的点云信息视角越丰富,从而得到的点云信息也更精确。
在其中一个实施例中,步骤S100之前,还包括检测面部所处位置信息,当面部所述位置与预设位置存在差异时,发送提示信息。
在实际的应用过程中,用户可能因为所处的位置不准确,导致无法获取准确的面部点云信息,预设位置可以是能完整准确获取用户面部信息的位置,当面部所述位置与预设位置存在差异时,通过发送提示信息,以便及时进行对应调整。具体地,可以通过语音信息提示用户应该怎样移动,例如,头部上下左右移动,面部左右偏移等。在其他实施例中,可以通过设置显示屏,使用户看到自己的面部所处位置,以及在显示屏上显示的预设位置轮廓,以便用户有参照性的对自己的面部所处位置进行调整。在其中一个实施例中,还可以根据提示信息,通过控制定位枕的移动,来调整用户的面部所处位置。
如图4所示,在其中一个实施例中,步骤S200包括:
步骤S220,根据面部点云信息,获取与面部点云信息对应的平面图像信息。
点云信息是构成立体的三维图像信息,平面图像信息是指二维的图像信息,平面图像信息相较于三维图像信息更为简单,处理更为方便,将获得的云点三维图像映射到二维平面进行图像处理,具有速度快,稳定性高的特点。
步骤S240,根据平面图像信息,选取面部待处理部位。
通过点云三维图像信息映射得到的平面图像信息,可以利用面部不同位置的点云信息不同的特点,例如由于眼睛眉毛等部位的颜色不同等特征,以及面部各部位的位置关系,筛选出不适用于进行面部作业处理的区域位置,得到面部待处理部位的信息。
如图5所示,在其中一个实施例中,步骤S240包括:
步骤S242,根据平面图像的灰度值信息,选取面部待处理部位。
由于在获取点云信息时,眼睛和眉毛是黑色的,没有对应的点云信息,从而映射到平面的图像信息中,眼睛与眉毛对应部位的图像灰度值为0,从而筛选出眼睛和眉毛的区域位置,并根据眼睛、眉毛与鼻子、嘴巴的位置关系,筛选出鼻子与嘴巴所对应的区域位置,除已筛选的区域位置外,其余部位则为面部待处理部位。
如图6所示,其中一个实施例中,步骤S300包括:
步骤S320,根据面部待处理部位,进行待处理区域划分,确定划分的各区域的取样点。
由于不同的面部区域需要采用不同的作业手法,面部待处理部位按照面部区域,可以分为左脸颊,右脸颊,额头三个部分,然后对每个部分按照一定的小面积来分割,分割后各个小面积排序,然后对各个小面积取样,确定各区域的取样点。
具体地,由于获取的点云中每个点之间的距离特别小,但是工具头进行作业处理时,难以达到对应的精度要求,可以从分割后的小面积中的每10个或者8个点云数据中提取一个作为取样点。在其他实施例中,也可以根据现场条件设定采样点与点云之间的比例关系。具体地,可以等间距提取其中5%~10%的点作为面部作业的定位点,由于双目相机获得的点云图点与点之间的距离在0.1mm以内,工具头直径一般10-15mm,故即使每二十个点取样一个,依然可以满足工具头的需求。
步骤S340,确定各取样点的坐标信息与法向量信息。
根据各个取样点对应的点云信息,可以得到各取样点的坐标信息,根据取样点的坐标信息,以及与之相邻的点云的坐标信息,可以获得取样点的法向量信息。具体地,取样点的坐标设为P(x,y,z),并通过该取样点周边相邻的4个垂直相邻取样点中任取三个取样点A,B,C,则AB,AC可以组成两个向量
则
可以得到该取样点P的法向量
(m,n,k)。
步骤S360,根据各取样点的坐标信息与法向量信息,规划机械手臂工作路径。
根据划分的小面积,以及各小面积对应的区域的作业手法,按照各取样点的横坐标或者纵坐标进行排序,依次把每个小面积里面的取样点对应的坐标与法向量参数,按照排序后的顺序发给机械手臂,机械手臂按照取样点的顺序规划移动路径。
从应该理解的是,虽然图2-6的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-6中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图7所示,在一个实施例中,一种机械手臂路径规划与作业装置,包括:
点云信息获取模块100,用于获取面部点云信息,
面部待处理部位确定模块200,用于根据面部点云信息,确定面部待处理部位。
路径规划模块300,用于根据面部待处理部位,规划机械手臂工作路径。
参数信息获取模块400,用于获取机械手臂上工具头的参数信息。
执行模块500,用于根据机械手臂工作路径和参数信息,进行作业处理。
如图8所示,在其中一个实施例中,参数信息获取模块400包括:
温度参数获取单元410,用于获取所述工具头的温度参数信息。
机械手臂路径规划与作业装置,还包括:
温度调节单元420,用于根据预设的温度条件以及所述工具头的温度参数信息,对所述工具头的温度进行调节。
在其中一个实施例中,参数信息获取模块400包括:
压力参数获取单元430,用于获取所述工具头的压力参数信息。
机械手臂路径规划与作业装置,还包括:
位姿调整单元440,用于根据所述压力参数信息,对所述机械手臂的位姿进行调整。
在其中一个实施例中,点云信息获取模块100,还用于获取在红外结构光照射下,面部各位置的点云信息,对所述面部各位置的点云信息进行拼接处理,获取面部点云信息。
在其中一个实施例中,面部待处理部位确定模块200,还用于根据所述面部点云信息,获取与所述面部点云信息对应的平面图像信息,根据所述平面图像信息,选取面部待处理部位。
在其中一个实施例中,面部待处理部位确定模块200,还用于根据所述平面图像的灰度值信息,选取面部待处理部位。
在其中一个实施例中,路径规划模块300,包括
区域划分单元320,用于根据所述面部待处理部位,进行待处理区域划分,确定划分的各区域的取样点。
坐标与法向量确定单元340,用于确定所述各取样点的坐标信息与法向量信息;
路径规划单元360,用于根据所述各取样点的坐标信息与法向量信息,规划机械手臂工作路径。
关于机械手臂路径规划与作业装置的具体限定可以参见上文中对于机械手臂路径规划与作业方法的限定,在此不再赘述。上述机械手臂路径规划与作业装置中的各个模块可全部部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种机械手臂路径规划与作业方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
获取面部点云信息;
根据所述面部点云信息,确定面部待处理部位;
根据所述面部待处理部位,规划机械手臂工作路径;
获取所述机械手臂上工具头的参数信息;
根据所述机械手臂工作路径与所述参数信息,进行作业处理。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取所述工具头的温度参数信息;
根据预设的温度条件以及所述工具头的温度参数信息,对所述工具头的温度进行调节。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取所述工具头的压力参数信息;
根据所述压力参数信息,对所述机械手臂的位姿进行调整。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取在红外结构光照射下,面部各位置的点云信息;
对所述面部各位置的点云信息进行拼接处理,获取面部点云信息。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据所述面部点云信息,获取与所述面部点云信息对应的平面图像信息;
根据所述平面图像信息,选取面部待处理部位。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据所述平面图像的灰度值信息,选取面部待处理部位。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据所述面部待处理部位,进行待处理区域划分,确定划分的各区域的取样点;
确定所述各取样点的坐标信息与法向量信息;
根据所述各取样点的坐标信息与法向量信息,规划机械手臂工作路径。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取面部点云信息;
根据所述面部点云信息,确定面部待处理部位;
根据所述面部待处理部位,规划机械手臂工作路径;
获取所述机械手臂上工具头的参数信息;
根据所述机械手臂工作路径与所述参数信息,进行作业处理。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取所述工具头的温度参数信息;
根据预设的温度条件以及所述工具头的温度参数信息,对所述工具头的温度进行调节。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取所述工具头的压力参数信息;
根据所述压力参数信息,对所述机械手臂的位姿进行调整。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取在红外结构光照射下,面部各位置的点云信息;
对所述面部各位置的点云信息进行拼接处理,获取面部点云信息。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据所述面部点云信息,获取与所述面部点云信息对应的平面图像信息;
根据所述平面图像信息,选取面部待处理部位。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据所述平面图像的灰度值信息,选取面部待处理部位。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据所述面部待处理部位,进行待处理区域划分,确定划分的各区域的取样点;
确定所述各取样点的坐标信息与法向量信息;
根据所述各取样点的坐标信息与法向量信息,规划机械手臂工作路径。:
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。