CN109794961A - 机器人以及机器人*** - Google Patents

机器人以及机器人*** Download PDF

Info

Publication number
CN109794961A
CN109794961A CN201811357888.9A CN201811357888A CN109794961A CN 109794961 A CN109794961 A CN 109794961A CN 201811357888 A CN201811357888 A CN 201811357888A CN 109794961 A CN109794961 A CN 109794961A
Authority
CN
China
Prior art keywords
stereocamera
robot
cameras
depth
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811357888.9A
Other languages
English (en)
Inventor
田中俊雄
佐田俊甫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN109794961A publication Critical patent/CN109794961A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39076Learn by function division, change only one variable at a time, combine shapes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39371Host and robot controller
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40425Sensing, vision based motion planning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40604Two camera, global vision camera, end effector neighbourhood vision camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/001Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种机器人以及机器人***,具有:肩部;手臂,与肩部连接;拍摄部,经由支承部与肩部连接;图像接收部,接收由拍摄部拍摄的拍摄图像;以及机器人控制部,根据拍摄图像控制手臂,拍摄部为景深不同的两组以上的立体照相机。

Description

机器人以及机器人***
技术领域
本发明涉及机器人以及机器人***。
背景技术
目前,在具有立体照相机和多个手臂的机器人中,当利用设在手臂前端的末端执行器握持对象物,将对象物移动至立体照相机能够拍摄的位置时,为了高精度地拍摄对象物,需要将对象物移动至立体照相机的景深收容的位置。这时,想要进一步放大并高精度地拍摄对象物时,需要一种在立体照相机上物理性地移动与各个照相机分别安装的镜头并进行变焦等的机构。
对此,公知一种机器人(例如,参照专利文献1),在机器人手臂的前端部安装有立体照相机,立体照相机在一个拍摄元件上将经由镜头机构的影像进行区域划分并拍摄,或者在并列配置的两个拍摄元件上拍摄经由各个镜头机构的影像。
专利文献1:日本特开2009-241247号公报
然而,在专利文献1中,为了拍摄处于不同景深的对象物,必须移动手臂,驱动镜头机构对焦,因此有可能导致到拍摄为止耗费时间,作业循环时间变长。另外,使用驱动镜头机构进行对焦的机构时,可能导致结构变复杂,故障概率变高,同时成本增加。
发明内容
为了解决上述课题的至少一部分,本发明能够通过如下方式或者应用例得以实现。
[应用例1]本应用例的机器人,其特征在于,具有:肩部;手臂,与所述肩部连接;拍摄部,经由支承部与所述肩部连接;图像接收部,接收由所述拍摄部拍摄的拍摄图像;以及机器人控制部,根据所述拍摄图像控制所述手臂;所述拍摄部为景深不同的两组以上的立体照相机。
根据本应用例,具备景深不同的两组以上的立体照相机。由此,当拍摄处于不同景深的对象物时,无需驱动镜头机构进行对焦。其结果是,不需要驱动镜头机构进行对焦的结构,因此能够简化结构。
[应用例2]在上述应用例所记载的机器人中,优选的是,所述拍摄部具有第一立体照相机和第二立体照相机,所述第一立体照相机的景深比所述第二立体照相机的景深远,所述第二立体照相机的景深比所述第一立体照相机的景深近。
根据本应用例,不需要可动机构改变景深,能够较早地完成对象物的测量。
[应用例3]在上述应用例所记载的机器人中,优选的是,构成所述第一立体照相机的两个照相机之间的距离比构成所述第二立体照相机的两个照相机之间的距离长。
根据本应用例,即使是处于远(深)景深的对象物,由于构成第一立体照相机的两个照相机之间的距离比构成第二立体照相机的两个照相机之间的距离长,因此也能够确保测量精度。
[应用例4]在上述应用例所记载的机器人中,优选的是,从所述第一立体照相机的光轴重叠的点俯视时,所述第二立体照相机经过构成所述第一立体照相机的两个照相机的设置位置,并配置于以构成所述第一立体照相机的两个照相机之间的距离为直径的圆的内侧。
根据本应用例,能够减少配置第一立体照相机和第二立体照相机的空间。
[应用例5]在上述应用例所记载的机器人中,优选的是,所述第一立体照相机和所述第二立体照相机通过一片板材连接,所述第一立体照相机和所述第二立体照相机的相对位置被固定。
根据本应用例,能够扩大拍摄范围。
[应用例6]在上述应用例所记载的机器人中,优选的是,所述板材能够围绕轴转动,所述轴与连结两个照相机的设置位置的直线大致平行,所述两个照相机构成所述第一立体照相机。
根据本应用例,能够扩大拍摄范围。
[应用例7]在上述应用例所记载的机器人中,优选的是,所述两组以上的立体照相机中构成所述立体照相机的两个照相机与两个所述图像接收部连接。
根据本应用例,由于每个照相机都能够具备图像存储器,因此能够确保测量精度。
[应用例8]在上述应用例所记载的机器人中,优选的是,所述两组以上的立体照相机的至少一组中构成所述立体照相机的两个照相机与一个所述图像接收部连接。
根据本应用例,可以不必确保每个照相机都具备图像存储器,保证了立体照相机的图像不发生时间上的偏差。
[应用例9]在上述应用例所记载的机器人中,优选的是,所述图像接收部将构成所述立体照相机的两个照相机拍摄的拍摄图像合成为左右排列的一个图像并接收。
根据本应用例,更好地保证了立体照相机的图像不发生时间上的偏差。
[应用例10]本应用例的机器人***,其特征在于,具有:机器人,具有手臂;拍摄部;图像接收部,接收由所述拍摄部拍摄的拍摄图像;以及机器人控制部,根据所述拍摄图像控制所述机器人的手臂;所述拍摄部为景深不同的两组以上的立体照相机。
根据本应用例,具备景深不同的两组以上的立体照相机。由此,当拍摄处于不同景深的对象物时,无需驱动镜头机构进行对焦。其结果是,不需要驱动镜头机构进行对焦的结构,因此能够简化结构。
[应用例11]在上述应用例所记载的机器人***中,优选的是,所述拍摄部具有第一立体照相机和第二立体照相机,所述第一立体照相机的景深比所述第二立体照相机的景深远,所述第二立体照相机的景深比所述第一立体照相机的景深近。
根据本应用例,不需要可动机构改变景深,能够较早地完成对象物的测量。
[应用例12]在上述应用例所记载的机器人***中,优选的是,构成所述第一立体照相机的两个照相机之间的距离比构成所述第二立体照相机的两个照相机之间的距离长。
根据本应用例,即使是处于远景深的对象物,由于构成第一立体照相机的两个照相机之间的距离比构成第二立体照相机的两个照相机之间的距离长,因此能够确保测量精度。
[应用例13]在上述应用例所记载的机器人***中,优选的是,从所述第一立体照相机的光轴重叠的点俯视时,所述第二立体照相机经过构成所述第一立体照相机的两个照相机的设置位置,并配置于以构成所述第一立体照相机的两个照相机之间的距离为直径的圆的内侧。
根据本应用例,能够减少配置第一立体照相机和第二立体照相机的空间。
[应用例14]在上述应用例所记载的机器人***中,优选的是,所述第一立体照相机和所述第二立体照相机通过一片板材连接,所述第一立体照相机和所述第二立体照相机的相对位置被固定。
根据本应用例,能够扩大拍摄范围。
[应用例15]在上述应用例所记载的机器人***中,优选的是,所述板材能够围绕轴转动,所述轴与连结两个照相机的设置位置的直线大致平行,所述两个照相机构成所述第一立体照相机。
根据本应用例,能够扩大拍摄范围。
[应用例16]在上述应用例所记载的机器人***中,优选的是,所述两组以上的立体照相机中构成所述立体照相机的两个照相机与两个所述图像接收部连接。
根据本应用例,由于每个照相机都能够具备图像存储器,因此能够确保测量精度。
[应用例17]在上述应用例所记载的机器人***中,优选的是,所述两组以上的立体照相机的至少一组中构成所述立体照相机的两个照相机与一个所述图像接收部连接。
根据本应用例,可以不必确保每个照相机都具备图像存储器,保证了立体照相机的图像不发生时间上的偏差。
[应用例18]在上述应用例所记载的机器人***中,优选的是,所述图像接收部将构成所述立体照相机的两个照相机分别拍摄的拍摄图像合成为左右排列的一个图像并接收。
根据本应用例,更好地保证了立体照相机的图像不发生时间上的偏差。
附图说明
图1是本实施方式的机器人***的正面立体图。
图2是示出本实施方式的头部的仰视图。
图3是示出本实施方式的头部的主视图。
图4是示出本实施方式的头部的倾斜动作0[deg]状态的侧视图。
图5是示出本实施方式的头部的倾斜动作35[deg]状态的侧视图。
图6是示出本实施方式的头部的无外壳主视图。
图7是示出本实施方式的头部的倾斜动作0[deg]状态的无外壳侧视图。
图8是示出本实施方式的控制装置的功能结构的一个例子的图。
图9是示出实现本实施方式的控制装置功能的硬件结构的一个例子的图。
图10是示出本实施方式的电动螺丝刀的螺钉拧紧方法的流程图。
图11是示出实施例1的立体图像的图。
图12是示出实施例2的立体图像的图。
附图标记说明
2…机器人*** 4…机器人 8…头部 10…主体部 10a…肩区域(肩部) 10b…主体部主体 12…手臂 12a…手 12b…手眼照相机 14…显示装置 16…腿部 18…搬运用手柄 20a…第一立体照相机(拍摄部) 20b…第二立体照相机(拍摄部) 22…信号灯 28…操作部 30…控制装置 32…支承部 34…机器人控制部 36…存储部 38…输入部 40…显示部 42…图像处理部(图像接收部) 44…固定部件 46…作业台 60…计算机 62…运算装置64…主存储装置 66…辅助存储装置 68…通信I/F 70…读写装置。
具体实施方式
以下,依据附图对将本发明具体化的实施方式进行说明。其中,为了能够识别将要说明的部分,适当地扩大或者缩小附图进行显示。
图1是本实施方式的机器人***2的正面立体图。如图1所示,本实施方式的机器人***2具备控制装置30、具有由控制装置30控制的手臂12的机器人4、作为拍摄部的第一立体照相机20a以及第二立体照相机20b。
控制装置30具备图像处理部42(参照图8)和机器人控制部34(参照图8),图像处理部42作为图像接收部接收由第一立体照相机20a和第二立体照相机20b拍摄的拍摄图像,机器人控制部34根据拍摄图像控制机器人4的手臂12。
第一立体照相机20a和第二立体照相机20b为景深不同的两组立体照相机。
本实施方式的机器人4具备主体部10、与主体部10连接的手臂12。其中,机器人4还可以具备:经由支承部32与主体部10连接的作为拍摄部的第一立体照相机20a以及第二立体照相机20b;接收由第一立体照相机20a和第二立体照相机20b拍摄的拍摄图像的作为图像接收部的图像处理部42(参照图8);根据拍摄图像控制手臂12的机器人控制部34(参照图8)。第一立体照相机20a和第二立体照相机20b为景深不同的两组立体照相机。
机器人4具备头部8、显示装置14、腿部16、搬运用手柄18、信号灯22。
机器人4为人形双臂机器人,依据内置于腿部16的控制装置30发出的控制信号进行处理。例如能够在制造手表类精密仪器等的制造工序中使用机器人4。通常在设置于主体部10前方的作业台46(参照图4)上进行这样的制造作业。
其中,以下,为了便于说明,存在将图1中的上侧称为“上”或者“上方”,将下侧称为“下”或者“下方”的情况。另外,存在将图1的近前侧称为“正面侧”或者“正面”的情况。此外,存在将图1中的右侧称为“右”,左侧称为“左”的情况。
在主体部10的两侧面的上端附近分别设有手臂12。在手臂12的前端设有握持对象物或道具的手12a。手臂12的端点的位置为手12a的位置。另外,手臂12上设有拍摄放置于作业台46上的对象物等的手眼照相机12b。手眼照相机12b分别根据手臂12的各个动作进行移动。
手臂12能够称为是一种机械手。机械手是使端点的位置移动的机构,不限于手臂,能够采用各种形式。例如,如果是由一个以上的接头和连杆构成,移动接头从而整体发生移动的机械手,那么可以是任意形式。另外,机器人4上设置的机械手的数量也不限于2只,可以是1只或者3只以上。
手12a能够称为是一种末端执行器。末端执行器是用于握持、按压、举起、吊起、吸附对象物、或者加工对象物的部件。末端执行器能够采取手、挂钩、吸盘等各种形式。另外,对1只手臂可以设置多个末端执行器。
主体部10设在腿部16的边框上。腿部16为机器人4的基座,主体部10为机器人4的主体。
腿部16的内部设有控制机器人4自身的控制装置30。腿部16的内部设有未图示的旋转轴,在该旋转轴上设有主体部10的肩区域(肩部)10a。
腿部16的背面设有未图示的电源开关、内置于腿部16的控制装置30、连接外部PC等的未图示的外部连接端子。电源开关具备接通机器人4电源的电源ON开关和切断机器人4电源的电源OFF开关。
另外,在腿部16的最下部设置有水平方向上间隔的未图示的多个脚轮。由此,使用者通过按下搬运用手柄18等能够移动搬运机器人4。
在从主体部10向上突出且与头部8抵接的部分上,设有具备CCD(Charge CoupledDevice:电荷耦合元件)或者CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)等电子照相机的第一立体照相机20a以及第二立体照相机20b、信号灯22。
第一立体照相机20a和第二立体照相机20b设在机器人4的未图示的腰轴上的头部8。第一立体照相机20a和第二立体照相机20b构成3D照相机(三维照相机)。第一立体照相机20a和第二立体照相机20b拍摄作业台46以及作业台46上的作业区域。作业区域是指机器人4在作业台46上作业的区域。第一立体照相机20a和第二立体照相机20b根据头部8的动作而移动。这些第一立体照相机20a和第二立体照相机20b与手臂12分别设置。
信号灯22具有例如发出红色光、黄色光以及绿色光的LED,根据机器人4的当前状态适当地选择这些LED发光。
主体部10的背面侧配置有从机器人4的背面侧能够看到的显示装置14。显示装置14例如为液晶监视器,能够显示机器人4的当前的状态等。另外,显示装置14例如具有触控板功能,也作为输入部用于进行对机器人4的动作设定。
在主体部10的背面设有操作部28(参照图8)。通过使用者的操作,操作部28使位于主体部10最上部的肩区域10a、从肩区域10a向上突出的头部8上设置的第一立体照相机20a和第二立体照相机20b相对于主体部主体10b在上下方向上移动。
图2是示出本实施方式的头部8的仰视图。图3是示出本实施方式的头部8的主视图。
第一立体照相机20a和第二立体照相机20b的景深或者视角不同。由此,第一立体照相机20a和第二立体照相机20b的景深或者视角不同,识别对象物、作业台46以及作业台46上的作业区域的范围不同。
第一立体照相机20a为景深远(深)的照相机。第二立体照相机20b为景深近(浅)的照相机。第一立体照相机20a的景深比第二立体照相机20b的景深远。第二立体照相机20b的景深比第一立体照相机20a的景深近。由此,不需要可动机构改变景深,能够较早地完成对象物的测量。另外,无论景深近的位置还是远的位置都能够进行拍摄。此外,能够同时拍摄近的位置和远的位置。
第一立体照相机20a为全局照相机。第一立体照相机20a能够整体地拍摄手臂12的可移动区域。第一立体照相机20a的景深(透镜面基准)为400mm~900mm。第一立体照相机20a的视角为能够整体地拍摄手臂12的可移动区域的角度。
第二立体照相机20b为微距照相机。第二立体照相机20b能够拍摄第二立体照相机20b附近的区域。第二立体照相机20b能够以补足第一立体照相机20a不能拍摄的区域的方式进行拍摄。第二立体照相机20b的景深为80mm~150mm。第二立体照相机20b的视角为能够拍摄第二立体照相机20b附近区域的角度。
第一立体照相机20a和第二立体照相机20b的收敛角(convergence angles)均为20deg。
图4是示出本实施方式的头部8的倾斜动作0[deg]状态的侧视图。图5是示出本实施方式的头部8的倾斜动作35[deg]状态的侧视图。
本实施方式的头部8能够进行倾斜动作,能够改变第一立体照相机20a和第二立体照相机20b的视野方向。如图4以及图5所示,在35[deg]的可移动范围内,倾斜动作能够在其可移动范围的0[deg]位置和35[deg]位置两个位置处保持姿态。
在此,在本实施方式中,在图4所示的状态下,将机器人4的上方部(头部8等)朝向正面,将头部8的倾斜动作的转动角度设为0[deg]。
另外,在本实施方式中,在图5所示的状态下,将机器人4的上方部(头部8等)朝向相对于正面在规定的转动方向上转动35[deg]时的方向,将头部8的倾斜动作的转动角度设为35[deg]。
即,当机器人4的上方部(头部8等)的倾斜动作的转动角度为0[deg]时成为图4示例的配置,接着当该转动角度转动35[deg]时成为图5示例的配置。
这样,在本实施方式中,将头部8的倾斜动作的转动角度设为0[deg]或者35[deg],从而能够改变第一立体照相机20a和第二立体照相机20b的视野方向。其中,本实施方式的倾斜动作的结构为一个示例,也可以是由其他的结构实现的其他倾斜动作的可移动范围、停止位置以及其数量。
图6是示出本实施方式的头部8的无外壳主视图。图7是示出本实施方式的头部8的倾斜动作0[deg]状态的无外壳侧视图。第一立体照相机20a和第二立体照相机20b通过作为一片板材的固定部件44连接。第一立体照相机20a和第二立体照相机20b的相对位置被固定。由此,能够扩大拍摄范围。
固定部件44能够围绕大致平行于连结两个照相机设置位置的直线的轴转动,所述两个照相机构成第一立体照相机20a。由此,能够扩大拍摄范围。例如,如图4所示,当作业台46上的对象物接近第一立体照相机20a和第二立体照相机20b时,使用景深近的第二立体照相机20b进行作业。另外,如图5所示,当测量处于同一个作业台46的远处位置的对象物时,改变倾斜角切换至景深远的第一立体照相机20a进行作业。其中,在本实施方式中头部8的倾斜动作虽然为一个轴,但也可以设为多轴进一步扩大视野。
在此,“大致平行”定义为在完全平行的结构的基础上,包括在10度以内的范围内相交的结构。
构成第一立体照相机20a的两个照相机之间的距离比构成第二立体照相机20b的两个照相机之间的距离长。由此,即使是处于远景深的对象物,由于构成第一立体照相机20a的两个照相机之间的距离比构成第二立体照相机20b的两个照相机之间的距离长,因此能够确保测量精度。
从第一立体照相机20a的光轴重叠的点俯视时,第二立体照相机20b经过构成第一立体照相机20a的两个照相机的设置位置,并配置于以构成第一立体照相机20a的两个照相机之间的距离为直径的圆的内侧。由此,能够减少配置第一立体照相机20a和第二立体照相机20b的空间。
在第一立体照相机20a和第二立体照相机20b内,景深近的第二立体照相机20b配置在固定部件44的内侧。景深远的第一立体照相机20a配置在固定部件44的两端侧。
在第一立体照相机20a和第二立体照相机20b内,构成第一立体照相机20a的两个照相机以夹持第二立体照相机20b的方式设置。第二立体照相机20b由构成第一立体照相机20a的两个照相机夹持的方式设置。其中,构成第二立体照相机20b的两个照相机可以以夹持第一立体照相机20a的方式设置。第一立体照相机20a也可以由构成第二立体照相机20b的两个照相机夹持的方式设置。
第一立体照相机20a和第二立体照相机20b以连结构成第一立体照相机20a的两个照相机的线段和连结构成第二立体照相机20b的两个照相机的线段位于同一直线上的方式设置。其中,连结构成第一立体照相机20a的两个照相机的线段和连结构成第二立体照相机20b的两个照相机的线段可以平行或者倾斜。第一立体照相机20a和第二立体照相机20b在拍摄中只要不相互干扰可以互相分别设置。
另外,在本实施方式中,虽然使用了两组第一立体照相机20a和第二立体照相机20b,还可以设置3组以上的立体照相机。
图8是示出本实施方式的控制装置30的功能结构的一个例子的图。如图8所示,控制装置30具备:控制手臂12以及手12a的机器人控制部34;处理两组第一立体照相机20a和第二立体照相机20b的拍摄图像的作为图像接收部的图像处理部42。控制装置30具备存储部36、输入部38、显示部40。控制装置30是控制具备手臂12和设于手臂12的手12a的机器人4的控制装置。其中,在图8中,除了控制装置30和操作部28外,还示出了图1所示的主体部10和显示装置14。
机器人控制部34例如通过视觉伺服、位置控制以及力量控制中的至少1种控制,进行零件的组装作业等。例如,机器人控制部34根据来自图像处理部42的各种信息,控制手臂12以及手12a的动作,进行零件的组装作业等。
图像处理部42接收由第一立体照相机20a和第二立体照相机20b拍摄的拍摄图像。图像处理部42具备例如从拍摄图像中提取各种信息等进行图像处理的功能。具体地,图像处理部42例如基于来自第一立体照相机20a以及第二立体照相机20b等的拍摄图像(图像数据)进行各种运算和各种判断等处理。例如,图像处理部42从第一立体照相机20a和第二立体照相机20b获得的图像数据中识别端点,抽取包括识别的端点的图像。可以提前获得包括存在于目标位置的端点的目标图像,并存储在存储部36等。图像处理部42从此刻抽取的当前图像中识别端点的当前位置,从目标图像中识别端点的目标位置,将识别的当前位置以及目标位置输出至机器人控制部34。另外,图像处理部42计算识别的当前位置到目标位置的距离,将计算的距离输出至机器人控制部34。
多个图像处理部42设于控制装置30。两个图像处理部42上连接有构成第一立体照相机20a的两个照相机。两个图像处理部42上连接有构成第二立体照相机20b的两个照相机。
第一立体照相机20a中构成第一立体照相机20a的两个照相机与两个图像处理部42连接。第二立体照相机20b中构成第二立体照相机20b的两个照相机与两个图像处理部42连接。由此,由于每个照相机能够具备图像存储器,因此能够确保测量精度。
第一立体照相机20a和第二立体照相机20b的至少一组中构成立体照相机的两个照相机可以与一个图像处理部42连接。由此,可以不必确保每个照相机具备图像存储器,保证了立体照相机的图像不发生时间上的偏差。其中,由于图像处理部42进行的图像识别处理能够使用公知的处理,因此省略详细说明。
机器人控制部34根据拍摄图像控制机器人4的手臂12。机器人控制部34根据图像处理部42识别的当前位置以及目标位置,设定端点的轨道即端点的移动量以及移动方向。另外,机器人控制部34根据设定的端点的移动量以及移动方向,确定设于各个接头的各个连杆的目标角度。此外,机器人控制部34生成使手臂12仅在目标角度上发生移动的指令值。其中,机器人控制部34进行的轨道的生成处理、目标角度的确定处理、指令值的生成处理等能够使用各种常用技术,因此省略详细的说明。
存储部36中存储有关于第一立体照相机20a和第二立体照相机20b的视野范围的信息。
输入部38从显示装置14具备的触控板接收使用者输入的信息。
显示部40通过机器人控制部34将使用者指示的信息显示在显示装置14上。
接着,对实现控制装置30功能的硬件结构例进行说明。
图9是示出实现控制装置30功能的硬件结构的一个例子的图。
控制装置30能够由例如图9所示的计算机60实现,计算机60具备:CPU(CentralProcessing Unit:中央处理器)等运算装置62、RAM(Random Access Memory:随机存取存储器)等主存储装置64、HDD(Hard Disk Drive:硬盘)等辅助存储装置66、用于通过有线或者无线与通信网络连接的通信接口(I/F)68、对DVD(Digital Versatile Disk:数字化视频光盘)等能够携带的存储介质进行信息读写的读写装置70。
例如,运算装置62执行从辅助存储装置66等载入主存储装置64的规定程序从而实现机器人控制部34、图像处理部42、输入部38以及显示部40的功能。例如,运算装置62利用主存储装置64或者辅助存储装置66从而实现存储部36。通过通信I/F68实现控制装置30和显示装置14的通信以及控制装置30和显示装置14上设置的触控板的通信。
其中,上述规定程序例如可以从由读写装置70读取的存储介质安装,也可以经由通信I/F68从网络安装。
另外,机器人控制部34、图像处理部42、输入部38以及显示部40的部分或者所有功能例如可以通过具备ASIC(Application Specific Integrated Circuit:专用集成电路)的控制器基板等实现,所述ASIC具备运算装置、存储装置、驱动电路等。
为了便于理解控制装置30的结构,上述控制装置30的功能结构是依据主要的处理内容进行分类的。根据构成要素的分类方法和名称,本申请发明不限于此。根据处理内容,能够将控制装置30的结构分成更多的构成要素。另外,还能够以一个构成要素执行更多的处理的方式进行分类。另外,可以由一个硬件,也可以由多个硬件执行各个构成要素的处理。
图10是示出本实施方式的电动螺丝刀的螺钉拧紧方法的流程图。首先,在步骤S10中,控制装置30用手12a握持电动螺丝刀。
接着,在步骤S20中,控制装置30将未图示的螺钉自动供给机供给的螺钉放置在电动螺丝刀前端。
接着,在步骤S30中,控制装置30使用机器人控制部34、图像处理部42以及第一立体照相机20a判断螺钉是否放置在电动螺丝刀上。如果判断螺钉放置在电动螺丝刀上,则进入步骤S40。否则,进入步骤S50。
接着,在步骤S40中,控制装置30使用放置于电动螺丝刀上的螺钉进行螺钉拧紧。然后结束。
接着,在步骤S50中,控制装置30使用机器人控制部34、图像处理部42以及第二立体照相机20b判断螺钉是否放置在电动螺丝刀上。如果判断螺钉放置在电动螺丝刀上,则进入步骤S40。否则,进入步骤S20。
本实施方式的机器人***2将第一立体照相机20a和第二立体照相机20b拍摄的至少一个立体图像合成为一个图像进行管理。其中,由于第二立体照相机20b相关的说明和第一立体照相机20a的说明相同,因此不再赘述。
机器人***2以第一立体照相机20a拍摄的立体图像为基础计算对象物的位置姿势,目的是使机器人4握持对象物移动至任意位置。握持对象物时,保持握持的状态将对象物移动至手眼照相机12b前,进行对象物的检查,根据检查结果更改移动目的地。
控制装置30从第一立体照相机20a拍摄的图像中进行位置姿态的计算和零件检查,然后结合利用者预设的动作命令控制机器人4。第一立体照相机20a拍摄的图像数据输送至控制装置30,合成为一片立体图像。示范用设备是能够进行显示器输入输出的机器。在创建利用者对机器人4的动作命令时使用。示范用设备实时地显示从控制装置30接收的立体图像,利用者结合图像内容创建机器人4的动作命令并保存至控制装置30。
(实施例1)
图11是示出本实施例的立体图像的图。
图11示出了控制装置30合成的立体图像的实施例。是将立体图像横向排列合成,在构成第一立体照相机20a的两个照相机中,图1的左照相机的图像配置在左照相机图像部分,右照相机的图像配置在右照相机图像部分。
近年来,由于照相机的高画质化,导致一片图像的尺寸变大,数据的加工和发送接收时间增加。因此,使用未图示的示范用设备显示的立体图像,虽然会产生左右拍摄时间的偏差,但由此将立体图像作为一个图像进行管理成为了该问题的解决方法。
(实施例2)
图12是示出本实施例的立体图像的图。
图像处理部42将构成第一立体照相机20a的两个照相机拍摄的拍摄图像合成为左右排列的一个图像并接收。由此,更好地保证了第一立体照相机20a的图像不发生时间上的偏差。
在图11所示结构的立体图像的基础上,为了在***上高效率地进行图像管理,也可以使用图12所示的结构合成立体图像。合成后的图像由左照相机图像部分、右照相机图像部分以及涂黑部分3个区域构成,图像尺寸是由机器人***2中包含的任意一个照相机能够拍摄的最大尺寸生成。合成后的立体图像中包含的左照相机图像部分和右照相机图像部分与原始的第一立体照相机20a拍摄的图像尺寸相比缩小。使用该方法时,机器人***2仅处理图像尺寸即可,所述图像尺寸是指机器人***2中包含的任意一个照相机能够拍摄的图像尺寸。
由此,由于将立体图像缩小合成为一片图像,因此能够节约控制装置30和示范用设备使用的图像存储器。另外,由于通信量减少因此能够简化接收和发送立体图像所必需的布线,削减成本。
根据本实施方式,具备景深不同的两组第一立体照相机20a和第二立体照相机20b。由此,当拍摄处于不同景深的对象物时,无需驱动镜头机构进行对焦。其结果是,由于不需要驱动镜头机构进行对焦的结构,因此能够简化结构。另外,能够缩短到拍摄为止的时间以及作业周期。
在上述实施方式中,作为机器人照相机,虽然使用了设于机器人4的头部8的第一立体照相机20a和第二立体照相机20b,也可以在除此之外的部位上设置照相机。例如,可以将非手臂12部位上设置的照相机作为立体照相机使用。
目前,使用与立体照相机分开安装的变焦机构放大对象物的方法存在以下问题:1.如果各个变焦机构不同步,则一个图像的焦点发生偏离,拍摄的立体图像无法准确地获得视差,导致测量精度变差。2.超声波电机等可动机构导致成本增加。3.由于故障的原因,导致可靠性降低。4.由于变焦机构作业耗费时间,因此不适合实时处理。5.如果各个照相机拍摄的图像不是在同一个视角,并且不在同一时刻进行拍摄,则导致测量精度变差。在本实施方式中,解决上述问题中的至少一个。
以上,利用实施方式对本发明进行了说明,但本发明的技术范围不限于上述实施方式所述的范围。对本领域的技术人员来说应该明确的是,能够对上述实施方式进行各种变更或者改进。另外,根据权利要求书的描述可明确的是,进行了那样的变更或者改进的实施方式也能够包含在本发明的技术范围内。本发明可以提供单独具备机器人和控制装置等的机器人***,可以提供机器人里包含控制装置等的机器人,可以提供控制装置。另外,本发明还能够提供控制机器人等的方法、控制机器人等的程序、存储该程序的存储介质。
另外,本发明能够提供机器人以及机器人***等各种形式。

Claims (18)

1.一种机器人,其特征在于,具有:
肩部;
手臂,与所述肩部连接;
拍摄部,经由支承部与所述肩部连接;
图像接收部,接收由所述拍摄部拍摄的拍摄图像;以及
机器人控制部,根据所述拍摄图像控制所述手臂,
所述拍摄部由景深不同的两组以上的立体照相机构成。
2.根据权利要求1所述的机器人,其特征在于,
所述拍摄部具有第一立体照相机和第二立体照相机,
所述第一立体照相机的景深比所述第二立体照相机的景深远,
所述第二立体照相机的景深比所述第一立体照相机的景深近。
3.根据权利要求2所述的机器人,其特征在于,
所述拍摄部构成为构成所述第一立体照相机的两个照相机之间的距离比构成所述第二立体照相机的两个照相机之间的距离长。
4.根据权利要求3所述的机器人,其特征在于,
从所述第一立体照相机的光轴重叠的点俯视时,所述第二立体照相机经过构成所述第一立体照相机的两个照相机的设置位置,并配置于以构成所述第一立体照相机的两个照相机之间的距离为直径的圆的内侧。
5.根据权利要求2至4中任一项所述的机器人,其特征在于,
所述第一立体照相机和所述第二立体照相机通过一片板材连接,所述第一立体照相机和所述第二立体照相机的相对位置被固定。
6.根据权利要求5所述的机器人,其特征在于,
所述板材以能够围绕轴转动的方式构成,所述轴与连结两个照相机的设置位置的直线平行,所述两个照相机构成所述第一立体照相机。
7.根据权利要求1所述的机器人,其特征在于,
所述两组以上的立体照相机中构成所述立体照相机的两个照相机与两个所述图像接收部连接。
8.根据权利要求1所述的机器人,其特征在于,
所述两组以上的立体照相机的至少一组中构成所述立体照相机的两个照相机与一个所述图像接收部连接。
9.根据权利要求8所述的机器人,其特征在于,
所述图像接收部将构成所述立体照相机的两个照相机拍摄的拍摄图像合成为左右排列的一个图像并接收。
10.一种机器人***,其特征在于,具有:
机器人,具有手臂;
拍摄部;
图像接收部,接收由所述拍摄部拍摄的拍摄图像;以及
机器人控制部,根据所述拍摄图像控制所述机器人的手臂,
所述拍摄部由景深不同的两组以上的立体照相机构成。
11.根据权利要求10所述的机器人***,其特征在于,
所述拍摄部具有第一立体照相机和第二立体照相机,
所述第一立体照相机的景深比所述第二立体照相机的景深远,
所述第二立体照相机的景深比所述第一立体照相机的景深近。
12.根据权利要求11所述的机器人***,其特征在于,
所述拍摄部构成为构成所述第一立体照相机的两个照相机之间的距离比构成所述第二立体照相机的两个照相机之间的距离长。
13.根据权利要求12所述的机器人***,其特征在于,
从所述第一立体照相机的光轴重叠的点俯视时,所述第二立体照相机经过构成所述第一立体照相机的两个照相机的设置位置,并配置于以构成所述第一立体照相机的两个照相机之间的距离为直径的圆的内侧。
14.根据权利要求11所述的机器人***,其特征在于,
所述拍摄部构成为所述第一立体照相机和所述第二立体照相机通过一片板材连接,所述第一立体照相机和所述第二立体照相机的相对位置被固定。
15.根据权利要求14所述的机器人***,其特征在于,
所述板材以能够围绕轴转动的方式构成,所述轴与连结两个照相机的设置位置的直线平行,所述两个照相机构成所述第一立体照相机。
16.根据权利要求10所述的机器人***,其特征在于,
所述两组以上的立体照相机中构成所述立体照相机的两个照相机与两个所述图像接收部连接。
17.根据权利要求10所述的机器人***,其特征在于,
所述两组以上的立体照相机的至少一组中构成所述立体照相机的两个照相机与一个所述图像接收部连接。
18.根据权利要求17所述的机器人***,其特征在于,
所述图像接收部将构成所述立体照相机的两个照相机拍摄的拍摄图像合成为左右排列的一个图像并接收。
CN201811357888.9A 2017-11-16 2018-11-15 机器人以及机器人*** Pending CN109794961A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-220657 2017-11-16
JP2017220657A JP2019089180A (ja) 2017-11-16 2017-11-16 ロボット及びロボットシステム

Publications (1)

Publication Number Publication Date
CN109794961A true CN109794961A (zh) 2019-05-24

Family

ID=66432634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811357888.9A Pending CN109794961A (zh) 2017-11-16 2018-11-15 机器人以及机器人***

Country Status (3)

Country Link
US (1) US20190149802A1 (zh)
JP (1) JP2019089180A (zh)
CN (1) CN109794961A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10662488B2 (en) * 2018-02-05 2020-05-26 Foshan Shike Intelligent Technology co. LTD Flexible leather slice blanking apparatus and implementation method
TWI696529B (zh) * 2018-11-30 2020-06-21 財團法人金屬工業研究發展中心 自動定位方法以及自動控制裝置
KR101995344B1 (ko) * 2019-01-22 2019-07-02 김흥수 사각지역이 없는 듀얼 깊이 카메라 모듈
WO2023166589A1 (ja) * 2022-03-02 2023-09-07 ファナック株式会社 ロボット制御装置
JP2023181733A (ja) * 2022-06-13 2023-12-25 東京ロボティクス株式会社 ロボット装置、ロボットシステム、並びにロボットの制御方法及び制御プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0926635A (ja) * 1995-07-11 1997-01-28 Wakomu Eng:Kk 立体カメラ及び立体ビデオカメラ
CN101078871A (zh) * 2007-06-28 2007-11-28 上海力保科技有限公司 数码360°全景立体环摄照相机
US20120061155A1 (en) * 2010-04-09 2012-03-15 Willow Garage, Inc. Humanoid robotics system and methods
US20140049536A1 (en) * 2012-08-20 2014-02-20 Disney Enterprises, Inc. Stereo composition based on multiple camera rigs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0926635A (ja) * 1995-07-11 1997-01-28 Wakomu Eng:Kk 立体カメラ及び立体ビデオカメラ
CN101078871A (zh) * 2007-06-28 2007-11-28 上海力保科技有限公司 数码360°全景立体环摄照相机
US20120061155A1 (en) * 2010-04-09 2012-03-15 Willow Garage, Inc. Humanoid robotics system and methods
US20140049536A1 (en) * 2012-08-20 2014-02-20 Disney Enterprises, Inc. Stereo composition based on multiple camera rigs

Also Published As

Publication number Publication date
US20190149802A1 (en) 2019-05-16
JP2019089180A (ja) 2019-06-13

Similar Documents

Publication Publication Date Title
CN109794961A (zh) 机器人以及机器人***
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP4167954B2 (ja) ロボット及びロボット移動方法
CN111801198B (zh) 一种手眼标定方法、***及计算机存储介质
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP4508252B2 (ja) ロボット教示装置
JP6429473B2 (ja) ロボットシステム、ロボットシステムの校正方法、プログラム、およびコンピュータ読み取り可能な記録媒体
US11173609B2 (en) Hand-eye calibration method and system
US10279473B2 (en) Image processing device, image processing method, and computer program
CN105666505A (zh) 具备扩展现实对应显示器的机器人***
JP2009269110A (ja) 組立装置
JP2009241247A (ja) ステレオ画像型検出移動装置
CN108972538B (zh) 机器人控制装置、机器人及机器人***
JP2014188617A (ja) ロボット制御システム、ロボット、ロボット制御方法及びプログラム
CN109976347A (zh) 一种基于快速扩展随机树和势场法的视觉伺服路径规划方法
WO2018209592A1 (zh) 一种机器人的运动控制方法、机器人及控制器
US9533412B2 (en) Robot, robot system, robot control device and robot control method
KR102094004B1 (ko) 탁구 로봇 제어 방법 및 이를 위한 시스템
CN105269582A (zh) 机器人、机器人***以及控制方法
JP6969121B2 (ja) 撮像システム、画像処理装置および画像処理プログラム
JP2009269134A (ja) 視覚検査装置のシミュレーション装置
CN107921643A (zh) 机器人***
JPWO2020012983A1 (ja) 制御装置、制御方法、およびプログラム
Cortes et al. Increasing optical tracking workspace of VR applications using controlled cameras
JP7517803B2 (ja) ロボット教示システム、画像生成方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190524