CN104070524B - 机器人***以及图像显示装置 - Google Patents

机器人***以及图像显示装置 Download PDF

Info

Publication number
CN104070524B
CN104070524B CN201410093619.1A CN201410093619A CN104070524B CN 104070524 B CN104070524 B CN 104070524B CN 201410093619 A CN201410093619 A CN 201410093619A CN 104070524 B CN104070524 B CN 104070524B
Authority
CN
China
Prior art keywords
image
shooting
coverage
mentioned
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410093619.1A
Other languages
English (en)
Other versions
CN104070524A (zh
Inventor
丸山健
丸山健一
恩田健至
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN104070524A publication Critical patent/CN104070524A/zh
Application granted granted Critical
Publication of CN104070524B publication Critical patent/CN104070524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39014—Match virtual world with real world
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40584—Camera, non-contact sensor mounted on wrist, indep from gripper
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明提供机器人***以及图像显示装置，能够减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担。机器人***包含机器人、显示部、使机器人动作的控制部，该机器人***使从第一方向拍摄机器人的操作对象物的第一拍摄图像的拍摄范围和从与第一方向不同的方向拍摄操作对象物的第二拍摄图像的拍摄范围显示于显示部。

Description

机器人***以及图像显示装置
技术领域
本发明涉及机器人***以及图像显示装置。
背景技术
在专利文献1中公开如下技术：至少将机器人、工件以及视觉传感器装置的拍摄部的三维模型配置并同时显示于画面，在进行机器人的动作模拟的模拟装置中，具备将拍摄部的视场以三维形状显示于画面上的机构。
专利文献1：日本特开2005-135278号公报
在实际使用机器人的现场，为了根据拍摄作业对象物而得的图像来实施视觉控制，需要从拍摄的图像取得作业对象物的三维信息来把握作业对象物的位置等。为了取得作业对象物的三维信息，需要从不同的多个方向拍摄作业对象物而得的至少2张图像。
在取得该至少2张图像中的第二张以后的图像时，在不清楚已经取得的图像的拍摄范围等的情况下，作业者若不对实际拍摄的结果进行确认，则不能判断多个图像的拍摄范围是否适当地重叠，即不能判断是否能够取得作业对象物的三维信息。因此，作业者必须重复以下试错：尝试实际取得多张图像，对多个图像的拍摄范围是否适当地重叠进行确认，在多个图像的拍摄范围没有适当地重叠的情况下，重新取得图像，因此会存在作业者的负担变重的问题。
专利文献1中记载的发明是用于解决如下问题：在使用一个照相机拍摄1张图像的情况下，把握视场的三维形状，所以能够获知1张图像的拍摄范围。然而，专利文献1中记载的发明并没有考虑拍摄多个图像的情况，对取得作业对象物的三维信息的问题没有启示。
发明内容
因此，本发明的目的在于提供能够减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担的机器人***以及图像显示装置。
用于解决上述问题的第一实施方式的机器人***的特征在于，该机器人***包含机器人、显示部、以及使上述机器人动作的控制部，上述机器人***使从第一方向拍摄上述机器人的操作对象物的第一拍摄图像的拍摄范围和从与上述第一方向不同的方向拍摄上述操作对象物的第二拍摄图像的拍摄范围显示于上述显示部。
根据第一实施方式，能够减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担。此外，本发明的拍摄是包含虚拟拍摄和实际拍摄的概念。特别是在进行虚拟拍摄的情况下，实际上不使机器人运动，就能够通过较少的试错来获知能够拍摄适当的立体图像的照相机的位置以及姿势。
在此，上述第二拍摄图像也可以是在时间上连续的实时取景图像。由此，能够在实际拍摄静态图像之前获知拍摄范围，减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担。
在此，上述第二拍摄图像也可以在取得上述第一拍摄图像之后取得。由此，在按图像的顺序来拍摄多个图像的情况下，能够减少在取得机器人的作业对象物的三维信息时的试错，从而减轻作业者的负担。
在此，上述控制部也可以使表示上述机器人的图像以及表示上述第一拍摄部的图像显示于上述显示部。由此，能够对机器人、第一拍摄部的位置与拍摄范围的关系进行确认。
在此，上述控制部可以对上述显示部进行如下控制：将上述第二拍摄图像显示于上述显示部，并且将表示上述第一拍摄图像的拍摄范围的信息重叠显示于上述第二拍摄图像来作为表示上述第二拍摄图像的拍摄范围的信息。由此，在拍摄的第二张拍摄图像显示表示拍摄的第一张图像的拍摄范围的信息，因而能够容易地把握第一张拍摄范围与第二张拍摄范围的重合程度和重合范围。
在此，上述控制部可以将表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息以不同的颜色显示于上述显示部。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述控制部可以将表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息以不同的形状显示于上述显示部。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述控制部将上述第一拍摄图像的拍摄范围在上述显示部显示为以线显示的框来作为表示上述第一拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述控制部将上述第一图像的拍摄范围显示为以能够与上述第一图像的拍摄范围以外的范围识别开的颜色全面涂抹而得的图形来作为表示上述第一拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
用于解决上述问题的第二实施方式的图像显示装置的特征在于，该图像显示装置具备：机器人控制部，其使机器人动作；以及显示控制部，其使从第一方向拍摄上述机器人的操作对象物的第一拍摄图像的拍摄范围和从与上述第一方向不同的方向拍摄上述操作对象物的第二拍摄图像的拍摄范围显示于显示部。由此，能够在拍摄立体图像之前获知图像的拍摄范围。因此，能够减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担。
用于解决上述问题的其它实施方式的机器人控制装置***的特征在于，该机器人控制装置***是使用由拍摄部对机器人的操作对象物进行多次拍摄而取得的多个拍摄图像来取得上述操作对象物的三维信息的机器人***，该机器人***将表示上述拍摄部从第一方向拍摄上述操作对象物的拍摄范围的信息和表示上述拍摄部从与上述第一方向不同的方向亦即第二方向拍摄上述操作对象物的拍摄范围的信息显示于显示部。
由此，能够减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担。此外，本发明的拍摄是包含虚拟拍摄和实际拍摄的概念。特别是在进行虚拟拍摄的情况下，实际上不使机器人运动，就能够通过较少的试错来获知能够拍摄适当的立体图像的照相机的位置以及姿势。
用于解决上述问题的其它实施方式的机器人***的特征在于，该机器人***具备：第一拍摄部；机器人；图像取得部，其取得从第一方向对上述机器人的操作对象物进行拍摄的第一拍摄图像和上述第一拍摄部从与上述第一方向不同的方向拍摄上述操作对象物的图像亦即第二拍摄图像；显示部；以及显示控制部，其将表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息显示于上述显示部。
由此，取得从第一方向对上述机器人的操作对象物进行拍摄的第一拍摄图像和上述第一拍摄部从与上述第一方向不同的方向拍摄上述操作对象物的图像亦即第二拍摄图像，并使表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息显示于显示部。此外，本发明的拍摄包含虚拟拍摄和实际拍摄的概念。由此，能够在拍摄立体图像之前获知图像的拍摄范围。因此，能够减少在取得机器人的作业对象物的三维信息时的试错，减轻作业者的负担。特别是在进行虚拟拍摄的情况下，实际上不使机器人运动，就能够通过较少的试错来获知能够拍摄适当的立体图像的照相机的位置以及姿势。
在此，第二拍摄图像可以是在时间上连续的实时取景图像。由此，能够在实际拍摄静态图像之前获知拍摄范围，从而减少在取得机器人的作业对象物的三维信息时的试错，减轻作业者的负担。
在此，第二拍摄图像可以在取得第一拍摄图像之后被取得。由此，在按图像的顺序拍摄多个图像的情况下，能够减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担。
在此，上述显示控制部可以使表示上述机器人的图像以及表示上述第一拍摄部的图像显示于上述显示部。由此，能够对机器人、第一拍摄部的位置与拍摄范围的关系进行确认。
在此，具备俯瞰图像生成部，其将上述机器人、上述第一拍摄部以及上述操作对象物配置于虚拟空间内，生成从该虚拟空间的任意的视点观察配置于上述虚拟空间内的上述机器人、上述第一拍摄部以及上述操作对象物的图像亦即俯瞰图像，上述显示控制部将上述俯瞰图像显示于上述显示部，并且将表示上述第一拍摄图像的拍摄范围的信息以及表示上述第二拍摄图像的拍摄范围的信息重叠显示于上述俯瞰图像。由此，在能够获知虚拟空间内的位置关系的俯瞰图像显示表示第一张图像的拍摄范围的信息和表示第二张图像的拍摄范围的信息，所以能够容易地把握多个图像的拍摄范围如何不同。
在此，上述显示控制部还可以将上述第二拍摄图像显示于上述显示部，并且将表示上述第一拍摄图像的拍摄范围的信息重叠显示于上述第二拍摄图像来作为表示上述第二拍摄图像的拍摄范围的信息。由此，在拍摄的第二张拍摄图像显示有表示拍摄的第一张图像的拍摄范围的信息，所以能够容易地把握第一张拍摄范围和第二张拍摄范围的重叠程度和重叠范围。
在此，上述显示控制部可以以不同的颜色显示表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部可以以不同的形状显示表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部还可以将上述第一拍摄图像的拍摄范围显示为以线显示的框来作为表示上述第一拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部还可以将上述第一图像的拍摄范围显示为以能够与上述第一图像的拍摄范围以外的范围识别开的颜色全面涂抹而得的图形来作为表示上述第一拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部还可以将上述第二拍摄图像的拍摄范围显示为以线显示的框来作为表示上述第二拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部还可以将上述第二图像的拍摄范围显示为以能够与上述第二图像的拍摄范围以外的范围识别开的颜色全面涂抹而得的图形来作为表示上述第二拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部还可以对上述第一拍摄部的光轴进行显示。由此，能够容易地把握拍摄图像的拍摄方向。
在此，上述显示控制部还可以是对表示上述第一拍摄图像的拍摄范围的立体图形进行显示来作为表示上述第一拍摄图像的拍摄范围的信息。由此，能够更加容易地把握拍摄范围。
在此，上述显示控制部还可以是对表示上述第二拍摄图像的拍摄范围的立体图形进行显示。由此，能够更容易地把握拍摄范围来作为表示上述第二拍摄图像的拍摄范围的信息。特别是在以立体图形显示第一拍摄图像的拍摄范围和上述第二拍摄图像的拍摄范围的情况下，能够容易地比较拍摄范围的差异。
在此，还可以具备拍摄信息取得部，其取得与上述第一拍摄图像以及上述第二拍摄图像的拍摄范围相关的信息亦即拍摄信息。由此，能够显示拍摄范围。
在此，上述第一拍摄部可以被设置于上述机器人的头部以及上述机器人的臂中的至少一方。由此，能够利用设置于机器人的照相机拍摄图像。
在此，也可以是上述机器人具有多个臂，上述第一拍摄部设置于上述多个臂之中的一个臂，在上述多个臂之中的上述一个臂以外的臂设置有拍摄上述第一拍摄图像的第二拍摄部。由此，能够使用多个臂来拍摄图像。
在此，上述机器人可以具有改变上述第一拍摄部的拍摄范围的拍摄控制部。由此，能够利用相同的拍摄部拍摄多个图像。
在此，可以具备第二拍摄部，其设置于上述机器人以外，拍摄上述第一拍摄图像。由此，能够使用未被设置于机器人的照相机拍摄图像。
在此，还可以具备拍摄上述第一拍摄图像的第二拍摄部，上述第二拍摄部被设置于上述机器人的头部以及上述机器人的臂中的至少一方。由此，能够利用被设置于机器人的照相机拍摄图像。
在此，还可以具备拍摄上述第一拍摄图像的第二拍摄部，上述机器人具有多个臂，上述第二拍摄部被设置于上述多个臂之中的一个臂，在上述多个臂之中的上述一个臂以外的臂设置有上述第一拍摄部。由此，能够使用多个臂来拍摄图像。
在此，上述机器人可以具有改变上述第二拍摄部的拍摄范围的拍摄控制部。由此，能够利用相同的拍摄部来拍摄多个图像。
在此，上述第一拍摄部可以被设置于上述机器人以外。由此，能够使用未被设置于机器人的照相机来拍摄图像。
用于解决上述问题的其它的实施方式的机器人的特征在于，该机器人使用由拍摄部多次拍摄操作对象物而取得的多个拍摄图像来取得上述操作对象物的三维信息，并将表示上述拍摄部从第一方向拍摄上述操作对象物的拍摄范围的信息和表示上述拍摄部从与上述第一方向不同的方向亦即第二方向拍摄上述操作对象物的拍摄范围的信息显示于显示部。因此，能够减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担。此外，本发明的拍摄是包含虚拟拍摄和实际拍摄的概念。特别是在进行虚拟拍摄的情况下，实际上不使机器人运动，就能够通过较少的试错来获知能够拍摄适当的立体图像的照相机的位置以及姿势。
用于解决上述问题的其它实施方式的机器人的特征在于，该机器人具备：第一拍摄部；图像取得部，其取得从第一方向拍摄操作对象物的第一拍摄图像和上述第一拍摄部从与上述第一方向不同的方向拍摄上述操作对象物的图像亦即第二拍摄图像；显示部；显示控制部，其将表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息显示于上述显示部。由此，能够在拍摄立体图像之前获知图像的拍摄范围。因此，能够减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担。
在此，第二拍摄图像可以是在时间上连续的实时取景图像。由此，能够在实际拍摄静态图像之前获知拍摄范围，从而能够减少在取得机器人的作业对象物的三维信息时的试错，进而能够减轻作业者的负担。
在此，第二拍摄图像可以在取得第一拍摄图像之后被取得。由此，在按图像的顺序拍摄多个图像的情况下，能够减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担。
在此，上述显示控制部可以使表示上述机器人的图像以及表示上述第一拍摄部的图像显示于上述显示部。由此，能够对机器人、第一拍摄部的位置与拍摄范围的关系进行确认。
在此，还可以具备俯瞰图像生成部，其将上述第一拍摄部以及上述操作对象物配置于虚拟空间内，该俯瞰图像生成部生成从该虚拟空间的任意的视点观察配置于上述虚拟空间内的上述拍摄部以及上述操作对象物的图像亦即俯瞰图像，上述显示控制部将上述俯瞰图像显示于上述显示部，并且将表示上述第一拍摄图像的拍摄范围的信息以及表示上述第二拍摄图像的拍摄范围的信息重叠显示于上述俯瞰图像。由此，在能够获知虚拟空间内的位置关系的俯瞰图像显示表示第一张图像的拍摄范围的信息和表示第二张图像的拍摄范围的信息，所以能够容易地把握多个图像的拍摄范围不同的程度。
在此，上述显示控制部还可以将上述第二拍摄图像显示于上述显示部，并且将表示上述第一拍摄图像的拍摄范围的信息重叠显示于上述第二拍摄图像来作为表示上述第二拍摄图像的拍摄范围的信息。由此，在拍摄的第二张拍摄图像显示表示拍摄的第一张图像的拍摄范围的信息，所以能够容易地把握第一张拍摄范围和第二张拍摄范围的重叠程度、重叠范围。
在此，上述显示控制部可以以不同的颜色对表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息进行显示。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部可以以不同的形状对表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息进行显示。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部还可以将上述第一拍摄图像的拍摄范围显示为以线显示的框来作为表示上述第一拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部还可以将上述第一图像的拍摄范围显示为以能够与该第一图像的拍摄范围以外的范围识别开的颜色全面涂抹而得的图形来作为表示上述第一拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部还可以将上述第二拍摄图像的拍摄范围显示为以线显示的框来作为表示上述第二拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部还可以将上述第二图像的拍摄范围显示为以能够与该第二图像的拍摄范围以外的范围识别开的颜色全面涂抹而得的图形来作为表示上述第二拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部可以显示上述第一拍摄部的光轴。由此，能够容易地把握拍摄图像的拍摄方向。
在此，上述显示控制部可以对表示上述第一拍摄图像的拍摄范围的立体图形进行显示来作为表示上述第一拍摄图像的拍摄范围的信息。由此，能够更容易地把握拍摄范围。
在此，上述显示控制部还可以对表示上述第二拍摄图像的拍摄范围的立体图形进行显示来作为表示上述第二拍摄图像的拍摄范围的信息。由此，能够更容易地把握拍摄范围。特别是在以立体图形对第一拍摄图像的拍摄范围和上述第二拍摄图像的拍摄范围进行显示的情况下，能够容易地比较拍摄范围的差异。
在此，可以具备拍摄信息取得部，其取得与上述第一拍摄图像以及上述第二拍摄图像相关的拍摄范围的信息亦即拍摄信息。由此，能够显示拍摄范围。
在此，上述第一拍摄部可以被设置于上述机器人的头部以及上述机器人的臂中的至少一方。由此，能够利用设置于机器人的照相机拍摄图像。
在此，还可以具有多个臂，上述第一拍摄部被设置于上述多个臂之中的一个臂，在上述多个臂之中的上述一个臂以外的臂设置有拍摄上述第一拍摄图像的第二拍摄部。由此，能够使用多个臂来拍摄图像。
在此，可以具有改变上述第一拍摄部的拍摄范围的拍摄控制部。由此，能够利用相同的拍摄部来拍摄多个图像。
在此，也可以具备拍摄上述第一拍摄图像的第二拍摄部，上述第二拍摄部被设置于上述机器人的头部以及上述机器人的臂中的至少一方。由此，能够利用被设置于机器人的照相机来拍摄图像。
在此，也可以具备拍摄上述第一拍摄图像的第二拍摄部和多个臂，上述第二拍摄部被设置于上述多个臂之中的一个臂，在上述多个臂之中的上述一个臂以外的臂设置有上述第一拍摄部。
在此，可以具有改变上述第二拍摄部的拍摄范围的拍摄控制部。由此，能够利用相同的拍摄部来拍摄多个图像。
用于解决上述问题的其它实施方式的图像显示装置的特征在于，该图像显示装置使用由拍摄部多次拍摄机器人的操作对象物而取得的多个拍摄图像来取得上述操作对象物的三维信息，并将表示上述拍摄部从第一方向拍摄上述操作对象物的拍摄范围的信息和表示上述拍摄部从与上述第一方向不同的方向、亦即第二方向拍摄上述操作对象物的拍摄范围的信息显示于显示部。由此，能够在拍摄立体图像之前获知图像的拍摄范围。因此，能够减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担。
用于解决上述问题的其它实施方式的图像显示装置的特征在于，该显示装置具备：图像取得部，其取得从第一方向拍摄机器人的操作对象物的第一拍摄图像和从与上述第一方向不同的方向拍摄的图像、即第二拍摄图像；显示部；以及显示控制部，其将表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息显示于上述显示部。由此，能够在拍摄立体图像之前获知图像的拍摄范围。因此，能够减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担。
在此，第二拍摄图像可以是在时间上连续的实时取景图像。由此，能够在实际拍摄静态图像之前获知拍摄范围，从而减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担。
在此，第二拍摄图像可以在取得第一拍摄图像之后被取得。由此，在按图像的顺序拍摄多个图像的情况下，能够减少在取得机器人的作业对象物的三维信息时的试错，从而减轻作业者的负担。
在此，上述显示控制部可以将表示上述机器人的图像以及表示上述第一拍摄部的图像显示于上述显示部。由此，能够对机器人、第一拍摄部的位置与拍摄范围的关系进行确认。
在此，也可以具备俯瞰图像生成部，其将上述第一拍摄部以及上述操作对象物配置于虚拟空间内，该俯瞰图像生成部生成从该虚拟空间的任意的视点观察配置于上述虚拟空间内的上述拍摄部以及上述操作对象物的图像亦即俯瞰图像，上述显示控制部将上述俯瞰图像显示于上述显示部，并且将表示上述第一拍摄图像的拍摄范围的信息以及表示上述第二拍摄图像的拍摄范围的信息重叠显示于上述俯瞰图像。由此，在能够获知虚拟空间内的位置关系的俯瞰图像显示有表示第一张图像的拍摄范围的信息和表示第二张图像的拍摄范围的信息，所以能够容易地把握多个图像的拍摄范围不同的程度。
在此，上述显示控制部也可以将上述第二拍摄图像显示于上述显示部，并且将表示上述第一拍摄图像的拍摄范围的信息重叠显示于上述第二拍摄图像来作为表示上述第二拍摄图像的拍摄范围的信息。由此，在拍摄的第二张拍摄图像显示表示拍摄的第一张图像的拍摄范围的信息，所以能够容易地把握第一张拍摄范围和第二张拍摄范围的重叠程度、重叠范围。
在此，上述显示控制部可以以不同的颜色对表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息进行显示。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部可以以不同的形状对表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息进行显示。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部可以将上述第一拍摄图像的拍摄范围显示为以线显示的框来作为表示上述第一拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部可以将上述第一图像的拍摄范围显示为以能够与该第一图像的拍摄范围以外的范围识别开的颜色全面涂抹而得的图形来作为表示上述第一拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部可以将上述第二拍摄图像的拍摄范围显示为以线显示的框来作为表示上述第二拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部可以将上述第二图像的拍摄范围显示为以能够与该第二图像的拍摄范围以外的范围区别开的颜色全面涂抹而得的图形来作为表示上述第二拍摄图像的拍摄范围的信息。由此，能够容易地把握多个图像的拍摄范围的差异。
在此，上述显示控制部可以显示上述第一拍摄部的光轴。由此，能够容易地把握拍摄图像的拍摄方向。
在此，上述显示控制部可以对表示上述第一拍摄图像的拍摄范围的立体图形进行显示来作为表示上述第一拍摄图像的拍摄范围的信息。由此，能够更容易地把握拍摄范围。
在此，上述显示控制部可以对表示上述第二拍摄图像的拍摄范围的立体图形进行显示显示来作为表示上述第二拍摄图像的拍摄范围的信息。由此，能够更容易地把握拍摄范围。特别是在以立体图形对第一拍摄图像的拍摄范围和上述第二拍摄图像的拍摄范围进行显示的情况下，能够容易地比较拍摄范围的差异。
在此，可以具备拍摄信息取得部，该拍摄信息取得部取得与上述第一拍摄图像以及上述第二拍摄图像的拍摄范围相关的信息、即拍摄信息。由此，能够显示拍摄范围。
用于解决上述问题的其它实施方式的图像显示方法的特征在于，该图像显示方法具有如下步骤：a.取得从第一方向拍摄机器人的操作对象物的第一拍摄图像；b.取得从与上述第一方向不同的方向拍摄的图像亦即第二拍摄图像；c.根据与上述第一拍摄图像以及上述第二拍摄图像的拍摄范围有关的信息亦即拍摄信息将表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息显示于显示部。因此，能够减少在取得机器人的作业对象物的三维信息时的试错，从而能够减轻作业者的负担。
在此，可以重复进行上述b以及上述c的步骤。由此，能够在拍摄立体图像的第二张静态图像之前获知图像的拍摄范围。
用于解决上述问题的其它实施方式的图像显示程序的特征在于，该图像显示程序使运算装置执行如下步骤：a.取得从第一方向拍摄机器人的操作对象物的第一拍摄图像；b.取得从与上述第一方向不同的方向拍摄的图像亦即第二拍摄图像；c.根据与上述第一拍摄图像以及上述第二拍摄图像的拍摄范围有关的信息亦即拍摄信息将表示上述第一拍摄图像的拍摄范围的信息和表示上述第二拍摄图像的拍摄范围的信息显示于显示部。因此，能够减少在取得机器人的作业对象物的三维信息时的试错，从而减轻作业者的负担。
在此，还可以使运算装置执行重复进行上述b以及上述c的步骤的处理。由此，能够在拍摄立体图像之前获知图像的拍摄范围。
附图说明
图1是表示本发明的第一实施方式的机器人***的结构的一个例子的图。
图2是表示臂的结构的一个例子的图。
图3是表示机器人***的功能构成的一个例子的框图。
图4是表示控制部的硬件构成的一个例子的图。
图5是表示拍摄位置决定处理的流程的一个例子的流程图。
图6是表示机器人***的显示画面的一个例子的图。
图7是表示机器人***的显示画面的一个例子的图。
图8是表示机器人***的显示画面的一个例子的图。
图9是表示机器人的变形例的一个例子的图。
图10是表示机器人***的显示画面的变形例的图。
图11是表示机器人***的显示画面的变形例的图。
图12是表示本发明的第二实施方式的机器人***的决定拍摄位置的处理的流程的一个例子的流程图。
具体实施方式
参照附图对本发明的一个实施方式进行说明。
第一实施方式
图1是表示本发明的一个实施方式的机器人***1的结构的一个例子的***构成图。本实施方式的机器人***1主要具备机器人10、控制部20、第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41。
机器人10是具有2个臂的臂式机器人。在本实施方式中，以具备2个臂亦即右臂11R以及左臂11L（以下，在统一表示右臂11R以及左臂11L的情况下，称为臂11）的双臂机器人为例进行说明，但机器人10的臂11的个数也可以是1个。
图2是对臂11详细地进行说明的图。在图2中，例示出右臂11R，右臂11R与左臂11L的结构相同。以下，以右臂11R为例进行说明，而省略左臂11L的说明。
右臂11R具备多个联轴器（关节）12和多个连杆13。
在右臂11R的前端设置有手部14（所谓的终端执行器或末端作用器），该手部14能够把持机器人10的操作对象物亦即工件A、能够把持工具对对象物进行规定的作业。
在联轴器12以及手部14设置有使它们动作的促动器（未图示）。促动器具备例如伺服马达、编码器等。编码器输出的编码器值被用于控制部20对机器人10的反馈控制。
在手部14的内部或者臂11的前端等设置有力觉传感器（未图示）。力觉传感器对施加于手部14的力进行检测。力觉传感器例如可以使用6轴力觉传感器，其能够同时检测沿3个轴向的力分量和绕3个轴的力矩分量这6个分量。另外，力觉传感器使用的物理量是电流、电压、电荷量、电感、变形、阻抗、电磁感应、磁、气压、光等。力觉传感器能够通过将所希望的物理量变换为电信号来检测6个分量。此外，力觉传感器并不局限于6轴，例如也可以是3轴。另外，设置力觉传感器的位置只要是能够对施加于手部14的力进行检测即可，并没有特别限定。
另外，在右臂11R的前端设置有右手眼相机15R。在本实施方式中，右手眼相机15R按右手眼相机15R的光轴15Ra与臂11的轴11a正交（包含略微错开的情况）的方式设置。但是，右手眼相机15R也可以按光轴15Ra与轴11a平行的方式设置，也可以按光轴15Ra与轴11a构成任意的角度的方式设置。此外，光轴是指通过包含于手眼相机15等拍摄部的透镜的中心、并垂直于透镜面的直线。右手眼相机15R以及左手眼相机15L相当于本发明的拍摄部以及第一拍摄部或第二拍摄部。
此外，对机器人10的结构而言，在对本实施方式的特征进行说明时，对主要结构进行了说明，但并不局限于上述结构。不排除一般的把持机器人所具备的结构。例如，在图1中，示出了6轴的臂，但可以进一步增加轴数（联轴器数），也可以减少轴数（联轴器数）。也可以增减连杆的数。另外，也可以适当地改变臂、手部、连杆以及联轴器等各种部件的形状、大小、配置以及结构等。另外，终端执行器并不局限于手部14。
回到图1的说明。控制部20具备显示器（相当于本发明的显示部）等输出装置26，进行控制机器人10的整体的处理。控制部20可以设置于远离机器人10的主体的位置，也可以内置于机器人10等。在控制部20设置于远离机器人10的主体的位置的情况下，控制部20以有线或无线的方式与机器人10连接。
第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41是分别从不同角度拍摄机器人10的作业区域附近，生成图像数据的单元。第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41例如包含照相机，并被设置于作业台、顶板、壁等。在本实施方式中，第一拍摄部30以及第二拍摄部31被设置于作业台，第一顶板拍摄部40以及第二顶板拍摄部41被设置于顶板。第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41可以采用可见光照相机、红外线照相机等。第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41相当于本发明的拍摄部以及第二拍摄部。
第一拍摄部30和第二拍摄部31是取得供机器人10在进行视觉伺服时使用的图像的拍摄部。第一顶板拍摄部40以及第二顶板拍摄部41是取得用于把握作业台上的物品的配置等的图像的拍摄部。
第一拍摄部30和第二拍摄部31以及第一顶板拍摄部40和第二顶板拍摄部41分别设置成拍摄的图像的视场角的一部分重叠，以便能够获得进深方向的信息。
第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41分别与控制部20连接，由第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41拍摄的图像被输入至控制部20。此外，第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41也可以不与控制部20连接而与机器人10连接。该情况下，由第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41拍摄的图像经由机器人10输入至控制部20。
接下来，对机器人***1的功能构成例进行说明。图3是控制部20的功能框图的一个例子。控制部20主要具有机器人控制部201、图像处理部202以及图像取得部203。
机器人控制部201主要具有驱动控制部2011和拍摄控制部2012。
驱动控制部2011根据促动器的编码器值以及传感器的传感器值等来控制臂11以及手部14。例如，驱动控制部2011驱动促动器来使臂11（手眼相机15）按从控制部20输出的移动方向以及移动量来移动。
拍摄控制部2012控制手眼相机15，以在任意的时刻以任意的次数拍摄图像。手眼相机15拍摄的图像可以是静态图像，也可以是实时取景图像。此外，实时取景图像是按照规定的帧速率在时间内连续地取得静态图像的图像。
图像取得部203取得由手眼相机15、第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41拍摄的图像。图像取得部203取得的图像被输出至图像处理部202。
图像处理部202主要具有照相机参数取得部2021、三维模型信息取得部2022、俯瞰图像生成部2023、实时取景图像生成部2024以及显示控制部2025。
照相机参数取得部2021取得手眼相机15、第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41的内部照相机参数（焦距、像素尺寸）以及外部照相机参数（位置姿势）。由于手眼相机15、第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41保持有与内部照相机参数以及外部照相机参数（以下称为照相机参数）有关的信息，所以照相机参数取得部2021能够从手眼相机15、第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41取得上述信息。照相机参数取得部2021相当于本发明的拍摄信息取得部。另外，照相机参数相当于本发明的拍摄信息。
三维模型信息取得部2022取得机器人10、作业台、第一拍摄部30、第二拍摄部31、第一顶板拍摄部40、第二顶板拍摄部41以及工件A等的三维模型的信息。三维模型是例如使用CAD（Computer Aided Design：计算机辅助设计）软件创建的数据文件（三维CAD数据）。该三维模型是对多个由连结各结构点（顶点）而形成的多边形（例如三角形）构成的多边形进行组合而构成。三维模型信息取得部2022直接或经由网络取得存储于与控制部20连接的未图示的外部设备的三维模型的信息。此外，三维模型信息取得部2022还可以取得存储于存储器22、外部存储装置23（参照图4）的三维模型的信息。
此外，可以代替三维模型信息取得部2022取得三维模型的信息而使用被导入控制部20的CAD软件来创建三维模型。
俯瞰图像生成部2023根据由照相机参数取得部2021、三维模型信息取得部2022取得的信息、从图像取得部203输入的图像数据等来将机器人10、作业台、第一拍摄部30、第二拍摄部31、第一顶板拍摄部40、第二顶板拍摄部41以及工件A等三维模型配置于虚拟空间内。各三维模型的配置位置能够根据从图像取得部203输入的图像数据等来决定。
而且，俯瞰图像生成部2023生成从虚拟空间内的任意的视点位置观察配置于虚拟空间内的三维模型的图像、即俯瞰图像。俯瞰图像生成部2023将三维模型配置于虚拟空间内的处理以及俯瞰图像生成部2023生成俯瞰图像的处理由于能够采用已经公知的各种技术，所以省略详细的说明。俯瞰图像生成部2023相当于本发明的俯瞰图像生成部。
实时取景图像生成部2024根据由俯瞰图像生成部2023生成的俯瞰图像、以及由照相机参数取得部2021取得的照相机参数来生成由配置于虚拟空间内的手眼相机15、第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41在虚拟空间内进行拍摄时获得的拍摄图像（以下称为虚拟拍摄图像）。虚拟拍摄图像可以是静态图像，也可以是实时取景图像。实时取景图像生成部2024相当于本发明的图像取得部。
显示控制部2025将俯瞰图像生成部2023所生成的俯瞰图像、实时取景图像生成部2024所生成的虚拟拍摄图像输出至输出装置26。另外，显示控制部2025根据由照相机参数取得部2021取得的照相机参数将表示手眼相机15的拍摄范围的图像显示于俯瞰图像以及虚拟拍摄图像。显示控制部2025相当于本发明的显示控制部。
图4是表示控制部20的简略构成的一个例子的框图。如图所示，例如由计算机等构成的控制部20具备：运算装置即CPU（Central Processing Unit：中央处理器）21；存储器22，其由易失性存储装置亦即RAM（Random Access Memory：随机存储器）和非易失性存储装置即ROM（Read only Memory：只读存储器）构成；外部存储装置23；通信装置24，其与机器人10等外部的装置进行通信；鼠标、键盘等输入装置25；显示器等输出装置26；以及接口（I／F）27，其连接控制部20与其它的单元。
上述的各功能部例如通过由CPU21将储存于外部存储装置23等的规定的程序读取到存储器22等中并执行而实现。此外，规定的程序例如可以被预先安装于外部存储装置23等，也可以经由通信装置24从网络下载来安装或更新。
对以上的机器人***1的构成而言，在对本实施方式的特征进行说明时，对主要构成进行了说明，但并不局限于上述构成。例如，机器人10可以具备控制部20、第一拍摄部30以及第二拍摄部31。另外，不排除一般的机器人***所具备的构成。
接下来，对本实施方式的、由上述构成而形成的机器人***1的特征的处理进行说明。
图5是表示图像处理部202进行的模拟处理的流程的流程图。该处理在任意的时刻，例如通过经由未图示的按钮等输入模拟开始的指示而开始。
在本实施方式中，为取得工件A的位置、形状等三维信息，而取得使用右手眼相机15R从不同角度拍摄工件A的2张图像（以下，称为立体图像），以该情况为例进行说明。
俯瞰图像生成部2023生成俯瞰图像（步骤S100），实时取景图像生成部2024将手眼相机15、第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41的虚拟拍摄图像生成为实时取景图像（步骤S102）。
显示控制部2025生成显示图像P，该显示图像P包含在步骤S100中生成的俯瞰图像和在步骤S102中生成的虚拟拍摄图像，并将该显示图像P输出至输出装置26（步骤S104）。
图6是在步骤S104中生成的显示图像P的显示例。如图6所示，在显示图像P的上部设置有显示俯瞰图像的俯瞰图像显示区域P1。
在俯瞰图像显示区域P1的下方向设置有虚拟拍摄图像显示区域P2，该虚拟拍摄图像显示区域P2显示第一顶板拍摄部40的虚拟拍摄图像，并在上述虚拟拍摄图像显示区域P2的旁边设置有虚拟拍摄图像显示区域P3，该虚拟拍摄图像显示区域P3显示第二顶板拍摄部41的虚拟拍摄图像。另外，在俯瞰图像显示区域P1的下方向设置有虚拟拍摄图像显示区域P42，该虚拟拍摄图像显示区域P42显示左手眼相机15L的虚拟拍摄图像，并在上述虚拟拍摄图像显示区域P42的旁边设置有虚拟拍摄图像显示区域P5，该虚拟拍摄图像显示区域P5显示右手眼相机15R的虚拟拍摄图像。并且，在俯瞰图像显示区域P1的下方向设置有虚拟拍摄图像显示区域P6，该虚拟拍摄图像显示区域P6显示第一拍摄部30的虚拟拍摄图像，并在上述虚拟拍摄图像显示区域P6的旁边设置有虚拟拍摄图像显示区域P7，该虚拟拍摄图像显示区域P7显示第二拍摄部31的虚拟拍摄图像。
此外，由于通过步骤S102在虚拟拍摄图像的基础上生成为实时取景图像，所以在步骤S104中，显示控制部104每次更新实时取景图像时便适当地改变各虚拟拍摄图像显示区域P2～P7的显示。即，步骤S102以及步骤S104的处理持续进行至图5所示的处理结束为止。此外，由于根据实时取景图像而适当地改变显示的方法已经公知，所以省略说明。
实时取景图像生成部2024根据在步骤S102中生成的右手眼相机15R的虚拟拍摄图像将立体图像中的第一张虚拟拍摄图像作为静态图像而虚拟进行拍摄（步骤S106）。虚拟图像的拍摄能够通过作业者经由输入装置25输入拍摄指示来进行，也能够由实时取景图像生成部2024自动地进行。例如，在由实时取景图像生成部2024自动地进行的情况下，可以在图像的规定范围包含工件A时进行虚拟的拍摄。
实时取景图像生成部2024根据在步骤S102中生成的右手眼相机15R的虚拟拍摄图像来对立体图像中的第二张虚拟拍摄图像的、作为实时取景图像的第一张图像虚拟地进行拍摄（步骤S108）。
此外，在步骤S106中取得的虚拟拍摄图像和步骤S108中取得的虚拟拍摄图像中需要改变右手眼相机15R的照相机参数。照相机参数的改变可以通过作业者经由输入装置25而适当地输入照相机参数来进行，也可以由实时取景图像生成部2024自动地进行。例如，在由实时取景图像生成部2024自动地进行的情况下，可以通过从取得在步骤S106中取得的虚拟拍摄图像时右手眼相机15R的位置向右方向（也可以向左方向，也可以向上方向，也可以向下方向，也可以向倾斜方向）移动预先设定的大小来改变照相机参数。
若改变右手眼相机15R的照相机参数，则右臂11R的位置等会自动地改变，所以俯瞰图像也需要改变。因此，每次改变照相机参数，俯瞰图像生成部2023进行步骤S100的处理，显示控制部2025改变俯瞰图像显示区域P1的显示。
显示控制部2025使表示步骤S106中虚拟地拍摄的虚拟图像的拍摄范围的图像和表示步骤S108中虚拟地拍摄的虚拟图像的拍摄范围的图像重叠显示于在显示图像P的各显示区域P1～P7显示的图像（步骤S110）。
图6是在立体图像的第一张虚拟拍摄图像与第二张虚拟拍摄图像的拍摄范围基本一致的情况下的显示图像P。
作为表示步骤S106中虚拟地拍摄的立体图像的第一张虚拟图像的拍摄范围的图像，在显示图像P显示矩形的框F1。另外，作为表示步骤S108中虚拟地拍摄的立体图像的第二张虚拟拍摄图像虚拟图像的拍摄范围的图像，在显示图像P显示矩形的框F2。在图6中，由于框F1的位置与框F2的位置几乎相同，所以省略框F2。但是，也可以不省略框F2，还可以省略框F1而不省略框F2。
在此，对显示控制部2025生成框F1、F2并进行显示的方法进行说明。
显示控制部2025根据照相机参数取得部2021取得的照相机参数，在虚拟空间内生成表示右手眼相机15R的视场的四棱锥。例如，显示控制部2025根据右手眼相机15R的像素比来决定四棱锥的底边的四边形的纵横比。而且，显示控制部2025根据右手眼相机15R的焦距来决定底面相对于距离顶点的距离的大小。
接下来，显示控制部2025在虚拟空间内，在生成的四棱锥与作业台、工件A等交错时，生成框F1、F2。通过像这样生成框F1、F2，能够简化处理。
然后，显示控制部2025根据虚拟空间内的框F1、F2的位置将框F1、F2显示于显示图像P。由此，在显示于显示图像P的各显示区域P1～P7的图像重叠显示框F1、F2。此外，在本实施方式中，为能够识别框F1与框F2，框F1以粗线显示、框F2以细线显示。但是，为能够识别框F1与框F2，也可以用不同的形状或不同的颜色来显示框F1与框F2，并不局限于改变线的粗细的方式。
图7是相对于图6所示的情况、在虚拟空间内使右臂11R（即，右手眼相机15R）向右方移动的情况的显示图像P。在图7中，由于右臂11R能够大范围移动，所以在俯瞰图像显示区域P1、虚拟拍摄图像显示区域P2以及虚拟拍摄图像显示区域P7中，在不同的位置显示框F1和框F2。
另外，在虚拟拍摄图像显示区域P5中，在图6所示的情况下，在虚拟拍摄图像显示区域P5的周边附近，框F1仅被显示一边，与此相对，在图7所示的情况下，在虚拟拍摄图像显示区域P5的中央附近显示有框F1。
图8是相对于图7所示的情况，在虚拟空间内使右臂11R向上方（远离作业台的方向）移动的情况的显示图像P。在图8中，由于右臂11R与作业台的距离比图7所示的情况远，所以框F2的大小比图7的大。
这样，由于在俯瞰图像显示区域P1、虚拟拍摄图像显示区域P2以及虚拟拍摄图像显示区域P7（特别是俯瞰图像显示区域P1）显示框F1与框F2，所以能够容易地把握多个图像的拍摄范围如何地不同。另外，通过在显示第二张拍摄图像的虚拟拍摄图像显示区域P5显示框F1，能够容易地把握第一张拍摄范围与第二张拍摄范围的重叠程度和重叠范围。
此外，在图6～图8中，与框F1、F2同时重叠显示有右手眼相机15R的光轴X。由此，能够容易地把握照相机的位置、拍摄图像的拍摄方向。
显示控制部2025判断是否结束立体图像中的第二张虚拟拍摄图像的、实时取景图像的拍摄（步骤S112）。显示控制部2025在经由输入装置25等输入结束指示的情况下，能够判断为结束实时取景图像的拍摄。或者，显示控制部2025也可以根据在步骤S110中显示的框F1与框F2的位置关系来判断是否结束实时取景图像的拍摄。例如，在框F1与框F2的重叠区域为框F1、F2的大小的八成左右的情况下，可以判断是否结束实时取景图像的拍摄。
对未结束实时取景图像的拍摄的情况而言（在步骤S112为否），实时取景图像生成部2024根据在步骤S102中生成的右手眼相机15R的虚拟拍摄图像对立体图像中的第二张虚拟拍摄图像的、作为实时取景图像的下一帧的图像虚拟地拍摄（步骤S114）。然后，进行步骤S110。在该步骤S110中，将虚拟图像显示区域P5的显示变更为在步骤S114取得的图像，并且，将表示步骤S106中虚拟地拍摄的虚拟图像的拍摄范围的图像和表示步骤S114中虚拟地拍摄的虚拟图像的拍摄范围的图像重叠显示于在显示图像P的各显示区域P1～P7显示的图像。
对结束实时取景图像的拍摄的情况而言（在步骤S112为是），实时取景图像生成部2024将在步骤S108中虚拟地拍摄的实时取景图像作为第二张虚拟拍摄图像的静态图像来虚拟地拍摄（步骤S116）。然后，结束处理。
根据本实施方式，在模拟中，能够在拍摄立体图像之前获知图像的拍摄范围。特别是在本实施方式中，由于在能够获知虚拟空间内的位置关系的图像（在本实施方式中是俯瞰图像显示区域P1）显示表示第一张图像的拍摄范围的图像和表示第二张图像的拍摄范围的图像，所以能够容易地把握多个图像的拍摄范围如何地不同。因此，能够减少在模拟中取得立体图像时的试错，从而能够减轻作业者的负担。
另外，在本实施方式中，由于在虚拟地拍摄的第二张拍摄图像显示表示虚拟地拍摄的第一张图像的拍摄范围的图像，所以在模拟中能够容易地把握第一张拍摄范围与第二张拍摄范围的重叠程度和重叠范围。
特别是在本实施方式中，在利用模拟拍摄立体图像时，由于能够获知已经拍摄到的图像的拍摄范围，所以不使机器人实际运动，就能够以较少的试错而获知能够拍摄适当的立体图像的照相机的位置以及姿势。
此外，在本实施方式中，能够利用右手眼相机15R来虚拟地拍摄取得工件A的三维信息的立体图像，但拍摄立体图像的并不局限于手眼相机。例如，如图9所示，也可以在相当于机器人10A的头的部分设置拍摄部16，从而利用拍摄部16来拍摄立体图像。
另外，在本实施方式中，使用右手眼相机15R对立体图像的第一张图像以及第二张图像这双方虚拟地拍摄，但拍摄立体图像的第一张图像的拍摄部与拍摄第二张图像的拍摄部也可以不同。例如，可以使用第二顶板拍摄部41来虚拟地拍摄第一张图像，使用右手眼相机15R来虚拟地拍摄第二张图像。另外，例如，可以在右臂11R设置多个照相机，分别使用不同的照相机来虚拟地拍摄各自的图像。例如，可以在右臂11R设置2个焦距不同的照相机，使用焦距长的照相机来虚拟地拍摄第一张图像，使用焦距短的照相机来虚拟地拍摄第二张图像。
另外，在本实施方式中，作为表示立体图像的拍摄范围的信息而显示框F1、F2，但表示立体图像的拍摄范围的信息并不局限于框。例如，如图10所示，在虚拟空间内，显示控制部2025可以通过显示四边形（图形）亦即图形F3来表示立体图像的拍摄范围，该四边形是对在表示拍摄范围的四棱锥与作业台、工件A等交错时的拍摄范围内包含的部分以与其它的部分不同的颜色全面涂抹的四边形。此外，框、以颜色全面涂抹的图形的形状并不局限于四边形。另外，图形F3是以一种颜色全面涂抹四边形的内部的图像，但全面涂抹框的方式并不局限于此。例如，可以通过在四边形的内部附加两种颜色相间花纹等的图案、在四边形的内部划有影线来全面涂抹四边形的内部。
另外，例如，如图11所示，显示控制部2025可以通过将表示拍摄范围的四棱锥F4重叠显示于俯瞰图像来表示立体图像的拍摄范围。由此，能够更容易地把握拍摄范围。此外，表示拍摄范围的四棱锥能够通过拉引连结光轴上的任意的点与框F2（或框F1）的顶点的线来生成。作为立体图形，并不局限于四棱锥，也可以是四棱台。
另外，在本实施方式中，作为表示立体图像的拍摄范围的信息，与框F1、F2一起显示了光轴X，但光轴的显示并不是必须的。例如，可以仅是框F1、F2等图形。或者，可以取代框F1、F2等图形而仅显示拍摄虚拟拍摄图像的照相机的光轴X。但是，与框F1、F2一起显示光轴X的情况同其它的情况相比，具有能够获得较多的信息的效果。
另外，在本实施方式中，按顺序取得立体图像的第一张图像和第二张图像，但对该第一张图像、第二张图像而言，为了方便，可以使用2个拍摄部来同时拍摄2张图像。该情况下，对2张图像，一边拍摄实时取景图像，一边使表示2张图像的拍摄范围的信息重叠显示即可。
另外，在本实施方式中，以静态图像取得立体图像的第一张图像，作为实时取景图像取得立体图像的第二张图像，但静态图像以及实时取景图像作为拍摄的一个方式进行例示，立体图像的第一张图像以及第二张图像的拍摄方式并不局限于此。本发明的拍摄是包含按下快门（释放）来取得静态图像或动画的情况、不按快门（释放）而取得实时取景图像的情况的概念。
另外，在本实施方式中，在已经配置有机器人10、第一拍摄部30、第二拍摄部31、第一顶板拍摄部40以及第二顶板拍摄部41等的状态下，为获知工件A的位置、形状等而拍摄了立体图像，但拍摄立体图像的目的并不局限于此。例如，也可以在第一拍摄部30和第二拍摄部31的配置位置未被决定的状态下，在虚拟空间内暂时配置第一拍摄部30和第二拍摄部31，并将第一拍摄部30和第二拍摄部31的拍摄范围重叠显示于俯瞰图像，参考上述情况来决定第一拍摄部30和第二拍摄部31的配置位置。
另外，在本实施方式中，以由2张图像构成的立体图像为例进行了说明，但构成立体图像的图像的张数并不局限于2张。
第二实施方式
本发明的第一实施方式是在通过模拟来虚拟地拍摄立体图像时显示表示拍摄范围的图像的实施方式，但显示表示拍摄范围的图像的情况并不局限于通过模拟来拍摄图像的情况。
本发明的第二实施方式是在拍摄实际的图像时显示表示拍摄范围的图像的实施方式。以下，对第二实施方式的机器人***2进行说明。其中，机器人***2的结构由于与机器人***1的结构相同，所以省略说明。另外，关于机器人***2的作用，对与第一实施方式相同的部分标注相同的附图标记，并省略说明。
图12是表示图像处理部202根据实际拍摄的图像来显示表示拍摄图像的范围的图像的处理的流程的流程图。该处理例如由实际拍摄立体图像的第一张图像而开始。
若拍摄控制部2012控制右手眼相机15R来输出静态图像的拍摄指示，则对图像取得部203而言，右手眼相机15R取得拍摄的静态图像，并输出至图像处理部202（步骤S200）。
若拍摄控制部2012控制右手眼相机15R来输出实时取景图像的拍摄指示，则对图像取得部203而言，右手眼相机15R取得拍摄的实时取景图像中的第一帧的图像，并输出至图像处理部202（步骤S202）。
若显示控制部2025取得了右手眼相机15R拍摄的实时取景图像，则将取得的图像输出至输出装置26（步骤S204）。由此，在输出装置26显示实时取景图像。由于在本实施方式中利用右手眼相机15R进行拍摄，所以此时显示的实时取景图像与在图6等中的在虚拟拍摄图像显示区域P5中表示的图像几乎相同。
显示控制部2025将框F1显示于在实时取景图像中、在步骤S200中取得的第一张图像的位置（步骤S206）。框F1的位置例如能够根据右臂11R的移动量、右手眼相机15R的照相机参数算出。另外，框F1的位置能够根据在步骤S200拍摄的图像和俯瞰图像生成部2023生成的俯瞰图像来算出。
显示控制部2025判断是否结束立体图像中的第二张拍摄图像的、实时取景图像的拍摄（步骤S208）。与第一实施方式相同，对显示控制部2025而言，在经由输入装置25等被输入结束指示的情况下，能够判断为结束实时取景图像的拍摄。或者，与第一实施方式相同，显示控制部2025也可以根据第一张图像的拍摄范围与第二张图像的拍摄范围的位置关系来判断是否结束实时取景图像的拍摄。
在未结束实时取景图像的拍摄的情况下（在步骤S208为否），拍摄控制部2012经由右手眼相机15R对立体图像中的第二张虚拟拍摄图像的、作为实时取景图像的下一帧的图像进行拍摄，从而图像取得部203取得该图像（步骤S210）。然后，进行步骤S204。
在结束实时取景图像的拍摄的情况下（在步骤S208为是），显示控制部2025结束处理。
根据本实施方式，能够在实际拍摄立体图像之前获知图像的拍摄范围。因此，能够减少在取得立体图像的第二张以后的图像时的试错，从而能够减轻作业者的负担。特别是由于在拍摄的第二张拍摄图像显示有表示拍摄的第一张图像的拍摄范围的信息，所以能够容易地把握第一张拍摄范围与第二张拍摄范围的重叠程度和重叠范围。
此外，在本实施方式中，立体图像的第一张图像、第二张图像实际上都是使用右手眼相机15R拍摄的，但实际上也可以仅对立体图像的第一张图像使用右手眼相机15R进行拍摄，然后通过模拟来进行显示图像P以及框F1、F2的显示（代替图5所示的步骤S106而进行步骤S200）。另外，也可以是立体图像的第一张图像通过模拟取得，而第二张图像为实际拍摄取得（进行图5所示的步骤S106之后进行图10的步骤S204）。
以上，使用实施方式对本发明进行了说明，但本发明的技术范围并不局限于上述实施方式所记载的范围。本领域技术人员很清楚可以对上述实施方式实施多样的改变或改进。另外，实施上述改变或改进的实施方式也包含于本发明的技术范围内，但可以根据权利要求的记载来明确。特别是在第一、第二实施方式中，例示了提供独立设置机器人与机器人控制部的机器人***的情况，但可以提供独立设置机器人与机器人控制部的机器人***，也可以提供在机器人中包含机器人控制部等的机器人，也可以提供只有机器人控制部或由机器人控制部以及拍摄部构成的机器人控制装置。另外，本发明还能够提供控制机器人等的程序、存储程序的存储介质。
而且，在提供机器人控制部的情况中，在本发明的技术的范围中包含如下2种情况：1.机器人控制部包含拍摄部的情况、2.机器人控制部不含拍摄部的情况。另外，在提供机器人***以及机器人的情况下，在本发明的技术的范围包含如下4种情况：1.机器人包含拍摄部以及机器人控制部的情况；2.机器人包含拍摄部、但不含机器人控制部的情况；3.机器人包含机器人控制部、但不含拍摄部的情况；4.机器人不含拍摄部和机器人控制部，拍摄部与机器人控制部在不同的壳体或拍摄部与机器人控制部在相同的壳体的情况。
附图标记说明：
1、2…机器人***；10、10A…机器人；11…臂；11L…左臂；11R…右臂；11a…轴；12…联轴器；13…连杆；14…手部；15…手眼相机；15L…左手眼相机；15R…右手眼相机；15a…光轴；16…拍摄部；20…控制部；21…CPU；22…存储器；23…外部存储装置；24…通信装置；25…输入装置；26…输出装置；30…第一拍摄部；31…第二拍摄部；40…第一顶板拍摄部；41…第二顶板拍摄部；200…图像取得部；201…机器人控制部；202…图像处理部；203…图像取得部；2011…驱动控制部；2012…拍摄控制部；2021…照相机参数取得部；2022…三维模型信息取得部；2023…俯瞰图像生成部；2024…实时取景图像生成部；2025…显示控制部。

Claims (10)

1.一种机器人***，其特征在于，
该机器人***包含机器人、显示部、以及使所述机器人动作的控制部，
所述机器人***使从第一方向拍摄所述机器人的操作对象物的表示第一拍摄图像的拍摄范围的信息和从与所述第一方向不同的方向拍摄所述操作对象物的表示第二拍摄图像的拍摄范围的信息显示于所述显示部，
将表示所述第一拍摄图像的拍摄范围的信息重叠显示于所述第二拍摄图像来作为表示所述第二拍摄图像的拍摄范围的信息。
2.根据权利要求1所述的机器人***，其特征在于，
所述第二拍摄图像是时间上连续的实时取景图像。
3.根据权利要求1或2所述的机器人***，其特征在于，
所述第二拍摄图像在取得所述第一拍摄图像之后被取得。
4.根据权利要求1或2所述的机器人***，其特征在于，
所述控制部将表示所述机器人的图像以及表示所述第一拍摄部的图像显示于所述显示部。
5.根据权利要求1或2所述的机器人***，其特征在于，
所述控制部对所述显示部进行如下控制：将所述第二拍摄图像显示于所述显示部，并且，将表示所述第一拍摄图像的拍摄范围的信息重叠显示于所述第二拍摄图像来作为表示所述第二拍摄图像的拍摄范围的信息。
6.根据权利要求1或2所述的机器人***，其特征在于，
所述控制部将表示所述第一拍摄图像的拍摄范围的信息和表示所述第二拍摄图像的拍摄范围的信息以不同的颜色显示于所述显示部。
7.权利要求1或2所述的机器人***，其特征在于，
所述控制部将表示所述第一拍摄图像的拍摄范围的信息和表示所述第二拍摄图像的拍摄范围的信息以不同的形状显示于所述显示部。
8.根据权利要求1或2所述的机器人***，其特征在于，
所述控制部将所述第一拍摄图像的拍摄范围在所述显示部显示为以线显示的框来作为表示所述第一拍摄图像的拍摄范围的信息。
9.根据权利要求1或2所述的机器人***，其特征在于，
所述控制部将所述第一拍摄图像的拍摄范围显示为以能够与所述第一拍摄图像的拍摄范围以外的范围识别开的颜色全面涂抹而得的图形来作为表示所述第一拍摄图像的拍摄范围的信息。
10.一种图像显示装置，其特征在于，具备：
机器人控制部，其使机器人动作；以及
显示控制部，其使从第一方向拍摄所述机器人的操作对象物的表示第一拍摄图像的拍摄范围的信息和从与所述第一方向不同的方向拍摄所述操作对象物的表示第二拍摄图像的拍摄范围的信息显示于显示部，将表示所述第一拍摄图像的拍摄范围的信息重叠显示于所述第二拍摄图像来作为表示所述第二拍摄图像的拍摄范围的信息。
CN201410093619.1A 2013-03-25 2014-03-13 机器人***以及图像显示装置 Active CN104070524B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013062839A JP6171457B2 (ja) 2013-03-25 2013-03-25 ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
JP2013-062839 2013-03-25

Publications (2)

Publication Number Publication Date
CN104070524A CN104070524A (zh) 2014-10-01
CN104070524B true CN104070524B (zh) 2018-11-09

Family

ID=51568865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410093619.1A Active CN104070524B (zh) 2013-03-25 2014-03-13 机器人***以及图像显示装置

Country Status (3)

Country Link
US (1) US20140285633A1 (zh)
JP (1) JP6171457B2 (zh)
CN (1) CN104070524B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5902664B2 (ja) * 2013-12-25 2016-04-13 ファナック株式会社 保護部材を有する人協調型産業用ロボット
JP6529758B2 (ja) * 2014-12-25 2019-06-12 株式会社キーエンス 画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラム
CN105289991A (zh) * 2015-09-23 2016-02-03 吉林省瓦力机器人科技有限公司 一种基于视觉识别技术的中草药智能分拣装置
JP6866673B2 (ja) * 2017-02-15 2021-04-28 オムロン株式会社 監視システム、監視装置、および監視方法
CN113056351A (zh) * 2018-11-01 2021-06-29 佳能株式会社 外部输入设备、机器人***、机器人***的控制方法、控制程序及记录介质
JP7376268B2 (ja) * 2019-07-22 2023-11-08 ファナック株式会社 三次元データ生成装置及びロボット制御システム
CN111390885B (zh) * 2020-06-04 2020-09-29 季华实验室 一种示教视觉调整方法、装置、***和摄像装置
CN114589680A (zh) * 2021-05-08 2022-06-07 万勋科技(深圳)有限公司 操控装置、特种机器人***及其控制方法
CN114714347A (zh) * 2022-03-14 2022-07-08 北京精密机电控制设备研究所 双臂与手眼相机结合的机器人视觉伺服控制***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4851901A (en) * 1986-09-03 1989-07-25 Kabushiki Kaisha Toshiba Stereoscopic television apparatus
CN1843710A (zh) * 2005-04-07 2006-10-11 精工爱普生株式会社 移动控制装置及方法、位置指挥装置及方法、控制程序
EP1527850B1 (en) * 2003-10-31 2012-08-15 Fanuc Corporation Simulation apparatus

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4980971A (en) * 1989-12-14 1991-01-01 At&T Bell Laboratories Method and apparatus for chip placement
JP3264378B2 (ja) * 1991-09-19 2002-03-11 マツダ株式会社 撮像装置のティーチングデータ作成方法
US7155316B2 (en) * 2002-08-13 2006-12-26 Microbotics Corporation Microsurgical robot system
JP4612280B2 (ja) * 2003-02-25 2011-01-12 本田技研工業株式会社 自動作業装置及び自動作業装置制御プログラム
JP4844453B2 (ja) * 2007-04-09 2011-12-28 株式会社デンソーウェーブ ロボットの教示装置及び教示方法
JP5810562B2 (ja) * 2011-03-15 2015-11-11 オムロン株式会社 画像処理システムに向けられたユーザ支援装置、そのプログラムおよび画像処理装置
TWI475875B (zh) * 2011-12-28 2015-03-01 Altek Corp 三維影像產生裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4851901A (en) * 1986-09-03 1989-07-25 Kabushiki Kaisha Toshiba Stereoscopic television apparatus
EP1527850B1 (en) * 2003-10-31 2012-08-15 Fanuc Corporation Simulation apparatus
CN1843710A (zh) * 2005-04-07 2006-10-11 精工爱普生株式会社 移动控制装置及方法、位置指挥装置及方法、控制程序

Also Published As

Publication number Publication date
CN104070524A (zh) 2014-10-01
JP6171457B2 (ja) 2017-08-02
US20140285633A1 (en) 2014-09-25
JP2014184543A (ja) 2014-10-02

Similar Documents

Publication Publication Date Title
CN104070524B (zh) 机器人***以及图像显示装置
JP2003187261A5 (zh)
US8884947B2 (en) Image processing apparatus and image processing method
TW201709718A (zh) 在使用者裝置上顯示光場為基影像之方法及裝置，及對應之電腦程式產品
CN104599317B (zh) 一种实现3d扫描建模功能的移动终端及方法
CN104104936B (zh) 用于形成光场图像的设备和方法
CN111151463A (zh) 一种基于3d视觉的机械臂分拣抓取***及方法
JP7353782B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20130057574A1 (en) Storage medium recorded with program, information processing apparatus, information processing system, and information processing method
CN105867611A (zh) 虚拟现实***中的空间定位方法、装置及***
JP2006229725A (ja) 画像生成システム及び画像生成方法
CN106683163B (zh) 一种视频监控的成像方法及***
CN110648274A (zh) 鱼眼图像的生成方法及装置
JP4474546B2 (ja) 顔形状モデリングシステムおよび顔形状モデリング方法
JP2001126085A (ja) 画像生成システム、画像表示システム、画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体および画像生成方法
CN114434442A (zh) 一种基于协作机器人的自动化检测方法及***
JP4835243B2 (ja) 画像合成装置及び画像合成プログラム
CN110096144B (zh) 一种基于三维重建的交互全息投影方法及***
CN111047678A (zh) 一种三维人脸采集装置和方法
CN109064550A (zh) 一种人体扫描建模方法
JP7006810B2 (ja) ３次元計測装置、移動ロボット、手押し車型移動装置および３次元計測処理方法
KR101192312B1 (ko) 홀로그램 기반 가상 모델링 작업 시스템
JP2013008137A (ja) 三次元形状モデリング用データ送信装置、三次元形状モデリング用データ受信装置、三次元形状モデリングシステム、三次元形状モデリング用データ送信プログラム、及び三次元形状モデリング用データ受信プログラム
CN104616287A (zh) 一种用于3d图像采集与3d打印的移动终端及方法
CN114463520A (zh) 一种实现虚拟现实vr漫游的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant