JP2019038075A - ロボットシステム - Google Patents
ロボットシステム Download PDFInfo
- Publication number
- JP2019038075A JP2019038075A JP2017162670A JP2017162670A JP2019038075A JP 2019038075 A JP2019038075 A JP 2019038075A JP 2017162670 A JP2017162670 A JP 2017162670A JP 2017162670 A JP2017162670 A JP 2017162670A JP 2019038075 A JP2019038075 A JP 2019038075A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- processing object
- imaging device
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/06—Control stands, e.g. consoles, switchboards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39451—Augmented reality for robot programming
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
【解決手段】ロボットシステム1は、処理対象物Wに所定の処理を行うロボット10と、処理対象物Wを撮影する撮影装置20と、予め設定されたロボット10、撮影装置20及び処理対象物Wの位置に関する情報、及び、撮影装置20で撮影された処理対象物Wの画像に基づいて、処理対象物Wに追従するようにロボット10の移動先の位置補正を行うロボット制御装置40と、AR空間を提供する表示装置60とを備え、ロボット制御装置40は、ロボット10及び撮影装置20の位置に関する情報に基づいて、撮影装置20の位置を計算し、表示装置60は、計算された撮影装置20の位置に基づいて、AR空間の対応位置に、撮影装置を模した画像を表示する。
【選択図】図1
Description
特許文献1に記載のロボットシステムは、撮影装置で撮影されたロボットの画像に基づいてロボットのCG映像を生成し、CG映像をタッチスクリーン上に表示する。ロボットシステムは、ユーザのタッチ操作に応じてタッチスクリーン上でのCG映像のロボットを仮想的に動作させ、仮想的なロボットの動作に追従して実際のロボットを動作させる。
特許文献2に記載のロボットシステムは、撮影装置で撮影された処理対象物の画像を表示装置に表示する。これにより、作業者は、表示装置に表示された処理対象物の画像に基づいて、ロボットの動作を遠隔操作する。
ロボット、撮影装置及び処理対象物の位置に関する情報は、例えば、
(1)ロボットの位置補正の基準となる座標系の原点及び各軸の方向、
(2)ロボットの位置補正の基準となるロボットの位置(例えば、後述するロボットの各関節の回転角度又は並進量)、
(3)ロボットと撮影装置との相対位置関係、及び、
(4)撮影装置と処理対象物との距離、
である。
また、上述したロボットと作業者又は周辺装置との衝突を回避するために、ロボットをゆっくりと移動させることが考えられるが、コンベア等の速度も遅くする必要がある。このように、ロボット以外の設定調整に関する作業量が増えるので、ロボットの位置補正後の移動先の把握がより難しくなる。更には、設定情報の確認の時間が長くなる。
この点に関し、特許文献1及び2にはAR空間を利用してロボットの位置制御を行うことが記載されているが、特許文献1及び2に記載のロボットシステムは、ロボット、撮影装置及び処理対象物を含むAR空間を利用して、ロボット、撮影装置又は処理対象物の位置に関する設定情報の設定が適切か否かを確認するものではない。
図1は、第1実施形態に係るロボットシステムの構成を示す図である。図1に示すロボットシステム1は、カメラ(撮影装置)20で撮影されたワーク(処理対象物)Wの画像に基づいて、ワークWに追従するようにロボット10のアーム12の先端部(位置制御の対象部位)の移動先の位置補正を行う。
ロボットシステム1は、ロボット10と、カメラ20と、コンベア30と、ロボット制御装置40と、画像処理装置50と、AR表示装置60とを備える。
(1)ロボット10の位置補正の基準となる3次元座標系の原点及び各座標軸の方向、及び、
(2)ロボット10の位置補正の基準となるロボット10の位置(例えば、各関節の回転角度又は並進量)、である。
カメラ20の位置に関する設定情報は、例えば、
(3)ロボット10とカメラ20との相対位置関係、である。
ワークWの位置に関する設定情報は、例えば、
(4)カメラ20とワークWとの距離、である。
画像処理装置50は、ロボット制御装置40に含まれていてもよい。
図2に、表示装置60に表示されるAR空間の一例を示す。図2に示すように、表示装置60は、画像処理装置50で生成された画像データに基づいて、ロボット10、カメラ20及びワークWを含むAR空間の対応位置に、カメラの画像21を表示する。
ロボット10、カメラ20及びワークWの位置に関する設定情報は、上述したように、
(1)ロボット10の位置補正の基準となる3次元座標系の原点及び各座標軸の方向、
(2)ロボット10の位置補正の基準となるロボット10の位置(例えば、各関節の回転角度又は並進量)、
(3)ロボット10とカメラ20との相対位置関係、及び、
(4)カメラ20とワークWとの距離、
である。
次に、画像処理装置50は、変換されたカメラ20の位置に基づいて、表示装置60のAR空間の対応位置に、カメラ20を模したカメラの画像21を描画するための画像データを生成する(S14)。
次に、図2に示すように、表示装置60は、生成された画像データに基づいて、ロボット10、カメラ20及びワークWを含むAR空間の対応位置に、カメラの画像21を表示する(S14)。
例えば、実物のカメラ20とカメラの画像21とが重なる場合、設定情報は適切に設定されている。
一方、実物のカメラ20に対してカメラの画像21がずれている場合、設定情報が誤っている可能性がある。この場合、ロボット10及びカメラ20の位置に関する設定情報を設定し直して、上述した設定情報の確認動作を再度行う。
なお、実物のカメラ20に対してカメラの画像21がずれている場合、カメラ20の不適切な設置、例えばカメラ20がしっかりと固定されていなかったり、レンズが緩んでいたりすることが原因であることがある。この場合には、カメラ20を適切に設置し直して、上述した設定情報の確認動作を再度行う。
第1実施形態では、図2に示すように、AR空間に、設定情報に基づくカメラの画像21を表示することにより、ロボット10及びカメラ20の位置に関する設定情報の設定が適切であるか否かの確認を行った。第2実施形態では、図4に示すように、AR空間に、設定情報に基づくワークの画像W1を表示することにより、ロボット10、カメラ20及びワークWの位置に関する設定情報の設定が適切であるか否かの確認を行う。
ロボット10、カメラ20及びワークWの位置に関する設定情報は、上述したように、
(1)ロボット10の位置補正の基準となる3次元座標系の原点及び各座標軸の方向、
(2)ロボット10の位置補正の基準となるロボット10の位置(例えば、各関節の回転角度又は並進量)、
(3)ロボット10とカメラ20との相対位置関係、及び、
(4)カメラ20とワークWとの距離、
である。
次に、画像処理装置50は、変換されたワークWの位置に基づいて、表示装置60のAR空間の対応位置に、取得したワークの画像W1を描画するための画像データを生成する(S25)。
次に、図4に示すように、表示装置60は、生成された画像データに基づいて、ロボット10、カメラ20及びワークWを含むAR空間の対応位置に、ワークの画像W1を表示する(S26)。
これにより、ステップS26では、表示装置60は、図4に示すように、カメラ20の撮影範囲Rから移動したワークWに追従してワークの画像W1を表示することができる。
例えば、実物のワークWとワークの画像W1とが重なる場合、設定情報は適切に設定されている。
一方、実物のワークWに対してワークの画像W1がずれている場合、設定情報が誤っている可能性がある。この場合、ロボット10、カメラ20及びワークWの位置に関する設定情報を設定し直して、上述した設定情報の確認動作を再度行う。
なお、実物のワークWに対してワークの画像W1がずれている場合、カメラ20の不適切な設置、例えばカメラ20がしっかりと固定されていなかったり、レンズが緩んでいたりすることが原因であることがある。この場合には、カメラ20を適切に設置し直して、上述した設定情報の確認動作を再度行う。
第3実施形態では、図6に示すように、AR空間に、設定情報に基づく座標系の画像XYZを表示することにより、(1)ロボット10の位置補正の基準となる3次元座標系の原点及び各座標軸の方向に関する設定情報の確認を行う。
ロボット10、カメラ20及びワークWの位置に関する設定情報は、上述したように、
(1)ロボット10の位置補正の基準となる3次元座標系の原点及び各座標軸の方向、
(2)ロボット10の位置補正の基準となるロボット10の位置(例えば、各関節の回転角度又は並進量)、
(3)ロボット10とカメラ20との相対位置関係、及び、
(4)カメラ20とワークWとの距離、
である。
次に、画像処理装置50は、ロボット10の位置補正の基準となる3次元座標系の原点及び各3座標軸の方向を、ロボット10の座標系から表示装置60のAR空間の座標系に変換する(S33)。
次に、画像処理装置50は、変換された座標系に基づいて、表示装置60のAR空間の対応位置に、座標系の画像XYZを描画するための画像データを生成する(S34)。
次に、図6に示すように、表示装置60は、生成された画像データに基づいて、ロボット10、カメラ20及びワークWを含むAR空間の対応位置に、座標系の画像XYZを表示する(S35)。
また、座標系に関する設定が作業者の認識と一致しているかを一目で確認できる。
10 ロボット
12 アーム
20 カメラ(撮影装置)
21 カメラの画像(撮影装置を模した画像)
30 コンベア
40 ロボット制御装置
50 画像処理装置
60 表示装置
W ワーク(処理対象物)
W1 ワークの画像(処理対象物の画像)
XYZ 座標系の画像(座標系を模した画像)
Claims (6)
- 処理対象物に所定の処理を行うロボットと、
前記処理対象物を撮影する撮影装置と、
予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置と、
AR空間を提供する表示装置と、
を備え、
前記ロボット制御装置は、前記ロボット及び前記撮影装置の位置に関する情報に基づいて、前記撮影装置の位置を計算し、
前記表示装置は、計算された前記撮影装置の位置に基づいて、前記AR空間の対応位置に、前記撮影装置を模した画像を表示する、
ロボットシステム。 - 前記ロボットの位置に関する情報は、(1)前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向、並びに、(2)前記ロボットの位置補正の基準となる前記ロボットの位置であり、
前記撮影装置の位置に関する情報は、(3)前記ロボットと前記撮影装置との相対位置関係である、
請求項1に記載のロボットシステム。 - 処理対象物に所定の処理を行うロボットと、
前記処理対象物を撮影する撮影装置と、
予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置と、
AR空間を提供する表示装置と、
を備え、
前記ロボット制御装置は、前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物の位置を計算し、
前記表示装置は、計算された前記処理対象物の位置に基づいて、前記AR空間の対応位置に、前記撮影装置で撮影された前記処理対象物の画像を表示する、
ロボットシステム。 - 前記ロボットの位置に関する情報は、(1)前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向、並びに、(2)前記ロボットの位置補正の基準となる前記ロボットの位置であり、
前記撮影装置の位置に関する情報は、(3)前記ロボットと前記撮影装置との相対位置関係であり、
前記処理対象物の位置に関する情報は、(4)前記撮影装置と前記処理対象物との距離である、
請求項3に記載のロボットシステム。 - 前記処理対象物は、コンベア上を移動しており、
前記ロボット制御装置は、更に前記処理対象物の移動速度に基づいて、前記処理対象物の位置を計算する、
請求項3又は4に記載のロボットシステム。 - 処理対象物に所定の処理を行うロボットと、
前記処理対象物を撮影する撮影装置と、
予め設定された前記ロボット、前記撮影装置及び前記処理対象物の位置に関する情報、及び、前記撮影装置で撮影された前記処理対象物の画像に基づいて、前記処理対象物に追従するように前記ロボットの移動先の位置補正を行うロボット制御装置と、
AR空間を提供する表示装置と、
を備え、
前記ロボットの位置に関する情報は、前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向を含み、
前記表示装置は、前記ロボットの位置補正の基準となる座標系の原点及び各軸の方向を模した画像を表示する、
ロボットシステム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017162670A JP6795471B2 (ja) | 2017-08-25 | 2017-08-25 | ロボットシステム |
US16/057,105 US10786906B2 (en) | 2017-08-25 | 2018-08-07 | Robot system |
DE102018213985.7A DE102018213985B4 (de) | 2017-08-25 | 2018-08-20 | Robotersystem |
CN201810961409.8A CN109421048B (zh) | 2017-08-25 | 2018-08-22 | 机器人*** |
US16/993,492 US11565427B2 (en) | 2017-08-25 | 2020-08-14 | Robot system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017162670A JP6795471B2 (ja) | 2017-08-25 | 2017-08-25 | ロボットシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019038075A true JP2019038075A (ja) | 2019-03-14 |
JP6795471B2 JP6795471B2 (ja) | 2020-12-02 |
Family
ID=65321867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017162670A Active JP6795471B2 (ja) | 2017-08-25 | 2017-08-25 | ロボットシステム |
Country Status (4)
Country | Link |
---|---|
US (2) | US10786906B2 (ja) |
JP (1) | JP6795471B2 (ja) |
CN (1) | CN109421048B (ja) |
DE (1) | DE102018213985B4 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10885340B2 (en) | 2018-07-25 | 2021-01-05 | Fanuc Corporation | Sensing system, work system, augmented-reality-image displaying method, augmented-reality-image storing method, and program |
US11049287B2 (en) | 2018-08-31 | 2021-06-29 | Fanuc Corporation | Sensing system, work system, augmented-reality-image displaying method, and program |
CN113601510A (zh) * | 2021-08-17 | 2021-11-05 | 广东电网有限责任公司 | 基于双目视觉的机器人移动控制方法、装置、***及设备 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7360406B2 (ja) * | 2018-06-26 | 2023-10-12 | ファナック アメリカ コーポレイション | ロボット型ピッキングシステムのための拡張現実可視化 |
CN109834712B (zh) * | 2019-03-01 | 2021-03-12 | 广东工业大学 | 一种机器人抓取顺序优化的方法 |
US12036663B2 (en) * | 2019-03-25 | 2024-07-16 | Abb Schweiz Ag | Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system |
US10906184B2 (en) | 2019-03-29 | 2021-02-02 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
US20220214685A1 (en) | 2019-03-29 | 2022-07-07 | Ihi Corporation | Remote operating device |
CN110127436A (zh) * | 2019-06-04 | 2019-08-16 | 青岛大学 | 一种棉条自动输送*** |
CN110897717B (zh) | 2019-12-09 | 2021-06-18 | 苏州微创畅行机器人有限公司 | 导航手术***及其注册方法与电子设备 |
CN111260793B (zh) * | 2020-01-10 | 2020-11-24 | 中国电子科技集团公司第三十八研究所 | 面向增强和混合现实的远程虚实高精度匹配定位的方法 |
US11288877B2 (en) | 2020-01-10 | 2022-03-29 | 38th Research Institute, China Electronics Technology Group Corp. | Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality |
CN113103230A (zh) * | 2021-03-30 | 2021-07-13 | 山东大学 | 一种基于处置机器人遥操作的人机交互***及方法 |
EP4137279A1 (en) * | 2021-08-20 | 2023-02-22 | BHS Technologies GmbH | Robotic imaging system and method for controlling a robotic device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004213673A (ja) * | 2002-12-30 | 2004-07-29 | Abb Res Ltd | 強化現実システム及び方法 |
JP2014128845A (ja) * | 2012-12-28 | 2014-07-10 | Fanuc Ltd | ロボットシステム表示装置 |
JP2014180707A (ja) * | 2013-03-18 | 2014-09-29 | Yaskawa Electric Corp | ロボット装置及び被加工物の製造方法 |
JP2016049601A (ja) * | 2014-08-29 | 2016-04-11 | 株式会社安川電機 | ティーチングシステム、ロボットシステムおよびティーチング方法 |
JP2016107379A (ja) * | 2014-12-08 | 2016-06-20 | ファナック株式会社 | 拡張現実対応ディスプレイを備えたロボットシステム |
JP2017094406A (ja) * | 2015-11-18 | 2017-06-01 | オムロン株式会社 | シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム |
Family Cites Families (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5319443A (en) * | 1991-03-07 | 1994-06-07 | Fanuc Ltd | Detected position correcting method |
US5742263A (en) * | 1995-12-18 | 1998-04-21 | Telxon Corporation | Head tracking system for a head mounted display system |
JP4747410B2 (ja) * | 2000-11-10 | 2011-08-17 | ソニー株式会社 | 映像切替表示装置および映像切替表示方法 |
JP4167954B2 (ja) * | 2003-09-02 | 2008-10-22 | ファナック株式会社 | ロボット及びロボット移動方法 |
DE102005009437A1 (de) * | 2005-03-02 | 2006-09-07 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zum Einblenden von AR-Objekten |
JP2008021092A (ja) * | 2006-07-12 | 2008-01-31 | Fanuc Ltd | ロボットシステムのシミュレーション装置 |
JP4347386B2 (ja) * | 2008-01-23 | 2009-10-21 | ファナック株式会社 | 加工用ロボットプラグラムの作成装置 |
JP4565023B2 (ja) * | 2008-07-04 | 2010-10-20 | ファナック株式会社 | 物品取り出し装置 |
JP2010131711A (ja) * | 2008-12-05 | 2010-06-17 | Honda Motor Co Ltd | ロボットアームの制御方法 |
US20120022924A1 (en) * | 2009-08-28 | 2012-01-26 | Nicole Runnels | Method and system for creating a personalized experience with video in connection with a stored value token |
BR112012026354A8 (pt) * | 2010-04-13 | 2018-05-08 | Nokia Corp | aparelho, método, programa de computador e interface de usuário |
US20120113223A1 (en) * | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
JP5246672B2 (ja) | 2011-02-17 | 2013-07-24 | 独立行政法人科学技術振興機構 | ロボットシステム |
JP4989768B2 (ja) * | 2011-02-24 | 2012-08-01 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
JP5803155B2 (ja) * | 2011-03-04 | 2015-11-04 | セイコーエプソン株式会社 | ロボット位置検出装置及びロボットシステム |
GB201111138D0 (en) | 2011-06-30 | 2011-08-17 | Leman Micro Devices Uk Ltd | Personal health data collection |
JP5561260B2 (ja) * | 2011-09-15 | 2014-07-30 | 株式会社安川電機 | ロボットシステム及び撮像方法 |
JP5266377B2 (ja) * | 2011-12-19 | 2013-08-21 | ファナック株式会社 | 物品の姿勢を修正する機能を備えた取出し装置 |
US20130293580A1 (en) * | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for selecting targets in an augmented reality environment |
US9092698B2 (en) * | 2012-06-21 | 2015-07-28 | Rethink Robotics, Inc. | Vision-guided robots and methods of training them |
US9102055B1 (en) * | 2013-03-15 | 2015-08-11 | Industrial Perception, Inc. | Detection and reconstruction of an environment to facilitate robotic interaction with the environment |
NO336219B1 (no) * | 2013-04-19 | 2015-06-15 | Electric Friends As | Anordning og fremgangsmåte for kamerastyring |
JP6415026B2 (ja) * | 2013-06-28 | 2018-10-31 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
CN104552292A (zh) * | 2013-10-10 | 2015-04-29 | 精工爱普生株式会社 | 机器人控制***、机器人、程序以及机器人控制方法 |
JP6475409B2 (ja) * | 2013-12-20 | 2019-02-27 | 蛇の目ミシン工業株式会社 | ロボット、ロボットの制御方法、及びロボットの制御プログラム |
JP5850962B2 (ja) * | 2014-02-13 | 2016-02-03 | ファナック株式会社 | ビジュアルフィードバックを利用したロボットシステム |
JP6415190B2 (ja) | 2014-09-03 | 2018-10-31 | キヤノン株式会社 | ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法 |
JP6693718B2 (ja) * | 2015-02-27 | 2020-05-13 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御プログラム、表示制御装置、及び表示制御方法 |
JP6562665B2 (ja) * | 2015-03-18 | 2019-08-21 | 蛇の目ミシン工業株式会社 | ロボット |
JP6596883B2 (ja) * | 2015-03-31 | 2019-10-30 | ソニー株式会社 | ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム |
US9916506B1 (en) * | 2015-07-25 | 2018-03-13 | X Development Llc | Invisible fiducial markers on a robot to visualize the robot in augmented reality |
CN205121556U (zh) * | 2015-10-12 | 2016-03-30 | 中国科学院自动化研究所 | 机器人抓取*** |
JP6420229B2 (ja) * | 2015-12-10 | 2018-11-07 | ファナック株式会社 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
US10974394B2 (en) * | 2016-05-19 | 2021-04-13 | Deep Learning Robotics Ltd. | Robot assisted object learning vision system |
US10245724B2 (en) * | 2016-06-09 | 2019-04-02 | Shmuel Ur Innovation Ltd. | System, method and product for utilizing prediction models of an environment |
JP6308248B2 (ja) | 2016-06-22 | 2018-04-11 | オムロン株式会社 | コンベアトラッキング等に向けられたガイダンス装置 |
JP2018004950A (ja) * | 2016-07-01 | 2018-01-11 | フォーブ インコーポレーテッド | 映像表示システム、映像表示方法、映像表示プログラム |
WO2018053430A1 (en) * | 2016-09-16 | 2018-03-22 | Carbon Robotics, Inc. | System and calibration, registration, and training methods |
JP6707485B2 (ja) * | 2017-03-22 | 2020-06-10 | 株式会社東芝 | 物体ハンドリング装置およびその較正方法 |
US10521871B2 (en) * | 2017-07-12 | 2019-12-31 | Fanuc Corporation | Robot system |
JP6734253B2 (ja) * | 2017-12-20 | 2020-08-05 | ファナック株式会社 | ワークを撮像する視覚センサを備える撮像装置 |
JP7055657B2 (ja) * | 2018-02-14 | 2022-04-18 | 川崎重工業株式会社 | 接続装置及び接続方法 |
JP7360406B2 (ja) * | 2018-06-26 | 2023-10-12 | ファナック アメリカ コーポレイション | ロボット型ピッキングシステムのための拡張現実可視化 |
JP6856583B2 (ja) * | 2018-07-25 | 2021-04-07 | ファナック株式会社 | センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム |
JP6856590B2 (ja) * | 2018-08-31 | 2021-04-07 | ファナック株式会社 | センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム |
WO2020055909A1 (en) * | 2018-09-10 | 2020-03-19 | Fanuc America Corporation | Zero teach for robotic continuous path |
CN113056351B (zh) * | 2018-11-01 | 2024-07-23 | 佳能株式会社 | 外部输入设备、机器人***、其控制方法及记录介质 |
JP6836571B2 (ja) * | 2018-11-14 | 2021-03-03 | ファナック株式会社 | ロボット装置 |
US20220026981A1 (en) * | 2018-11-27 | 2022-01-27 | Sony Group Corporation | Information processing apparatus, method for processing information, and program |
JP7277172B2 (ja) * | 2019-02-26 | 2023-05-18 | Juki株式会社 | ミシン |
US10369698B1 (en) * | 2019-03-07 | 2019-08-06 | Mujin, Inc. | Method and system for performing automatic camera calibration for robot control |
JP7222764B2 (ja) * | 2019-03-18 | 2023-02-15 | 株式会社キーエンス | 画像測定装置 |
US10399227B1 (en) * | 2019-03-29 | 2019-09-03 | Mujin, Inc. | Method and control system for verifying and updating camera calibration for robot control |
WO2021009800A1 (ja) * | 2019-07-12 | 2021-01-21 | 株式会社Fuji | ロボット制御システム及びロボット制御方法 |
JP7306937B2 (ja) * | 2019-09-25 | 2023-07-11 | ファナック株式会社 | ロボットに支持された部材の位置を調整するロボット装置の制御装置 |
US11875013B2 (en) * | 2019-12-23 | 2024-01-16 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments |
US11816754B2 (en) * | 2020-03-13 | 2023-11-14 | Omron Corporation | Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium |
US20210286502A1 (en) * | 2020-03-16 | 2021-09-16 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences |
CH717263A1 (fr) * | 2020-03-27 | 2021-09-30 | Richemont Int Sa | Loupe électronique d'horloger, ensemble de loupe électronique d'horloger et procédé pour effectuer un contrôle d'un produit horloger, notamment d'un mécanisme de montre. |
JP2023529126A (ja) * | 2020-06-08 | 2023-07-07 | アップル インコーポレイテッド | 三次元環境におけるアバターの提示 |
CN113103230A (zh) * | 2021-03-30 | 2021-07-13 | 山东大学 | 一种基于处置机器人遥操作的人机交互***及方法 |
-
2017
- 2017-08-25 JP JP2017162670A patent/JP6795471B2/ja active Active
-
2018
- 2018-08-07 US US16/057,105 patent/US10786906B2/en active Active
- 2018-08-20 DE DE102018213985.7A patent/DE102018213985B4/de active Active
- 2018-08-22 CN CN201810961409.8A patent/CN109421048B/zh active Active
-
2020
- 2020-08-14 US US16/993,492 patent/US11565427B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004213673A (ja) * | 2002-12-30 | 2004-07-29 | Abb Res Ltd | 強化現実システム及び方法 |
JP2014128845A (ja) * | 2012-12-28 | 2014-07-10 | Fanuc Ltd | ロボットシステム表示装置 |
JP2014180707A (ja) * | 2013-03-18 | 2014-09-29 | Yaskawa Electric Corp | ロボット装置及び被加工物の製造方法 |
JP2016049601A (ja) * | 2014-08-29 | 2016-04-11 | 株式会社安川電機 | ティーチングシステム、ロボットシステムおよびティーチング方法 |
JP2016107379A (ja) * | 2014-12-08 | 2016-06-20 | ファナック株式会社 | 拡張現実対応ディスプレイを備えたロボットシステム |
JP2017094406A (ja) * | 2015-11-18 | 2017-06-01 | オムロン株式会社 | シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10885340B2 (en) | 2018-07-25 | 2021-01-05 | Fanuc Corporation | Sensing system, work system, augmented-reality-image displaying method, augmented-reality-image storing method, and program |
US11328507B2 (en) | 2018-07-25 | 2022-05-10 | Fanuc Corporation | Sensing system, work system, augmented-reality-image displaying method, augmented-reality-image storing method, and program |
US11049287B2 (en) | 2018-08-31 | 2021-06-29 | Fanuc Corporation | Sensing system, work system, augmented-reality-image displaying method, and program |
CN113601510A (zh) * | 2021-08-17 | 2021-11-05 | 广东电网有限责任公司 | 基于双目视觉的机器人移动控制方法、装置、***及设备 |
CN113601510B (zh) * | 2021-08-17 | 2024-05-07 | 广东电网有限责任公司 | 基于双目视觉的机器人移动控制方法、装置、***及设备 |
Also Published As
Publication number | Publication date |
---|---|
US20200368918A1 (en) | 2020-11-26 |
DE102018213985B4 (de) | 2022-09-29 |
US11565427B2 (en) | 2023-01-31 |
CN109421048B (zh) | 2023-06-02 |
JP6795471B2 (ja) | 2020-12-02 |
US20190061167A1 (en) | 2019-02-28 |
CN109421048A (zh) | 2019-03-05 |
US10786906B2 (en) | 2020-09-29 |
DE102018213985A1 (de) | 2019-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6795471B2 (ja) | ロボットシステム | |
JP6420229B2 (ja) | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム | |
US10618166B2 (en) | Teaching position correction device and teaching position correction method | |
JP4844453B2 (ja) | ロボットの教示装置及び教示方法 | |
US9519736B2 (en) | Data generation device for vision sensor and detection simulation system | |
JP2011031346A (ja) | ロボットのツール先端点の位置の計測装置および計測方法 | |
JP2008012604A (ja) | 計測装置及びキャリブレーション方法 | |
JP2005149299A (ja) | 教示位置修正装置 | |
JP3644991B2 (ja) | ロボット−センサシステムにおける座標系結合方法 | |
JPWO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
JP2017056546A (ja) | ロボットの機構パラメータを校正するために使用される計測装置 | |
JP2014065100A (ja) | ロボットシステム、及びロボットのティーチング方法 | |
JP2021062463A (ja) | ロボットシステム | |
JP2009269134A (ja) | 視覚検査装置のシミュレーション装置 | |
JP2011104720A (ja) | 教示ライン補正装置、教示ライン補正方法、及びそのプログラム | |
JP5573537B2 (ja) | ロボットのティーチングシステム | |
TWI806761B (zh) | 標誌檢測裝置以及機器人示教系統 | |
JP7292344B2 (ja) | 溶接システム、溶接方法及びプログラム | |
JP7366264B2 (ja) | ロボット教示方法及びロボット作業方法 | |
JP6559425B2 (ja) | レーザ照射制御装置 | |
JP7195476B1 (ja) | 作業プログラム作成システム及び作業プログラム作成方法 | |
TWI818717B (zh) | 作業程式作成系統以及作業程式作成方法 | |
KR101467898B1 (ko) | 레이저 포인터를 이용한 마킹 보조 장치 및 방법 | |
TWI822314B (zh) | 焊接線檢測系統 | |
JP2018158429A (ja) | ロボットシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181024 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190121 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190626 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191001 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191023 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20191225 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200407 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200804 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200901 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20200908 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201013 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6795471 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |