JP6895128B2 - ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム - Google Patents
ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム Download PDFInfo
- Publication number
- JP6895128B2 JP6895128B2 JP2018211426A JP2018211426A JP6895128B2 JP 6895128 B2 JP6895128 B2 JP 6895128B2 JP 2018211426 A JP2018211426 A JP 2018211426A JP 2018211426 A JP2018211426 A JP 2018211426A JP 6895128 B2 JP6895128 B2 JP 6895128B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- information
- shape model
- objects
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004088 simulation Methods 0.000 title claims description 47
- 238000000034 method Methods 0.000 title claims description 25
- 239000003550 marker Substances 0.000 claims description 77
- 238000012937 correction Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 21
- 230000004044 response Effects 0.000 claims description 15
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 6
- 101100456831 Caenorhabditis elegans sams-5 gene Proteins 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 8
- 230000036544 posture Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39451—Augmented reality for robot programming
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
まず、図1を参照しながら、本発明の適用例について説明する。
本実施形態に関わるロボット制御装置10は、ロボット20の動作を仮想空間内でシミュレーションする機能と、ロボット20の動作を実空間80内で制御する機能とを有するコンピュータシステムである。ここで、実空間とは、仮想空間と対比される概念であり、作業空間と同義である。ロボット20の具体例として、垂直多関節ロボット、水平多関節ロボット、直交ロボット、又はパラレルリンクロボットなどを挙げることができる。ロボット20は、自律的に動作するマニピュレータとして動作し、例えば、部品の組み立て、搬送、塗装、検査、研磨、又は洗浄などの用途に用いることができる。
次に、図2を参照しながら、ロボット制御装置10の第1のハードウェア構成の一例について説明する。
ロボット制御装置10は、そのハードウェア資源として、演算装置11と、記憶装置12と、入出力インタフェース13と、表示装置14と、入力装置15と、読み取り装置40とを備える。演算装置11は、CPU(Central Processing Unit)111と、ROM(Read Only Memory)112と、RAM(Random Access Memory)113とを備えている。記憶装置12は、ディスク媒体(例えば、磁気記録媒体又は光磁気記録媒体)又は半導体メモリ(例えば、揮発性メモリ又は不揮発性メモリ)などのコンピュータ読み取り可能な記録媒体である。このような記録媒体は、例えば、非一過性の記録媒体と呼ぶこともできる。記憶装置12は、ロボット20の動作を仮想空間内でシミュレーションするためのシミュレーションプログラム121と、ロボット20の動作を実空間80内で制御するためのロボット制御プログラム122と、オペレーティングシステム123と、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの3次元形状モデルの情報(モデル情報)124とを格納している。各種のソフトウェアプログラム(例えば、シミュレーションプログラム121、ロボット制御プログラム122、及びオペレーティングシステム123)は、それぞれ、記憶装置12からRAM113に読み込まれ、CPU111により解釈及び実行される。入出力インタフェース13は、読み取り装置40及びロボット20に接続している。表示装置14は、ロボット20及びその周囲に配置されている一つ又はそれ以上のオブジェクト30のそれぞれの3次元形状モデルが仮想空間内に配置されている様子を画面に表示するとともに、ロボット20の動作を仮想空間内でシミュレーションする様子を画面に表示する。表示装置14は、例えば、液晶ディスプレイ、電界発光ディスプレイ、又はプラズマディスプレイなどの平板ディスプレイである。入力装置15は、シミュレーションの設定やロボット20の動作設定などの各種の設定情報を操作者が入力するためのデバイスである。入力装置15は、例えば、キーボード、マウス、タッチスクリーンなどである。なお、携帯端末50及びゴーグル60の説明については後述する。
図3ロボット制御装置10の機能の一例を示すブロック図である。
ロボット制御装置10のハードウェア資源と各種のソフトウェアプログラム(例えば、シミュレーションプログラム121、ロボット制御プログラム122、及びオペレーティングシステム123)との協働により、解析部101、シミュレーション部102、補正部103、制御部104、記憶部105、表示部106、及び操作部107としての機能が実現される。特に、解析部101、シミュレーション部102、及び補正部103の各機能は、シミュレーションプログラム121とCPU111との協働により実現される。制御部104の機能は、ロボット制御プログラム122とCPU111との協働により実現される。記憶部105の機能は、オペレーティングシステム123と記憶装置12との協働により実現される。表示部106の機能は、オペレーティングシステム123と表示装置14との協働により実現される。操作部107の機能は、オペレーティングシステム123と入力装置15との協働により実現される。
図5は第1のハードウェア構成におけるロボット制御装置10によるシミュレーション方法の処理の流れの一例を示すフローチャートである。この処理は、シミュレーションプログラム121によるボット制御装置10のハードウェア資源の制御を通じて実行される。
ステップ501において、ロボット制御装置10は、ロボット20に付されているマーカー21を読み取るとともに、ロボット20の周辺に配置されている一つ又はそれ以上の各オブジェクト30に付されている一つ又はそれ以上のマーカー22を読み取る。
ステップ502において、ロボット制御装置10は、マーカー21及び一つ又はそれ以上のマーカー22の読み取り情報に基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置を画像解析する。
ステップ503において、ロボット制御装置10は、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置を示す情報と、マーカー21に関連付けられているロボットのモデル情報124と、一つ又はそれ以上のマーカー22のそれぞれに関連付けられている一つ又はそれ以上の各オブジェクト30のモデル情報124とに基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの3次元形状モデルを仮想空間内に配置して、ロボット20の動作をシミュレーションする。
次に、図6を参照しながら、ロボット制御装置10の第2のハードウェア構成の一例について説明する。
図6に示すように、ロボット20には、マーカー21に替えて、無線タグ22が付されている。同様に、各オブジェクト30には、マーカー31に替えて、無線タグ32が付されている。読み取り装置40として、カメラなどの撮影装置に替えて、タグリーダが用いられている。読み取り装置40は、ロボット20の3次元形状モデルの情報に関連付けられている識別情報を無線タグ22から読み取るとともに、オブジェクト30の3次元形状モデルの情報に関連付けられている識別情報を無線タグ32から読み取る。その他の第2のハードウェア構成は、第1のハードウェア構成と同様であるため、重複する説明を省略する。
第2のハードウェア構成におけるロボット制御装置10の機能ブロック図は、図3のブロック図と同じであるため、図3を参照しながら、第2のハードウェア構成におけるロボット制御装置10の各機能について説明する。
解析部101は、無線タグ22から受信した無線信号の位相情報に基づいてロボット20の実空間80上の位置を解析する。ロボット20に3枚の無線タグ22が付されている場合には、解析部101は、ロボット20の実空間80上の位置に加えてその姿勢も解析することができる。解析部101は、無線タグ32から受信した無線信号の位相情報に基づいてオブジェクト30の実空間80上の位置を解析する。オブジェクト30に3枚の無線タグ32が付されている場合には、解析部101は、オブジェクト30の実空間80上の位置に加えてその姿勢も解析することができる。シミュレーション部102は、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置(又は位置及び姿勢)を示す情報と、無線タグ22から読み出される識別情報に関連付けられているロボット20のモデル情報124と、一つ又はそれ以上の無線タグ32から読み出される識別情報にそれぞれ関連付けられている一つ又はそれ以上のオブジェクト30のモデル情報124とに基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの3次元形状モデルを仮想空間内に配置して、ロボット20の動作をシミュレーションする。なお、第2のハードウェア構成における補正部103、制御部104、記憶部105、表示部106、及び操作部107の各機能は、第1のハードウェア構成における補正部103、制御部104、記憶部105、表示部106、及び操作部107の各機能と同様である。
図7は第2のハードウェア構成におけるロボット制御装置10によるシミュレーション方法の処理の流れの一例を示すフローチャートである。この処理は、シミュレーションプログラム121によるボット制御装置10のハードウェア資源の制御を通じて実行される。
ステップ701において、ロボット制御装置10は、ロボット20の3次元形状モデルの情報に関連付けられている識別情報を無線タグ22から読み取るとともに、オブジェクト30の3次元形状モデルの情報に関連付けられている識別情報を無線タグ32から読み取る。
ステップ702において、ロボット制御装置10は、無線タグ22から受信した無線信号の位相情報に基づいてロボット20の実空間80上の位置を解析するとともに、無線タグ32から受信した無線信号の位相情報に基づいてオブジェクト30の実空間80上の位置を解析する。
ステップ703において、ロボット制御装置10は、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置を示す情報と、無線タグ22から読み出される識別情報に関連付けられているロボット20のモデル情報124と、一つ又はそれ以上の無線タグ32から読み出される識別情報にそれぞれ関連付けられている一つ又はそれ以上のオブジェクト30のモデル情報124とに基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの3次元形状モデルを仮想空間内に配置して、ロボット20の動作をシミュレーションする。
(付記1)
ロボット20に付されている第1のマーカー21であって、ロボット20の3次元形状モデルの情報に関連付けられている第1のマーカー21を読み取るとともに、ロボット20の周辺に配置されている一つ又はそれ以上の各オブジェクト30に付されている一つ又はそれ以上の第2のマーカー31であって、それぞれが、対応するオブジェクト30の3次元形状モデルの情報に関連付けられている、一つ又はそれ以上の第2のマーカー31を読み取る読み取り装置40と、
読み取り装置40によって読み取られた第1のマーカー21及び一つ又はそれ以上の第2のマーカー31の読み取り情報に基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置を画像解析する解析部101と、
解析部101により解析されたロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置を示す情報と、第1のマーカー21に関連付けられているロボット20の3次元形状モデルの情報と、一つ又はそれ以上の第2のマーカー31のそれぞれに関連付けられている一つ又はそれ以上の各オブジェクト30の3次元形状モデルの情報とに基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの3次元形状モデルを仮想空間80内に配置して、ロボット20の動作をシミュレーションするシミュレーション部102と、
を備えるロボット制御装置10。
(付記2)
付記1に記載のロボット制御装置10であって、
仮想空間80内に配置されているロボット20の3次元形状モデル及び一つ又はそれ以上の各オブジェクト30の3次元形状モデルを表示する表示部106と、
操作者の補正指示に応答して、ロボット20の3次元形状モデル又は一つ又はそれ以上の各オブジェクト30の3次元形状モデルの縮尺を補正する補正部103と、
を更に備える、ロボット制御装置10。
(付記3)
付記1又は2に記載のロボット制御装置10であって、
ロボット制御装置101にワイヤレス接続する拡張現実ゴーグル60、複合現実ゴーグル60、又は仮想現実ゴーグル60の何れか一つが表示部106として機能する、ロボット制御装置10。
(付記4)
付記1乃至3のうち何れか一つに記載のロボット制御装置10であって、
操作者からの第2のマーカー31の指定に応答して、予め定められた動作をするようにロボット20の動作を制御する制御部104を更に備える、ロボット制御装置10。
(付記5)
ロボット20に付されている第1の無線タグ22から、ロボット20の3次元形状モデルの情報に関連付けられている第1の識別情報を読み取るとともに、ロボット20の周辺に配置されている一つ又はそれ以上の各オブジェクト30に付されている一つ又はそれ以上の第2の無線タグ32から、対応するオブジェクト30の3次元形状モデルの情報に関連付けられている一つ又はそれ以上の第2の識別情報を読み取る読み取り装置40と、
読み取り装置40によって読み取られた第1の識別情報及び一つ又はそれ以上の第2の識別情報の読み取り情報に基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置を解析する解析部101と、
解析部101により解析されたロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置を示す情報と、第1の識別情報に関連付けられているロボット20の3次元形状モデルの情報と、一つ又はそれ以上の第2の識別情報のそれぞれに関連付けられている一つ又はそれ以上の各オブジェクト30の3次元形状モデルの情報とに基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの3次元形状モデルを仮想空間内に配置して、ロボット20の動作をシミュレーションするシミュレーション部102と、
を備えるロボット制御装置10。
(付記6)
付記5に記載のロボット制御装置10であって、
仮想空間内に配置されているロボット20の3次元形状モデル及び一つ又はそれ以上の各オブジェクト30の3次元形状モデルを表示する表示部106と、
操作者の補正指示に応答して、ロボット20の3次元形状モデル又は一つ又はそれ以上の各オブジェクト30の3次元形状モデルの縮尺を補正する補正部103と、
を更に備える、ロボット制御装置10。
(付記7)
付記5又は6に記載のロボット制御装置10であって、
ロボット制御装置101にワイヤレス接続する拡張現実ゴーグル60、複合現実ゴーグル60、又は仮想現実ゴーグル60の何れか一つが表示部106として機能する、ロボット制御装置10。
(付記8)
付記5乃至7のうち何れか一つに記載のロボット制御装置10であって、
操作者からの第2の無線タグ32の指定に応答して、予め定められた動作をするようにロボット20の動作を制御する制御部104を更に備える、ロボット制御装置10。
(付記9)
コンピュータシステムが、
ロボット20に付されている第1のマーカー21であって、ロボット20の3次元形状モデルの情報に関連付けられている第1のマーカー21を読み取るとともに、ロボット20の周辺に配置されている一つ又はそれ以上の各オブジェクト30に付されている一つ又はそれ以上の第2のマーカー31であって、それぞれが、対応するオブジェクト30の3次元形状モデルの情報に関連付けられている、一つ又はそれ以上の第2のマーカー31を読み取るステップ501と、
第1のマーカー21及び一つ又はそれ以上の第2のマーカー31の読み取り情報に基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置を画像解析するステップ502と、
ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置を示す情報と、第1のマーカー21に関連付けられているロボット20の3次元形状モデルの情報と、一つ又はそれ以上の第2のマーカー31のそれぞれに関連付けられている一つ又はそれ以上の各オブジェクト30の3次元形状モデルの情報とに基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの3次元形状モデルを仮想空間内に配置して、ロボット20の動作をシミュレーションするステップ503と、
を実行するシミュレーション方法。
(付記10)
コンピュータシステムが、
ロボット20に付されている第1の無線タグ22から、ロボット20の3次元形状モデルの情報に関連付けられている第1の識別情報を読み取るとともに、ロボット20の周辺に配置されている一つ又はそれ以上の各オブジェクト30に付されている一つ又はそれ以上の第2の無線タグ32から、対応するオブジェクト30の3次元形状モデルの情報に関連付けられている一つ又はそれ以上の第2の識別情報を読み取るステップ701と、
第1の識別情報及び一つ又はそれ以上の第2の識別情報の読み取り情報に基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間上の位置を解析するステップ702と、
ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置を示す情報と、第1の識別情報に関連付けられているロボット20の3次元形状モデルの情報と、一つ又はそれ以上の第2の識別情報のそれぞれに関連付けられている一つ又はそれ以上の各オブジェクト30の3次元形状モデルの情報とに基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの3次元形状モデルを仮想空間80内に配置して、ロボット20の動作をシミュレーションするステップ703と、
を実行するシミュレーション方法。
(付記11)
コンピュータシステムに、
ロボット20に付されている第1のマーカー21であって、ロボット20の3次元形状モデルの情報に関連付けられている第1のマーカー21を読み取るとともに、ロボット20の周辺に配置されている一つ又はそれ以上の各オブジェクト30に付されている一つ又はそれ以上の第2のマーカー31であって、それぞれが、対応するオブジェクト30の3次元形状モデルの情報に関連付けられている、一つ又はそれ以上の第2のマーカー31を読み取るステップ501と、
第1のマーカー21及び一つ又はそれ以上の第2のマーカー31の読み取り情報に基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置を画像解析するステップ502と、
ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置を示す情報と、第1のマーカー21に関連付けられているロボット20の3次元形状モデルの情報と、一つ又はそれ以上の第2のマーカー31のそれぞれに関連付けられている一つ又はそれ以上の各オブジェクト30の3次元形状モデルの情報とに基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの3次元形状モデルを仮想空間内に配置して、ロボット20の動作をシミュレーションするステップ503と、
を実行させるシミュレーションプログラム121。
(付記12)
コンピュータシステムに、
ロボット20に付されている第1の無線タグ22から、ロボット20の3次元形状モデルの情報に関連付けられている第1の識別情報を読み取るとともに、ロボット20の周辺に配置されている一つ又はそれ以上の各オブジェクト30に付されている一つ又はそれ以上の第2の無線タグ32から、対応するオブジェクト30の3次元形状モデルの情報に関連付けられている一つ又はそれ以上の第2の識別情報を読み取るステップ701と、
第1の識別情報及び一つ又はそれ以上の第2の識別情報の読み取り情報に基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間上の位置を解析するステップ702と、
ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの実空間80上の位置を示す情報と、第1の識別情報に関連付けられているロボット20の3次元形状モデルの情報と、一つ又はそれ以上の第2の識別情報のそれぞれに関連付けられている一つ又はそれ以上の各オブジェクト30の3次元形状モデルの情報とに基づいて、ロボット20及び一つ又はそれ以上のオブジェクト30のそれぞれの3次元形状モデルを仮想空間80内に配置して、ロボット20の動作をシミュレーションするステップ703と、
を実行させるシミュレーションプログラム121。
Claims (12)
- ロボットに付されている第1のマーカーであって、前記ロボットの3次元形状モデルの情報に関連付けられている第1のマーカーを読み取るとともに、前記ロボットの周辺に配置されている一つ又はそれ以上の各オブジェクトに付されている一つ又はそれ以上の第2のマーカーであって、それぞれが、対応するオブジェクトの3次元形状モデルの情報に関連付けられている、一つ又はそれ以上の第2のマーカーを読み取る読み取り装置と、
前記読み取り装置によって読み取られた前記第1のマーカー及び前記一つ又はそれ以上の第2のマーカーの読み取り情報に基づいて、前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの実空間上の位置を画像解析する解析部と、
前記解析部により解析された前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの実空間上の位置を示す情報と、前記第1のマーカーに関連付けられている前記ロボットの3次元形状モデルの情報と、前記一つ又はそれ以上の第2のマーカーのそれぞれに関連付けられている前記一つ又はそれ以上の各オブジェクトの3次元形状モデルの情報とに基づいて、前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの3次元形状モデルを仮想空間内に配置して、前記ロボットの動作をシミュレーションするシミュレーション部と、
を備えるロボット制御装置。 - 請求項1に記載のロボット制御装置であって、
前記仮想空間内に配置されている前記ロボットの3次元形状モデル及び前記一つ又はそれ以上の各オブジェクトの3次元形状モデルを表示する表示部と、
操作者の補正指示に応答して、前記ロボットの3次元形状モデル又は前記一つ又はそれ以上の各オブジェクトの3次元形状モデルの縮尺を補正する補正部と、
を更に備える、ロボット制御装置。 - 請求項2に記載のロボット制御装置であって、
前記ロボット制御装置にワイヤレス接続する拡張現実ゴーグル、複合現実ゴーグル、又は仮想現実ゴーグルの何れか一つが前記表示部として機能する、ロボット制御装置。 - 請求項1乃至3のうち何れか1項に記載のロボット制御装置であって、
操作者からの前記第2のマーカーの指定に応答して、予め定められた動作をするように前記ロボットの動作を制御する制御部を更に備える、ロボット制御装置。 - ロボットに付されている第1の無線タグから、前記ロボットの3次元形状モデルの情報に関連付けられている第1の識別情報を読み取るとともに、前記ロボットの周辺に配置されている一つ又はそれ以上の各オブジェクトに付されている一つ又はそれ以上の第2の無線タグから、対応するオブジェクトの3次元形状モデルの情報に関連付けられている一つ又はそれ以上の第2の識別情報を読み取る読み取り装置と、
前記読み取り装置によって読み取られた前記第1の識別情報及び前記一つ又はそれ以上の第2の識別情報の読み取り情報に基づいて、前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの実空間上の位置を解析する解析部と、
前記解析部により解析された前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの実空間上の位置を示す情報と、前記第1の識別情報に関連付けられている前記ロボットの3次元形状モデルの情報と、前記一つ又はそれ以上の第2の識別情報のそれぞれに関連付けられている前記一つ又はそれ以上の各オブジェクトの3次元形状モデルの情報とに基づいて、前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの3次元形状モデルを仮想空間内に配置して、前記ロボットの動作をシミュレーションするシミュレーション部と、
を備えるロボット制御装置。 - 請求項5に記載のロボット制御装置であって、
前記仮想空間内に配置されている前記ロボットの3次元形状モデル及び前記一つ又はそれ以上の各オブジェクトの3次元形状モデルを表示する表示部と、
操作者の補正指示に応答して、前記ロボットの3次元形状モデル又は前記一つ又はそれ以上の各オブジェクトの3次元形状モデルの縮尺を補正する補正部と、
を更に備える、ロボット制御装置。 - 請求項6に記載のロボット制御装置であって、
前記ロボット制御装置にワイヤレス接続する拡張現実ゴーグル、複合現実ゴーグル、又は仮想現実ゴーグルの何れか一つが前記表示部として機能する、ロボット制御装置。 - 請求項5乃至7のうち何れか1項に記載のロボット制御装置であって、
操作者からの前記第2の無線タグの指定に応答して、予め定められた動作をするように前記ロボットの動作を制御する制御部を更に備える、ロボット制御装置。 - コンピュータシステムが、
ロボットに付されている第1のマーカーであって、前記ロボットの3次元形状モデルの情報に関連付けられている第1のマーカーを読み取るとともに、前記ロボットの周辺に配置されている一つ又はそれ以上の各オブジェクトに付されている一つ又はそれ以上の第2のマーカーであって、それぞれが、対応するオブジェクトの3次元形状モデルの情報に関連付けられている、一つ又はそれ以上の第2のマーカーを読み取るステップと、
前記第1のマーカー及び前記一つ又はそれ以上の第2のマーカーの読み取り情報に基づいて、前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの実空間上の位置を画像解析するステップと、
前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの実空間上の位置を示す情報と、前記第1のマーカーに関連付けられている前記ロボットの3次元形状モデルの情報と、前記一つ又はそれ以上の第2のマーカーのそれぞれに関連付けられている前記一つ又はそれ以上の各オブジェクトの3次元形状モデルの情報とに基づいて、前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの3次元形状モデルを仮想空間内に配置して、前記ロボットの動作をシミュレーションするステップと、
を実行するシミュレーション方法。 - コンピュータシステムが、
ロボットに付されている第1の無線タグから、前記ロボットの3次元形状モデルの情報に関連付けられている第1の識別情報を読み取るとともに、前記ロボットの周辺に配置されている一つ又はそれ以上の各オブジェクトに付されている一つ又はそれ以上の第2の無線タグから、対応するオブジェクトの3次元形状モデルの情報に関連付けられている一つ又はそれ以上の第2の識別情報を読み取るステップと、
前記第1の識別情報及び前記一つ又はそれ以上の第2の識別情報の読み取り情報に基づいて、前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの実空間上の位置を解析するステップと、
前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの実空間上の位置を示す情報と、前記第1の識別情報に関連付けられている前記ロボットの3次元形状モデルの情報と、前記一つ又はそれ以上の第2の識別情報のそれぞれに関連付けられている前記一つ又はそれ以上の各オブジェクトの3次元形状モデルの情報とに基づいて、前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの3次元形状モデルを仮想空間内に配置して、前記ロボットの動作をシミュレーションするステップと、
を実行するシミュレーション方法。 - コンピュータシステムに、
ロボットに付されている第1のマーカーであって、前記ロボットの3次元形状モデルの情報に関連付けられている第1のマーカーを読み取るとともに、前記ロボットの周辺に配置されている一つ又はそれ以上の各オブジェクトに付されている一つ又はそれ以上の第2のマーカーであって、それぞれが、対応するオブジェクトの3次元形状モデルの情報に関連付けられている、一つ又はそれ以上の第2のマーカーを読み取るステップと、
前記第1のマーカー及び前記一つ又はそれ以上の第2のマーカーの読み取り情報に基づいて、前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの実空間上の位置を画像解析するステップと、
前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの実空間上の位置を示す情報と、前記第1のマーカーに関連付けられている前記ロボットの3次元形状モデルの情報と、前記一つ又はそれ以上の第2のマーカーのそれぞれに関連付けられている前記一つ又はそれ以上の各オブジェクトの3次元形状モデルの情報とに基づいて、前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの3次元形状モデルを仮想空間内に配置して、前記ロボットの動作をシミュレーションするステップと、
を実行させるシミュレーションプログラム。 - コンピュータシステムに、
ロボットに付されている第1の無線タグから、前記ロボットの3次元形状モデルの情報に関連付けられている第1の識別情報を読み取るとともに、前記ロボットの周辺に配置されている一つ又はそれ以上の各オブジェクトに付されている一つ又はそれ以上の第2の無線タグから、対応するオブジェクトの3次元形状モデルの情報に関連付けられている一つ又はそれ以上の第2の識別情報を読み取るステップと、
前記第1の識別情報及び前記一つ又はそれ以上の第2の識別情報の読み取り情報に基づいて、前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの実空間上の位置を解析するステップと、
前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの実空間上の位置を示す情報と、前記第1の識別情報に関連付けられている前記ロボットの3次元形状モデルの情報と、前記一つ又はそれ以上の第2の識別情報のそれぞれに関連付けられている前記一つ又はそれ以上の各オブジェクトの3次元形状モデルの情報とに基づいて、前記ロボット及び前記一つ又はそれ以上のオブジェクトのそれぞれの3次元形状モデルを仮想空間内に配置して、前記ロボットの動作をシミュレーションするステップと、
を実行させるシミュレーションプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018211426A JP6895128B2 (ja) | 2018-11-09 | 2018-11-09 | ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム |
PCT/JP2019/042084 WO2020095735A1 (ja) | 2018-11-09 | 2019-10-28 | ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム |
US17/269,997 US20210323146A1 (en) | 2018-11-09 | 2019-10-28 | Robot control device, simulation method, and simulation non-transitory computer readable medium |
EP19881391.7A EP3878604A4 (en) | 2018-11-09 | 2019-10-28 | ROBOT CONTROL DEVICE, SIMULATION METHOD AND SIMULATION PROGRAM |
CN201980051706.1A CN112512757A (zh) | 2018-11-09 | 2019-10-28 | 机器人控制装置、模拟方法以及模拟程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018211426A JP6895128B2 (ja) | 2018-11-09 | 2018-11-09 | ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020075338A JP2020075338A (ja) | 2020-05-21 |
JP6895128B2 true JP6895128B2 (ja) | 2021-06-30 |
Family
ID=70611323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018211426A Active JP6895128B2 (ja) | 2018-11-09 | 2018-11-09 | ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20210323146A1 (ja) |
EP (1) | EP3878604A4 (ja) |
JP (1) | JP6895128B2 (ja) |
CN (1) | CN112512757A (ja) |
WO (1) | WO2020095735A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116917093A (zh) * | 2021-02-26 | 2023-10-20 | 株式会社安川电机 | 模拟装置、控制***以及建模方法 |
JP2022186476A (ja) * | 2021-06-04 | 2022-12-15 | パナソニックIpマネジメント株式会社 | 情報処理装置、情報処理方法、及び、コンピュータプログラム |
KR20230143002A (ko) * | 2022-04-04 | 2023-10-11 | 두산로보틱스 주식회사 | 로봇의 기능 모듈의 개발 환경 제공 장치 및 방법 |
KR20240000240A (ko) * | 2022-06-23 | 2024-01-02 | 현대자동차주식회사 | 차량 생산 관리 시스템 및 그 방법 |
CN115016511A (zh) * | 2022-08-08 | 2022-09-06 | 北京安录国际技术有限公司 | 一种基于人工智能的机器人控制方法及*** |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3782679B2 (ja) * | 2001-05-09 | 2006-06-07 | ファナック株式会社 | 干渉回避装置 |
US7228203B2 (en) * | 2004-03-27 | 2007-06-05 | Vision Robotics Corporation | Autonomous personal service robot |
JP4302160B2 (ja) * | 2007-09-12 | 2009-07-22 | ファナック株式会社 | ロボットによるパレタイジング作業のためのロボットプログラミング装置 |
DE102007055205A1 (de) * | 2007-11-19 | 2009-05-20 | Kuka Roboter Gmbh | Verfahren zum Ermitteln eines Aufstellortes und zum Aufstellen einer Erfassungsvorrichtung eines Navigationssystems |
JP5278955B2 (ja) * | 2009-03-27 | 2013-09-04 | 独立行政法人産業技術総合研究所 | 福祉用ロボット装置のロボットアーム操作方法 |
US11164394B2 (en) * | 2012-02-24 | 2021-11-02 | Matterport, Inc. | Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications |
US8843236B2 (en) * | 2012-03-15 | 2014-09-23 | GM Global Technology Operations LLC | Method and system for training a robot using human-assisted task demonstration |
US20130257856A1 (en) * | 2012-04-03 | 2013-10-03 | Google Inc. | Determining a View of an Object in a Three-Dimensional Image Viewer |
JP5742862B2 (ja) * | 2013-03-18 | 2015-07-01 | 株式会社安川電機 | ロボット装置及び被加工物の製造方法 |
CN105637435B (zh) * | 2013-10-07 | 2018-04-17 | Abb技术有限公司 | 用于验证针对可移动的机械单元的一个或多个安全容积的方法和装置 |
JP6127925B2 (ja) * | 2013-11-11 | 2017-05-17 | 株式会社安川電機 | ロボットシミュレーション装置、ロボットシミュレーション方法、およびロボットシミュレーションプログラム |
CN103759635B (zh) * | 2013-12-25 | 2016-10-26 | 合肥工业大学 | 一种精度与机器人无关的扫描测量机器人检测方法 |
KR101615687B1 (ko) * | 2014-05-27 | 2016-04-26 | 한국생산기술연구원 | 충돌 예측 로봇 원격 제어 시스템 및 그 방법 |
JP5908544B2 (ja) * | 2014-08-11 | 2016-04-26 | ファナック株式会社 | 駆動軸のジャークを低下させるロボットプログラムを生成するロボットプログラム生成装置 |
JP5980873B2 (ja) * | 2014-10-17 | 2016-08-31 | ファナック株式会社 | ロボットの干渉領域設定装置 |
US9740191B2 (en) * | 2015-02-12 | 2017-08-22 | The Boeing Company | Location calibration for automated production manufacturing |
AU2016222790B2 (en) * | 2015-02-25 | 2020-04-02 | Mako Surgical Corp. | Navigation systems and methods for reducing tracking interruptions during a surgical procedure |
JP2016221602A (ja) * | 2015-05-28 | 2016-12-28 | セイコーエプソン株式会社 | ロボット、制御装置およびプログラム |
JP6522488B2 (ja) * | 2015-07-31 | 2019-05-29 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
CN105455901B (zh) * | 2015-11-20 | 2018-02-02 | 清华大学 | 针对手术机器人的避障规划方法和避障规划*** |
US10384347B2 (en) * | 2016-03-25 | 2019-08-20 | Seiko Epson Corporation | Robot control device, robot, and simulation device |
DE102016006232A1 (de) * | 2016-05-18 | 2017-11-23 | Kuka Roboter Gmbh | Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt |
CA3025300A1 (en) * | 2016-05-23 | 2017-11-30 | Mako Surgical Corp. | Systems and methods for identifying and tracking physical objects during a robotic surgical procedure |
ES2957271T3 (es) * | 2017-02-25 | 2024-01-16 | Diligent Robotics Inc | Sistemas, aparatos y métodos para el aprendizaje y la ejecución de habilidades robóticas |
CN107309882B (zh) * | 2017-08-14 | 2019-08-06 | 青岛理工大学 | 一种机器人示教编程***及方法 |
WO2019123729A1 (ja) * | 2017-12-19 | 2019-06-27 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理方法、およびプログラム |
-
2018
- 2018-11-09 JP JP2018211426A patent/JP6895128B2/ja active Active
-
2019
- 2019-10-28 EP EP19881391.7A patent/EP3878604A4/en active Pending
- 2019-10-28 US US17/269,997 patent/US20210323146A1/en active Pending
- 2019-10-28 CN CN201980051706.1A patent/CN112512757A/zh active Pending
- 2019-10-28 WO PCT/JP2019/042084 patent/WO2020095735A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
EP3878604A4 (en) | 2022-07-20 |
JP2020075338A (ja) | 2020-05-21 |
EP3878604A1 (en) | 2021-09-15 |
US20210323146A1 (en) | 2021-10-21 |
CN112512757A (zh) | 2021-03-16 |
WO2020095735A1 (ja) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6895128B2 (ja) | ロボット制御装置、シミュレーション方法、及びシミュレーションプログラム | |
Eswaran et al. | Challenges and opportunities on AR/VR technologies for manufacturing systems in the context of industry 4.0: A state of the art review | |
US10751877B2 (en) | Industrial robot training using mixed reality | |
Eswaran et al. | Augmented reality-based guidance in product assembly and maintenance/repair perspective: A state of the art review on challenges and opportunities | |
Lambrecht et al. | Spatial programming for industrial robots through task demonstration | |
Frank et al. | Realizing mixed-reality environments with tablets for intuitive human-robot collaboration for object manipulation tasks | |
Pai et al. | Augmented reality–based programming, planning and simulation of a robotic work cell | |
EP3166084B1 (en) | Method and system for determining a configuration of a virtual robot in a virtual environment | |
JP6896204B2 (ja) | コンピュータプログラムを生成するデバイス及びコンピュータプログラムを生成する方法 | |
US11107367B2 (en) | Adaptive assembly guidance system | |
Puthenveetil et al. | Computer-automated ergonomic analysis based on motion capture and assembly simulation | |
US20150165623A1 (en) | Method For Programming An Industrial Robot In A Virtual Environment | |
WO2019186551A1 (en) | Augmented reality for industrial robotics | |
Chen et al. | Projection-based augmented reality system for assembly guidance and monitoring | |
Hutabarat et al. | Combining virtual reality enabled simulation with 3D scanning technologies towards smart manufacturing | |
Tao et al. | Manufacturing assembly simulations in virtual and augmented reality | |
Zhang et al. | Robot programming by demonstration: A novel system for robot trajectory programming based on robot operating system | |
JP2019079481A (ja) | 生体情報解析装置及びその顔型のシミュレーション方法 | |
Yang et al. | HA R 2 bot: a human-centered augmented reality robot programming method with the awareness of cognitive load | |
Costa et al. | Modeling of video projectors in OpenGL for implementing a spatial augmented reality teaching system for assembly operations | |
CN111844035A (zh) | 机器人标定方法、设备及存储介质 | |
KR20190075356A (ko) | 객체를 식별하기 위한 장치 및 방법 | |
Barker et al. | A low-cost Hardware-in-the-Loop agent-based simulation testbed for autonomous vehicles | |
Deniša et al. | Technology Modules Providing Solutions for Agile Manufacturing | |
Ziaee et al. | Augmented reality applications in manufacturing and its future scope in Industry 4.0 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6895128 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |