JP2018144152A - ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 - Google Patents
ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 Download PDFInfo
- Publication number
- JP2018144152A JP2018144152A JP2017040967A JP2017040967A JP2018144152A JP 2018144152 A JP2018144152 A JP 2018144152A JP 2017040967 A JP2017040967 A JP 2017040967A JP 2017040967 A JP2017040967 A JP 2017040967A JP 2018144152 A JP2018144152 A JP 2018144152A
- Authority
- JP
- Japan
- Prior art keywords
- work
- model
- simulation
- unit
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 559
- 238000000034 method Methods 0.000 title claims description 241
- 238000005259 measurement Methods 0.000 claims abstract description 140
- 230000033001 locomotion Effects 0.000 claims description 100
- 230000008569 process Effects 0.000 claims description 100
- 230000008859 change Effects 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000036544 posture Effects 0.000 description 252
- 238000010586 diagram Methods 0.000 description 48
- 238000009826 distribution Methods 0.000 description 32
- 238000003860 storage Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 28
- 239000012636 effector Substances 0.000 description 24
- 238000013500 data storage Methods 0.000 description 22
- 230000007717 exclusion Effects 0.000 description 19
- 229910052751 metal Inorganic materials 0.000 description 19
- 239000002184 metal Substances 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 17
- 239000011347 resin Substances 0.000 description 16
- 229920005989 resin Polymers 0.000 description 16
- 238000001514 detection method Methods 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 10
- 230000005484 gravity Effects 0.000 description 9
- 238000005192 partition Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 8
- 238000005286 illumination Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000002366 time-of-flight method Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000003746 surface roughness Effects 0.000 description 3
- 102100024458 Cyclin-dependent kinase inhibitor 2A Human genes 0.000 description 2
- 101000980932 Homo sapiens Cyclin-dependent kinase inhibitor 2A Proteins 0.000 description 2
- 101000733249 Homo sapiens Tumor suppressor ARF Proteins 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000220317 Rosa Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1669—Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45063—Pick and place manipulator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/10—Numerical modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/02—Arm motion controller
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/30—End effector
- Y10S901/31—Gripping jaw
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
- Y10S901/47—Optical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
【解決手段】ワークの三次元形状をモデル化したワークモデルを設定するためのワークモデル設定部11と、仮想的な作業空間である仮想作業空間内に複数のワークモデルを積み上げた、仮想的なバラ積みデータを生成するためのバラ積みデータ生成部20と、バラ積みデータ内の各ワークモデルの位置と姿勢に基づいて、作業空間の上方に配置されるセンサ部2により三次元計測が可能と推定される推定領域を特定するための領域推定部22と、領域推定部22により特定された推定領域のデータに基づいて、仮想作業空間内のワークモデルのバラ積みピッキング動作を検証するシミュレーションを実行するためのピッキング動作シミュレート部30とを備える。
【選択図】図3
Description
(ロボットシステム)
(ピッキング動作シミュレーション)
(実施形態1)
(ロボットシミュレーション装置)
(表示部3)
(実施形態1B)
(実施形態2)
(物理シミュレーション部)
(初期姿勢)
(実施形態4)
(領域推定部22)
(実施形態5)
(シミュレーション用データ生成部40)
(実施形態6)
(検出用設定部50)
(シミュレーション環境設定部10)
(ワークモデル設定部11)
(表面状態パラメータ設定部)
(容器モデル設定部14)
(センサモデル設定部15)
(シミュレーション用データを更新)
(実施形態7)
(実施形態7に係るシミュレーション環境の設定手順)
(表面状態パラメータ)
(角度閾値の決定方法)
…(1)式
なお上式において、各項は以下を表している。
I:反射光;Id:拡散反射成分;Is:鏡面反射成分;Ia:環境光成分
…(2)式
[拡散反射成分]
[鏡面反射成分]
(実施例1)
(実施例2)
(実施形態8)
(ピッキング動作シミュレーションの手順)
(バラ積み画像の生成手順)
(物理シミュレーション)
(シミュレーションの初期状態の再現)
(物理シミュレーションの過程におけるデータの保存)
(ワークモデルの姿勢の制限)
(I:ワークモデルを一つづつ投下させる物理シミュレーションにおける姿勢制限)
1.物理シミュレーションにおけるワークモデルの投下時に、姿勢制限を加える。
2.物理シミュレーションの実行後に、姿勢制限範囲外のワークモデルを除外する。
3.上記1.、2.の両方を行う。
の3パターンが挙げられる。
(1.ワークモデルの投下時に姿勢制限)
(2.ワークモデルの投下後に姿勢制限)
(3.ワークモデルの投下前後に姿勢制限)
(実施形態9)
(姿勢条件の設定画面)
(基本姿勢の設定)
(ワークモデルの配置条件設定)
(配置パターン選択)
(姿勢安定性パラメータ決定部17)
(姿勢安定性の演算方法)
(実施形態10)
(実施形態11)
(ワークモデルを一つ取り出したことによる残りのワークモデル群の変化)
(物理シミュレーションを再実行する範囲)
(物理シミュレーションを再実行するタイミング)
(表示ユーザインタフェース)
(ワークモデルの数を一つ減らす手順)
(ワークモデルのバラ積み画像の生成)
(無効画素)
(角度閾値)
(検出用設定部50)
(カメラの位置に基づく困難領域の排除)
(実施形態12)
(実施形態12に係るピッキング動作シミュレーションの手順)
(実施形態12に係るバラ積み画像の生成手順)
(バラ積み画像の生成手順)
(角度閾値決定部54)
(実施形態13)
(角度分布ヒストグラム)
(実施形態13に係るシミュレーション環境の設定手順)
(実施形態14)
100、200、300、400、500、600…ロボットシミュレーション装置
1…画像処理部
2…センサ部
3…表示部
4…操作部
5…ロボット本体
6…ロボットコントローラ
7…ロボット操作具
10…シミュレーション環境設定部
11…ワークモデル設定部
12…表面状態パラメータ設定部
13…角度閾値決定部
14…容器モデル設定部
15…センサモデル設定部
16…姿勢条件設定部
17…姿勢安定性パラメータ決定部
18…除外ワーク選択部
19…除外条件算出部
20…バラ積みデータ生成部
22…領域推定部
23…バラ積みデータ記憶部
24…原因解析部
29…シミュレーションパラメータ調整部
30、30B…ピッキング動作シミュレート部
31…バラ積み画像生成部
32…位置姿勢検出部
33…把持解算出部
40…シミュレーション用データ生成部
50…検出用設定部
52…計測データ記憶部
54…角度閾値決定部
60…物理シミュレーション部
110…姿勢条件設定画面
120…配置条件設定画面
EET、EET2、EET3…エンドエフェクタ
ARM…アーム
WK…ワーク
WK2…空洞を有するワーク
WK3…板状のワーク
WK4…樹脂製のワーク
WK5…金属製のワーク
WK6…表面と裏面の面積が異なるワーク
WK7…板状のワーク
WK8…円筒状のワーク
WM、WM6、WM7…ワークモデル
WM4…樹脂製ワークモデル
WM5…金属製ワークモデル
WMT…T字型のワークモデル
WMC…円筒形のワークモデル
PRJ…プロジェクタ
CME1、CME2、CME3、CME4…カメラ
CMM、CMM2、CMM3…カメラモデル
BX…収納容器
SL…中敷き
DIV…間仕切り
DSA…指定領域
WMF…ワイヤーフレーム状のワークモデル
DSP…指定頂点
WMD…ワークモデルの展開図
PM…プロジェクタモデル
Claims (23)
- 作業空間に積み上げられた複数のワークの三次元形状をセンサ部により測定し、ロボットによって順次取り出すバラ積みピッキング動作をシミュレーションするためのロボットシミュレーション装置であって、
ワークの三次元形状をモデル化したワークモデルを設定するためのワークモデル設定部と、
仮想的な作業空間である仮想作業空間内に複数の前記ワークモデルを積み上げた、仮想的なバラ積みデータを生成するためのバラ積みデータ生成部と、
前記バラ積みデータ内の各ワークモデルの位置と姿勢に基づいて、前記作業空間の上方に配置されるセンサ部により三次元計測が可能と推定される推定領域を特定するための領域推定部と、
前記領域推定部により特定された推定領域のデータに基づいて、前記仮想作業空間内の前記ワークモデルのバラ積みピッキング動作を検証するシミュレーションを実行するためのピッキング動作シミュレート部と
を備えてなるロボットシミュレーション装置。 - 作業空間に積み上げられた複数のワークの三次元形状をセンサ部により測定し、ロボットによって順次取り出すバラ積みピッキング動作をシミュレーションするためのロボットシミュレーション装置であって、
ワークの三次元形状をモデル化したワークモデルを設定するためのワークモデル設定部と、
仮想的な作業空間である仮想作業空間内に複数の前記ワークモデルを積み上げた、仮想的なバラ積みデータを生成するためのバラ積みデータ生成部と、
前記バラ積みデータ内の各ワークモデルの位置と姿勢に基づいて、前記作業空間の上方に配置されるセンサ部により三次元計測が困難と推定される推定領域を特定するための領域推定部と、
前記領域推定部により特定された推定領域のデータを含まないバラ積みデータをシミュレーション用データとして生成するためのシミュレーション用データ生成部と、
前記シミュレーション用データを用いて、前記仮想作業空間内の前記ワークモデルのバラ積みピッキング動作を検証するシミュレーションを実行するためのピッキング動作シミュレート部と
を備えてなるロボットシミュレーション装置。 - 請求項2に記載のロボットシミュレーション装置であって、
前記シミュレーション用データ生成部は、前記ピッキング動作シミュレート部によるバラ積みピッキング動作のシミュレーション実行中にいずれか一のワークモデルが取り出されると、残りのワークモデルに対して計測可能な領域を再度推定し、シミュレーション用データを更新するよう構成してなるロボットシミュレーション装置。 - 請求項1〜3のいずれか一項に記載のロボットシミュレーション装置であって、さらに、
ワークの三次元計測を行うためのカメラの位置及び姿勢を仮想的に示すカメラモデルを、仮想的なセンサモデルとして設定するためのセンサモデル設定部を備えてなるロボットシミュレーション装置。 - 請求項4に記載のロボットシミュレーション装置であって、
前記センサモデル設定部が、前記センサモデルに、ワークの三次元計測を行うためのプロジェクタの位置及び姿勢を仮想的に示すプロジェクタモデルを含むよう構成してなるロボットシミュレーション装置。 - 請求項5に記載のロボットシミュレーション装置であって、
前記領域推定部は、前記推定領域を、前記センサモデル設定部で設定されたセンサモデルから見て死角となる領域を、計測困難な死角領域として推定するよう構成してなるロボットシミュレーション装置。 - 請求項5又は6に記載のロボットシミュレーション装置であって、
前記領域推定部は、前記推定領域として、前記センサモデル設定部で設定された三次元形状を計測するセンサモデルの種別が、
センサ部が縞投影方式又は光切断方式で三次元計測する状態を仮想的に再現する場合、前記カメラモデルとプロジェクタモデルのいずれかから死角となる領域を死角領域として規定し、
センサ部が複数のカメラを用いたステレオ方式で三次元計測する状態を仮想的に再現する場合、複数のカメラモデルのいずれかから死角となる領域を死角領域として規定してなるロボットシミュレーション装置。 - 請求項7に記載のロボットシミュレーション装置であって、
前記領域推定部が、前記死角領域を、前記ワークモデルが前記仮想作業空間内の平面方向の位置に応じて変化させてなるロボットシミュレーション装置。 - 請求項5〜8のいずれか一項に記載のロボットシミュレーション装置であって、
前記領域推定部が、前記センサモデルで三次元計測を行う際の仮想的な三次元測定光源と、前記バラ積みデータを構成する各点とをそれぞれ結ぶ線分を仮想光軸として定義し、前記仮想光軸上に別のワークモデルの点が存在するか否かを判定して、当該別のワークモデルの点がある場合は三次元計測が困難な点と推定し、該三次元計測が困難な点の集合でもって推定領域を特定するよう構成してなるロボットシミュレーション装置。 - 請求項4〜9のいずれか一項に記載のロボットシミュレーション装置であって、
前記領域推定部は、前記センサモデル設定部で設定されたセンサモデルの仮想的な三次元測定光源から延長された測定軸に対して、予め定めた角度閾値以上の傾斜角度を有する領域を、三次元計測が困難な領域として推定するよう構成してなるロボットシミュレーション装置。 - 請求項10に記載のロボットシミュレーション装置であって、
前記角度閾値が、予め定めた固定値であるロボットシミュレーション装置。 - 請求項10に記載のロボットシミュレーション装置であって、さらに、
ワークモデルの表面状態に関するパラメータを入力する表面状態パラメータ設定部を備え、
前記表面状態パラメータ設定部により設定された表面状態パラメータによって、角度閾値を変化させるよう構成してなるロボットシミュレーション装置。 - 請求項10に記載のロボットシミュレーション装置であって、
センサ部で実測した三次元計測データに基づいて、角度閾値を変化させるよう構成してなるロボットシミュレーション装置。 - 請求項4〜13のいずれか一項に記載のロボットシミュレーション装置であって、
前記領域推定部は、前記センサモデル設定部で設定された仮想的なセンサモデルに基づいて、シミュレーション上で用いられる前記ワークモデルを積み上げたバラ積みデータから、計測困難な推定領域を推定するよう構成してなるロボットシミュレーション装置。 - 請求項1〜13のいずれか一項に記載のロボットシミュレーション装置であって、
前記領域推定部は、バラ積みされたワークに対してセンサ部により模擬的に三次元計測を行った実測データに基づいて、計測困難な推定領域を推定するよう構成してなるロボットシミュレーション装置。 - 請求項1〜15のいずれか一項に記載のロボットシミュレーション装置であって、さらに、
シミュレーションの環境に関する情報を設定するためのシミュレーション環境設定部を備えてなるロボットシミュレーション装置。 - 請求項16に記載のロボットシミュレーション装置であって、
前記シミュレーション環境設定部は、ワークを収納する容器をモデル化した容器モデルの設定が可能であり、前記センサモデルと容器モデルとの相対的な位置関係に基づいて、推定領域を推定するよう構成してなるロボットシミュレーション装置。 - 請求項1〜17のいずれか一項に記載のロボットシミュレーション装置であって、
前記ワークモデル設定部が、前記ワークモデルを、CADで作成された三次元のCADモデルとして設定してなるロボットシミュレーション装置。 - 請求項1〜17のいずれか一項に記載のロボットシミュレーション装置であって、
前記ワークモデル設定部が、前記ワークモデルを、三次元情報を有する点群データで設定してなるロボットシミュレーション装置。 - 請求項1〜17のいずれか一項に記載のロボットシミュレーション装置であって、
前記ワークモデル設定部が、前記ワークモデルを、高さ情報からなる画像データで設定してなるロボットシミュレーション装置。 - 作業空間に積み上げられた複数のワークをロボットによって順次取り出すバラ積みピッキング動作をシミュレーションするロボットシミュレーション方法であって、
ワークの三次元形状をモデル化したワークモデルを設定するワークモデル設定工程と、
前記ワークモデル設定工程で設定された複数のワークモデルを、仮想的な作業空間である仮想作業空間内に積み上げた、仮想的なバラ積みデータを生成するバラ積みデータ生成工程と、
前記バラ積みデータ生成工程で生成されたバラ積みデータ内の各ワークモデルの位置と姿勢に基づいて、前記作業空間の上方に配置されるセンサ部により三次元計測が可能と推定される推定領域を特定する領域推定工程と、
前記領域推定工程により特定された推定領域のデータに基づいて、前記仮想作業空間内の前記ワークモデルのバラ積みピッキング動作を検証するためのピッキング動作シミュレーションを実行するピッキング動作シミュレーション工程と
を含むロボットシミュレーション方法。 - 作業空間に積み上げられた複数のワークをロボットによって順次取り出すバラ積みピッキング動作をシミュレーションするロボットシミュレーションプログラムであって、
ワークの三次元形状をモデル化したワークモデルを設定するワークモデル設定機能と、
前記ワークモデル設定機能で設定された複数のワークモデルを、仮想的な作業空間である仮想作業空間内に積み上げた、仮想的なバラ積みデータを生成するバラ積みデータ生成機能と、
前記バラ積みデータ生成機能で生成されたバラ積みデータ内の各ワークモデルの位置と姿勢に基づいて、前記作業空間の上方に配置されるセンサ部により三次元計測が可能と推定される推定領域を特定する領域推定機能と、
前記領域推定機能により特定された推定領域のデータに基づいて、前記仮想作業空間内の前記ワークモデルのバラ積みピッキング動作を検証するためのピッキング動作シミュレーションを実行するピッキング動作シミュレーション機能と
をコンピュータに実現させるためのロボットシミュレーションプログラム。 - 請求項22に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体または記憶した機器。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017040967A JP6846949B2 (ja) | 2017-03-03 | 2017-03-03 | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
US15/893,736 US10974386B2 (en) | 2017-03-03 | 2018-02-12 | Robot simulation apparatus and robot simulation method |
DE102018202389.1A DE102018202389A1 (de) | 2017-03-03 | 2018-02-16 | Robotersimulationsvorrichtung und Robotersimulationsverfahren |
CN201810175466.3A CN108537875B (zh) | 2017-03-03 | 2018-03-02 | 机器人仿真设备和机器人仿真方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017040967A JP6846949B2 (ja) | 2017-03-03 | 2017-03-03 | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018144152A true JP2018144152A (ja) | 2018-09-20 |
JP6846949B2 JP6846949B2 (ja) | 2021-03-24 |
Family
ID=63171470
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017040967A Active JP6846949B2 (ja) | 2017-03-03 | 2017-03-03 | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10974386B2 (ja) |
JP (1) | JP6846949B2 (ja) |
CN (1) | CN108537875B (ja) |
DE (1) | DE102018202389A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021044751A1 (ja) * | 2019-09-02 | 2021-03-11 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
CN113081744A (zh) * | 2021-04-01 | 2021-07-09 | 江庆 | 一种美容用皮肤护理装置 |
WO2021200438A1 (ja) | 2020-03-31 | 2021-10-07 | ミネベアミツミ株式会社 | 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10853539B2 (en) * | 2017-05-26 | 2020-12-01 | Autodesk, Inc. | Robotic assembly of a mesh surface |
JP6693981B2 (ja) * | 2018-02-19 | 2020-05-13 | ファナック株式会社 | ロボットの動作をシミュレーションするシミュレーション装置 |
JP6879238B2 (ja) * | 2018-03-13 | 2021-06-02 | オムロン株式会社 | ワークピッキング装置及びワークピッキング方法 |
JP7119606B2 (ja) * | 2018-06-11 | 2022-08-17 | オムロン株式会社 | 計測システムおよび計測方法 |
US11407111B2 (en) * | 2018-06-27 | 2022-08-09 | Abb Schweiz Ag | Method and system to generate a 3D model for a robot scene |
JP7237496B2 (ja) * | 2018-09-10 | 2023-03-13 | 株式会社東芝 | ピッキングシステム、情報処理装置及び情報処理プログラム |
CN113039499B (zh) * | 2018-11-19 | 2024-06-18 | 西门子股份公司 | 通过自主机器支持任务的对象标记 |
CN109910018B (zh) * | 2019-04-26 | 2024-01-30 | 清华大学 | 具有视觉语义感知的机器人虚实交互操作执行***及方法 |
JP7120153B2 (ja) * | 2019-05-21 | 2022-08-17 | トヨタ自動車株式会社 | ワーク識別方法 |
DE102019135452B4 (de) | 2019-12-20 | 2022-03-31 | IGZ Ingenieurgesellschaft für logistische Informationssysteme mbH | Vollautomatisches Roboter-Kommissioniersystem und Kommissionierverfahren mit Sensoranordnung zum Vermessen eines entnommenen Artikels im Rahmen des Anhebevorgangs |
US11403437B2 (en) * | 2020-03-25 | 2022-08-02 | Ford Global Technologies, Llc | Method and system for determining sensor placement for a workspace |
US20220016779A1 (en) * | 2020-07-15 | 2022-01-20 | The Board Of Trustees Of The University Of Illinois | Autonomous Robot Packaging of Arbitrary Objects |
US11992941B2 (en) * | 2020-12-11 | 2024-05-28 | Depuy Ireland Unlimited Company | High accuracy molded navigation arrays, systems, and methods |
CN114619443B (zh) * | 2020-12-14 | 2023-07-21 | 苏州大学 | 机器人主动安全*** |
CN113673108B (zh) * | 2021-08-23 | 2023-04-21 | 成都理工大学 | 崩塌运动过程三维模拟方法、装置、可读介质及电子设备 |
DE102021210903A1 (de) | 2021-09-29 | 2023-03-30 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Aufnehmen eines Objekts mittels einer Robotervorrichtung |
DE102022212198A1 (de) | 2022-11-16 | 2024-05-16 | Kuka Deutschland Gmbh | Anpassung einer Greifsimulation durch Parameteridentifikation in der realen Welt |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08122033A (ja) * | 1994-09-02 | 1996-05-17 | Sanyo Electric Co Ltd | 画像認識装置 |
JP2000288968A (ja) * | 1999-04-08 | 2000-10-17 | Fanuc Ltd | 教示モデル生成装置 |
JP2005001022A (ja) * | 2003-06-10 | 2005-01-06 | Yaskawa Electric Corp | 物体モデル作成装置及びロボット制御装置 |
JP2007241857A (ja) * | 2006-03-10 | 2007-09-20 | Fanuc Ltd | ロボットシミュレーションのための装置、プログラム、記録媒体及び方法 |
JP2007326160A (ja) * | 2006-06-06 | 2007-12-20 | Fanuc Ltd | ロボットシミュレーション装置 |
JP2010162638A (ja) * | 2009-01-14 | 2010-07-29 | Toshiba Corp | ロボットハンド |
US20100272547A1 (en) * | 2007-06-12 | 2010-10-28 | Norbert Cottone | Method And System For Depalletizing Tires Using a Robot |
JP2012071394A (ja) * | 2010-09-29 | 2012-04-12 | Dainippon Screen Mfg Co Ltd | シミュレーションシステムおよびそのためのシミュレーションプログラム |
JP2013101045A (ja) * | 2011-11-08 | 2013-05-23 | Fanuc Ltd | 物品の3次元位置姿勢の認識装置及び認識方法 |
JP2014137644A (ja) * | 2013-01-15 | 2014-07-28 | Yaskawa Electric Corp | 認識プログラム評価装置および認識プログラム評価方法 |
US20150165623A1 (en) * | 2012-07-13 | 2015-06-18 | Fredrik Kange | Method For Programming An Industrial Robot In A Virtual Environment |
JP2015171745A (ja) * | 2014-03-12 | 2015-10-01 | ファナック株式会社 | ワークの取出工程をシミュレーションするロボットシミュレーション装置 |
JP2015215259A (ja) * | 2014-05-12 | 2015-12-03 | ファナック株式会社 | レンジセンサの配置位置評価装置 |
WO2017032407A1 (en) * | 2015-08-25 | 2017-03-02 | Abb Schweiz Ag | An industrial robot system and a method for programming an industrial robot |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3782679B2 (ja) | 2001-05-09 | 2006-06-07 | ファナック株式会社 | 干渉回避装置 |
JP2003150219A (ja) * | 2001-11-12 | 2003-05-23 | Fanuc Ltd | 作業機械のシミュレーション装置 |
FR2948475A1 (fr) * | 2009-07-24 | 2011-01-28 | Bionext | Procede de caracterisation d'objets tridimensionnels |
JP5467321B2 (ja) * | 2011-01-21 | 2014-04-09 | 公立大学法人兵庫県立大学 | 3次元形状計測方法および3次元形状計測装置 |
JP5854815B2 (ja) * | 2011-12-20 | 2016-02-09 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP5877857B2 (ja) * | 2014-03-10 | 2016-03-08 | ファナック株式会社 | ワークの取出工程をシミュレーションするロボットシミュレーション装置 |
JP6635690B2 (ja) * | 2015-06-23 | 2020-01-29 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2017
- 2017-03-03 JP JP2017040967A patent/JP6846949B2/ja active Active
-
2018
- 2018-02-12 US US15/893,736 patent/US10974386B2/en active Active
- 2018-02-16 DE DE102018202389.1A patent/DE102018202389A1/de active Pending
- 2018-03-02 CN CN201810175466.3A patent/CN108537875B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08122033A (ja) * | 1994-09-02 | 1996-05-17 | Sanyo Electric Co Ltd | 画像認識装置 |
JP2000288968A (ja) * | 1999-04-08 | 2000-10-17 | Fanuc Ltd | 教示モデル生成装置 |
JP2005001022A (ja) * | 2003-06-10 | 2005-01-06 | Yaskawa Electric Corp | 物体モデル作成装置及びロボット制御装置 |
JP2007241857A (ja) * | 2006-03-10 | 2007-09-20 | Fanuc Ltd | ロボットシミュレーションのための装置、プログラム、記録媒体及び方法 |
JP2007326160A (ja) * | 2006-06-06 | 2007-12-20 | Fanuc Ltd | ロボットシミュレーション装置 |
US20100272547A1 (en) * | 2007-06-12 | 2010-10-28 | Norbert Cottone | Method And System For Depalletizing Tires Using a Robot |
JP2010162638A (ja) * | 2009-01-14 | 2010-07-29 | Toshiba Corp | ロボットハンド |
JP2012071394A (ja) * | 2010-09-29 | 2012-04-12 | Dainippon Screen Mfg Co Ltd | シミュレーションシステムおよびそのためのシミュレーションプログラム |
JP2013101045A (ja) * | 2011-11-08 | 2013-05-23 | Fanuc Ltd | 物品の3次元位置姿勢の認識装置及び認識方法 |
US20150165623A1 (en) * | 2012-07-13 | 2015-06-18 | Fredrik Kange | Method For Programming An Industrial Robot In A Virtual Environment |
JP2014137644A (ja) * | 2013-01-15 | 2014-07-28 | Yaskawa Electric Corp | 認識プログラム評価装置および認識プログラム評価方法 |
JP2015171745A (ja) * | 2014-03-12 | 2015-10-01 | ファナック株式会社 | ワークの取出工程をシミュレーションするロボットシミュレーション装置 |
JP2015215259A (ja) * | 2014-05-12 | 2015-12-03 | ファナック株式会社 | レンジセンサの配置位置評価装置 |
WO2017032407A1 (en) * | 2015-08-25 | 2017-03-02 | Abb Schweiz Ag | An industrial robot system and a method for programming an industrial robot |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021044751A1 (ja) * | 2019-09-02 | 2021-03-11 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
WO2021200438A1 (ja) | 2020-03-31 | 2021-10-07 | ミネベアミツミ株式会社 | 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置 |
CN113081744A (zh) * | 2021-04-01 | 2021-07-09 | 江庆 | 一种美容用皮肤护理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20180250820A1 (en) | 2018-09-06 |
DE102018202389A1 (de) | 2018-09-06 |
JP6846949B2 (ja) | 2021-03-24 |
CN108537875A (zh) | 2018-09-14 |
CN108537875B (zh) | 2023-04-21 |
US10974386B2 (en) | 2021-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6846949B2 (ja) | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP2018144155A (ja) | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP6846950B2 (ja) | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP2018144158A (ja) | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
US11724400B2 (en) | Information processing apparatus for determining interference between object and grasping unit, information processing method, and storage medium | |
JP6889574B2 (ja) | ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
US10190873B1 (en) | Shape measuring device and shape measuring method | |
US10279473B2 (en) | Image processing device, image processing method, and computer program | |
US20130272578A1 (en) | Information processing apparatus, information processing method, and program | |
CN108283021A (zh) | 使用来自机器人的相机的相机图像的检测边缘和从环境的三维模型取得的检测边缘来定位环境中的机器人 | |
CN106808473A (zh) | 信息处理装置及信息处理方法 | |
CN107680124A (zh) | 用于提高三维姿态评分和消除三维图像数据中杂点的***及方法 | |
JP6877192B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP7346133B2 (ja) | ロボット設定装置及びロボット設定方法 | |
EP3503036A1 (en) | Determining pixel values using reference images | |
JP6785687B2 (ja) | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP2018144153A (ja) | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP6919987B2 (ja) | 画像処理装置 | |
JP2019028770A (ja) | ロボットシミュレーション装置及びロボットシミュレーション方法 | |
JP7233508B2 (ja) | 形状測定装置及び形状測定方法 | |
JP2018144157A (ja) | ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP6857052B2 (ja) | ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP2019028773A (ja) | ロボットシミュレーション装置及びロボットシミュレーション方法 | |
WO2024085160A1 (ja) | シミュレーションシステム及びプログラム | |
JP7344699B2 (ja) | ロボットピッキングシミュレーション装置及びロボットピッキングシミュレーション方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190910 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210302 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6846949 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |