JP2021084218A - Information presentation device, information presentation method, and information presentation program - Google Patents
Information presentation device, information presentation method, and information presentation program Download PDFInfo
- Publication number
- JP2021084218A JP2021084218A JP2019217487A JP2019217487A JP2021084218A JP 2021084218 A JP2021084218 A JP 2021084218A JP 2019217487 A JP2019217487 A JP 2019217487A JP 2019217487 A JP2019217487 A JP 2019217487A JP 2021084218 A JP2021084218 A JP 2021084218A
- Authority
- JP
- Japan
- Prior art keywords
- transition
- screen
- state
- information
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000007704 transition Effects 0.000 claims abstract description 214
- 230000008569 process Effects 0.000 claims abstract description 40
- 238000010586 diagram Methods 0.000 claims abstract description 27
- 238000012937 correction Methods 0.000 claims abstract description 12
- 239000012636 effector Substances 0.000 claims description 45
- 238000012986 modification Methods 0.000 claims description 37
- 230000004048 modification Effects 0.000 claims description 37
- 238000004088 simulation Methods 0.000 claims description 37
- 230000008859 change Effects 0.000 claims description 21
- 230000007613 environmental effect Effects 0.000 claims description 11
- 230000036544 posture Effects 0.000 description 19
- 230000004044 response Effects 0.000 description 18
- 238000011960 computer-aided design Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 8
- 238000012217 deletion Methods 0.000 description 7
- 230000037430 deletion Effects 0.000 description 7
- 230000010365 information processing Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
Description
本発明は、情報提示装置、情報提示方法、及び情報提示プログラムに関する。 The present invention relates to an information presentation device, an information presentation method, and an information presentation program.
製品を生産する生産ラインでは、マニピュレータ等の様々なタイプのロボット装置が利用されている。マニピュレータの機構、エンドエフェクタ、ワーク等のロボット装置の構成要素は、遂行するタスク等に応じて多くのバリエーションを有しており、それらすべてに対応したロボット装置の動作手順を人手で作成して、ロボット装置に対象のタスクを教示するのは困難である。そのため、従来、機構、エンドエフェクタ、ワーク等の構成要素の種類を決定した後、ロボット装置を人手で動かして、実行させる一連の動作における姿勢をレコードしながら、遂行するタスクを直接的にティーチングする方法が採用されている。 Various types of robot devices such as manipulators are used in production lines that produce products. The components of the robot device such as the manipulator mechanism, end effector, and workpiece have many variations depending on the task to be performed, etc., and the operation procedure of the robot device corresponding to all of them is manually created. It is difficult to teach the robot device the task of interest. Therefore, conventionally, after determining the types of components such as mechanisms, end effectors, and workpieces, the robot device is manually moved to directly teach the task to be performed while recording the posture in a series of movements to be executed. The method is adopted.
しかしながら、この方法では、機構、エンドエフェクタ、ワーク等の構成要素が変更される度に、遂行するタスクをロボット装置に教示することになる。したがって、遂行するタスクをロボット装置に教示するのにあまりにコストがかかってしまう。そこで、近年、遂行するタスクをロボット装置に習得させる方法の効率化が研究されている。例えば、非特許文献1では、カメラから得られる画像データに基づいて対象物を把持する動作を強化学習によりロボット装置に習得させる方法が提案されている。この方法によれば、対象物を把持する動作をロボット装置に教示する一連の処理の少なくとも一部を自動化することができる。よって、ロボット装置にタスクを教示するコストを低減することができる。
However, in this method, the robot device is instructed to perform the task each time the components such as the mechanism, the end effector, and the work are changed. Therefore, it is too costly to teach the robot device the task to be performed. Therefore, in recent years, research has been conducted on improving the efficiency of a method for making a robot device learn the task to be performed. For example, Non-Patent
本件発明者らは、上記のようなロボット装置の従来の制御方法には、次のような問題があることを見出した。従来の制御方法では、遂行するタスクに対してロボット装置に与える時系列の制御指令を学習している。つまり、学習された時系列の制御指令がタスクに直接的に関連付けられる。タスクを遂行する環境及び対象物の少なくとも一方が少しでも変化した場合には、実質的にタスクの内容も変化してしまい、関連付けられた時系列の制御指令ではタスクを適切に遂行するのが困難になってしまう。そのため、変化したタスクに対して時系列の制御指令を新たに学習させなければ、ロボット装置は、そのタスクを適切に遂行できない可能性がある。 The present inventors have found that the conventional control method of the robot device as described above has the following problems. In the conventional control method, time-series control commands given to the robot device for the task to be performed are learned. That is, the learned time series control commands are directly associated with the task. If at least one of the environment and the object to perform the task changes even a little, the content of the task also changes substantially, and it is difficult to perform the task properly with the associated time series control command. Become. Therefore, the robot device may not be able to properly perform the task unless the time-series control command is newly learned for the changed task.
例えば、ロボット装置に教示したタスクが、A地点に姿勢Bで存在する対象物CをD地点に運ぶことであったと想定する。この場合に、対象物CがA地点に姿勢Bで正確に配置されていたならば、ロボット装置は、学習結果に基づいて、当該タスクを適切に遂行可能である。しかしながら、対象物CがA地点からややずれて配置されていたり、A地点に配置されているが姿勢Bから傾いていたりした場合には、ロボット装置が対象物Cを把持する位置及び姿勢が変化する等の理由により、遂行すべきタスクの内容が変化してしまう。すなわち、この場合には、遂行すべきタスクは、「A地点からずれたり傾いたりしている対象物CをD地点に運ぶ」ことであり、「A地点に姿勢Bで存在する対象物CをD地点に運ぶ」という元のタスクと相違している。そうすると、ロボット装置は、学習結果に基づいて動作しても、このタスクを適切に遂行できない可能性がある。したがって、従来の制御方法では、習得されるタスクを遂行する能力の汎用性が乏しいという問題点がある。この問題点に起因して、ロボット装置を汎用的に動作させるためには、異なるタスク毎に制御指令を学習させることになり、ロボット装置にタスクを教示するのにかかるコストは依然として高い。 For example, it is assumed that the task taught to the robot device is to carry the object C existing in the posture B at the point A to the point D. In this case, if the object C is accurately arranged at the point A in the posture B, the robot device can appropriately perform the task based on the learning result. However, if the object C is placed slightly offset from the point A, or if the object C is placed at the point A but tilted from the posture B, the position and posture at which the robot device grips the object C changes. The content of the task to be performed changes due to reasons such as doing so. That is, in this case, the task to be performed is to "carry the object C that is deviated or tilted from the point A to the point D" and "to carry the object C that exists in the posture B at the point A". It is different from the original task of "carrying to point D". Then, even if the robot device operates based on the learning result, it may not be able to properly perform this task. Therefore, the conventional control method has a problem that the ability to perform the task to be learned is not versatile. Due to this problem, in order to operate the robot device for general purposes, control commands are learned for each different task, and the cost for teaching the task to the robot device is still high.
この問題点を解決するために、本件発明者らは、タスクの遂行する環境に存在する複数の対象物の相対的かつ物理的な関係(相対関係量)に基づいて、ロボット装置の動作を制御する制御方法を提案する。この制御方法では、ロボット装置がタスクを遂行する過程における複数の対象物の相対的な関係の系列が規定され、ロボット装置に対する制御指令は、その相対的な関係の変化量に関連付けられる。これにより、タスクの内容に依存せずに、相対的な関係を変化させることに対してロボット装置に与える時系列の制御指令を教示することができる。すなわち、同じ相対関係量の変化で遂行可能なタスクであれば、そのタスクの内容が多少変更されていても(上記の例では、対象物Cの位置がずれたり、姿勢が傾いたりしても)、ロボット装置にそれらのタスクを適切に遂行させることができる。したがって、発明者らの提案する制御方法によれば、ロボット装置に習得させるタスクを遂行する能力の汎用性を高めることができ、ロボット装置にタスクを教示するのにかかるコストを低減することができる。ただし、ロボット装置がタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を設定する作業に手間がかかると想定される。 In order to solve this problem, the inventors of the present invention control the operation of the robot device based on the relative and physical relationship (relative relationship amount) of a plurality of objects existing in the environment in which the task is performed. Propose a control method to be used. In this control method, a sequence of relative relationships of a plurality of objects in the process in which the robot device performs a task is defined, and a control command to the robot device is associated with the amount of change in the relative relationships. This makes it possible to teach a time-series control command given to the robot device for changing the relative relationship without depending on the content of the task. That is, as long as the task can be performed with the same change in the relative relationship amount, even if the content of the task is slightly changed (in the above example, the position of the object C is displaced or the posture is tilted). ), The robot device can properly perform those tasks. Therefore, according to the control method proposed by the inventors, the versatility of the ability to perform the task to be acquired by the robot device can be increased, and the cost for teaching the task to the robot device can be reduced. .. However, it is assumed that it takes time and effort to set the relative and physical relationships of a plurality of objects in the process of the robot device performing the task.
本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、ロボット装置がタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を設定する作業の効率性を高めるための技術を提供することである。 The present invention, on the one hand, has been made in view of such circumstances, and an object of the present invention is to set relative and physical relationships between a plurality of objects in a process in which a robot device performs a task. It is to provide the technology to improve the efficiency of.
本発明は、上述した課題を解決するために、以下の構成を採用する。 The present invention employs the following configuration in order to solve the above-mentioned problems.
すなわち、本発明の一側面に係る情報提示装置は、ロボット装置により遂行されるタスクの開始から終了までの過程において遷移する目標状態の系列を示す状態遷移情報を取得する情報取得部であって、前記系列に含まれる各目標状態は、前記タスクにおける前記ロボット装置の操作の対象である複数の対象物間の相対的かつ物理的な関係により規定される、情報取得部と、取得された状態遷移情報に基づいて、前記目標状態の系列を表す状態遷移図であって、前記各目標状態をそれぞれ表現する複数のノード、及び目標状態間の遷移を表現するエッジを含む状態遷移図を示す第1画面を表示装置に表示する第1表示部と、前記第1画面において、前記複数のノードのうちのいずれかの選択、及び前記目標状態の遷移に関する修正を受け付ける第1受付部と、前記複数のノードのうちのいずれかの選択に応じて、選択された前記ノードに対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す第2画面を前記表示装置に表示する第2表示部と、前記第2画面において、表示された前記目標状態における前記複数の対象物間の相対的かつ物理的な関係に関する修正を受け付ける第2受付部と、を備える。 That is, the information presenting device according to one aspect of the present invention is an information acquisition unit that acquires state transition information indicating a series of target states that transition in the process from the start to the end of the task performed by the robot device. Each target state included in the series includes an information acquisition unit and an acquired state transition defined by a relative and physical relationship between a plurality of objects to be operated by the robot device in the task. A first state transition diagram showing a state transition diagram representing a series of the target states based on information, including a plurality of nodes representing each of the target states and an edge representing the transition between the target states. A first display unit that displays a screen on a display device, a first reception unit that accepts selection of one of the plurality of nodes on the first screen, and a modification related to a transition of the target state, and the plurality of units. Depending on the selection of any of the nodes, the display device displays a second screen showing the relative and physical relationship between the plurality of objects defined in the target state corresponding to the selected node. A second display unit is provided, and a second reception unit that receives modifications regarding relative and physical relationships between the plurality of objects in the displayed target state on the second screen.
当該構成によれば、ロボット装置がタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を設定するために、状態遷移図を示す第1画面及び相対関係を示す第2画面の2種類の画面が用意される。第1画面によれば、ロボット装置がタスクを遂行する過程について、当該タスクに関与する複数の対象物それぞれの達成すべき相対的かつ物理的な関係を規定する目標状態の系列が適切に設定されているか否かを確認することができる。更には、その目標状態の系列に不備がある場合に、当該目標状態間の遷移に関する修正を行うことができる。一方、第2画面によれば、各目標状態について、複数の対象物の相対的かつ物理的な関係が適切に規定されているか否かを確認することができる。更には、その関係に不備がある場合に、当該関係に関する修正を行うことができる。したがって、提供される第1画面及び第2画面によれば、タスクを遂行する過程全体の流れ及び個々の目標状態それぞれの確認及び設定を行うことができる。これにより、ロボット装置がタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を設定する作業の効率性を高めることができる。 According to this configuration, in order to set the relative and physical relationships of a plurality of objects in the process in which the robot device performs a task, a first screen showing a state transition diagram and a second screen showing the relative relationships are shown. Two types of screens are prepared. According to the first screen, a series of target states that define the relative and physical relationships to be achieved of each of the plurality of objects involved in the task is appropriately set for the process in which the robot device performs the task. You can check if it is. Further, when there is a defect in the sequence of the target states, the transition between the target states can be corrected. On the other hand, according to the second screen, it is possible to confirm whether or not the relative and physical relationships of the plurality of objects are appropriately defined for each target state. Furthermore, if there is a deficiency in the relationship, it is possible to make corrections regarding the relationship. Therefore, according to the first screen and the second screen provided, it is possible to confirm and set the flow of the entire process of executing the task and each target state. This makes it possible to improve the efficiency of the work of setting the relative and physical relationships of a plurality of objects in the process in which the robot device performs a task.
上記一側面に係る情報提示装置において、前記情報取得部は、前記ロボット装置及び前記各対象物の初期状態を規定する環境情報を更に取得してもよい。更に、上記一側面に係る情報提示装置は、取得された前記状態遷移情報及び前記環境情報に基づいて、前記ロボット装置が前記タスクを遂行する過程のシミュレーションを行うシミュレータ部と、前記シミュレーションの結果を示す第3画面を前記表示装置に表示する第3表示部と、を更に備えてもよい。当該構成によれば、シミュレーションの結果に基づいて、設定された目標状態の系列により対象のタスクを適切に遂行可能か否か確認することができる。この確認をしながら各目標状態を決定することで、ロボット装置が対象のタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を、対象のタスクに応じて適切に設定することができるようになる。 In the information presenting device according to the one aspect, the information acquisition unit may further acquire environmental information that defines the initial state of the robot device and each object. Further, the information presenting device according to the one aspect includes a simulator unit that simulates the process of the robot device performing the task based on the acquired state transition information and the environmental information, and the result of the simulation. A third display unit for displaying the third screen shown on the display device may be further provided. According to this configuration, it is possible to confirm whether or not the target task can be appropriately performed by the set target state sequence based on the simulation result. By determining each target state while confirming this, the relative and physical relationships of a plurality of objects in the process of the robot device performing the target task can be appropriately set according to the target task. Will be able to.
上記一側面に係る情報提示装置において、前記第3画面は、前記タスクの遂行を開始してからの経過時間を表現するタイムライン、及び前記タイムラインにおいて、前記目標状態間の遷移を達成する遷移作業を前記ロボット装置が前記シミュレーション上で実行する時間区間を表現するブロックを含んでもよい。当該構成によれば、第3画面において、ロボット装置の動作及び各対象物間の相対的かつ物理的な関係の変化の視認性を高めることができる。これにより、設定された目標状態の系列により対象のタスクを適切に遂行可能か否か確認しやすくすることができる。 In the information presenting apparatus according to the one aspect, the third screen is a timeline representing the elapsed time from the start of execution of the task, and a transition in the timeline for achieving a transition between the target states. It may include a block representing a time interval in which the robot apparatus performs the work on the simulation. According to this configuration, it is possible to improve the visibility of the operation of the robot device and the change in the relative and physical relationship between the objects on the third screen. As a result, it is possible to easily confirm whether or not the target task can be appropriately performed by the set target state sequence.
上記一側面に係る情報提示装置において、前記タスクは、複数のロボット装置により遂行されてよく、前記目標状態間の遷移を達成する遷移作業には、前記複数のロボット装置の少なくともいずれかが使用されてよく、前記ブロックは、対応する遷移作業に使用されるロボット装置に関連付けられて配置されてよい。当該構成によれば、時間区間を表現するブロックが対応する遷移作業に使用されるロボット装置に関連付けて配置されることで、第3画面において、各遷移作業を遂行するロボット装置の視認性を高めることができる。 In the information presenting device according to the one aspect, the task may be performed by a plurality of robot devices, and at least one of the plurality of robot devices is used for the transition work for achieving the transition between the target states. The block may be arranged in association with the robotic apparatus used for the corresponding transition work. According to this configuration, the blocks representing the time intervals are arranged in association with the robot device used for the corresponding transition work, thereby enhancing the visibility of the robot device that performs each transition work on the third screen. be able to.
上記一側面に係る情報提示装置は、前記第3画面において、前記ブロックを関連付けるロボット装置を変更する操作により、対応する遷移作業に使用されるロボット装置の変更を受け付ける第3受付部を更に備えてもよい。当該構成によれば、シミュレーションの結果を利用して、各遷移作業の遂行に適切なロボット装置を選択することができる。これにより、複数のロボット装置が協働するタスクについて、適切にタスクを遂行可能なように各ロボット装置の作業の割り当てをすることができる。 The information presenting device according to the one aspect further includes a third reception unit that receives a change in the robot device used for the corresponding transition work by an operation of changing the robot device associated with the block on the third screen. May be good. According to this configuration, it is possible to select an appropriate robot device for performing each transition work by using the result of the simulation. Thereby, for the task in which a plurality of robot devices cooperate, the work of each robot device can be assigned so that the task can be appropriately performed.
上記一側面に係る情報提示装置において、前記タスクは、複数のロボット装置により遂行されてよく、前記第2受付部は、前記第2画面において、前記複数のロボット装置から、前記目標状態間の遷移を達成する遷移作業に使用する少なくとも1つのロボット装置の選択を更に受け付けてもよい。当該構成によれば、各目標状態を確認しながら、各目標状態の達成に適切なロボット装置を選択することができる。これにより、複数のロボット装置が協働するタスクについて、適切にタスクを遂行可能なように各ロボット装置の作業の割り当てをすることができる。 In the information presenting device according to the one aspect, the task may be performed by a plurality of robot devices, and the second reception unit may perform a transition between the target states from the plurality of robot devices on the second screen. May further accept the selection of at least one robotic apparatus used in the transition task to achieve. According to this configuration, it is possible to select an appropriate robot device for achieving each target state while checking each target state. Thereby, for the task in which a plurality of robot devices cooperate, the work of each robot device can be assigned so that the task can be appropriately performed.
上記一側面に係る情報提示装置において、前記ロボット装置は、マニピュレータであってよく、前記複数の対象物は、前記マニピュレータのエンドエフェクタ及び前記マニピュレータによる移動の対象となる製品の部品を含んでもよい。当該構成によれば、マニピュレータがタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を設定する作業の効率性を高めることができる。 In the information presenting device according to the one aspect, the robot device may be a manipulator, and the plurality of objects may include an end effector of the manipulator and parts of a product to be moved by the manipulator. According to this configuration, it is possible to improve the efficiency of the work of setting the relative and physical relationships of a plurality of objects in the process of performing the task by the manipulator.
上記各形態に係る情報提示装置の別の態様として、本発明の一側面は、以上の情報提示装置の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータ等が読み取り可能な記憶媒体であってもよい。コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。 As another aspect of the information presenting device according to each of the above embodiments, one aspect of the present invention may be an information processing method or a program that realizes each configuration of the above information presenting device. It may be a storage medium that stores such a program and can be read by a computer or the like. A storage medium that can be read by a computer or the like is a medium that stores information such as a program by electrical, magnetic, optical, mechanical, or chemical action.
例えば、本発明の一側面に係る情報提示方法は、コンピュータが、ロボット装置により遂行されるタスクの開始から終了までの過程において遷移する目標状態の系列を示す状態遷移情報を取得するステップであって、前記系列に含まれる各目標状態は、前記タスクにおける前記ロボット装置の操作の対象である複数の対象物間の相対的かつ物理的な関係により規定される、ステップと、取得された状態遷移情報に基づいて、前記目標状態の系列を表す状態遷移図であって、前記各目標状態をそれぞれ表現する複数のノード、及び目標状態間の遷移を表現するエッジを含む状態遷移図を示す第1画面を表示装置に表示するステップと、前記第1画面において、前記複数のノードのうちのいずれかの選択、及び前記目標状態の遷移に関する修正を受け付けるステップと、前記複数のノードのうちのいずれかの選択に応じて、選択された前記ノードに対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す第2画面を前記表示装置に表示するステップと、前記第2画面において、表示された前記目標状態における前記複数の対象物間の相対的かつ物理的な関係に関する修正を受け付けるステップと、を実行する、情報処理方法である。 For example, the information presentation method according to one aspect of the present invention is a step in which a computer acquires state transition information indicating a series of target states that transition in the process from the start to the end of a task performed by a robot device. , Each target state included in the series is defined by a relative and physical relationship between a plurality of objects that are the targets of the operation of the robot device in the task, and the step and the acquired state transition information. A first screen showing a state transition diagram showing a series of target states, including a plurality of nodes representing each target state and edges representing transitions between target states. On the display device, on the first screen, a step of accepting a selection of any of the plurality of nodes and a modification regarding the transition of the target state, and any of the plurality of nodes. Depending on the selection, a step of displaying on the display device a second screen showing a relative and physical relationship between a plurality of objects defined in the target state corresponding to the selected node, and the second step. It is an information processing method that executes a step of accepting a modification regarding a relative and physical relationship between the plurality of objects in the displayed target state on the screen.
例えば、本発明の一側面に係る情報提示プログラムは、コンピュータに、ロボット装置により遂行されるタスクの開始から終了までの過程において遷移する目標状態の系列を示す状態遷移情報を取得するステップであって、前記系列に含まれる各目標状態は、前記タスクにおける前記ロボット装置の操作の対象である複数の対象物間の相対的かつ物理的な関係により規定される、ステップと、取得された状態遷移情報に基づいて、前記目標状態の系列を表す状態遷移図であって、前記各目標状態をそれぞれ表現する複数のノード、及び目標状態間の遷移を表現するエッジを含む状態遷移図を示す第1画面を表示装置に表示するステップと、前記第1画面において、前記複数のノードのうちのいずれかの選択、及び前記目標状態の遷移に関する修正を受け付けるステップと、前記複数のノードのうちのいずれかの選択に応じて、選択された前記ノードに対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す第2画面を前記表示装置に表示するステップと、前記第2画面において、表示された前記目標状態における前記複数の対象物間の相対的かつ物理的な関係に関する修正を受け付けるステップと、を実行させるための、プログラムである。 For example, the information presentation program according to one aspect of the present invention is a step of acquiring state transition information indicating a series of target states that transition in the process from the start to the end of a task performed by a robot device to a computer. , Each target state included in the series is defined by a relative and physical relationship between a plurality of objects that are the targets of the operation of the robot device in the task, and the step and the acquired state transition information. A first screen showing a state transition diagram showing a series of target states, including a plurality of nodes representing each target state and edges representing transitions between target states. On the display device, on the first screen, a step of accepting a selection of any of the plurality of nodes and a modification regarding the transition of the target state, and any of the plurality of nodes. Depending on the selection, a step of displaying on the display device a second screen showing a relative and physical relationship between a plurality of objects defined in the target state corresponding to the selected node, and the second step. It is a program for executing a step of accepting a modification regarding a relative and physical relationship between the plurality of objects in the displayed target state on the screen.
本発明によれば、ロボット装置がタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を設定する作業の効率性を高めることができる。 According to the present invention, it is possible to improve the efficiency of the work of setting the relative and physical relationships of a plurality of objects in the process in which the robot device performs a task.
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良及び変形を行うことができることは言うまでもない。本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。 Hereinafter, embodiments according to one aspect of the present invention (hereinafter, also referred to as “the present embodiment”) will be described with reference to the drawings. However, the embodiments described below are merely examples of the present invention in all respects. Needless to say, various improvements and modifications can be made without departing from the scope of the present invention. In carrying out the present invention, a specific configuration according to the embodiment may be appropriately adopted. Although the data appearing in the present embodiment is described in natural language, more specifically, it is specified in a pseudo language, a command, a parameter, a machine language, etc. that can be recognized by a computer.
§1 適用例
図1は、本発明の適用場面の一例を模式的に例示する。本実施形態に係る情報提示装置1は、ロボット装置2のタスクを遂行する過程に関する情報を提示し、タスクを遂行する過程において遷移する目標状態の修正を受け付けるように構成されたコンピュータである。本実施形態に係る情報提示装置1は、ロボット装置2により遂行されるタスクの開始から終了までの改定において遷移する目標状態の系列を示す状態遷移情報120を取得する。系列に含まれる各目標状態は、タスクにおけるロボット装置2の操作の対象である複数の対象物間の相対的かつ物理的な関係(以下、単に「相対関係」とも記載する)により規定される。本実施形態では、タスクは、目標状態間の遷移を達成する遷移作業に分割される。
§1 Application example FIG. 1 schematically illustrates an example of application situations of the present invention. The
図1の例では、2台のロボット装置2がタスクの遂行に利用され、各ロボット装置2は、マニピュレータである。しかしながら、ロボット装置2の数は、2つに限られなくてもよく、1つであってもよいし、3つ以上であってもよい。また、ロボット装置2は、対象物を操作可能であれば、その種類は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。ロボット装置2は、例えば、上記マニピュレータ等の産業用ロボット、自動的に移動可能な移動体等を含んでもよい。産業用ロボットは、例えば、垂直多関節ロボット、スカラロボット、パラレルリンクロボット、直交ロボット、協調ロボット等を含んでもよい。また、自動的に移動可能な移動体は、例えば、ドローン、自度運転可能に構成された車両、モバイルロボット等を含んでよい。
In the example of FIG. 1, two
本実施形態では、エンドエフェクタT及び各ワーク(W、V)が対象物の一例である。エンドエフェクタTは、例えば、グリッパ、吸引器、ドライバ等であってよい。各ワーク(W、V)は、例えば、コネクタ、ペグ、ソケット、ホール、ギア、ボルト、ナット等の製品の部品であってよい。製品は、例えば、家電製品、コンピュータ装置、自動車等であってよい。このように、複数の対象物は、マニピュレータのエンドエフェクタ及びマニピュレータにより移動の対象となる製品の部品を含んでよい。ただし、対象物は、ロボット装置2の動作に関連し得るものであれば、その種類は、このような例に限定されなくてもよく、例えば、遂行するタスク等に応じて適宜選択されてよい。対象物は、上記エンドエフェクタ及びワークの他、例えば、障害物等を含んでもよい。障害物は、例えば、作業台、トレイ、固定センサ等を含んでもよい。
In this embodiment, the end effector T and each work (W, V) are examples of objects. The end effector T may be, for example, a gripper, an aspirator, a screwdriver, or the like. Each work (W, V) may be a component of a product such as a connector, a peg, a socket, a hole, a gear, a bolt, or a nut. The product may be, for example, a home appliance, a computer device, an automobile, or the like. As described above, the plurality of objects may include the end effector of the manipulator and the parts of the product to be moved by the manipulator. However, the type of the object does not have to be limited to such an example as long as it can be related to the operation of the
タスクは、ロボット装置2に遂行させる仕事であれば、その種類は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。タスクは、例えば、部品運搬、部品嵌合、ネジ回し等であってよい。タスクは、例えば、ワークの把持、ワークの解放等の単純な仕事であってもよい。
The type of the task is not particularly limited as long as it is a task to be performed by the
相対的かつ物理的な関係は、例えば、位置、力、寸法(体積)、及び状態の少なくともいずれかに関するものであってよい。相対的かつ物理的な関係は、相対関係量により規定されてよい。相対関係量は、複数の対象物の間の相対関係に関する属性の物理量を示す。相対関係量は、例えば、相対座標(相対位置、相対姿勢)、対象物間に作用する力(例えば、荷重等)、相対寸法、対象物間の状態(例えば、連結されているか否か)又はこれらの組み合わせにより構成されてよい。 Relative and physical relationships may relate, for example, to at least one of position, force, dimension (volume), and state. The relative and physical relationship may be defined by the relative relationship quantity. The relative relation quantity indicates the physical quantity of the attribute related to the relative relation between a plurality of objects. The relative relation amount is, for example, relative coordinates (relative position, relative posture), force acting between objects (for example, load, etc.), relative dimensions, state between objects (for example, whether or not they are connected), or It may be composed of a combination of these.
図2A及び図2Bは、相対座標により構成される相対関係量の一例を模式的に例示する。相対座標は、一方の対象物から他方の対象物を見たときの座標である。2つの対象物のうちのいずれかが相対座標の基準に選択されてよい。相対座標は、相対位置及び相対姿勢の少なくとも一方を含んでよい。3次元空間上では、相対位置は、前後、左右、及び上下の3つの軸により表現されてよく、姿勢は、各軸の回転(ロール、ピッチ、ヨー)により表現されてよい。相対座標は、3次元の相対位置及び3次元の相対姿勢により表現されてよい。ただし、相対座標の次元数は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、相対位置及び相対姿勢の次元数、適宜削減されてよい。また、例えば、相対姿勢は、四元数又は回転行列により表現されてよい。 2A and 2B schematically illustrate an example of a relative relation amount composed of relative coordinates. Relative coordinates are the coordinates when the other object is viewed from one object. One of the two objects may be selected as the relative coordinate reference. Relative coordinates may include at least one of relative position and relative orientation. In the three-dimensional space, the relative position may be represented by three axes of front-back, left-right, and up-down, and the posture may be represented by the rotation (roll, pitch, yaw) of each axis. Relative coordinates may be represented by a three-dimensional relative position and a three-dimensional relative posture. However, the number of dimensions of the relative coordinates does not have to be limited to such an example, and may be appropriately determined according to the embodiment. For example, the number of dimensions of the relative position and the relative posture may be reduced as appropriate. Also, for example, the relative attitude may be represented by a quaternion or a rotation matrix.
図2Aは、エンドエフェクタTにより第1ワークWを保持しようとする場面を模式的に例示する。この場面のように、エンドエフェクタが対象のワークを保持していない間は、エンドエフェクタ及びワークの間の相対関係量によりタスクの状態が規定されてよい。図2Aの例では、エンドエフェクタT及び第1ワークWの間の相対座標RC1によりタスクの状態が規定されてよい。相対座標RC1は、エンドエフェクタTの基準点T0を原点とするローカル座標系CTから見た、第1ワークWの基準点W0を原点とするローカル座標系CWを表す。 FIG. 2A schematically illustrates a scene in which the end effector T tries to hold the first work W. As in this scene, while the end effector does not hold the target work, the task state may be defined by the relative relationship between the end effector and the work. In the example of FIG. 2A, the state of the task may be defined by the relative coordinates RC1 between the end effector T and the first work W. The relative coordinates RC1 represent the local coordinate system CW whose origin is the reference point W0 of the first work W as viewed from the local coordinate system CT whose origin is the reference point T0 of the end effector T.
一方、図2Bは、エンドエフェクタTにより保持した第1ワークWを第2ワークVの方に運搬する場面を模式的に例示する。この場面のように、エンドエフェクタが対象のワークを保持している間は、対象のワーク及び運搬の目標物(例えば、他のワーク)の間の相対関係量によりタスクの状態が規定されてよい。図2Bの例では、第1ワークW及び第2ワークVの間の相対座標RC2によりタスクの状態が規定されてよい。相対座標RC2は、第1ワークWの基準点W0を原点とするローカル座標系CWから見た、第2ワークVの基準点V0を原点とするローカル座標系CVを表す。 On the other hand, FIG. 2B schematically illustrates a scene in which the first work W held by the end effector T is transported toward the second work V. As in this scene, while the end effector holds the target work, the task state may be defined by the relative relationship between the target work and the target to be transported (for example, other work). .. In the example of FIG. 2B, the task state may be defined by the relative coordinates RC2 between the first work W and the second work V. The relative coordinates RC2 represent the local coordinate system CV whose origin is the reference point V0 of the second work V as seen from the local coordinate system CW whose origin is the reference point W0 of the first work W.
なお、各基準点(T0、W0、V0)は任意に設定されてよい。また、相対座標の与え方は、上記のような例に限定されなくてよく、実施の形態に応じて適宜決定されてよい。例えば、相対座標RC1を、第1ワークWの基準点W0を原点とするローカル座標系CWから見た、エンドエフェクタTの基準点T0を原点とするローカル座標系CTを表すように構成する等のように、各相対座標(RC1、RC2)の関係は反転されてもよい。相対座標以外の相対関係量についても、上記相対座標と同様にそれぞれの物理量に応じて適宜設定されてよい。 Each reference point (T0, W0, V0) may be set arbitrarily. Further, the method of giving the relative coordinates is not limited to the above example, and may be appropriately determined according to the embodiment. For example, the relative coordinates RC1 are configured to represent the local coordinate system CT whose origin is the reference point T0 of the end effector T as seen from the local coordinate system CW whose origin is the reference point W0 of the first work W. As described above, the relationship between the relative coordinates (RC1, RC2) may be reversed. Similar to the above relative coordinates, relative relational quantities other than the relative coordinates may be appropriately set according to each physical quantity.
図1に戻り、本実施形態に係る情報提示装置1は、取得された状態遷移情報120に基づいて、目標状態の系列を表す状態遷移図であって、各目標状態をそれぞれ表現する複数のノード302、及び目標状態間の遷移を表現するエッジ305を含む状態遷移図を示す状態遷移画面30を表示装置15に表示する。状態遷移画面30は、第1画面の一例である。本実施形態では、状態遷移図は、タスクの初期状態を表現するノード301を更に含む。ノード301は、最初の目標状態(第1目標状態)を表現するノード302にエッジ305を介して接続されている。エッジ305により表現される遷移関係は、例えば、順列、分岐、結合、及び繰り返しのいずれかであってよい。図1の例では、n+1個の目標状態が設定されており(nは、自然数)、n+1番目の目標状態が最終目標状態であり、各目標状態のノード302は順列に接続されている。各目標状態及び遷移関係は適宜与えられてよい。本実施形態に係る情報提示装置1は、状態遷移画面30において、複数のノード302のうちのいずれかの選択、及び目標状態の遷移に関する修正を受け付ける。目標状態の遷移に関する修正は、例えば、目標状態の追加、削除、遷移元又は遷移先の変更、及びこれらの組み合わせにより構成されてよい。
Returning to FIG. 1, the
また、本実施形態に係る情報提示装置1は、複数のノード302のうちのいずれかの選択に応じて、選択されたノード302に対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す状態画面32を表示装置15に表示する。状態画面32は、第2画面の一例である。本実施形態に係る情報提示装置1は、状態画面32において、表示された目標状態における複数の対象物間の相対的かつ物理的な関係に関する修正を受け付ける。相対関係に関する修正は、相対関係量を直接的に修正すること、及び各対象物の物理的な属性値を変更することで相対関係量を間接的に修正することの少なくともいずれかにより構成されてよい。各対象物の物理的な属性値は、例えば、位置、姿勢、力(例えば、重量、作用力等)、寸法、状態(例えば、連結の有無)等に関するものであってよい。
Further, the
以上のとおり、本実施形態に係る情報提示装置1は、状態遷移図を示す状態遷移画面30及び各目標状態における相対関係を示す状態画面32を表示装置15に表示する。状態遷移画面30によれば、ロボット装置2がタスクを遂行する過程において、当該タスクに関与する複数の対象物それぞれの達成すべき相対関係を規定する目標状態の系列が適切に設定されているか否かを確認することができる。更には、その目標状態の系列に不備がある場合には、当該目標状態間の遷移に関する修正を行うことができる。一方、状態画面32によれば、各目標状態について、複数の対象物の相対関係が適切に規定されているか否かを確認することができる。更には、その相対関係に不備がある場合に、当該相対関係に関する修正を行うことができる。したがって、表示される状態遷移画面30及び状態画面32によれば、タスクを遂行する過程全体の流れ及び個々の目標状態それぞれの確認及び設定を行うことができる。これにより、ロボット装置2がタスクを遂行する過程における複数の対象物の相対関係を設定する作業の効率性を高めることができる。
As described above, the
§2 構成例
[ハードウェア構成]
図3は、本実施形態に係る情報提示装置1のハードウェア構成の一例を模式的に例示する。図3に示されるとおり、本実施形態に係る情報提示装置1は、制御部11、記憶部12、外部インタフェース13、入力装置14、表示装置15、及びドライブ16が電気的に接続されたコンピュータである。なお、図3では、外部インタフェースを「外部I/F」と記載している。
§2 Configuration example [Hardware configuration]
FIG. 3 schematically illustrates an example of the hardware configuration of the
制御部11は、ハードウェアプロセッサであるCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部12は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部12は、情報提示プログラム81、状態遷移情報120、CAD(computer-aided design)情報123、環境情報125等の各種情報を記憶する。
The
情報提示プログラム81は、ロボット装置2のタスクを遂行する過程に関する情報の提示に関する後述の情報処理(図5)を情報提示装置1に実行させるためのプログラムである。情報提示プログラム81は、当該情報処理の一連の命令を含む。状態遷移情報120は、ロボット装置2により遂行されるタスクの開始から終了までの改定において遷移する目標状態の系列を示す。CAD情報123は、ロボット装置2及び各対象物(エンドエフェクタT、第1ワークW、第2ワークV)のモデル(例えば、3次元モデル)等の幾何学的な構成を示す構成情報を含む。環境情報125は、ロボット装置2及び各対象物の初期状態を規定する。環境情報125には、これらの他、タスクを遂行する環境を示す情報が更に含まれてもよい。
The
外部インタフェース13は、例えば、USB(Universal Serial Bus)ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース13の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。情報提示装置1は、外部インタフェース13を介して、各ロボット装置2に接続されてよい。
The
入力装置14は、例えば、マウス、キーボード等の入力を行うための装置である。また、表示装置15は、出力装置の一例であり、例えば、ディスプレイである。オペレータは、入力装置14及び表示装置15を介して、情報提示装置1を操作することができる。なお、表示装置15は、タッチパネルディスプレイであってもよい。この場合、入力装置14は、省略されてもよい。
The
ドライブ16は、例えば、CDドライブ、DVDドライブ等であり、記憶媒体91に記憶されたプログラム等の各種情報を読み込むためのドライブ装置である。記憶媒体91は、コンピュータその他装置、機械等が、記憶されたプログラム等の各種情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。上記情報提示プログラム81、状態遷移情報120、CAD情報123、及び環境情報125の少なくともいずれかは、記憶媒体91に記憶されていてもよい。情報提示装置1は、この記憶媒体91から、上記情報提示プログラム81、状態遷移情報120、CAD情報123、及び環境情報125の少なくともいずれかを取得してもよい。なお、図3では、記憶媒体91の一例として、CD、DVD等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体91の種類は、ディスク型に限られなくてもよく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。ドライブ16の種類は、記憶媒体91の種類に応じて任意に選択されてよい。
The
なお、情報提示装置1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部11は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA(field-programmable gate array)、DSP(digital signal processor)等で構成されてよい。記憶部12は、制御部11に含まれるRAM及びROMにより構成されてもよい。外部インタフェース13、入力装置14、表示装置15及びドライブ16の少なくともいずれかは省略されてもよい。情報提示装置1は、ネットワークを介したデータ通信を実行可能なように通信インタフェースを更に備えてもよい。情報提示装置1は、表示装置15以外の出力装置を更に備えてもよい。情報提示装置1は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、情報提示装置1は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、デスクトップPC(Personal Computer)、タブレットPC、PLC(programmable logic controller)等であってもよい。
Regarding the specific hardware configuration of the
[ソフトウェア構成]
図4は、本実施形態に係る情報提示装置1のソフトウェア構成の一例を模式的に例示する。情報提示装置1の制御部11は、記憶部12に記憶された情報提示プログラム81をRAMに展開する。そして、制御部11は、RAMに展開された情報提示プログラム81に含まれる命令をCPUにより解釈及び実行して、各構成要素を制御する。これにより、図4に示されるとおり、本実施形態に係る情報提示装置1は、情報取得部171、第1表示部172、第1受付部173、第2表示部174、第2受付部175、シミュレータ部176、第3表示部177、第3受付部178、及び動作制御部179をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、情報提示装置1の各ソフトウェアモジュールは、制御部11(CPU)により実現される。
[Software configuration]
FIG. 4 schematically illustrates an example of the software configuration of the
情報取得部171は、ロボット装置2により遂行されるタスクの開始から終了までの改定において遷移する目標状態の系列を示す状態遷移情報120を取得する。第1表示部172は、取得された状態遷移情報120に基づいて、目標状態の系列を表す状態遷移図であって、各目標状態をそれぞれ表現する複数のノード302、及び目標状態間の遷移を表現するエッジ305を含む状態遷移図を示す状態遷移画面30を表示装置15に表示する。第1受付部173は、状態遷移画面30において、複数のノード302のうちのいずれかの選択、及び目標状態の遷移に関する修正を受け付ける。
The
第2表示部174は、複数のノード302のうちのいずれかの選択に応じて、選択されたノード302に対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す状態画面32を表示装置15に表示する。第2受付部175は、状態画面32において、表示された目標状態における複数の対象物間の相対的かつ物理的な関係に関する修正を受け付ける。
The
情報取得部171は、ロボット装置2及び各対象物の初期状態を規定する環境情報125を更に取得してもよい。シミュレータ部176は、取得された状態遷移情報120及び環境情報125に基づいて、ロボット装置2がタスクを遂行する過程のシミュレーションを行う。第3表示部177は、シミュレーションの結果を示すシーケンス画面36を表示装置15に表示する。シーケンス画面36は、第3画面の一例である。
The
タスクは、複数のロボット装置2により遂行されてよく、目標状態間の遷移を達成する遷移作業には、複数のロボット装置2の少なくともいずれかが使用されてよい。第3受付部178は、シーケンス画面36において、対応する遷移作業に使用されるロボット装置2の変更を受け付ける。動作制御部179は、状態遷移情報120及び環境情報125に基づいて、初期状態から最終目標状態まで各目標状態を順に達成するように、ロボット装置2の動作を制御する。
The task may be performed by a plurality of
情報提示装置1の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、情報提示装置1の各ソフトウェアモジュールがいずれも汎用のCPUによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、情報提示装置1のソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。
Each software module of the
§3 動作例
次に、図5を用いて、情報提示装置1の動作例について説明する。図5は、本実施形態に係る情報提示装置1の処理手順の一例を示すフローチャートである。以下で説明する処理手順は、情報提示方法の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
§3 Operation example Next, an operation example of the
(ステップS101)
ステップS101では、制御部11は、情報取得部171として動作し、状態遷移情報120を取得する。
(Step S101)
In step S101, the
状態遷移情報120により示される各目標状態における相対関係は、任意の方法で決定されてよい。相対関係の決定には、オペレータの入力、ダイレクトティーチング等の公知の方法が採用されてよい。タスクを遂行する開始から終了までの各目標状態及び各目標状態における相対関係を適宜決定することで、状態遷移情報120を作成することができる。後述する状態遷移画面30及び状態画面32を利用して、目標状態及びその目標状態における相対関係を決定する場合、初期には、状態遷移情報120は、テンプレートにより与えられてもよいし、或いは空情報であってもよい。テンプレートは、タスクに応じて、典型的な目標状態の系列及び各目標状態における相対関係を与えるように適宜決定されてよい。
The relative relationship in each target state indicated by the
状態遷移情報120の生成は、情報提示装置1により行われてもよいし、情報提示装置1以外の他のコンピュータにより行われてもよい。情報提示装置1が状態遷移情報120を生成する場合、制御部11は、自動的に又は入力装置14を介したオペレータの入力により、各目標状態及び各目標状態における相対関係を決定することで、状態遷移情報120を生成することができる。一方、他のコンピュータにより状態遷移情報120が生成される場合、制御部11は、例えば、ネットワーク、記憶媒体91等を介して、他のコンピュータにより生成された状態遷移情報120を取得する。
The
また、本実施形態では、ステップS101において、制御部11は、CAD情報123及び環境情報125を更に取得してもよい。CAD情報123は、公知のソフトウェアにより生成されてよい。環境情報125により示されるロボット装置2及び各対象物の初期状態は、例えば、配置される位置、姿勢等の物理的な属性により規定される。この初期状態は、上記各目標状態と同様に、任意の方法で決定されてよい。CAD情報123及び環境情報125の生成は、状態遷移情報120と同様に、情報提示装置1により行われてもよいし、情報提示装置1以外の他のコンピュータにより行われてもよい。また、後述する状態画面32又はシミュレーション画面34を利用して、初期状態におけるロボット装置2及び各対象物の属性値を決定する場合、初期には、環境情報125は、テンプレートにより与えられてもよいし、或いは空情報であってもよい。各種情報を取得すると、制御部11は、次のステップS102に処理を進める。
Further, in the present embodiment, in step S101, the
(ステップS102〜ステップS105)
ステップS102では、制御部11は、オペレータによる入力装置14の操作に応じて、対応する画面を表示装置15に表示する。本実施形態では、ステップS102において、表示装置15に表示される画面は、後述する図6〜図9の状態遷移画面30、状態画面32、シミュレーション画面34、及びシーケンス画面36のいずれかである。ステップS103では、制御部11は、表示装置15に表示した画面に対するオペレータの操作を受け付ける。本実施形態では、ステップS103において、オペレータは、表示画面の操作により、タスクを遂行する過程のおけるロボット装置2及び各対象物の状態を編集する作業を行う。
(Step S102 to Step S105)
In step S102, the
ステップS104では、制御部11は、表示した画面において受け付けた操作が画面遷移を伴うものか否かを判定する。受け付けた操作が画面遷移を伴うものである場合、制御部11は、ステップS102に処理を戻し、対応する画面を表示装置15に表示する。一方、そうではない場合、制御部11は、次のステップS105に処理を進める。ステップS105では、制御部11は、受け付けた操作が編集作業の終了に関するものであるか否かを判定する。受け付けた操作が編集作業の終了に関するものである場合、制御部11は、本動作例に係る処理手順を終了する。他方、そうではない場合、制御部11は、ステップS103に処理を戻し、表示装置15に表示した画面に対するオペレータの操作を更に受け付ける。
In step S104, the
図6は、本実施形態に係る状態遷移画面30の一例を模式的に例示する。上記ステップS102において、制御部11は、第1表示部172として動作し、取得された状態遷移情報120に基づいて、図6に例示される状態遷移画面30を最初の表示画面として表示装置15に表示してよい。状態遷移画面30は、目標状態の系列を表す状態遷移図を示す。状態遷移図は、タスクの初期状態を表現するノード301、各目標状態をそれぞれ表現する複数のノード302、及び目標状態間の遷移を表現するエッジ305を含む。各ノード(301、302)には、各状態におけるロボット装置2及び各対象物を表現するサムネイル又は各状態の説明が描画されてもよい。ノード301は省略されてもよい。
FIG. 6 schematically illustrates an example of the
状態遷移画面30を表示した後、上記ステップS103では、制御部11は、第1受付部173として動作し、状態遷移画面30において、複数のノード302のうちのいずれかの選択、及び目標状態の遷移に関する修正を受け付ける。本実施形態では、状態遷移画面30には、6つのボタン311〜316が設けられている。制御部11は、各ボタン311〜316により、ノード302の選択及び目標状態の遷移に関する修正を含む各種操作を受け付ける。
After displaying the
ボタン311及びボタン312は、目標状態の遷移に関する修正を受け付けるのに用いられる。制御部11は、状態遷移図においてノード302の指定を受け付けた後、ボタン311の操作に応じて、指定されたノード302及び対応する目標状態の削除を受け付ける。また、制御部11は、ボタン312の操作に応じて、新たな目標状態及び対応するノード302の追加を受け付ける。ただし、目標状態の削除及び追加を受け付ける方法は、このような例に限定されなくてもよい。他の方法の一例として、目標状態の削除及び追加のいずれかは、ボタン(311、312)を介さずに、状態遷移図上で直接的に受け付けられてもよい。
更に、制御部11は、目標状態の遷移に関する修正として、目標状態間の遷移を表現するエッジ305の削除及び追加を状態遷移図上で受け付ける。エッジ305の削除及び追加は任意の操作により受け付けられてよい。一例として、制御部11は、エッジ305を指定する操作に応じて、指定されたエッジ305を削除してもよい。また、制御部11は、遷移元及び遷移先の目標状態のノード302を指定する操作に応じて、指定された目標状態間にエッジ305を追加してもよい。エッジ305の削除及び追加は、目標状態の遷移元又は遷移先の変更に相当する。この他、制御部11は、エッジ305を連結するノード302の変更を受け付けてもよい。
Further, the
ボタン313は、状態遷移図で示される目標状態の系列に基づいて、ロボット装置2(実機)に対して動作の実行を指示するのに用いられる。制御部11は、ボタン313の操作に応じて、動作制御部179として動作し、状態遷移情報120及び環境情報125に基づいて、初期状態から最終目標状態まで各目標状態を順に達成するように、ロボット装置2の動作を制御する。ロボット装置2に与えられる制御指令は、例えば、目標制御量、操作量等により構成されてよい。制御指令は、各目標状態間の遷移を達成するように適宜決定されてよい。制御指令の決定には、任意の方法が採用されてよく、例えば、オペレータの入力、ダイレクトティーチング等の公知の方法が採用されてよい。制御部11は、ロボット装置2の動作を直接的に制御してもよい。或いは、制御部11は、PLC等の制御装置に制御指令を与えることで、ロボット装置2の動作を間接的に制御してもよい。
The
ボタン314は、シミュレーションの実行を受け付けるのに用いられる。ボタン315は、シミュレーションの結果を示すシーケンス画面36への遷移を受け付けるのに用いられる。ボタン315は、シミュレーションを実行した後に操作可能となる。
ボタン316は、複数のノード302のうちのいずれかの選択を受け付けるのに用いられる。制御部11は、状態遷移図においてノード302の指定を受け付けた後、ボタン316の操作に応じて、指定されたノード302が選択されたと認定する。すなわち、本実施形態では、複数のノード302のうちのいずれかの選択することは、状態遷移図においてノード302を指定し、ボタン316を操作することに相当する。ただし、ノード302の選択を受け付ける方法は、このような例に限定されなくてもよい。他の方法の一例として、ノード302の選択は、ボタン316を介さずに、状態遷移図において直接的に受け付けられてもよい。
図7A及び図7Bは、本実施形態に係る状態画面32の一例を模式的に例示する。上記ステップS104では、制御部11は、状態遷移画面30におけるボタン316の操作(すなわち、複数のノード302のうちのいずれかの選択)に応じて、状態画面32への遷移操作を受け付けたと判定する。そして、ステップS102において、制御部11は、第2表示部174として動作し、図7A及び図7Bに例示される状態画面32を表示装置15に表示する。
7A and 7B schematically illustrate an example of the
状態画面32は、選択されたノード302に対応する目標状態において規定された複数の対象物間の相対関係を示す。状態遷移情報120には、各目標状態における相対関係量を再現可能な情報が含まれる。相対関係量を再現可能な情報は、例えば、相対関係量そのものにより構成されてもよいし、或いは各対象物の物理的な属性値により構成されてもよい。制御部11は、状態遷移情報120を参照することで、選択されたノード302に対応する目標状態において規定された相対関係を特定する。相対関係の表示方法は任意でよい。本実施形態では、制御部11は、状態画面32において、CAD情報123を利用して、選択されたノード302に対応する目標状態を表現するように各対象物のモデルを描画することで、当該目標状態において規定された複数の対象物間の相対関係を表示する。
The
図7Aの例では、エンドエフェクタTにより第1ワークWを保持しようとする動作の相対関係量を修正する場面を想定しており、この動作に無関係な第2ワークVのモデルの描画は省略されている。このように、修正する相対関係量に無関係な対象物の描画は省略されてよい。一方、図7Bの例では、エンドエフェクタTにより保持した第1ワークWを第2ワークVの方に運搬する場面を想定しており、エンドエフェクタT、第1ワークW、及び第2ワークVの各モデルが状態画面32に描画されている。相対関係量を修正する対象となる対象物は適宜選択されてよい。
In the example of FIG. 7A, it is assumed that the end effector T corrects the relative relation amount of the operation for holding the first work W, and the drawing of the model of the second work V irrelevant to this operation is omitted. ing. In this way, the drawing of the object irrelevant to the relative quantity to be modified may be omitted. On the other hand, in the example of FIG. 7B, it is assumed that the first work W held by the end effector T is transported toward the second work V, and the end effector T, the first work W, and the second work V Each model is drawn on the
状態画面32を表示した後、上記ステップS103では、制御部11は、第2受付部175として動作し、状態画面32において、表示された目標状態における複数の対象物間の相対関係に関する修正を受け付ける。修正を受け付ける方法は、実施の形態に応じて適宜決定されてよい。本実施形態では、状態画面32には、相対関係に関する修正可能な属性に応じて、ボックス321が設けられる。
After displaying the
各ボックス321は、オペレータの入力装置14を介した入力により、各対象物(エンドエフェクタT、第1ワークW、第2ワークV)の位置(X,Y,Z)及び姿勢(R,P,Y)の変更を受け付けるように構成されている。図7Aの例では、エンドエフェクタT及び第1ワークWの位置及び姿勢の変更を受け付ける2つのボックス321が表示されている。図7Bの例では、第1ワークW及び第2ワークVの位置及び姿勢の変更を受け付ける2つのボックス321が表示されている。少なくともいずれかのボックス321において、対応する対象物の位置及び姿勢の少なくともいずれかの値を変更することで、当該対象物に関する相対座標を修正することができる。また、制御部11は、各対象物のモデルの操作により、各対象物の位置及び姿勢の少なくともいずれかの値の変更を受け付けてもよい。この場合、制御部11は、各対象物のモデルの操作に応じて、各ボックス321に表示される各対象物の位置及び姿勢の値をモデルの現在値に適合するように修正してよい。
Each
ただし、各ボックス321により変更を受け付け可能な属性は、このような例に限定されなくてもよい。各ボックス321は、位置及び姿勢に代えて又は位置及び姿勢と共に、例えば、力、寸法、状態等、位置及び姿勢以外の他の物理的な属性値の変更を受け付けるように構成されてもよい。更には、制御部11は、各ボックス321により、又は状態画面32に描画されるモデル上において、各対象物の属性として、各対象物のローカル座標系の基準点の位置及び姿勢の少なくともいずれかの修正を受け付けてもよい。図7A及び図7Bの例では、制御部11は、エンドエフェクタT、第1ワークW、第2ワークVの各ローカル座標系(CT、CW、CV)の基準点(T0、W0、V0)の位置及び姿勢の少なくともいずれかの修正を受け付けてもよい。また、各ボックス321により変更する対象は、各対象物の物理的な属性値に限られなくてよい。その他の一例として、各ボックス321は、相対関係量の変更を直接的に受け付けるように構成されてもよい。
However, the attributes that can be changed by each
なお、図7Bに例示されるように、エンドエフェクタTが第1ワークWを保持する場合等、2つ以上の対象物が一体となり、1つの集合体を形成する場合、状態画面32では、この集合体と他の対象物との相対関係量の修正を受け付けてもよい。この場合、集合体に含まれる1つの対象物の属性を当該集合体の属性として取り扱ってよい。すなわち、状態画面32では、集合体を代表する1つの対象物と他の対象物との相対関係量の修正を受け付けてもよい。
As illustrated in FIG. 7B, when two or more objects are integrated to form one aggregate, such as when the end effector T holds the first work W, this is displayed on the
集合体を代表する1つの対象物は適宜選択されてよい。例えば、図7Bの例では、第1ワークWを第2ワークVの方に運搬する場面を想定しているため、集合体(エンドエフェクタT及び第1ワークW)のなかで、この動作に主要な対象物は第1ワークWである。そのため、図7Bの状態画面32では、第1ワークWが集合体を代表している。このように、状態画面32で修正する相対関係量の動作に主要な対象物が、集合体を代表する対象物に選択されてよい。他の対象物も集合体であってよい。
One object representing the aggregate may be appropriately selected. For example, in the example of FIG. 7B, since it is assumed that the first work W is transported toward the second work V, this operation is mainly performed in the aggregate (end effector T and the first work W). The target object is the first work W. Therefore, in the
集合体内の各対象物間の相対関係量は適宜設定されてよい。例えば、制御部11は、他の対象物との相対関係量の修正する状態画面32において、集合体内の各対象物間の相対関係量の設定又は修正を更に受け付けてもよい。或いは、制御部11は、集合体内の各対象物間の相対関係量の設定又は修正を別の状態画面32で受け付けてもよい。集合体内の各対象物間の相対関係量が設定されている場合、上記相対関係量の修正により、集合体を代表する1つの対象物の属性が変更されることに応じて、残りの対象物の属性が、集合体内で設定された各対象物間の相対関係量を満たすように変更されてよい。例えば、図7Bの例では、第1ワークWの位置又は姿勢が変更されることに応じて、エンドエフェクタTが第1ワークWを保持した状態を満たすように、エンドエフェクタTの位置又は姿勢が変更されてよい。制御部11は、このような一部の対象物の属性の変更を他の対象物に反映する演算をオペレータの操作に応じて適宜行ってよい。
The amount of relative relation between each object in the aggregate may be set as appropriate. For example, the
また、本実施形態では、状態画面32には、4つのボタン(323〜325、331)が設けられる。これらのうち2つのボタン(323、324)は、相対関係量の取り得る範囲を制限するために用いられる。ボタン323は、対象物の接触可能な範囲を指定するために用いられる。接触可能な範囲を指定する方法は任意であってよい。例えば、状態画面32に描画された各対象物のモデル上での領域の指定により、各対象物の接触可能な範囲が指定されてよい。図7Aの例では、この接触可能な範囲の指定は、エンドエフェクタTが第1ワークWを保持する際に、第1ワークWにおいてエンドエフェクタTの接触を許可する範囲を決定するために行われてよい。また、図7Bの例では、接触可能な範囲の指定は、第2ワークVにおいて第1ワークWの配置を許可する範囲を決定するために行われてよい。なお、接触可能な範囲を指定する方法は、このような直接的に指定する方法に限られなくてもよい。接触可能な範囲は、例えば、接触不能な範囲の指定により間接的に指定されてよい。
Further, in the present embodiment, the
一方、ボタン324は、相対関係量の許容する範囲を指定するために用いられる。相対関係量の許容範囲を指定する方法は任意であってよい。例えば、制御部11は、ボタン324の操作に応じて、指定を受け付ける相対関係量に応じてスライドバーを表示し、スライドバー上で最大値及び最小値の指定を受け付けてもよい。これにより、制御部11は、相対関係量の許容範囲の指定を受け付けてもよい。図7Aの例では、この許容範囲の指定は、エンドエフェクタTが第1ワークWを保持した時に許容するエンドエフェクタT及び第1ワークWの間の相対関係量の範囲を決定するために行われてよい。また、図7Bの例では、この許容範囲の指定は、第2ワークV上に第1ワークWを配置した時に許容する第1ワークW及び第2ワークVの間の相対関係量の範囲を決定するために行われてよい。
On the other hand, the
なお、上記各ボックス321の操作によりいずれかの対象物間の相対関係量が変更された場合等、任意のタイミングで、制御部11は、各ボタン(323、324)により指定された各範囲を満たすか否かを判定してもよい。そして、制御部11は、いずれかの範囲を満たさない場合に、そのことを通知するための警告を状態画面32上に表示してもよい。
In addition, at an arbitrary timing, such as when the relative relationship amount between any of the objects is changed by the operation of each of the
例えば、図7Aの場面で、第1ワークW上で接触可能な範囲が指定された後に、第1ワークWの接触可能な範囲以外の場所をエンドエフェクタTが保持するようにエンドエフェクタTの属性が変更された場合を想定する。この場合、制御部11は、エンドエフェクタTが第1ワークWの接触の許可されていない箇所を保持することを通知するための警告を状態画面32上に表示してもよい。
For example, in the scene of FIG. 7A, after the contactable range on the first work W is specified, the attribute of the end effector T is such that the end effector T holds a place other than the contactable range of the first work W. Is changed. In this case, the
また、例えば、図7Aの場面で、エンドエフェクタTが第1ワークWを保持した時に許容するエンドエフェクタT及び第1ワークWの間の相対座標の範囲が指定された後、この範囲を満たさないようにエンドエフェクタTの属性が変更された場合を想定する。この場合、制御部11は、許容されていない相対座標でエンドエフェクタTが第1ワークWを保持することを通知するための警告を状態画面32上に表示してもよい。
Further, for example, in the scene of FIG. 7A, after the range of relative coordinates between the end effector T and the first work W allowed when the end effector T holds the first work W is specified, this range is not satisfied. It is assumed that the attribute of the end effector T is changed as described above. In this case, the
更に、各対象物間の相対関係量が指定された各範囲の条件を満たさない場合に、制御部11は、各対象物間の相対関係量を適宜修正してもよい。例えば、制御部11は、ランダムに又は所定の規則に従って、各対象物間の相対関係量を変更してもよい。相対関係量を変更する所定の規則は、オペレータの指定、プログラム内の設定等により与えられてよい。この場合、制御部11は、接触可能な範囲及び許容範囲の条件を満たす複数の候補を算出し、算出された複数の候補のうち最も変更量の少ない(すなわち、オペレータの指定した相対関係量に最も近い)候補を状態画面32上で提示してもよい。そして、制御部11は、状態画面32において、この候補を採用するか否かの選択を受け付けてもよい。
Further, when the relative relationship amount between the objects does not satisfy the condition of each specified range, the
また、制御部11は、任意のタイミングで、状態画面32において指定された相対関係量により各対象物間で物理的な干渉が生じないかどうかを判定してもよい。本実施形態では、制御部11は、CAD情報123に基づいて、各対象物のモデルが物理的に取り得ない状態(例えば、ある対象物のモデルが他の対象物のモデルに埋没している)になっていないかどうかを判定してもよい。例えば、図7Aの場面では、制御部11は、エンドエフェクタTと第1ワークWとの間で干渉が生じないかどうかを判定してもよい。また、図7Bの場面では、制御部11は、エンドエフェクタTと第2ワークVとの間、及び第1ワークWと第2ワークVとの間の少なくとも一方で干渉が生じないかどうかを判定してもよい。
Further, the
更に、制御部11は、上記状態遷移図で指定された目標状態の遷移を考慮し、状態画面32で表示される対象の目標状態で相対関係量を指定する各対象物と対象の目標状態の後に遷移する目標状態(例えば、次に遷移する目標状態)で相対関係量を指定する各対象物との間で物理的な干渉が生じないかどうかを判定してもよい。例えば、図7Bの目標状態が、図7Aの目標状態に次に遷移する目標状態であると想定する。この場合、状態遷移情報120において、第1ワークWを介して、エンドエフェクタTと第2ワークVとの相対関係量が指定される。制御部11は、図7Aの状態画面32が表示されている際に、状態遷移情報120及びCAD情報123に基づいて、エンドエフェクタTと第2ワークVとの間で干渉が生じないかどうかを判定してもよい。これにより、後に遷移する目標状態に配慮した上で、対象の目標状態における相対関係量を調整することができる。
Further, the
それぞれの場面で干渉が生じると判定した場合、制御部11は、状態画面32上で、干渉の生じる対象物を示すと共に、当該干渉の発生を通知するための警告を表示してもよい。また、上記と同様に、制御部11は、干渉の生じる各対象物間の相対関係量を適宜修正してもよい。この場合、制御部11は、干渉の生じない相対関係量の複数の候補を算出し、算出された複数の候補のうち最も変更量の少ない候補を状態画面32上で提示してもよい。そして、制御部11は、状態画面32において、この候補を採用するか否かの選択を受け付けてもよい。
When it is determined that interference occurs in each scene, the
ボタン325は、ロボット装置2の選択に用いられる。タスクは、複数のロボット装置2により遂行されてよい。この場合に、制御部11は、状態画面32において、複数のロボット装置2から、目標状態間の遷移を達成する遷移作業に使用する少なくとも1つのロボット装置2の選択を更に受け付けてよい。ボタン325は、この遷移作業に使用する少なくとも1つのロボット装置2の選択に用いられる。
具体的には、制御部11は、ボタン325の操作に応じて、表示される目標状態を達成する遷移作業に使用する少なくとも1つのロボット装置2の選択を受け付けることができる。使用するロボット装置2の選択方法は、実施の形態に応じて適宜決定されてよい。一例として、制御部11は、ボタン325の操作に応じて、表示される目標状態を達成する遷移作業に使用可能なロボット装置2の一覧を表示してもよい。そして、制御部11は、表示された一覧により、少なくとも1つのロボット装置2の選択を受け付けてもよい。
Specifically, the
遷移作業に使用するロボット装置2が決定されていなかった場合には、この操作により、当該遷移作業に使用するロボット装置2を指定することができる。また、遷移作業に使用するロボット装置2が予め決定されている場合には、この操作により、当該遷移作業に使用するロボット装置2を修正(変更)することができる。この状態画面32において、オペレータは、各目標状態を確認しながら、各目標状態の達成に適切なロボット装置2を選択することができる。その結果、複数のロボット装置2が協働するタスクについて、適切にタスクを遂行可能なように各ロボット装置2の作業の割り当てをすることができる。なお、使用するロボット装置2の修正に応じて、制御部11は、変更前のロボット装置2に関する対象物から変更後のロボット装置2に関する対象物に、状態画面32に描画するモデルを変更してもよい。
When the
ボタン331は、状態遷移画面30に戻るために用いられる。上記ステップS104では、制御部11は、ボタン331の操作に応じて、状態遷移画面30への遷移操作を受け付けたと判定する。そして、ステップS102において、制御部11は、図6に例示される状態遷移画面30を表示装置15に再度表示し、ステップS103以降の処理を実行する。
なお、初期状態を表現するノード301も、各目標状態を表現するノード302と同様に取り扱われてよい。すなわち、制御部11は、状態遷移画面30において、ノード301の選択を受け付けてもよい。そして、ノード301が選択されたことに応じて、制御部11は、初期状態における複数の対象物間の相対関係を示す状態画面32を表示装置15に表示してもよい。そして、状態画面32において、初期状態における複数の対象物間の相対関係に関する修正を受け付けてもよい。また、状態画面32には、各ボタン(323〜325、331)の他、相対関係量を修正する対象となる対象物を選択するためのボタンが設けられてもよい。例えば、図7Aの例では、このボタンの操作に応じて、状態画面32に第2ワークVのモデルを登場させて、第2ワークVとの相対関係量の修正を受け付けてもよい。
The
図8は、本実施形態に係るシミュレーション画面34の一例を模式的に例示する。上記ステップS104では、制御部11は、状態遷移画面30におけるボタン314の操作に応じて、シミュレーション画面34への遷移操作を受け付けたと判定する。そして、ステップS102において、制御部11は、図8に例示されるシミュレーション画面34を表示装置15に表示する。シミュレーション画面34の構成は任意でよい。本実施形態では、制御部11は、シミュレーション画面34において、CAD情報123及び環境情報125に基づいて、初期状態におけるロボット装置2及び各対象物のモデルを描画する。環境情報125には、状態遷移情報120と同様に、ロボット装置2の属性値、各対象物の属性値等の初期状態を再現可能な情報が含まれる。
FIG. 8 schematically illustrates an example of the
シミュレーション画面34には、3つのボタン(341、343、351)が設けられている。ボタン341は、初期状態におけるロボット装置2及び各対象物の属性を設定するのに用いられる。ロボット装置2の属性は、例えば、ロボットの種類、関節の初期角度、設置位置、エンドエフェクタを取り付ける位置等に関するものであってよい。各対象物の属性は、例えば、設置位置、設置角度(姿勢)等に関するものであってよい。初期状態の設定方法は、実施の形態に応じて適宜決定されてよい。一例として、制御部11は、ボタン341の操作に応じて、上記状態画面32と同様に、変更可能な属性に対応するボックスを表示し、表示されたボックスに対する入力により、初期状態におけるロボット装置2及び各対象物の属性値の指定を受け付けてもよい。或いは、制御部11は、シミュレーション画面34上でのロボット装置2及び各対象物のモデルの操作に応じて、初期状態におけるロボット装置2及び各対象物の属性値の指定を受け付けてもよい。初期状態が予め決定されていなかった場合には、この操作により、初期状態におけるロボット装置2及び各対象物の属性を指定することができる。一方、初期状態が予め決定されている場合、この操作により、初期状態におけるロボット装置2及び各対象物の属性を修正することができる。
The
ボタン343は、シミュレーションの実行を指示するのに用いられる。制御部11は、ボタン343の操作に応じて、シミュレータ部176として動作し、状態遷移情報120及び環境情報125に基づいて、ロボット装置2がタスクを遂行する過程のシミュレーションを行う。制御部11は、上記動作制御部179の動作と同様に、初期状態から最終目標状態まで各目標状態を順に達成するように、ロボット装置2の動作をシミュレーションする。シミュレーションは任意の方法で行われてよい。シミュレーションには、公知のソフトウェアが用いられてよい。なお、当該シミュレーションは、上記ボタン313の操作により実機の動作を制御する際にも実行されてよい。
ボタン351は、上記ボタン331と同様に、状態遷移画面30に戻るために用いられる。上記ステップS104では、制御部11は、ボタン351の操作に応じて、状態遷移画面30への遷移操作を受け付けたと判定する。そして、ステップS102において、制御部11は、図6に例示される状態遷移画面30を表示装置15に再度表示し、ステップS103以降の処理を実行する。この際に、制御部11は、上記ボタン315を有効化する。
The
図9は、本実施形態に係るシーケンス画面36の一例を模式的に例示する。上記ステップS104では、制御部11は、状態遷移画面30におけるボタン315の操作に応じて、シーケンス画面36への遷移操作を受け付けたと判定する。そして、ステップS102において、制御部11は、第3表示部177として動作し、図9に例示されるシーケンス画面36を表示装置15に表示する。なお、シーケンス画面36を表示するタイミングは、このような例に限定されなくてもよい。その他の一例として、制御部11は、上記ボタン343の操作によるシミュレーションの実行の完了に応じて、シーケンス画面36を自動的に表示装置15に表示してもよい。
FIG. 9 schematically illustrates an example of the
本実施形態に係るシーケンス画面36は、タイムライン361及び各ブロック(3631〜3634、3641〜3643)を含んでいる。タイムライン361は、タスクの遂行を開始してからの経過時間を表現する。各ブロック(3631〜3634、3641〜3643)は、タイムライン361において、目標状態間の遷移を達成する遷移作業をロボット装置2がシミュレーション上で実行する時間区間を表現する。上記のとおり、タスクは、複数のロボット装置2により遂行されてよく、遷移作業には、複数のロボット装置2の少なくともいずれかが使用されてよい。これに応じて、各ブロック(3631〜3634、3641〜3643)は、対応する遷移作業に使用するロボット装置2に関連付けられて配置されてよい。これにより、各遷移作業を遂行するロボット装置2の視認性を高めることができる。
The
図9の例では、タスクの遂行に2台のロボット装置2を利用する場面を想定している。説明の便宜上、第1ロボット及び第2ロボットとそれぞれを称する。加えて、タスクには、図6に示されるとおり、4つの目標状態が設定されており、第2目標状態から第3目標状態への遷移作業を第2ロボットが担当し、残りの遷移作業を第1ロボットが担当する場面を想定している。図9に示されるとおり、説明の便宜上、各遷移作業の動作を「第1動作」、「第2動作」等と順に称する。
In the example of FIG. 9, it is assumed that two
各ブロック3631〜3634は、第1ロボットに関連付けられ上段に配置されている。一方、各ブロック3641〜3643は、第2ロボットに関連付けられ下段に配置されている。ブロック(3631、3632、3643)は、各遷移作業に関する各動作を第1ロボットが実行していることを示す。これに対応して、ブロック(3641、3643)は、各動作を第1ロボットが実行している間、第2ロボットが待機していることを示す。同様に、ブロック3642は、第2目標状態から第3目標状態への遷移作業に関する第3動作を第2ロボットが実行していることを示す。これに対応して、ブロック3633は、第3動作を第2ロボットが実行している間、第1ロボットが待機していることを示す。なお、図9の例では、1台のロボット装置2が各動作を担当している。しかしながら、各動作に使用するロボット装置2の数は、このような例に限定されなくてもよく、2台以上であってもよい。
Each
このシーケンス画面36を表示した後、上記ステップS103では、制御部11は、第3受付部178として動作し、シーケンス画面36において、各ブロック(3631〜3634、3641〜3643)を関連付けるロボット装置2を変更する操作により、対応する遷移作業に使用されるロボット装置2の変更を受け付けてもよい。一例として、制御部11は、オペレータから入力装置14を介して、ブロック3642を下段から上段に移動する操作、或いはブロック3633を上段から下段に移動する操作を受け付けたと想定する。この場合、制御部11は、第3動作に使用するロボット装置2を第2ロボットから第1ロボットに変更する。これにより、対応する遷移作業に使用するロボット装置2を修正することができる。このシーケンス画面36において、オペレータは、シミュレーションの結果を確認しながら、各遷移作業の遂行に適切なロボット装置2を選択することができる。その結果、複数のロボット装置2が協働するタスクについて、適切にタスクを遂行可能なように各ロボット装置2の作業の割り当てをすることができる。
After displaying the
本実施形態に係るタイムライン361には、インジゲータ362が設けられる。また、本実施形態に係るシーケンス画面36には、2つの表示領域(367、368)が設けられる。オペレータは、インジゲータ362を操作することで、タイムライン361上で任意の時刻を指定することができる。表示領域367には、インジゲータ362で指定された時刻において、シミュレーションで再現されたロボット装置2及び各対象物の状態が表示される。一方、表示領域368には、インジゲータ362で指定された時刻において、シミュレーションで再現された各対象物の相対関係の状態が表示される。
An
更に、本実施形態に係るシーケンス画面36には、ボタン371が設けられる。ボタン371は、上記ボタン331等と同様に、状態遷移画面30に戻るために用いられる。上記ステップS104では、制御部11は、ボタン371の操作に応じて、状態遷移画面30への遷移操作を受け付けたと判定する。そして、ステップS102において、制御部11は、図6に例示される状態遷移画面30を表示装置15に再度表示し、ステップS103以降の処理を実行する。
Further, the
オペレータは、各画面(30、32、34、36)に表示される内容を確認しながら、入力装置14を介して各画面(30、32、34、36)を操作することで、タスクを遂行する過程のおけるロボット装置2及び各対象物の状態を編集することができる。この編集において受け付けた初期状態に関する修正は、当該修正を受け付けた後の任意のタイミングで環境情報125に反映される。同様に、目標状態の遷移に関する修正、各目標状態における複数の対象物間の相対関係に関する修正、及び使用するロボット装置2の修正は、当該修正を受け付けた後の任意のタイミングで状態遷移情報120に反映される。修正の反映は、新たにデータを生成すること又は既存のデータを更新することにより構成されてよい。状態遷移情報120及び環境情報125は、XML(Extensible Markup Language)等の言語により構造化されていてもよい。この場合、制御部11は、構造化された状態遷移情報120及び環境情報125を構文解析することで、上記状態遷移図及び各状態の情報を取得することができる。
The operator executes the task by operating each screen (30, 32, 34, 36) via the
なお、各画面(30、32、34、36)の構成は、上記の例に限定されなくてもよい。各画面(30、32、34、36)の構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加がされてよい。例えば、各画面(30、32、34、36)には、編集作業を終了するためのボタン(不図示)が更に設けられてもよい。制御部11は、このボタンの操作に応じて、ステップS105において、編集作業を終了すると判定し、本動作例に係る処理手順を終了してもよい。
The configuration of each screen (30, 32, 34, 36) does not have to be limited to the above example. With respect to the configuration of each screen (30, 32, 34, 36), components may be omitted, replaced, and added as appropriate according to the embodiment. For example, each screen (30, 32, 34, 36) may be further provided with a button (not shown) for ending the editing work. In response to the operation of this button, the
[特徴]
以上のとおり、本実施形態では、上記ステップS102により、状態遷移図を示す状態遷移画面30及び各目標状態における相対関係を示す状態画面32の2種類の画面が表示装置15に表示される。状態遷移画面30によれば、ロボット装置2がタスクを遂行する過程において、当該タスクに関与する複数の対象物それぞれの達成すべき相対関係を規定する目標状態の系列が適切に設定されているか否かを確認することができる。更には、その目標状態の系列に不備がある場合には、ステップS103において、当該目標状態間の遷移に関する修正を行うことができる。一方、状態画面32によれば、各目標状態について、複数の対象物の相対関係が適切に規定されているか否かを確認することができる。更には、その相対関係に不備がある場合に、ステップS103において、当該相対関係に関する修正を行うことができる。したがって、表示される状態遷移画面30及び状態画面32によれば、タスクを遂行する過程全体の流れ及び個々の目標状態それぞれの確認及び設定を行うことができる。これにより、ロボット装置2がタスクを遂行する過程における複数の対象物の相対関係を設定する作業の効率性を高めることができる。
[Features]
As described above, in the present embodiment, two types of screens, a
また、本実施形態では、上記ステップS102により、シミュレーションの結果を示すシーケンス画面36が表示装置15に表示される。このシーケンス画面36によれば、シミュレーションの結果に基づいて、設定された目標状態の系列により対象のタスクを適切に遂行可能か否か確認することができる。加えて、この確認結果をもとに、上記状態遷移画面30及び状態画面32において、各目標状態を決定することで、ロボット装置2が対象のタスクを遂行する過程における複数の対象物間の相対関係を、対象のタスクに応じて適切に設定することができるようになる。更に、本実施形態では、シーケンス画面36において、シミュレーションの結果が、タイムライン361及び各ブロック(3631〜3634、3641〜3643)により表現されている。これにより、ロボット装置2の動作及び各対象物間の相対関係の変化の視認性を高めることができ、設定された目標状態の系列により対象のタスクを適切に遂行可能か否かの確認をしやすくすることができる。
Further, in the present embodiment, the
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
§4 Modifications Although the embodiments of the present invention have been described in detail above, the above description is merely an example of the present invention in all respects. Needless to say, various improvements or modifications can be made without departing from the scope of the present invention. For example, the following changes can be made. In the following, the same reference numerals will be used for the same components as those in the above embodiment, and the same points as in the above embodiment will be omitted as appropriate. The following modifications can be combined as appropriate.
<4.1>
上記実施形態では、制御部11は、情報提示装置1の備える表示装置15に各画面(30、32、34、36)を表示する。しかしながら、各画面(30、32、34、36)を表示する表示装置は、このような例に限定されなくてもよい。制御部11は、他のコンピュータの備える表示装置に各画面(30、32、34、36)を表示してもよい。
<4.1>
In the above embodiment, the
<4.2>
上記実施形態において、各画面(30、32、34、36)の各操作は適宜省略されてよい。各操作の方法は、実施の形態に応じて適宜変更されてよい。例えば、上記状態画面32における、使用するロボット装置2を変更する操作は省略されてよい。この場合、状態画面32からボタン325は省略されてよい。また、例えば、状態画面32において、2つのボタン(323、324)のうちの少なくとも一方は省略されてよい。また、例えば、シーケンス画面36における、使用するロボット装置2を変更する操作は省略されてよい。この場合、情報提示装置1のソフトウェア構成から第3受付部178は省略されてよい。
<4.2>
In the above embodiment, each operation of each screen (30, 32, 34, 36) may be omitted as appropriate. The method of each operation may be appropriately changed according to the embodiment. For example, the operation of changing the
シーケンス画面36において、各ブロック(3631〜3634、3641〜3643)の配置は、対応する遷移作業に使用するロボット装置2に関連付けられていなくてもよい。この場合、ブロックの色等の他の方法により、各ブロック(3631〜3634、3641〜3643)とロボット装置2との対応関係が表現されてもよい。シミュレーションの結果を確認可能であれば、シーケンス画面36は、上記タイムライン361及び各(3631〜3634、3641〜3643)用いた方法以外の方法で、シミュレーションの結果を示してもよい。
In the
上記実施形態において、シミュレーションの実行は省略されてよい。この場合、上記シミュレーション画面34及びシーケンス画面36の表示は省略されてよい。状態遷移画面30において、各ボタン(314、315)は省略されてよい。情報提示装置1のソフトウェア構成からシミュレータ部176及び第3表示部177は省略されてよい。また、上記実施形態において、実機の動作の実行は省略されてよい。この場合、上記状態遷移画面30において、ボタン313は省略されてよい。情報提示装置1のソフトウェア構成から動作制御部179は省略されてよい。
In the above embodiment, the execution of the simulation may be omitted. In this case, the display of the
1…情報提示装置、
11…制御部、12…記憶部、13…外部インタフェース、
14…入力装置、15…表示装置、16…ドライブ、
91…記憶媒体、81…情報提示プログラム、
120…状態遷移情報、123…CAD情報、
125…環境情報、
171…情報取得部、
172…第1表示部、173…第1受付部、
174…第2表示部、175…第2表示部、
176…シミュレータ部、
177…第3表示部、178…第3受付部、
179…動作制御部、
2…ロボット装置、
T…エンドエフェクタ(対象物)、
T0…基準点、CT…ローカル座標系、
W…第1ワーク(対象物)、
W0…基準点、CW…ローカル座標系、
V…第2ワーク(対象物)、
V0…基準点、CV…ローカル座標系、
RC1・RC2…相対座標、
30…状態遷移画面、
301・302…ノード、305…エッジ、
311〜316…ボタン、
32…状態画面(第2画面)、
321…ボックス、
325・331…ボタン、
34…シミュレーション画面、
341・343・351…ボタン、
36…シーケンス画面(第3画面)、
361…タイムライン、362…インジゲータ、
3631〜3634…ブロック、
3641〜3643…ブロック、
367・368…表示領域、
371…ボタン
1 ... Information presentation device,
11 ... Control unit, 12 ... Storage unit, 13 ... External interface,
14 ... Input device, 15 ... Display device, 16 ... Drive,
91 ... Storage medium, 81 ... Information presentation program,
120 ... state transition information, 123 ... CAD information,
125 ... Environmental information,
171 ... Information acquisition department,
172 ... 1st display, 173 ... 1st reception,
174 ... 2nd display unit, 175 ... 2nd display unit,
176 ... Simulator department,
177 ... 3rd display unit, 178 ... 3rd reception unit,
179 ... Motion control unit,
2 ... Robot device,
T ... End effector (object),
T0 ... reference point, CT ... local coordinate system,
W ... 1st work (object),
W0 ... reference point, CW ... local coordinate system,
V ... 2nd work (object),
V0 ... reference point, CV ... local coordinate system,
RC1 and RC2 ... Relative coordinates,
30 ... State transition screen,
301/302 ... node, 305 ... edge,
311-16 ... Button,
32 ... Status screen (second screen),
321 ... Box,
325/331 ... button,
34 ... Simulation screen,
341, 343, 351 ... Button,
36 ... Sequence screen (3rd screen),
361 ... Timeline, 362 ... Indicator,
3631-3634 ... Block,
3641-643 ... Block,
367/368 ... Display area,
371 ... button
Claims (9)
取得された状態遷移情報に基づいて、前記目標状態の系列を表す状態遷移図であって、前記各目標状態をそれぞれ表現する複数のノード、及び目標状態間の遷移を表現するエッジを含む状態遷移図を示す第1画面を表示装置に表示する第1表示部と、
前記第1画面において、前記複数のノードのうちのいずれかの選択、及び前記目標状態の遷移に関する修正を受け付ける第1受付部と、
前記複数のノードのうちのいずれかの選択に応じて、選択された前記ノードに対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す第2画面を前記表示装置に表示する第2表示部と、
前記第2画面において、表示された前記目標状態における前記複数の対象物間の相対的かつ物理的な関係に関する修正を受け付ける第2受付部と、
を備える、
情報提示装置。 An information acquisition unit that acquires state transition information indicating a series of target states that transition in the process from the start to the end of a task executed by a robot device, and each target state included in the series is the target state in the task. The information acquisition unit, which is defined by the relative and physical relationships between multiple objects that are the objects of operation of the robot device,
Based on the acquired state transition information, it is a state transition diagram representing a series of the target states, and includes a plurality of nodes representing each of the target states and an edge representing the transition between the target states. A first display unit that displays the first screen showing the figure on the display device, and
On the first screen, a first reception unit that accepts selection of any of the plurality of nodes and corrections related to the transition of the target state, and
The display shows a second screen showing the relative and physical relationships between the plurality of objects defined in the target state corresponding to the selected node according to the selection of any of the plurality of nodes. The second display unit displayed on the device and
On the second screen, a second reception unit that accepts corrections regarding relative and physical relationships between the plurality of objects in the displayed target state, and
To prepare
Information presentation device.
前記情報提示装置は、
取得された前記状態遷移情報及び前記環境情報に基づいて、前記ロボット装置が前記タスクを遂行する過程のシミュレーションを行うシミュレータ部と、
前記シミュレーションの結果を示す第3画面を前記表示装置に表示する第3表示部と、
を更に備える、
請求項1に記載の情報提示装置。 The information acquisition unit further acquires environmental information that defines the initial state of the robot device and each object.
The information presenting device is
A simulator unit that simulates the process of the robot device performing the task based on the acquired state transition information and the environment information.
A third display unit that displays a third screen showing the result of the simulation on the display device, and
Further prepare
The information presenting device according to claim 1.
請求項2に記載の情報提示装置。 The third screen is a timeline that expresses the elapsed time from the start of the execution of the task, and the robot device performs the transition work for achieving the transition between the target states on the simulation on the timeline. Contains a block that represents the time interval to execute,
The information presenting device according to claim 2.
前記目標状態間の遷移を達成する遷移作業には、前記複数のロボット装置の少なくともいずれかが使用され、
前記ブロックは、対応する遷移作業に使用されるロボット装置に関連付けられて配置される、
請求項3に記載の情報提示装置。 The task is performed by a plurality of robot devices.
At least one of the plurality of robot devices is used for the transition work to achieve the transition between the target states.
The blocks are arranged in association with the robotic apparatus used for the corresponding transition work.
The information presenting device according to claim 3.
請求項4に記載の情報提示装置。 The third screen further includes a third reception unit that accepts a change in the robot device used for the corresponding transition work by an operation of changing the robot device associated with the block.
The information presenting device according to claim 4.
前記第2受付部は、前記第2画面において、前記複数のロボット装置から、前記目標状態間の遷移を達成する遷移作業に使用する少なくとも1つのロボット装置の選択を更に受け付ける、
請求項1から5のいずれか1項に記載の情報提示装置。 The task is performed by a plurality of robot devices.
On the second screen, the second reception unit further accepts selection of at least one robot device used for the transition work for achieving the transition between the target states from the plurality of robot devices.
The information presenting device according to any one of claims 1 to 5.
前記複数の対象物は、前記マニピュレータのエンドエフェクタ及び前記マニピュレータによる移動の対象となる製品の部品を含む、
請求項1から6のいずれか1項に記載の情報提示装置。 The robot device is a manipulator and
The plurality of objects include the end effector of the manipulator and the parts of the product to be moved by the manipulator.
The information presenting device according to any one of claims 1 to 6.
ロボット装置により遂行されるタスクの開始から終了までの過程において遷移する目標状態の系列を示す状態遷移情報を取得するステップであって、前記系列に含まれる各目標状態は、前記タスクにおける前記ロボット装置の操作の対象である複数の対象物間の相対的かつ物理的な関係により規定される、ステップと、
取得された状態遷移情報に基づいて、前記目標状態の系列を表す状態遷移図であって、前記各目標状態をそれぞれ表現する複数のノード、及び目標状態間の遷移を表現するエッジを含む状態遷移図を示す第1画面を表示装置に表示するステップと、
前記第1画面において、前記複数のノードのうちのいずれかの選択、及び前記目標状態の遷移に関する修正を受け付けるステップと、
前記複数のノードのうちのいずれかの選択に応じて、選択された前記ノードに対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す第2画面を前記表示装置に表示するステップと、
前記第2画面において、表示された前記目標状態における前記複数の対象物間の相対的かつ物理的な関係に関する修正を受け付けるステップと、
を実行する、
情報提示方法。 The computer
It is a step of acquiring state transition information indicating a series of target states that transition in the process from the start to the end of a task executed by the robot device, and each target state included in the series is the robot device in the task. The steps and the steps, which are defined by the relative and physical relationships between the objects that are the objects of the operation of
Based on the acquired state transition information, it is a state transition diagram representing a series of the target states, and includes a plurality of nodes representing each of the target states and an edge representing the transition between the target states. The step of displaying the first screen showing the figure on the display device, and
In the first screen, a step of accepting a selection of any of the plurality of nodes and a modification regarding the transition of the target state, and
The display shows a second screen showing the relative and physical relationships between the plurality of objects defined in the target state corresponding to the selected node according to the selection of any of the plurality of nodes. Steps to display on the device and
In the second screen, a step of accepting a modification regarding the relative and physical relationship between the plurality of objects in the displayed target state, and
To execute,
Information presentation method.
ロボット装置により遂行されるタスクの開始から終了までの過程において遷移する目標状態の系列を示す状態遷移情報を取得するステップであって、前記系列に含まれる各目標状態は、前記タスクにおける前記ロボット装置の操作の対象である複数の対象物間の相対的かつ物理的な関係により規定される、ステップと、
取得された状態遷移情報に基づいて、前記目標状態の系列を表す状態遷移図であって、前記各目標状態をそれぞれ表現する複数のノード、及び目標状態間の遷移を表現するエッジを含む状態遷移図を示す第1画面を表示装置に表示するステップと、
前記第1画面において、前記複数のノードのうちのいずれかの選択、及び前記目標状態の遷移に関する修正を受け付けるステップと、
前記複数のノードのうちのいずれかの選択に応じて、選択された前記ノードに対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す第2画面を前記表示装置に表示するステップと、
前記第2画面において、表示された前記目標状態における前記複数の対象物間の相対的かつ物理的な関係に関する修正を受け付けるステップと、
を実行させるための、
情報提示プログラム。 On the computer
It is a step of acquiring state transition information indicating a series of target states that transition in the process from the start to the end of a task executed by the robot device, and each target state included in the series is the robot device in the task. The steps and the steps, which are defined by the relative and physical relationships between the objects that are the objects of the operation of
Based on the acquired state transition information, it is a state transition diagram representing a series of the target states, and includes a plurality of nodes representing each of the target states and an edge representing the transition between the target states. The step of displaying the first screen showing the figure on the display device, and
In the first screen, a step of accepting a selection of any of the plurality of nodes and a modification regarding the transition of the target state, and
The display shows a second screen showing the relative and physical relationships between the plurality of objects defined in the target state corresponding to the selected node according to the selection of any of the plurality of nodes. Steps to display on the device and
In the second screen, a step of accepting a modification regarding the relative and physical relationship between the plurality of objects in the displayed target state, and
To execute,
Information presentation program.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019217487A JP7347169B2 (en) | 2019-11-29 | 2019-11-29 | Information presentation device, information presentation method, and information presentation program |
PCT/JP2020/041452 WO2021106517A1 (en) | 2019-11-29 | 2020-11-06 | Information presenting device, information presenting method, and information presenting program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019217487A JP7347169B2 (en) | 2019-11-29 | 2019-11-29 | Information presentation device, information presentation method, and information presentation program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021084218A true JP2021084218A (en) | 2021-06-03 |
JP7347169B2 JP7347169B2 (en) | 2023-09-20 |
Family
ID=76086521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019217487A Active JP7347169B2 (en) | 2019-11-29 | 2019-11-29 | Information presentation device, information presentation method, and information presentation program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7347169B2 (en) |
WO (1) | WO2021106517A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220219316A1 (en) * | 2021-01-13 | 2022-07-14 | GM Global Technology Operations LLC | Modular robotic device and method to operate a modular robotic device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150336269A1 (en) * | 2014-05-21 | 2015-11-26 | Bot & Dolly, Llc | Systems and Methods for Time-Based Parallel Robotic Operation |
JP2016093869A (en) * | 2014-11-14 | 2016-05-26 | 株式会社クリエイティブマシン | Teaching data creation method, creation device, and creation program, and, data structure of teaching data, and recording medium |
JP2019084664A (en) * | 2017-11-10 | 2019-06-06 | 株式会社安川電機 | Programming assist device, robot system, and program generating method |
JP2019171498A (en) * | 2018-03-27 | 2019-10-10 | 日本電産株式会社 | Robot program execution device, robot program execution method and program |
JP2019177422A (en) * | 2018-03-30 | 2019-10-17 | セイコーエプソン株式会社 | Control device, robot and robot system |
-
2019
- 2019-11-29 JP JP2019217487A patent/JP7347169B2/en active Active
-
2020
- 2020-11-06 WO PCT/JP2020/041452 patent/WO2021106517A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150336269A1 (en) * | 2014-05-21 | 2015-11-26 | Bot & Dolly, Llc | Systems and Methods for Time-Based Parallel Robotic Operation |
JP2016093869A (en) * | 2014-11-14 | 2016-05-26 | 株式会社クリエイティブマシン | Teaching data creation method, creation device, and creation program, and, data structure of teaching data, and recording medium |
JP2019084664A (en) * | 2017-11-10 | 2019-06-06 | 株式会社安川電機 | Programming assist device, robot system, and program generating method |
JP2019171498A (en) * | 2018-03-27 | 2019-10-10 | 日本電産株式会社 | Robot program execution device, robot program execution method and program |
JP2019177422A (en) * | 2018-03-30 | 2019-10-17 | セイコーエプソン株式会社 | Control device, robot and robot system |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220219316A1 (en) * | 2021-01-13 | 2022-07-14 | GM Global Technology Operations LLC | Modular robotic device and method to operate a modular robotic device |
US11673258B2 (en) * | 2021-01-13 | 2023-06-13 | GM Global Technology Operations LLC | Modular robotic device and method to operate a modular robotic device |
Also Published As
Publication number | Publication date |
---|---|
JP7347169B2 (en) | 2023-09-20 |
WO2021106517A1 (en) | 2021-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6580602B2 (en) | Method and system for programming a robot | |
Ostanin et al. | Human-robot interaction for robotic manipulator programming in Mixed Reality | |
EP3166084B1 (en) | Method and system for determining a configuration of a virtual robot in a virtual environment | |
JP2017094406A (en) | Simulation device, simulation method, and simulation program | |
JP2001105359A (en) | Graphic display device for robot system | |
JP2008009536A (en) | Simulation apparatus and simulation method, and simulation program | |
EP3441831B1 (en) | Information processing device, information processing method, and information processing program | |
US20170197308A1 (en) | Teaching data generating device and teaching data-generating method for work robot | |
JP2006350620A (en) | Method for action instruction of assembling mechanism in automatic assembling system | |
JP2019171501A (en) | Robot interference determination device, robot interference determination method and program | |
CN115351780A (en) | Method for controlling a robotic device | |
Mohammed et al. | Leveraging model based definition and STEP AP242 in task specification for robotic assembly | |
WO2021106517A1 (en) | Information presenting device, information presenting method, and information presenting program | |
JP2019171498A (en) | Robot program execution device, robot program execution method and program | |
Minoufekr et al. | Modelling of CNC Machine Tools for Augmented Reality Assistance Applications using Microsoft Hololens. | |
JP6643000B2 (en) | Virtual environment creation method, robot apparatus control method, robot system, and information processing apparatus | |
US9971852B2 (en) | Robotics connector | |
US20240066705A1 (en) | Interference Evaluation Device, Method, and Program | |
US20230032261A1 (en) | Program generation apparatus, program generation method, and computer-readable storage medium storing a generation program | |
US9415512B2 (en) | System and method for enhancing a visualization of coordinate points within a robots working envelope | |
US20220395985A1 (en) | Information processing apparatus, information processing method, display apparatus, display method, robot system, article production method, program, and storage medium | |
EP4052865A1 (en) | Information processing apparatus, robot system, information processing method, program, and recording medium | |
Marshall et al. | An application of a digital twin to robotic system design for an unstructured environment | |
Li et al. | A new teaching system for arc welding robots with auxiliary path point generation module | |
Baizid et al. | Industrial robotics platform for simulation design, planning and optimization based on off-line CAD programming |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7347169 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |