JP5137537B2 - Robot work motion optimization device - Google Patents
Robot work motion optimization device Download PDFInfo
- Publication number
- JP5137537B2 JP5137537B2 JP2007307281A JP2007307281A JP5137537B2 JP 5137537 B2 JP5137537 B2 JP 5137537B2 JP 2007307281 A JP2007307281 A JP 2007307281A JP 2007307281 A JP2007307281 A JP 2007307281A JP 5137537 B2 JP5137537 B2 JP 5137537B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- unit
- robot
- command
- system model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Numerical Control (AREA)
- Manipulator (AREA)
Description
この発明は、産業ロボットの作業軌道計画において、作業環境と干渉せず、かつ最短タクトタイムを実現するロボットの作業動作最適化装置に関するものである。 The present invention relates to a robot work operation optimizing apparatus that achieves the shortest tact time without interfering with the work environment in a work trajectory plan for an industrial robot.
産業ロボットは、主として各種工場内作業の自動化を目的とする産業装置である。このような産業ロボットの作業軌道計画において、作業ミスをせず、作業環境と干渉せず、かつ最短タクトタイムを実現することは重要であるが、シミュレータを用いて作業計画を行うオフラインプログラミングにあっては、作業環境の物理形状と動作タイミングの完全なモデル化は困難であり、適当なマージンによる妥協が行われていた。
これを改善するためにはオフラインプログラミングの登場以前から行われていたオンラインプログラミングにより作業軌道計画を行うが、これは作業者が実施する必要があり、作業者の技量に応じて得られる結果と、その結果を得るために必要な作業時間がばらつくという問題があった。
An industrial robot is an industrial device mainly for the purpose of automating various factory operations. In such industrial robot work trajectory planning, it is important not to make work mistakes, to interfere with the work environment, and to achieve the shortest tact time, but it is suitable for offline programming that uses a simulator to plan work. For this reason, it was difficult to completely model the physical shape and operation timing of the work environment, and a compromise was made with an appropriate margin.
In order to improve this, work trajectory planning is done by online programming that had been done before the advent of offline programming, but this needs to be performed by the worker, and results obtained according to the skill of the worker, There was a problem that the work time required to obtain the results varied.
例えば、特許文献１には、ロボットの手先位置誤差をニューラルネットワークによるシステムモデルを用いて推定し、補正をかけることで精度を向上させるロボットコントローラが例示されており、当該ニューラルネットは、シミュレータ、あるいは何点かの所定の位置における誤差の実測値を教師信号として用いて学習させる手段が示されている。
For example,
また、例えば、特許文献２には、ロボットシミュレーション装置にてレーザ溶接ロボットと溶接点の干渉チェックを行って、干渉する部分をプログラミング作業者に例示し、ロボットの移動速度の調節を支援する手段が示されている。
Further, for example, in
しかしながら、上記従来の技術では、システムモデルの学習に用いる教師信号（システムに対する入力と出力のペアを複数用意したもの）は作業者が選択する必要があるが、学習速度および推定精度を向上させる教師信号の選択は困難であると共に、推定精度を向上させるためには教師信号を多数用意する必要があり、これに伴ってますます学習速度が遅くなる傾向にあった。また、ロボット移動速度の修正についても作業者の介在が不可欠で、しかもシステムモデルが実際のシステムの実物と一致しないマージンを含んでいるため、解の最適性には問題があった。 However, in the above conventional technique, an operator needs to select a teacher signal used for learning a system model (a plurality of input / output pairs for the system), but the teacher improves the learning speed and the estimation accuracy. The selection of signals is difficult, and in order to improve the estimation accuracy, it is necessary to prepare a large number of teacher signals, and accordingly, the learning speed tends to become slower. In addition, the operator's intervention is indispensable for the correction of the robot moving speed, and the system model includes a margin that does not match the actual system, so there is a problem in the optimality of the solution.
この発明は、以上のような問題点を解決するためのなされたもので、産業ロボットの作業軌道計画において、少ない作業試行数で迅速に最良の作業指令を自動的に決定することのできるロボットの作業動作最適化装置を得ることを目的とする。 The present invention has been made to solve the above-described problems, and in a work trajectory plan of an industrial robot, a robot capable of automatically determining the best work command quickly and with a small number of work trials. The object is to obtain a work motion optimization device.
この発明に係るロボットの作業動作最適化装置は、ロボットとロボットの周辺作業環境とからなるロボット部と、入力された作業指令に従ってロボット部を動作させるロボットコントローラ部と、ロボットコントローラ部に対する作業指令と、ロボット部の実際の動きを入力とし、それらの入力に対するロボット部の動作結果を観測し、動作結果が適切なものであるかを評価する作業結果評価部と、作業結果評価部の評価値を入力とし、複数の作業指令候補の中から１つないし複数の作業指令を次の改良作業指令として選択し、ロボット部の動作が最も好ましいものになると推定される作業指令の候補を発生させる改良作業指令候補発生部と、改良作業指令候補発生部により発生させた作業指令候補に基づいて、ロボットコントローラ部に対して作業指令を出力する作業指示部とを備え、改良作業指令候補発生部は、ロボット自体と周辺作業環境の物体の干渉チェックと作業動作時間の算出を行うシステムモデルを有し、ある作業指令が入力された場合の評価の予測値を推定出力するシステムモデル部と、作業結果評価部から出力される評価値に基づき、システムモデル部の内部状態を新たなものに更新し、システムモデル部の予測精度を向上させるシステムモデル再構成部と、作業指令候補に対して、システムモデル部の推定精度がより正確になる度合いを数値化し、得られた数値が最も好ましい値を示している作業指令候補を１つあるいは複数選択して、次の改良作業指令とする動作を行い、改良作業指令を作業指示部に出力する作業指令候補最適化部とを備え、作業指示部は、作業指令候補最適化部から出力された改良作業指令に基づいてロボットコントローラ部に作業指令を出力する処理を繰り返すようにしたものである。 A robot work operation optimizing device according to the present invention includes a robot unit including a robot and a surrounding work environment of the robot, a robot controller unit that operates the robot unit according to the input work command, and a work command for the robot controller unit. The actual movement of the robot part is input, the operation result of the robot part is observed with respect to those inputs, and the evaluation result of the work result evaluation part for evaluating whether the operation result is appropriate , Improvement work that generates one or more work commands from among a plurality of work command candidates as the next improved work command and generates a work command candidate that is estimated to be the most preferable operation of the robot unit. a command candidate generating unit, based on the work order candidate generated by a modified work order candidate generating unit, against the robot controller And a work instruction unit for outputting the work instruction Te, the improved work order candidate generating unit, having a system model for calculating the interference checking and work operation time of the object of the robot itself and the surrounding work environment, the work directives with a Based on the evaluation value output from the work model evaluation unit and the system model unit that estimates and outputs the predicted value of the evaluation when input, the internal state of the system model unit is updated to a new one, and the prediction of the system model unit The system model reconstruction unit that improves the accuracy and the work command candidate, the degree to which the estimation accuracy of the system model unit becomes more accurate is quantified, and the work command candidate that shows the most preferable value is obtained. A work command candidate optimizing unit that selects one or more and performs an operation to be the next improved work command and outputs the improved work command to the work command unit; It is obtained so as to repeat the processing for outputting the work instruction to the robot controller unit based on improved work command output from the work instruction candidate optimization unit.
この発明のロボットの作業動作最適化装置は、最適化の目的関数の形を明確には定めず、ロボットを動作させる試行の結果から、目的関数自体の形を推定するようにしたので、少ない作業試行数で迅速に最良の作業指令を自動的に決定することができる。 The robot work motion optimizing device according to the present invention does not clearly define the shape of the objective function for optimization and estimates the shape of the objective function itself from the result of the trial to operate the robot. The best work command can be automatically determined quickly by the number of trials.
実施の形態１．
図示の装置は、ロボット部１、ロボットコントローラ部２、作業結果評価部３、改良作業指令候補発生部４、作業指示部５とを備えており、改良作業指令候補発生部４は、システムモデル部６、システムモデル再構成部７、作業指令候補最適化部８を備えている。
ロボット部１は、ロボットとその周辺の作業環境からなり、本発明の対象とする各種自動作業を実行する産業用装置である。このロボット部１としては、例えば、山積み状態の部品桶から個々の部品をつまみ上げるビンピッキング作業、部品の搬送作業、組立作業、塗装作業、溶接作業など工場内各種作業の自動化に用いられる。
The illustrated apparatus includes a
The
ロボットコントローラ部２は、入力された作業指令により示された作業内容を、実際にロボットを動かすことで実現するために、ロボットに取付けられたモータなどに電気エネルギーを供給するものである。供給するエネルギーはロボットの動きが適切なものになるように制御される。このためにはロボットに取付けられたセンサ、あるいは外部に取付けられたセンサからのフィードバック信号を用いてロボットの動作状態を常時監視し制御動作を実行するよう構成されている。
The
作業結果評価部３は、ロボットコントローラ部２に対する作業指令と、ロボット部１の実際の動きとを入力とし、それらの組み合わせデータ、およびそれらの誤差の大きさといった評価値を改良作業指令候補発生部４に出力するよう構成されている。
改良作業指令候補発生部４は、作業結果評価部３からのデータに基づき、次にロボットに対して指示を出すべき改良作業指令を出力する。即ち、改良作業指令候補発生部４は、ロボット部１の動作が最も好ましいものになると推定される作業指令の候補を発生させると共に、作業指令の候補を発生させたことによるロボット部１の動作状態に対する作業結果評価部３の評価結果に基づいて新たな作業指令を発生させ、これを繰り返すことで、最適化された作業指令を求めるよう構成されている。
作業指示部５は、作業指示部５から出力された改良作業指令に基づいて、ロボットコントローラ部２に対して作業指令を出力するよう構成されている。
The work result evaluation unit 3 receives a work command for the
Based on the data from the work result evaluation unit 3, the improved work command
The
改良作業指令候補発生部４におけるシステムモデル部６は、作業結果評価部３からのデータに基づき、ロボット自体、ロボットを設置した周辺の環境の形状情報、周辺機器の動作タイミングといった情報をモデル化している。モデルであるので、ある入力に対する出力を推定することが出来るよう構成されている。例えば、ロボットの周辺環境物体の干渉チェックや、ある作業指示に基づくロボットのタクトタイムをモデル化したとき、実際に作業結果を計測していない作業指令を与えたときのタクトタイムの予測値を推定出力することが出来る。
Based on the data from the work result evaluation unit 3, the system model unit 6 in the improved work command
システムモデル再構成部７は、作業結果評価部３からのデータに基づき、システムモデル部６の内部状態（システムモデル）を新たなものに更新する。この操作により、システムモデル部６の予測精度は、より広範囲な入力に対して向上していく。
The system
作業指令候補最適化部８は、システムモデル部６を用いることで、次にロボットに行わせる作業候補を一つないし複数選択し、作業指示部５に出力するよう構成されている。この選択方法としては、数多くの作業指令候補に対して、その作業指令候補がシステムモデル部６を用いて、システムモデル部６の推定精度をより正確にすると予想される度合いを数値化し、あるいはタクトタイムが短くなると予想される度合いを数値化し、それら数値が最も好ましい値を示している作業指令候補を一つあるいは複数選択する。タクトタイムであれば短いほうが好ましく、推定誤差であっても小さいほうが良いので最小値を選ぶことになる。このとき、数値化した度合いが複数あるので、先ずタクトタイムについて値の小さなもの順にいくつかを選んだ上で、その中から推定誤差が小さいものを選び出すようにするなどの方法を用いる。あるいは、二つの度合いの数値を掛け算し、その掛け算の結果が最も小さいもの順に選んでいくといった方法を用いる。
The work command
尚、本発明のロボットの作業動作最適化装置はコンピュータを用いて実現され、上記のロボットコントローラ部２〜作業指令候補最適化部８は、それぞれの機能に対応するソフトウェアと、これを実行するためのＣＰＵやメモリ等のハードウェアから構成されている。
The robot work operation optimizing device of the present invention is realized by using a computer, and the
次に、実施の形態１の動作について説明する。
図２は、上記の候補選択に関する動作内容を示した説明図である。
図２のモデルでは、ロボットが周辺の物体と干渉すると推定される領域（現状の干渉識別境界）ｆを描いている。尚、横軸、縦軸の値は、作業指令パラメータを示している。また、タクトタイムの推定モデルはＦ（Ｓn+1）で表わしている。Ｓnというのは作業動作をｎ回実行して、ｎ回の動作の観測結果の集合である。Ｆ（Ｓn）およびｆ（Ｓn）というのはｎ回の動作の観測結果の集合から最も妥当な推測結果を与えるモデルのことを表している。
Next, the operation of the first embodiment will be described.
FIG. 2 is an explanatory diagram showing the operation content related to the candidate selection.
In the model of FIG. 2, a region (current interference identification boundary) f where the robot is estimated to interfere with surrounding objects is drawn. The values on the horizontal and vertical axes indicate work command parameters. The tact time estimation model is represented by F (S n + 1 ). S n is a set of observation results of n times of operations performed n times. F (S n ) and f (S n ) represent models that give the most appropriate estimation result from a set of observation results of n operations.
Ｆ（Ｓn+1）およびｆ（Ｓn+1）は、次に作業してみる候補Ｓn+1を仮に観測結果の集合に加えてみたときに更新される推定モデルである。候補Ｓn+1により干渉が発生した場合と干渉が発生しない場合は不明であるので、両方の場合を想定して、それぞれの場合にもたらされる現状のｆ（Ｓn）との差Ａfh，Ａfgを次式で数値化し、その数値が最も大きくなるような候補Ｓn+1を最終的に選ぶようにしている。尚、図２において、識別境界ｈとは、識別境界ｆに基づいて、ある条件で作業を行った場合に干渉が発生すると観測される新たな識別境界であり、識別境界ｇとは、干渉が発生しないと観測される新たな識別境界である。
尚、上記の式では、掛け算を用いているが、Ｆ（Ｓn+1）を先ず計算して小さいものから１００個程度選び、選んだ１００個について
作業指令の候補であるが、例えばロボットの動作上の経由点の羅列として与えられる。但し空間内の点は無限にあるため、適当な間隔で離散化しておくことにする。これにより選択可能な候補は有限な点の集合になり、各候補はそれらの中の１点となる。 Although it is a candidate of a work command, for example, it is given as an enumeration of waypoints in the operation of the robot. However, since there are an infinite number of points in space, they are discretized at appropriate intervals. As a result, selectable candidates are a finite set of points, and each candidate is one of them.
Ｆ（Ｓn+1）およびｆ（Ｓn+1）には、例えば重回帰分析、サポートベクターマシン、サポートベクター回帰、カーネル回帰、ベイズポイントマシン、ベイズ推定、最尤推定、応答曲面、ラジアスベイシスファンクションネットワーク、ニューラルネットワーク、といった関数モデルおよびパラメータ決定アルゴリズムの組み合わせを用いる。 F (S n + 1 ) and f (S n + 1 ) include, for example, multiple regression analysis, support vector machine, support vector regression, kernel regression, Bayes point machine, Bayesian estimation, maximum likelihood estimation, response surface, radius basis A combination of a function model and a parameter determination algorithm such as a function network and a neural network is used.
図３は、図１に示したロボットの作業動作最適化装置の動作を示すフローチャートである。
先ず、ステップＳＴ１１において、数点の作業指令条件にてロボット部１が初期動作実験を行う。次に、ステップＳＴ１２にて、システムモデル再構成部７は、その時点で得られている動作結果（複数の実験点毎の動作結果）からシステムモデル部６の干渉識別境界を決定する。次に、ステップＳＴ１３にて、作業指令候補最適化部８は、ステップＳＴ１２で定めた識別境界付近の点を次の実験候補点とする。そして、既に全ての候補となる点を実験しつくしているかを判定し（ステップＳＴ１４）、そうである場合には終了するが、そうでない場合にはステップＳＴ１５に進む。ステップＳＴ１５では、システムモデル部６により、発生した全ての候補点について、上記の式（１）または式（２）を計算する。次に、ステップＳＴ１６にて、作業指令候補最適化部８は、この値が最大になる候補点を次の実験点として選択する。次に、ステップＳＴ１７にて、ステップＳＴ１６にて選択された実験点によって実際に動作実験を行い動作結果を取得する。そしてステップＳＴ１２に戻り、以下これらの処理を繰り返す。
FIG. 3 is a flowchart showing the operation of the robot work movement optimizing apparatus shown in FIG.
First, in step ST11, the
ところで、本実施の形態で計算するＡfh，Ａfgの和÷（Ａfh，Ａfgの差＋１．０）という値が大きいということは、その候補点による作業を行った結果、干渉が発生する場合と干渉が発生しない場合の識別境界の変化量がほぼ同等であり、かつその変化量が大きいということである。即ち、変化量が同等になれば差の値（分母）は小さくなり、かつ、変化量が大きければ和の値（分子）は大きくなるからである。このような点から、次の実験点の候補として、識別境界が正しくはそこを通過するのであろうという予測が確からしい点を選択することができる。 By the way, the large value of the sum of A fh and A fg calculated in this embodiment / (difference between A fh and A fg +1.0) means that interference occurs as a result of the work by the candidate points. This means that the amount of change in the identification boundary is substantially the same when the interference occurs and when no interference occurs, and the amount of change is large. That is, the difference value (denominator) becomes smaller if the amount of change becomes equal, and the sum value (numerator) becomes larger if the amount of change is large. From these points, as the candidate of the next experimental point, it is possible to select a point that is likely to be predicted that the identification boundary will correctly pass therethrough.
尚、上記実施の形態において、和÷（差＋１．０）における１．０の値については、差が０であった場合に、和÷差の値が無限大になってしまうのを避けるためであり、１．０以外の数値であってもよい。但し、値を小さくすると、差の大小の影響を大きく評価し、値を大きくすると差の大小の影響を小さく評価することになる。従って、条件等に合わせて適宜値は選択する。 In the above embodiment, the value of 1.0 in the sum / (difference + 1.0) is avoided in order to prevent the sum / difference value from becoming infinite when the difference is 0. It may be a numerical value other than 1.0. However, if the value is decreased, the effect of the difference is greatly evaluated, and if the value is increased, the effect of the difference is evaluated small. Therefore, a value is appropriately selected according to conditions and the like.
また、最初にシステムモデル部６を構築する際、Ｓnを作っておく必要がある。これは、直交表を用いて実験を行うものである。尚、Ｌ８に限らず、Ｌ４、Ｌ１６、Ｌ３２、Ｌ６４、Ｌ９、Ｌ２７、Ｌ８１、Ｌ２４３、Ｌ１２、Ｌ１８、Ｌ３６、Ｌ７２などを使ってもよく、あるいは、多元配置、ラテン方格、グレコラテン方格、一様計画、Ｄ最適、Ｇ最適、Ａ最適などの最適計画、応答曲面計画における複合計画、Box and Behnken計画、あるいはまったくのランダムな計画などを適宜用いてもよい。あるいは、作業者が経験的に有望と考える作業指令を選択し、Ｓnを作っておいてもよい。 Also, when constructing the system model unit 6 first, it is necessary to make the S n. This is an experiment using an orthogonal table. Not only L8 but also L4, L16, L32, L64, L9, L27, L81, L243, L12, L18, L36, L72, etc. may be used, or multi-way layout, Latin square, Greco Latin square, A uniform plan, an optimum plan such as D-optimum, G-optimum, and A-optimal, a composite plan in response surface plan, a Box and Behnken plan, or a completely random plan may be used as appropriate. Alternatively, select the work order to consider the operator experience to a promising, it may have been made a S n.
また、次の作業指令の候補を発生する場合に、それまでの実験点が一様に分布しているかを調べ、一様に分布していなかった場合は、まだ実験していない候補点のなかでいずれかの点をランダムに選択して実験を行うようにしてもよい。例えば、これまでの実験点が実験可能な空間内に一様に分布しているかどうかをカイ二乗検定により検定する。検定の結果、実験点に偏在が見られる場合にはまだ実験していない格子点の中からランダムに一つ選択する。この場合、探索可能な空間をまんべんなく探索しようとするため、正しい干渉識別境界が離れ小島のように点在している場合であっても、識別境界が正しい位置に収束する速度を速くすることを期待できる効果がある。 When the next work command candidate is generated, it is checked whether the previous experimental points are uniformly distributed. If not, the candidate points that have not been tested yet are found. The experiment may be performed by randomly selecting one of the points. For example, whether or not the experimental points so far are uniformly distributed in the space where the experiment can be performed is tested by the chi-square test. If the test points are unevenly distributed as a result of the test, one of the lattice points not yet tested is selected at random. In this case, in order to search the searchable space evenly, even if the correct interference identification boundary is scattered like a small island, the speed at which the identification boundary converges to the correct position should be increased. There is an expected effect.
サポートベクターマシンをモデルとして用いる場合、サポートベクターマシンのいくつかのパラメータを調整することが出来る。簡単に言えば識別境界の表現力を調節できる。例えば複雑な識別境界を描きたいときにはあるパラメータの値を大きくすれば良い。しかしその際の欠点としてサポートベクターマシンの数式を処理するのに要する時間が増大する。そのパラメータの値を小さくすれば計算時間は短くなるが、すべての実験点の結果を正しく識別できる識別境界を作れないことが起きる。
そこで該当するパラメータの値を、最初は小さなものにしておいて計算時間の削減をはかる。そして識別境界を決定するステップにおいて、その時点までに得られている実験点による結果を、完全に分離する識別境界を得ることが出来なくなった時点で該当するパラメータの値を、完全に分離できるようになるまで増やすように構成する。同時に完全に分離できなくなる直前まで減らすように構成する。これにより実験点候補の選択に要する計算時間が短いロボットの作業動作最適化装置を得ることができる効果がある。
When using a support vector machine as a model, several parameters of the support vector machine can be adjusted. Simply put, the expressive power of the identification boundary can be adjusted. For example, when it is desired to draw a complicated identification boundary, a certain parameter value may be increased. However, as a disadvantage, the time required to process the support vector machine formula increases. If the value of the parameter is reduced, the calculation time is shortened, but it may not be possible to create an identification boundary that can correctly identify the results of all experimental points.
Therefore, the value of the corresponding parameter is initially made small to reduce the calculation time. And in the step of determining the identification boundary, the value of the corresponding parameter can be completely separated when it becomes impossible to obtain the identification boundary that completely separates the result of the experimental points obtained up to that point. Configure to increase until At the same time, it is configured to reduce until just before it can not be completely separated. Accordingly, there is an effect that it is possible to obtain a robot work motion optimization device that requires a short calculation time for selecting an experimental point candidate.
以上のように、実施の形態１のロボットの作業動作最適化装置によれば、ロボットとロボットの周辺作業環境とからなるロボット部と、入力された作業指令に従ってロボット部を動作させるロボットコントローラ部と、ロボットコントローラ部に対する作業指令と、ロボット部の実際の動きを入力とし、それらの入力に対するロボット部の動作結果を観測し、動作結果が適切なものであるかを評価する作業結果評価部と、作業結果評価部の評価値を入力とし、複数の作業指令候補の中から１つないし複数の作業指令を次の改良作業指令として選択し、ロボット部の動作が最も好ましいものになると推定される作業指令の候補を発生させる改良作業指令候補発生部と、改良作業指令候補発生部により発生させた作業指令候補に基づいて、ロボットコントローラ部に対して作業指令を出力する作業指示部とを備え、改良作業指令候補発生部は、ロボット自体と周辺作業環境の物体の干渉チェックと作業動作時間の算出を行うシステムモデルを有し、ある作業指令が入力された場合の評価の予測値を推定出力するシステムモデル部と、作業結果評価部から出力される評価値に基づき、システムモデル部の内部状態を新たなものに更新し、システムモデル部の予測精度を向上させるシステムモデル再構成部と、作業指令候補に対して、システムモデル部の推定精度がより正確になる度合いを数値化し、得られた数値が最も好ましい値を示している作業指令候補を１つあるいは複数選択して、次の改良作業指令とする動作を行い、改良作業指令を作業指示部に出力する作業指令候補最適化部とを備え、作業指示部は、作業指令候補最適化部から出力された改良作業指令に基づいてロボットコントローラ部に作業指令を出力する処理を繰り返すことで、最適化された作業指令を求めるようにしたので、少ない作業試行数で迅速に最良の作業指令を自動的に決定することができる。 As described above, according to the robot operation optimization device of the first embodiment, the robot unit including the robot and the surrounding work environment of the robot, the robot controller unit that operates the robot unit according to the input operation command, , The work command to the robot controller unit and the actual movement of the robot unit as input, the operation result of the robot unit with respect to those inputs is observed, the work result evaluation unit to evaluate whether the operation result is appropriate, An operation in which the evaluation value of the operation result evaluation unit is input, and one or more operation commands are selected from the plurality of operation command candidates as the next improved operation command, and the operation of the robot unit is estimated to be the most preferable. an improved work order candidate generating unit for generating a candidate command, based on the work order candidate generated by a modified work order candidate generating unit, robot And a work instruction section for outputting an operation command to the controller unit, improved work order candidate generating unit has a system model for calculating the interference checking and work operation time of the object of the robot itself and the surrounding work environment, Based on the system model part that estimates and outputs the predicted value of evaluation when a certain work command is input, and the evaluation value output from the work result evaluation part, the internal state of the system model part is updated to a new one. The system model reconstruction unit that improves the prediction accuracy of the model part and the degree to which the estimation accuracy of the system model part becomes more accurate for the work command candidate are quantified, and the obtained numerical value shows the most preferable value A work command candidate optimizing unit that selects one or a plurality of work command candidates, performs an operation to be the next improved work command, and outputs the improved work command to the work instruction unit; Provided, the work instruction unit, By repeating the processing for outputting the work instruction to the robot controller unit based on the output improved work order from the work instruction candidate optimization unit, since to obtain the work order optimized Therefore, the best work command can be automatically determined quickly with a small number of work trials.
なお、ロボットの動作はいわゆるロボットシミュレータ内で実施し、同シミュレータ内に構築された環境モデルとロボットモデルの間で干渉チェック演算を行うことで干渉チェックを行うよう構成しても、実際のロボットの手先，あるいは腕各部に距離センサを取り付ける、または関節トルクセンサないし関節トルク推定演算により、実際のロボットが実際の環境下で動作しているときに環境とロボットが接触したことを検知して干渉チェックをするよう構成しても、同等の効果が得られる。
Contact name operation of the robot is carried out in a so-called robot simulator, be configured to perform an interference check by performing an interference check operation between the environment model and the robot model built in the simulator, the actual robot Attach a distance sensor to each hand or arm, or use joint torque sensor or joint torque estimation calculation to detect and interfere with contact between the environment and the robot when the actual robot is operating in the actual environment. Even if it is configured to check, the same effect can be obtained.
さらに、上記は、ロボットが障害物と干渉することを避ける例について述べてきたが、別の形態にすることもできる。ロボットとビジョンセンサを組合せたシステムにおいて、固定的に設置されたビジョンセンサが対象物を撮像する際、ロボットは、ロボットのボディがビジョンセンサの視界に入らない位置に移動する必要がある。つまり、ロボットがビジョンセンサの撮像を妨げないように、ビジョンセンサの視野の外に移動し、そこで待機している必要がある。ビジョンセンサによる把持対象物の撮像が終了すると、ロボットは、その作業対象物を把持するため、再びビジョンセンサの視野内に移動して、把持動作を行うことになる。このとき、ロボットが、ビジョンセンサの視野のぎりぎり外側で待機していることが、全体の作業時間を短縮するのに有利であると考えられる。すなわち、ビジョンセンサの視野内に入っているか、否かが、先に述べた干渉チェックと同等の判定であるとして、処理することによって、ビジョンセンサの干渉を避けながら、短いタクトタイムで動作できる作業軌道が得られる効果がある。 Furthermore, while the above has been described with respect to an example where the robot avoids interference with obstacles, other forms may be employed. In a system in which a robot and a vision sensor are combined, when a vision sensor installed in a fixed manner captures an object, the robot needs to move to a position where the body of the robot does not enter the field of vision of the vision sensor. In other words, the robot needs to move out of the field of view of the vision sensor and be on standby so as not to interfere with the imaging of the vision sensor. When the imaging of the grasped object by the vision sensor is completed, the robot moves again within the field of view of the vision sensor and performs a grasping operation in order to grasp the work object. At this time, it is considered that it is advantageous for shortening the entire working time that the robot is waiting outside the visual field of the vision sensor. That is, it is possible to operate in a short tact time while avoiding the interference of the vision sensor by processing, assuming that it is the same judgment as the interference check described above whether it is in the vision sensor field of view or not. There is an effect that an orbit is obtained.
実施の形態２．
実施の形態２の図面上の構成は実施の形態１と同様であるため、図１を援用して説明する。
ロボットの作業指令は、通常、ロボット言語と呼ばれるプログラミング言語の一種により記述される。その文法はＢＡＳＩＣ言語のそれを踏襲するものが多い。ロボット作業には、それら言語の各行に割り当てられる。数値演算などロボット作業以外の情報も記述されているが、ここではロボットの作業に関する記述、および周辺機器との通信に関する指令のみに着目する。
Since the configuration of the second embodiment on the drawing is the same as that of the first embodiment, FIG.
A robot work command is usually described in a kind of programming language called a robot language. The grammar often follows that of the BASIC language. Robot work is assigned to each line of those languages. Information other than the robot operation such as numerical calculation is also described, but here, only the description regarding the robot operation and the command regarding the communication with the peripheral device are focused.
本実施の形態では、ロボット部１が作業を行う度に、作業結果評価部３において、各作業について、それの実行回数、実行に要する時間を記録する。この記録は、ロボット実機を実際の環境下で動作させた状態で行われる．その記録に基づいて、改良作業指令候補発生部４では、実行に要する時間×実行回数の積値を集計計算し、大きいものから順に並べる。
尚、このランキングは作業者に提示することが可能であり、自動最適化の観点からは外れるが、ランキング上位の作業について、ロボットによる作業から専用工具作業、専用加工装置への置き換えをしたほうがよいかどうかを検討することもできる。
In the present embodiment, each time the
Note that this ranking can be presented to the operator and is out of the viewpoint of automatic optimization. However, it is better to replace the work at the top of the ranking from robot work to dedicated tool work or dedicated processing equipment. You can also consider whether.
さて、本題の自動的な作業動作の改良であるが、本実施の形態では、改良作業指令候補発生部４は、作業結果評価部３で観測された動作の手順各々の実行時間の情報に基づいて、作業実行に支障がない限り、全体の動作におけるタクトタイムを短縮するよう動作の手順を入れ替えて作業指令を発生させる。具体的には、次のような項目が当てはまるか否かを順に判定し、当てはまる場合には実際に作業動作の改良を実施する。
In the present embodiment, the improvement work command
（１）実行頻度の高い動作の最適化
実行される頻度の高い作業動作について、実施の形態１に示した方法を用いて、より高速な作業動作に向かって改良していく。これは、例えば障害物ぎりぎりを通る動作を実現することに相当する。
(1) Optimization of operation with high execution frequency Using the method described in the first embodiment, work operation with high execution frequency is improved toward higher-speed operation. This corresponds to, for example, realizing an operation that passes through an obstacle.
（２）複合分岐の最適化
例えば、上流工程からのワーク到着待ち位置がプログラムされており、上流工程から到着する実際の位置がばらつくという状況において、作業動作を重ねていくと、統計的に実際の到着位置の確率分布が得られる。この分布の中心にワーク到着待ち位置を移動させる。
あるいは、到着するワークが複数種類あり、それをハンドリングできるハンドがそれぞれ異なる場合にハンドを付け替える必要がある。作業動作を重ねていくと、統計的に実際の到着種類の確率分布および到着順序に関する条件付確率が得られる。この分布に従って予めハンドを装着しておくようにロボットプログラムを書き換える。
(2) Optimization of compound branch For example, in the situation where the work arrival waiting position from the upstream process is programmed and the actual position arriving from the upstream process varies, it is statistically Probability distribution of arrival positions is obtained. The workpiece arrival waiting position is moved to the center of this distribution.
Alternatively, when there are a plurality of types of workpieces that arrive and the hands that can handle them are different, it is necessary to change the hands. As the work operations are repeated, the probability distribution of the actual arrival type and the conditional probability regarding the arrival order are obtained statistically. According to this distribution, the robot program is rewritten so that the hand is attached in advance.
（３）条件分岐の判定処理の最適化
加工後の検査など、状況判断にある程度の時間がかかる場合がある。観測された分岐確率が真か偽かは統計的に確率が定まってくる。この確率に応じて判定が早く済む検査動作へと切り替えていく。あるいは複数の検査工程がある場合に、総合的な最終判定結果の確率が高い検査順序を生成し、これを実現する作業動作をプログラミングし直す。
(3) Optimization of conditional branch decision processing It may take some time to judge the situation, such as inspection after machining. The probability is statistically determined whether the observed branching probability is true or false. In accordance with this probability, the operation is switched to an inspection operation that can be quickly determined. Alternatively, when there are a plurality of inspection processes, an inspection sequence with a high probability of a comprehensive final determination result is generated, and a work operation for realizing this is reprogrammed.
（４）実行順序の交換
観測された作業結果情報に基づき、トータルで実行が早く終わる順序に交換する。周辺機器からの作業完了待ち時間の間に、先に出来る作業を済ませておくよう、順序を交換する。交換して意味があるかどうかは、観測されたそれぞれの作業時間から判断できる。
(4) Execution order exchange Based on the observed work result information, the execution order is exchanged in order that finishes earlier. The order is changed so that the work that can be done first is completed during the work completion waiting time from the peripheral device. Whether it is meaningful to exchange can be judged from each observed work time.
（５）作業のインライン化
ハンドを付け替える必要がある作業を、予め同じハンドで複数ワークを作業してバッファエリアに置いておく、何度も使う冶具は組み立てておいて使いまわすなどが実現されるようロボットプログラムを書き換える。
(5) Work in-line The work that needs to be changed can be done in advance by placing multiple workpieces in the buffer area with the same hand in advance, and assembling and reusing jigs that are used many times. Rewrite the robot program.
（６）資源割り当て最適化
仮置き台の使用最適化、ダブルハンド使用時の指の割付の最適化、プレスなど専用機工程の割り当て最適化を実施する。
(6) Resource allocation optimization Optimization of temporary table use, optimization of finger assignment when using double hands, and optimization of dedicated machine processes such as pressing.
改良作業指令候補発生部４は、以上の項目を実施した結果を改良作業指令として、作業指示部５に出力する。作業指示部５からロボットコントローラ部２に作業指令が出力され、ロボット部１が動作し、以下、これを繰り返す。
繰り返しの終了条件であるが、タクトタイムの更新が長らく行われなくなったとき、作業指令候補最適化部８における動作において、Ａfh，Ａfgの大きさが予め定めたある値より小さくなったときに終了することにする。
The improved work command
Although it is an end condition for repetition, when the tact time is not updated for a long time, when the magnitudes of A fh and A fg become smaller than a predetermined value in the operation in the work command candidate optimization unit 8 I will end it.
以上のように、実施の形態２のロボットの作業動作最適化装置によれば、改良作業指令候補発生部は、作業指令をロボットプログラミング言語により一連の動作の手順を羅列して作成すると共に、作業結果評価部で観測された動作の手順各々の実行時間の情報に基づいて、作業実行に支障がない限り、全体の動作におけるタクトタイムを短縮するよう動作の手順を入れ替えて作業指令を発生するようにしたので、少ない作業試行数で迅速に最良の作業指令を自動的に決定することのできるロボットの作業動作改良装置が得られる効果がある。 As described above, according to the robot work motion optimizing device of the second embodiment, the improved work command candidate generation unit creates a work command by enumerating a series of motion procedures in the robot programming language, Based on the information on the execution time of each operation procedure observed by the result evaluation unit, unless there is a hindrance to work execution, the operation procedure is changed so as to shorten the tact time in the entire operation so that a work command is generated. As a result, there is an effect of obtaining a robot work motion improvement device capable of automatically determining the best work command quickly and with a small number of work trials.
１ ロボット部、２ ロボットコントローラ部、３ 作業結果評価部、４ 改良作業指令候補発生部、５ 作業指示部、６ システムモデル部、７ システムモデル再構成部、８ 作業指令候補最適化部。
DESCRIPTION OF
Claims (3)
入力された作業指令に従って前記ロボット部を動作させるロボットコントローラ部と、
前記ロボットコントローラ部に対する作業指令と、前記ロボット部の実際の動きを入力とし、それらの入力に対する前記ロボット部の動作結果を観測し、当該動作結果が適切なものであるかを評価する作業結果評価部と、
前記作業結果評価部の評価値を入力とし、複数の作業指令候補の中から１つないし複数の作業指令を次の改良作業指令として選択し、前記ロボット部の動作が最も好ましいものになると推定される作業指令の候補を発生させる改良作業指令候補発生部と、
前記改良作業指令候補発生部により発生させた前記作業指令候補に基づいて、前記ロボットコントローラ部に対して作業指令を出力する作業指示部とを備え、
前記改良作業指令候補発生部は、
前記ロボット自体と前記周辺作業環境の物体の干渉チェックと作業動作時間の算出を行うシステムモデルを有し、ある作業指令が入力された場合の評価の予測値を推定出力するシステムモデル部と、
前記作業結果評価部から出力される評価値に基づき、前記システムモデル部の内部状態を新たなものに更新し、前記システムモデル部の予測精度を向上させるシステムモデル再構成部と、
作業指令候補に対して、前記システムモデル部の推定精度がより正確になる度合いを数値化し、得られた数値が最も好ましい値を示している作業指令候補を１つあるいは複数選択して、次の改良作業指令とする動作を行い、前記改良作業指令を前記作業指示部に出力する作業指令候補最適化部とを備え、
前記作業指示部は、前記作業指令候補最適化部から出力された改良作業指令に基づいて前記ロボットコントローラ部に作業指令を出力する処理を繰り返すことを特徴とするロボットの作業動作最適化装置。 A robot section composed of a robot and a surrounding work environment of the robot;
A robot controller for operating the robot in accordance with the input work command;
Work result evaluation for accepting an operation command to the robot controller unit and an actual movement of the robot unit as input , observing the operation result of the robot unit with respect to those inputs, and evaluating whether the operation result is appropriate And
The evaluation value of the work result evaluation unit is input, and one or more work commands are selected as the next improved work command from among a plurality of work command candidates, and it is estimated that the operation of the robot unit is most preferable. An improved work command candidate generating unit for generating work command candidates,
The improved working on the basis of a command candidates the work order candidate which is generated by the generation unit, and a work instruction section for outputting an operation command to the robot controller,
The improved work command candidate generator is
A system model unit that performs an interference check between the robot itself and an object in the surrounding work environment and calculates a work operation time, and a system model unit that estimates and outputs a predicted value of an evaluation when a certain work command is input;
Based on the evaluation value output from the work result evaluation unit, the system model reconfiguration unit that updates the internal state of the system model unit to a new one and improves the prediction accuracy of the system model unit,
For the work command candidate, the degree to which the estimation accuracy of the system model part becomes more accurate is quantified, and one or more work command candidates whose obtained numerical values indicate the most preferable values are selected, and the following A work command candidate optimizing unit that performs an operation as an improved work command and outputs the improved work command to the work instruction unit;
The work operation optimizing device for a robot, wherein the work instruction unit repeats a process of outputting a work command to the robot controller unit based on the improved work command output from the work command candidate optimization unit.
得られた作業動作が、周辺の物体と干渉する場合と、しない場合の干渉識別境界ｆを求めると共に、当該識別境界ｆに基づいて、ある作業指令候補で作業動作を行った場合に、干渉しない結果が観測されたと想定した場合の新たな識別境界ｇと、干渉する結果が観測されたと想定した場合の新たな識別境界ｈとを求め、識別境界ｈと干渉識別境界ｆとで挟まれる領域と、識別境界ｇと干渉識別境界ｆとで挟まれる領域の和÷（差＋数値）という計算値を用いることを特徴とする請求項１記載のロボットの作業動作最適化装置。 The work command candidate optimization unit, as the degree to which the estimation accuracy of the system model unit becomes more accurate,
When the obtained work motion interferes with a surrounding object, the interference identification boundary f is obtained when it does not interfere, and when the work motion is performed with a certain work command candidate based on the identification boundary f, no interference occurs. A new identification boundary g when the result is assumed to be observed, and a new identification boundary h when the result of the interference is assumed to be observed are obtained, and a region sandwiched between the identification boundary h and the interference identification boundary f is obtained. 2. The robot work motion optimizing device according to claim 1, wherein a calculated value of the sum of the regions sandwiched between the identification boundary g and the interference identification boundary f / (difference + numerical value) is used .
改良作業指令候補発生部は、
前記作業結果評価部から出力される前記評価値の集合Ｓ ｎ から、前記システムモデル部の内部状態を所定のパラメータ決定アルゴリズムを用いて新たなものに更新し、前記システムモデル部の予測精度を向上させるシステムモデル再構成部と、
ある作業指令が入力された場合の評価を推定するためのシステムモデルとして、タクトタイムの推定モデルＦ（Ｓ ｎ ）、および前記ロボットが周辺の物体と干渉する領域である識別境界の推定モデルｆ（Ｓ ｎ ）であって、推定モデルＦ（Ｓ ｎ ）および推定モデルｆ（Ｓ ｎ ）は、前記パラメータ決定アルゴリズムを備えた関数モデルであるシステムモデル部と、
前記改良作業指令候補発生部において、次にロボットに対して出力すべき改良作業指令を得るに当たり、複数の作業指令候補の中から、一つだけＳ ｎ に加えてＳ ｎ＋１ を作るとき、その作業指令候補による観測結果が仮にロボットと周辺物体が干渉すると仮定した場合と、干渉しないと仮定した場合のＳ ｎ＋１ をそれぞれ作り、それぞれのＳ ｎ＋１ を用いて、前記システムモデル再構成部によりシステムモデルを更新し、それぞれの場合に得られる識別境界ｆ（Ｓ ｎ＋１ ）を識別境界ｈおよび識別境界ｇとし、さらに推定モデルＦ（Ｓ ｎ＋１ ）を得た上で、識別境界ｈおよび識別境界ｇそれそれについて、識別境界ｆとの面積の差をＡ ｆｈ およびＡ ｆｇ とし、下式（１）
The improvement work command candidate generator is
The work from the set S n of the evaluation value output from the result evaluation unit, and updated to the new internal state of the system model unit by using a predetermined parameter determination algorithm, improve the prediction accuracy of the system model unit A system model reconfiguration unit
As a system model for estimating an evaluation when a certain work command is input, a tact time estimation model F (S n ), and an identification boundary estimation model f (an area where the robot interferes with surrounding objects) S n ), and the estimated model F (S n ) and the estimated model f (S n ) are a system model part that is a function model including the parameter determination algorithm;
In the improved work order candidate generating unit, then in obtaining improved work order to be output to the robot, from a plurality of work order candidate, when only one in addition to S n making S n + 1, the work in the case of observation by the command candidates are tentatively assumed robot and the peripheral object interferes, make S n + 1 assuming that no interference respectively, with the respective S n + 1, the system model by the system model reconstruction unit Update the identification boundary f (S n + 1 ) obtained in each case as the identification boundary h and the identification boundary g, and obtain the estimated model F (S n + 1 ), and then identify the identification boundary h and the identification boundary g. The difference in area from the identification boundary f is A fh and A fg , and the following equation (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007307281A JP5137537B2 (en) | 2007-11-28 | 2007-11-28 | Robot work motion optimization device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007307281A JP5137537B2 (en) | 2007-11-28 | 2007-11-28 | Robot work motion optimization device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009125920A JP2009125920A (en) | 2009-06-11 |
| JP5137537B2 true JP5137537B2 (en) | 2013-02-06 |
Family
ID=40817340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007307281A Active JP5137537B2 (en) | 2007-11-28 | 2007-11-28 | Robot work motion optimization device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5137537B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10317854B2 (en) | 2016-04-04 | 2019-06-11 | Fanuc Corporation | Machine learning device that performs learning using simulation result, machine system, manufacturing system, and machine learning method |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6497953B2 (en) * | 2015-02-03 | 2019-04-10 | キヤノン株式会社 | Offline teaching apparatus, offline teaching method, and robot system |
| WO2018180004A1 (en) * | 2017-03-30 | 2018-10-04 | シチズン時計株式会社 | Control device for work machine |
| JP6603257B2 (en) | 2017-03-31 | 2019-11-06 | ファナック株式会社 | Behavior information learning device, management device, robot control system, and behavior information learning method |
| JP7039389B2 (en) * | 2018-05-25 | 2022-03-22 | 川崎重工業株式会社 | Robot system and robot control method |
| US11858140B2 (en) * | 2018-05-25 | 2024-01-02 | Kawasaki Jukogyo Kabushiki Kaisha | Robot system and supplemental learning method |
| JP7223630B2 (en) * | 2019-05-13 | 2023-02-16 | 日立Ｇｅニュークリア・エナジー株式会社 | Simulation device and simulation program |
| JP7124947B1 (en) | 2021-11-08 | 2022-08-24 | 株式会社安川電機 | Planning Systems, Planning Methods, and Planning Programs |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04365104A (en) * | 1991-06-13 | 1992-12-17 | Toshiba Corp | Optimum course planning device and autonomously moving robot |
| JP4304495B2 (en) * | 2004-08-04 | 2009-07-29 | トヨタ自動車株式会社 | Route planning method |
| JP2007280251A (en) * | 2006-04-11 | 2007-10-25 | Yaskawa Electric Corp | Mobile robot |
-
2007
- 2007-11-28 JP JP2007307281A patent/JP5137537B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10317854B2 (en) | 2016-04-04 | 2019-06-11 | Fanuc Corporation | Machine learning device that performs learning using simulation result, machine system, manufacturing system, and machine learning method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009125920A (en) | 2009-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5137537B2 (en) | Robot work motion optimization device | |
| JP6438450B2 (en) | Machine learning apparatus, robot system, and machine learning method for learning processing sequence of laser processing robot | |
| JP6497953B2 (en) | Offline teaching apparatus, offline teaching method, and robot system | |
| KR101255948B1 (en) | Industrial robot system | |
| US10962960B2 (en) | Chip removal apparatus and information processing apparatus | |
| JP2018202564A (en) | Controller and machine learning device | |
| JP2009510574A (en) | Control behavior of machine tool or production machine or simulation method of machine behavior | |
| JP6781242B2 (en) | Controls, machine learning devices and systems | |
| JP2019139755A (en) | Polishing tool wear loss prediction device, machine learning device and system | |
| JP5502348B2 (en) | Simulation method | |
| CN110722552B (en) | Automatic route generation device | |
| JP6813532B2 (en) | Simulation equipment | |
| JP2019136818A (en) | Control device and machine learning device | |
| JP5641243B2 (en) | Work support system | |
| Veeramani et al. | Artificial intelligence planners for multi-head path planning of SwarmItFIX agents | |
| CN113759839A (en) | Control device and method for selecting evaluation points for Bayesian optimization | |
| Alatartsev et al. | Improving the sequence of robotic tasks with freedom of execution | |
| Weng et al. | Quantitative assessment at task-level for performance of robotic configurations and task plans | |
| JP6829271B2 (en) | Measurement operation parameter adjustment device, machine learning device and system | |
| JP6940425B2 (en) | Control device and machine learning device | |
| Pérez-D'Arpino et al. | Fast Motion Prediction for Collaborative Robotics. | |
| CN110914774B (en) | Design information generation device and design support system | |
| JP2020055095A (en) | Control device and control system | |
| Alzaydi | Task-Point Sequencing and Trajectory Generation/Optimization with Benchmarking for Multi-axis Percussion Laser Drilling of Jet Engine Combustion Chamber Panels | |
| García-Sedano et al. | Stamping line optimization using genetic algorithms and virtual 3d line simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121016 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121113 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5137537 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151122 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |