JP6150337B2 - Robotic suit control method - Google Patents
Robotic suit control method Download PDFInfo
- Publication number
- JP6150337B2 JP6150337B2 JP2013175270A JP2013175270A JP6150337B2 JP 6150337 B2 JP6150337 B2 JP 6150337B2 JP 2013175270 A JP2013175270 A JP 2013175270A JP 2013175270 A JP2013175270 A JP 2013175270A JP 6150337 B2 JP6150337 B2 JP 6150337B2
- Authority
- JP
- Japan
- Prior art keywords
- suit
- robotic
- wearer
- robotic suit
- synchrony
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 62
- 230000006870 function Effects 0.000 claims description 45
- 230000001537 neural effect Effects 0.000 claims description 37
- 230000003993 interaction Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 26
- 238000012706 support-vector machine Methods 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 17
- 238000005452 bending Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 description 23
- 210000000245 forearm Anatomy 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 210000002310 elbow joint Anatomy 0.000 description 7
- 210000000323 shoulder joint Anatomy 0.000 description 5
- 230000000737 periodic effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
- Prostheses (AREA)
Description
本発明はロボティックスーツの制御方法に関し、より詳細には同調制御方法を利用するロボティックスーツの制御方法に関する。 The present invention relates to a robotic suit control method, and more particularly to a robotic suit control method using a tuning control method.
人間と生活空間を共有し、人との密接な関わりを持つことが要求される次世代ロボットの中で、人体装着型ロボットへの期待は大きく、高齢者の歩行機能改善を目的とした歩行アシストや障がい者のリハビリ支援と自立動作支援を目的としたロボットスーツが開発されている。
このような人体装着型ロボットには人との協調動作を可能にする制御法が必要となる。本発明者は、ロボティックスーツの適応的な運動生成の手法として神経振動子(Matsuokaモデル（非特許文献１））を利用した同調制御法を用いる制御方法を提案した（特許文献１）。
Among the next-generation robots that are required to share living spaces with humans and have close relationships with humans, there are great expectations for human-mounted robots, and walking assistance aimed at improving the walking function of elderly people Robot suits have been developed to support rehabilitation and self-supporting movements for people with disabilities.
Such a human wearable robot requires a control method that enables cooperative operation with a human. The present inventor has proposed a control method using a tuning control method using a neural oscillator (Matsuoka model (Non-patent Document 1)) as a technique for adaptive motion generation of a robotic suit (Patent Document 1).
神経振動子を利用する同調制御方法は、人に同調した運動生成が可能な反面、パラメータを目的の動作を生成できるように調節することが非常に困難であるという問題点がある。特に、神経振動子のパラメータの一つである同調ゲインを装着者に合わせて適切に調節する必要があり、そのためには装着者の運動意志を識別する指標と識別方法が求められる。
本発明は、神経振動子モデルを利用する同調制御方法を利用するロボティックスーツにおいて、装着者の同調性を識別し、これに基づいてパラメータ調節することにより、装着感を向上させたロボティックスーツの制御方法を提供することを目的とする。
The tuning control method using a neural oscillator can generate a motion synchronized with a person, but has a problem that it is very difficult to adjust a parameter so as to generate a target motion. In particular, it is necessary to appropriately adjust the tuning gain, which is one of the parameters of the neural oscillator, in accordance with the wearer. To that end, an index and a method for identifying the wearer's willingness to move are required.
The present invention relates to a robotic suit that uses a tuning control method that uses a neural oscillator model, and that identifies the wearer's synchrony and adjusts parameters based on this to improve the wearing feeling. It is an object to provide a control method.
本発明は、神経振動子モデルに基づくロボティックスーツの制御方法であって、ロボティックスーツと該ロボティックスーツの装着者との間の同調性の高低の別を、サポートベクターマシンの識別手法を利用して識別することを特徴とする。
本発明に係るロボティックスーツの制御方法は、装着者とロボティックスーツとの間の同調性を的確に識別し、この識別結果をロボティックスーツの制御に利用するという考え方に基づくものであり、同調性を識別する方法としてサポートベクターマシンの識別手法を利用すること、その識別判断は同調性の高低の別、すなわち同調性が高い状態にあるか、同調性が低い状態にあるかを識別することにある。
The present invention relates to a control method for a robotic suit based on a neural oscillator model, and a support vector machine identification method is used to distinguish between high and low synchronism between a robotic suit and a wearer of the robotic suit. It is characterized by using and identifying.
The control method of the robotic suit according to the present invention is based on the idea of accurately identifying the synchrony between the wearer and the robotic suit and using this identification result for the control of the robotic suit, Use the support vector machine identification method as a method of identifying synchrony, and the discrimination judgment identifies whether the synchrony is high or low, that is, whether the synchrony is high or low. There is.
生物の周期的な運動生成に用いられているとされる神経振動子は、滑らかでかつ周期的な出力信号を生成するという特徴と、周期的な入力信号に対して自身の自励振動を同調させていくという性質を備える。神経振動子モデルの一つである松岡モデルの式は次式のように記述され、２つの神経素子の差が1つの出力となって周期的な出力信号を生成する構造を備える。 Neural oscillators used to generate periodic movements of living organisms are characterized by generating smooth and periodic output signals, and their own self-excited oscillations are synchronized with periodic input signals. It has the property of letting it go. The equation of the Matsuoka model, which is one of the neural oscillator models, is described as the following equation, and has a structure in which the difference between two neural elements becomes one output to generate a periodic output signal.
ここで、ｘiは神経素子の内部状態を表す。変数ｆは神経素子の疲労状態を表す変数、g(x)は神経素子の出力、Sは神経素子への定常入力、ｂは神経素子の疲労係数、ａは神経素子間の重み係数、Tr及びTaは時定数である。inputは外部入力でありセンサ等からの入力信号にあたる。また、Cは同調ゲインと呼ばれ、入力を増幅することで自励振動が入力信号に同調する度合いを調節するゲインである。ｑは自励振動の振幅を調節するゲインである。これらのパラメータ間には複雑な相互関係があり、その設定は容易ではない。
本発明に係る神経振動子モデルに基づくロボティックスーツの制御方法においては、パラメータｂ（神経振動子のパラメータ）、パラメータC（同調ゲイン）、外部入力として相互作用トルクを特徴量としてとらえて制御する。
Here, x i represents the internal state of the neural element. The variable f is a variable representing the fatigue state of the neural element, g (x) is the output of the neural element, S is a steady input to the neural element, b is a fatigue factor of the neural element, a is a weighting factor between the neural elements, Tr and Ta is a time constant. Input is an external input and corresponds to an input signal from a sensor or the like. C is called a tuning gain, and is a gain that adjusts the degree to which the self-excited vibration is tuned to the input signal by amplifying the input. q is a gain for adjusting the amplitude of the self-excited vibration. These parameters have complex interrelationships and are not easy to set.
In the robotic suit control method based on the neural oscillator model according to the present invention, the parameter b (parameter of the neural oscillator), the parameter C (tuning gain), and the interaction torque as the external input are controlled as feature quantities. .
神経振動子モデルに基づくロボティックスーツの同調制御においては、装着者の同調性が高い場合には、装着者とロボティックスーツとの間の相互作用トルクが小さくなるという関係があることが明らかとなっている。このことから装着者とロボティックスーツとの間に発生する相互作用トルク値による同調性識別法も考えられる。しかしながら、相互作用トルクはロボティックスーツの運動周波数や同調ゲインに影響されるため、それらを踏まえた識別手法を構築する必要がある。
本発明方法においては、サポートベクターマシンの識別手法を利用し、ロボティックスーツの運動周波数や同調ゲインを考慮して同調性を識別することが可能である。
In the tuning control of the robotic suit based on the neural oscillator model, it is clear that there is a relationship that the interaction torque between the wearer and the robotic suit becomes small when the wearer's synchrony is high. It has become. Therefore, a synchronism identification method based on an interaction torque value generated between the wearer and the robotic suit can be considered. However, since the interaction torque is affected by the motion frequency and tuning gain of the robotic suit, it is necessary to construct an identification method based on them.
In the method of the present invention, it is possible to identify synchrony by taking into consideration the motion frequency and tuning gain of the robotic suit using the support vector machine identification method.
本発明においては、前記サポートベクターマシンの識別手法として、ロボティックスーツを駆動制御するパラメータである同調ゲインCRと、神経振動子のパラメータbRと、相互作用トルクτに基づいて同調性の高低を識別する識別関数をあらかじめ構築しておき、前記ロボティックスーツを装着して協働運動を行い、この協働運動時における同調ゲインCRと、神経振動子のパラメータbRと、相互作用トルクτについて取得したテストデータについて前記識別関数の出力値を求め、出力値が正のときは装着者の同調性が高いとし、識別関数の出力値が負のときは装着者の同調性が低いと識別する方法を利用することが有効である。 In the present invention, as the identification method of the support vector machine, a tuning gain C R is a parameter controlling the driving of the robotic suit, and the parameter b R of the neural oscillator, level of tunability based on the interaction torque τ A discriminant function is constructed in advance, and the robotic suit is worn to perform a collaborative motion. The tuning gain C R during the collaborative motion, the parameter b R of the neural oscillator, and the interaction torque Obtaining the output value of the discriminant function for the test data acquired for τ, when the output value is positive, the wearer's synchrony is high, and when the output value of the discriminant function is negative, the wearer's synchrony is low It is effective to use an identification method.
また、同調性の高低を識別する前記識別関数をあらかじめ構築する方法として、装着者側がロボティックスーツに対する同調性が高い場合と低い場合をあらかじめ設定してロボティックスーツと協働運動をさせることにより訓練データを取得し、この訓練データに基づいて、サポートベクターマシンの識別手法により同調性の高低を識別する識別関数のパラメータを学習させて識別関数を構築する方法を利用することができる。
訓練データは識別関数を構築するためのデータであり、実際にロボティックスーツを駆動させてデータを取得する。ロボティックスーツを駆動させて訓練データを取得する場合は、装着者側の要件として、あらかじめ同調性が高い設定条件により協働運動を行う場合と、同調性が低い設定条件により協働運動を行う場合を用意し、それぞれデータを計測して識別関数を構築する。訓練データは、実際に装着者がロボティックスーツを装着して取得してもよいし、擬人化した駆動体を利用して取得することも可能である。
In addition, as a method for preliminarily constructing the discriminant function for identifying the level of synchrony, by setting in advance when the wearer has high and low synchrony with respect to the robotic suit, It is possible to use a method of acquiring training data and learning a parameter of a discriminant function for discriminating the level of synchrony by a discriminating method of a support vector machine based on the training data to construct a discriminant function.
The training data is data for constructing the discriminant function, and the data is obtained by actually driving the robotic suit. When acquiring the training data by driving the robotic suit, as a requirement on the wearer side, the cooperative exercise is performed under the preset condition with high synchrony and the collaborative exercise with the preset condition with low synchrony. Prepare a case and build a discriminant function by measuring data. The training data may be acquired by the wearer actually wearing a robotic suit, or may be acquired by using an anthropomorphic driving body.
ロボティックスーツの制御方法においては、ロボティックスーツと該ロボティックスーツの装着者との間の同調性の高低の別を識別した識別結果に基づいて、ロボティックスーツを駆動制御するパラメータである同調ゲインCRを調節することにより、ロボティックスーツの駆動動作を、目的とする動作により合致させることができる。識別結果に基づいて同調ゲインCRを調節する方法としては、装着者の同調性が低い場合に同調ゲインを高くして両者の運動が極端にずれることを防止し、たとえば歩行補助にロボティックスーツを使用する場合に転倒を防止するように調整することができる。また、装着者の同調性が高い場合には同調性を低くしてアシスト力を大きくしたり、装着者の動きに負荷を与えることでリハビリ運動に利用したりするといった調整ができる。 In the control method of the robotic suit, the synchronization that is a parameter for controlling the driving of the robotic suit based on the identification result that identifies the level of synchronization between the robotic suit and the wearer of the robotic suit by adjusting the gain C R, the driving operation of the robotic suit, it can be matched by the operation of interest. As a method for adjusting the tuning gain C R based on the identification results, both motion is prevented from being displaced extremely by increasing the tuning gain is low tunability of the wearer, for example robotic suit walking assistance Can be adjusted to prevent tipping over when using. In addition, when the wearer's synchrony is high, adjustment can be made such that the synchrony is lowered to increase the assist force, or the load is applied to the wearer's movement for use in rehabilitation exercises.
本発明に係るロボティックスーツは、人体の屈曲可動部位に対応して配置される関節部と、前記関節部間を連結して人体に装着されるリンクと、前記関節部を支点として前記リンクを回動するアクチュエータと、人体とスーツとの相互作用トルクを検出するセンサと、前記アクチュエータの駆動を神経振動子モデルに基づいて制御する制御システムとを備えるロボティックスーツであって、前記制御システムとして、ロボティックスーツと該ロボティックスーツの装着者との間の同調性の高低の別を、サポートベクターマシンの識別手法を利用して識別する識別結果に基づいて調節する調節手段を備える、ことを特徴とする。装着者とロボティックスーツとの同調性を的確に識別することにより、ロボティックスーツの装着感を向上させ、安全性を高めるといったことが可能になる。 A robotic suit according to the present invention includes a joint portion arranged corresponding to a bending movable part of a human body, a link connected to the human body by connecting the joint portions, and the link using the joint portion as a fulcrum. A robotic suit comprising a rotating actuator, a sensor for detecting an interaction torque between a human body and a suit, and a control system for controlling driving of the actuator based on a neural oscillator model, the control system being Adjusting the level of synchronism between the robotic suit and the wearer of the robotic suit based on the identification result that is identified using the identification method of the support vector machine, Features. By accurately identifying the synchrony between the wearer and the robotic suit, it is possible to improve the wearing feeling of the robotic suit and enhance safety.
本発明に係るロボティックスーツの制御方法によれば、ロボティックスーツと装着者との間の同調性を的確に識別してロボティックスーツを制御することができ、装着感が良好で安全なロボティックスーツの制御が可能となる。 According to the robotic suit control method of the present invention, the robotic suit can be controlled by accurately identifying the synchrony between the robotic suit and the wearer, and the robot has a good wearing feeling and is safe. The tick suit can be controlled.
（ロボティックスーツの構成）
図１に実際の制御に使用したロボティックスーツの外観（図１(a)）と、ロボティックスーツを装着した状態（図１(b)）を示す。本実施形態のロボティックスーツは、２つのモータとリンクによって構成される。装着者は着座姿勢でロボティックスーツを装着し、上腕および前腕をテープで上腕リンクと前腕リンクに拘束する。また、ショルダーパッドで装着者の上体を固定する。
(Configuration of robotic suit)
FIG. 1 shows the appearance of a robotic suit used for actual control (FIG. 1 (a)) and a state in which the robotic suit is worn (FIG. 1 (b)). The robotic suit of this embodiment is constituted by two motors and a link. The wearer wears a robotic suit in a sitting position and restrains the upper arm and the forearm with the upper arm link and the forearm link with tape. The upper body of the wearer is fixed with a shoulder pad.
図２に、ロボティックスーツの装着状態を示す図である。ロボティックスーツは使用者の前腕部に添わせて装着する前腕リンク１０、及び上腕部に添わせて装着する上腕リンク１２と、上腕リンク１２の肘関節位置に取り付けた肘関節モータ２０と、使用者の肩に固定する肩支持部１４の肩関節位置に取り付けた肩関節モータ２２とを備える。前腕リンク１０は肘関節モータ２０の出力軸に固定され、上腕リンク１２に対して前腕リンク１０が傾動可能となる。上腕リンク１２は肩関節モータ２２の出力軸に固定され、肩関節位置において上腕リンク１２が傾動可能となる。 FIG. 2 is a diagram showing a wearing state of the robotic suit. The robotic suit uses a forearm link 10 to be worn along the user's forearm, an upper arm link 12 to be worn along the upper arm, and an elbow joint motor 20 attached to the elbow joint position of the upper arm link 12. And a shoulder joint motor 22 attached to the shoulder joint position of the shoulder support portion 14 fixed to the shoulder of the person. The forearm link 10 is fixed to the output shaft of the elbow joint motor 20 so that the forearm link 10 can tilt with respect to the upper arm link 12. The upper arm link 12 is fixed to the output shaft of the shoulder joint motor 22 so that the upper arm link 12 can tilt at the shoulder joint position.
ロボティックスーツと装着者との相互作用トルクは、前腕リンク１０あるいは上腕リンク１２に装着者の前腕あるいは上腕が与えたトルクであり、また、ロボティックスーツが装着者に与えたトルクとも言える。本実施形態においては、前腕リンク１０と上腕リンク１２に歪ゲージを取り付けて相互作用トルクを検出した。図２に示すように、前腕リンク１０の肘関節位置に近い側の側面に対向させて、２枚の歪ゲージ１５ａ、１５ｂを貼り付け、本実施形態の制御システムでは歪ゲージ１５ａ、１５ｂの出力を相互作用トルクとして神経振動子の入力に使用した。 The interaction torque between the robotic suit and the wearer is a torque given to the forearm link 10 or the upper arm link 12 by the wearer's forearm or upper arm, and can also be said to be a torque given to the wearer by the robotic suit. In the present embodiment, a strain gauge is attached to the forearm link 10 and the upper arm link 12 to detect interaction torque. As shown in FIG. 2, two strain gauges 15a and 15b are attached to face the side of the forearm link 10 on the side close to the elbow joint position. In the control system of this embodiment, the output of the strain gauges 15a and 15b is attached. Was used as the interaction torque for the input of the neural oscillator.
図３は、ロボティックスーツと装着者との同調制御システムを示す。この制御システムでは、相互作用トルクをロボティックスーツの入力として用い、同調ゲインCRによってロボティックスーツの同調性を決定する。なお、神経振動子に含まれるパラメータbR はロボティックスーツの屈伸運動の周波数を決めるパラメータであり、これを変えることによって運動周期を変更することが可能である。 FIG. 3 shows a synchronization control system for a robotic suit and a wearer. In this control system, using the interaction torque as input robotic suit to determine the tuning of the robotic suit by the tuning gain C R. Note that the parameter b R included in the neural oscillator is a parameter that determines the frequency of the bending and stretching motion of the robotic suit, and the motion cycle can be changed by changing this parameter b R.
（サポートベクターマシンによる同調性を識別する手法）
本発明においては、ロボティックスーツと装着者との同調性を識別する方法としてサポートベクターマシン(非特許文献２、３)を使用する。サポートベクターマシン（SVM）による同調性を識別する方法は、訓練データを２つのクラスに分類する面(識別面)をひいて、テストデータ（識別しようとするデータ）がどちらのクラスに属するかを識別する方法である。識別面を構成する空間の特徴量をパラメータbR、同調ゲインCR、相互作用トルクτとすることによって、ロボットの運動周波数や同調性を考慮した面を生成することが可能となる。このとき識別面は識別関数の出力が0のときの点の集合であり、識別関数の出力の正負によってデータを識別することができる。つまり、テストデータに対する識別関数の出力が正なら同調性が高い、負なら同調性が低いと識別する。なお、識別面は訓練データを学習することによって決定する。
(Method to identify synchrony by support vector machine)
In the present invention, a support vector machine (Non-Patent Documents 2 and 3) is used as a method for identifying the synchrony between the robotic suit and the wearer. The method of identifying synchrony by support vector machine (SVM) is to determine which class the test data (data to be identified) belongs to by subtracting the plane that classifies the training data into two classes (identification plane). It is a method of identification. By using the parameter b R , the tuning gain C R , and the interaction torque τ as the feature amount of the space constituting the identification surface, it is possible to generate a surface that takes into account the robot's motion frequency and synchrony. At this time, the discriminant plane is a set of points when the output of the discriminant function is 0, and the data can be discriminated by the positive / negative of the output of the discriminant function. That is, if the output of the discriminant function with respect to the test data is positive, the tuning is high, and if it is negative, the tuning is low. The identification plane is determined by learning training data.
図４に特徴量空間における識別概念図を示す。サポートベクターマシンの手法によれば、パラメータbR、同調ゲインCR、相互作用トルクτを特徴量とする空間に識別関数の出力が０の点の集合からなる識別面を設定することができ、識別面に対して正となる側のデータは同調性が高く（大きく）、負となる側は同調性が低い（小さい）というように、テストデータを同調性の高いクラスと低いクラスに識別することができる。
この手法を利用してロボティックスーツを装着した際の装着者の同調性を識別することができれば、装着者の同調性に基づいてロボティックスーツの駆動制御を調節することができ、ロボティックスーツの制御に効果的に利用することが可能である。
FIG. 4 is a conceptual diagram of identification in the feature amount space. According to the method of the support vector machine, it is possible to set a discriminant plane consisting of a set of points whose output of the discriminant function is 0 in a space having the parameter b R , the tuning gain C R , and the interaction torque τ as features. The test data is classified into a class with high tuneability and a class with low tune, such that the data on the positive side with respect to the discrimination surface has high tuneability (large) and the data on the negative side has low tuneability (small). be able to.
If this method can be used to identify the synchrony of the wearer when the robotic suit is worn, the driving control of the robotic suit can be adjusted based on the synchrony of the wearer. It is possible to use it effectively for the control.
（同調性識別試験:予備実験）
サポートベクターマシンの手法をロボティックスーツの同調制御システムに適用して同調性を識別することができるか否かを確かめるため、同調制御で駆動する２つのロボットアームの一方を装着者とみたて、装着者側のロボットアームの同調性識別を試みる予備実験を行った。
はじめに、正しく識別済みの訓練データを計測し、その訓練データをMATLABに取り込んでSVMの識別関数のパラメータを学習させる。次に、識別結果が未知であるテストデータを計測してMATLABに取り込み、識別関数によってテストデータが正しく識別されるかを実験した。
(Synchronism discrimination test: preliminary experiment)
To confirm whether the support vector machine method can be applied to the robotic suit tuning control system to identify the synchrony, one of the two robot arms driven by the tuning control is regarded as the wearer. A preliminary experiment was conducted to try to identify the synchronization of the robot arm on the wearer side.
First, the training data that has been correctly identified is measured, and the training data is imported into MATLAB to learn the parameters of the discrimination function of SVM. Next, we measured the test data with unknown identification results, imported it into MATLAB, and experimented whether the test data was correctly identified by the discrimination function.
実験に用いた装置の構成を図５（左から、実験装置の左側面図、正面図、右側面図）に示す。この予備実験装置は、擬人モータ３０及び擬人アーム３１と、ロボットモータ３２及びロボットアーム３３とを、双方の出力軸が同一軸線上となるように、支持枠３５により対峙する配置として支持し、擬人アーム３４とロボットアーム３３とをテープ３４によって結束した構成としたものである。
擬人アーム３１とロボットアーム３３とをテープで結束したことにより、擬人アーム３１とロボットアーム３３は相互にトルクを作用させながら、擬人モータ３０とロボットモータ３２により駆動されて往復傾動操作をなす。擬人モータ３０と擬人アーム３１はロボティックスーツと相互作用をなす装着者に相当している。
The configuration of the apparatus used for the experiment is shown in FIG. 5 (from left, left side view, front view, right side view of the experimental apparatus). This preliminary experimental apparatus supports an anthropomorphic motor 30 and an anthropomorphic arm 31 and a robot motor 32 and a robot arm 33 as opposed to each other by a support frame 35 so that both output shafts are on the same axis. In this configuration, the arm 34 and the robot arm 33 are bundled with a tape 34.
By binding the anthropomorphic arm 31 and the robot arm 33 with a tape, the anthropomorphic arm 31 and the robot arm 33 are driven by the anthropomorphic motor 30 and the robot motor 32 to perform a reciprocating tilting operation while applying torque to each other. The anthropomorphic motor 30 and the anthropomorphic arm 31 correspond to a wearer that interacts with the robotic suit.
図６に予備実験装置の制御システムの構成を示す。擬人モータ３０とロボットモータ３２とを同調制御方法により制御し、協調運動をさせて、サポートベクターマシンの手法を利用して擬人モータ３０の同調ゲインCHの高低を識別する。擬人モータ３０側の同調ゲインCH、神経振動子のパラメータbH、ロボット側の同調ゲインCR、神経振動子のパラメータbRとする。 FIG. 6 shows the configuration of the control system of the preliminary experimental apparatus. A personified motor 30 and the robot motor 32 is controlled by a tuning control method, by a coordinated movement, identifying the height of the tuning gain C H anthropomorphic motor 30 by utilizing the method of support vector machines. The tuning gain C H on the anthropomorphic motor 30 side, the parameter b H of the neural oscillator, the tuning gain C R on the robot side, and the parameter b R of the neural oscillator.
サポートベクターマシンの手法で使用する識別関数の特徴量として、ロボットモータ３２側の神経振動子のパラメータbR、同調ゲインCR、ロボットのリンクに加わる相互作用トルクτとした。相互作用トルクは運動中に周期的に変化するため、30秒間にわたってトルクを計測し、その絶対値をとったものの平均値を特徴量τとした。この3つの特徴量bR、CR、τによって構成される特徴空間内で点として表現できるデータベクトルxは、ｘ＝［bR、CR、τ］となる。 As feature quantities of the discriminant function used in the method of the support vector machine, the parameter b R of the neural oscillator on the robot motor 32 side, the tuning gain C R , and the interaction torque τ applied to the robot link are used. Since the interaction torque periodically changes during exercise, the torque was measured over 30 seconds, and the average value of the absolute values was taken as the feature value τ. A data vector x that can be expressed as a point in the feature space constituted by these three feature values b R , C R , and τ is x = [b R , C R , τ].
識別訓練に使用した擬人モータとロボットモータについての神経振動子のパラメータbと同調ゲインCの組み合わせの内訳（訓練データ）を表１に示す。なお、計測時の神経振動子のパラメータは一定とする。 Table 1 shows the breakdown (training data) of combinations of the neural oscillator parameter b and the tuning gain C for the anthropomorphic motor and robot motor used in the discrimination training. Note that the parameters of the neural oscillator during measurement are constant.
表１に示すように、擬人モータ３０の運動周波数はロボットモータ３２の運動周波数より0.1Hz低い周波数になるように設定した。また、擬人モータ３０の同調ゲインはCH=0.39かCH=0のいずれかとし、装着者の同調性が高いとき（CH=0.39）と低いとき（CH=0）に対応するように設定した。
この実験により得られた計２４個の訓練データの計測結果を図７、８、９に示す。図７は神経振動子のパラメータbR＝0.9(0.2Hz)のとき、図８はパラメータbR＝2.4（0.3Hz)のとき、図９はbR＝4.2（0.4Hz)のときである。
As shown in Table 1, the movement frequency of the anthropomorphic motor 30 was set to be 0.1 Hz lower than the movement frequency of the robot motor 32. Further, the tuning gain of the anthropomorphic motor 30 is either C H = 0.39 or C H = 0, so that it corresponds to when the wearer's tuning is high (C H = 0.39) or low (C H = 0). Set to.
The measurement results of a total of 24 training data obtained by this experiment are shown in FIGS. 7 shows a case where the parameter b R = 0.9 (0.2 Hz) of the neural oscillator, FIG. 8 shows a case where the parameter b R = 2.4 (0.3 Hz), and FIG. 9 shows a case where b R = 4.2 (0.4 Hz).
（識別テスト）
上記実験結果により得られた訓練データをMATLABに取り込みSVMの識別関数のパラメータを学習させ、識別関数を得た。特徴量bR、CR、τの値を比較すると、パラメータbRは１〜４、同調ゲインCRは0.02〜0.4、相互作用トルクτは0.8〜3程度の範囲にある。特徴量の値が互いに大きく異なると、識別に適した学習を行うことができない。このため、この実験では、神経振動子のパラメータbRを４倍、同調ゲインCRを４０倍、相互作用トルクτを6倍し、特徴量の大きさが互いに同程度となるように整えてから、識別関数のパラメータを学習させて識別関数を得た。
特徴量の値が大きく異なると、図４に示す特徴量空間において、特定の軸のデータ値が他の軸のデータ値に比べて極端に小さく、あるいは大きくなるから、データを補正せずに識別面を構築すると識別面が極端に委縮した面となってしまい、計測データを的確に識別することが難しくなる。このような場合には、特徴量の大きさを同程度に整えることによって、より的確に識別関数を構築することができる。
(Identification test)
The training data obtained from the above experimental results were imported into MATLAB to learn the parameters of the SVM discriminant function, and the discriminant function was obtained. Characteristic amount b R, C R, when comparing the value of tau, the parameter b R 1-4, tuning gain C R is 0.02 to 0.4, the interaction torque tau in the range of about 0.8 to 3. If the values of feature quantities are greatly different from each other, learning suitable for identification cannot be performed. For this reason, in this experiment, the parameter b R of the neural oscillator is multiplied by 4, the tuning gain C R is multiplied by 40, the interaction torque τ is multiplied by 6, and the feature quantities are adjusted to be approximately equal to each other. Thus, the discriminant function was obtained by learning the parameters of the discriminant function.
If the feature value differs greatly, the data value of a specific axis will be extremely smaller or larger than the data value of the other axis in the feature space shown in FIG. When the surface is constructed, the identification surface becomes an extremely contracted surface, and it becomes difficult to accurately identify the measurement data. In such a case, the discrimination function can be constructed more accurately by adjusting the size of the feature amount to the same level.
上記の方法により識別関数を構築した後、表1と同じパラメータの組合せで、再度実験を行い、新たに２４個のテストデータを取得し、学習済みの識別関数で装着者側モータの同調性識別を試みた。その結果、識別を誤ったのは1個のデータのみで、ほぼすべてのデータを正しく識別できていることを確認した。
この予備実験は、ロボット側の計測データ（特徴量bR、CR、τ）に基づいて擬人モータ側の同調性（同調ゲイン）を識別できるかを実験したものである。擬人モータについてはあらかじめ同調ゲインCHを特定値に設定して機械的に実験しているから、ロボット側の計測データに基づいて同調性が識別できたか否かは正確に評価することができる。本実験結果は、訓練データから学習して構築した識別関数を利用する方法が同調性を識別する方法として有効であることを示している。
After constructing the discriminant function by the above method, experiment again with the same combination of parameters as in Table 1, obtain 24 new test data, and identify the synchronism of the wearer side motor with the learned discriminant function Tried. As a result, it was confirmed that only one piece of data was wrongly identified, and almost all data were correctly identified.
This preliminary experiment is an experiment to determine whether the synchrony (tuning gain) on the anthropomorphic motor side can be identified based on the measurement data (feature values b R , C R , τ) on the robot side. Since for the personified motor is mechanically experimentally set in advance tuning gain C H to a specific value, whether or not identified tunability based on the robot side of the measurement data can be evaluated accurately. This experimental result shows that the method of using the discriminant function constructed by learning from training data is effective as a method for discriminating synchrony.
（同調性識別試験:本実験）
本実験では前述したロボティックスーツを人が装着して運動した際の装着者の同調性識別を試みた。その手法は予備実験と同じであるが、装着者の同調性については、ロボティックスーツの運動に積極的に合わせているときを同調性が「高」、装着者の運動周波数がロボティックスーツより0.1Hz低いときを同調性が「低」とした。なお、装着者の運動周波数は、周期的に発せられるビープ音に従うことで制御させた。また、同調性が「高」の場合については、脱力せずにロボティックスーツの運動の方向と速度にできるだけ合わせるよう被験者に指示した。
(Synchronism discrimination test: this experiment)
In this experiment, we tried to identify the synchrony of the wearer when the robotic suit described above was worn and exercised. The method is the same as in the preliminary experiment, but with regard to the wearer's synchrony, the synchrony is "high" when actively matching the movement of the robotic suit, and the wearer's exercise frequency is higher than the robotic suit When the frequency is 0.1 Hz lower, the synchrony is “low”. In addition, the wearer's movement frequency was controlled by following the beep sound emitted periodically. When the synchrony was “high”, the subject was instructed to match the direction and speed of the robotic suit as much as possible without weakening.
（識別関数の構築）
識別関数を構築するために、訓練データを取得した。訓練データは、２０代の被験者３名にそれぞれロボティックスーツを装着し、肘関節の屈伸運動について、上述した同調性が「高」となる動作と、同調性が「低」となる動作を行い、相互作用トルクを計測して得た。ロボティックスーツのパラメータbR、同調ゲインCRの組合せは予備実験において訓練データを取得した場合と同一で、各運動につき計測時間は30秒とした。
取得した訓練データに基づいて識別関数を構築した。識別関数を構築する際には、特徴量の大きさを同程度に整えるため、神経振動子のパラメータbRの値を２倍、同調ゲインCRを２０倍、相互作用トルクτを１０倍した。
(Construction of discriminant function)
Training data was acquired to build the discriminant function. For training data, three subjects in their twenties wear robotic suits, and for the elbow joint flexion / extension motion, the above-mentioned synchrony is “high” and the synchrony is “low”. Obtained by measuring the interaction torque. The combination of the parameter b R and the tuning gain C R of the robotic suit was the same as when training data was acquired in the preliminary experiment, and the measurement time for each exercise was 30 seconds.
A discriminant function was constructed based on the acquired training data. When constructing the discriminant function, the value of the parameter b R of the neural oscillator was doubled, the tuning gain CR was 20 times, and the interaction torque τ was 10 times to adjust the size of the feature amount to the same level. .
（識別実験結果）
上述した方法によって得られた識別関数を利用して同調性を識別する方法の有効性を実験するため、上記の訓練データの計測に参加した被験者とは別の３名の被験者にロボティックスーツを装着し、肘関節の屈伸運動時の相互作用トルクを計測してテストデータを取得し、このテストデータを識別関数に基づいて識別した結果を表２に示す。
(Identification experiment results)
In order to test the effectiveness of the method for discriminating synchrony using the discriminant function obtained by the above-described method, robotic suits were applied to three subjects other than the subjects who participated in the measurement of the training data. Table 2 shows the results of the test data obtained by measuring the interaction torque when the elbow joint is bent and extended, and identifying the test data based on the discrimination function.
表２は、識別関数の出力ｆ(Φ（x))が正ならば装着者の同調性が「高：High」であり、識別関数の出力ｆ(Φ（x))が負ならば装着者の同調性が「低:Low」と識別したことを示す。識別を誤ったテストデータは表中で網かけしたデータである。
ロボットを装着者にみたてた予備実験では正識別率95.8%であり、被験者を用いた本実験では93.0%の正識別率を得た。
本実験は、実際にロボティックスーツを装着した場合に、訓練データに基づいて構築した識別関数を利用して同調性を識別する方法が実際に有効であるか否かを実験したものである。訓練データとテストデータを取得する実験では、被験者が同調性が「高」と「低」の動作を指示に基づいて行ったが、被験者の同調性の識別率が擬人モータを使用した場合よりも低くなったのは、テストデータの被験者が指示通りに同調性を高くできなかったためではないかと推測される。
Table 2 shows that if the discrimination function output f (Φ (x)) is positive, the wearer's synchrony is “High”, and if the discrimination function output f (Φ (x)) is negative, the wearer is This indicates that the synchrony of “No” is identified as “Low”. Test data with incorrect identification is data shaded in the table.
In a preliminary experiment where the robot was seen as a wearer, the correct recognition rate was 95.8%, and in this experiment using subjects, a correct recognition rate of 93.0% was obtained.
This experiment is an experiment on whether or not a method of identifying synchrony using an identification function constructed based on training data is actually effective when a robotic suit is actually worn. In the experiment to acquire training data and test data, the subject performed the operation of “high” and “low” synchrony based on the instruction, but the identification rate of the synchronicity of the subject was higher than that using an anthropomorphic motor. It is presumed that the decrease was due to the test data subject not being able to increase the synchrony as instructed.
上記実験結果は、神経振動子モデルに基づいて同調制御されるロボティックスーツの制御方法として、サポートベクターマシンを利用して同調性を識別する方法が有効に利用できることを示す。すなわち、ロボティックスーツの神経振動子のパラメータbR、同調ゲインCR、そして相互作用トルクτを特徴量とした特徴量空間において識別関数を学習させることにより、得られた識別関数に基づいてテストデータに対して正しく同調性の高低を識別することが確認できる。 The above experimental results show that a method for identifying synchrony using a support vector machine can be effectively used as a control method of a robotic suit that is synchronously controlled based on a neural oscillator model. That is, a test based on the discriminant function obtained by learning the discriminant function in the feature amount space with the parameter b R of the robotic suit, the tuning gain C R , and the interaction torque τ as the feature amount It can be confirmed that the synchronism is correctly identified for the data.
したがって、いったん識別関数が構築できれば、ロボティックスーツを装着して協働運動をしている状態で、神経振動子のパラメータbR、同調ゲインCR、相互作用トルクτを計測することより、装着者の同調性を識別する（モニターする）ことができ、その識別結果に基づいて、ロボティックスーツの同調ゲインCRを調整することができる。たとえば、装着者の同調性が低い場合には、ロボティックスーツの同調性を高くすることによって、装着者とロボティックスーツとの動作が極端にずれるといったことを防止することができる。また、ロボティックスーツの用い方には、装着者の動作をアシストする（補助する）機能の他に、リハビリ運動のように装着者に負荷をかけて運動させるといった機能もある。この場合には、同調性を逆に低く設定し、リハビリ機能が有効に作用するように制御することも可能である。 Therefore, once the discriminant function can be constructed, it can be worn by measuring the parameter b R , the tuning gain C R , and the interaction torque τ of the neural oscillator while wearing the robotic suit and performing the cooperative movement. 's (monitoring) identifying the synchrony that can, based on the identification result, it is possible to adjust the tuning gain C R robotic suit. For example, when the wearer's synchrony is low, it is possible to prevent the wearer and the robotic suit from moving extremely differently by increasing the synchrony of the robotic suit. In addition to the function of assisting (assisting) the wearer's movement, the use of the robotic suit has a function of exercising the loader with a load as in rehabilitation exercises. In this case, it is also possible to set the synchrony to be low and control the rehabilitation function to work effectively.
神経振動子を利用する同調制御方法は、目的の動作を生成するためにパラメータを調節することが困難であるという問題がある。これに対し、本発明に係るサポートベクターマシンを利用して同調性を識別する方法は、装着者の同調性を、ある意味定量的に、かつ容易に識別可能にする点できわめて有効である。同調制御方法に基づくロボティックスーツでは、装着者とロボティックスーツとの同調性を把握することが、的確な制御を行う上できわめて重要である。同調性が「高」と「低」に識別することができれば、目的とする動作を生成させるためにロボティックスーツの駆動状態をどのように調整すればよいかは容易に判断することができ、より適切なロボティックスーツの制御が可能になるからである。 The tuning control method using a neural oscillator has a problem that it is difficult to adjust parameters in order to generate a desired motion. On the other hand, the method for identifying synchrony using the support vector machine according to the present invention is very effective in that the synchrony of the wearer can be easily identified quantitatively in a certain sense. In the robotic suit based on the synchronization control method, grasping the synchronization between the wearer and the robotic suit is extremely important for accurate control. If the synchrony can be identified as “high” and “low”, it can be easily determined how to adjust the driving state of the robotic suit to generate the desired movement, This is because it is possible to control the robotic suit more appropriately.
１０ 前腕リンク
１２ 上腕リンク
１４ 肩支持部
１５ａ、１５ｂ 歪ゲージ
２０ 肘関節モータ
２２ 肩関節モータ
３０ 擬人モータ
３１ 擬人アーム
３２ ロボットモータ
３３ ロボットアーム
３４ テープ
３５ 支持枠
DESCRIPTION OF SYMBOLS 10 Forearm link 12 Upper arm link 14 Shoulder support part 15a, 15b Strain gauge 20 Elbow joint motor 22 Shoulder joint motor 30 Anthropomorphic motor 31 Anthropomorphic arm 32 Robot motor 33 Robot arm 34 Tape 35 Support frame
Claims (5)
ロボティックスーツと該ロボティックスーツの装着者との間の同調性の高低の別を、サポートベクターマシンの識別手法を利用して識別することを特徴とするロボティックスーツの制御方法。 A control method for a robotic suit based on a neural oscillator model,
A control method for a robotic suit, characterized by distinguishing between high and low synchronism between a robotic suit and a wearer of the robotic suit, using a support vector machine identification method.
ロボティックスーツを駆動制御するパラメータである同調ゲインCRと、神経振動子のパラメータbRと、相互作用トルクτに基づいて同調性の高低を識別する識別関数をあらかじめ構築しておき、
前記ロボティックスーツを装着して協働運動を行い、この協働運動時における同調ゲインCRと、神経振動子のパラメータbRと、相互作用トルクτについて取得したテストデータについて前記識別関数の出力値を求め、出力値が正のときは装着者の同調性が高いとし、識別関数の出力値が負のときは装着者の同調性が低いと識別することを特徴とする請求項１記載のロボティックスーツの制御方法。 The support vector machine identification method is:
The tuning gain C R is a parameter controlling the driving of the robotic suit, and the parameter b R of the neural oscillator, constructed in advance identification function that identifies the level of synchrony based on the interaction torque tau,
The robotic performed to cooperate exercise wearing the suit, the tuning gain C R at the time of this cooperation movement, and the parameter b R of the neural oscillator, the output of the discriminant function for the test data obtained for the interaction torque τ The value is obtained, and when the output value is positive, it is determined that the wearer's synchrony is high, and when the output value of the discrimination function is negative, the wearer's synchronism is low. How to control a robotic suit.
装着者側がロボティックスーツに対する同調性が高い場合と低い場合をあらかじめ設定してロボティックスーツと協働運動をさせることにより訓練データを取得し、
この訓練データに基づいて、サポートベクターマシンの識別手法により同調性の高低を識別する識別関数のパラメータを学習させて識別関数を構築することを特徴とする請求項２記載のロボティックスーツの制御方法。 As a method for pre-constructing the discriminant function for identifying the level of synchrony,
The training data is acquired by setting the case where the wearer side is highly synchronized with the robot suit and the case where the suitability is low and causing the wearer to cooperate with the robot suit,
3. The method of controlling a robotic suit according to claim 2, wherein a discriminant function is constructed by learning parameters of a discriminant function for discriminating the level of synchrony by a support vector machine discriminating method based on the training data. .
前記制御システムとして、
ロボティックスーツと該ロボティックスーツの装着者との間の同調性の高低の別を、サポートベクターマシンの識別手法を利用して識別する識別結果に基づいて調節する調節手段を備える、
ことを特徴とするロボティックスーツ。
A joint portion arranged corresponding to a bending movable part of the human body, a link connected to the human body by connecting the joint portions, an actuator for rotating the link around the joint portion, a human body and a suit A robotic suit comprising: a sensor for detecting an interaction torque between the actuator and a control system for controlling driving of the actuator based on a neural oscillator model;
As the control system,
Adjusting means for adjusting the degree of synchronism between a robotic suit and a wearer of the robotic suit based on an identification result that is identified using an identification method of a support vector machine;
Robotic suit characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013175270A JP6150337B2 (en) | 2013-08-27 | 2013-08-27 | Robotic suit control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013175270A JP6150337B2 (en) | 2013-08-27 | 2013-08-27 | Robotic suit control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015044240A JP2015044240A (en) | 2015-03-12 |
| JP6150337B2 true JP6150337B2 (en) | 2017-06-21 |
Family
ID=52670242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013175270A Active JP6150337B2 (en) | 2013-08-27 | 2013-08-27 | Robotic suit control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6150337B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6838341B2 (en) * | 2016-10-03 | 2021-03-03 | 株式会社ジェイテクト | Assist device |
| FR3069664B1 (en) * | 2017-07-31 | 2019-08-30 | Safran Electronics & Defense | METHOD FOR ASSISTING AT LEAST ONE MOVEMENT OF A USER AND CORRESPONDING DEVICE |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3930399B2 (en) * | 2002-08-21 | 2007-06-13 | 本田技研工業株式会社 | Walking assist device |
| JP4178187B2 (en) * | 2005-01-26 | 2008-11-12 | 国立大学法人 筑波大学 | Wearable motion assist device and control program |
| JP2012066375A (en) * | 2010-08-26 | 2012-04-05 | Shinshu Univ | Robotic suit |
| TWI487505B (en) * | 2010-12-17 | 2015-06-11 | Ind Tech Res Inst | Mechanomyographic signal input device, human-machine operating system and identification method thereof |
| EP2497610B1 (en) * | 2011-03-09 | 2014-10-22 | Syco Di Hedvig Haberl & C. S.A.S. | System for controlling a robotic device during walking, in particular for rehabilitation purposes, and corresponding robotic device |
| US8706299B2 (en) * | 2011-08-02 | 2014-04-22 | GM Global Technology Operations LLC | Method and system for controlling a dexterous robot execution sequence using state classification |
| US9572520B2 (en) * | 2011-12-21 | 2017-02-21 | Shinshu University | Movement assistance device, and synchrony based control method for movement assistance device |
-
2013
- 2013-08-27 JP JP2013175270A patent/JP6150337B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015044240A (en) | 2015-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107106846B (en) | System and method for assisting gait intervention and fall prevention | |
| Yu et al. | Human–robot interaction control of rehabilitation robots with series elastic actuators | |
| JP4271711B2 (en) | Exercise assistance device | |
| Cifuentes et al. | Multimodal human–robot interaction for walker-assisted gait | |
| JP6759496B2 (en) | EEG pattern classification device, EEG pattern classification method, EEG pattern classification program and neurofeedback system | |
| Kamali et al. | Trajectory generation and control of a knee exoskeleton based on dynamic movement primitives for sit-to-stand assistance | |
| JP6998569B2 (en) | Power assist device and control method of power assist device | |
| JP2006204426A (en) | Wearing type motion assisting apparatus and control program | |
| WO2004017890A1 (en) | Control system for walking assist device | |
| JP2014104549A (en) | External skeleton robot, and rehabilitation device | |
| Simonetti et al. | Multimodal adaptive interfaces for 3D robot-mediated upper limb neuro-rehabilitation: An overview of bio-cooperative systems | |
| De Lee et al. | Arm exoskeleton rehabilitation robot with assistive system for patient after stroke | |
| JP7450621B2 (en) | Active wear device, control device, control method and computer readable medium | |
| JP6150337B2 (en) | Robotic suit control method | |
| EP3823562B1 (en) | Methods for enabling movement of objects, and associated apparatus | |
| Camardella et al. | Gait phases blended control for enhancing transparency on lower-limb exoskeletons | |
| JP5675021B2 (en) | Walking assist device | |
| JP2012066375A (en) | Robotic suit | |
| Mathew et al. | A systematic review of technological advancements in signal sensing, actuation, control and training methods in robotic exoskeletons for rehabilitation | |
| Pham et al. | Extraction and implementation of muscle synergies in neuro-mechanical control of upper limb movement | |
| JP2018121697A (en) | Adaptation information generation device and adaptation information generation method for movement assisting device | |
| JP5479875B2 (en) | Operation assistance device | |
| JP6297951B2 (en) | Motion estimation device | |
| TWI569794B (en) | Equipment for visual motor and/or neuromuscular therapy and method for visual motor and/or neuromuscular therapy using said equipment | |
| JP2017046977A (en) | Synchronization control method of robotic wear using neural oscillator, computer program for synchronization control, and robotic wear |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160822 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170428 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170518 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6150337 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |