JP5927797B2 - ロボット制御装置、ロボットシステム、ロボット装置の行動制御方法、及びプログラム - Google Patents
ロボット制御装置、ロボットシステム、ロボット装置の行動制御方法、及びプログラム Download PDFInfo
- Publication number
- JP5927797B2 JP5927797B2 JP2011163517A JP2011163517A JP5927797B2 JP 5927797 B2 JP5927797 B2 JP 5927797B2 JP 2011163517 A JP2011163517 A JP 2011163517A JP 2011163517 A JP2011163517 A JP 2011163517A JP 5927797 B2 JP5927797 B2 JP 5927797B2
- Authority
- JP
- Japan
- Prior art keywords
- action
- robot
- conscious
- reaction
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Manipulator (AREA)
Description
また、例えば、順次供給される入力情報に応じたロボット装置の現在の行動と、次に供給される入力情報とに基づいて、当該ロボット装置の現在の行動に続く次の行動を決定するというロボット装置が知られている。
図1のロボットシステムは、ロボット装置1と、このロボット装置1の行動制御を行うロボット制御装置10とを備えている。
センサ11は、ユーザ2の現実の反応に対応する物理量を検出する。
適応部13は、ロボット装置1が行った第一の行動に対してユーザ2に期待されていた反応を、当該第一の行動に伴ってセンサ11により検出された物理量に基づいて適応させる。
第二行動制御部15は、相関検出部14による上述の相関の高さの検出結果に応じた内容の第二の行動をロボット装置1に行わせる。
なお、ロボット制御装置10は、ロボット装置1により行われる行動と当該行動に対する適応の結果とを対応付けて記憶する記憶部16を更に備えていてもよい。
図2の期待反応テーブル例では、「行動名称」と「期待反応適応値」とが対応付けられている。なお、このテーブルは、名称が「ユーザAA」であるユーザ2についてのものである。
図3のロボットシステムも、ロボット装置1とロボット装置1の行動制御を行うロボット制御装置20とを備えている。このうちのロボット装置1は図1のシステムと同様のものである。また、ロボット制御装置20も、図1のシステムにおけるロボット制御装置10と同様の機能的を提供する。
[1]まず、ロボット制御装置20は、ロボット装置1に実行させる各種の意識的アクションの各々に、意識的アクションについての期待リアクションを対応付けておく。
リアクション予測適応部21は、まず、入力されたリアクションが現実リアクションであるか否か、すなわち、ロボット装置1が実行した意識的アクションに対するユーザ2の反応を表しているものであるか否かを判定する。ここで、リアクション予測適応部21は、入力されたリアクションが現実リアクションであったと判定した場合には、この現実リアクションが、ロボット装置1が実行した意識的アクションについての期待リアクションに近いものであるか否かを判定する。そして、この判定結果を結果アクション制御部22と意識的アクション制御部23とに送付する。
「結果アクション名」は、結果アクションを識別するために個別に与えられている名称である。
結果アクション制御部22は、選択した結果アクションをロボット装置1に実行させるための制御情報を、結果アクションDB31から読み出してアクション選択部24に送付する。
更に、リアクション予測適応部21は、センサ11から入力されたリアクションが現実リアクションであったと判定した場合には、この現実リアクションに基づいた予測適応処理をリアクション予測パラメータに対して行って当該パラメータの更新を行う。
「意識的アクション名」は、ロボット装置1が実行した意識的アクションを識別するために個別に与えられている名称であり、結果アクションDB31において用いられているものと同一のものである。
リアクション予測適応部21は、アクション予測パラメータDB32に格納されている、ロボット装置1が実行した意識的アクションに対応付けられているリアクション予測パラメータを更新する。なお、この更新は、センサ11が現実リアクションを取得したユーザ2についてのリアクション予測パラメータに対して行われる。
「意識的アクション名」は、ロボット装置1が実行した意識的アクションを識別するために個別に与えられている名称であり、結果アクションDB31及びアクション予測パラメータDB32において用いられているものと同一のものである。
意識的アクション制御部23は、次の意識的アクションの実行開始を決定したときに、選択した意識的アクションをロボット装置1に実行させるための制御情報を、意識的アクションDB33から読み出してアクション選択部24に送付する。
アクション選択部24は、結果アクション制御部22から結果アクションの制御情報を受け取った場合には、その制御情報をロボット装置1に与えて結果アクションを実行させる。また、アクション選択部24は、意識的アクション制御部23から意識的アクションの制御情報を受け取ったときは、その制御情報をロボット装置1に与えて意識的アクションを実行させる。なお、アクション選択部24は、結果アクションの制御情報と意識的アクションの制御情報とを同時に受け取った場合には、即時性が要求されている結果アクションを優先して選択して結果アクションの制御情報をロボット装置1に与える。
前述したように、ロボット制御装置20のリアクション予測適応部21は、ロボット装置1がユーザ2に対して意識的アクションを実行したときにおいて、期待リアクションをユーザ2からの現実リアクションをもとに適応させる。
図5の処理は、ユーザ2の存在が、センサ11の出力に基づいて認識されると開始される。
次に、S102では、意識的アクションをロボット装置1に実行させる処理を意識的アクション制御部23及びアクション選択部24が行う。なお、このS102の処理が初めて実行される場合には、意識的アクション制御部23は、予め定めておいた意識的アクションをロボット装置1に実行させるようにする。また、その後にS102の処理が実行される場合における意識的アクション制御部23の動作内容については後述する。
また、定数αは更新係数であり、その値は、0.0から1.0までのいずれかの値が予め設定される。
次に、S106では、リアクション判定処理をリアクション予測適応部21が行う。
以上までの処理が予測適応処理である。
この相関閾値Thは、固定値を設定するようにしてもよいが、本実施例においては、下記の[数7]式の計算を行ってその値を決定する。
まず、現実リアクションと期待リアクションとが一致している場合についての結果リアクションを、好意的な感情の大きさに応じて複数用意しておき、両者が不一致の場合についての結果リアクションについても、不満な感情の大きさに応じて複数用意しておく。そして、これらの結果リアクションの各々についての制御情報を、結果アクションDB31に格納しておく。
次に、ロボット制御装置20の意識的アクション制御部23による、意識的アクションをロボット装置1に実行させるための制御動作について説明する。
例えば、ユーザ2がロボット装置1とのインタラクションに熱中していて盛り上がっているときには、同じような意識的アクションをロボット装置1に繰り返し実行させる。これは、あたかも子供がはしゃいでいるときのような、同じことを何度もせがむような振る舞いを模すためのものである。その一方で、ユーザ2がロボット装置1とのインタラクションの盛り上がりが感じられず、現実リアクションが単調なものであるような場合は、別の現実リアクションを引き出すための意識的アクションをロボット装置1に実行させる。
図6のグラフは、時間経過に伴うセンサ情報相関期待値Rdの変化の様子の一例を表したものである。
図6のグラフでは、この意識的アクションBの実行に応じて得られた現実リアクションが、意識的アクションBについての期待リアクションとは不一致であった場合を表している。従って、この場合には、センサ情報相関期待値Rdが所定値(ここでは0.2)だけ小さくされて、0.5程度の値となっている。このような値の場合には、意識的アクション制御部23は、次の意識的アクションとして、期待リアクションが意識的アクションBの現実リアクションとは余り近くないものを選択する。ここでは、この結果として意識的アクションCが選択されている。
図6のグラフでは、まず、意識的アクションCの実行後に得られた現実リアクションが、意識的アクションCについての期待リアクションと一致したことで、センサ情報相関期待値Rdが所定値だけ大きくされて、0.5程度の値となっている。従って、このような値の場合には、意識的アクション制御部23は、前述の場合と同様に、次の意識的アクションとして、期待リアクションが意識的アクションBの現実リアクションとは余り近くないものを選択する。
意識的アクション制御部23は、意識的アクション発生頻度演算部41と意識的アクション種別選択部42とを備えている。
意識的アクション種別選択部42は、前述したセンサ情報相関期待値Rdを算出し、この値を用いて次の意識的アクションの選択を行う。
まず、意識的アクション発生頻度演算部41の動作について、図8を参照しながら説明する。図8は、意識的アクション発生頻度演算部41によって行われる、意識的アクション発生頻度演算処理の処理手順を図解したフローチャートである。
図8において、まず、S201では、意識的アクション発生頻度演算部41は、意識的アクション発生確率の算出処理を行う。
以上までの処理が意識的アクション発生頻度演算処理である。意識的アクション発生頻度演算部41は、この処理を行うことで、意識的アクションを実行する頻度とその実行タイミングの制御を行う。
意識的アクション種別選択部42は、センサ11によって取得されるセンサ情報、アクション予測パラメータDB32に格納されているリアクション予測パラメータ、及び、前述のアクション発生フラグを入力とする。そして、意識的アクション種別選択部42は、意識的アクションの制御情報を、結果アクションDB31から読み出して出力とする。
まず、S301において、意識的アクションDB33に格納されている全ての意識的アクションについてのセンサ情報相関値Riを算出する処理をセンサ情報相関計算部51が行う。
すなわち、センサ情報相関期待値算出部52は、まず、意識的アクションの実行開始からの経過時間に応じて前掲した[数8]式の計算を行って、センサ情報相関期待値Rdを算出する。更に、センサ情報相関期待値算出部52は、算出したセンサ情報相関期待値Rdに対して、リアクション予測適応部21から通知されるリアクションの判定結果に基づき、前述した所定値rp の加算若しくは所定値rm の減算を行う。
以上の意識的アクション選択部54による次の意識的アクションの選択動作について、更に説明する。
なお、前述した意識的アクション選択部54の動作では、ロボット装置1に次に行わせる意識的アクションの選択確率に基づく選択を、意識的アクションDB33に格納されている全ての意識的アクションから行うようにしていた。この代わりに、まず、意識的アクションDB33に格納されている全ての意識的アクションから、距離算出部53が算出した距離が短い順に所定数個を抽出する。そして、抽出された所定数個の意識的アクションから1つを選択する選択確率を当該距離に基づいて算出し、その算出された選択確率に従って意識的アクションを1つ選択するようにしてもよい。
この処理では、まず、図5のS102の処理でロボット装置1に実行させた意識的アクションについてのリアクション予測パラメータの初期値と、センサ11により得られたセンサ情報sとの相関の高さの算出が、図5のS106の処理と同様にして行われる。そして、算出された正規化相互相関値Rと、S105の処理で設定された相関閾値Thとの大小比較が行われる。ここで、リアクション予測適応部21は、正規化相互相関値Rが相関閾値Th以上であるときには、現実リアクションが期待リアクションに一致しているとの判定を下し、この判定結果を結果アクション制御部22に伝えてS107に処理を進める。一方、リアクション予測適応部21は、ここで、正規化相互相関値Rが相関閾値Th未満であるときには、現実リアクションは期待リアクションとは不一致であるとの判定を下し、この判定結果を結果アクション制御部22に伝えてS108に処理を進める。なお、リアクション予測適応部21は、このリアクションの判定結果を、意識的アクション制御部23にも通知する。
このコンピュータ60は、MPU61、ROM62、RAM63、ハードディスク装置64、入力装置65、表示装置66、インタフェース装置67、及び記録媒体駆動装置68を備えている。なお、これらの構成要素はバスライン69を介して接続されており、MPU61の管理の下で各種のデータを相互に授受することができる。
ROM(Read Only Memory)62は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。MPU61は、この基本制御プログラムをコンピュータ60の起動時に読み出して実行することにより、このコンピュータ60の各構成要素の動作制御が可能になる。
インタフェース装置67は、このコンピュータ60に接続される各種機器との間での各種情報の授受の管理を行う。
2 ユーザ
10、20 ロボット制御装置
11 センサ
12 第一行動制御部
13 適応部
14 相関検出部
15 第二行動制御部
16 記憶部
17 第三行動制御部
21 リアクション予測適応部
22 結果アクション制御部
23 意識的アクション制御部
24 アクション選択部
31 結果アクションDB
32 アクション予測パラメータDB
33 意識的アクションDB
41 意識的アクション発生頻度演算部
42 意識的アクション種別選択部42
51 センサ情報相関計算部
52 センサ情報相関期待値算出部
53 距離計算部
54 意識的アクション選択部
60 コンピュータ
61 MPU
62 ROM
63 RAM
64 ハードディスク装置
65 入力装置
66 表示装置
67 インタフェース装置
68 記録媒体駆動装置
69 バスライン
70 可搬型記録媒体
Claims (11)
- ロボット装置の行動制御を行うロボット制御装置であって、
ユーザの現実の反応に対応する物理量を検出するセンサ、
前記ロボット装置による前記ユーザへ働きかける行動である意識的アクションを前記ロボット装置に行わせる第一行動制御部、
前記意識的アクションに対して前記ユーザに期待されていた反応を、前記第一行動制御部が前記ロボット装置に行わせた前記意識的アクションに伴って前記センサにより検出された前記物理量に基づいて適応させる適応部、
前記意識的アクションに対して期待されていた前記反応と前記第一行動制御部が前記ロボット装置に行わせた前記意識的アクションに伴って検出された前記物理量との相関の高さを検出する相関検出部、及び
前記ロボット装置による行動である結果アクションであって前記意識的アクションに対応付けられている該結果アクションから前記相関検出部による前記相関の高さの検出結果に応じた結果アクションを選択して前記ロボット装置に行わせる第二行動制御部、
を備えることを特徴とするロボット制御装置。 - 前記適応部は、前記意識的アクションに対する過去の適応の結果と前記第一行動制御部が前記ロボット装置に新たに行わせた前記意識的アクションに伴って検出された前記物理量との重み付け加算によって、前記適応を行うことを特徴とする請求項1に記載のロボット制御装置。
- 前記ユーザは複数であり、
前記ロボット制御装置は、前記ユーザ毎に前記ロボット装置により行われる行動と該行動に対する前記適応の結果とを対応付けて記憶する記憶部を更に備え、
前記適応部は、前記センサによる前記物理量の検出対象であるユーザ、及び、前記ロボット装置が行った前記意識的アクションに対応付けて前記記憶部に記憶されている前記適応の結果を用いて、前記適応を行う、
ことを特徴とする請求項1又は2に記載のロボット制御装置。 - 前記相関検出部による前記相関の高さの検出結果に基づいて、前記ロボット装置に次に行わせる意識的アクションである新規意識的アクションを決定し、該決定された新規意識的アクションを該ロボット装置に行わせる第三行動制御部を更に備え、
前記適応部は、更に、前記新規意識的アクションに対して前記ユーザに期待されていた反応を、前記第三行動制御部が前記ロボット装置に行わせた前記新規意識的アクションに伴って前記センサにより検出された前記物理量に基づいて適応させる、
ことを特徴とする請求項1又は2に記載のロボット制御装置。 - 前記第三行動制御部は、前記センサによる前記物理量の検出値が所定値以上となる単位時間当たりの頻度に応じた頻度で、前記新規意識的アクションを前記ロボット装置に行わせることを特徴とする請求項4に記載のロボット制御装置。
- 前記ロボット装置により行われる行動と該行動に対する前記適応の結果とを対応付けて記憶する記憶部を更に備え、
前記相関検出部は、更に、前記記憶部に記憶されている前記適応の結果の各々と前記意識的アクションに対して期待されていた前記反応との相関の高さを検出し、
前記第三行動制御部は、前記意識的アクションについての前記相関の高さの検出結果が所定の閾値よりも高い相関を表している場合には、該検出結果が該所定の閾値よりも低い相関を表している場合よりも高い確率で、前記記憶部に記憶されている前記ロボット装置により行われる行動のうちから該行動に対する前記適応の結果と前記意識的アクションに対して期待されていた前記反応との相関の高さが高い行動を選択して、前記新規意識的アクションに決定する、
ことを特徴とする請求項4又は5に記載のロボット制御装置。 - 前記相関検出部は、更に、前記ロボット装置により行われる行動に対して予め設定されている前記ユーザに期待されていた反応の初期値と該ユーザの現実の反応との相関の高さを検出し、
前記第二行動制御部は、前記意識的アクションに対応付けられている前記結果アクションのうちから、前記期待されていた反応と前記現実の反応との相関の高さと、前記期待されていた反応の初期値と前記現実の反応との相関の高さとのうちの高い相関を表しているものに応じた結果アクションを選択して前記ロボット装置に行わせる、
ことを特徴とする請求項1から6のうちのいずれか一項に記載のロボット制御装置。 - 前記第二行動制御部は、前記結果アクションの選択を、更に、前記センサによる前記物理量の検出値が所定値以上となる単位時間当たりの頻度にも応じて行うことを特徴とする請求項1から7のうちのいずれか一項に記載のロボット制御装置。
- ロボット装置と、
前記ロボット装置の行動制御を行う、請求項1から8に記載のロボット制御装置と、
を備えることを特徴とするロボットシステム。 - ロボット装置の行動の制御方法であって、
前記ロボット装置によるユーザへ働きかける行動である意識的アクションを前記ロボット装置に行わせ、
前記ユーザの現実の反応に対応する物理量を検出するセンサにより、前記ロボット装置に行わせた前記意識的アクションに伴って検出された物理量に基づいて、前記意識的アクションに対して該ユーザに期待されていた反応を適応させ、
前記意識的アクションに対して期待されていた前記反応と前記ロボット装置に行わせた前記意識的アクションに伴って検出された前記物理量との相関の高さを検出し、
前記ロボット装置による行動である結果アクションであって前記意識的アクションに対応付けられている該結果アクションから前記相関の高さの検出結果に応じた結果アクションを選択して前記ロボット装置に行わせる、
ことを特徴とするロボット装置の行動制御方法。 - ロボット装置の行動の制御をコンピュータに実行させるプログラムであって、
前記ロボット装置によるユーザへ働きかける行動である意識的アクションを前記ロボット装置に行わせ、
前記ユーザの現実の反応に対応する物理量を検出するセンサにより、前記ロボット装置に行わせた前記意識的アクションに伴って検出された物理量に基づいて、前記意識的アクションに対して該ユーザに期待されていた反応を適応させ、
前記意識的アクションに対して期待されていた前記反応と前記ロボット装置に行わせた前記意識的アクションに伴って検出された前記物理量との相関の高さを検出し、
前記ロボット装置による行動である結果アクションであって前記意識的アクションに対応付けられている該結果アクションから前記相関の高さの検出結果に応じた結果アクションを選択して前記ロボット装置に行わせる、
処理を前記コンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011163517A JP5927797B2 (ja) | 2011-07-26 | 2011-07-26 | ロボット制御装置、ロボットシステム、ロボット装置の行動制御方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011163517A JP5927797B2 (ja) | 2011-07-26 | 2011-07-26 | ロボット制御装置、ロボットシステム、ロボット装置の行動制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013027937A JP2013027937A (ja) | 2013-02-07 |
JP5927797B2 true JP5927797B2 (ja) | 2016-06-01 |
Family
ID=47785511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011163517A Expired - Fee Related JP5927797B2 (ja) | 2011-07-26 | 2011-07-26 | ロボット制御装置、ロボットシステム、ロボット装置の行動制御方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5927797B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6053847B2 (ja) * | 2014-06-05 | 2016-12-27 | Cocoro Sb株式会社 | 行動制御システム、システム及びプログラム |
WO2016132729A1 (ja) * | 2015-02-17 | 2016-08-25 | 日本電気株式会社 | ロボット制御装置、ロボット、ロボット制御方法およびプログラム記録媒体 |
WO2017169826A1 (ja) | 2016-03-28 | 2017-10-05 | Groove X株式会社 | お出迎え行動する自律行動型ロボット |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003340760A (ja) * | 2002-05-20 | 2003-12-02 | Sony Corp | ロボット装置およびロボット制御方法、記録媒体、並びにプログラム |
JP2005238422A (ja) * | 2004-02-27 | 2005-09-08 | Sony Corp | ロボット装置、並びにその状態遷移モデル構築方法及び行動制御方法 |
KR20110002757A (ko) * | 2009-07-02 | 2011-01-10 | 삼성전자주식회사 | 감성 모델 장치, 감성 모델의 성향 학습 장치 및 방법 |
-
2011
- 2011-07-26 JP JP2011163517A patent/JP5927797B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013027937A (ja) | 2013-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190347566A1 (en) | Predictive controller for applications | |
CN103445793B (zh) | 通过人机接口来估计认知负荷的方法和对话*** | |
US11580378B2 (en) | Reinforcement learning for concurrent actions | |
EP3647936B1 (en) | Electronic apparatus and control method thereof | |
GB2571199A (en) | Method and system for training a chatbot | |
WO2015200153A1 (en) | Leveraging user signals for initiating communications | |
JP7125539B2 (ja) | ゲーム内リソースサーフェシングプラットフォーム | |
KR20120047577A (ko) | 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치 및 방법 | |
US11115359B2 (en) | Method and apparatus for importance filtering a plurality of messages | |
CN111656757A (zh) | 电子设备和用于控制电子设备的方法 | |
WO2018006378A1 (zh) | 智能机器人控制***、方法及智能机器人 | |
KR20180109633A (ko) | 음성 인식 서비스 운용 방법, 이를 지원하는 전자 장치 및 시스템 | |
JP7031603B2 (ja) | 情報処理装置及び情報処理方法 | |
US10665032B2 (en) | Real-time motion feedback for extended reality | |
JP5927797B2 (ja) | ロボット制御装置、ロボットシステム、ロボット装置の行動制御方法、及びプログラム | |
KR102396794B1 (ko) | 전자 장치 및 이의 제어 방법 | |
KR20190105175A (ko) | 전자 장치 및 이의 자연어 생성 방법 | |
KR20180049791A (ko) | 복수 개의 메시지들을 필터링하는 방법 및 이를 위한 장치 | |
US9827498B2 (en) | Dynamic gaming experience adjustments | |
US9324245B2 (en) | Apparatus and method for creating artificial feelings | |
CN113934295A (zh) | 宠物机器人的养成方法、***及存储介质 | |
EP3828884A1 (en) | Electronic apparatus and control method thereof | |
CN117112742A (zh) | 一种对话模型优化方法、装置、计算机设备和存储介质 | |
EP3663986A1 (en) | Simulated human-like affect-driven behavior by a virtual agent | |
KR20100070773A (ko) | 성격 변화 장치 및 그 방법과, 그를 이용한 행동 다양화 장치 및 그 방법과, 그 로봇 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150609 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160119 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160411 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5927797 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |