JP6467674B2 - スキンシップを理解する自律行動型ロボット - Google Patents
スキンシップを理解する自律行動型ロボット Download PDFInfo
- Publication number
- JP6467674B2 JP6467674B2 JP2017566426A JP2017566426A JP6467674B2 JP 6467674 B2 JP6467674 B2 JP 6467674B2 JP 2017566426 A JP2017566426 A JP 2017566426A JP 2017566426 A JP2017566426 A JP 2017566426A JP 6467674 B2 JP6467674 B2 JP 6467674B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- motion
- user
- control unit
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 claims description 233
- 230000035945 sensitivity Effects 0.000 claims description 32
- 230000007246 mechanism Effects 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 19
- 230000008451 emotion Effects 0.000 description 83
- 230000009471 action Effects 0.000 description 56
- 230000006399 behavior Effects 0.000 description 53
- 210000001747 pupil Anatomy 0.000 description 32
- 210000003491 skin Anatomy 0.000 description 31
- 210000001508 eye Anatomy 0.000 description 29
- 210000003128 head Anatomy 0.000 description 28
- 238000000034 method Methods 0.000 description 28
- 238000007726 management method Methods 0.000 description 26
- 238000003860 storage Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 22
- 230000004913 activation Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 19
- 230000004044 response Effects 0.000 description 19
- 230000007958 sleep Effects 0.000 description 19
- 230000003542 behavioural effect Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 238000013500 data storage Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 206010037180 Psychiatric symptoms Diseases 0.000 description 12
- 230000007423 decrease Effects 0.000 description 9
- 235000019645 odor Nutrition 0.000 description 9
- 210000001015 abdomen Anatomy 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 8
- 210000001217 buttock Anatomy 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000008921 facial expression Effects 0.000 description 7
- 241000282412 Homo Species 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000002349 favourable effect Effects 0.000 description 6
- 241000282472 Canis lupus familiaris Species 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 5
- 230000004791 biological behavior Effects 0.000 description 4
- 238000007621 cluster analysis Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 239000011347 resin Substances 0.000 description 4
- 229920005989 resin Polymers 0.000 description 4
- 210000002784 stomach Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 241001282135 Poromitra oscitans Species 0.000 description 3
- 206010048232 Yawning Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 230000004622 sleep time Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000009423 ventilation Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 229920006311 Urethane elastomer Polymers 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000035876 healing Effects 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000002985 plastic film Substances 0.000 description 2
- 229920006255 plastic film Polymers 0.000 description 2
- 229920000747 poly(lactic acid) Polymers 0.000 description 2
- 239000004626 polylactic acid Substances 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010063659 Aversion Diseases 0.000 description 1
- 206010048909 Boredom Diseases 0.000 description 1
- 241000566113 Branta sandvicensis Species 0.000 description 1
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- JOYRKODLDBILNP-UHFFFAOYSA-N Ethyl urethane Chemical compound CCOC(N)=O JOYRKODLDBILNP-UHFFFAOYSA-N 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 206010041243 Social avoidant behaviour Diseases 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 210000004705 lumbosacral region Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000002304 perfume Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000005060 rubber Substances 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000007779 soft material Substances 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/0015—Face robots, animated artificial faces for imitating human expressions
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H11/00—Self-movable toy figures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H3/00—Dolls
- A63H3/36—Details; Accessories
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H3/00—Dolls
- A63H3/36—Details; Accessories
- A63H3/38—Dolls' eyes
- A63H3/40—Dolls' eyes movable
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0003—Home robots, i.e. small robots for domestic use
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40202—Human robot coexistence
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40411—Robot assists human in non-industrial environment like home or office
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Manipulator (AREA)
- Toys (AREA)
Description
したがって、人間的・生物的な行動特性を有するロボットであれば、いいかえれば、人間的・生物的な行動を自律的に選択可能なロボットであれば、ロボットへの共感を大きく高めることができると考えられる。
センサは、外皮を覆う面形状のセンサとして形成される。
ロボットは曲面状の体表面を有する。センサは、ロボットの体表面の曲面に沿って設置される。
認識部は、抱え上げの態様を複数種類に分類する。動作制御部は、抱え上げに対応する複数のモーションのうち、抱え上げの種類に応じたモーションを選択する。
本実施形態におけるロボット100は、外部環境および内部状態に基づいて行動や仕草(ジェスチャー)を決定する自律行動型のロボットである。外部環境は、カメラやサーモセンサなど各種のセンサにより認識される。内部状態はロボット100の感情を表現するさまざまなパラメータとして定量化される。これらについては後述する。
ロボット100の頭部にはツノ112が取り付けられる。上述のようにロボット100は軽量であるため、ユーザはツノ112をつかむことでロボット100を持ち上げることも可能である。
もちろん、タッチセンサ400は、ロボット100の体表面の全域を覆うことが望ましい。少なくとも体表面の30%以上、好ましくは50%以上を覆うことが望ましい。
ユーザは、ロボット100に衣装180を着せることができる。衣装180にはさまざまな種類がある。衣装180にはRFID(Radio Frequency Identifier)タグが縫い付けられている。RFIDタグは、衣装を識別する「衣装ID」を至近距離に発信する。ロボット100は、RFIDタグから衣装IDを読み取ることにより、衣装180を着用していることと、着用している衣装180の種別を特定する。ロボット100は、複数の衣装180を重ね着してもよい。
図3に示すように、ロボット100のボディ104は、ベースフレーム308、本体フレーム310、一対の樹脂製のホイールカバー312および外皮314を含む。ベースフレーム308は、金属からなり、ボディ104の軸芯を構成するとともに内部機構を支持する。ベースフレーム308は、アッパープレート332とロアプレート334とを複数のサイドプレート336により上下に連結して構成される。複数のサイドプレート336間には通気が可能となるよう、十分な間隔が設けられる。ベースフレーム308の内方には、バッテリー118、制御回路342および各種アクチュエータが収容されている。
ロボットシステム300は、ロボット100、サーバ200および複数の外部センサ114を含む。家屋内にはあらかじめ複数の外部センサ114(外部センサ114a、114b、・・・、114n)が設置される。外部センサ114は、家屋の壁面に固定されてもよいし、床に載置されてもよい。サーバ200には、外部センサ114の位置座標が登録される。位置座標は、ロボット100の行動範囲として想定される家屋内においてx,y座標として定義される。
外部センサ114はロボット100の感覚器を補強するためのものであり、サーバ200はロボット100の頭脳を補強するためのものである。
もちろん、ロボット100が自らの位置座標を定期的にサーバ200に送信する方式でもよい。
感情マップ116は、サーバ200に格納されるデータテーブルである。ロボット100は、感情マップ116にしたがって行動選択する。図5に示す感情マップ116は、ロボット100の場所に対する好悪感情の大きさを示す。感情マップ116のx軸とy軸は、二次元空間座標を示す。z軸は、好悪感情の大きさを示す。z値が正値のときにはその場所に対する好感が高く、z値が負値のときにはその場所を嫌悪していることを示す。
ロボット100がどのような場所を好むかという定義は任意であるが、一般的には、小さな子どもや犬や猫などの小動物が好む場所を好意地点として設定することが望ましい。
ロボット100がどのような場所を嫌うかという定義も任意であるが、一般的には、小さな子どもや犬や猫などの小動物が怖がる場所を嫌悪地点として設定することが望ましい。
図5に示す感情マップ116が与えられた場合、ロボット100は好意地点(座標P1)に引き寄せられる方向、嫌悪地点(座標P2)から離れる方向に移動する。
ロボット100は、内部センサ128、通信機126、記憶装置124、プロセッサ122、駆動機構120およびバッテリー118を含む。駆動機構120は、上述した車輪駆動機構370を含む。プロセッサ122と記憶装置124は、制御回路342に含まれる。各ユニットは電源線130および信号線132により互いに接続される。バッテリー118は、電源線130を介して各ユニットに電力を供給する。各ユニットは信号線132により制御信号を送受する。バッテリー118は、リチウムイオン二次電池であり、ロボット100の動力源である。
上述のように、ロボットシステム300は、ロボット100、サーバ200および複数の外部センサ114を含む。ロボット100およびサーバ200の各構成要素は、CPU(Central Processing Unit)および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
ロボット100の機能の一部はサーバ200により実現されてもよいし、サーバ200の機能の一部または全部はロボット100により実現されてもよい。
サーバ200は、通信部204、データ処理部202およびデータ格納部206を含む。
通信部204は、外部センサ114およびロボット100との通信処理を担当する。データ格納部206は各種データを格納する。データ処理部202は、通信部204により取得されたデータおよびデータ格納部206に格納されるデータに基づいて各種処理を実行する。データ処理部202は、通信部204およびデータ格納部206のインタフェースとしても機能する。
ロボット100は、複数の動作パターン(モーション)を有する。手を震わせる、蛇行しながらオーナーに近づく、首をかしげたままオーナーを見つめる、などさまざまなモーションが定義されている。
ロボット100は、大量の画像情報やその他のセンシング情報から得られる身体的特徴および行動的特徴に基づいて、高い頻度で出現するユーザを「オーナー」としてクラスタリングする。
本実施形態においては、身体的特徴と行動的特徴からユーザをクラスタリングし、ディープラーニング(多層型のニューラルネットワーク)によってユーザを識別する。詳細は後述する。
位置管理部208は、ロボット100の位置座標を、図4を用いて説明した方法にて特定する。位置管理部208はユーザの位置座標もリアルタイムで追跡してもよい。
行動マップAを行動マップBの5倍重視するときには、座標R1の合計z値は4×5−1=19、座標R2の合計z値は3×5+3=18であるから、ロボット100は座標R1の方向に向かう。
なお、人物認識部214は、人物以外の移動物体、たとえば、ペットである猫や犬についても特徴抽出を行う。
快・不快行為は、ユーザの応対行為が、生物として心地よいものであるか不快なものであるかにより判別される。たとえば、抱っこされることはロボット100にとって快行為であり、蹴られることはロボット100にとって不快行為である。快行為をするオーナーは肯定的感情を有している可能性が高く、不快行為をするオーナーは否定的感情を有している可能性が高いと判断される。
行動マップに移動目標地点や移動ルートが決定され、後述の各種イベントによりモーションが選択される。
ロボット100は、通信部142、データ処理部136、データ格納部148、内部センサ128および駆動機構120を含む。
通信部142は、通信機126(図6参照)に該当し、外部センサ114およびサーバ200との通信処理を担当する。データ格納部148は各種データを格納する。データ格納部148は、記憶装置124(図6参照)に該当する。データ処理部136は、通信部142により取得されたデータおよびデータ格納部148に格納されているデータに基づいて各種処理を実行する。データ処理部136は、プロセッサ122およびプロセッサ122により実行されるコンピュータプログラムに該当する。データ処理部136は、通信部142、内部センサ128、駆動機構120およびデータ格納部148のインタフェースとしても機能する。
タッチセンサ400は、ボディ104に対するユーザの接触を検出する。カメラ402は、ロボット100の周辺を常時撮像する。サーモセンサ404は、ロボット100の周辺の外気温分布を定期的に検出する。カメラ402およびサーモセンサ404から得られた情報に画像処理などの所定の処理を施すことにより、ユーザが周辺に存在しているか否かを検出できる。
ロボット100のモーション格納部160には、サーバ200のモーション格納部232から各種モーションファイルがダウンロードされる。モーションは、モーションIDによって識別される。前輪102を収容して着座する、手106を持ち上げる、2つの前輪102を逆回転させることで、あるいは、片方の前輪102だけを回転させることでロボット100を回転行動させる、前輪102を収納した状態で前輪102を回転させることで震える、ユーザから離れるときにいったん停止して振り返る、などのさまざまなモーションを表現するために、各種アクチュエータ(駆動機構120)の動作タイミング、動作時間、動作方向などがモーションファイルにおいて時系列定義される。
ロボット100の動作制御部150は、サーバ200の動作制御部222と協働してロボット100のモーションを決める。一部のモーションについてはサーバ200で決定し、他のモーションについてはロボット100で決定してもよい。また、ロボット100がモーションを決定するが、ロボット100の処理負荷が高いときにはサーバ200がモーションを決定するとしてもよい。サーバ200においてベースとなるモーションを決定し、ロボット100において追加のモーションを決定してもよい。モーションの決定処理をサーバ200およびロボット100においてどのように分担するかはロボットシステム300の仕様に応じて設計すればよい。
認識部156は、内蔵カメラ(内部センサ128)により定期的に外界を撮像し、人やペットなどの移動物体を検出する。認識部156は画像等から特徴抽出を行う。これらの特徴はサーバ200に送信され、サーバ200の人物認識部214は移動物体の身体的特徴を抽出する。また、ユーザの匂いやユーザの声も検出する。匂いや音(声)は既知の方法にて複数種類に分類される。
以上は、簡単な設例であるが、上述の方法により、父親に対応する第1のプロファイルと母親に対応する第2のプロファイルが形成され、この家には少なくとも2人のユーザ(オーナー)がいることをロボット100は認識する。
このとき、サーバ200の人物認識部214は、ロボット100から得られる画像等のセンシング情報から特徴抽出を行い、ディーブラーニング(多層型ニューラルネットワーク)により、ロボット100の近くにいる移動物体がどのクラスタに該当するかを判断する。たとえば、ひげが生えている移動物体を検出したとき、この移動物体は父親である確率が高い。この移動物体が早朝行動していれば、父親に該当することはいっそう確実である。一方、メガネをかけている移動物体を検出したときには、この移動物体は母親である可能性もある。この移動物体にひげが生えていれば、母親ではなく父親でもないので、クラスタ分析されていない新しい人物であると判定する。
移動物体(ユーザ)からどのような行為をされるかによってそのユーザに対する親密度が変化する。
(1)親密度が非常に高いクラスタ
ロボット100は、ユーザに近づき(以下、「近接行動」とよぶ)、かつ、人に好意を示す仕草としてあらかじめ定義される愛情仕草を行うことで親愛の情を強く表現する。
(2)親密度が比較的高いクラスタ
ロボット100は、近接行動のみを行う。
(3)親密度が比較的低いクラスタ
ロボット100は特段のアクションを行わない。
(4)親密度が特に低いクラスタ
ロボット100は、離脱行動を行う。
本体フレーム310と外皮314の間には、第2層タッチセンサ400b挟まれる。樹脂製の本体フレーム310の曲面形状に沿って、第2層タッチセンサ400bが設置される。外皮314は、ウレタンゴム製(弾性体)である。外皮314の表面には布製の表皮406は貼り付けられ、外皮314と表皮406の間にも、外皮314の曲面形状に沿って、第1層タッチセンサ400aが設置される。すなわち、2つのタッチセンサ400が二重層を形成している。やわらかい外皮314は、ユーザがさわりたくなる場所でもある。この外皮314に覆われる部分にタッチセンサ400を配置することで、効果的にユーザからの多様な接触を検出できる。
なお、第1層タッチセンサ400aは表皮406の上に設置されてもよい。
ロボット100の周辺に人を確認できないとき(S10のN)、いいかえれば、カメラ402により人を撮像できないときやサーモセンサ404により移動熱源体を検出できないとき、感度制御部174はタッチセンサ400の感度を抑制する(S22)。感度の抑制は、検出電圧の低下によって実現される。人がいないときにはタッチセンサ400の接触検出は不要であるため、タッチセンサ400の感度を抑制することは節電に寄与する。ここでいう感度の抑制は、タッチセンサ400のオフ(無効化)であってもよい。
1以上の行動マップによりパターン化できず予測しづらい、かつ、生物的な行動選択を表現している。
触るという行為は、もっとも原始的かつ基本的なコミュニケーション手段である。ロボット100においては、本体フレーム310が骨、外皮314が肉、表皮406が皮に相当し、タッチセンサ400は神経に相当する。図1に示したように、ロボット100のボディ104の広範囲をタッチセンサ400が覆う。このため、ロボット100は、さまざまな場所に対する接触を検出できる。また、第1層タッチセンサ400aと第2層タッチセンサ400bの2層とすることで、接触強度も認識可能である。タッチセンサ400は、プラスチックフィルムをベースとして形成されるため、曲面状のボディ104に合わせて貼り合わせることができる。
図10は、変形例1におけるロボットシステム300の機能ブロック図である。
変形例1のロボットシステム300において、サーバ200のデータ処理部202は、位置管理部208、マップ管理部210、認識部212、動作制御部222、親密度管理部220に加えて、状態管理部224を含む。状態管理部224は、充電率や内部温度、プロセッサ122の処理負荷などの各種物理状態を示す各種内部パラメータを管理する。状態管理部224は、感情管理部234を含む。
ロボット100の目110は、眼画像176を表示させるディスプレイとして形成される。瞳制御部152は、瞳画像178と周縁画像168を含む眼画像176を生成する。瞳制御部152は、また、眼画像176を動画表示させる。具体的には、瞳画像178を動かすことでロボット100の視線を表現する。また、所定のタイミングで瞬き動作を実行する。瞳制御部152は、さまざまな動作パターンにしたがって眼画像176の多様な動きを表現する。目110のモニタは、人間の眼球と同様、曲面形状を有することが望ましい。
ロボット100は、丸く、やわらかく、手触りのよいボディ104と適度な重量を有し、かつ、タッチを快行為と認識するため、ロボット100を抱っこしたいという感情をユーザに抱かせやすい。
図13においては、オーナーがロボット100を背後から抱っこしている。ロボット100は縦方向に抱っこされている。以下、このような抱っこを「背面縦抱っこ」とよぶ。認識部156は、ジャイロセンサ140、カメラ402、サーモセンサ404およびタッチセンサ400からの各種検出情報を入力情報として、ニューラルネットワークにより抱っこの種類を判別する。たとえば、認識部156は、ジャイロセンサ140により縦抱っこか横抱っこかを判別し、ロボット100の正面至近距離にオーナーの顔や胸部などが映るときには背面縦抱っこではないと判別できる。このほかにも、肩にロボット100を抱え上げる抱っこ、寝転んだオーナーが腹部にロボット100を乗せて抱きしめる抱っこなど、さまざまな抱っこの種別を定義してもよい。また、横抱っこの場合は、ロボット100の頭部がオーナーの右腕側と左腕側のどちらに位置するかに応じて、「右向き横抱っこ」と「左向き横抱っこ」に分けて定義してもよい。更に、ロボット100の腹部が上方(天井側)に向くか、下方(床面側)に向くかで、「上向き横抱っこ」と「下向き横抱っこ」を定義してもよい。
以下においては、上述した正対縦抱っこ、横抱っこ、背面縦抱っこを対象として説明する。
モーション選択テーブル190は、サーバ200のモーション格納部232またはロボット100のモーション格納部160に格納される。モーション選択テーブル190は、発動条件、状態条件およびモーションを対応づける。図14のモーション選択テーブル190は、発動条件E1が成立したとき、各種状態条件に応じて選択されるモーションを示す。発動条件E1は、たとえば、横向き抱っこをされたときに成立する。発動条件は、正対縦抱っこ、背面縦抱っこなどの抱っこの種類ごとに用意される。このとき、ロボット100の動作制御部150は、喜びを表す複数のモーションM1からM3(以下、喜びを表すモーションのことを「歓喜モーション」とよぶ)や、睡眠を表現するモーションM4を状態条件S1からS4に応じて選択する。
Claims (1)
- ユーザの接触を検出するセンサと、
接触に応じてロボットのモーションを選択する動作制御部と、
前記動作制御部により選択されたモーションを実行する駆動機構と、
ロボットの衣装着用を検出する衣装検出部と、
前記センサの検出感度を制御する感度制御部、を備え、
前記感度制御部は、衣装着用時に前記センサの検出感度を高めることを特徴とする自律行動型ロボット。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016142060 | 2016-07-20 | ||
JP2016142060 | 2016-07-20 | ||
PCT/JP2017/025859 WO2018016461A1 (ja) | 2016-07-20 | 2017-07-18 | スキンシップを理解する自律行動型ロボット |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018204202A Division JP2019072495A (ja) | 2016-07-20 | 2018-10-30 | スキンシップを理解する自律行動型ロボット |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018016461A1 JPWO2018016461A1 (ja) | 2018-07-26 |
JP6467674B2 true JP6467674B2 (ja) | 2019-02-13 |
Family
ID=60992528
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017566426A Active JP6467674B2 (ja) | 2016-07-20 | 2017-07-18 | スキンシップを理解する自律行動型ロボット |
JP2018204202A Pending JP2019072495A (ja) | 2016-07-20 | 2018-10-30 | スキンシップを理解する自律行動型ロボット |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018204202A Pending JP2019072495A (ja) | 2016-07-20 | 2018-10-30 | スキンシップを理解する自律行動型ロボット |
Country Status (6)
Country | Link |
---|---|
US (1) | US11285614B2 (ja) |
JP (2) | JP6467674B2 (ja) |
CN (1) | CN109475781B (ja) |
DE (1) | DE112017003651T5 (ja) |
GB (1) | GB2567586A (ja) |
WO (1) | WO2018016461A1 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10788235B2 (en) * | 2014-11-07 | 2020-09-29 | Sony Corporation | Control system, control method, and storage medium |
CN110062683B (zh) * | 2016-12-12 | 2023-04-28 | 微软技术许可有限责任公司 | 一种机器人姿态生成的方法、装置及计算机可读介质 |
KR102024087B1 (ko) * | 2017-03-31 | 2019-09-23 | 엘지전자 주식회사 | 커뮤니케이션 로봇 |
JP7020159B2 (ja) * | 2018-02-07 | 2022-02-16 | トヨタ自動車株式会社 | コミュニケーション装置およびその制御プログラム |
JP2019184787A (ja) * | 2018-04-09 | 2019-10-24 | 凸版印刷株式会社 | 表示素子モジュール、表示装置、及びロボット |
CN110405778B (zh) * | 2018-04-28 | 2022-10-21 | 深圳果力智能科技有限公司 | 一种机器人 |
TWI655960B (zh) * | 2018-05-03 | 2019-04-11 | 生茂系統開發有限公司 | 結合觸摸式互動電子寵物的照護裝置、系統與方法 |
KR102148032B1 (ko) * | 2018-06-25 | 2020-08-26 | 엘지전자 주식회사 | 로봇 |
KR102148031B1 (ko) * | 2018-06-25 | 2020-10-14 | 엘지전자 주식회사 | 로봇 |
WO2020009098A1 (ja) * | 2018-07-02 | 2020-01-09 | Groove X株式会社 | ロボット |
TWI704471B (zh) * | 2018-09-27 | 2020-09-11 | 仁寶電腦工業股份有限公司 | 互動式電子裝置及其互動方法 |
EP3885013A4 (en) * | 2018-11-21 | 2022-03-02 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
US20220126439A1 (en) * | 2019-01-22 | 2022-04-28 | Sony Group Corporation | Information processing apparatus and information processing method |
CN113329798B (zh) * | 2019-01-31 | 2023-04-28 | 索尼集团公司 | 机器人控制装置、机器人控制方法及程序 |
JP7024754B2 (ja) * | 2019-03-25 | 2022-02-24 | カシオ計算機株式会社 | 制御装置、ロボット、制御方法およびプログラム |
US11376743B2 (en) * | 2019-04-04 | 2022-07-05 | Joyhaptics Oy | Systems and methods for providing remote touch |
KR102318218B1 (ko) * | 2019-07-26 | 2021-10-27 | 주식회사 모랑스 | 장애인과 1인 가구를 위한 정서 공감 인형 및 이를 이용한 시스템 |
DE102019213032A1 (de) * | 2019-08-29 | 2021-03-04 | navel robotics GmbH | Roboter mit einer verhaltenssteuerungseinheit und verfahren zur verhaltenssteuerung eines roboters |
KR102208256B1 (ko) * | 2019-09-23 | 2021-01-27 | 여영환 | 리딩 기능을 수행하는 스마트 인형 |
KR102118593B1 (ko) * | 2019-12-13 | 2020-06-03 | 주식회사 판도라프로젝트 | 프라모델 시스템 |
JP7494479B2 (ja) | 2020-02-12 | 2024-06-04 | カシオ計算機株式会社 | ロボット |
CN111368053B (zh) * | 2020-02-29 | 2020-12-11 | 重庆百事得大牛机器人有限公司 | 基于法律咨询机器人的情绪安抚*** |
JP7081619B2 (ja) | 2020-03-25 | 2022-06-07 | カシオ計算機株式会社 | 機器の制御装置、機器、機器の制御方法及びプログラム |
JP7416229B2 (ja) * | 2020-05-15 | 2024-01-17 | 日本電信電話株式会社 | 接触刺激算出装置、接触刺激提示装置、接触刺激算出方法、接触刺激提示方法およびプログラム |
KR102295836B1 (ko) * | 2020-11-20 | 2021-08-31 | 오로라월드 주식회사 | 성장형 스마트 토이 장치 및 스마트 토이 시스템 |
US12030182B2 (en) * | 2020-12-14 | 2024-07-09 | Honda Research Institute Europe Gmbh | Controlling an autonomous working device based on physical interaction |
JP7287411B2 (ja) * | 2021-03-16 | 2023-06-06 | カシオ計算機株式会社 | 機器の制御装置、機器の制御方法及びプログラム |
US11419399B1 (en) | 2021-09-01 | 2022-08-23 | Spin Master Ltd. | Storage device with movable element |
WO2023037608A1 (ja) * | 2021-09-10 | 2023-03-16 | ソニーグループ株式会社 | 自律移動体、情報処理方法、及び、プログラム |
WO2023037609A1 (ja) * | 2021-09-10 | 2023-03-16 | ソニーグループ株式会社 | 自律移動体、情報処理方法、及び、プログラム |
US11865695B2 (en) * | 2021-11-16 | 2024-01-09 | Walton Richardson | Humanoid hugging assembly |
JPWO2023089696A1 (ja) * | 2021-11-17 | 2023-05-25 | ||
CN114800566A (zh) * | 2022-05-07 | 2022-07-29 | 深圳市机器时代科技有限公司 | 一种幼教机器人隐蔽移动结构及其追踪方法 |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU768353B2 (en) | 1998-09-10 | 2003-12-11 | Sony Corporation | Robot apparatus, method of controlling robot apparatus, method of display, and medium |
JP2000323219A (ja) | 1999-05-10 | 2000-11-24 | Sony Corp | 接続装置及びロボットシステム |
JP2001191276A (ja) | 1999-10-29 | 2001-07-17 | Sony Corp | ロボットシステム、ロボット装置及びその外装 |
WO2001039932A1 (fr) | 1999-11-30 | 2001-06-07 | Sony Corporation | Robot, son procede de commande et procede d'appreciation du caractere du robot |
JP2001157977A (ja) * | 1999-11-30 | 2001-06-12 | Sony Corp | ロボット装置及びその制御方法 |
JP2001162058A (ja) * | 1999-12-10 | 2001-06-19 | Iesato Sato | 自律移動型セラピー機器 |
JP2003251580A (ja) * | 2002-02-28 | 2003-09-09 | Matsushita Electric Ind Co Ltd | 人工目およびそれを用いたロボット |
JP4042108B2 (ja) * | 2003-02-19 | 2008-02-06 | ソニー株式会社 | ロボット装置及びその制御方法 |
JP2005103679A (ja) | 2003-09-29 | 2005-04-21 | Toshiba Corp | ロボット装置 |
JP4677585B2 (ja) * | 2005-03-31 | 2011-04-27 | 株式会社国際電気通信基礎技術研究所 | コミュニケーションロボット |
EP2281667B1 (en) | 2005-09-30 | 2013-04-17 | iRobot Corporation | Companion robot for personal interaction |
US20070128979A1 (en) * | 2005-12-07 | 2007-06-07 | J. Shackelford Associates Llc. | Interactive Hi-Tech doll |
US7744442B2 (en) * | 2006-06-09 | 2010-06-29 | Mattel, Inc. | Dolls with alterable facial features |
US8287327B1 (en) * | 2006-08-02 | 2012-10-16 | Ghaly Nabil N | Interactive play set |
TWI306051B (en) * | 2006-12-14 | 2009-02-11 | Ind Tech Res Inst | Robotic apparatus with surface information displaying and interaction capability |
JP4871160B2 (ja) | 2007-02-16 | 2012-02-08 | 株式会社東芝 | ロボットおよびその制御方法 |
GB0714148D0 (en) * | 2007-07-19 | 2007-08-29 | Lipman Steven | interacting toys |
CN101411946B (zh) * | 2007-10-19 | 2012-03-28 | 鸿富锦精密工业(深圳)有限公司 | 玩具恐龙 |
US8583956B2 (en) * | 2008-01-31 | 2013-11-12 | Peter Sui Lun Fong | Interactive device with local area time synchronization capbility |
US8046620B2 (en) * | 2008-01-31 | 2011-10-25 | Peter Sui Lun Fong | Interactive device with time synchronization capability |
US8545283B2 (en) * | 2008-02-20 | 2013-10-01 | Ident Technology Ag | Interactive doll or stuffed animal |
US8939840B2 (en) * | 2009-07-29 | 2015-01-27 | Disney Enterprises, Inc. | System and method for playsets using tracked objects and corresponding virtual worlds |
CA2675913A1 (en) * | 2009-08-20 | 2011-02-20 | Thinking Technology Inc. | Interactive talking toy with moveable and detachable body parts |
US9421475B2 (en) * | 2009-11-25 | 2016-08-23 | Hallmark Cards Incorporated | Context-based interactive plush toy |
US8662954B2 (en) * | 2010-04-30 | 2014-03-04 | Mattel, Inc. | Toy doll for image capture and display |
US8506343B2 (en) * | 2010-04-30 | 2013-08-13 | Mattel, Inc. | Interactive toy doll for image capture and display |
US8483873B2 (en) * | 2010-07-20 | 2013-07-09 | Innvo Labs Limited | Autonomous robotic life form |
US8596147B2 (en) * | 2010-11-30 | 2013-12-03 | Hallmark Cards, Incorporated | Non-rigid sensor for detecting deformation |
WO2012172721A1 (ja) * | 2011-06-14 | 2012-12-20 | パナソニック株式会社 | ロボット装置、ロボット制御方法、及びロボット制御プログラム |
JP5765095B2 (ja) * | 2011-06-30 | 2015-08-19 | 富士通株式会社 | ロボット、状況認識方法および状況認識プログラム |
TWI473147B (zh) * | 2011-09-27 | 2015-02-11 | Lg Chemical Ltd | 包括導電圖案之觸控面板 |
US9092021B2 (en) * | 2012-01-06 | 2015-07-28 | J. T. Labs Limited | Interactive apparatus |
US9079113B2 (en) * | 2012-01-06 | 2015-07-14 | J. T. Labs Limited | Interactive personal robotic apparatus |
US9616353B2 (en) * | 2012-03-30 | 2017-04-11 | Mattel, Inc. | Reconfigurable doll |
EP2852881A4 (en) | 2012-05-22 | 2016-03-23 | Intouch Technologies Inc | GRAPHIC USER INTERFACES CONTAINING TOUCH PAD TOUCH INTERFACES FOR TELEMEDICINE DEVICES |
US9796095B1 (en) * | 2012-08-15 | 2017-10-24 | Hanson Robokind And Intelligent Bots, Llc | System and method for controlling intelligent animated characters |
EP2903703A1 (en) * | 2012-10-04 | 2015-08-12 | Disney Enterprises, Inc. | Interactive objects for immersive environment |
US11020680B2 (en) * | 2012-11-15 | 2021-06-01 | Shana Lee McCart-Pollak | System and method for providing a toy operable for receiving and selectively vocalizing various electronic communications from authorized parties, and for providing a configurable platform independent interactive infrastructure for facilitating optimal utilization thereof |
GB2511898B (en) * | 2013-03-15 | 2015-07-22 | Mattel Inc | Toy with an illuminable movable portion |
US20150314454A1 (en) * | 2013-03-15 | 2015-11-05 | JIBO, Inc. | Apparatus and methods for providing a persistent companion device |
US9934817B2 (en) * | 2013-10-04 | 2018-04-03 | Hallmark Cards, Incorporated | System for recording, sharing, and storing audio |
WO2015089491A1 (en) * | 2013-12-14 | 2015-06-18 | The Regents Of The University Of California | Liquid column-based capacitive sensors |
CN103877727B (zh) * | 2013-12-17 | 2016-08-24 | 西安交通大学 | 一种由手机控制并通过手机进行交互的电子宠物 |
US9329597B2 (en) | 2014-01-17 | 2016-05-03 | Knightscope, Inc. | Autonomous data machines and systems |
KR101762218B1 (ko) * | 2014-11-10 | 2017-07-27 | 가부시키가이샤 원더 퓨쳐 코포레이션 | 터치패널, 터치패널의 제조 방법, 및 터치패널 일체형 표시 장치 |
US10959666B2 (en) * | 2015-01-12 | 2021-03-30 | Enbiomedic | Wearable hip joint-action detectors |
WO2016168117A2 (en) * | 2015-04-14 | 2016-10-20 | John James Daniels | Wearable electric, multi-sensory, human/machine, human/human interfaces |
WO2017019887A1 (en) * | 2015-07-29 | 2017-02-02 | The Board Of Trustees Of The Leland Stanford Junior University | Methods and apparatus concerning sensitive force sensors |
US10452816B2 (en) * | 2016-02-08 | 2019-10-22 | Catalia Health Inc. | Method and system for patient engagement |
US10360859B1 (en) * | 2016-03-23 | 2019-07-23 | Valerie J. Heilbron | Eye animation device and method to show eye expression in 2D and 3D lighted displays |
WO2017187620A1 (ja) * | 2016-04-28 | 2017-11-02 | 富士通株式会社 | ロボット |
-
2017
- 2017-07-18 DE DE112017003651.8T patent/DE112017003651T5/de not_active Ceased
- 2017-07-18 GB GB1902083.3A patent/GB2567586A/en not_active Withdrawn
- 2017-07-18 CN CN201780044645.7A patent/CN109475781B/zh active Active
- 2017-07-18 WO PCT/JP2017/025859 patent/WO2018016461A1/ja active Application Filing
- 2017-07-18 JP JP2017566426A patent/JP6467674B2/ja active Active
-
2018
- 2018-10-30 JP JP2018204202A patent/JP2019072495A/ja active Pending
-
2019
- 2019-01-11 US US16/245,261 patent/US11285614B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11285614B2 (en) | 2022-03-29 |
CN109475781A (zh) | 2019-03-15 |
CN109475781B (zh) | 2020-12-25 |
JP2019072495A (ja) | 2019-05-16 |
GB201902083D0 (en) | 2019-04-03 |
DE112017003651T5 (de) | 2019-04-04 |
WO2018016461A1 (ja) | 2018-01-25 |
US20190143528A1 (en) | 2019-05-16 |
GB2567586A (en) | 2019-04-17 |
JPWO2018016461A1 (ja) | 2018-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6467674B2 (ja) | スキンシップを理解する自律行動型ロボット | |
JP6475872B2 (ja) | 活動量をコントロールされる自律行動型ロボット | |
JP6402320B2 (ja) | 人見知りする自律行動型ロボット | |
JP6436548B2 (ja) | 自律行動型ロボット | |
JP6495486B2 (ja) | 自律行動型ロボット及びコンピュータプログラム | |
JP7068709B2 (ja) | 瞳を変化させる自律行動型ロボット | |
JP6409207B2 (ja) | 服を着る自律行動型ロボット | |
JP6409209B2 (ja) | 涼しさを求める自律行動型ロボット | |
JP6557840B2 (ja) | ロボット、サーバ及び行動制御プログラム | |
JP6671577B2 (ja) | 人を識別する自律行動型ロボット | |
JP2019162715A (ja) | 外皮を装着するロボット | |
JP2019171566A (ja) | 柔らかな外皮を有するロボット | |
JP2018192559A (ja) | 曲面形状のボディに対するタッチを検出する自律行動型ロボット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180601 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180731 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181030 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20181106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6467674 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
RG99 | Written request for provisional registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313G99 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |