JP7029521B2 - 力触覚伝達システム、力触覚伝達装置、力触覚伝達方法及びプログラム - Google Patents
力触覚伝達システム、力触覚伝達装置、力触覚伝達方法及びプログラム Download PDFInfo
- Publication number
- JP7029521B2 JP7029521B2 JP2020511040A JP2020511040A JP7029521B2 JP 7029521 B2 JP7029521 B2 JP 7029521B2 JP 2020511040 A JP2020511040 A JP 2020511040A JP 2020511040 A JP2020511040 A JP 2020511040A JP 7029521 B2 JP7029521 B2 JP 7029521B2
- Authority
- JP
- Japan
- Prior art keywords
- force
- fishing rod
- fishing
- type manipulator
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims description 141
- 238000000034 method Methods 0.000 title claims description 44
- 241000251468 Actinopterygii Species 0.000 claims description 71
- 230000006870 function Effects 0.000 claims description 68
- 230000035807 sensation Effects 0.000 claims description 61
- 230000001133 acceleration Effects 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 13
- 230000009466 transformation Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000000704 physical effect Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 101000652359 Homo sapiens Spermatogenesis-associated protein 2 Proteins 0.000 description 1
- 101000642464 Homo sapiens Spermatogenesis-associated protein 2-like protein Proteins 0.000 description 1
- 102100030254 Spermatogenesis-associated protein 2 Human genes 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K97/00—Accessories for angling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Manipulator (AREA)
Description
アバターを用いることにより、ユーザが遠隔にいる場合であっても、アバターが収集した視覚情報あるいは聴覚情報等をユーザにフィードバックすることで、ユーザはアバターを介して種々の体験を行うことができる。
なお、アバターに関する技術は、例えば特許文献1に記載されている。
即ち、従来の技術においては、アバター等のロボットを介してリアリティの高い体験を実現可能な技術が提供されていなかった。
本発明の課題は、ロボットを介してよりリアリティの高い体験を実現可能とする技術を提供することである。
釣り上げる動作を実行可能な釣りロボット及び当該釣りロボットから離間して設置された釣り竿型マニピュレータと、前記釣りロボット及び前記釣り竿型マニピュレータと通信可能に構成された制御装置とを含む力触覚伝達システムであって、
前記制御装置は、
前記釣りロボットに備えられた釣り竿に入力する現在または過去の外力を示す情報に基づいて、前記釣り竿型マニピュレータに前記釣り竿に入力した外力による力触覚を出力させることを特徴とする。
初めに、本発明に係る力触覚伝達システム、力触覚伝達装置、力触覚伝達方法及びプログラムに適用される基本的原理について説明する。
したがって、以下、本実施形態において、「行為」とは、人間の身体における部位の個別の「機能」を構成要素として実現される統合的な機能を表すものとする。例えば、中指の曲げ伸ばしを伴う行為(ねじを回す行為等)は、中指の各関節の機能を構成要素とする統合的な機能である。
本発明における基本的原理は、どのような行為も力源と速度(位置)源および行為を表す変換の三要素で数理的に表現できることから、変換及び逆変換により定義される変数群に対し、双対関係にある理想力源および理想速度(位置)源より制御エネルギーを制御対象のシステムに供給することで、抽出した身体的行為を構造化し、再構築あるいは拡張増幅し身体的行為を可逆的に自動実現(再現)する、というものである。
図1に示す基本的原理は、人間の身体的行為を実現するために利用可能なアクチュエータの制御則を表しており、アクチュエータの現在位置を入力として、位置(または速度)あるいは力の少なくとも一方の領域における演算を行うことにより、アクチュエータの動作を決定するものである。
即ち、本発明の基本的原理は、制御対象システムSと、機能別力・速度割当変換ブロックFTと、理想力源ブロックFCあるいは理想速度(位置)源ブロックPCの少なくとも1つと、逆変換ブロックIFTとを含む制御則として表される。
機能別力・速度割当変換ブロックFTにおける座標変換を、実現する機能に応じて設定することにより、各種行為を実現したり、スケーリングを伴う行為の再現を行ったりすることができる。
即ち、本発明の基本的原理では、機能別力・速度割当変換ブロックFTにおいて、アクチュエータ単体の変数(実空間上の変数)を、実現する機能を表現するシステム全体の変数群(仮想空間上の変数)に“変換”し、速度(位置)の制御エネルギーと力の制御エネルギーとに制御エネルギーを割り当てる。そのため、アクチュエータ単体の変数(実空間上の変数)のまま制御を行う場合と比較して、速度(位置)の制御エネルギーと力の制御エネルギーとを独立に与えることが可能となっている。
このような基本的原理により、制御対象システムSのアクチュエータにおける位置の情報が機能別力・速度割当変換ブロックFTに入力されると、位置の情報に基づいて得られる速度(位置)及び力の情報を用いて、機能別力・速度割当変換ブロックFTにおいて、機能に応じた位置及び力の領域それぞれの制御則が適用される。そして、理想力源ブロックFCにおいて、機能に応じた力の演算が行われ、理想速度(位置)源ブロックPCにおいて、機能に応じた速度(位置)の演算が行われ、力及び速度(位置)それぞれに制御エネルギーが分配される。
その結果、制御対象システムSのアクチュエータは、機能別力・速度割当変換ブロックFTによって定義された機能に従う動作を実行し、目的とするロボットの動作が実現される。
即ち、本発明においては、ロボットによって人間の身体的行為をより適切に実現することが可能となる。
次に、機能別力・速度割当変換ブロックFTによって定義される機能の具体例について説明する。
機能別力・速度割当変換ブロックFTでは、入力されたアクチュエータの現在位置に基づいて得られる速度(位置)及び力を対象とした座標変換(実現する機能に対応した実空間から仮想空間への変換)が定義されている。
機能別力・速度割当変換ブロックFTでは、このような現在位置から速度(位置)及び力と、機能の基準値としての速度(位置)及び力とを入力として、速度(位置)及び力それぞれについての制御則が加速度次元において適用される。
即ち、アクチュエータにおける力は質量と加速度との積で表され、アクチュエータにおける速度(位置)は加速度の積分によって表される。そのため、加速度の領域を介して、速度(位置)及び力を制御することで、アクチュエータの現在位置を取得して、目的とする機能を実現することができる。
(力触覚伝達機能)
図2は、機能別力・速度割当変換ブロックFTにおいて力触覚伝達機能が定義された場合の制御の概念を示す模式図である。
図2に示すように、機能別力・速度割当変換ブロックFTによって定義される機能として、マスタ装置の動作をスレーブ装置に伝達すると共に、スレーブ装置に対する物体からの反力の入力をマスタ装置にフィードバックする機能(バイラテラル制御機能)を実現することができる。
この場合、機能別力・速度割当変換ブロックFTにおける座標変換は、次式(3)及び(4)として表される。
図3は、本発明に係る力触覚伝達システム1のシステム構成を示す模式図である。
図3に示すように、力触覚伝達システム1は、マスタ装置としての釣り竿型マニピュレータ10と、ヘッドマウントディスプレイ20と、マスタ側制御装置30と、スレーブ側制御装置40と、スレーブ装置としての釣りロボット50とを含んで構成され、マスタ側制御装置30とスレーブ側制御装置40とは、インターネット等のネットワーク60を介して接続されている。また、釣り竿型マニピュレータ10及びヘッドマウントディスプレイ20はマスタ側制御装置30と無線通信ネットワークあるいは通信ケーブル等によって通信可能に構成され、スレーブ側制御装置40は釣りロボット50と無線通信ネットワークあるいは通信ケーブル等によって通信可能に構成されている。なお、マスタ側制御装置30とスレーブ側制御装置40とを通信ケーブル等の有線通信で接続し、ローカルシステムとして力触覚伝達システム1を構成することも可能である。
このように、力触覚伝達システム1によれば、ロボットを介してよりリアリティの高い体験を実現可能な技術を提供することができる。
また、力触覚伝達システム1においては、単に力触覚を伝達することに加え、設定に応じて、力触覚を拡大または縮小して伝達したり、特定の周波数の力触覚のみを拡大・縮小して伝えたり、仮想的な力触覚を加えて伝達したりすることが可能である。
なお、本実施形態の力触覚伝達システム1においては、ユーザが釣りを体験するためのモードとして、リアルハプティクスモードと、疑似体験モードとが設定可能となっている。リアルハプティクスモードとは、釣り竿型マニピュレータ10と釣りロボット50との間でリアルタイムに力触覚の伝達を行い、釣りロボット50が釣り竿型マニピュレータ10を使用するユーザのアバターとなるモードである。また、疑似体験モードとは、過去に魚を釣り上げた際のデータを再生することにより、ユーザに釣り上げ時の力触覚を疑似体験させるモードである。
以下、力触覚伝達システム1の構成について具体的に説明する。
図4は、マスタ側制御装置30の構成を示すブロック図である。
本実施形態において、マスタ側制御装置30は、PCによって構成され、図4に示すように、CPU(Central Processing Unit)31と、RAM(Random Acess Memory)32と、記憶装置33と、通信インターフェース(通信I/F)34と、を備えている。なお、マスタ側制御装置30には、アクチュエータ12を駆動するためのドライバ、電力を供給するためのバッテリ、各種情報を入力するための入力装置(例えば、キーボードやマウス)等、力触覚伝達システム1で必要となる各種装置が適宜実装される。
記憶装置33の一領域には、力触覚伝達処理において取り扱われる時系列のパラメータを記憶するパラメータ記憶部33aが形成される。パラメータ記憶部33aに記憶されたパラメータを時系列に読み出して再生することで、過去に釣り竿型マニピュレータ10及び釣りロボット50において伝達された力触覚を再現することができる。また、記憶装置33には、力触覚伝達システム1で用いられる各種データ(魚の画像や音声のデータ等)が適宜記憶される。
具体的には、CPU31が各種プログラムを実行することにより、CPU31には、機能的構成として、位置取得部31aと、力触覚伝達部31bと、管理部31cと、データ記録部31dとが実現される。
位置取得部31aは、釣り竿型マニピュレータ10のエンコーダ13によって検出された時系列の検出値と、釣りロボット50のエンコーダ53によって検出された時系列の検出値とを取得する。
即ち、力触覚伝達部31bには、リアルハプティクスモードにおいては、位置検出部31aから、釣り竿型マニピュレータ10のエンコーダ13によって検出された時系列の検出値と、釣りロボット50のエンコーダ53によって検出された時系列の検出値(基準値)とが入力される。また、力触覚伝達部31bには、疑似体験モードにおいては、位置検出部31aから、釣り竿型マニピュレータ10のエンコーダ13によって検出された時系列の検出値と、パラメータ記憶部33aから読み出された過去のパラメータ(釣りロボット50のエンコーダ53によって過去に検出された時系列の検出値)(基準値)とが入力される。これら時系列の検出値は、釣り竿型マニピュレータ10に対するユーザの操作(釣りを行う際の釣り竿の操作)と、釣りロボット50に対する現在または過去の外力(魚等による釣り竿への外力)を表すものであり、力触覚伝達部31bは、入力された検出値(位置)から導出された速度(位置)及び力の情報に対して、力触覚伝達機能を実現するための座標変換を適用する。
データ記録部31dは、リアルハプティクスモードにおいて力触覚伝達処理が行われている場合のパラメータを時系列にパラメータ記憶部33aに記録する。
具体的には、釣りロボット50は、釣り針及び釣り糸を有する釣り竿を保持するアーム50Aを備え、ヒンジ51を介して、アーム50Aの肘に相当する部分を鉛直方向に回転自在に支持台に連結されている。ヒンジ51には、回転トルクを付与するアクチュエータ52と、ヒンジ51の回転角度を検出するエンコーダ53とが備えられている。エンコーダ53の検出信号はスレーブ側制御装置40に出力され、アクチュエータ52が出力する回転トルク及びアクチュエータの回転位置はスレーブ側制御装置40によって制御される。また、釣り竿に備えられたリールは、釣り竿の手元側の端部から、人間の肘と手の距離に相当する位置に設置されている。即ち、釣り竿のリールは、釣り竿の手元型の端部に対して。釣り竿型マニピュレータ10のリール14と同様の位置に設置されている。なお、釣りロボット50には、釣り場(釣り糸付近の水面等)を撮影するカメラが設置されている。また、上述したように、釣り竿のリールにも、ヒンジ51と同様に、回転トルクを付与するアクチュエータ及び回転角度を検出するエンコーダを備えることとしてもよい。この場合、釣り竿型マニピュレータ10のリール14にもアクチュエータ及びエンコーダを備えることで、リール14と釣り竿のリールとの間で力触覚伝達を行うことができる。
図5は、力触覚伝達システム1において用いられるアクチュエータ100の構成例を示す模式図である。
図5に示すアクチュエータ100は、アクチュエータ12またはアクチュエータ52として用いることが可能であり、釣り竿型マニピュレータ10の釣り竿状の部材あるいは釣りロボット50が保持する釣り竿を設置可能となっている。
具体的には、アクチュエータ100は、モータ101と、ギア102と、取り付け部材103とを備えている。
ギア102は、モータ101から入力された回転トルクを増幅し、増幅した回転トルクにより支持部材103を回転させる。
支持部材103は、ギア102の出力軸に固定され、ギア102が出力する回転トルクによって、ギア102の出力軸周りに回転する。また、支持部材103に入力された外力は、ギア102に入力される。アクチュエータ100が釣り竿型マニピュレータ10のアクチュエータ12として用いられる場合、支持部材103には、釣り竿型マニピュレータ10の釣り竿状の部材が固定され、支持部材103の後端部分(ギア102の回転軸付近)にはユーザの肘が当接される。また、アクチュエータ100が釣りロボット50のアクチュエータ52として用いられる場合、支持部材103には、釣りロボット50が保持する釣り竿が固定される。
上記力触覚伝達システム1においては、以下の機能を実装することができる。
(1)釣り竿型マニピュレータ10を使用するユーザの肘の位置が、アクチュエータ12の回転中心と合う構成とする。
(2)過去に魚を釣り上げた際の力と位置のデータを保存し、任意のタイミングで再生する(データに基づいて釣り竿型マニピュレータ10のアクチュエータ12を駆動する)ことで、釣りの感覚を疑似的に体験できる。
(4)(3)により魚を判別すると共に、ビジョンシステムあるいはオーディオシステムを統合して、ディスプレイに魚の種類または魚の大きさを表示し、音声でも魚の種類または魚の大きさを表現する。
(5)リール14から繰り出されている釣り糸の長さ及び竿の角度から、釣り針(あるいはえさ)の深さやかかっている魚のいる深さを同定する。
(6)竿の素早い動きに対応可能なライブストリーミングシステムを備える。
次に、力触覚伝達システム1が実行する処理について説明する。
上述の機能を備えた力触覚伝達システム1は、種々の動作を行うことが可能であるが、釣りロボット50を用いた遠隔的な釣り体験を実現するための処理として、力触覚伝達処理と、遠隔釣り体験制御処理とを実行する。
図6は、力触覚伝達システム1が実行する力触覚伝達処理の流れを示すフローチャートである。
力触覚伝達処理は、マスタ側制御装置30において、力触覚の伝達を行う機能が起動されることに対応して開始される。
ステップS1において、マスタ側制御装置30の位置取得部31aは、釣り竿型マニピュレータ10のエンコーダ13及び釣りロボット50のエンコーダ53からヒンジ11,51の位置(回転角度)を示す情報を取得する。このとき、マスタ側制御装置30の位置取得部31aは、釣りロボット50のエンコーダ53によって検出されるヒンジ51の位置(回転角度)を、スレーブ側制御装置40を介して取得する。
ステップS2において、マスタ側制御装置30の力触覚伝達部31bは、力触覚伝達のための座標変換(図2参照)を実行する。このとき、マスタ側制御装置30の力触覚伝達部31bは、ヒンジ11,51の位置(回転角度)を示す情報から加速度を示す情報を取得し、速度あるいは力等の次元に適宜変換して座標変換に用いる。
ステップS4において、マスタ側制御装置30の力触覚伝達部31bは、釣り竿型マニピュレータ10及び釣りロボット50にアクチュエータ12,52への入力の値をそれぞれ送信する。
ステップS5において、釣り竿型マニピュレータ10及び釣りロボット50(スレーブ側制御装置40)は、マスタ側制御装置30から送信された入力の値に基づいてアクチュエータ12,52を駆動すると共に、エンコーダ13,53によってヒンジ11,51の位置(回転角度)を検出する。
力触覚伝達処理の終了が指示されていない場合、ステップS6においてNOと判定されて、処理はステップS1に移行する。
一方、力触覚伝達処理の終了が指示された場合、ステップS6においてYESと判定されて、力触覚伝達処理は終了となる。
次に、遠隔釣り体験制御処理について説明する。
図7は、力触覚伝達システム1が実行する遠隔釣り体験制御処理の流れを示すフローチャートである。
遠隔釣り体験制御処理は、マスタ側制御装置30において、遠隔釣り体験制御処理の実行が指示されることに対応して開始される。
ステップS22において、マスタ側制御装置30の管理部31cは、力触覚伝達処理を開始する。
釣りロボット50において魚がヒットしていない場合、ステップS23においてNOと判定されて、処理はステップS24に移行する。
一方、釣りロボット50において魚がヒットした場合、ステップS23においてYESと判定されて、処理はステップS32に移行する。
遠隔釣り体験制御処理の開始後、予め定めたタイミングとなっていない場合、ステップS24においてNOと判定されて、処理はステップS23に移行する。
一方、遠隔釣り体験制御処理の開始後、予め定めたタイミングとなっている場合、ステップS24においてYESと判定されて、処理はステップS25に移行する。
ステップS25において、マスタ側制御装置30の管理部31cは、力触覚伝達システム1を疑似体験モードに設定する。疑似体験モードにおいては、上述したように、過去に魚を釣り上げた際のデータが再生されることにより、ユーザは釣り上げ時の力触覚を疑似体験することができる。
ステップS27において、マスタ側制御装置30の管理部31cは、選択したパターンのデータを記憶装置から読み出す。
ステップS28において、マスタ側制御装置30の力触覚伝達部31bは、読み出したパターンのデータを基準値として座標変換を行うことにより(図1参照)、釣り竿型マニピュレータ10において力触覚を再生する。
ステップS30において、マスタ側制御装置30の管理部31cは、ユーザが釣り竿型マニピュレータ10を操作することにより、魚が水深50cm以内に引き上げられているか否かの判定を行う。なお、ここでは、魚が釣り上げられたか否かの基準として、魚が水深50cm以内に引き上げられたか否かを判定するものとする。水深50cm以内に魚が引き上げられた場合、通常、「たも」ですくうことにより、魚は釣り上げることができる。なお、「水深50cm」は例示であり、釣りの状況(釣り場や狙う魚の種類等)に応じて適宜変更することができる。
魚が水深50cm以内に引き上げられていない場合、ステップS30においてNOと判定されて、処理はステップS26に移行する。
一方、魚が水深50cm以内に引き上げられている場合、ステップS30においてYESと判定されて、処理はステップS31に移行する。
ステップS31の後、遠隔釣り体験制御処理は終了となる。
ステップS32において、マスタ側制御装置30のデータ記録部31dは、釣りロボット50に入力される外力のデータの記録を開始する。このとき記録されるデータは、エンコーダ53によって検出された位置(回転角度)のデータ、あるいは、座標変換の結果算出される制御のためのパラメータ等、力触覚の状態を再現できるものであれば、種々の形式とすることができる。
ステップS33において、マスタ側制御装置30の管理部31cは、ヘッドマウントディスプレイ20に魚の種類または魚の大きさを演出表示すると共に、ヘッドマウントディスプレイ20に備えられたスピーカから魚の種類または魚の大きさを出力する。
魚が水深50cm以内に引き上げられていない場合、ステップS34においてNOと判定されて、処理はステップS26に移行する。
一方、魚が水深50cm以内に引き上げられている場合、ステップS34においてYESと判定されて、処理はステップS33に移行する。
ステップS36において、マスタ側制御装置30のデータ記録部31dは、釣りロボット50に入力される外力のデータの記録を終了する。
ステップS36の後、遠隔釣り制御体験制御処理は終了となる。
このように、力触覚伝達システム1によれば、ロボットを介してよりリアリティの高い体験を実現可能な技術を提供することができる。
上述の実施形態において、アクチュエータ12またはアクチュエータ52として用いられるアクチュエータ100として、図5に示す構成例を示したが、これに限られない。
例えば、アクチュエータ100の出力をより高める構成とすることができる。
図8は、力触覚伝達システム1において用いられるアクチュエータ100の他の構成例を示す模式図である。
図8に示すように、本変形例のアクチュエータ100では、図5に示す構成例に対し、モータ101を2台接続した構成となっている。
これにより、図5に示す構成例に比べ、アクチュエータ100の出力トルクを2倍に増加させることができる。
なお、ギア102の減速比を2倍とすることで出力トルクを2倍とすることも可能であるが、ギア102の減速比を2倍とすると。摩擦の影響が増加すると共に、人間がアクチュエータ100に外力を入力する際に感じる慣性が減速比の2乗で増加することとなる。そのため、ギア102の減速比を2倍とするよりも、モータ101を2台接続する方が慣性の観点で有利となる。
上述の実施形態及び変形例1において、モータ101により摩擦及び重力を補償する制御を行うことが可能である。
図9は、力触覚伝達システム1において用いられるアクチュエータ100の他の構成例を示す模式図である。
アクチュエータ100は、ギア102を備えることから、摩擦の発生は不可避となる。そのため、図9に示すように、摩擦力をキャンセルするための電流をモータ101に入力し、摩擦力を補償する制御(補償用トルクの付与)を行うことができる。このとき、2台接続されたモータ101に対し、均等に電流が入力される。これにより、一方のモータ101に電流が偏ることにより、最終的な出力トルクが減少する事態を避けることができる。
同様に、釣り竿型マニピュレータ10あるいは釣りロボット50が保持する釣り竿に設置されたリール等の重さを補償するための電流をモータ101に入力し、重力を補償する制御を行うことができる。この場合にも、2台接続されたモータ101に対し、均等に電流が入力される。
上述の実施形態及び変形例1,2において、アクチュエータ100の出力軸にトルクセンサを備える構成とすることができる。
図10は、力触覚伝達システム1において用いられるアクチュエータ100の他の構成例を示す模式図である。
図10に示すように、アクチュエータ100の出力軸にトルクセンサ104を備えることが可能であり、これにより、アクチュエータ100に入力する外力を測定することができる。
例えば、アクチュエータ100を釣りロボット50のアクチュエータ52として用いた場合、魚を釣り上げる際のトルクを直接的に測定することができる。2台接続されたモータ101が出力するトルクをギア102のギア比倍した値と、トルクセンサ104によって測定された値との差分が摩擦に相当するため、より高精度に反力(トルク)を測定することが可能となり、鋭敏な力触覚伝達が可能となる。
上述の実施形態において、釣り竿型マニピュレータ10及び釣りロボット50をヒンジ11またはヒンジ51を備える1軸の機構として構成する例について説明した。
これに対し、釣り竿型マニピュレータ10及び釣りロボット50を動きの自由度がより高い多軸の機構として構成することができる。
図11は、多軸の機構として構成された釣り竿型マニピュレータ10の構成例を示す模式図である。
また、図12は、多軸の機構として構成された釣りロボット50の構成例を示す模式図である。
具体的には、図11に示すように、釣り竿型マニピュレータ10は、回転軸R1周りに回転する第1関節J1と、回転軸R2周りに回転する第2関節J2と、回転軸R3周りに回転する第3関節J3とを備えている。回転軸R1、R3は、略鉛直方向に設定され、回転軸R2は、略水平方向に設定されている。これら第1関節J1~第3関節J3には、関節を駆動するためのアクチュエータ100がそれぞれ備えられている。
本実施形態において、第1関節J1は、人間の肩に相当する関節として設置され、第3関節J3は、人間の肘に相当する関節として設置されている。
また、力触覚伝達システム1においては、疑似体験モードにより、過去に魚を釣り上げた際のデータを再生することにより、ユーザに釣り上げ時の力触覚を疑似体験させることができる。
このとき、釣り竿型マニピュレータ10及び釣りロボット50を用いることで、人間の視点に相当する位置から釣り場を撮影しながら、人間の肩及び肘の動きに相当する動きによって釣りを行うことができるため、ユーザは、より自然な感覚で遠隔的な釣りの体験あるいは擬似的な釣りの体験を行うことができる。
釣りロボット50は、釣り上げる動作を実行可能であり、釣り竿型マニピュレータ10は、釣りロボット50から離間して設置される。また、マスタ側制御装置30は、釣りロボット50及び釣り竿型マニピュレータ10と通信可能に構成される。
マスタ側制御装置30は、釣りロボット50に備えられた釣り竿に入力する現在または過去の外力を示す情報に基づいて、釣り竿型マニピュレータ10に釣り竿に入力した外力による力触覚を出力させる。
これにより、釣りロボット50が備える釣り竿に入力された外力を釣り竿型マニピュレータ10に伝達することができる。
したがって、ロボットを介してよりリアリティの高い体験を実現可能な技術を提供することができる。
これにより、ユーザが釣り竿型マニピュレータ10に対して行った操作を釣りロボット50において正確に再現して、釣り場から離間した位置において釣りを体験することができる。
これにより、釣り場から離間した位置でリアルタイムに釣りを体験すること、及び、過去に魚を釣り上げた際のデータを再生して擬似的に釣りを体験することが可能となる。
これにより、状況に応じて、釣り場から離間した位置でリアルタイムに釣りを体験すること、及び、過去に魚を釣り上げた際のデータを再生して擬似的に釣りを体験することを選択することが可能となる。
これにより、交通機関の待ち時間等に合わせて、適切な内容の釣りの体験をユーザに提供することができる。
例えば、本発明は、上述の実施形態における力触覚伝達システム1、マスタ側制御装置30あるいはスレーブ側制御装置40(力触覚伝達装置)として実現することの他、力触覚伝達システム1において実行される各ステップによって構成される力触覚伝達方法、あるいは、力触覚伝達システム1の機能を実現するためにプロセッサによって実行されるプログラムとして実現することができる。
また、上述の実施形態では、マスタ側制御装置30とスレーブ側制御装置40とを異なる装置として構成する例について説明したが、これらを一体の制御装置として構成することも可能である。
即ち、上述の処理を実行できる機能が力触覚伝達システム1に備えられていればよく、この機能を実現するためにどのような機能構成及びハードウェア構成とするかは上述の例に限定されない。
上述の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータにネットワークや記憶媒体からインストールされる。
Claims (20)
- 釣り上げる動作を実行可能な釣りロボット及び当該釣りロボットから離間して設置された釣り竿型マニピュレータと、前記釣りロボット及び前記釣り竿型マニピュレータと通信可能に構成された制御装置とを含む力触覚伝達システムであって、
前記制御装置は、
前記釣りロボットに備えられた釣り竿に入力する現在または過去の外力に応じて定まる前記釣りロボットの可動部における位置を示す情報に基づいて、前記釣り竿型マニピュレータの可動部で出力する力と、速度及び加速度の少なくともいずれかとを算出し、前記算出した力と、前記速度及び加速度の少なくともいずれかとに基づいて、前記釣り竿型マニピュレータを制御することにより、前記釣り竿型マニピュレータに前記釣り竿に入力した外力による力触覚を出力させることを特徴とする力触覚伝達システム。 - 前記制御装置は、前記釣り竿型マニピュレータが操作されることにより入力する外力を示す情報に基づいて、前記釣りロボットに前記釣り竿型マニピュレータに入力した外力による力触覚を出力させることを特徴とする請求項1に記載の力触覚伝達システム。
- 釣り上げる動作を実行可能な釣りロボット及び当該釣りロボットから離間して設置された釣り竿型マニピュレータと、前記釣りロボット及び前記釣り竿型マニピュレータと通信可能に構成された制御装置とを含む力触覚伝達システムであって、
前記制御装置は、
前記釣りロボットに備えられた釣り竿に入力する現在または過去の外力を示す情報に基づいて、前記釣り竿型マニピュレータに前記釣り竿に入力した外力による力触覚を出力させ、
前記制御装置は、前記釣り竿型マニピュレータと前記釣りロボットとの間でリアルタイムに力触覚の伝達を行う第1のモードによる動作と、過去に魚を釣り上げた際のデータを再生することにより、前記釣り竿型マニピュレータにおいて釣り上げ時の力触覚を疑似的に出力する第2のモードによる動作とを実行可能であることを特徴とする力触覚伝達システム。 - 前記制御装置は、予め設定された条件に応じて、前記第1のモード及び前記第2のモードを切り替えて実行することを特徴とする請求項3に記載の力触覚伝達システム。
- 前記予め設定された条件には、交通機関の出発時刻までの時間が含まれることを特徴とする請求項4に記載の力触覚伝達システム。
- 前記釣り竿型マニピュレータと、前記釣りロボットとは、同一の関節機構及び当該関節機構に設置されたアクチュエータを備え、
前記制御装置は、対応する前記関節機構に備えられた前記アクチュエータ同士において、力触覚の伝達を行うことを特徴とする請求項1から5のいずれか1項に記載の力触覚伝達システム。 - 仮想空間において釣り上げる動作を実行させるための操作が入力される釣り竿型マニピュレータと、前記釣り竿型マニピュレータと通信可能に構成された制御装置とを含む力触覚伝達システムであって、
前記制御装置は、
前記釣り竿型マニピュレータの可動部で検出された位置と、実物の釣り竿において魚を釣り上げた際に釣り竿を保持する機構の可動部で検出された位置とに基づいて、前記釣り竿型マニピュレータの可動部で出力する力と、速度及び加速度の少なくともいずれかとを算出し、前記算出した力と、前記速度及び加速度の少なくともいずれかとに基づいて、前記釣り竿型マニピュレータを制御することにより、前記釣り竿型マニピュレータに前記実物の釣り竿に入力した外力による力触覚を疑似的に出力させる仮想モードによる動作を実行可能であることを特徴とする力触覚伝達システム。 - 仮想空間において釣り上げる動作を実行させるための操作が入力される釣り竿型マニピュレータと、前記釣り竿型マニピュレータと通信可能に構成された制御装置とを含む力触覚伝達システムであって、
前記制御装置は、
実物の釣り竿において魚を釣り上げた際のデータに基づいて抽出された前記釣り竿に入力する力の複数のパターンの中から、いずれかのパターンを選択し、選択された前記パターンに基づいて、前記釣り竿型マニピュレータに、前記釣り竿に入力した外力による力触覚を疑似的に出力させる仮想モードによる動作を実行可能であることを特徴とする力触覚伝達システム。 - 釣り上げる動作を実行可能な釣りロボット及び当該釣りロボットから離間して設置された釣り竿型マニピュレータと通信可能に構成された力触覚伝達装置であって、
前記釣りロボットに備えられた釣り竿に入力する現在または過去の外力に応じて定まる前記釣りロボットの可動部における位置を示す情報に基づいて、前記釣り竿型マニピュレータの可動部で出力する力と、速度及び加速度の少なくともいずれかとを算出し、前記算出した力と、前記速度及び加速度の少なくともいずれかとに基づいて、前記釣り竿型マニピュレータを制御することにより、前記釣り竿型マニピュレータに前記釣り竿に入力した外力による力触覚を出力させることを特徴とする力触覚伝達装置。 - 釣り上げる動作を実行可能な釣りロボット及び当該釣りロボットから離間して設置された釣り竿型マニピュレータと通信可能に構成された力触覚伝達装置であって、
前記釣りロボットに備えられた釣り竿に入力する現在または過去の外力を示す情報に基づいて、前記釣り竿型マニピュレータに前記釣り竿に入力した外力による力触覚を出力させ、
前記釣り竿型マニピュレータと前記釣りロボットとの間でリアルタイムに力触覚の伝達を行う第1のモードによる動作と、過去に魚を釣り上げた際のデータを再生することにより、前記釣り竿型マニピュレータにおいて釣り上げ時の力触覚を疑似的に出力する第2のモードによる動作とを実行可能であることを特徴とする力触覚伝達装置。 - 仮想空間において釣り上げる動作を実行させるための操作が入力される釣り竿型マニピュレータと通信可能に構成された力触覚伝達装置であって、
前記釣り竿型マニピュレータの可動部で検出された位置と、実物の釣り竿において魚を釣り上げた際に釣り竿を保持する機構の可動部で検出された位置とに基づいて、前記釣り竿型マニピュレータの可動部で出力する力と、速度及び加速度の少なくともいずれかとを算出し、前記算出した力と、前記速度及び加速度の少なくともいずれかとに基づいて、前記釣り竿型マニピュレータを制御することにより、前記釣り竿型マニピュレータに前記実物の釣り竿に入力した外力による力触覚を疑似的に出力させる仮想モードによる動作を実行可能であることを特徴とする力触覚伝達装置。 - 仮想空間において釣り上げる動作を実行させるための操作が入力される釣り竿型マニピュレータと通信可能に構成された力触覚伝達装置であって、
実物の釣り竿において魚を釣り上げた際のデータに基づいて抽出された前記釣り竿に入力する力の複数のパターンの中から、いずれかのパターンを選択し、選択された前記パターンに基づいて、前記釣り竿型マニピュレータに、前記釣り竿に入力した外力による力触覚を疑似的に出力させる仮想モードによる動作を実行可能であることを特徴とする力触覚伝達装置。 - 釣り上げる動作を実行可能な釣りロボット及び当該釣りロボットから離間して設置された釣り竿型マニピュレータと通信可能に構成された力触覚伝達装置が実行する力触覚伝達方法であって、
前記釣りロボットに備えられた釣り竿に入力する現在または過去の外力に応じて定まる前記釣りロボットの可動部における位置を示す情報に基づいて、前記釣り竿型マニピュレータの可動部で出力する力と、速度及び加速度の少なくともいずれかとを算出し、前記算出した力と、前記速度及び加速度の少なくともいずれかとに基づいて、前記釣り竿型マニピュレータを制御することにより、前記釣り竿型マニピュレータに前記釣り竿に入力した外力による力触覚を出力させるステップを含むことを特徴とする力触覚伝達方法。 - 釣り上げる動作を実行可能な釣りロボット及び当該釣りロボットから離間して設置された釣り竿型マニピュレータと通信可能に構成された力触覚伝達装置が実行する力触覚伝達方法であって、
前記釣りロボットに備えられた釣り竿に入力する現在または過去の外力を示す情報に基づいて、前記釣り竿型マニピュレータに前記釣り竿に入力した外力による力触覚を出力させるステップを含み、
前記釣り竿型マニピュレータと前記釣りロボットとの間でリアルタイムに力触覚の伝達を行う第1のモードによる動作と、過去に魚を釣り上げた際のデータを再生することにより、前記釣り竿型マニピュレータにおいて釣り上げ時の力触覚を疑似的に出力する第2のモードによる動作とを実行することを特徴とする力触覚伝達方法。 - 仮想空間において釣り上げる動作を実行させるための操作が入力される釣り竿型マニピュレータと通信可能に構成された力触覚伝達装置が実行する力触覚伝達方法であって、
前記釣り竿型マニピュレータの可動部で検出された位置と、実物の釣り竿において魚を釣り上げた際に釣り竿を保持する機構の可動部で検出された位置とに基づいて、前記釣り竿型マニピュレータの可動部で出力する力と、速度及び加速度の少なくともいずれかとを算出し、前記算出した力と、前記速度及び加速度の少なくともいずれかとに基づいて、前記釣り竿型マニピュレータを制御することにより、前記釣り竿型マニピュレータに前記実物の釣り竿に入力した外力による力触覚を疑似的に出力させる仮想モードによる動作を実行するステップを含むことを特徴とする力触覚伝達方法。 - 仮想空間において釣り上げる動作を実行させるための操作が入力される釣り竿型マニピュレータと通信可能に構成された力触覚伝達装置が実行する力触覚伝達方法であって、
実物の釣り竿において魚を釣り上げた際のデータに基づいて抽出された前記釣り竿に入力する力の複数のパターンの中から、いずれかのパターンを選択し、選択された前記パターンに基づいて、前記釣り竿型マニピュレータに、前記釣り竿に入力した外力による力触覚を疑似的に出力させる仮想モードによる動作を実行するステップを含むことを特徴とする力触覚伝達方法。 - 釣り上げる動作を実行可能な釣りロボット及び当該釣りロボットから離間して設置された釣り竿型マニピュレータと通信可能に構成された力触覚伝達装置を制御するコンピュータに、
前記釣りロボットに備えられた釣り竿に入力する現在または過去の外力に応じて定まる前記釣りロボットの可動部における位置を示す情報に基づいて、前記釣り竿型マニピュレータの可動部で出力する力と、速度及び加速度の少なくともいずれかとを算出し、前記算出した力と、前記速度及び加速度の少なくともいずれかとに基づいて、前記釣り竿型マニピュレータを制御することにより、前記釣り竿型マニピュレータに前記釣り竿に入力した外力による力触覚を出力させることを特徴とするプログラム。 - 釣り上げる動作を実行可能な釣りロボット及び当該釣りロボットから離間して設置された釣り竿型マニピュレータと通信可能に構成された力触覚伝達装置を制御するコンピュータに、
前記釣りロボットに備えられた釣り竿に入力する現在または過去の外力を示す情報に基づいて、前記釣り竿型マニピュレータに前記釣り竿に入力した外力による力触覚を出力させる機能を実現させ、
前記釣り竿型マニピュレータと前記釣りロボットとの間でリアルタイムに力触覚の伝達を行う第1のモードによる動作と、過去に魚を釣り上げた際のデータを再生することにより、前記釣り竿型マニピュレータにおいて釣り上げ時の力触覚を疑似的に出力する第2のモードによる動作とを実行させることが可能であることを特徴とするプログラム。 - 仮想空間において釣り上げる動作を実行させるための操作が入力される釣り竿型マニピュレータと通信可能に構成された力触覚伝達装置を制御するコンピュータに、
前記釣り竿型マニピュレータの可動部で検出された位置と、実物の釣り竿において魚を釣り上げた際に釣り竿を保持する機構の可動部で検出された位置とに基づいて、前記釣り竿型マニピュレータの可動部で出力する力と、速度及び加速度の少なくともいずれかとを算出し、前記算出した力と、前記速度及び加速度の少なくともいずれかとに基づいて、前記釣り竿型マニピュレータを制御することにより、前記釣り竿型マニピュレータに前記実物の釣り竿に入力した外力による力触覚を疑似的に出力させる仮想モードによる動作を実行させることを特徴とするプログラム。 - 仮想空間において釣り上げる動作を実行させるための操作が入力される釣り竿型マニピュレータと通信可能に構成された力触覚伝達装置を制御するコンピュータに、
実物の釣り竿において魚を釣り上げた際のデータに基づいて抽出された前記釣り竿に入力する力の複数のパターンの中から、いずれかのパターンを選択し、選択された前記パターンに基づいて、前記釣り竿型マニピュレータに、前記釣り竿に入力した外力による力触覚を疑似的に出力させる仮想モードによる動作を実行させることを特徴とするプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018063369 | 2018-03-28 | ||
JP2018063369 | 2018-03-28 | ||
PCT/JP2019/013816 WO2019189671A1 (ja) | 2018-03-28 | 2019-03-28 | 力触覚伝達システム、力触覚伝達装置、力触覚伝達方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019189671A1 JPWO2019189671A1 (ja) | 2021-11-04 |
JP7029521B2 true JP7029521B2 (ja) | 2022-03-03 |
Family
ID=68061901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020511040A Active JP7029521B2 (ja) | 2018-03-28 | 2019-03-28 | 力触覚伝達システム、力触覚伝達装置、力触覚伝達方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7029521B2 (ja) |
WO (1) | WO2019189671A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2024065128A (ja) * | 2021-03-15 | 2024-05-15 | 株式会社Re-al | 釣りシステム、釣りシステムの制御方法及びプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012029227A1 (ja) | 2010-08-31 | 2012-03-08 | パナソニック株式会社 | マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、制御プログラム、並びに、集積電子回路 |
JP2012058992A (ja) | 2010-09-08 | 2012-03-22 | Yellow:Kk | バーチャル釣りシステム、プログラム |
JP2013111136A (ja) | 2011-11-26 | 2013-06-10 | Sentaro Dosono | 魚釣りリアルゲームシステム |
JP2013158466A (ja) | 2012-02-04 | 2013-08-19 | Asuka Creation Co Ltd | 魚釣りリアルゲームシステム |
WO2015041046A1 (ja) | 2013-09-19 | 2015-03-26 | 学校法人慶應義塾 | 位置・力制御装置、位置・力制御方法及びプログラム |
WO2017155051A1 (ja) | 2016-03-09 | 2017-09-14 | 学校法人慶應義塾 | 位置・力制御装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10202558A (ja) * | 1997-01-22 | 1998-08-04 | Toshiba Corp | マスタスレーブ装置 |
KR100633303B1 (ko) * | 2004-08-20 | 2006-10-12 | 이미경 | 실시간 대리낚시 시스템 |
KR20120048990A (ko) * | 2010-11-08 | 2012-05-16 | (주)살구넷 | 원격제어 낚시장치 |
-
2019
- 2019-03-28 WO PCT/JP2019/013816 patent/WO2019189671A1/ja active Application Filing
- 2019-03-28 JP JP2020511040A patent/JP7029521B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012029227A1 (ja) | 2010-08-31 | 2012-03-08 | パナソニック株式会社 | マスタースレーブロボットの制御装置及び制御方法、マスタースレーブロボット、制御プログラム、並びに、集積電子回路 |
JP2012058992A (ja) | 2010-09-08 | 2012-03-22 | Yellow:Kk | バーチャル釣りシステム、プログラム |
JP2013111136A (ja) | 2011-11-26 | 2013-06-10 | Sentaro Dosono | 魚釣りリアルゲームシステム |
JP2013158466A (ja) | 2012-02-04 | 2013-08-19 | Asuka Creation Co Ltd | 魚釣りリアルゲームシステム |
WO2015041046A1 (ja) | 2013-09-19 | 2015-03-26 | 学校法人慶應義塾 | 位置・力制御装置、位置・力制御方法及びプログラム |
WO2017155051A1 (ja) | 2016-03-09 | 2017-09-14 | 学校法人慶應義塾 | 位置・力制御装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2019189671A1 (ja) | 2019-10-03 |
JPWO2019189671A1 (ja) | 2021-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2882968C (en) | Facilitating generation of autonomous control information | |
JP3882287B2 (ja) | 魚釣り遊戯装置 | |
JP6509698B2 (ja) | 提示する力覚を決定する装置、方法、およびプログラム | |
US20230305530A1 (en) | Information processing apparatus, information processing method and program | |
US11069079B2 (en) | Interaction with physical objects as proxy objects representing virtual objects | |
KR20020056949A (ko) | 오서링 시스템 및 오서링 방법과 기억 매체 | |
KR20010052699A (ko) | 로봇 장치, 로봇 장치의 제어방법 및 프로그램 기록 매체 | |
US20200269421A1 (en) | Information processing device, information processing method, and program | |
JP7029521B2 (ja) | 力触覚伝達システム、力触覚伝達装置、力触覚伝達方法及びプログラム | |
US20240189992A1 (en) | Robot control device, robot control method, and program | |
US20210197393A1 (en) | Information processing device, information processing method, and program | |
WO2021172580A1 (ja) | 位置・力制御システム、装着ユニット、制御ユニット、位置・力制御方法及びプログラム | |
JP5536510B2 (ja) | プログラム及び画像生成システム | |
JP7363823B2 (ja) | 情報処理装置、および情報処理方法 | |
JP6341096B2 (ja) | 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 | |
JP6428629B2 (ja) | 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム | |
JP2023017128A (ja) | 力触覚提示システム、力触覚提示装置、力触覚提示方法及びプログラム | |
WO2022196309A1 (ja) | 釣りシステム、釣りシステムの制御方法及びプログラム | |
US12023811B2 (en) | Robot control device and robot control method | |
WO2014119383A1 (ja) | 触力覚提示装置、触力覚提示システム、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 | |
KR20220162453A (ko) | 가상 릴낚시 게임 장치 | |
JP2024044691A (ja) | 機器の制御装置、機器、機器の制御方法及びプログラム | |
JP2022146399A (ja) | 制御システム、制御装置、制御方法及びコンピュータプログラム | |
RO137533A2 (ro) | Dispozitiv haptic de tip lansetă pentru sisteme de realitate virtuală | |
JP2021174253A (ja) | 疑似体験システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20200924 |
|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20210309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210427 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210427 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7029521 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |