JP7225642B2 - コミュニケーションロボット、制御方法及び制御プログラム - Google Patents
コミュニケーションロボット、制御方法及び制御プログラム Download PDFInfo
- Publication number
- JP7225642B2 JP7225642B2 JP2018182049A JP2018182049A JP7225642B2 JP 7225642 B2 JP7225642 B2 JP 7225642B2 JP 2018182049 A JP2018182049 A JP 2018182049A JP 2018182049 A JP2018182049 A JP 2018182049A JP 7225642 B2 JP7225642 B2 JP 7225642B2
- Authority
- JP
- Japan
- Prior art keywords
- communication robot
- motion
- delay time
- response delay
- filler
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims description 212
- 238000000034 method Methods 0.000 title claims description 60
- 230000004044 response Effects 0.000 claims description 197
- 230000033001 locomotion Effects 0.000 claims description 192
- 238000012545 processing Methods 0.000 claims description 93
- 239000000945 filler Substances 0.000 claims description 91
- 230000009471 action Effects 0.000 claims description 59
- 230000008859 change Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 description 49
- 230000008569 process Effects 0.000 description 40
- 238000010586 diagram Methods 0.000 description 28
- 210000003128 head Anatomy 0.000 description 26
- 230000006870 function Effects 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 18
- 230000010365 information processing Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 230000004397 blinking Effects 0.000 description 6
- 230000008451 emotion Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 241001417093 Moridae Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Toys (AREA)
- Manipulator (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
図1は、実施例1に係るコミュニケーションロボットのユースケースの一例を示す図である。図1には、ユースケースのあくまで一例として、多言語のコミュニケーションを実現する側面から、音声認識や機械翻訳を併用することにより、対象者U1の発話を母国語から外国語へ翻訳して読み上げる音声UIの機能を提供するコミュニケーションロボット1を示す。
ここで、コミュニケーションロボット1に対する発話が対象者U1により行われてからその発話が目的とする外国語でコミュニケーションロボット1により読み上げられるまでの間には、応答遅延時間が発生する。このような応答遅延時間が発生する一因として、音声認識や機械翻訳等の音声処理が実行されることが挙げられる。
このような応答遅延時間Tに直面して、コミュニケーションロボット1が停止していたのでは、対象者U1およびコミュニケーションロボット1の間のインタラクションの親和性が損なわれる。
そこで、本実施例に係るコミュニケーションロボット1は、コミュニケーションロボット1に対する情報入力完了から応答の再生開始までの応答遅延時間を予測し、予測された応答遅延時間に対応する動作の実行を決定する。これによって、コミュニケーションロボット1が音声処理等の情報処理を完了して応答できる状態になるまでインタラクションに違和感がない雰囲気をつなげることができる。この際、予測された応答遅延時間に対応する動作がコミュニケーションロボット1により行われるので、コミュニケーションロボット1の動作が終了するタイミングと、コミュニケーションロボット1が応答を出力するタイミングとの時間差を抑えることができる。このため、コミュニケーションロボット1の動作と、コミュニケーションロボット1の応答出力とをシームレスに近付けることができる結果、タイミングの時間差から生じる不自然さを抑制できる。したがって、本実施例に係るコミュニケーションロボット1によれば、ロボットの応答遅延時間中のインタラクション(挙動)に発生する違和感を抑制することが可能になる。
図3は、実施例1に係るコミュニケーションロボット1の機能的構成の一例を示すブロック図である。図3に示すコミュニケーションロボット1は、所定のネットワークを介して、音声認識や機械翻訳、音声感情分析などの音声処理の他、顔認識や表情認識などの画像処理などをバックエンドで実行するサーバ装置50と接続される。このようにフロントエンドとして機能するコミュニケーションロボット1がサーバ装置50と接続されることにより、一例として、各種の音声処理や各種の画像処理がクラウドサービス等を通じて提供される。
図9は、実施例1に係るフィラー動作の制御処理の手順を示すフローチャートである。この処理は、一例として、コミュニケーションロボット1に対する情報入力を受け付けた場合、例えば音声処理部11により発話区間が検出された場合に起動する。
上述してきたように、本実施例に係るコミュニケーションロボット1は、コミュニケーションロボット1に対する情報入力から応答出力までの応答遅延時間を予測し、予測された応答遅延時間に対応する動作の実行を決定する。これによって、コミュニケーションロボット1が音声処理等の情報処理を完了して応答できる状態になるまでインタラクションに違和感がない雰囲気をつなげることができる。したがって、本実施例に係るコミュニケーションロボット1によれば、ロボットの応答遅延時のインタラクションに発生する違和感を抑制することが可能である。
図14は、実施例2に係るフィラー動作の制御処理の手順を示すフローチャートである。この処理も、一例として、コミュニケーションロボット2に対する情報入力を受け付けた場合、例えば音声処理部11により発話区間が検出された場合に起動する。
上述してきたように、本実施例に係るコミュニケーションロボット2によれば、上記の実施例1に係るコミュニケーションロボット1と同様、ロボットの応答遅延時のインタラクションに発生する違和感を抑制することが可能である。
上記の実施例1および上記の実施例2では、応答遅延時間の予測に発話時間を用いる例を説明したが、発話時間に限定されず、他の情報を用いることができる。例えば、コミュニケーションロボット1及び2は、発話区間から音声認識により得られたテキストにおけるモーラや音素の数の他、テキストにおける表音文字の数、テキストに対する自然言語処理、例えば形態素解析で得られた単語の数などを応答遅延時間の予測に用いることができる。これらモーラ数、音素数、表音文字数、単語数のいずれの数値を用いる場合においても、数値が大きいほど翻訳処理の所要時間も長くなる。このため、図7に示すルックアップテーブル13Aに準拠して、数値が小さいほど短い応答遅延時間を予測し、数値が大きいほど長い応答遅延時間を予測するルックアップテーブルや関数などを用いて、応答遅延時間を予測することができる。
例えば、コミュニケーションロボット1及び2は、応答遅延時間の実測値に基づいて応答遅延時間の予測値を更新することもできる。すなわち、コミュニケーションロボット1及び2は、図9や図14に示す処理が実行されるバックグラウンドにおいて、情報入力から応答出力までの応答遅延時間を実測値として計測する。このような応答遅延時間の一例として、上記の実施例1及び上記の実施例2の例で従えば、発話区間が検出されてからテキストの翻訳結果が出力されるまでの期間が挙げられる。その上で、コミュニケーションロボット1及び2は、当該実績値と当該実測値が計測された時の発話時間が対応付けられたログを蓄積する。このログを参照して、コミュニケーションロボット1及び2は、ルックアップテーブル13Aに含まれるレコードごとに、次のような処理を実行する。すなわち、コミュニケーションロボット1及び2は、上記のログに含まれる応答遅延時間の実測値のうち当該レコードの発話時間に対応する応答遅延時間の実測値と、レコード内の応答遅延時間の予測値との間でずれを算出する。このように算出されたずれの統計値、例えば最頻値や中央値、平均値を求め、コミュニケーションロボット1及び2は、ずれの統計値に基づいて当該レコードの応答遅延時間の予測値を更新する。例えば、予測値から実測値を減算することによりずれが算出される場合、ずれの統計値の符号が正であるならば、予測値からずれの統計値を減算する更新を実行する一方で、ずれの統計値の符号が負であるならば、予測値にずれの統計値を加算する更新を実行する。
上記の実施例1および上記の実施例2では、情報処理の一例として実行される翻訳処理による応答遅延時間を発話時間から動的に予測し、これ以外の応答遅延の要因、例えばネットワークや駆動については一定値を静的に含めて加味する例を説明した。しかしながら、上記の実施例1および上記の実施例2で示された例に限定されず、応答遅延の要因ごとに応答遅延時間を動的に予測することもできる。例えば、コミュニケーションロボット1又は2は、PING等のコマンドを用いてサーバ装置50の応答時間を測定してその応答時間からネットワークに関する応答遅延時間を個別に予測することができる。また、コミュニケーションロボット1又は2は、各部位のアクチュエータへ送信する制御信号の伝送時間から駆動に関する応答遅延時間を予測することができる。
上記の実施例1および上記の実施例2では、コミュニケーションロボット1及び2がサーバ装置50により提供されるプラットフォームを利用する例を説明したが、コミュニケーションロボット1又は2は、スタンドアローンで情報処理を実行することとしてもかまわない。図15は、実施例3に係るコミュニケーションロボット4の機能的構成の一例を示すブロック図である。図15に示すように、コミュニケーションロボット4は、図3に示すコミュニケーションロボット1および図10に示すコミュニケーションロボット2に比べて、通信部9Cが不要であると共に、制御部40の機能の一部が異なる。すなわち、コミュニケーションロボット4は、音声処理部11や伝送処理部12の代わりに、音声区間検出部41、音声認識部42および翻訳部43を有する点が異なる。このように発話区間の検出、音声認識、自然言語処理および機械翻訳の全てがコミュニケーションロボット4により実行される場合、ネットワークの伝送遅延が発生する代わりに、音声処理の所要時間が変わる。例えば、音声区間検出部41、音声認識部42および翻訳部43による音声処理がコミュニケーションロボット1又は2の側で実行される分、音声処理の所要時間が増加する。このように音声処理の所要時間が増加する程度は、コミュニケーションロボット4のプロセッサ及びメモリ等のマシンパワーによって変化する。このため、コミュニケーションロボット4の予測部13が用いるルックアップテーブル13Aにおける応答遅延時間の予測値には、音声区間検出部41、音声認識部42および翻訳部43による翻訳処理の所要時間に基づく値が設定される。この際、コミュニケーションロボット4のプロセッサ及びメモリ等の性能の高低に応じて応答遅延時間の予測値を変化させることができる。
上記の実施例1および上記の実施例2では、発話区間の検出、音声認識、自然言語処理および機械翻訳等の音声処理が情報処理として実行される例を挙げたが、コミュニケーションロボット1又は2が実行する情報処理は音声処理に限定されない。例えば、コミュニケーションロボット1、2又は4は、画像を入力とし、他の情報処理、例えば画像処理、例えば顔認識や表情認識などを実行することとしてもかまわない。この場合、画像処理の所要時間から応答遅延時間を予測することとすればよい。
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、音声処理部11、伝送処理部12、予測部13、決定部14または動作制御部15をコミュニケーションロボット1の外部装置としてネットワーク経由で接続するようにしてもよい。また、音声処理部11、伝送処理部12、予測部13、設定部21、決定部22または動作制御部15をコミュニケーションロボット2の外部装置としてネットワーク経由で接続するようにしてもよい。また、音声区間検出部41、音声認識部42、翻訳部43、予測部13、設定部21、決定部22または動作制御部15をコミュニケーションロボット4の外部装置としてネットワーク経由で接続するようにしてもよい。また、音声処理部11、伝送処理部12、予測部13、決定部14または動作制御部15を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のコミュニケーションロボット1の機能を実現するようにしてもよい。また、音声処理部11、伝送処理部12、予測部13、設定部21、決定部22または動作制御部15を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のコミュニケーションロボット2の機能を実現するようにしてもよい。また、音声区間検出部41、音声認識部42、翻訳部43、予測部13、設定部21、決定部22または動作制御部15を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のコミュニケーションロボット4の機能を実現するようにしてもよい。
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図16を用いて、上記の実施例と同様の機能を有する制御プログラムを実行するコンピュータの一例について説明する。
予測された応答遅延時間長に対応する前記コミュニケーションロボットの動作を決定する決定部と、
決定した前記動作を前記コミュニケーションロボットに実行させる動作制御部と、
を有することを特徴とするコミュニケーションロボット。
前記決定部は、前記第1の動作区間の区間長に対応する動作を前記第1の動作区間で実行することを決定すると共に、前記コミュニケーションロボットと前記情報の入力を行う対象者との目線が合った状態で行われる動作を前記第2の動作区間で実行することを決定することを特徴とする付記1に記載のコミュニケーションロボット。
予測された応答遅延時間長に対応する前記コミュニケーションロボットの動作を決定し、
決定した前記動作を前記コミュニケーションロボットに実行させる、
処理をコンピュータが実行することを特徴とする制御方法。
前記決定する処理は、前記第1の動作区間の区間長に対応する動作を前記第1の動作区間で実行することを決定すると共に、前記コミュニケーションロボットと前記情報の入力を行う対象者との目線が合った状態で行われる動作を前記第2の動作区間で実行することを決定することを特徴とする付記9に記載の制御方法。
予測された応答遅延時間長に対応する動作を決定し、
決定した前記動作を前記コミュニケーションロボットに実行させる、
処理をコンピュータに実行させることを特徴とする制御プログラム。
3 頭部
5 胴部
7R 右腕部
7L 左腕部
9A 音入力部
9B 音出力部
9C 通信部
9M モータ
10 制御部
11 音声処理部
12 伝送処理部
13 予測部
14 決定部
15 動作制御部
50 サーバ装置
Claims (7)
- コミュニケーションロボットに対して入力された情報に基づいて、前記情報が入力されたタイミングから前記コミュニケーションロボットにより応答を出力するまでの応答遅延時間長を予測する予測部と、
予測された応答遅延時間長に対応する、前記コミュニケーションロボットの身体の駆動であるフィラー動作を決定する決定部と、
決定したフィラー動作が実行される前の元の姿勢が前記フィラー動作によって変化し、前記フィラー動作の完了後に前記元の姿勢に復帰するまでの時間と、前記応答遅延時間とを一致させるように、前記フィラー動作を前記コミュニケーションロボットに実行させる動作制御部と、
を有することを特徴とするコミュニケーションロボット。 - 前記決定部は、前記応答遅延時間長の予測値が長いほど前記コミュニケーションロボットのシルエットの変化が大きい動作を実行対象として決定することを特徴とする請求項1に記載のコミュニケーションロボット。
- 前記決定部は、前記予測された応答遅延時間長の経過後に、前記コミュニケーションロボットにより応答が出力できない場合、決定された動作よりも短時間の動作を更に実行対象として決定することを特徴とする請求項1または2に記載のコミュニケーションロボット。
- 前記予測部は、前記情報の量および応答遅延時間長の予測値の対応関係が定義された対応関係データを参照して、前記コミュニケーションロボットに入力される情報の量に対応する前記応答遅延時間長の予測値を予測に用いることを特徴とする請求項1、2または3に記載のコミュニケーションロボット。
- 前記対応関係データに含まれる前記応答遅延時間長の予測値を前記応答遅延時間長の実測値に基づいて更新する更新部をさらに有することを特徴とする請求項4に記載のコミュニケーションロボット。
- コミュニケーションロボットに対して入力された情報に基づいて、前記情報が入力されたタイミングから前記コミュニケーションロボットにより応答を出力するまでの応答遅延時間長を予測し、
予測された応答遅延時間長に対応する、前記コミュニケーションロボットの身体の駆動であるフィラー動作を決定し、
決定したフィラー動作が実行される前の元の姿勢が前記フィラー動作によって変化し、前記フィラー動作の完了後に前記元の姿勢に復帰するまでの時間と、前記応答遅延時間とを一致させるように、前記フィラー動作を前記コミュニケーションロボットに実行させる、
処理をコンピュータが実行することを特徴とする制御方法。 - コミュニケーションロボットに対して入力された情報に基づいて、前記情報が入力されたタイミングから前記コミュニケーションロボットにより応答を出力するまでの応答遅延時間長を予測し、
予測された応答遅延時間長に対応する、前記コミュニケーションロボットの身体の駆動であるフィラー動作を決定し、
決定したフィラー動作が実行される前の元の姿勢が前記フィラー動作によって変化し、前記フィラー動作の完了後に前記元の姿勢に復帰するまでの時間と、前記応答遅延時間とを一致させるように、前記フィラー動作を前記コミュニケーションロボットに実行させる、
処理をコンピュータに実行させることを特徴とする制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018182049A JP7225642B2 (ja) | 2018-09-27 | 2018-09-27 | コミュニケーションロボット、制御方法及び制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018182049A JP7225642B2 (ja) | 2018-09-27 | 2018-09-27 | コミュニケーションロボット、制御方法及び制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020049596A JP2020049596A (ja) | 2020-04-02 |
JP7225642B2 true JP7225642B2 (ja) | 2023-02-21 |
Family
ID=69995107
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018182049A Active JP7225642B2 (ja) | 2018-09-27 | 2018-09-27 | コミュニケーションロボット、制御方法及び制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7225642B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021210098A1 (ja) * | 2020-04-15 | 2021-10-21 | 日本電信電話株式会社 | 変換方法、変換装置及びプログラム |
KR102408998B1 (ko) * | 2020-10-21 | 2022-06-16 | 한국과학기술연구원 | 응답 지연에 대응하기 위한 로봇 행동 제어 시스템 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100153317A1 (en) | 2008-12-11 | 2010-06-17 | Samsung Electronics Co., Ltd | Intelligent robot and control method thereof |
JP2011000681A (ja) | 2009-06-19 | 2011-01-06 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
JP2013132748A (ja) | 2011-12-23 | 2013-07-08 | Samsung Electronics Co Ltd | 移動装置及び移動装置の位置認識方法 |
WO2016072116A1 (ja) | 2014-11-07 | 2016-05-12 | ソニー株式会社 | 制御システム、制御方法、および記憶媒体 |
JP2016126293A (ja) | 2015-01-08 | 2016-07-11 | シャープ株式会社 | 音声対話制御装置、音声対話制御装置の制御方法、および音声対話装置 |
JP2017204231A (ja) | 2016-05-13 | 2017-11-16 | 富士通株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
WO2018163648A1 (ja) | 2017-03-10 | 2018-09-13 | 日本電信電話株式会社 | 対話システム、対話方法、対話装置、およびプログラム |
-
2018
- 2018-09-27 JP JP2018182049A patent/JP7225642B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100153317A1 (en) | 2008-12-11 | 2010-06-17 | Samsung Electronics Co., Ltd | Intelligent robot and control method thereof |
JP2011000681A (ja) | 2009-06-19 | 2011-01-06 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
JP2013132748A (ja) | 2011-12-23 | 2013-07-08 | Samsung Electronics Co Ltd | 移動装置及び移動装置の位置認識方法 |
WO2016072116A1 (ja) | 2014-11-07 | 2016-05-12 | ソニー株式会社 | 制御システム、制御方法、および記憶媒体 |
JP2016126293A (ja) | 2015-01-08 | 2016-07-11 | シャープ株式会社 | 音声対話制御装置、音声対話制御装置の制御方法、および音声対話装置 |
JP2017204231A (ja) | 2016-05-13 | 2017-11-16 | 富士通株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
WO2018163648A1 (ja) | 2017-03-10 | 2018-09-13 | 日本電信電話株式会社 | 対話システム、対話方法、対話装置、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020049596A (ja) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及***、存储介质、终端 | |
JP6818280B2 (ja) | 対話システム、対話方法、対話装置、およびプログラム | |
US20200279553A1 (en) | Linguistic style matching agent | |
JP6719739B2 (ja) | 対話方法、対話システム、対話装置、及びプログラム | |
CN110774285A (zh) | 人形机器人和执行人形机器人与用户之间的对话的方法 | |
JP6970413B2 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
JP2013154458A (ja) | 対話装置、対話プログラムおよび対話方法 | |
JP2001216530A (ja) | アニメーション・キャラクターの社会的プリミティブの指定、制御、及び変更のための方法及び装置 | |
KR20190091300A (ko) | 애니메이션 캐릭터 헤드 시스템 및 방법 | |
JP7225642B2 (ja) | コミュニケーションロボット、制御方法及び制御プログラム | |
JP2016133557A (ja) | エージェント対話システムおよびプログラム | |
Liu et al. | Generation of nodding, head tilting and gazing for human–robot speech interaction | |
US20200193961A1 (en) | System for synchronizing speech and motion of character | |
CN115088033A (zh) | 代表对话中的人参与者生成的合成语音音频数据 | |
US20230230303A1 (en) | Method and apparatus for providing interactive avatar services | |
KR20200059112A (ko) | 로봇 상호작용 시스템 및 그를 위한 프로그램 | |
CN114995636A (zh) | 多模态交互方法以及装置 | |
JP2008125815A (ja) | 会話ロボットシステム | |
JPH09269889A (ja) | 対話装置 | |
JP2008107673A (ja) | 会話ロボット | |
US12002487B2 (en) | Information processing apparatus and information processing method for selecting a character response to a user based on emotion and intimacy | |
JP7286303B2 (ja) | 会議支援システム及び会議用ロボット | |
JPWO2017200077A1 (ja) | 対話方法、対話システム、対話装置、及びプログラム | |
WO2021064947A1 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
Heisler et al. | Making an android robot head talk |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7225642 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |