JP6610965B2 - 対話方法、対話システム、対話装置、およびプログラム - Google Patents
対話方法、対話システム、対話装置、およびプログラム Download PDFInfo
- Publication number
- JP6610965B2 JP6610965B2 JP2017046363A JP2017046363A JP6610965B2 JP 6610965 B2 JP6610965 B2 JP 6610965B2 JP 2017046363 A JP2017046363 A JP 2017046363A JP 2017046363 A JP2017046363 A JP 2017046363A JP 6610965 B2 JP6610965 B2 JP 6610965B2
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- user
- personality
- word
- dialogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Manipulator (AREA)
Description
入力部10は提示部50と一体もしくは部分的に一体として構成してもよい。図1の例では、入力部10の一部であるマイクロホン11−1、11−2が、提示部50である人型ロボット50−1、50−2の頭部(耳の位置)に搭載されている。図1の例では、提示部50は二台の人型ロボット50−1、50−2から構成されているが、一台の人型ロボットから構成されていてもよく、三台以上の人型ロボットから構成されていてもよい。
音声認識部20は、マイクロホン11から入力されたユーザの発話音声の音声信号を音声認識してユーザの発話内容を表すテキストに変換し、発話決定部30に対して出力する。音声認識部20が行う音声認識の方法は、既存のいかなる音声認識技術であってもよく、利用環境等に合わせて最適なものを適宜選択すればよい。
発話決定部30は、対話システム100からの発話内容を表すテキストを決定し、音声合成部40に対して出力する。音声認識部20からユーザの発話内容を表すテキストが入力された場合には、入力されたユーザの発話内容を表すテキストに基づいて、対話システム100からの発話内容を表すテキストを決定し、音声合成部40に対して出力する。なお、対話システム100の提示部50が複数の人型ロボットで構成される場合には、発話決定部30は、当該発話をいずれの人型ロボットが提示するかを決定してもよい。この場合には、当該発話を提示する人型ロボットを表す情報も併せて音声合成部40へ出力する。また、この場合には、発話決定部30は、当該発話を提示する相手、すなわち、当該発話をユーザに対して提示するのか、何れかの人型ロボットに対して提示するのか、を決定してもよい。この場合には、当該発話を提示する相手を表す情報も併せて音声合成部40へ出力する。
音声合成部40は、発話決定部30から入力された発話内容を表すテキストを、発話内容を表す音声信号に変換し、提示部50に対して出力する。音声合成部40が行う音声合成の方法は、既存のいかなる音声合成技術であってもよく、利用環境等に合わせて最適なものを適宜選択すればよい。なお、対話システム100の提示部50が複数の人型ロボットで構成される場合に、発話決定部30から発話内容を表すテキストと共に当該発話を提示する人型ロボットを表す情報が入力された場合には、音声合成部40は、当該情報に対応する人型ロボットへ発話内容を表す音声信号を出力する。また、発話決定部30から発話内容を表すテキストと当該発話を提示する人型ロボットを表す情報に併せて発話を提示する相手を表す情報も入力された場合には、音声合成部40は、当該情報に対応する人型ロボットへ発話内容を表す音声信号と発話を提示する相手を表す情報を出力する。
提示部50は、発話決定部30が決定した発話内容をユーザへ提示するためのインターフェースである。例えば、提示部50は、人間の形を模して製作された人型ロボットである。この人型ロボットは、音声合成部40から入力された発話内容を表す音声信号に対応する音声を、例えば頭部に搭載したスピーカ51から発音する、すなわち、発話を提示する。スピーカ51は、音声合成部40から入力された発話内容を表す音声信号に対応する音声を発音可能とすればよい。つまり、図1は一例であって、スピーカ51−1,51−2の何れか一方を備えないでもよい。また、ユーザ101の近傍などの人型ロボット50−1,50−2とは異なる場所に1個以上のスピーカ、または、複数のスピーカを備えたスピーカアレイを設置し、スピーカ51−1,51−2の双方を備えない構成としてもよい。また、人型ロボットは、顔の表情や、身体の動作等の非言語的な行動により発話決定部30が決定した発話内容をユーザへ提示してもよい。例えば、直前の発話に対して同意する旨を提示する際には、首を縦に振り、同意しない旨を提示する際には、首を横に振るなどの非言語的な行動を提示することが挙げられる。また、人型ロボットは、発話を提示する際に、顔や体全体をユーザまたは他の人型ロボットの方へ向けることで、顔や身体を向いた方にいるユーザまたは他の人型ロボットに対して発話を提示していることを表現することができる。提示部50を人型ロボットとした場合には、例えば、対話に参加する人格(エージェント)ごとに一台の人型ロボットを用意する。以下では、二人の人格が対話に参加する例として、二台の人型ロボット50−1および50−2が存在するものとする。なお、対話システム100の提示部50が複数の人型ロボットで構成される場合に、発話決定部30が当該発話をいずれの人型ロボットから提示するかを決定していた場合には、音声合成部40が出力した発話内容を表す音声信号を受け取った人型ロボット50−1または50−2が当該発話を提示する。また、発話決定部30が決定した発話を提示する相手を表す情報も入力された場合には、人型ロボット50−1または50−2は、発話を提示する相手を表す情報に対応する人型ロボットまたはユーザの発話に顔や視線を向けた状態で、発話を提示する。
この文章Aを分割して、対話調へ変換し、質問を含むようにすることで、例えば、以下の発話文A−1〜A−4により構成されるシナリオを生成する。ここでは、事件に関する知識を問う質問をユーザへ問いかける発話文(A−2)を生成してシナリオに含めている。この例では、シナリオに含まれる発話文A−1〜A−2が第一発話であり、発話文A−3〜A−4が質問後発話である。
A−1.「ねぇ、○○県でね」
A−2.「輸送機の話しってる?」
A−3.「△△市なんだけど、訓練中に墜落・大破して二人ケガしたんだって」
A−4.「こわいねぇ」
B.「老舗映画雑誌『○○○』が年間ベストテンを発表し、アニメ作品『×××』が『△△△』や『□□□』といった強豪を抑え邦画第一位に決定した」
この文章Bを分割して、対話調へ変換し、質問を含むようにすることで、例えば、以下の発話文B−1−1〜B−1−3により構成されるシナリオを生成する。ここでは、任意の映画名を回答させる質問をユーザへ問いかける発話文(B−1−1)を生成してシナリオに含めている。この例では、シナリオに含まれる発話文B−1−1が第一発話であり、発話文B−1−2〜B−1−3が質問後発話である。
B−1−1.「最近映画どれみた?」
B−1−2.「×××が第一位に決定したね」
B−1−3.「そうそう、すごいよね」
B−2−1.「最近今年の日本の映画ベストテンが発表されたんだけど、何だか知ってる?」
B−2−2.「正解は×××でした!第一位に決定したんだよ」
B−2−3.「へぇ、すごいね」
以下、実施形態の対話システムによる対話内容の具体例を示す。以降の具体例の記載では、Rはロボットを表し、Hはユーザを表す。Rの後の数字は人型ロボットの識別子である。t(i)(i=0, 1, 2, …)は対話中の発話を表し、iは発話の順番を表す数字である。発話中の括弧に囲まれた部分は発話を省略することを表す。
具体例1−1は、ある話題に関する任意の情報を問う質問を含む第一発話を提示した後に、質問後発話からユーザ発話に含まれる情報の一部を省略した第二発話を提示する例である。
t(1) R1:ねぇ、○○県でね
t(2) H:うん?
t(3) R1:輸送機の話しってる?
t(4) H:あぁ、△△市の
t(5) R2:そう、(△△市なんだけど、)訓練中に墜落・大破して二人ケガしたんだって
t(6) R1:こわいねぇ
具体例1−2は、ある話題に関する任意の情報を問う質問を含む第一発話を提示した後に、質問後発話からユーザ発話に含まれる情報の一部を省略した第二発話を提示する例である。
t(1) R1:ねぇ、○○県でね
t(2) H:うん?
t(3) R1:輸送機の話しってる?
t(4) H:あぁ、墜落したんでしょ
t(5) R2:そう、△△市なんだけど、訓練中に(墜落・)大破して二人ケガしたんだって
t(6) R1:こわいねぇ
具体例2−1は、ある話題に関する特定の単語クラスに属する任意の情報を問う質問である第一発話を提示した後に、ユーザ発話がその単語クラスに属する情報を含む発話であると判定して、ユーザに同調する旨の追加発話と、追加発話より後の質問後発話とを含む第二発話を提示する例である。
t(1) R1:最近映画どれみた?
t(2) H:□□□をみたよ
t(3) R2:あれ人気だよね
t(4) R1:そう言えば、×××が第一位に決定したね
t(5) R2:そうそう、すごいよね
具体例2−2は、ある話題に関する特定の単語クラスに属する任意の情報を問う質問である第一発話を提示した後に、ユーザ発話がその単語クラスに属する情報を含まない発話であると判定して、単語クラスに属する情報を含む追加発話と、追加発話より後の質問後発話とを含む第二発話を提示する例である。
t(1) R1:最近映画どれみた?
t(2) H:最近映画みてないな
t(3) R2:ぼくは□□□をみたよ
t(4) R1:あれ人気だよね。そう言えば、×××が第一位に決定したね
t(5) R2:そうそう、すごいよね
具体例3−1は、正解が存在する質問である第一発話を提示した後に、ユーザ発話がその正解を含む発話であると判定して、不正解を含む追加発話と、追加発話より後の質問後発話とを含む第二発話を提示する例である。
t(1) R1:最近今年の日本の映画トップテンが発表されたんだけど、何だか知ってる?
t(2) H:×××でしょ
t(3) R2:□□□かな?
t(4) R1:正解は×××でした!第一位に決定したんだよ
t(5) R2:へぇ、すごいね
具体例3−2は、正解が存在する質問である第一発話を提示した後に、ユーザ発話がその正解を含まない発話であると判定して、正解と同じ単語クラスを含む追加発話と、追加発話より後の質問後発話とを含む第二発話を提示する例である。
t(1) R1:最近今年の日本の映画ベストテンが発表されたんだけど、何だか知ってる?
t(2) H:□□□でしょ
t(3) R2:□□□かな?
t(4) R1:正解は×××でした!第一位に決定したんだよ
t(5) R2:へぇ、すごいね
具体例3−3は、正解が存在する質問である第一発話を提示した後に、ユーザ発話がその正解を含まない発話であるが、正解と同じ単語クラスに属する情報を含む発話であると判定して、不正解であることを示す追加発話と、追加発話より後の質問後発話とを含む第二発話を提示する例である。
t(1) R1:最近今年の日本の映画ベストテンが発表されたんだけど、何だか知ってる?
t(2) H:□□□でしょ
t(3) R1:ううん、正解は×××でした!第一位に決定したんだよ
t(4) R2:へぇ、すごいね
具体例3−4は、正解が存在する質問である第一発話を提示した後に、ユーザ発話がその正解を含まない発話であり、正解と同じ単語クラスに属する情報も含まない発話であると判定して、正解と同じ単語クラスを含む追加発話と、追加発話より後の質問後発話とを含む第二発話を提示する例である。
t(1) R1:最近今年の日本の映画ベストテンが発表されたんだけど、何だか知ってる?
t(2) H:最近映画みてないから、わからないな
t(3) R2:□□□かな?
t(4) R1:正解は×××でした!第一位に決定したんだよ
t(5) R2:へぇ、すごいね
上述した実施形態では、エージェントとして人型ロボットを用いて音声による対話を行う例を説明したが、上述した実施形態の提示部は身体等を有する人型ロボットであっても、身体等を有さないロボットであってもよい。また、この発明の対話技術はこれらに限定されず、人型ロボットのように身体等の実体がなく、発声機構を備えないエージェントを用いて対話を行う形態とすることも可能である。そのような形態としては、例えば、コンピュータの画面上に表示されたエージェントを用いて対話を行う形態が挙げられる。より具体的には、「LINE」(登録商標)や「2ちゃんねる」(登録商標)のような、複数アカウントがテキストメッセージにより対話を行うグループチャットにおいて、ユーザのアカウントと対話装置のアカウントとが対話を行う形態に適用することも可能である。この形態では、エージェントを表示する画面を有するコンピュータは人の近傍にある必要があるが、当該コンピュータと対話装置とはインターネットなどのネットワークを介して接続されていてもよい。つまり、本対話システムは、人とロボットなどの話者同士が実際に向かい合って話す対話だけではなく、話者同士がネットワークを介してコミュニケーションを行う会話にも適用可能である。
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
10 入力部
11 マイクロホン
20 音声認識部
30 発話決定部
40 音声合成部
50 提示部
51 スピーカ
100、200 対話システム
101 ユーザ
Claims (19)
- ある質問である第一発話と上記第一発話に関係する発話である第二発話とをユーザへ提示する対話システムが実行する対話方法であって、
提示部が、ある人格である第一人格により上記第一発話を提示する第一提示ステップと、
入力部が、上記第一発話後に上記ユーザが発したユーザ発話を受け付ける発話受付ステップと、
上記提示部が、あらかじめ用意された上記第一発話に関係する発話文に上記ユーザ発話の内容の少なくとも一部が含まれる場合に、上記あらかじめ用意された上記第一発話に関係する発話文から、上記ユーザ発話の内容に含まれる部分を省略した、上記第二発話を上記第一人格とは異なる人格である第二人格により提示する第二提示ステップと、
を含む対話方法。 - 特定の単語クラスに属する単語を発話させる質問である第一発話と上記第一発話に関係する発話である第二発話とをユーザへ提示する対話システムが実行する対話方法であって、
提示部が、ある人格である第一人格により上記第一発話を提示する第一提示ステップと、
入力部が、上記第一発話後に上記ユーザが発したユーザ発話を受け付ける発話受付ステップと、
上記提示部が、上記ユーザ発話に上記単語クラスに属する単語が含まれるか否かに応じて、あらかじめ定めた発話文から選択した追加発話を上記第一人格とは異なる人格である第二人格により提示する第二提示ステップと、
上記提示部が、上記第二発話を提示する第三提示ステップと、
を含む対話方法。 - 請求項2に記載の対話方法であって、
上記第二提示ステップは、上記ユーザ発話に上記単語クラスに属する単語が含まれない場合に、上記単語クラスに属する単語を含む追加発話を提示する、
対話方法。 - ある知識を問う質問である第一発話と上記第一発話に関係する発話である第二発話とをユーザへ提示する対話システムが実行する対話方法であって、
提示部が、ある人格である第一人格により上記第一発話を提示する第一提示ステップと、
入力部が、上記第一発話後に上記ユーザが発したユーザ発話を受け付ける発話受付ステップと、
上記提示部が、上記ユーザ発話に上記知識を表す単語が含まれるか否かに応じて、あらかじめ定めた発話文から選択した追加発話を上記第一人格とは異なる人格である第二人格により提示する第二提示ステップと、
上記提示部が、上記第二発話を提示する第三提示ステップと、
を含む対話方法。 - 請求項4に記載の対話方法であって、
上記第二提示ステップは、上記ユーザ発話に上記知識を表す単語が含まれる場合に、上記知識を表す単語と同じ単語クラスに属する単語を含まない内容を表す上記追加発話を提示する、
対話方法。 - 請求項4に記載の対話方法であって、
上記第二提示ステップは、上記ユーザ発話に上記知識を表す単語が含まれない場合に、上記知識を表す単語と同じ単語クラスに属する単語を含まず、上記ユーザ発話に含まれる単語と同じ単語クラスに属する単語を含む内容を表す上記追加発話を提示する、
対話方法。 - 請求項1から6のいずれかに記載の対話方法であって、
上記人格は、人型ロボットである、
対話方法。 - ある質問である第一発話と上記第一発話に関係する発話である第二発話とをユーザへ提示する対話システムであって、
上記第一発話後に上記ユーザが発したユーザ発話を受け付ける入力部と、
上記第一発話と、あらかじめ用意された上記第一発話に関係する発話文に上記ユーザ発話の内容の少なくとも一部が含まれる場合に、上記あらかじめ用意された上記第一発話に関係する発話文から、上記ユーザ発話の内容に含まれる部分を省略した、上記第二発話と、を決定する発話決定部と、
上記第一発話をある人格である第一人格により提示し、上記ユーザ発話を受け付けた後に上記第二発話を上記第一人格とは異なる人格である第二人格により提示する提示部と、
を含む対話システム。 - 特定の単語クラスに属する単語を発話させる質問である第一発話と上記第一発話に関係する発話である第二発話とをユーザへ提示する対話システムであって、
上記第一発話後に上記ユーザが発したユーザ発話を受け付ける入力部と、
上記第一発話と、上記ユーザ発話に上記単語クラスに属する単語が含まれるか否かに応じて、あらかじめ定めた発話文から選択した追加発話と、上記第二発話と、を決定する発話決定部と、
上記第一発話をある人格である第一人格により提示し、上記ユーザ発話を受け付けた後に上記追加発話を上記第一人格とは異なる人格である第二人格により提示し、上記第二発話を提示する提示部と、
を含む対話システム。 - 請求項9に記載の対話システムであって、
上記発話決定部は、上記ユーザ発話に上記単語クラスに属する単語が含まれない場合に、上記単語クラスに属する単語を含む追加発話を決定する、
対話システム。 - ある知識を問う質問である第一発話と上記第一発話に関係する発話である第二発話とをユーザへ提示する対話システムであって、
上記第一発話後に上記ユーザが発したユーザ発話を受け付ける入力部と、
上記第一発話と、上記ユーザ発話に上記知識を表す単語が含まれるか否かに応じて、あらかじめ定めた発話文から選択した追加発話と、上記第二発話と、を決定する発話決定部と、
上記第一発話をある人格である第一人格により提示し、上記ユーザ発話を受け付けた後に上記追加発話を上記第一人格とは異なる人格である第二人格により提示し、上記第二発話を提示する提示部と、
を含む対話システム。 - 請求項8から11のいずれかに記載の対話システムであって、
上記人格は、人型ロボットである、
対話システム。 - ユーザの発話を受け付ける入力部と、発話を提示する提示部とを少なくとも含む対話システムが提示する発話を決定する対話装置であって、
ある人格である第一人格により提示するある質問である第一発話と、あらかじめ用意された上記第一発話に関係する発話文に上記第一発話後に上記ユーザが発したユーザ発話の内容の少なくとも一部が含まれる場合に、上記あらかじめ用意された上記第一発話に関係する発話文から、上記ユーザ発話の内容に含まれる部分を省略した、上記第一人格とは異なる人格である第二人格により提示する上記第二発話と、を決定する発話決定部
を含む対話装置。 - ユーザの発話を受け付ける入力部と、発話を提示する提示部とを少なくとも含む対話システムが提示する発話を決定する対話装置であって、
ある人格である第一人格により提示する特定の単語クラスに属する単語を発話させる質問である第一発話と、上記ユーザ発話に上記単語クラスに属する単語が含まれるか否かに応じて、あらかじめ定めた発話文から選択した上記第一人格とは異なる人格である第二人格により提示する追加発話と、上記第二発話と、を決定する発話決定部
を含む対話装置。 - 請求項14に記載の対話装置であって、
上記発話決定部は、上記ユーザ発話に上記単語クラスに属する単語が含まれない場合に、上記単語クラスに属する単語を含む追加発話を決定する、
対話装置。 - ユーザの発話を受け付ける入力部と、発話を提示する提示部とを少なくとも含む対話システムが提示する発話を決定する対話装置であって、
ある人格である第一人格により提示するある知識を問う質問である第一発話と、上記ユーザ発話に上記知識を表す単語が含まれるか否かに応じて、あらかじめ定めた発話文から選択した、上記第一人格とは異なる人格である第二人格により提示する追加発話と、上記第二発話と、を決定する発話決定部
を含む対話装置。 - 請求項13から16のいずれかに記載の対話装置であって、
上記人格は、人型ロボットである、
対話装置。 - 請求項1から7のいずれかに記載の対話方法の各ステップをコンピュータに実行させるためのプログラム。
- 請求項13から17のいずれかに記載の対話装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017046363A JP6610965B2 (ja) | 2017-03-10 | 2017-03-10 | 対話方法、対話システム、対話装置、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017046363A JP6610965B2 (ja) | 2017-03-10 | 2017-03-10 | 対話方法、対話システム、対話装置、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018151471A JP2018151471A (ja) | 2018-09-27 |
JP6610965B2 true JP6610965B2 (ja) | 2019-11-27 |
Family
ID=63681576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017046363A Active JP6610965B2 (ja) | 2017-03-10 | 2017-03-10 | 対話方法、対話システム、対話装置、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6610965B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7060106B2 (ja) * | 2018-10-05 | 2022-04-26 | 日本電信電話株式会社 | 対話装置、その方法、およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4686905B2 (ja) * | 2000-07-21 | 2011-05-25 | パナソニック株式会社 | 対話制御方法及びその装置 |
JP3533371B2 (ja) * | 2000-12-01 | 2004-05-31 | 株式会社ナムコ | 模擬会話システム、模擬会話方法、および情報記憶媒体 |
JP2003255991A (ja) * | 2002-03-06 | 2003-09-10 | Sony Corp | 対話制御システム、対話制御方法及びロボット装置 |
JP2006039120A (ja) * | 2004-07-26 | 2006-02-09 | Sony Corp | 対話装置および対話方法、並びにプログラムおよび記録媒体 |
-
2017
- 2017-03-10 JP JP2017046363A patent/JP6610965B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018151471A (ja) | 2018-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6719740B2 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
JP6719747B2 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
US11183187B2 (en) | Dialog method, dialog system, dialog apparatus and program that gives impression that dialog system understands content of dialog | |
JP6719741B2 (ja) | 対話方法、対話装置、及びプログラム | |
WO2018163648A1 (ja) | 対話システム、対話方法、対話装置、およびプログラム | |
JP6970413B2 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
WO2018163647A1 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
JP6699010B2 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
JP6864326B2 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
JP6667855B2 (ja) | 取得方法、生成方法、それらのシステム、及びプログラム | |
JP6682104B2 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
JP2017208003A (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
JP6610965B2 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
WO2017200077A1 (ja) | 対話方法、対話システム、対話装置、及びプログラム | |
JP6601625B2 (ja) | 対話方法、対話システム、対話装置、およびプログラム | |
WO2017200075A1 (ja) | 対話方法、対話システム、対話シナリオ生成方法、対話シナリオ生成装置、及びプログラム | |
WO2021064947A1 (ja) | 対話方法、対話システム、対話装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170313 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6610965 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |