JP6449368B2 - Conversation providing apparatus, conversation providing method, and program - Google Patents
Conversation providing apparatus, conversation providing method, and program Download PDFInfo
- Publication number
- JP6449368B2 JP6449368B2 JP2017080890A JP2017080890A JP6449368B2 JP 6449368 B2 JP6449368 B2 JP 6449368B2 JP 2017080890 A JP2017080890 A JP 2017080890A JP 2017080890 A JP2017080890 A JP 2017080890A JP 6449368 B2 JP6449368 B2 JP 6449368B2
- Authority
- JP
- Japan
- Prior art keywords
- scenario
- user
- partial
- dialogue
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、会話提供装置、会話提供方法及びプログラムに関する。 The present invention relates to a conversation providing device, a conversation providing method, and a program.
従来、ユーザとの間で情報提供や雑談等の対話を行う様々なチャットボットやソフトウェアエージェントが提案されている。 Conventionally, various chatbots and software agents have been proposed that perform dialogues such as providing information and chatting with users.
例えば、固定的な対話ノードの間に動的対話ノードの挿入行動を制御する対話プログラムが提案されている(例えば、特許文献1) For example, a dialogue program that controls insertion behavior of a dynamic dialogue node between fixed dialogue nodes has been proposed (for example, Patent Document 1).
また、疑似人物同士の会話がなされる場に、前記疑似人物の一つが抽出した前記話題情報に関する会話の進行度合いに応じて前記複数の疑似人物の会話における役割を変更し、この変更前後の疑似人物同士の会話を利用者に対して見せるようにしたことにより、会話の進行に合わせて人格の役割が変更され利用者から見て変化に富んだ会話空間がシステム中に生成されるという技術も提案されている(例えば、特許文献2)。 Further, when a conversation between pseudo-persons is performed, the role of the plurality of pseudo-persons in the conversation is changed according to the progress of the conversation related to the topic information extracted by one of the pseudo-persons, and the pseudo-persons before and after the change are changed. A technology that allows the conversation between people to be shown to the user, so that the role of the personality is changed according to the progress of the conversation, and a conversation space rich in change seen from the user is generated in the system. It has been proposed (for example, Patent Document 2).
また、エージェントの感情および欲求から構成される内部状態を保持し、ユーザの感情、エージェントの感情に基づいてユーザの感情を考慮した応答を行うことができるエージェントインターフェース装置を実現するという技術も提案されている(例えば、特許文献3)。 In addition, a technology has been proposed that realizes an agent interface device that maintains an internal state composed of the emotions and desires of an agent and can respond in consideration of the user's emotion based on the user's emotion and the agent's emotion. (For example, Patent Document 3).
従来、会話のバリエーションを増やすための様々な技術が提案されていた。しかしながら、何らかのテーマで雑談を行う場合、同じような発言を繰り返したり、話題を切り替える際に文脈が不自然になったりするような、対話破綻に陥り易いという問題があった。 Conventionally, various techniques for increasing variations in conversation have been proposed. However, when chatting on a certain theme, there is a problem that it is easy to fall into a dialogue failure such as repeating the same speech or making the context unnatural when switching topics.
そこで、本発明は、ユーザと会話を行うシステムにおいて、会話の継続性及び話題の転換の自然さを向上させることを目的とする。 Therefore, an object of the present invention is to improve the continuity of conversation and the naturalness of topic change in a system for conversation with a user.
本発明に係る会話提供装置は、仮想的な人格とユーザとを会話させる。また、複数の話者の台詞を含む会話形式の部分的シナリオを複数記憶するシナリオ記憶部と、部分的シナリオを用いてユーザに対する仮想的な人格の発言を出力する会話制御部とを備え、会話制御部は、仮想的な人格の発言又はユーザの発言と、部分的シナリオに含まれる台詞との類似度に基づいて、仮想的な人格の発言又はユーザの発言に対する応答を部分的シナリオから抽出する。 The conversation providing apparatus according to the present invention allows a virtual personality and a user to have a conversation. In addition, a scenario storage unit that stores a plurality of conversational partial scenarios including dialogues of a plurality of speakers, and a conversation control unit that outputs virtual personality statements to the user using the partial scenarios, The control unit extracts a response to the virtual personality statement or the user's speech from the partial scenario based on the similarity between the virtual personality statement or the user's speech and the dialogue included in the partial scenario. .
台詞の類似度に基づいて予め用意された部分的シナリオから応答を抽出することで、対話の内容や話題の転換の自然さを担保することができる。また、過去の話題の内容に基づいて発言を生成するような場合と異なり、部分的シナリオを連結することにより、何らか
の話題から抜け出せなくなるような対話破綻が生じることを抑制できる。すなわち、会話の継続性及び話題の転換の自然さを向上させることができる。
By extracting a response from a partial scenario prepared in advance based on the similarity of the dialogue, it is possible to ensure the naturalness of the content of the conversation and the conversion of the topic. Also, unlike the case where a statement is generated based on the contents of a past topic, it is possible to suppress the occurrence of a breakdown of a dialogue that prevents the user from getting out of any topic by connecting partial scenarios. That is, the continuity of conversation and the naturalness of topic change can be improved.
また、会話提供装置は、選択肢からユーザに自身の発言を選択させる形式により、仮想的な人格とユーザとを会話させ、会話制御部は、シナリオ記憶部から読み出した第1の部分的シナリオに含まれる台詞と、当該第1の部分的シナリオに類似する第2の部分的シナリオに含まれる台詞とを、選択肢としてユーザに提示すると共にいずれかを選択させ、ユーザが選択した台詞を含む部分的シナリオにおいて、選択された台詞に対する応答として記述された台詞を、仮想的な人格の発言として出力するようにしてもよい。このようにすれば、複数の選択肢は進行中の会話の流れに沿ったものとなり、会話の流れの自然さを向上させることができる。 In addition, the conversation providing device causes the user to converse with the virtual personality in a format that allows the user to select his / her speech from the options, and the conversation control unit is included in the first partial scenario read from the scenario storage unit. And the dialogue included in the second partial scenario similar to the first partial scenario is presented to the user as an option and the user selects either of them, and the partial scenario including the dialogue selected by the user In the above, a dialogue described as a response to the selected dialogue may be output as a utterance of a virtual personality. In this way, the plurality of options are in line with the ongoing conversation flow, and the naturalness of the conversation flow can be improved.
また、会話制御部は、シナリオ記憶部から読み出した第1の部分的シナリオに含まれる第1の話者の第1の台詞を、仮想的な人格の発言として出力し、第1の部分的シナリオにおいて第1の話者の第1の台詞に対する応答として記述された第2の話者の第1の台詞に含まれる単語に基づいて、シナリオ記憶部から第2の話者の第1の台詞に類似する他の部分的シナリオに含まれる第2の話者の第2の台詞を抽出し、第2の話者の第1の台詞と、第2の話者の第2の台詞とを含む選択肢をユーザに提示すると共にいずれかを選択させるようにしてもよい。具体的には、このような構成にすることで、複数の選択肢は進行中の会話の流れに沿ったものとなる。 Further, the conversation control unit outputs the first speech of the first speaker included in the first partial scenario read from the scenario storage unit as an utterance of a virtual personality, and the first partial scenario To the first speech of the second speaker from the scenario storage unit based on the words included in the first speech of the second speaker described as a response to the first speech of the first speaker in FIG. Extracting the second line of the second speaker included in another similar partial scenario and including the first line of the second speaker and the second line of the second speaker May be presented to the user and one of them may be selected. Specifically, with such a configuration, the plurality of options are in line with the ongoing conversation flow.
また、会話制御部は、第2の話者の第1の台詞、及びシナリオ記憶部に記憶されている他の部分的シナリオに含まれる台詞に対し形態素解析を行い、各台詞に含まれる単語の分散表現に基づいて、第1の部分的シナリオにおける第2の話者の第1の台詞に類似する他の部分的シナリオに含まれる第2の話者の第2の台詞を抽出するようにしてもよい。このようにすれば、単語やこれを含む台詞間の意味的な距離を算出することができ、比較できるようになる。 In addition, the conversation control unit performs morphological analysis on the first speech of the second speaker and the speech included in other partial scenarios stored in the scenario storage unit, and the words included in each speech Based on the distributed representation, a second line of the second speaker included in another partial scenario similar to the first line of the second speaker in the first partial scenario is extracted. Also good. In this way, it is possible to calculate a semantic distance between words and dialogues including the words and compare them.
また、第2の話者の第2の台詞は、他の部分的シナリオにおける最後の台詞以外から抽出されるようにしてもよい。本発明に係る会話提供装置は、後の処理において、他の部分的シナリオにおける最後の台詞を、ユーザが選択した応答に対する仮想的な人格の応答として利用するため、上述のように他の部分的シナリオにおける最後の台詞以外から抽出することが好ましい。 The second dialogue of the second speaker may be extracted from other than the last dialogue in other partial scenarios. Since the conversation providing apparatus according to the present invention uses the last dialogue in another partial scenario as a virtual personality response to the response selected by the user in the subsequent processing, as described above, It is preferable to extract from other than the last line in the scenario.
また、会話提供装置は、ユーザに発言を自由入力させる形式により、仮想的な人格とユーザとを会話させ、会話制御部は、ユーザが入力した発言に類似する台詞及び当該台詞が記述されている部分的シナリオを抽出し、抽出された部分的シナリオにおいて、抽出された台詞に対する応答として記述されている台詞を、ユーザが入力した発言に対する仮想的な人格の応答として出力するようにしてもよい。このようにすれば、ユーザが自由入力した発言に対しても、予め用意された部分的シナリオから類似度に基づいて応答を抽出することで、対話の内容や話題の転換の自然さをある程度担保することができる。 In addition, the conversation providing device allows the user to freely input a speech, and allows the user to have a conversation with a virtual personality, and the conversation control unit describes a speech similar to the speech input by the user and the speech. A partial scenario may be extracted, and in the extracted partial scenario, a dialogue described as a response to the extracted dialogue may be output as a virtual personality response to the utterance input by the user. In this way, it is possible to guarantee the naturalness of dialogue content and topic conversion to some extent by extracting responses based on the similarity from partial scenarios prepared in advance even for remarks that are freely input by the user. can do.
また、会話制御部は、仮想的な人格の発言又はユーザの第1の発言、及びこれに応答する第2の発言の組み合わせと、部分的シナリオに含まれる2つの台詞の組合せとの類似度に基づいて、第2の発言に対する応答を部分的シナリオから抽出するようにしてもよい。2つの発言の組合せに対して類似度を評価することにより、より大きな文脈で類似するか否かを判断することができ、より適切な応答を抽出できるようになる。 In addition, the conversation control unit determines the similarity between the combination of the virtual personality speech or the first speech of the user and the second speech responding to the speech and the combination of the two dialogues included in the partial scenario. Based on this, a response to the second utterance may be extracted from the partial scenario. By evaluating the degree of similarity for a combination of two statements, it can be determined whether or not they are similar in a larger context, and a more appropriate response can be extracted.
また、部分的シナリオは、話の筋道が一貫するように予め記述されているようにしてもよい。このような部分的シナリオを予め用意しておくことにより、会話の継続性及び話題
の転換の自然さを向上させることができる。
The partial scenario may be described in advance so that the story line is consistent. By preparing such a partial scenario in advance, it is possible to improve the continuity of conversation and the naturalness of topic change.
なお、課題を解決するための手段に記載の内容は、本発明の課題や技術的思想を逸脱しない範囲で可能な限り組み合わせることができる。また、課題を解決するための手段の内容は、コンピュータ等の装置若しくは複数の装置を含むシステム、コンピュータが実行する方法、又はコンピュータに実行させるプログラムとして提供することができる。なお、プログラムを保持する記録媒体を提供するようにしてもよい。 The contents described in the means for solving the problems can be combined as much as possible without departing from the problems and technical ideas of the present invention. The contents of the means for solving the problems can be provided as a device such as a computer or a system including a plurality of devices, a method executed by the computer, or a program executed by the computer. A recording medium that holds the program may be provided.
ユーザと会話を行うシステムにおいて、会話の継続性及び話題の転換の自然さを向上させることができる。 In a system for conversation with a user, the continuity of conversation and the naturalness of topic change can be improved.
以下、図面を参照して本発明を実施するための形態について説明する。なお、実施形態の構成は例示であり、本発明は実施形態に示す構成に限定されない。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. In addition, the structure of embodiment is an illustration and this invention is not limited to the structure shown in embodiment.
<システム構成>
図1は、実施形態に係るシステム全体の一例を示す図である。本システムは、コンピュータによって発言が出力され、ユーザ(本発明に係る「第1の話者」に相当する)と会話を行う仮想的な人格(本発明に係る「第2の話者」に相当する)を提供する。また、会話の内容は雑談を含み、例えばユーザが本システムの利用を中断するまで会話を継続する。本システムは、ユーザ端末1と、会話提供サーバ2とを含み、これらがネットワーク3を解して接続されている。ネットワーク3は、インターネット等の通信網であり、ネットワーク3に接続されたコンピュータは様々なプロトコルに基づいて相互に通信できるものとする。ユーザ端末1は、スマートフォンやタブレット、PC(Personal Computer)等の
コンピュータであり、本実施形態に係るプログラム(ソフトウェア、又はアプリケーションとも呼ぶ)を実行することにより、本実施形態に係る会話提供システムのユーザインターフェースとして機能する。なお、ユーザ端末1は、ネットワーク3に複数接続されていてもよい。会話提供サーバ2は、一般的なコンピュータであり、本実施形態に係るプログラムを実行することにより、仮想的な人格の発言をユーザ端末1へネットワーク3を介して出力すると共に、ユーザ端末1からユーザの応答を取得する処理を繰り返す。なお、ユーザの発言は、会話提供サーバ2が出力する選択肢の中からユーザが選択することにより、ユーザ端末1に入力され、ネットワーク3を介して会話提供サーバ2へ送信される。
<System configuration>
FIG. 1 is a diagram illustrating an example of the entire system according to the embodiment. This system is a virtual personality (corresponding to a “second speaker” according to the present invention) in which a speech is output by a computer and has a conversation with a user (corresponding to the “first speaker” according to the present invention). Provide). Further, the content of the conversation includes a chat, and for example, the conversation is continued until the user stops using the system. This system includes a
<装置構成>
図2は、ユーザ端末1及び会話提供サーバ2の構成の一例を示すブロック図である。
<Device configuration>
FIG. 2 is a block diagram illustrating an example of the configuration of the
ユーザ端末1は、一般的なコンピュータであり、入出力インターフェース(I/F)11と、記憶装置12と、通信インターフェース(I/F)13と、プロセッサ14と、バ
ス15とを備えている。入出力I/F11は、例えばタッチパネル等のユーザインターフェースである。入出力I/F11は、ユーザに対し仮想的人格の発言を表示したり、ユーザの応答の選択肢を表示させたりすると共に、ユーザの操作に基づいてユーザの応答の選択を受け付ける。記憶装置12は、RAM(Random Access Memory)やROM(Read Only Memory)等の主記憶装置及びHDD(Hard-disk Drive)やSSD(Solid State Drive)、フラッシュメモリ等の補助記憶装置(二次記憶装置)である。主記憶装置は、プロセッサが読み出したプログラムや受信する台詞のデータを一時的に記憶したり、プロセッサの作業領域を確保したりする。補助記憶装置は、プロセッサが実行するプログラムを記憶したりする。通信I/F13は、例えば携帯電話の基地局や無線LAN(Local Area Network)のアクセスポイントと通信を行うネットワークモジュールであり、所定のプロトコルに基づき通信を行う。プロセッサ14は、CPU(Central Processing Unit)等の演
算処理装置であり、プログラムを実行することにより本実施の形態に係る各処理を行う。図2の例では、プロセッサ14内に機能ブロックを示している。具体的には、プロセッサ14は、入出力制御部141として機能する。入出力制御部141は、仮想的な人格の発言を入出力I/F11に表示させると共に、入出力I/F11を介してユーザの応答の入力を受け付ける。以上のような構成要素が、バス15を介して接続されている。
The
また、会話提供サーバ2も、一般的なコンピュータであり、入出力I/F21と、記憶装置22と、通信I/F23と、プロセッサ24と、バス25とを備えている。入出力I/F21は、例えばキーボードやマウス、ディスプレイ等のユーザインターフェースである。記憶装置22は、RAMやROM等の主記憶装置及びHDDやSSD、フラッシュメモリ等の補助記憶装置である。主記憶装置は、プロセッサが読み出したプログラムや補助記憶装置に格納されているシナリオのデータを一時的に記憶したり、プロセッサの作業領域を確保したりする。補助記憶装置は、プロセッサが実行するプログラムを記憶したりする。通信I/F23は、例えば有線のネットワークカード等であり、所定のプロトコルに基づき通信を行う。プロセッサ24は、CPU等の演算処理装置であり、プログラムを実行することにより本実施の形態に係る各処理を行う。図2に示すように、プロセッサ24は、会話制御部241として機能する。会話制御部241は、予め用意されたシナリオを用いてユーザに対する仮想的な人格の発言と、発言に対するユーザの応答の選択肢とを出力する。以上のような構成要素が、バス15を介して接続されている。
The
<ユーザインターフェース>
図3は、ユーザ端末1の入出力I/F11に表示される画像の一例を示す図である。図3の例では、タッチパネルである入出力I/F11に、仮想的な人格を表す画像111と、ユーザを表す画像112と、仮想的な人格の発言を表す吹出し113と、ユーザの応答の選択肢を表す3つの吹出し114(114a〜114c)とが表示されている。ユーザは、例えばこのような選択肢の中から自身の発言をタップして選択することにより、仮想的な人格との会話を行うことができる。なお、選択肢の数は複数であり、3には限られない。
<User interface>
FIG. 3 is a diagram illustrating an example of an image displayed on the input / output I /
<シナリオ(部分的シナリオ)>
図4は、会話提供サーバ2の記憶装置22に予め記憶されているシナリオの一例を示す図である。本実施形態では、図4に示すような、複数の人物による会話形式の台詞を複数含むシナリオが、会話提供サーバ2の記憶装置22に予め複数記憶されているものとする。なお、シナリオに含まれる各行には台詞が記述されており、各行の冒頭に付されたアルファベットA及びBは、各行に記述された台詞を発する人物を表す。便宜上、同一の人物に割り当てられた連続する台詞を、1つの発言と呼ぶものとする。図4の例では、人物Bの発言221(1つ目の発言)と、これに応答する人物Aの発言222(2つ目の発言)と、これにさらに応答する人物Bの発言223(3つ目の発言)とが記述されている。1つの発言は、1行以上の台詞を含む。1行は1文であってもよく、1行には何らかの意図
を表す台詞が記述される。また、各行の間で話題が転換されてもよいが、話の筋道が一貫するように記述されるものとする。図4に示すような、脈絡のある3〜4程度の発言を含むやりとりを1つの単位として記述しておき、これを「部分的シナリオ」とも呼ぶものとする。本実施形態では、部分的シナリオの少なくとも一部を、仮想的な人格とユーザとのそれまでの会話に連結することにより、会話を継続的に行う。
<Scenario (partial scenario)>
FIG. 4 is a diagram illustrating an example of a scenario stored in advance in the
<会話提供処理>
図5は、本システムにおいて実行される会話提供処理の一例を示す処理フロー図である。まず、会話提供サーバ2の会話制御部241は、何らかの条件に基づき、初期的な部分的シナリオを選択する(図5:S1)。本ステップでは、会話を開始するための任意の部分的シナリオが選択される。例えば、記憶装置22に格納された複数の部分的シナリオの中から、図4に示した部分的シナリオが選択されたものとする。
<Conversation processing>
FIG. 5 is a process flow diagram showing an example of the conversation providing process executed in the present system. First, the
そして、会話制御部241は、仮想的人格の発言を1つ出力する(図5:S2)。本ステップでは、例えば部分的シナリオの初めに記述されている発言221を仮想的人格の発言として、ユーザ端末1に送信する。図4の例では、人物Bの台詞「最近雨ばっかりで嫌になるよ」及び「そろそろ梅雨入りかなあ」が、通信I/F23を介してユーザ端末1に送信される。
And conversation control
一方、ユーザ端末1の入出力制御部141は、通信I/F13を介して仮想的人格の発言を受信すると、受信した発言を入出力I/F11に出力させる(図5:S3)。本ステップでは、仮想的人格の発言「最近雨ばっかりで嫌になるよ」及び「そろそろ梅雨入りかなあ」が、例えば順に図3の吹出し113に表示される。
On the other hand, when the input /
また、会話提供サーバ2の会話制御部241は、類似シナリオ抽出処理を行う(図5:S4)。
Further, the
図6は、類似シナリオ抽出処理の一例を示す処理フロー図である。会話提供サーバ2の会話制御部241は、進行中の部分的シナリオについて形態素解析を行う(図6:S11)。本ステップでは、例えば、先にユーザ端末1に台詞が出力されたシナリオ1において、ユーザ端末1に出力された仮想的人格の発言に応答する発言として記述されている台詞「そうね、ここ最近雨続きね」に対し、形態素解析を行い、品詞に分解する。
FIG. 6 is a process flow diagram illustrating an example of a similar scenario extraction process. The
また、会話制御部241は、会話提供サーバ2の記憶装置22に記憶されている他の部分的シナリオについて形態素解析を行う(図6:S12)。本ステップでは、記憶装置22に記憶されている進行中の部分的シナリオ以外の部分的シナリオに含まれる台詞に対し、形態素解析を行い、品詞に分解する。
Moreover, the
そして、会話制御部241は、特徴ベクトルに基づいて進行中の部分的シナリオ(本発明における「第1の部分的シナリオ」に相当する)と類似する部分的シナリオ(本発明における「第2の部分的シナリオ」に相当する)を抽出する(図6:S13)。本ステップでは、各台詞に含まれる単語を用いてテキストマイニングを行い、類似する部分的シナリオや、類似する台詞を抽出する。例えば、既存の部分的シナリオを対象として、ディープラーニングのようなニューラルネットワークを利用した機械学習を行い、周辺の文脈から出現しそうな単語を推定したり、ある単語から文脈に出現する他の単語を推定したりするための予測モデルを生成しておく。テキストマイニングには、既存の様々な技術を利用することができ、類義語や活用形を同一の単語として扱うようにしてもよい。
Then, the
例えば、FastTextやWord2Vec、CBOW(Continuous Bag-of-Words)、Skip-gram W
MD(Word Mover's Distance)、コサイン類似度等のような技術を用いることができる
。WMDを利用する場合、例えば2つの台詞に含まれる似た意味の単語同士を対応付け、各対応付けについて分散表現の距離をコストとして算出し、2つの台詞間のコストの総和を2つの台詞間の距離とする。そして、距離が近い台詞ほど類似度が高いと判断する。コサイン類似度を利用する場合、各台詞に含まれる単語の分散表現を生成し、進行中の部分的シナリオにおいて仮想的人格の発言に応答する発言として記述されている台詞に含まれる単語と、コサイン類似度の高い単語を含む台詞を抽出する。また、単語は、特に名詞を用いて類似度を算出するようにしてもよい。以上のようなテキストマイニング技術を用いて、進行中のシナリオにおいて仮想的人格の発言に応答する発言として記述されている台詞「そうね、ここ最近雨続きね」との類似度が高いものから順に所定数の台詞を抽出する。
For example, FastText, Word2Vec, CBOW (Continuous Bag-of-Words), Skip-gram W
Techniques such as MD (Word Mover's Distance) and cosine similarity can be used. When using WMD, for example, words having similar meanings included in two dialogues are associated with each other, the distance of the distributed expression is calculated as a cost for each association, and the total cost between the two dialogues is calculated between the two dialogues. Distance. And it is judged that the similarity is higher as the distance is closer. When using cosine similarity, generate a distributed representation of the words contained in each dialogue and cosine with the words contained in the dialogue described as utterances in response to the utterances of the virtual personality in the ongoing partial scenario. Extract lines containing words with high similarity. Further, the similarity of words may be calculated using nouns in particular. Using text mining technology as described above, in the ongoing scenario, the sentences described as utterances responding to the utterances of the virtual personality “sore, here ’s the rain lasts”. Extract lines of numbers.
このとき、さらに1つ前の発言である仮想的人格の発言についても類似度の算出に用いるようにしてもよい。すなわち、ある発言(仮想的人格の発言)、及びこれに対する応答という2つの台詞からなるやり取りに対して、類似する2つの台詞からなるやり取りを、例えばWMDを用いて部分的シナリオの中から抽出する。このようにすれば、より長い文脈の類似する部分的シナリオに基づいてその後の発言を決定することができるため、より自然な応答が抽出できる。 At this time, an utterance of a virtual personality that is the previous utterance may also be used for calculating the similarity. That is, with respect to an exchange consisting of two lines of a certain utterance (virtual personality utterance) and a response to this, an exchange consisting of two similar lines is extracted from a partial scenario using WMD, for example. . In this way, since a subsequent utterance can be determined based on a similar partial scenario in a longer context, a more natural response can be extracted.
本ステップにおいて、例えば、2つの台詞が選択肢として抽出されるものとする。 In this step, for example, two lines are extracted as options.
図7は、進行中の部分的シナリオ及び記憶装置22に格納されているその他の部分的シナリオの一例を示す図である。図7には、シナリオ1〜5が例示されており、シナリオ1は図4にも示した進行中のシナリオである。また、シナリオ2〜5は、何らかの話題に関する部分的シナリオである。なお、シナリオ2には、4つ目の発言224及び5つ目の発言225が含まれており、シナリオ4には、4つ目の発言224が含まれている。
FIG. 7 is a diagram illustrating an example of an ongoing partial scenario and other partial scenarios stored in the
進行中のシナリオにおいて仮想的人格の発言(図7:実線の角丸長方形)に応答する発言として記述されている台詞であるシナリオ1の「そうね、ここ最近雨続きね」は、図6のS11において品詞に分解される。シナリオ2〜5に含まれる台詞は、図6のS12において品詞に分解される。また、シナリオ2の台詞「お昼から雨なんだって」と、シナリオ3の台詞「曇ってきたね、雨が降るのかな」が、類似する台詞として抽出されたものとする。そして、進行中のシナリオにおいて仮想的人格の発言に応答する発言として記述されている台詞およびこれに類似すると判断された所定数の台詞(図7:破線の角丸長方形)がユーザの応答の選択肢として抽出される。なお、シナリオ4及び5からは、類似する台詞が抽出されなかったものとする。
In the ongoing scenario, “Sone, here's the last rain” in the
その後、類似シナリオ抽出処理を終了し、図5の処理に戻る。なお、図6に示した処理のうち、形態素解析(S11、S12)、及び類似度の台詞間の類似度の算出は、記憶装置22に格納されている部分的シナリオに含まれる台詞のすべての組合せについて予め実行しておき、類似シナリオ抽出処理においては、進行中のシナリオにおいて仮想的人格の発言に応答する発言として記述されている台詞およびこれとの間で類似度の高い台詞を抽出する処理のみを行うようにしてもよい。
Thereafter, the similar scenario extraction process is terminated, and the process returns to the process of FIG. Of the processes shown in FIG. 6, morphological analysis (S11, S12) and calculation of similarity between dialogues of similarity are performed for all dialogues included in the partial scenario stored in the
会話制御部241は、ユーザの応答の選択肢を出力する(図5:S5)。本ステップでは、会話制御部241は、通信I/F23を介し、図6のS13において抽出された台詞をユーザ端末1へ送信する。
The
一方、ユーザ端末1の入出力制御部141は、通信I/F13を介してユーザの応答の選択肢を受信すると、受信した選択肢を入出力I/F11に表示させる(図5:S6)。本ステップでは、図7に示したシナリオ1の「そうね、ここ最近雨続きね」、シナリオ2
の台詞「お昼から雨なんだって」、及びシナリオ3の台詞「曇ってきたね、雨が降るのかな」が、図3の吹出し114a〜114cに表示される。
On the other hand, when the input /
The dialogue “It's raining from noon” and the
そして、入出力制御部141は、入出力I/F11を介してユーザの操作を受け付け、ユーザの応答の選択の入力を受けると共に、選択された応答をユーザの発言として入出力I/F11に表示させる(図5:S7)。本ステップでは、図3の吹出し114a〜114cのいずれかをユーザがタップすると、タップされた吹出しの台詞がユーザの応答として表示される。また、入出力制御部141は、いずれの応答が選択されたかを示す情報を、通信I/F13を介して会話提供サーバ2へ送信する。なお、ここでは、選択肢のうち、シナリオ3の台詞「曇ってきたね、雨が降るのかな」がユーザによって選択されたものとする。
The input /
その後、会話提供サーバ2の会話制御部241は、ユーザに選択された応答に応じて仮想的人格のさらなる応答を決定する(図5:S8)。本ステップでは、ユーザが選択した台詞を含む部分的シナリオにおいて、当該台詞に対する応答として記述された台詞を、仮想的な人格の発言として抽出する。図7の例では、シナリオ3において人物Aの台詞「曇ってきたね、雨が降るのかな」に対する応答として記述されている、人物Bの台詞「そうみたいだね」及び「でも今夜には晴れるみたいだよ」(図7:一点鎖線の角丸長方形)が仮想的な人格の発言に決定される。
Thereafter, the
そして、図5のS2に戻り、処理を繰り返す。すなわち、会話制御部241は、S8
において決定された仮想的な人格の発言を、通信I/F23を介してユーザ端末1へ送信する。
And it returns to S2 of FIG. 5 and repeats a process. That is, the
The utterance of the virtual personality determined in is transmitted to the
<効果>
本実施形態によれば、脈絡のあるやりとりを記述した部分的シナリオを連結し、連結した複数の部分的シナリオに基づいて、仮想的な人格の発言と、ユーザの応答の選択肢とを出力する。また、ユーザの応答の選択肢は、いわゆる人工知能を用いて類似度が高いと評価された台詞であり、いずれを選択されても話の筋道が一貫するようになる。また、選択されたユーザの応答に対するさらなる仮想的な人格の応答は、部分的シナリオにおいて予め脈絡のあるやりとりとして記述されたシナリオ通りの台詞であり、話の筋道は一貫するようになっている。したがって、話題が転換される場合であっても、予め準備された部分的シナリオの中で自然に話題が変わるか、ユーザが選択肢を選ぶことにより話題を変えるかによって行われるため、話の流れは自然なものとなる。また、部分的シナリオを連結することにより、話が続けられるため、会話の継続性も向上する。
<Effect>
According to the present embodiment, partial scenarios describing contextual exchanges are connected, and a virtual personality statement and user response options are output based on the plurality of connected partial scenarios. Also, the user's response options are dialogues that are evaluated as having a high degree of similarity using so-called artificial intelligence, and the story path is consistent regardless of which is selected. Further, the further virtual personality response to the selected user response is a dialogue according to a scenario described in advance as a contextual interaction in the partial scenario, and the story line is made consistent. Therefore, even if the topic is changed, it is done depending on whether the topic naturally changes in a partial scenario prepared in advance or whether the user changes the topic by selecting an option. It will be natural. Moreover, since the conversation can be continued by connecting the partial scenarios, the continuity of the conversation is also improved.
<変形例>
図7に示したように、部分的シナリオに登場する人物A、人物Bは、それぞれユーザ、仮想的な人格に割り当てるようにしてもよい。すなわち、図6のS13においては、部分的シナリオにおいて、ユーザの発言である人物Aの台詞の中から、ユーザの応答の選択肢を抽出する。このようにすれば、予め準備される部分的シナリオにおいて、ユーザ、及び仮想的な人格について何らかの性格付けをして台詞の内容や口調を記述しておくことができる。
<Modification>
As shown in FIG. 7, the person A and the person B appearing in the partial scenario may be assigned to a user and a virtual personality, respectively. That is, in S13 of FIG. 6, in the partial scenario, the user's response options are extracted from the dialogue of the person A that is the user's speech. In this way, in the partial scenario prepared in advance, the user and virtual personality can be given some personality and the content and tone of the dialogue can be described.
一方、部分的シナリオに登場する人物A、人物Bを区別せずに、ユーザの応答の選択肢を抽出するようにしてもよい。このような態様であっても、予め用意された部分的シナリオを連結することによって、会話の継続性及び話題の転換の自然さを向上させることができる。 On the other hand, the user's response options may be extracted without distinguishing between the person A and the person B appearing in the partial scenario. Even in such a mode, the continuity of conversation and the naturalness of topic change can be improved by connecting partial scenarios prepared in advance.
また、ユーザの応答の選択肢の抽出は、部分的シナリオにおける先頭の発言に限らず、
部分的シナリオにおける2番目以降に記述された発言を対象としてもよい。なお、部分的シナリオにおいて、ユーザの応答に係る発言の後に、応答として記述された発言を仮想的な人格の発言として利用するため、部分的シナリオにおける最後の発言は、ユーザの応答の選択肢として抽出する対象としない。すなわち、S13におけるユーザの応答の選択肢は、部分的シナリオに記述された最後の発言以外の発言から抽出される。
In addition, the extraction of user response options is not limited to the first statement in the partial scenario,
The remarks described after the second in the partial scenario may be targeted. In the partial scenario, since the utterance described as the response is used as the utterance of the virtual personality after the utterance related to the user's response, the last utterance in the partial scenario is extracted as an option of the user's response Not subject to. That is, the user's response options in S13 are extracted from statements other than the last one described in the partial scenario.
また、ユーザの応答の選択肢の抽出は、進行中のシナリオにおいて仮想的人格の発言に応答する発言として記述されている台詞でなく、進行中のシナリオにおける過去の発言に基づいて類似する台詞を抽出するようにしてもよい。 In addition, the user's response choices are extracted based on past statements in the ongoing scenario, not the ones described as responses to the utterances of the virtual personality in the ongoing scenario. You may make it do.
また、選択肢からユーザに自身の発言を選択させる形式のユーザインターフェースでなく、発言の内容をユーザに自由入力させるようにしてもよい。この場合、ユーザが入力した発言と類似する台詞を部分的シナリオの中から抽出し、部分的シナリオにおいて抽出された類似する台詞に対する応答として記述されている台詞を、仮想的な人格の次の発言として出力させる。 Further, the user may be allowed to freely input the content of the utterance instead of the user interface in the form of allowing the user to select his / her utterance from the options. In this case, the speech similar to the speech entered by the user is extracted from the partial scenario, and the speech described as a response to the similar speech extracted in the partial scenario is the next speech of the virtual personality. As output.
また、ユーザが自由入力した発言と、その前の仮想的人格の発言との組み合わせについて、類似する台詞の組合せを部分的シナリオの中から抽出し、部分的シナリオにおいて抽出された台詞の組み合わせに対しさらに応答するかたちで記述されている台詞を、仮想的人格の次の発言として出力するようにしてもよい。 Also, for the combination of the speech freely input by the user and the speech of the virtual personality before that, a combination of similar dialogues is extracted from the partial scenario, and for the dialogue combination extracted in the partial scenario Further, the dialogue described in the form of response may be output as the next statement of the virtual personality.
<その他>
本発明は上述の処理を実行するコンピュータプログラムを含む。さらに、当該プログラムを記録した、コンピュータ読み取り可能な記録媒体も、本発明の範疇に属する。当該プログラムが記録された記録媒体については、コンピュータに、この記録媒体のプログラムを読み込ませて実行させることにより、上述の処理が可能となる。
<Others>
The present invention includes a computer program that executes the above-described processing. Furthermore, a computer-readable recording medium on which the program is recorded also belongs to the category of the present invention. With respect to the recording medium on which the program is recorded, the above-described processing can be performed by causing the computer to read and execute the program on the recording medium.
ここで、コンピュータ読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータから取り外し可能なものとしては、フレキシブルディスク、光磁気ディスク、光ディスク、磁気テープ、メモリカード等がある。また、コンピュータに固定された記録媒体としては、ハードディスクドライブやROM等がある。 Here, the computer-readable recording medium refers to a recording medium in which information such as data and programs is accumulated by electrical, magnetic, optical, mechanical, or chemical action and can be read from a computer. Examples of such a recording medium that can be removed from the computer include a flexible disk, a magneto-optical disk, an optical disk, a magnetic tape, and a memory card. In addition, examples of the recording medium fixed to the computer include a hard disk drive and a ROM.
1 :ユーザ端末
11 :入出力I/F
12 :記憶装置
13 :通信I/F
14 :プロセッサ
141:入出力制御部
15 :バス
2 :会話提供サーバ
21 :入出力I/F
22 :記憶装置
23 :通信I/F
24 :プロセッサ
241:会話制御部
25 :バス
3 :ネットワーク
1: User terminal 11: Input / output I / F
12: Storage device 13: Communication I / F
14: Processor 141: Input / output control unit 15: Bus 2: Conversation providing server 21: Input / output I / F
22: Storage device 23: Communication I / F
24: Processor 241: Conversation control unit 25: Bus 3: Network
Claims (7)
複数の話者の台詞を含む会話形式の部分的シナリオを複数記憶するシナリオ記憶部と、
前記部分的シナリオを用いて前記ユーザに対する前記仮想的な人格の発言を出力する会話制御部と、
を備え、
前記会話制御部は、
前記仮想的な人格の発言又は前記ユーザの発言と、前記部分的シナリオに含まれる台詞との類似度に基づいて、前記仮想的な人格の発言又は前記ユーザの発言に対する応答を前記部分的シナリオから抽出し、
前記シナリオ記憶部から読み出した第1の部分的シナリオに含まれる台詞と、当該第1の部分的シナリオに類似する第2の部分的シナリオに含まれる台詞とを、前記選択肢として前記ユーザに提示すると共にいずれかを選択させ、
前記ユーザが選択した台詞を含む部分的シナリオにおいて、選択された台詞に対する応答として記述された台詞を、前記仮想的な人格の発言として出力する
会話提供装置。 A conversation providing device for conversing a virtual personality and a user in a form that allows the user to select his / her speech from options ,
A scenario storage unit for storing a plurality of conversational partial scenarios including dialogues of a plurality of speakers;
A conversation control unit that outputs the utterance of the virtual personality for the user using the partial scenario;
With
The conversation control unit
Based on the similarity between the utterance of the virtual personality or the utterance of the user and the dialogue included in the partial scenario, the response to the utterance of the virtual personality or the utterance of the user from the partial scenario. Extract and
The dialogue included in the first partial scenario read from the scenario storage unit and the dialogue included in the second partial scenario similar to the first partial scenario are presented to the user as the options. And select one with
A conversation providing apparatus for outputting a dialogue described as a response to a selected dialogue as a statement of the virtual personality in a partial scenario including the dialogue selected by the user .
前記シナリオ記憶部から読み出した前記第1の部分的シナリオに含まれる第1の話者の第1の台詞を、前記仮想的な人格の発言として出力し、
前記第1の部分的シナリオにおいて前記第1の話者の第1の台詞に対する応答として記述された第2の話者の第1の台詞に含まれる単語に基づいて、前記シナリオ記憶部から前記第2の話者の第1の台詞に類似する他の部分的シナリオに含まれる第2の話者の第2の台詞を抽出し、
前記第2の話者の第1の台詞と、前記第2の話者の第2の台詞とを含む選択肢を前記ユーザに提示すると共にいずれかを選択させる
請求項1に記載の会話提供装置。 The conversation control unit
Outputting the first speech of the first speaker included in the first partial scenario read out from the scenario storage unit as an utterance of the virtual personality;
Based on the words included in the first speech of the second speaker described as a response to the first speech of the first speaker in the first partial scenario, the first from the scenario storage unit Extracting a second line of the second speaker included in another partial scenario similar to the first line of the two speakers;
The conversation providing apparatus according to claim 1 , wherein an option including a first line of the second speaker and a second line of the second speaker is presented to the user and one of the options is selected.
前記第2の話者の第1の台詞、及び前記シナリオ記憶部に記憶されている他の部分的
シナリオに含まれる台詞に対し形態素解析を行い、各台詞に含まれる単語の分散表現に基づいて、前記第1の部分的シナリオにおける前記第2の話者の第1の台詞に類似する他の部分的シナリオに含まれる第2の話者の第2の台詞を抽出する
請求項2に記載の会話提供装置。 The conversation control unit
A morphological analysis is performed on the first speech of the second speaker and speech included in another partial scenario stored in the scenario storage unit, and based on a distributed representation of words included in each speech , according to claim 2 for extracting a second speech of the second speaker to be included in other partial scenario similar to the first words of the second speaker in the first partial scenario Conversation providing device.
請求項3に記載の会話提供装置。 The conversation providing apparatus according to claim 3 , wherein the second dialogue of the second speaker is extracted from other than the last dialogue in the other partial scenario.
請求項1から4のいずれか一項に記載の会話提供装置。 The conversation providing device according to any one of claims 1 to 4 , wherein the partial scenario is described in advance so that a story line is consistent.
複数の話者の台詞を含む会話形式の部分的シナリオを複数記憶するシナリオ記憶部に記憶された前記部分的シナリオを用いて、前記仮想的な人格の発言又は前記ユーザの発言と、前記部分的シナリオに含まれる台詞との類似度に基づいて、前記仮想的な人格の発言又は前記ユーザの発言に対する応答を前記部分的シナリオから抽出するステップと、
前記シナリオ記憶部から読み出した、第1の部分的シナリオに含まれる台詞と、当該第1の部分的シナリオに類似する第2の部分的シナリオに含まれる台詞とを、前記選択肢として前記ユーザに提示すると共にいずれかを選択させるステップと、
前記ユーザが選択した台詞を含む部分的シナリオにおいて、選択された台詞に対する応答として記述された台詞を、前記仮想的な人格の発言として出力するステップと、
を含む会話提供方法。 A computer-aided conversation providing method in which a virtual personality and a user are conversed in a form that allows the user to select his / her speech from options ,
Using the partial scenario stored in a scenario storage unit that stores a plurality of conversational partial scenarios including dialogues of a plurality of speakers, the virtual personality speech or the user speech, and the partial Extracting from the partial scenario a response to the utterance of the virtual personality or the utterance of the user based on the similarity to the dialogue included in the scenario;
The dialogue included in the first partial scenario and the dialogue contained in the second partial scenario similar to the first partial scenario, read from the scenario storage unit, are presented to the user as the options. And selecting one of them, and
Outputting in a partial scenario including the dialogue selected by the user a speech described as a response to the selected dialogue as an utterance of the virtual personality;
Conversation providing method including
複数の話者の台詞を含む会話形式の部分的シナリオを複数記憶するシナリオ記憶部に記憶された前記部分的シナリオを用いて、前記仮想的な人格の発言又は前記ユーザの発言と、前記部分的シナリオに含まれる台詞との類似度に基づいて、前記仮想的な人格の発言又は前記ユーザの発言に対する応答を前記部分的シナリオから抽出するステップと、
前記シナリオ記憶部から読み出した、第1の部分的シナリオに含まれる台詞と、当該第1の部分的シナリオに類似する第2の部分的シナリオに含まれる台詞とを、前記選択肢として前記ユーザに提示すると共にいずれかを選択させるステップと、
前記ユーザが選択した台詞を含む部分的シナリオにおいて、選択された台詞に対する応答として記述された台詞を、前記仮想的な人格の発言として出力するステップと、
を実行させるプログラム。 A virtual personality and users in the form to select their own speech to the user from the options, a program for executing processing for conversation computer,
Using the partial scenario stored in a scenario storage unit that stores a plurality of conversational partial scenarios including dialogues of a plurality of speakers, the virtual personality speech or the user speech, and the partial Extracting from the partial scenario a response to the utterance of the virtual personality or the utterance of the user based on the similarity to the dialogue included in the scenario;
The dialogue included in the first partial scenario and the dialogue contained in the second partial scenario similar to the first partial scenario, read from the scenario storage unit, are presented to the user as the options. And selecting one of them, and
Outputting in a partial scenario including the dialogue selected by the user a speech described as a response to the selected dialogue as an utterance of the virtual personality;
A program that executes
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017080890A JP6449368B2 (en) | 2017-04-14 | 2017-04-14 | Conversation providing apparatus, conversation providing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017080890A JP6449368B2 (en) | 2017-04-14 | 2017-04-14 | Conversation providing apparatus, conversation providing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018181018A JP2018181018A (en) | 2018-11-15 |
JP6449368B2 true JP6449368B2 (en) | 2019-01-09 |
Family
ID=64275597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017080890A Active JP6449368B2 (en) | 2017-04-14 | 2017-04-14 | Conversation providing apparatus, conversation providing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6449368B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102174148B1 (en) * | 2018-12-05 | 2020-11-04 | 서울대학교산학협력단 | Speech Recognition Method Determining the Subject of Response in Natural Language Sentences |
KR102334961B1 (en) * | 2019-12-12 | 2021-12-02 | 서울대학교산학협력단 | Speech Recognition Method Determining the Subject of Response using Multi-Modal Analysis in Natural Language Sentences |
CN113938697B (en) * | 2021-10-13 | 2024-03-12 | 广州方硅信息技术有限公司 | Virtual speaking method and device in live broadcasting room and computer equipment |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008170817A (en) * | 2007-01-12 | 2008-07-24 | Toyota Motor Corp | Interaction control device, interaction control method and interaction control program |
JP5166503B2 (en) * | 2010-10-28 | 2013-03-21 | 株式会社東芝 | Interactive device |
-
2017
- 2017-04-14 JP JP2017080890A patent/JP6449368B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018181018A (en) | 2018-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10242667B2 (en) | Natural language generation in a spoken dialogue system | |
JP6884947B2 (en) | Dialogue system and computer programs for it | |
KR20190096304A (en) | Apparatus and method for generating summary of conversation storing | |
US11586689B2 (en) | Electronic apparatus and controlling method thereof | |
CN115309877B (en) | Dialogue generation method, dialogue model training method and device | |
KR20220054587A (en) | Speech Recognition Methods and Related Products | |
JP6449368B2 (en) | Conversation providing apparatus, conversation providing method, and program | |
JP6980411B2 (en) | Information processing device, dialogue processing method, and dialogue processing program | |
CN113536007A (en) | Virtual image generation method, device, equipment and storage medium | |
WO2016203805A1 (en) | Information processing device, information processing system, information processing method, and program | |
US20210166687A1 (en) | Terminal device, server and controlling method thereof | |
KR102102287B1 (en) | Method for crowdsourcing data of chat model for chatbot | |
CN108055617A (en) | Microphone awakening method and device, terminal equipment and storage medium | |
CN113792196A (en) | Method and device for man-machine interaction based on multi-modal dialog state representation | |
KR102644550B1 (en) | The Method Of Providing A Character Video Call Using A Natural Language Processing Model, The Computing System That Performs It, And The Computer-readable Recording Medium To Implement It | |
CN111966803B (en) | Dialogue simulation method and device, storage medium and electronic equipment | |
JP6551852B1 (en) | Information providing apparatus, information providing method, and program | |
US11150923B2 (en) | Electronic apparatus and method for providing manual thereof | |
JP6858721B2 (en) | Dialogue controls, programs and methods capable of conducting content dialogue | |
CN108108350B (en) | Noun recognition method and device | |
US10559298B2 (en) | Discussion model generation system and method | |
KR102679919B1 (en) | The Method, System, And Computer-readable Recording Medium For Providing Character Video Call Services Using A Natural Language Processing Model | |
JP7462995B1 (en) | Information processing system, information processing method, and program | |
JP7474211B2 (en) | Dialogue program, device and method for forgetting nouns spoken by a user | |
JP6985311B2 (en) | Dialogue implementation programs, devices and methods that control response utterance generation by aizuchi determination |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180822 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180904 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6449368 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |