JP7456344B2 - Information processing device, information processing system, information processing method and program - Google Patents
Information processing device, information processing system, information processing method and program Download PDFInfo
- Publication number
- JP7456344B2 JP7456344B2 JP2020163650A JP2020163650A JP7456344B2 JP 7456344 B2 JP7456344 B2 JP 7456344B2 JP 2020163650 A JP2020163650 A JP 2020163650A JP 2020163650 A JP2020163650 A JP 2020163650A JP 7456344 B2 JP7456344 B2 JP 7456344B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- information processing
- mode
- input
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 53
- 238000003672 processing method Methods 0.000 title claims description 9
- 230000004044 response Effects 0.000 claims description 62
- 238000012360 testing method Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 44
- 230000003993 interaction Effects 0.000 claims description 30
- 238000004891 communication Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 10
- 238000013515 script Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing system, an information processing method, and a program.
従来、コンピュータ等の装置が質問等の入力に対して答弁を行う、いわゆるチャットボット（単に「ボット」等と呼ばれる場合もある。）が知られている。 2. Description of the Related Art Conventionally, so-called chatbots (sometimes simply called "bots" or the like) have been known, in which a device such as a computer answers questions and the like in response to input.
例えばチャットボットシステムにおいて、質問が入力されると、質問が属する分野を推論する方法は従来から知られている（例えば、特許文献１等を参照）。また、チャットボットシステムにおいて、ボットによる答弁が行われた後に、ボットの答弁に対する満足度をユーザに入力させる方法は従来から知られている。 For example, in a chatbot system, when a question is input, a method of inferring the field to which the question belongs has been known (see, for example, Patent Document 1). Furthermore, in a chatbot system, a method is conventionally known in which, after the bot has given an answer, the user is asked to input their level of satisfaction with the bot's answer.
また、チャットボットシステムにおいて、ボットによるチャットの履歴を保存して、例えば、履歴に対して統計処理等の解析を行い、解析結果に基づいて回答の精度を向上させる方法は従来から知られている。 In addition, in chatbot systems, methods have long been known in which the history of chats by the bot is saved, the history is analyzed through statistical processing, etc., and the accuracy of answers is improved based on the analysis results. .
しかしながら、従来の方法では、例えば、ボットを実際に運用する前等に、ボットの動作確認又はデバッグ等を目的としてテストが行われる等、実際の運用とは異なる形態でボットが運用される場合が多い。従来の方法では、複数の形態のそれぞれで運用されるときのボットの履歴を区別せずに保存してしまう問題があった。その結果、従来の方法では、例えば、ボットの運用履歴に対する統計処理の精度が低下する場合がある。 However, with conventional methods, the bot may be operated in a manner different from the actual operation, for example, before the bot is actually operated, a test is conducted for the purpose of confirming the bot's operation or debugging. many. Conventional methods have the problem of storing the history of bots without distinguishing between them when they are operated in multiple forms. As a result, in the conventional method, for example, the accuracy of statistical processing of the bot's operation history may decrease.
本発明の一実施形態は、上記課題に鑑みてなされたものであり、ボットの運用形態を区別可能に、ボットの履歴を保存することを目的とする。 One embodiment of the present invention has been made in view of the above-mentioned problems, and aims to save the history of a bot so that the operation mode of the bot can be distinguished.
本発明の一実施形態による情報処理装置は、ユーザから入力を受け付けるユーザ端末に接続する情報処理装置であって、
前記ユーザ端末に入力される入力情報を取得する入力情報取得部と、
前記入力情報に対する応答情報を検索する検索部と、
前記入力情報に対して、前記応答情報に基づく応答メッセージを前記ユーザ端末に応答する応答部と、
前記入力情報取得部、前記検索部、及び、前記応答部による対話を実行する複数のモードを設定するモード設定部と、
前記対話が実行されるときのモードごとに前記対話の履歴を保存する保存部とを備える。
An information processing device according to an embodiment of the present invention is an information processing device connected to a user terminal that receives input from a user, and includes:
an input information acquisition unit that acquires input information input to the user terminal;
a search unit that searches for response information to the input information;
a response unit that responds to the input information with a response message based on the response information to the user terminal;
a mode setting unit that sets a plurality of modes in which interactions are executed by the input information acquisition unit, the search unit, and the response unit;
and a storage unit that stores a history of the interaction for each mode in which the interaction is executed.
ボットの運用形態を区別して、ボットの履歴を保存できる。 You can distinguish between bot operation modes and save bot history.
＜全体構成例＞
図１は、全体構成例を示す図である。例えば、情報処理システムの例であるチャットボットシステム１００は、情報処理装置の例であるサーバ装置１、及び、ユーザ端末２等を有するシステム構成である。なお、図示するように、チャットボットシステム１００は、管理者端末３等のように、サーバ装置１及びユーザ端末２以外の装置を更に有してもよい。
<Example of overall configuration>
FIG. 1 is a diagram showing an example of the overall configuration. For example, a
サーバ装置１は、チャットボットサービスを提供する情報処理装置の例である。
The
ユーザ端末２は、チャットボットサービスにおいて、ユーザが質問を入力する等の操作を行う情報処理装置である。なお、チャットボットシステム１００は複数のユーザ端末２を有する構成であってもよい。また、ユーザ端末２は、常に通信網４に接続された状態でなくともよい。
The
管理者端末３は、サーバ装置１等を管理するため、管理者等が入力等の操作を行う情報処理装置である。
The
サーバ装置１、ユーザ端末２、及び管理者端末３は、例えば、通信網４等を介して互いに接続する。
The
例えば、通信網４は、インターネット等である。通信網４は、有線通信又は無線を行う、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、近距離通信、又はこれらの組み合わせとなる通信網等でもよい。
For example, the
サーバ装置１は、ユーザ端末２及び管理者端末３等と通信を行う。例えば、サーバ装置１は、ユーザが入力する質問等を示す入力情報に対して、回答等となる応答メッセージを応答する、いわゆるチャットボットサービス等を提供する。
The
また、サーバ装置１は、複数のユーザ間においてメッセージの送受信を行う、いわゆるチャット等のサービスを提供する。サーバ装置１は、複数のユーザ間においてインスタントメッセージサービス等を提供する。なお、様々なサービスは、複数の情報処理装置が提供してもよい。以下では、１台の情報処理装置であるサーバ装置１がサービスを提供する例を説明する。
Further, the
チャットボットサービスでは、ユーザが質問等を示す文字等（以下「入力情報」という。）をユーザ端末２に入力する。サーバ装置１は、ユーザ端末２に入力された入力情報を、通信網４等を介して、ユーザ端末２から取得する。次に、サーバ装置１は、入力情報が示す質問に対する回答等となる情報（以下「応答情報」という。）を検索する。サーバ装置１は、入力情報に対する応答情報に基づいて応答メッセージを生成し、応答メッセージをユーザ端末２に通信網４等を介して応答する。ユーザ端末２は、入力情報に対する応答情報をメッセージ等の形式で表示する。チャットボットサービスを利用したユーザは、表示されたメッセージ等を確認することで、質問に対する回答を得る。
In the chatbot service, a user inputs characters or the like (hereinafter referred to as "input information") indicating a question or the like into the
チャットボットサービスを実現するのに用いられるサーバ装置１、ユーザ端末２、及び管理者端末３は、例えば、以下のようなハードウェア構成である。
The
＜ユーザ端末の例＞
図２は、ユーザ端末のハードウェア構成例を示す図である。例えば、ユーザ端末２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、メモリ２０４、通信Ｉ／Ｆ２０５、操作Ｉ／Ｆ２０６、及び、表示装置２０７を含むハードウェア構成である。また、ユーザ端末２が有するハードウェアは、例えば、バス等を介して互いに接続する。なお、ユーザ端末２が有するハードウェアは、有線又は無線の通信によって他の装置等と接続してもよい。
<Example of user terminal>
FIG. 2 is a diagram showing an example of the hardware configuration of a user terminal. For example, the
ユーザ端末２は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン又はタブレット等の情報処理装置である。
The
ＣＰＵ２０１は、演算部及び制御部等の機能を実現する。また、ＣＰＵ２０１は、制御装置及び演算装置の例である。
The
ＲＯＭ２０２は、不揮発性半導体による記憶装置等である。
The
ＲＡＭ２０３は、揮発性半導体による記憶装置等である。
The
メモリ２０４は、主記憶装置の例である。例えば、メモリ２０４は、通信網４を介して取得された情報を記憶する。なお、ユーザ端末２は、ハードディスク又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の補助記憶装置を更に有してもよい。また、ＲＯＭ２０２、ＲＡＭ２０３及びメモリ２０４等は、記憶部の機能を実現する。
通信Ｉ／Ｆ２０５は、通信部等の機能を実現する。例えば、通信Ｉ／Ｆ２０５は、接続端子及び通信回路等である。
The communication I/
操作Ｉ／Ｆ２０６は、入力部等の機能を実現する。例えば、操作Ｉ／Ｆ２０６は、ボタン、キーボード、ダイヤル、キー、タッチパネル及びマイク等の入力装置である。
The operation I/
表示装置２０７は、出力部の機能を実現する。例えば、表示装置２０７は、液晶パネル、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）及び無機ＥＬ等の出力装置である。なお、表示装置２０７及び操作Ｉ／Ｆ２０６は、タッチパネルのように一体の構成でもよい。
The
なお、プログラムは、ＲＯＭ２０２及びメモリ２０４に限らず、例えば、補助記憶装置等に格納されもよい。また、プログラムは、通信網４等を介して取得されてもよい。
Note that the program is not limited to the
＜管理者端末の例＞
図３は、管理者端末のハードウェア構成例を示す図である。例えば、管理者端末３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、メモリ３０４、通信Ｉ／Ｆ３０５、操作Ｉ／Ｆ３０６、及び、表示装置３０７を含むハードウェア構成である。以下では、管理者端末３がユーザ端末２と同一のハードウェア構成である例を説明し、重複する説明を省略する。ただし、管理者端末３は、ユーザ端末２及びサーバ装置１等と異なるハードウェア構成でもよい。
<Example of administrator terminal>
FIG. 3 is a diagram showing an example of the hardware configuration of the administrator terminal. For example, the
＜サーバ装置の例＞
図４は、サーバ装置のハードウェア構成例を示す図である。例えば、サーバ装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、メモリ１０４、通信Ｉ／Ｆ１０５、操作Ｉ／Ｆ１０６、及び、表示装置１０７を含むハードウェア構成である。以下では、サーバ装置１がユーザ端末２と同一のハードウェア構成である例を説明し、重複する説明を省略する。ただし、サーバ装置１は、ユーザ端末２及び管理者端末３等と異なるハードウェア構成でもよい。
<Example of server device>
FIG. 4 is a diagram showing an example of the hardware configuration of the server device. For example, the
＜データベース（以下「ＤＢ」という。）の例＞
チャットボットシステム１００がチャットボットサービスを行う場合、サーバ装置１は、例えば、以下のようなＤＢをあらかじめ構築する。以下では、サーバ装置１が、キーワードＤＢ、類義語ＤＢ、対話シナリオＤＢ、カテゴリＤＢ、質問－回答ＤＢ、問い合わせ履歴ＤＢ、対話履歴ＤＢ、及び、契約情報ＤＢを有する例を説明する。
<Example of database (hereinafter referred to as "DB")>
When the
キーワードＤＢは、質問及び回答の特徴を示す文字例を、いわゆるキーワードとして記憶する。なお、キーワードは、単語、フレーズ及び文であってもよい。また、キーワードＤＢは、質問－回答情報以外に関連するキーワードを記憶してもよい。 The keyword DB stores character examples indicating characteristics of questions and answers as so-called keywords. Note that the keyword may be a word, phrase, or sentence. Further, the keyword DB may store related keywords other than question-answer information.
例えば、サーバ装置１は、質問を構成する文字列を単語に分解する。次に、サーバ装置１は、それぞれの単語をキーワードＤＢが記憶する単語と照合して、質問のキーワードを検索する。次に、サーバ装置１は、質問－回答ＤＢにおける「質問」の文字列から、キーワードと一致する単語を検索して、質問に対応する質問－回答情報を検索する。このように、サーバ装置１は質問が示すキーワードを抽出するためにキーワードＤＢを用いる。
For example, the
類義語ＤＢは、キーワード等に対する類義語情報を記憶する。例えば、類義語情報は、互いに意味が類似する文字列を対応付けする情報である。なお、文字列は、単語、フレーズ及び文であってもよい。また、互いに意味が類似する文字列は、意味が類似する文字列に限定されない。例えば、互いに意味が類似する文字列は、一方から他方を推定可能な文字列、一方が他方の一部である文字列、又は。使用される場面が類似する文字列でもよい。また、ユーザ等は類義語情報を、使用環境に応じて任意に定義してもよい。 The synonym DB stores synonym information for keywords and the like. For example, the synonym information is information that associates character strings that are similar in meaning to each other. Note that the character strings may be words, phrases, and sentences. Furthermore, character strings that are similar in meaning to each other are not limited to character strings that are similar in meaning. For example, character strings that are similar in meaning to each other may be character strings in which one can be inferred from the other, character strings in which one is a part of the other, or character strings that are used in similar situations. Furthermore, users, etc. may define synonym information arbitrarily depending on the usage environment.
サーバ装置１は、入力情報が示す質問を構成する文字列を単語に分解する。次に、サーバ装置１は、それぞれの単語を類義語ＤＢと照合し、類義語となる文字列を抽出する。このように、サーバ装置１は、質問に含まれる単語及び単語の類義語をキーワードＤＢ等に照合して、質問のキーワードを推定する。
The
対話シナリオＤＢは、入力情報に応じた対話を実現するシナリオ情報を記憶する。例えば、サーバ装置１は、対話シナリオＤＢにあらかじめ入力されるシナリオに沿って、ユーザとの対話が実現するようにシナリオ情報を生成する。
The dialogue scenario DB stores scenario information for realizing dialogue according to input information. For example, the
図５は、シナリオ情報に基づく対話の流れの例を示す図である。例えば、ユーザが質問を行う入力情報を受け付け、質問に対する応答メッセージを応答する流れは、シナリオ情報によって以下のようになる。 FIG. 5 is a diagram showing an example of the flow of dialogue based on scenario information. For example, the flow of accepting input information for a user to ask a question and responding with a response message to the question is as follows depending on the scenario information.
＜シナリオ情報に基づく対話の流れの例＞
例えば、管理者は、図示するような流れとなるように、あらかじめチャットボットシステム１００にシナリオ情報を入力する。チャットボットシステム１００は、シナリオ情報に基づいて、ユーザと対話を行う。具体的に、管理者は図示するような流れに従ってコミュニケーションができるように、チャットボットシステム１００に、シナリオ情報、データベース及びＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を、あらかじめ設定する。以下では図５に示した流れの詳細を説明する。
<Example of dialogue flow based on scenario information>
For example, the administrator inputs scenario information into the
ステップＳ３１では、まず、チャットボットシステム１００は、質問の検索方法となる選択メニューをユーザ端末２に表示する。例えば、選択メニューは、「全てのカテゴリから検索」、「カテゴリから選んで検索」及び「よくある質問から検索」の３つの選択肢のうちの１つを選択する操作をユーザから受け付けるＧＵＩである。なお、チャットボットシステム１００は、４つ以上の選択肢又は２つ以下の選択肢の選択メニューを表示してもよい。
In step S31, the
選択メニューによって「全てのカテゴリから検索」が選択されると（図における「全てのカテゴリから検索」である。）、チャットボットシステム１００は、ステップＳ３２の処理に進む。また、選択メニューによって「よくある質問から検索」が選択されると（図における「よくある質問から選ぶ」である。）、チャットボットシステム１００は、ステップＳ３７の処理に進む。選択メニューによって「カテゴリから選んで検索」（図における「カテゴリから選ぶ」である。）が選択されると、チャットボットシステム１００は、ステップＳ３９の処理に進む。
When "Search from all categories" is selected from the selection menu (this is "Search from all categories" in the figure), the
ステップＳ３２では、チャットボットシステム１００は、ユーザに文字を使用して質問を入力するように促すメッセージをユーザ端末２に表示する。また、チャットボットシステム１００は、テキストボックス等のＧＵＩをユーザ端末２に表示し、質問となる文字を入力する操作をユーザから受け付ける。次に、質問が入力されると（図における「任意の質問文字を入力」である。）、チャットボットシステム１００は、ステップＳ３３の処理に進む。
In step S32, the
ステップＳ３３では、チャットボットシステム１００は、質問を示す文字列を解析する。そして、チャットボットシステム１００は、質問－回答ＤＢを検索して、質問に対して回答となりうる候補（以下単に「候補」という。）を抽出する。なお、チャットボットシステム１００は、検索の結果、候補を複数取得してもよい。
In step S33, the
ステップＳ３３による検索の結果、候補が１つ（図における「候補が１つ」である。）であると、チャットボットシステム１００は、検索された候補を応答情報にして応答する。また、ステップＳ３３による検索の結果、候補が２つ以上（図における「候補が２つ以上」である。）であると、チャットボットシステム１００は、ステップＳ３４の処理に進む。ステップＳ３３による検索の結果、候補が検出できない場合（図における「候補が検出できなかった」である。）であると、チャットボットシステム１００は、ステップＳ３６の処理に進む。
As a result of the search in step S33, if there is one candidate (“one candidate” in the figure), the
ステップＳ３４では、チャットボットシステム１００は、複数の候補のうち、いずれかを選択させる操作、又は、いずれの候補も非選択とする操作のうち、いずれかの操作をユーザに行わせるＧＵＩをユーザ端末２に表示する。
In step S34, the
ステップＳ３５では、チャットボットシステム１００は、候補のうち、いずれかを選択する操作が行われると（図における「候補を選択」である。）、選択された候補を応答情報にして応答する。一方で、非選択を選択する操作が行われると（図における「該当するものが存在しない」である。）、チャットボットシステム１００は、例えば、今の段階では質問に対する回答を表示できない等を示す謝罪のメッセージをユーザ端末２に表示する。
In step S35, when an operation for selecting one of the candidates is performed ("select candidate" in the figure), the
ステップＳ３６では、チャットボットシステム１００は、謝罪を示すメッセージ及び再検索を行う促すメッセージをユーザ端末２に表示して、ステップＳ３１の処理に戻る。
In step S36, the
ステップＳ３７では、チャットボットシステム１００は、問い合わせ履歴ＤＢを参照して、他のユーザ等から問い合わせ頻度の高い１つ以上の質問（例えば、３つ程度である。）を抽出する。そして、チャットボットシステム１００は、質問を一覧にしてユーザ端末２に表示する。さらに、チャットボットシステム１００は、他の検索方法を選択させるためのＧＵＩをユーザ端末２に表示する。
In step S37, the
ステップＳ３８では、質問が選択されると（図における「よくある質問を選択」である。）、チャットボットシステム１００は、選択された質問に対する回答を質問－回答ＤＢから検索した結果を応答情報として応答する。一方で、ステップＳ３８では他の検索方法が選択されると（図における「別の方法で検索を選択」である。）、チャットボットシステム１００は、ステップＳ３１の処理に戻る。
In step S38, when a question is selected ("Select a frequently asked question" in the figure), the
ステップＳ３９では、チャットボットシステム１００は、カテゴリ名を一覧にしてユーザ端末２に表示する。そして、カテゴリ名の一覧からカテゴリを選択する操作が行われると（図における「カテゴリを選択」である。）、チャットボットシステム１００は、ステップＳ４０の処理に進む。
In step S39, the
ステップＳ４０では、チャットボットシステム１００は、質問となる文字を入力する操作をユーザから受け付ける。次に、質問が入力されると（図における「任意の質問文字を入力」である。）、チャットボットシステム１００は、質問を示す入力情報を取得する。そして、チャットボットシステム１００は、ステップＳ４１の処理に進む。
In step S40, the
ステップＳ４１では、チャットボットシステム１００は、質問－回答ＤＢを検索して、候補を抽出する。次に、チャットボットシステム１００は、候補が１つ（図における「回答が１つ」である。）であると、検索された候補を応答情報にして応答する。また、候補が２つ以上（図における「候補が２つ以上」である。）であると、チャットボットシステム１００は、ステップＳ４２の処理に進む。候補が検出できない場合（図における「候補が検出できなかった」である。）、チャットボットシステム１００は、ステップＳ４４の処理に進む。
In step S41, the
ステップＳ４２では、チャットボットシステム１００は、複数の候補のうち、いずれかを選択させる操作、又は、いずれの候補も非選択とする操作のうち、いずれかの操作をユーザに行わせるＧＵＩをユーザ端末２に表示する。
In step S42, the
ステップＳ４３では、チャットボットシステム１００は、候補のうち、いずれかを選択する操作がユーザにより行われると（図における「候補を選択」である。）、選択された候補を応答情報にして応答する。一方で、非選択を選択する操作がユーザにより行われると（図における「該当するものが存在しない」である。）、チャットボットシステム１００は、例えば、今の段階では質問に対する回答を表示できない等を示す謝罪のメッセージをユーザ端末２に表示する。
In step S43, when the user performs an operation to select one of the candidates ("select candidate" in the figure), the
ステップＳ４４では、チャットボットシステム１００は、謝罪を示すメッセージ及び再検索を行う促すメッセージをユーザ端末２に表示して、ステップＳ３１の処理に戻る。
In step S44, the
ユーザは、例えば、以上のような対話の流れを想定してシナリオ情報を入力する。すなわち、シナリオ情報は、対話の流れの中で用いられるＧＵＩの種類、メッセージ及びＧＵＩ等を出力させる順序等を管理者が設定した結果等を示す。 For example, the user inputs scenario information assuming the flow of the dialogue as described above. That is, the scenario information indicates the results of settings made by the administrator, such as the type of GUI used in the flow of dialogue, the order in which messages, GUIs, and the like are output.
カテゴリＤＢは、質問を分類するためのカテゴリ情報を記憶する。例えば、カテゴリ情報は、以下のような情報である。 The category DB stores category information for classifying questions. For example, the category information is the following information.
図６は、カテゴリ情報の例を示す図である。例えば、図示するように、カテゴリ情報は、「ＩＤ」、「カテゴリ名」及び「更新日時」を含む情報である。 FIG. 6 is a diagram showing an example of category information. For example, as shown in the figure, the category information is information including "ID", "category name", and "update date and time".
「カテゴリ名」は、質問が該当するカテゴリを示す。 "Category name" indicates the category to which the question falls.
「ＩＤ」は、ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、すなわち、それぞれのカテゴリの識別情報を示す。 “ID” indicates ID (Identification), that is, identification information of each category.
「更新日時」は、各情報が更新された日時を示す。 "Updated date and time" indicates the date and time when each piece of information was updated.
質問－回答ＤＢは、質問と、質問に対する回答を対応付けした情報（以下「質問－回答情報」という。）を記憶する。例えば、質問－回答情報は、あらかじめ管理者等によって作成され、質問－回答ＤＢに記憶される。例えば、質問－回答情報は、以下のような情報である。 The question-answer DB stores information in which questions and answers to the questions are associated with each other (hereinafter referred to as "question-answer information"). For example, question-answer information is created in advance by an administrator or the like and stored in a question-answer DB. For example, the question-answer information is the following information.
図７は、質問－回答情報の例を示す図である。例えば、図示するように、質問－回答情報は、「ＩＤ」、「質問」、「類似質問」、「回答」、「カテゴリＩＤ」及び「更新日時」を含む情報である。 FIG. 7 is a diagram showing an example of question-answer information. For example, as shown in the figure, the question-answer information includes "ID", "question", "similar question", "answer", "category ID", and "update date and time".
「ＩＤ」は、ＩＤ、すなわち、それぞれの質問－回答情報の識別情報を示す。 "ID" indicates ID, that is, identification information of each question-answer information.
「質問」は、質問の内容を示す。 "Question" indicates the content of the question.
「類似質問」は、「質問」に入力される質問と類似の内容となる質問を示す。 "Similar question" indicates a question with similar content to the question input in "Question."
「回答」は、質問に対する回答を示す。 "Answer" indicates the answer to the question.
「カテゴリＩＤ」は、質問が該当するカテゴリを特定できるカテゴリのＩＤを示す。 “Category ID” indicates a category ID that allows specifying the category to which the question corresponds.
「更新日時」は、各情報が更新された日時を示す。 “Updated date and time” indicates the date and time when each piece of information was updated.
問い合わせ履歴ＤＢは、以前にユーザによって入力された質問を示す情報（以下「問い合わせ履歴情報」という。）を記憶する。例えば、問い合わせ履歴情報は、以下のような情報である。 The inquiry history DB stores information indicating questions previously input by the user (hereinafter referred to as "inquiry history information"). For example, the inquiry history information is the following information.
図８は、問い合わせ履歴情報の例を示す図である。図示するように、問い合わせ履歴情報は、「ＩＤ」、「セッションＩＤ」、「ヒットした質問に紐づくカテゴリのＩＤ」、「ヒットした質問のＩＤ」、「ユーザ入力」、「フィードバック」及び「日時」を含む情報である。 FIG. 8 is a diagram showing an example of inquiry history information. As shown in the figure, the inquiry history information includes "ID", "session ID", "ID of the category associated with the hit question", "ID of the hit question", "user input", "feedback", and "date and time". ” is included.
「ＩＤ」は、ＩＤ、すなわち、それぞれの問い合わせ履歴情報の識別情報を示す。 “ID” indicates an ID, that is, identification information of each inquiry history information.
「セッションＩＤ」は、質問が行われた対話セッションを特定できる識別情報を示す。 "Session ID" indicates identification information that can identify the dialogue session in which the question was asked.
「ヒットした質問に紐づくカテゴリのＩＤ」は、質問が該当するカテゴリを特定できるカテゴリのＩＤを示す。 “ID of category associated with hit question” indicates the ID of the category that allows specifying the category to which the question corresponds.
「ヒットした質問のＩＤ」は、質問のＩＤを示す。 "ID of hit question" indicates the ID of the question.
「ユーザ入力」は、ユーザが入力した質問を示す。 "User input" indicates a question input by a user.
「フィードバック」は、質問に対する回答に、ユーザがフィードバックをしたか否かを示す。 "Feedback" indicates whether the user provided feedback on the answer to the question.
「日時」は、対話が行われた日時を示す。 "Date and time" indicates the date and time when the conversation took place.
対話セッションは、ユーザ端末２とサーバ装置１の間で行われた対話の集合である。例えば、同一の対話セッションとなる対話は、ユーザ端末２において、チャット形式等の対話に用いる画面が立ち上げられてから閉じられるまでの間に行われた対話である。また、同一の対話セッションとなる対話は、ユーザ端末２において、当該画面が立ち上げられてからセッションタイムアウトにより当該画面が強制的に閉じられるまでの間に行われた対話等である。
An interaction session is a collection of interactions conducted between the
なお、セッションタイムアウトは、あらかじめ設定される所定時間内に、ユーザ端末２に対してアクションがない場合に発生する。そして、セッションタイムアウトは、対話に用いる画面等を終了させる処理である。
Note that session timeout occurs when there is no action on the
なお、対話セッションは、上記の例に限定されない。例えば、対話セッションは質問の入力から、回答の応答が行われた後、回答に対してユーザがフィードバックを入力するまでが１つの対話セッションでもよい。この場合、対話セッションは、ユーザからフィードバックが得られると、１つの対話セッションが完了する。 Note that the interactive session is not limited to the above example. For example, one interaction session may include inputting a question, providing an answer, and then inputting feedback for the answer by the user. In this case, one interaction session is completed once feedback is obtained from the user.
対話履歴ＤＢは、ユーザ端末２とサーバ装置１の間で行われる対話において、ユーザ端末２に入力された発言内容及びサーバ装置１が出力した内容の履歴を示す情報（以下「対話履歴情報」という。）を記憶する。例えば、対話履歴情報は、以下のような情報である。
The dialogue history DB stores information (hereinafter referred to as "dialogue history information") indicating the history of the contents of comments input to the
図９は、対話履歴情報の例を示す図である。図示するように、対話履歴情報は、「ＩＤ」、「セッションＩＤ」、「発言種別」、「発言内容」、「発言タイプＩＤ」、「コンテントＩＤ」、「日時」及び「モード」を含む情報である。 FIG. 9 is a diagram showing an example of dialogue history information. As shown in the figure, the dialogue history information includes information including "ID", "session ID", "utterance type", "utterance content", "utterance type ID", "content ID", "date and time", and "mode". It is.
「ＩＤ」は、ＩＤ、すなわち、それぞれの対話履歴情報の識別情報を示す。 "ID" indicates an ID, that is, identification information of each dialogue history information.
「セッションＩＤ」は、対話が行われた対話セッションを特定できるＩＤを示す。 “Session ID” indicates an ID that can identify the conversation session in which the conversation took place.
「発言種別」は、発言者の種別を示す。具体的に、図９の「発言種別」に入力される値は、「０」又は「１」のいずれかである。「０」は、管理者による発言であることを示す。一方で、「１」は、ユーザによる発言であることを示す。 “Speech type” indicates the type of speaker. Specifically, the value input to the "speech type" in FIG. 9 is either "0" or "1". "0" indicates that the comment was made by the administrator. On the other hand, "1" indicates that the comment is made by the user.
「発言内容」は、発言された内容を示す。 "Content of utterance" indicates the content of the utterance.
「発言タイプＩＤ」は、例えば、「５－０」、「５－１」及び「５－２」のように入力される。これらの入力に基づいて、「発言タイプＩＤ」は、「カテゴリ」、「質問－回答情報」及び「シナリオ」のうち、「発言内容」がいずれかに対応して発言されたかを示す。 The "utterance type ID" is inputted as "5-0", "5-1", and "5-2", for example. Based on these inputs, the "utterance type ID" indicates which one of the "category", "question-answer information", and "scenario" was uttered in response to the "utterance content".
「コンテントＩＤ」は、発言タイプがシナリオである場合に、シナリオで設定された発言を示す。また、「コンテントＩＤ」は、発言タイプが質問－回答情報である場合に、質問－回答情報のＩＤを示す。さらに、「コンテントＩＤ」は、発言タイプがカテゴリである場合に、カテゴリを選択する発言を示す。 "Content ID" indicates a comment set in a scenario when the comment type is a scenario. Moreover, "content ID" indicates the ID of question-answer information when the comment type is question-answer information. Furthermore, "content ID" indicates a comment for which a category is selected when the comment type is a category.
「日時」は、対話が行われた日時を示す。 "Date and time" indicates the date and time when the conversation took place.
「モード」は、対話がどのモードで行われたかを示す。モードの詳細は後述する。 "Mode" indicates in which mode the interaction was performed. Details of the mode will be described later.
契約情報ＤＢは、ユーザとあらかじめ結ばれた契約の内容を記憶する。例えば、契約の内容には、有人対応を行うか否か、及び、対応を行う期間等の情報が含まれる。また、サーバ装置１は、取得された契約の内容等の情報をテナントＩＤ等と対応付けて保持してもよい。
The contract information DB stores the contents of contracts concluded with users in advance. For example, the contents of the contract include information such as whether or not manned support will be provided and the period during which the support will be provided. Further, the
なお、ＤＢの種類、及び、構成は、上記の例に限られない。すなわち、ＤＢは、他の形式であってもよい。また、ＤＢは、複数の装置が分散してデータを保持して構成してもよい。さらに、各ＤＢは、必須でない。すなわち、シナリオを実現できるデータが揃うのであれば、ＤＢの形式等は問わない。 The type and configuration of the DB are not limited to the above example. That is, the DB may be in another format. Also, the DB may be configured with multiple devices storing data in a distributed manner. Furthermore, each DB is not essential. That is, as long as the data that can realize the scenario is available, the format of the DB, etc. does not matter.
＜機能ブロック図＞
図１０は、機能構成例を示す図である。例えば、チャットボットシステム１００は、入力情報取得部１００１、検索部１００２、応答部１００３、モード設定部１００４、保存部１００５、生成部１００６、及び、統計処理部１００７等を備える機能構成である。
<Functional block diagram>
FIG. 10 is a diagram showing an example of a functional configuration. For example, the
入力情報取得部１００１は、ユーザ端末２に入力される入力情報を取得する入力情報取得手順を行う。
The input
検索部１００２は、入力情報に対する応答情報を検索する検索手順を行う。
The
応答部１００３は、入力情報に対して応答情報をユーザ端末２に応答する応答手順を行う。
The
入力情報取得部１００１、検索部１００２、及び、応答部１００３は、入力部２００１を介して入力される入力情報に対する応答情報を出力部２００２から出力することで、対話、すなわち、ボットを実現する。
The input
例えば、入力情報取得部１００１は、通信Ｉ／Ｆ１０５等によって、入力情報をユーザ端末２から取得する。また、検索部１００２は、例えば、ＣＰＵ１０１等によって、入力情報に対する応答情報を検索する。さらに、応答部１００３は、通信Ｉ／Ｆ１０５等によって、応答情報をユーザ端末２に応答する。
For example, the input
モード設定部１００４は、入力情報取得部１００１、検索部１００２、及び、応答部１００３による対話を複数のモードで実行するモード設定手順を行う。例えば、モード設定部１００４は、ＣＰＵ１０１等によって、モード情報を取得し、保持しているモード情報に基づいて、モードが第１モードであるか第２モードであるかを判断する。そして、モード設定部１００４は、以降に行われる対話の履歴を保存するように設定するか、又は、以降に行われる対話が履歴を保存せず、除外されるように設定する。
The
保存部１００５は、対話の履歴をモードに基づいて分けて保存する保存手順を行う。例えば、保存部１００５は、メモリ１０４等によって、対話の内容等の履歴を記憶する。
The
生成部１００６は、モードを分けて対話を実行するためのコードを生成する生成手順を行う。例えば、生成部１００６は、ＣＰＵ１０１等によって、モード設定部１００４が実行する複数のモードに応じて、それぞれのモードごとに、コードを生成する。
The
統計処理部１００７は、履歴を統計処理して、第１モードにおける統計結果を示す統計処理手順を行う。例えば、統計処理部１００７は、ＣＰＵ１０１等によって、保存部１００５によって記憶された履歴等に基づいて統計処理を行う。
The
なお、サーバ装置１には、ＣＰＵ１０１等で実現する、演算部、及び、制御部等の機能が更にあってもよい。ほかにも、サーバ装置１には、入力部、出力部、記憶部及び通信部等の機能が更にあってもよい。さらに、ユーザ端末２には、演算部、制御部、記憶部、入力部、出力部及び通信部等の機能があってもよい。
Note that the
＜全体処理例＞
図１１は、全体処理例を示す図である。以下では、チャットボットサービスを実現する処理をサーバ装置１が単独で行う例を説明する。
<Overall processing example>
FIG. 11 is a diagram showing an example of overall processing. In the following, an example will be described in which the
ステップＳ１０１では、ユーザ端末２の入力部２００１は、ボットを起動させる操作を受け付ける。例えば、ユーザ端末２の入力部２００１は、表示中のＷｅｂページに含まれる所定のアイコンを押下する操作、ユーザ端末２にインストールされた対話アプリケーションを起動する操作、又は対話アプリケーションの所定のボタンを押下する操作を受け付ける。
In step S101, the
ステップＳ１０２では、ホームページ５００は、ユーザ端末２に対して、ボットの起動要求に応答する。具体的に、ホームページ５００は、あらかじめコードがホームページのソースコードに埋め込まれる。そして、ステップＳ１０２では、ユーザ端末２は、埋め込まれたコードに基づいて処理が実行可能な状態となる。
In step S102, the
コードは、モードごとに異なるように生成される。具体的に、第１モードの例である実行モードと、第２モードの例であるテストモードでは、異なるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）が生成されるのが望ましい。生成部１００６は、モード設定部１００４が実行する複数のモードに応じて、それぞれのモードごとに、コードを生成する。
The code is generated differently for each mode. Specifically, it is desirable to generate different URLs (Uniform Resource Locators) for the execution mode, which is an example of the first mode, and the test mode, which is an example of the second mode. The
なお、モードは、３種類以上あってもよい。以下では、モードが２種類である例で説明する。 Note that there may be three or more types of modes. An example in which there are two types of modes will be described below.
そして、テストを行う場合に、ホームページ５００は、テストモード用の埋め込みコードが埋め込まれる。一方で、実際に運用する場合に、ホームページ５００は、実行モード用のコードが埋め込まれる。
When performing a test, the
ステップＳ１０３では、ユーザ端末２の演算部は、コードを実行する。例えば、ユーザ端末２の演算部は、ホームページ５００にあらかじめ埋め込まれたテストモード用の埋め込みコードを実行する。
In step S103, the calculation unit of the
コードは、生成部１００６がモードごとに異なるように生成する。このため、モード設定部１００４は、コードに基づいて、実行するモードを切り替えることができる。したがって、以降の処理において、モード設定部１００４は、対話等がどのモードにおいて行われているかを識別できる。
The
ステップＳ１０４では、ユーザ端末２の通信部は、コードに基づいて、ＪａｖａＳｃｒｉｐｔ（登録商標）等で作成されるスクリプトデータを要求する。ユーザ端末２の通信部は、例えば、サーバ装置１に対して、テストモード用のスクリプトデータを要求する。
In step S104, the communication unit of the
ステップＳ１０５では、サーバ装置１の通信部は、ステップＳ１０４で要求されるスクリプトデータをユーザ端末２に送信する。例えば、サーバ装置１の通信部はテストモード用のスクリプトデータをユーザ端末２に送信する。
In step S105, the communication unit of the
ステップＳ１０６では、ユーザ端末２の演算部は、スクリプトデータを実行する。例えば、ユーザ端末２の演算部はテストモード用のスクリプトデータを実行する。
In step S106, the calculation unit of the
ステップＳ１０７では、ユーザ端末２の通信部は、ボットのコンテンツ要求及びボットの契約者（テナント）を識別するテナントＩＤをサーバ装置１に送信する。ユーザ端末２の通信部は、テストモードを示すモード情報を送信する。また、モード設定部１００４は、送信されたモード情報を保持しておく。
In step S107, the communication unit of the
テナントＩＤは、ユーザ端末２があらかじめ保持している情報である。なお、テナントＩＤは、ボットに用いられるブラウザが保持してもよいし、又は、チャット機能を実現するアプリケーションが保持してもよい。
The tenant ID is information held in advance by the
ステップＳ１０８では、サーバ装置１の演算部は、テナントＩＤに対応する契約等の情報を契約情報ＤＢから取得する。そして、サーバ装置１の演算部は、テナントＩＤに基づいて契約状態等を判断する。以下では、契約がチャットボットサービスを利用可能な状態であると判断した例を説明する。
In step S108, the calculation unit of the
ステップＳ１０９では、サーバ装置１は、例えば、モードに基づいて以下のように処理を行う。
In step S109, the
図１２は、モードに基づく設定例を示す図である。なお、図示するような処理が実行されるタイミングは、ステップＳ１０９のタイミングに限られない。例えば、図示するような処理が実行されるタイミングは、ステップＳ１０３又はボットが起動するタイミング等でもよい。 FIG. 12 is a diagram showing an example of settings based on the mode. Note that the timing at which the illustrated process is executed is not limited to the timing of step S109. For example, the timing at which the illustrated process is executed may be step S103 or the timing at which the bot is activated.
ステップＳ９０１では、モード設定部１００４は、モード情報を取得する。実行されるコードに基づいてモードが識別されるため、モード設定部１００４は、どのモードを実行するかを把握できる。
In step S901, the
ステップＳ９０２では、モード設定部１００４は、保持しているモード情報に基づいて、モードが第１モードであるか第２モードであるかを判断する。生成部１００６はテストモード用の埋め込みコード及び実行モード用の埋め込みコードを、あらかじめ以下のように生成する。
In step S902, the
図１３は、コードを生成する画面の例を示す図である。図示する画面は、テスト用の埋め込みコードを生成する操作画面の一例である。 FIG. 13 is a diagram showing an example of a screen for generating a code. The illustrated screen is an example of an operation screen for generating an embedded code for testing.
第１コードＣＤ１は、実行モード用の埋め込みコードの例である。第２コードＣＤ２は、テストモード用の埋め込みコードの例である。図示するように、第１コードＣＤ１は、ＵＲＬの末尾が「ｃｈａｔ．ｊｓ」である。第２コードＣＤ２は、ＵＲＬの末尾が「ｃｈａｔ＿ｔｅｓｔ３．ｊｓ」である。このように、生成部１００６はモードごとにＵＲＬの末尾が異なるコードを生成する。
The first code CD1 is an example of an embedded code for the execution mode. The second code CD2 is an example of an embedded code for test mode. As shown in the figure, the URL of the first code CD1 ends with "chat.js". In the second code CD2, the end of the URL is "chat_test3.js". In this way, the
生成部１００６は第２コードＣＤ２を、例えば、以下のように生成する。
The
まず、テナントを管理する管理者は管理者端末３を操作してテストケース名等を入力する。図における「作成」ボタンがクリックされると、生成部１００６は埋め込みコードを生成する。そして、管理者は埋め込みコードをホームページ５００に埋め込み、ホームページ５００を公開する。すると、図１１に示すステップＳ１０３において、ユーザ端末２はホームページ５００に埋め込まれたテストモード用の埋め込みコードを実行する。その結果、ステップＳ１０４において、ユーザ端末２はサーバ装置１からテストモード用のスクリプトデータ（この例の場合は「ｃｈａｔ＿ｔｅｓｔ３.ｊｓ」を取得する）。
First, the administrator who manages the tenant operates the
ステップＳ１０６では、ユーザ端末２はテストモード用のスクリプトデータを実行する。次に、ステップＳ１０７では、ユーザ端末２はチャットボットコンテンツを要求、かつ、テストモードであることを、サーバ装置１に通知する。モード設定部１００４は、通知されたモード情報に基づいて実行モードであるかテストモードであるかを判断する。
In step S106, the
また、テスト用の埋め込みコードを埋め込むホームページ５００は、本番のホームページとは限らない。管理者は、一般ユーザに公開しないテスト用のホームページ等にテスト用の埋め込みコードを埋め込み、テストを行ってもよい。
Further, the
なお、管理者は複数のテストモード用のスクリプトを作成し、複数のテスト用の埋め込みコードを異なるホームページに埋め込むことで、複数のテストを同時に行うこともできる。例えば、管理者は作成済みのテストモード用の埋め込みコードとコードＩＤと対応付けて登録しておくことで、登録済みのコードＩＤを、図１３の画面の作成済みテスト用埋め込みコード欄に表示する。管理者が、作成済みテスト用埋め込みコード「ｔｅｓｔ１」と「ｔｅｓｔ２」のうち、いずれかを選択すると、管理者端末３は選択されたコードＩＤに対応するテストモード用の埋め込みコードをテキストボックスに表示する。また、この場合、図９の対話履歴のモード項目に記憶されるテストごとの識別情報は、例えば、テストモード「１」、テストモード「２」等である。
Administrators can also run multiple tests at the same time by creating scripts for multiple test modes and embedding the embedded codes for multiple tests on different homepages. For example, by registering the created test mode embed code and code ID in association with each other, the administrator can display the registered code ID in the created test embed code field on the screen shown in Figure 13. . When the administrator selects either of the created test embedded codes "test1" and "test2", the
次に、モードが第１モードであると判断すると（ステップＳ９０２で「第１モード」）、モード設定部１００４は、ステップＳ９０３の処理に進む。一方で、モードが第２モードであると判断すると（ステップＳ９０２で「第２モード」）、モード設定部１００４は、ステップＳ９０４の処理に進む。
Next, when determining that the mode is the first mode ("first mode" in step S902), the
ステップＳ９０３では、モード設定部１００４は、以降に行われる対話の履歴を保存するように設定する。
In step S903, the
ステップＳ９０４では、モード設定部１００４は、以降に行われる対話の履歴を保存せず、対話の履歴から除外するように設定する。
In step S904, the
なお、モード設定部１００４は、第１モードと第２モードで分けて履歴を保存できるように設定すればよく、第２モードで発生した対話の履歴を第１モードの履歴と分けて保存してもよいし、破棄してもよい。
Note that the
モード設定部１００４は、第１モードと第２モードに分けて対話の履歴を保存する場合に、例えば、図９のように各履歴のモード項目に、いずれかのモードを示す情報を登録する。
When storing the interaction history in the first mode and the second mode, the
また、モード設定部１００４は、モードに基づいて、対話の履歴の保存以外について設定してもよい。すなわち、テスト環境は、実際の運用される環境と異なるように設定してもよい。例えば、ＤＢ、スクリプト、ＵＩ、ＦＡＱ、又は、シナリオ等はモードによって切り替わるように設定してもよい。
Furthermore, the
一方で、第２モードでは、第１モードと同一の入力、検索、及び、応答が行われるのが望ましい。テストは、できるだけ実際の運用と同一の処理が実行されるのが望ましい場合が多いためである。このように、第２モードにおいて第１モードと同一の処理を行うことで、テストでは実際の運用中に発生する不具合又はバグ等を発見しやすくできる。 On the other hand, in the second mode, it is desirable that the same input, search, and response as in the first mode be performed. This is because in many cases, it is desirable that the test process be as similar to the actual operation as possible. In this way, by performing the same processing as in the first mode in the second mode, it is possible to easily discover defects, bugs, etc. that occur during actual operation in the test.
例えば、以上のように、サーバ装置１はステップＳ１０９の処理を行う。
For example, as described above, the
ステップＳ１１０では、サーバ装置１の通信部は、ボットによる対話を行うため、コンテンツの情報等をユーザ端末２に送信する。
In step S110, the communication unit of the
ステップＳ１１１では、ユーザ端末２の出力部２００２は、ボットによる対話を行うためのコンテンツ等を表示する。
In step S111, the
あらかじめ管理者は、チャットボットサービスを開始させる操作用のアイコンを表示するように設定できる。チャットボットサービスを開始させる操作用のアイコンを表示する設定の場合（図における「アイコンを表示する場合」である。）には、チャットボットシステム１００は、ステップＳ１１２の処理に進む。一方で、アイコンを表示しない設定である場合には、チャットボットシステム１００は、ステップＳ１１４の処理に進む。
The administrator can set in advance to display an icon for starting the chatbot service. In the case of setting to display an icon for operation to start the chatbot service (this is "the case of displaying an icon" in the figure), the
ステップＳ１１２では、ユーザＵＲは、例えば、チャットボットサービスを開始するアイコンを押す操作を行う。したがって、ユーザ端末２の入力部２００１は、アイコンを押す操作を受け付ける。
In step S112, the user UR performs, for example, an operation of pressing an icon to start a chatbot service. Therefore, the
ステップＳ１１３では、ユーザ端末２の出力部２００２は、シナリオ等に基づいてボットによる対話を開始する。以下では、シナリオをユーザが選択して対話を開始する場合の例を説明する。
In step S113, the
ステップＳ１１４では、ユーザＵＲは、シナリオを選択する操作を行う。シナリオが複数設定される場合には、ユーザ端末２の出力部２００２は、複数のシナリオのうち、１つをユーザＵＲに選択させるＧＵＩを表示する。
In step S114, the user UR performs an operation to select a scenario. When multiple scenarios are set, the
ステップＳ１１５では、サーバ装置１の入力部２００１は、ステップＳ１１４で行われるシナリオを選択する操作を受け付ける。そして、サーバ装置１の通信部は、選択されたシナリオを示す通知をサーバ装置１に対して行う。
In step S115, the
ステップＳ１１６では、サーバ装置１の制御部は、設定情報により特定されるシナリオに基づいて、対話で表示する内容を特定する。
In step S116, the control unit of the
例えば、「全てのカテゴリから選ぶ」という選択肢がステップＳ１１４で選ばれると、サーバ装置１の制御部はステップＳ１０９で切り替えられた設定情報における「カテゴリＩＤ」等で設定されるカテゴリの「カテゴリ名」等を応答するように内容を特定する。
For example, when the option "Select from all categories" is selected in step S114, the control unit of the
また、「よくある質問から選ぶ」という選択肢がステップＳ１１４で選ばれると、サーバ装置１の制御部は、まず、所定期間内に発生した問い合わせ履歴情報に基づいて、例えば、上位５位程度の質問等を抽出する。
When the option "Choose from frequently asked questions" is selected in step S114, the control unit of the
例えば、「内線電話を調べる」というシナリオ等がステップＳ１１４では選択されると、サーバ装置１の制御部は、例えば、「名前を入力してください」等のようなあらかじめ設定されるメッセージを応答するように、内容を特定する。
For example, when a scenario such as "Check the telephone extension" is selected in step S114, the control unit of the
ステップＳ１１７では、サーバ装置１の通信部は、表示させるコンテンツ等をユーザ端末２に送信する。
In step S117, the communication unit of the
ステップＳ１１８では、ユーザ端末２の出力部２００２は、ステップＳ１１７で送信されるコンテンツ等を表示する。以下では、ステップＳ１０９の処理等で定まるシナリオ等によって、例えば、図５に示すように、質問、検索、及び、応答が行われるとする。
In step S118, the
ステップＳ１１９では、ユーザＵＲは、ユーザ端末２に対して質問を入力する操作を行う。したがって、ステップＳ１１９では、ユーザ端末２の入力部２００１は、質問の入力を受け付ける。そして、ユーザ端末２の入力部２００１は受け付けた質問等を示す入力情報を生成する。
In step S119, the user UR performs an operation to input a question into the
ステップＳ１２０では、サーバ装置１の入力情報取得部１００１は、入力情報をユーザ端末２から取得する。
In step S120, the input
ステップＳ１２１では、検索部１００２は、入力情報に対する応答情報を検索する。
In step S121, the
ステップＳ１２２では、応答部１００３は、応答情報をユーザ端末２に応答する。ここで、応答部１００３は、応答情報に対して所定の加工を施した応答メッセージをユーザ端末２に応答してもよい。すなわち、応答部１００３は応答情報に基づく応答メッセージをユーザ端末２に応答してもよい。
In step S122, the
ステップＳ１２３では、ユーザ端末２の出力部２００２は、応答情報に基づいて、質問に対する回答等を表示する。
In step S123, the
上記ステップＳ１１９乃至ステップＳ１２３の処理は、繰り返し行われてもよい。なお、回答が応答された後、すなわち、ステップＳ１２３の処理が行われた後、チャットボットシステム１００はステップＳ１２４乃至ステップＳ１２８の処理を行ってもよい。
The processing from step S119 to step S123 may be repeated. Note that after the answer is received, that is, after the process of step S123 is performed, the
ステップＳ１２４では、ユーザ端末２の出力部２００２は、ボットに対する満足度を調査するための入力項目を表示する。すなわち、ユーザ端末２の出力部２００２は、ステップＳ１２３等で得られた回答についてユーザＵＲの満足度を調査するため、アンケート等によりユーザＵＲに満足度を入力させるＧＵＩを表示する。
In step S124, the
ステップＳ１２５では、ユーザＵＲは、満足度を入力する操作を行う。 In step S125, the user UR performs an operation to input the satisfaction level.
ステップＳ１２６では、ユーザ端末２の通信部は、ステップＳ１２５でユーザＵＲにより入力された内容、すなわち、アンケートの結果等をサーバ装置１に通知する。
In step S126, the communication unit of the
ステップＳ１２７では、保存部１００５は、ステップＳ１２６で通知された内容又は対話の内容等の履歴を記憶する。
In step S127, the
ステップＳ１２８では、ユーザ端末２の制御部は、例えば、ステップＳ１１２又はステップＳ１１４の処理に戻る。すなわち、ユーザ端末２の制御部は、チャットボットサービスの初期画面に戻る。なお、ステップＳ１２８では、チャットボットシステム１００は、ボットを終了させてもよい。
In step S128, the control unit of the
以上のように、履歴等が保存された後、チャットボットシステム１００はステップＳ１２９以降の処理を行う。例えば、管理者ＡＤが統計結果を表示させる操作を行うと、チャットボットシステム１００はステップＳ１２９以降の処理を行う。
As described above, after the history and the like are saved, the
ステップＳ１２９では、管理者端末３の通信部は、統計処理の実行開始をサーバ装置１に通知する。
In step S129, the communication unit of the
ステップＳ１３０では、統計処理部１００７は、ステップＳ１２７等で記憶された履歴等に基づいて統計処理を行う。
In step S130, the
ステップＳ１３１では、統計処理部１００７は、統計結果を管理者端末３に送信する。その後、管理者端末３の出力部は、統計結果を出力する。例えば、管理者端末３の出力部は、統計結果を以下のように出力する。
In step S131, the
図１４は、統計結果の表示例を示す図である。例えば、管理者端末３は、図示するようなグラフ等によって、統計結果を表示する。
FIG. 14 is a diagram showing an example of displaying statistical results. For example, the
「チャットボットの回答状況」は、ステップＳ１２５でユーザＵＲが入力した満足度を統計処理した結果の例である。具体的に、管理者端末３は、管理者ＡＤ等に対して、所定の期間におけるボットによる対話の満足度をグラフ等によって表示する。例えば、ユーザＵＲは「満足した」、「不満足があった」、「回答できなかった」又は「評価無し」等のような満足度を入力する。このような満足度を統計処理した結果がフィードバックされると、管理者ＡＤ等は客観的にボットに対する満足度を知ることができる。
"Chatbot response status" is an example of the result of statistical processing of the satisfaction level input by the user UR in step S125. Specifically, the
統計処理部１００７は、どういったカテゴリの質問が多くされるか、又は、どういった種類の質問が多いか等のように、履歴が示す質問の内容を分析した結果等を統計処理によってまとめてもよい。統計処理部１００７は「カテゴリ別の質問数の推移（件数）」及び「問い合わせの多い質問」等から、どういったカテゴリの質問が多くされるか、又は、どういった種類の質問が多いか等を、統計処理してもよい。また、「カテゴリ別の回答状況（件数）」のように、統計処理部１００７はカテゴリごとに統計処理を行ってもよい。
The
以上のように、本実施形態に係るチャットボットシステム１００は履歴をモードに基づいて分けて保存する。例えば、上記のように統計処理をするのに、履歴からテストの対話が除外されているため、本実施形態に係るチャットボットシステム１００は実際の運用でユーザＵＲが入力した満足度等を統計処理できる。すなわち、本実施形態に係るチャットボットシステム１００はテスト中に入力された満足度等を含まない統計結果を生成できる。
As described above, the
テストは、管理者又はテストのための作業者等が対話等を行う。また、テストでは、満足度等も管理者又はテストのための作業者等が入力する場合がある。このような履歴又は入力は、テスト用であるため、除外されるのが望ましい。つまり、統計処理は、ユーザＵＲ以外の満足度等が混ざると、統計結果の精度が悪化する場合がある。 The test involves dialogue between the administrator or the test worker. Furthermore, in the test, the satisfaction level and the like may be input by the administrator, the test worker, or the like. Since such history or input is for testing purposes, it is desirable to exclude it. That is, in statistical processing, if satisfaction levels other than the user UR are mixed, the accuracy of the statistical results may deteriorate.
また、統計処理の結果、満足度が低い場合には、ＦＡＱ等がユーザＵＲの質問等に対して適切でない場合がある。そのため、満足度が低い場合には管理者ＡＤに通知するようにしてもよい。満足度等の精度が高いと、管理者ＡＤはユーザＵＲの満足度が高くなるようにＦＡＱ等を適切に改善できる。したがって、本実施形態に係るチャットボットシステム１００は、ユーザＵＲのボットに対する満足度を高くすることができる。
Furthermore, if the statistical processing results in a low satisfaction level, the FAQ or the like may not be appropriate for the user's UR question. Therefore, if the satisfaction level is low, the administrator AD may be notified. If the accuracy of the satisfaction level etc. is high, the administrator AD can appropriately improve the FAQ etc. so that the satisfaction level of the user UR will be high. Therefore, the
一方で、チャットボットシステム１００はテスト用に別途ボットを設置する、又は、統計結果からユーザＵＲの入力を取り除く等の作業を行うようにすると、作業が増え、テストを行う負荷が大きくなる。そこで、上記のような構成により、本実施形態に係るチャットボットシステム１００はモードに基づいて、履歴等を分けて保存する。そのため、本実施形態に係るチャットボットシステム１００は、テストの後、実際に運用された場合に、テストで入力された履歴等を容易に取り除くことができる。そして、本実施形態に係るチャットボットシステム１００はテストで入力された履歴等を除外する作業がなくとも、統計結果を精度よく生成できる。そのため、本実施形態に係るチャットボットシステム１００はテスト等を簡易に実行しやすくなり、ボットのテストを簡易化できる。
On the other hand, if the
また、ボットは動作確認又はデバッグ等を目的として、テストが行われる等の実際の運用とは異なる形態で運用される場合がある。このように、複数の形態で運用されたボットの履歴を区別せずに保存してしまうと、例えば、履歴に対する統計処理の精度は低下する場合がある。そこで、本実施形態に係るチャットボットシステム１００はボットの運用形態をモード等によって区別可能にして、ボットの履歴を保存する。すなわち、上記のような構成の情報処理システムは、ボットの運用形態を区別して、ボットの履歴を保存できる。
In addition, bots may be operated in a manner different from their actual operation, such as by being tested, for the purpose of confirming operation or debugging. In this way, if the histories of bots operated in multiple forms are stored without distinction, the accuracy of statistical processing of the histories may decrease, for example. Therefore, the
＜その他の実施形態＞
情報処理システムで行う、上記に示す情報処理方法における各手順は、複数の情報処理装置等で、並列、分散又は冗長して行われてもよい。また、情報処理システムは、いわゆるクラウドコンピューティング等を利用する構成でもよい。
<Other embodiments>
Each procedure in the information processing method described above performed by the information processing system may be performed in parallel, distributed, or redundantly by a plurality of information processing devices. Further, the information processing system may have a configuration that utilizes so-called cloud computing.
また、各装置は、１つの装置でなくともよい。すなわち、各装置は、複数の装置の組み合わせであってもよい。なお、情報処理システムには、上記に説明する装置以外の装置が更に含まれる構成であってもよい。 Moreover, each device does not need to be one device. That is, each device may be a combination of multiple devices. Note that the information processing system may be configured to further include devices other than the devices described above.
また、情報処理システム及び情報処理装置は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）等を利用してもよい。例えば、情報処理システム及び情報処理装置は、文字の入力等において、機械学習等を行い、認識精度を向上させる構成等でもよい。 Further, the information processing system and the information processing device may utilize AI (Artificial Intelligence) or the like. For example, the information processing system and the information processing device may be configured to perform machine learning or the like when inputting characters to improve recognition accuracy.
なお、本発明に係る各処理の全部又は一部は、コンピュータ言語で記述され、コンピュータに情報処理方法を実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、情報処理装置又は情報処理システム等のコンピュータに情報処理方法を実行させるためのコンピュータプログラムである。 Note that all or part of each process according to the present invention may be written in a computer language and realized by a program for causing a computer to execute an information processing method. That is, the program is a computer program for causing a computer such as an information processing device or an information processing system to execute an information processing method.
したがって、プログラムに基づいて情報処理方法が実行されると、コンピュータが有する演算装置及び制御装置は、各手順を実行するため、プログラムに基づいて演算及び制御を行う。また、コンピュータが有する記憶装置は、各手順を実行するため、プログラムに基づいて、処理に用いられるデータを記憶する。 Therefore, when the information processing method is executed based on the program, the arithmetic device and control device included in the computer perform calculations and control based on the program in order to execute each procedure. Furthermore, a storage device included in the computer stores data used in processing based on a program in order to execute each procedure.
また、プログラムは、コンピュータが読み取り可能な記憶媒体に記録されて頒布することができる。なお、記憶媒体は、磁気テープ、フラッシュメモリ、光ディスク、光磁気ディスク又は磁気ディスク等のメディアである。さらに、プログラムは、電気通信回線を通じて頒布することができる。 Further, the program can be recorded on a computer-readable storage medium and distributed. Note that the storage medium is a medium such as a magnetic tape, a flash memory, an optical disk, a magneto-optical disk, or a magnetic disk. Additionally, the program may be distributed over telecommunications lines.
以上、実施形態における一例について説明したが、本発明は、上記実施形態に限定されない。すなわち、本発明の範囲内で種々の変形及び改良が可能である。 Although an example of the embodiment has been described above, the present invention is not limited to the above embodiment. That is, various modifications and improvements are possible within the scope of the present invention.
１ サーバ装置
２ ユーザ端末
３ 管理者端末
４ 通信網
１００ チャットボットシステム
５００ ホームページ
１００１ 入力情報取得部
１００２ 検索部
１００３ 応答部
１００４ モード設定部
１００５ 保存部
１００６ 生成部
１００７ 統計処理部
ＵＲ ユーザ
ＡＤ 管理者
1
Claims (11)
前記ユーザ端末に入力される入力情報を取得する入力情報取得部と、
前記入力情報に対する応答情報を検索する検索部と、
前記入力情報に対して、前記応答情報に基づく応答メッセージを前記ユーザ端末に応答する応答部と、
前記入力情報取得部、前記検索部、及び、前記応答部による対話を実行する複数のモードを設定するモード設定部と、
前記対話が実行されるときのモードごとに前記対話の履歴を保存する保存部とを備える
情報処理装置。 An information processing device connected to a user terminal that receives input from a user,
an input information acquisition unit that acquires input information input to the user terminal;
a search unit that searches for response information to the input information;
a response unit that responds to the input information with a response message based on the response information to the user terminal;
a mode setting unit that sets a plurality of modes in which interactions are executed by the input information acquisition unit, the search unit, and the response unit;
An information processing device comprising: a storage unit that stores a history of the interaction for each mode in which the interaction is executed.
前記モード設定部は、
前記埋め込みコードに基づいて前記対話を実行する前記モードを設定する
請求項１に記載の情報処理装置。 a generation unit that generates an embedded code for executing the interaction for each of the modes;
The mode setting section includes:
The information processing apparatus according to claim 1, wherein the mode for executing the interaction is set based on the embedded code.
前記モードごとに異なるＵＲＬである
請求項２に記載の情報処理装置。 The embed code is
The information processing apparatus according to claim 2, wherein the URL is different for each of the modes.
前記ユーザが用いる第１モードと、前記対話をテストする第２モードとが含まれ、
前記保存部は、
前記第１モードで生じる前記履歴を保存する
請求項１乃至３のいずれか１項に記載の情報処理装置。 The plurality of modes include:
a first mode for use by the user and a second mode for testing the interaction;
The storage section is
The information processing apparatus according to any one of claims 1 to 3, wherein the history generated in the first mode is saved.
請求項４に記載の情報処理装置。 The information processing apparatus according to claim 4, further comprising a statistical processing unit that performs statistical processing on the history of the interaction based on a mode in which the interaction is executed.
前記第１モードにおける前記対話の履歴のみに対する統計処理を実行した結果を示す
請求項５に記載の情報処理装置。 The statistical processing unit includes:
6. The information processing apparatus according to claim 5, which shows the result of performing statistical processing only on the history of the interaction in the first mode.
請求項６に記載の情報処理装置。 The information processing device according to claim 6, wherein the result includes the user's satisfaction level.
前記入力情報取得部、前記検索部、及び、前記応答部は、同一の処理を行う
請求項４乃至７のいずれか１項に記載の情報処理装置。 In either the first mode or the second mode,
The information processing apparatus according to any one of claims 4 to 7, wherein the input information acquisition section, the search section, and the response section perform the same processing.
前記ユーザ端末に入力される入力情報を取得する入力情報取得部と、
前記入力情報に対する応答情報を検索する検索部と、
前記入力情報に対して、前記応答情報に基づく応答メッセージを前記ユーザ端末に応答する応答部と、
前記入力情報取得部、前記検索部、及び、前記応答部による対話を実行する複数のモードを設定するモード設定部と、
前記対話が実行されるときのモードごとに前記対話の履歴を保存する保存部とを備える
情報処理システム。 An information processing system comprising a user terminal that receives input from a user, and one or more information processing devices connected to the user terminal,
an input information acquisition unit that acquires input information input to the user terminal;
a search unit that searches for response information to the input information;
a response unit that responds to the input information with a response message based on the response information to the user terminal;
a mode setting unit that sets a plurality of modes in which interactions are executed by the input information acquisition unit, the search unit, and the response unit;
An information processing system comprising: a storage unit that stores a history of the interaction for each mode in which the interaction is executed.
情報処理装置が、前記ユーザ端末に入力される入力情報を取得する入力情報取得手順と、
情報処理装置が、前記入力情報に対する応答情報を検索する検索手順と、
情報処理装置が、前記入力情報に対して、前記応答情報に基づく応答メッセージを前記ユーザ端末に応答する応答手順と、
情報処理装置が、前記入力情報取得手順、前記検索手順、及び、前記応答手順による対話を実行する複数のモードを設定するモード設定手順と、
情報処理装置が、前記対話が実行されるときのモードごとに前記対話の履歴を保存する保存手順とを含む
情報処理方法。 An information processing method performed by an information processing device connected to a user terminal that receives input from a user, the method comprising:
an input information acquisition procedure in which the information processing device acquires input information input to the user terminal;
a search procedure in which the information processing device searches for response information to the input information;
a response procedure in which the information processing device responds to the input information with a response message based on the response information to the user terminal;
a mode setting procedure in which the information processing device sets a plurality of modes in which the information processing device executes interactions according to the input information acquisition procedure, the search procedure, and the response procedure;
An information processing method comprising: a storage procedure in which an information processing apparatus stores a history of the interaction for each mode in which the interaction is executed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/097,357 US11762937B2 (en) | 2019-11-29 | 2020-11-13 | Information processing apparatus, information processing system, and method of processing information |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019217394 | 2019-11-29 | ||
| JP2019217394 | 2019-11-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021093133A JP2021093133A (en) | 2021-06-17 |
| JP7456344B2 true JP7456344B2 (en) | 2024-03-27 |
Family
ID=76312550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020163650A Active JP7456344B2 (en) | 2019-11-29 | 2020-09-29 | Information processing device, information processing system, information processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7456344B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160308799A1 (en) | 2015-04-20 | 2016-10-20 | Oracle International Corporation | Virtual assistance for chat agents |
| JP2019185614A (en) | 2018-04-16 | 2019-10-24 | Ｊｅインターナショナル株式会社 | Chatbot search system and program |
| WO2019220520A1 (en) | 2018-05-14 | 2019-11-21 | 富士通株式会社 | Analysis program, analysis method, and analysis device |
-
2020
- 2020-09-29 JP JP2020163650A patent/JP7456344B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160308799A1 (en) | 2015-04-20 | 2016-10-20 | Oracle International Corporation | Virtual assistance for chat agents |
| JP2019185614A (en) | 2018-04-16 | 2019-10-24 | Ｊｅインターナショナル株式会社 | Chatbot search system and program |
| WO2019220520A1 (en) | 2018-05-14 | 2019-11-21 | 富士通株式会社 | Analysis program, analysis method, and analysis device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021093133A (en) | 2021-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10963525B2 (en) | Artificial intelligence system for providing relevant content queries across unconnected websites via a conversational environment | |
| US20220150251A1 (en) | Invoking an Automatic Process in a Web-Based Target System Using a Chat-Bot | |
| US10872104B2 (en) | Method and apparatus for natural language query in a workspace analytics system | |
| US9524291B2 (en) | Visual display of semantic information | |
| US11416211B2 (en) | Database systems and methods for conversation-driven dynamic updates | |
| US11163778B2 (en) | Integrating virtual and human agents in a multi-channel support system for complex software applications | |
| US10839168B2 (en) | Dynamic automation of pipeline creation | |
| US11762937B2 (en) | Information processing apparatus, information processing system, and method of processing information | |
| US20240080283A1 (en) | Information processing system and information processing method | |
| US20200258045A1 (en) | System and method for assessing skill and trait levels | |
| US11417337B1 (en) | Initiating conversation monitoring system action based on conversational content | |
| US11735061B2 (en) | Dynamic response entry | |
| JP7456344B2 (en) | Information processing device, information processing system, information processing method and program | |
| Tavichaiyuth et al. | Developing chatbots in higher education: A case study of academic program chatbot in Thailand | |
| US11500956B2 (en) | Information processing apparatus, information processing system, information processing method, and program | |
| US20220189460A1 (en) | Task-oriented dialog system and method through feedback | |
| JP7413736B2 (en) | Information processing device, information processing system, information processing method and program | |
| US10809887B2 (en) | Evaluating user interface efficiency | |
| WO2022062612A1 (en) | Determining diagnostic information utilizing program code | |
| WO2023248289A1 (en) | Dialogue device, dialogue method, and dialogue program | |
| JP2021093139A (en) | Information processing apparatus, information processing system, information processing method, and program | |
| Lommatzsch et al. | Combining Information Retrieval and Large Language Models for a Chatbot that Generates Reliable, Natural-style Answers. | |
| CN117494073A (en) | Training method, device, equipment and storage medium of dialogue recommendation model | |
| WO2023027813A1 (en) | Performing quality-based action(s) regarding engineer-generated documentation associated with code and/or application programming interface | |
| CN117806967A (en) | Method for processing code and training method of code processing model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230224 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240207 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240226 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7456344 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |