JP2020091513A - Information processing apparatus, information processing method - Google Patents
Information processing apparatus, information processing method Download PDFInfo
- Publication number
- JP2020091513A JP2020091513A JP2018226252A JP2018226252A JP2020091513A JP 2020091513 A JP2020091513 A JP 2020091513A JP 2018226252 A JP2018226252 A JP 2018226252A JP 2018226252 A JP2018226252 A JP 2018226252A JP 2020091513 A JP2020091513 A JP 2020091513A
- Authority
- JP
- Japan
- Prior art keywords
- learning model
- user
- chat
- genre
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 38
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims description 86
- 230000008569 process Effects 0.000 claims description 82
- 238000004458 analytical method Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 abstract description 35
- 230000004044 response Effects 0.000 abstract description 20
- 238000007726 management method Methods 0.000 description 70
- 238000000605 extraction Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 230000000877 morphologic effect Effects 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012559 user support system Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、学習モデルを用いてユーザからの問い合わせに対応するための自動応答システムについての各処理を行う情報処理装置及び情報処理方法についての技術分野に関する。 The present invention relates to a technical field of an information processing apparatus and an information processing method for performing each process of an automatic response system for responding to an inquiry from a user using a learning model.
機械によってユーザからの問い合わせ等に対応するＡＩ（Artificial Intelligence）技術を用いた自動応答システム（所謂チャットボット）が普及してきている（例えば、特許文献１）。チャットボットを利用することにより、ユーザからの問い合わせに対応するオペレータが不要とされることから、人件費等のコスト削減を図ることができる利点が存在する。 2. Description of the Related Art An automatic response system (so-called chatbot) using AI (Artificial Intelligence) technology that responds to inquiries from users by machines has become widespread (for example, Patent Document 1). The use of the chatbot eliminates the need for an operator who responds to inquiries from users, and thus has the advantage of being able to reduce costs such as personnel costs.
このような自動応答システムにおいては、ユーザによって入力される様々な会話内容に対応するために、各種データベースが肥大化しがちである。各種データベースが肥大化した状態でユーザへの応答を抽出する処理を行った場合、処理負担が大きくなり、ユーザの入力に対するレスポンスが遅くなってしまう虞がある。
本発明においては、このような状況を鑑み、処理負担の軽減を図りつつ迅速な回答を行うことを目的とする。
In such an automatic response system, various databases tend to be bloated in order to deal with various conversation contents input by the user. When the process of extracting the response to the user is performed in a state where the various databases are bloated, the processing load increases and the response to the user's input may be delayed.
In view of such a situation, it is an object of the present invention to provide a quick reply while reducing the processing load.
本発明に係る情報処理装置は、それぞれが所定分野の問い合わせ対応を行うための複数の学習モデルのうちから選択された学習モデルを用いてチャット対応を行うチャット対応部と、チャット内容に応じて前記チャット対応部で使用する学習モデルを選択する選択部と、を備えたものである。
一つのチャット対応部で複数の学習モデルを使い分ける構成を採用することにより、学習モデルごとにチャット対応部を設ける場合と比較して、少なくとも一部のシステムを共有することができる。
The information processing apparatus according to the present invention includes a chat correspondence unit that performs chat correspondence using a learning model selected from among a plurality of learning models for responding to inquiries in a predetermined field, and the chat correspondence unit according to chat contents. And a selection unit for selecting a learning model to be used in the chat correspondence unit.
By adopting a configuration in which a plurality of learning models are selectively used in one chat correspondence unit, at least a part of the system can be shared as compared with the case where a chat correspondence unit is provided for each learning model.
上記した情報処理装置の選択部においては、ユーザによって入力された問い合わせ内容の分析結果に基づいて、問い合わせ内容が属するジャンルと、ユーザの知識レベルを特定するチャット内容特定部と、複数の学習モデルから特定されたジャンルの問い合わせ内容に対応するための学習モデル群を選択する対応ジャンル選択部と、前記学習モデル群から特定されたユーザの知識レベルに対応するための学習モデルを選択して切り替える学習モデル切換部と、を備えていてもよい。
学習モデルがジャンルごと、或いはユーザの知識レベルごとに用意されることにより、多様なユーザのニーズに適用することが可能となる。
In the selection unit of the information processing apparatus described above, based on the analysis result of the inquiry content input by the user, the genre to which the inquiry content belongs, the chat content identification unit that identifies the knowledge level of the user, and the plurality of learning models A corresponding genre selection unit for selecting a learning model group for responding to the inquiry content of the specified genre, and a learning model for selecting and switching the learning model for corresponding to the knowledge level of the user specified from the learning model group. And a switching unit.
By preparing a learning model for each genre or each user's knowledge level, it is possible to apply it to various user needs.
上記した情報処理装置においては、問い合わせ内容の分析結果から新たなジャンルを生成し、該新たなジャンルの問い合わせ内容に対応するための学習モデルを生成する生成部と、を備えていてもよい。
問い合わせ内容に応じて適応的にジャンルを生成すると共に、生成した新ジャンルについての問い合わせ内容に適用可能な学習モデルを新たに生成することにより、ユーザからの問い合わせが多いジャンルなどが新ジャンルとして確立されると共に、適切な問い合わせ対応を行うことが可能となる。
The above-described information processing apparatus may include a generation unit that generates a new genre from the analysis result of the inquiry content and generates a learning model for responding to the inquiry content of the new genre.
By creating a genre adaptively according to the inquiry content and by newly creating a learning model that can be applied to the created inquiry content about the new genre, a genre frequently inquired by users is established as a new genre. In addition, it becomes possible to respond appropriately to inquiries.
上記した情報処理装置においては、問い合わせ対応が継続している状況において、前記チャット内容特定部によるジャンルの特定を継続し、前記対応ジャンル選択部は特定されたジャンルが変更された場合に変更されたジャンルに合わせて学習モデル群を再度選択してもよい。
問い合わせ内容が時間経過と共に移り変わるような場合には、適宜適切なジャンルの特定が行われる。
In the information processing apparatus described above, in a situation where inquiries are being continued, the chat content specifying unit continues to specify the genre, and the corresponding genre selecting unit is changed when the specified genre is changed. The learning model group may be selected again according to the genre.
When the inquiry content changes over time, an appropriate genre is specified as appropriate.
上記した情報処理装置においては、問い合わせ対応が継続している状況において、前記チャット内容特定部による知識レベルの特定を継続し、前記学習モデル切換部は特定された知識レベルが変更された場合に変更された知識レベルに合わせて学習モデル群から学習モデルを再度選択してもよい。
問い合わせ内容の解析を継続的に実行することにより、適宜ユーザの知識レベルを推定し直し、それに応じて適切な学習モデルが再度選択し直される。
In the information processing apparatus described above, in a situation where inquiries continue to be made, the chat content specifying unit continues to specify the knowledge level, and the learning model switching unit changes when the specified knowledge level is changed. The learning model may be selected again from the learning model group according to the knowledge level.
By continuously executing the analysis of the inquiry contents, the knowledge level of the user is re-estimated as appropriate, and an appropriate learning model is re-selected accordingly.
本発明に係る情報処理方法は、それぞれが所定分野の問い合わせ対応を行うための複数の学習モデルのうちから選択された学習モデルを用いてチャット対応を行う処理と、チャット内容に応じて使用する学習モデルを選択する処理を、情報処理装置が実行するものである。 The information processing method according to the present invention includes a process of performing chat correspondence using a learning model selected from a plurality of learning models for responding to inquiries in a predetermined field, and learning used according to chat contents. The information processing apparatus executes the process of selecting a model.
このように、複数の学習モデルが用意されることにより、学習モデルごとにチャット対応部を設ける場合と比較して、少なくとも一部のシステムを共有することができる。 In this way, by preparing a plurality of learning models, it is possible to share at least a part of the system as compared with the case where the chat corresponding unit is provided for each learning model.
本発明によれば、処理負担の軽減が図られ、迅速な回答を行うことができる。 According to the present invention, the processing load can be reduced and a quick reply can be made.
実施の形態について、添付図を参照しながら説明する。
＜１．チャットボットシステムの構成＞
ユーザからの問い合わせに対して、チャットを用いて回答を提示するチャットボットシステムＣＢＳの構成について、図１を参照して説明する。
チャットボットシステムＣＢＳは、後述する各種の処理を行う管理端末１と、該各種の処理を実行するために利用されるデータベース（Database、以降「DB」と記載）群を備えている。なお、チャットボットシステムＣＢＳは、ユーザの問い合わせに対して有人対応を行うためのオペレータ端末４を備えていてもよい。
チャットボットシステムＣＢＳは、通信ネットワーク２を介して複数のユーザ端末３と相互に通信可能とされている。
Embodiments will be described with reference to the accompanying drawings.
<1. Chatbot system configuration>
A configuration of a chatbot system CBS that presents an answer using a chat in response to an inquiry from a user will be described with reference to FIG.
The chatbot system CBS includes a
The chatbot system CBS is capable of mutually communicating with a plurality of
なお、図１に示した通信ネットワーク２の構成は特に限定されるものではなく、上記したインターネット以外にも、例えばイントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＣＡＴＶ（Community Antenna TeleVision）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網などが想定される。
また、通信ネットワーク２の全部又は一部を構成する伝送媒体についても多様な例が想定される。例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４、ＵＳＢ（Universal Serial Bus）、電力線搬送、電話線などの有線でも、ＩｒＤＡ（Infrared Data Association）のような赤外線、ブルートゥース（登録商標）、８０２．１１無線、携帯電話網、衛星回線、地上波デジタル網などの無線でも利用可能である。
The configuration of the
In addition, various examples of transmission media forming all or part of the
管理端末１は、チャットを利用したユーザからの問い合わせを受け付ける処理や、ユーザからの問い合わせ内容を解析する処理や、解析された問い合わせ内容に基づいてユーザへの応答を抽出して提示する処理などを実行する。
The
そのために、チャットボットシステムＣＢＳは、解析ＤＢ５１や学習モデルＤＢ５２や正誤ＤＢ５３や会話ＤＢ５４などを備えている。管理端末１は、これらの各ＤＢに情報を記憶する処理や、各ＤＢから情報を取得する処理などを実行可能とされている。
Therefore, the chatbot system CBS includes an
ユーザ端末３は、問い合わせを行うユーザが利用する情報処理装置である。ユーザ端末３としては、例えば、通信機能を備えたＰＣ（Personal Computer）やフィーチャーフォンやＰＤＡ（Personal Digital Assistants）、或いは、スマートフォンやタブレット端末などのスマートデバイスなどである。
また、チャットボットシステムＣＢＳが音声チャットに対応可能とされている場合には、通話機能を備えた情報処理装置や、電話機などであってもよい。
なお、ユーザ端末３は複数あってもよい。例えば、複数のユーザ端末３が同時にチャットボットシステムＣＢＳに接続可能とされることにより、複数のユーザが同時に問い合わせ可能とされていてもよい。
The
Further, when the chatbot system CBS is capable of supporting voice chat, it may be an information processing device having a call function, a telephone, or the like.
There may be a plurality of
オペレータ端末４は、ユーザからの問い合わせに対する対応を行うオペレータが使用する情報処理端末である。オペレータ端末４は、ユーザに対してテキストチャットを用いた案内を行うためのソフトウェアがインストールされている。また、ユーザに対して音声チャットを用いた案内が可能とされていてもよく、その場合には、音声チャットを行うためのソフトウェアがインストールされており、且つ、オペレータの音声を通信データに変換可能な構成を備えている。 The operator terminal 4 is an information processing terminal used by an operator who handles inquiries from users. The operator terminal 4 is installed with software for providing guidance to the user using text chat. Also, guidance using voice chat may be possible for the user, in which case software for performing voice chat is installed and the voice of the operator can be converted into communication data. It has various configurations.
続いて図１に示した管理端末１、ユーザ端末３、オペレータ端末４、解析ＤＢ５１、学習モデルＤＢ５２、正誤ＤＢ５３、会話ＤＢ５４を構成する情報処理装置のハードウェア構成を図２に示す。管理端末１、ユーザ端末３、オペレータ端末４、解析ＤＢ５１、学習モデルＤＢ５２、正誤ＤＢ５３、会話ＤＢ５４として示した各装置は、情報処理および情報通信が可能な図２に示すようなコンピュータ装置として実現できる。
Next, FIG. 2 shows a hardware configuration of an information processing apparatus that configures the
＜２．コンピュータ装置のハードウェア構成＞
図２において、コンピュータ装置のＣＰＵ（Central Processing Unit）１０１は、ＲＯＭ( Read Only Memory)１０２に記憶されているプログラム、または記憶部１０８からＲＡＭ( Random Access Memory )１０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１０３にはまた、ＣＰＵ１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ１０１、ＲＯＭ１０２、およびＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４には、入出力インタフェース１０５も接続されている。
入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９が接続されている。
入力部１０６はキーボード、マウス、タッチパネルなどにより構成される。
出力部１０７はＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、有機ＥＬ（Electroluminescence）パネルなどよりなるディスプレイ、並びにスピーカなどにより構成される。
記憶部１０８はＨＤＤ（Hard Disk Drive）やフラッシュメモリ装置などにより構成される。
通信部１０９はネットワーク１を介しての通信処理や機器間通信を行う。
入出力インタフェース１０５にはまた、必要に応じてメディアドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１が適宜装着され、リムーバブルメディア１１１に対する情報の書込や読出が行われる。
<2. Hardware configuration of computer>
In FIG. 2, a CPU (Central Processing Unit) 101 of a computer device is provided with various types of programs according to a program stored in a ROM (Read Only Memory) 102 or a program loaded from a
The
An
The
The
The
The
A media drive 110 is also connected to the input/
このようなコンピュータ装置では、通信部１０９による通信によりデータやプログラムのアップロード、ダウンロードが行われる。またリムーバブルメディア１１１を介したデータやプログラムの受け渡しが可能である。
ＣＰＵ１０１が各種のプログラムに基づいて処理動作を行うことで、管理端末１、ユーザ端末３、オペレータ端末４、解析ＤＢ５１、学習モデルＤＢ５２、正誤ＤＢ５３、会話ＤＢ５４としての必要な情報処理や通信が実行される。
なお、管理端末１、ユーザ端末３、オペレータ端末４、解析ＤＢ５１、学習モデルＤＢ５２、正誤ＤＢ５３、会話ＤＢ５４を構成する情報処理装置は、図２のようなコンピュータ装置が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、ＬＡＮ等によりシステム化されていてもよいし、インターネット等を利用したＶＰＮ等により遠隔地に配置されたものでもよい。複数の情報処理装置には、クラウドコンピューティングサービスによって利用可能なサーバ群（クラウド）としての情報処理装置が含まれてもよい。
In such a computer device, data and programs are uploaded and downloaded by communication by the
By the
It should be noted that the information processing apparatus that configures the
＜３．管理端末の機能構成＞
管理端末１の機能構成の一例について、図３を参照して説明する。
管理端末１としての各機能は、情報処理装置においてＣＰＵ１０１でプログラムに応じて実行される処理により実現される機能である。但し以下説明する全部又は一部の各構成の処理をハードウェアにより実現してもよい。
また各機能をソフトウェアで実現する場合に、各機能がそれぞれ独立したプログラムで実現される必要はない。１つのプログラムにより複数の機能の処理が実行されてもよいし、１つの機能が複数のプログラムモジュールの連携で実現されてもよい。
また各機能は複数の情報処理装置に分散されていてもよい。さらに機能の１つが、複数の情報処理装置によって実現されてもよい。
<3. Functional configuration of management terminal>
An example of the functional configuration of the
Each function as the
Further, when each function is realized by software, each function does not need to be realized by an independent program. Processing of a plurality of functions may be executed by one program, or one function may be realized by cooperation of a plurality of program modules.
Further, each function may be distributed to a plurality of information processing devices. Further, one of the functions may be realized by a plurality of information processing devices.
管理端末１は、管理制御部１ａ、形態素解析部１ｂ、インデックス生成部１ｃ、回答抽出部１ｄ、選択部１ｅ、学習部１ｆ、生成部１ｇを備えている。なお、これらの各部は管理端末１の一部の機能であり、それ以外の機能についても必要に応じて設けられている。
The
管理制御部１ａは、ユーザ端末３を利用しているユーザによって入力された問い合わせ内容（チャット内容）を受信する処理を行う。例えば、チャットを行うためのウェブページ情報を取得しユーザ端末３に送信する処理を行い、該ウェブページを介してユーザによって入力されたチャットの内容を取得することにより、問い合わせ内容の受信を行う。また、受信した問い合わせ内容を後述する形態素解析部１ｂに提供する処理などを行う。
The management control unit 1a performs a process of receiving the inquiry content (chat content) input by the user who is using the
なお、ウェブブラウザを用いてウェブページ上でテキストチャットや音声チャットを行う例を示したが、それ以外の方法であってもよい。例えば、テキストチャットや音声チャットを行うための特定のソフトウェアがユーザ端末３にインストールされており、受付部１ａは各チャットを開始させるためのコネクションをユーザ端末３とチャットボットシステムＣＢＳの間で確立させる処理等を行うことにより、該特定のソフトウェアを用いたチャットを開始させてもよい。
In addition, although the example which performs a text chat and a voice chat on a web page using a web browser was shown, the other methods may be used. For example, specific software for performing text chat or voice chat is installed in the
管理制御部１ａは、形態素解析部１ｂから受け取った解析結果をインデックス生成部１ｃに提供し、インデックス生成を実行させる処理や、解析結果を選択部１ｅに提供し、学習モデルの切り換えを行うか否かを判定させる処理なども行う。 The management control unit 1a provides the analysis result received from the morpheme analysis unit 1b to the index generation unit 1c and executes the index generation process, and provides the analysis result to the selection unit 1e to switch the learning model. A process for determining whether or not it is also performed.
形態素解析部１ｂは、ユーザによって入力された文章データを管理制御部１ａから受け取り、形態素解析を行う。文章データの形態素解析を行うために、形態素解析部１ｂは解析ＤＢ５１を利用する。形態素解析部１ｂによって解析された結果は、管理制御部１ａに提供される。
The morpheme analysis unit 1b receives the text data input by the user from the management control unit 1a and performs morpheme analysis. The morphological analysis unit 1b uses the
インデックス生成部１ｃは、形態素解析の結果を管理制御部１ａから取得し、インデックス生成を行う。インデックス生成は、学習モデルに対する入力情報を生成する処理である。生成したインデックス情報は、入力情報として回答抽出部１ｄに提供される。 The index generation unit 1c acquires the result of the morphological analysis from the management control unit 1a and performs index generation. Index generation is a process of generating input information for the learning model. The generated index information is provided to the answer extraction unit 1d as input information.
なお、図３においては、管理端末１が三つの学習モデルＧＭＡ，学習モデルＧＭＢ，学習モデルＧＭＣを備えている状態が示されている。それぞれの学習モデルは回答抽出部１ｄと学習モデルＤＢ５２を備えている。具体的には、学習モデルＧＭＡは回答抽出部１ｄＡと学習モデルＤＢ５２Ａを備えている。学習モデルＧＭＢは回答抽出部１ｄＢと学習モデルＤＢ５２Ｂを備えている。学習モデルＧＭＣは回答抽出部１ｄＣと学習モデルＤＢ５２Ｃを備えている。なお、図３における学習モデルＧＭＤは、まだ生成されていない学習モデルであり、破線で示している。以降の説明においては、いずれか任意の学習モデルを示す場合や学習モデル全体を示す場合は学習モデルＧＭと記載する。
図３に示す状態は、複数の学習モデルから選択されている学習モデルＧＭＢの回答抽出部１ｄＢにインデックス情報が提供されている。
Note that FIG. 3 shows a state in which the
In the state shown in FIG. 3, index information is provided to the
回答抽出部１ｄは、生成されたインデックス情報をインデックス生成部１ｃから受け取り、ユーザへ提示する回答情報を抽出する処理を行う。この処理では、学習モデルＤＢ５２から適切な回答情報が取得される。
なお、図３に示す状態においては、インデックス生成部１ｃからインデックス情報を取得した回答抽出部１ｄＢは、学習モデルＤＢ５２Ｂに記憶された情報に基づいて回答情報を取得する。
The answer extraction unit 1d receives the generated index information from the index generation unit 1c and performs a process of extracting the answer information to be presented to the user. In this process, appropriate answer information is acquired from the
In the state shown in FIG. 3, the answer extraction unit 1dB that has acquired the index information from the index generation unit 1c acquires the answer information based on the information stored in the
選択部１ｅは、管理制御部１ａから形態素解析の結果を取得し、学習モデルの切り換えを行うか否かを判定する。学習モデルは、例えば、図３に示す回答抽出部１ｄと学習モデルＤＢ５２を備えている。本実施の形態では、チャットボットシステムＣＢＳが複数の学習モデルを備えている。即ち、複数の回答抽出部１ｄとそれに応じたそれぞれの学習モデルＤＢ５２をチャットボットシステムＣＢＳは備えている。
例えば、図３においては、三つの学習モデルＧＭＡ、学習モデルＧＭＢ、学習モデルＧＭＣを備えており、その中から学習モデルＧＭＢが選択された状態を示している。
The selection unit 1e acquires the result of the morphological analysis from the management control unit 1a and determines whether to switch the learning model. The learning model includes, for example, the answer extraction unit 1d and the
For example, FIG. 3 includes three learning models GMA, a learning model GMB, and a learning model GMC, and shows a state in which the learning model GMB is selected.
学習モデルの切り換えを行うと判定した場合には、回答抽出部１ｄと学習モデルＤＢ５２のセットを複数のセットから適切なものに切り換える処理を行う。
なお、学習モデルＤＢ５２のみを切り換えることにより、学習モデルの切り換えを行ってもよい。
また、インデックス生成部１ｃによって生成されたインデックス情報を取得し、該インデックス情報に基づいて学習モデルの切り換えを行うか否かを判定してもよい。
When it is determined that the learning model is switched, a process of switching the set of the answer extraction unit 1d and the
The learning model may be switched by switching only the
Further, the index information generated by the index generation unit 1c may be acquired and it may be determined whether or not to switch the learning model based on the index information.
なお、選択部１ｅは、図４に示すように、内容特定部５と対応ジャンル選択部６と学習モデル切換部７を備えている。
内容特定部５は、チャット内容からユーザの問い合わせ内容が属するジャンルと問い合わせユーザの知識レベルを特定する処理を行う。
The selecting unit 1e includes a
The
対応ジャンル選択部６は、特定されたジャンルに応じた対応を行うための学習モデル群（複数の学習モデル）を切り換え候補として選択する処理を行う。
例えば、学習モデルＧＭＡがジャンルＣ１の問い合わせに対応するためのもので、且つ、ジャンルＣ１についての知識が豊富でない（乏しい）ユーザに対応するための学習モデルであり、学習モデルＧＭＢがジャンルＣ１の問い合わせに対応するためのもので、且つ、ジャンルＣ１についての知識が豊富なユーザに対応するための学習モデルであり、学習モデルＧＭＣがジャンルＣ２の問い合わせに対応するためのものである場合を考える。
ここで、問い合わせ内容のジャンルがジャンルＣ１であると特定された場合、対応ジャンル選択部６は、学習モデルＧＭＡと学習モデルＧＭＢからなる学習モデル群を切り換え候補として選択する。
The corresponding
For example, the learning model GMA is for responding to inquiries about the genre C1 and is also a learning model for responding to users who do not have a lot of knowledge about the genre C1 (poor), and the learning model GMB is for inquiries about the genre C1. Consider a case in which the learning model GMC is a model for responding to the inquiry of the genre C2, and is a learning model for responding to a user who has a wealth of knowledge about the genre C1.
Here, when the genre of the inquiry content is identified as the genre C1, the corresponding
学習モデル切換部７は、選択された学習モデル群の中からユーザの知識レベルに応じた適切な学習モデルを一つ選択し切り換えを行う処理を実行する。
上述の例を用いて説明すると、内容特定部５によって今回の問い合わせユーザの知識レベルが高いと特定した場合、即ち、ジャンルＣ１についての知識が豊富なユーザであると特定した場合、学習モデル切換部７は、学習モデルＧＭＡと学習モデルＧＭＢのうち、学習モデルＧＭＢを選択する。
The learning
Explaining using the above example, when the
学習部１ｆは、教師データやユーザが実際に入力した会話データを用いた学習を行い、学習モデルを構築する処理を行う。学習部１ｆはユーザが実際に入力した会話データを継続的に学習することにより、生成された学習モデルの更新を行う。
学習部１ｆが学習モデルの構築や更新を行うために実行する学習処理では、会話ＤＢ５４や正誤ＤＢ５３を用いる。
The learning unit 1f performs learning using teacher data and conversation data actually input by the user, and performs processing for constructing a learning model. The learning unit 1f updates the generated learning model by continuously learning the conversation data actually input by the user.
In the learning process executed by the learning unit 1f to construct or update the learning model, the
生成部１ｇは、学習モデルを新たに生成する処理を行う。例えば、ユーザからの問い合わせ内容（質問傾向）に一定の偏りが見られた場合、そのような問い合わせに対応するための学習モデルを新たに生成することによって、特定の分野に特化した学習モデルが生成され、より専門的な対応が可能となる。
図３では、回答抽出部１ｄＤと学習モデルＤＢ５２Ｄを備えた学習モデルＧＭＤ（破線で図示）を生成部１ｇが新たに生成している状態を示している。学習モデルＧＭＤの生成後は、選択部１ｅの選択対象が三つの学習モデルＧＭから四つの学習モデルＧＭへと増加する。
The generation unit 1g performs a process of newly generating a learning model. For example, if there is a certain bias in the inquiry content (question tendency) from the user, a learning model specialized for a specific field can be created by newly creating a learning model for responding to such an inquiry. It is generated, and more specialized correspondence is possible.
FIG. 3 shows a state in which the generation unit 1g newly generates a learning model GMD (illustrated by a broken line) including the answer extraction unit 1dD and the
管理制御部１ａと形態素解析部１ｂとインデックス生成部１ｃと回答抽出部１ｄは、ユーザからの問い合わせについてチャット対応を行うチャット対応部として機能する。 The management control unit 1a, the morphological analysis unit 1b, the index generation unit 1c, and the answer extraction unit 1d function as a chat correspondence unit that performs chat correspondence regarding an inquiry from the user.
＜４．各ＤＢ＞
解析ＤＢ５１は、単語や品詞の情報が記憶されたデータベースであり、形態素解析に用いられる情報が記憶されたものである。解析ＤＢ５１には、一つの言語からなる文章データを解析するための情報が記憶されてもよいし、複数の言語からなる文章データを解析するための情報が記憶されていてもよい。
<4. Each DB>
The
学習モデルＤＢ５２は、インデックス情報とそれに対する回答情報が紐付けて記憶されているデータベースである。学習モデルＤＢ５２に記憶された情報は、ユーザとのやりとりが増えるごとに蓄積された会話情報に基づいて更新される。
The
正誤ＤＢ５３は、ユーザによって入力された問い合わせの内容（質問内容）に対してユーザに提示した回答が正しいか否かを示す情報が記憶される。
例えば、管理制御部１ａは、ユーザによって入力された会話データと、それに対してチャットボットシステムＣＢＳがユーザに提示した回答情報と、回答情報の提示を受けたユーザが示した反応の情報に基づいて、ユーザに提示した情報が正しかったか否かを判定する。正誤ＤＢ５３には、該判定結果が格納される。
ユーザが示した反応の情報は、例えば、ユーザに提示した情報が適切であったか否かをユーザ自身に回答させることにより取得した情報でもよいし、ユーザに情報を提示した後にユーザが入力した挨拶文の態様からユーザの満足度を推定した情報でもよいし、音声チャットである場合には、情報を提示した後のユーザの声の抑揚や高さなどからユーザの満足度を推定した情報でもよい。
The correct/
For example, the management control unit 1a is based on the conversation data input by the user, the response information presented by the chatbot system CBS to the user, and the reaction information presented by the user who has received the response information. , It is determined whether the information presented to the user was correct. The determination result is stored in the correct/
The reaction information indicated by the user may be, for example, information obtained by allowing the user to answer whether or not the information presented to the user was appropriate, or a greeting message input by the user after presenting the information to the user. In the case of voice chat, the information may be information in which the satisfaction level of the user is estimated from the intonation or pitch of the voice of the user after the information is presented.
また、チャットボットシステムＣＢＳが対応できなかった質問に対する回答が管理者によって入力され正誤ＤＢ５３に記憶されてもよい。学習部１ｆは、対応できなかった質問とそれに対する模範的な回答情報から学習モデルＤＢ５２を更新することができる。
In addition, an answer to a question that the chatbot system CBS cannot support may be input by the administrator and stored in the
会話ＤＢ５４は、ユーザによって入力された問い合わせ内容とユーザに提示された回答情報や、ユーザが入力した挨拶文など、ユーザとのチャットで送受信された情報が記憶されるデータベースである。
学習部１ｆは、会話ＤＢ５４に記憶された情報を利用した学習を行い、学習モデルＤＢ５２の更新を行う。
The
The learning unit 1f performs learning using the information stored in the
＜５．各種処理＞
管理端末１が実行する各種の処理について、添付図を参照して説明する。
＜５−１．問い合わせ対応処理＞
先ず、ユーザからの問い合わせを受け付けた場合に行う「問い合わせ対応処理」について、図５を参照して説明する。
<5. Various processing>
Various processes executed by the
<5-1. Inquiry processing>
First, the “inquiry handling process” performed when an inquiry from the user is received will be described with reference to FIG.
管理端末１は、ステップＳ１０１でチャット開始処理を行う。チャット開始処理では、チャットを開始させるための操作を行ったユーザ、即ちチャットの開始要請を行ったユーザに対して、該ユーザが使用するユーザ端末３とチャットボットシステムＣＢＳの間でチャットを行うための接続を確立させる処理などを行う。また、チャットを開始させるためのウェブページ情報を送信することによりチャット開始処理としてもよい。
The
管理端末１はステップＳ１０２で、記録開始処理を行う。記録開始処理は、ユーザが入力した問い合わせ内容や、それに対してチャットボットシステムＣＢＳがユーザに提示した提示内容の記録を開始させる処理である。問い合わせ内容や提示内容は、時間情報と共に会話ＤＢ５４に記録される。
The
管理端末１はステップＳ１０３で、新規入力の有無を確認する。新規入力とは、ユーザによる新規のチャット入力であり、前回の処理から新たに追加されたチャット内容の有無を確認する処理である。
新規のチャット入力があった場合、管理端末１はステップＳ１０４からステップＳ１０８の各処理を実行する。即ち、先ず、ステップＳ１０４でチャット内容を取得する。ここで取得するチャット内容は、新規に追加されたチャット内容であってもよいし、新規に追加されたチャット内容だけでなくその直前に入力されたチャット内容を含んでいてもよい。
The
When there is a new chat input, the
次に、管理端末１はステップＳ１０５で、取得したチャット内容に対する形態素解析を行う。これにより、チャット内容が文章を構成する最小単位（即ち形態素）に分解される。
Next, in step S105, the
管理端末１はステップＳ１０６で、学習モデルが未選択であるか否かを判定する。学習モデルが未選択の場合には、ユーザの問い合わせ内容に対して回答情報を提示することができないため、管理端末１はステップＳ１０７で学習モデル選択処理を実行し、適切な一つの学習モデルを選択する。
The
学習モデル選択処理の一例について、図６を参照して説明する。
管理端末１はステップＳ２０１で、問い合わせ内容（チャット内容）及びユーザの知識量を特定する処理を実行する。この処理には、形態素解析の解析結果が用いられる。
問い合わせ内容の特定は、例えば、問い合わせ内容が属するジャンル情報を特定することである。具体的に、問い合わせ内容が保険に関することであれば、問い合わせ内容のジャンルが「保険」であることが特定される。なお、「保険」の中のサブジャンルである「ペット保険」がジャンルとして特定されてもよい。また、更に細分化された「ペット保険の手続」がジャンルとして特定されてもよい。
An example of the learning model selection process will be described with reference to FIG.
In step S201, the
Identification of the inquiry content is, for example, identification of genre information to which the inquiry content belongs. Specifically, if the inquiry content is about insurance, the genre of the inquiry content is specified to be "insurance". In addition, "pet insurance", which is a sub-genre of "insurance", may be specified as the genre. Further, the “further pet insurance procedure” may be specified as a genre.
問い合わせ内容のジャンルは、例えば、形態素解析によって抽出されたユーザが入力したチャット内容に含まれるキーワードを分析することで特定可能である。
具体的には、ジャンルごとに特有のキーワードや関連するキーワードが紐付けて記憶されたデータベースを用いる。抽出されたキーワード群との関連性をジャンルごとに算出し、キーワード群との高い関連性が認められたジャンルを特定する。
The genre of the inquiry content can be specified by, for example, analyzing the keyword included in the chat content input by the user extracted by the morpheme analysis.
Specifically, a database in which keywords unique to each genre and related keywords are stored in association with each other is used. The relevance to the extracted keyword group is calculated for each genre, and the genre having a high relevance to the keyword group is specified.
問い合わせユーザの知識量の特定についても、ジャンルごとに専門用語が紐付けられたデータベースを用い、それらの専門用語がどの程度チャット内容に含まれているかどうかで特定することが可能である。また、チャット内容が専門性の高いものである場合に、ユーザの知識量が豊富であると特定してもよい。 The knowledge amount of the inquiring user can also be specified by using a database in which technical terms are associated with each genre, and how much of those technical terms are included in the chat content. If the chat content is highly specialized, it may be specified that the user has a large amount of knowledge.
管理端末１はステップＳ２０２で、ジャンルに応じた学習モデル群を選択する。
チャットボットシステムＣＢＳが備える学習モデルは、ジャンルごとに設けられるだけでなく、問い合わせユーザの知識量によっても複数種類設けられている。ステップＳ２０２で選択する学習モデル群は、ステップＳ２０１で特定したジャンルに対応するための学習モデル複数個を学習モデル群として選択するものである。
なお、ジャンルに対応するための学習モデルが一つしかない場合、ステップＳ２０２の処理では該一つの学習モデルを選択する。
The
The learning model provided in the chatbot system CBS is not only provided for each genre but also provided in plural types depending on the knowledge amount of the inquiring user. The learning model group selected in step S202 is a group for selecting a plurality of learning models corresponding to the genre specified in step S201.
If there is only one learning model corresponding to the genre, the one learning model is selected in the process of step S202.
管理端末１はステップＳ２０３で、ユーザの知識量に応じた学習モデルを選択する。即ち、複数の学習モデルからなる学習モデル群のうちから、問い合わせユーザの知識量に応じた適切な学習モデルを一つ選択する処理である。もちろん、ジャンルに対応するための学習モデルが一つしかない場合には、該一つの学習モデルが選択される。即ち、そのような場合には、ステップＳ２０３の処理をスキップしてもよい。
In step S203, the
ステップＳ２０２及びＳ２０３を実行することにより、問い合わせ内容が属するジャンルに適し、且つ、問い合わせユーザの該ジャンルにおける知識レベルに適した学習モデルが選択される。これによって、ユーザの問い合わせ内容に対して適切な回答情報の提示を行うことができる。 By executing steps S202 and S203, a learning model suitable for the genre to which the inquiry content belongs and suitable for the knowledge level of the inquiry user in the genre is selected. As a result, it is possible to present appropriate answer information to the inquiry content of the user.
図５の説明に戻る。学習モデルが選択済み（ステップＳ１０６：選択済み）であった場合、管理端末１はステップＳ１０８で学習モデル切換処理を行う。学習モデル切換処理は、学習モデルの切り換えを行うか否かを判定し、学習モデルの切り換えを行った方が適切と判定した場合には学習モデルの切り換えを行い、そうでない場合はすでに選択済みの学習モデルを変更せずに処理を終えるものである。
Returning to the explanation of FIG. When the learning model has been selected (step S106: selected), the
学習モデル切換処理の一例について、図７を参照して説明する。
管理端末１はステップＳ２０１Ａで、問い合わせ内容及びユーザの知識量を特定する処理を実行する。この処理は、図６のステップＳ２０１と同様の処理である。
次に、管理端末１はステップＳ２５１で、特定したジャンルまたは特定したユーザ知識量に変更があるか否かを判定する。
An example of the learning model switching process will be described with reference to FIG. 7.
In step S201A, the
Next, in step S251, the
チャットによるやりとりを続けていると、質問内容やジャンルが変更される場合がある。例えば、最初は生命保険についての話題であったのが、途中からユーザが飼育しているペットが加入できるペット保険の話題に変更された場合などである。
ユーザによって入力されたチャット内容を解析することによりジャンルやユーザの知識レベルを適宜特定することによって、このような話題の変化を捉えることが可能である。
The question content and genre may change if you continue chatting. For example, when the topic about life insurance was first discussed, there is a case where the topic was changed to a topic about pet insurance that allows pets owned by the user to join.
By analyzing the chat contents input by the user and appropriately specifying the genre and the knowledge level of the user, it is possible to capture such changes in the topic.
ユーザの問い合わせ内容の変化を捉えた場合、即ちステップＳ２５１の判定処理の結果が「Ｙｅｓ」の場合、管理端末１はステップＳ２０２Ａでジャンルに応じた学習モデル群を再度選択し直し、ステップＳ２０３Ａでユーザの知識量に応じた学習モデルを選択する処理を実行する。これらの処理は、図６のステップＳ２０２及びステップＳ２０３の各処理と同様の処理である。
When the change in the inquiry content of the user is captured, that is, when the result of the determination processing in step S251 is “Yes”, the
図５の説明に戻る。
ステップＳ１０７の学習モデル選択処理を実行した後、或いは、ステップＳ１０８の学習モデル切換処理を実行した後、管理端末１はステップＳ１０９で、インデックス生成処理を実行する。
インデックス生成処理は、学習モデルＤＢ５２からユーザに提示する情報を抽出（或いは検索）するために用いられるインデックス情報を生成する処理である。例えば、ディープラーニングなどの多層のニューラルネットワークを用いた機械学習によって学習モデルが生成されている場合には、その学習モデルに入力するための入力データを生成する処理がインデックス生成処理である。
Returning to the explanation of FIG.
After executing the learning model selection process of step S107 or the learning model switching process of step S108, the
The index generation process is a process of generating index information used to extract (or search) information to be presented to the user from the
なお、インデックス生成処理をステップＳ１０５の後に実行してもよい。また、その場合には、生成されたインデックス情報を用いてステップＳ１０７の学習モデル選択処理やステップＳ１０８の学習モデル切換処理を実行してもよい。 The index generation process may be executed after step S105. In that case, the learning model selection process of step S107 and the learning model switching process of step S108 may be executed using the generated index information.
管理端末１はステップＳ１１０で、回答抽出処理を実行する。回答抽出処理は、例えば、学習モデルＤＢ５２からユーザへ提示する情報を取得する処理である。この処理は、インデックス情報を引数として学習モデルＤＢ５２から適切な情報を取得してもよいし、先のニューラルネットワークの出力層からの出力情報を取得することによりユーザに提示する情報を取得してもよい。
The
管理端末１はステップＳ１１１において、回答提示処理を行う。この処理を行うことにより、問い合わせユーザが使用するユーザ端末３の画面上などにユーザの問い合わせ内容に対する回答内容が提示される。
The
管理端末１はステップＳ１１２において、ユーザ反応に関する情報（ユーザ反応情報）を取得する。ユーザ反応に関する情報とは、ステップＳ１１１で問い合わせユーザに提示した情報に対する該ユーザの満足度などの情報である。即ち、提示した情報が適切なものであったか否かを表す情報である。
ユーザ反応情報の取得は、例えば、提示した情報が適切であるか否かを問う質問をユーザが利用するチャット画面上に提示させ、ユーザに回答させることによって得てもよい。
また、ユーザの問い合わせ内容とそれに対する回答内容を管理者やオペレータなどが確認することにより評価してもよい。
In step S112, the
The acquisition of the user reaction information may be obtained by, for example, presenting a question asking whether or not the presented information is appropriate on the chat screen used by the user and causing the user to answer.
Also, the content of the user's inquiry and the content of the reply to the inquiry may be confirmed by the administrator or operator to evaluate.
ユーザ反応情報から推測した回答内容の適切さの情報は、正誤ＤＢ５３に記憶されることにより、学習モデルの学習に用いられてもよい。
Information on the appropriateness of the answer content estimated from the user reaction information may be stored in the
ユーザ反応に関する情報を取得した後、或いは、ステップＳ１０３で新規入力がないと判定した後、管理端末１はステップＳ１１３でチャットの終了を検出したか否かを判定する。
チャット終了の検出は、例えば、ユーザがチャットを終了させる意思表示を行ったことを検出してもよいし、ユーザの問い合わせに対する十分な回答を提示できたと判定した場合にチャット終了の検出をしたと推定してもよい。
チャット終了を検出した場合には、例えば、「これでチャットを終了します。他に問い合わせないようがある場合は再度チャット入力を行ってください」などの文言をユーザ端末３上に表示させた後に、ユーザ端末３との接続を解消してもよい。
After acquiring the information about the user reaction, or after determining in step S103 that there is no new input, the
Chat end detection may include, for example, detecting that the user has made an intention to end the chat, or detecting chat end when it is determined that a sufficient answer to the user's inquiry can be presented. It may be estimated.
When the end of the chat is detected, for example, after displaying a message such as “This ends the chat. If there are other inquiries, please enter the chat again” on the
チャット終了を検出した場合は、管理端末１はステップＳ１１４の記録停止処理を実行することにより、会話ＤＢ５４への情報記録を停止させる。
また、チャット終了を検出しなかった場合、管理端末１は再度ステップＳ１０３からステップＳ１１３の各処理を実行する。
When detecting the end of the chat, the
If the end of chat is not detected, the
＜５−２．学習処理＞
学習処理では、ユーザの問い合わせ内容や教師データなどを用いた機械学習を行うことにより、学習モデルの生成や更新を行う。学習処理の一例について、図８を参照して説明する。
管理端末１はステップＳ３０１で、ユーザの問い合わせ情報の取得を行う。ユーザの問い合わせ情報は、例えば、ユーザとのチャット上でのやりとりが記憶された会話ＤＢ５３などから取得する。
<5-2. Learning process>
In the learning process, the learning model is generated and updated by performing machine learning using the inquiry contents of the user and teacher data. An example of the learning process will be described with reference to FIG.
The
管理端末１はステップＳ３０２で、提示した回答情報を取得する処理を行う。この処理は、例えば、会話ＤＢ５３などから取得可能である。
管理端末１はステップＳ３０３で、対応する正誤情報を取得する処理を行う。正誤情報は、ユーザの問い合わせ内容に対して提示した回答内容が適切であったか否かを示す情報であり、例えば前述した図５のステップＳ１１２で取得したユーザ反応に関する情報であり、正誤ＤＢ５３に記憶されている。
The
The
管理端末１はステップＳ３０４で、学習モデルの再構築を行う。学習モデルが未構築の場合は、ステップＳ３０４で学習モデルの生成を行う。学習モデルの生成や再構築は、ニューラルネットワークや遺伝的プログラミングなどの各種の手法を用いることにより、或いは複数の手法を組み合わせることにより、実現可能である。
The
＜５−３．新規学習モデル生成処理＞
新規学習モデル生成処理では、既存のジャンルとは異なるジャンルを生成する処理や、既存のジャンルを細分化して新たなジャンルを生成する処理を行う。
管理端末１はステップＳ４０１で、前回の新規学習モデル生成処理の実行後に新たに受け付けた問い合わせ情報の取得を行う。
<5-3. New learning model generation process>
In the new learning model generation process, a process of generating a genre different from the existing genre or a process of subdividing the existing genre to generate a new genre is performed.
In step S401, the
管理端末１はステップＳ４０２で、同種の問い合わせの数が所定数以上であるか否かを判定する。ここでは、ステップＳ４０１で取得した新規の問い合わせ情報だけでなく、これまでに受け付けた問い合わせ情報の中に、ある種類の問い合わせが所定数以上であるか否かを判定する。
ある二つの問い合わせ内容が同種である場合とは、例えば、問い合わせ内容から抽出したキーワードが所定割合以上（或いは全て）一致した場合や、ユーザが満足した回答内容が同一の場合などである。
In step S402, the
The case where two certain inquiry contents are the same type is, for example, when the keywords extracted from the inquiry contents are equal to or more than a predetermined ratio (or all), or when the answer contents satisfied by the user are the same.
キーワードが所定割合以上一致する場合は、ユーザが知りたい情報が同じである可能性が高いことを示している。
また、ユーザが満足した回答内容が同一である場合とは、ユーザが知りたい情報が一致していることを示しており、即ち、ユーザの問い合わせ内容が一致しているとみなす事が可能である。
If the keywords match at a predetermined rate or more, it indicates that the information that the user wants to know is likely to be the same.
In addition, the case where the answer contents that the user is satisfied are the same indicates that the information that the user wants to know matches, that is, it can be considered that the inquiry contents of the user match. ..
ステップＳ４０２で同種の問い合わせの数が所定数以上あると判定された場合、該同種の問い合わせに関する新ジャンルを新たに生成し、該新ジャンルについての問い合わせ対応を行うための学習モデルを新たに生成する処理を行う。
即ち、管理端末１はステップＳ４０３で、問い合わせ内容に則したジャンルを新ジャンルとして作成し、ステップＳ４０４で、学習モデルの生成処理を実行する。
When it is determined in step S402 that the number of inquiries of the same type is equal to or larger than the predetermined number, a new genre for the inquiries of the same type is newly generated, and a learning model for performing inquiries regarding the new genre is newly generated. Perform processing.
That is, the
一方、ステップＳ４０２で同種の問い合わせの数が所定数未満であると判定された場合、管理端末１は図９に示す新規学習モデル生成処理を終了させる。
On the other hand, when it is determined in step S402 that the number of inquiries of the same type is less than the predetermined number, the
なお、ステップＳ４０２では、単純に同種の問い合わせの数が所定数以上であるか否かで判定したが、それ以外の条件を適用することも考えられる。
例えば、既存のあるジャンルに付いての問い合わせの数が所定数以上（例えば１０００件以上）とされ、且つ、その中の所定割合以上（例えば４０％以上）が同種の問い合わせであった場合に、新たなジャンルを生成するとしてもよい。
その場合には、４００件の同種の問い合わせと提示内容に基づく機械学習を行うことにより、新ジャンルについての学習モデルを新規に生成する。
なお、この場合には、同種の問い合わせが所定割合以上（例えば４０％以上）を占めると共に所定割合未満（例えば９０％未満）である場合に、新規ジャンルを生成するとしてもよい。これについては、同種の問い合わせが１００％であった場合、該同種の問い合わせについて新規ジャンルを生成したとしても無意味となってしまうからである。
Although it is determined in step S402 whether or not the number of inquiries of the same type is equal to or larger than a predetermined number, it is possible to apply other conditions.
For example, when the number of inquiries about a certain existing genre is a predetermined number or more (for example, 1000 or more), and a predetermined ratio or more (for example, 40% or more) of them is the same type of inquiry, A new genre may be generated.
In that case, a learning model for a new genre is newly generated by performing machine learning based on 400 inquiries of the same type and the presented contents.
In this case, a new genre may be generated when the same type of inquiry occupies a predetermined ratio or more (for example, 40% or more) and is less than the predetermined ratio (for example, less than 90%). This is because if 100% of inquiries of the same type occur, it would be meaningless even if a new genre is generated for the inquiries of the same type.
＜６．まとめ＞
上述の各例で説明したように、チャットボットシステムＢＳの管理端末１は、それぞれが所定分野の問い合わせ対応を行うための複数の学習モデルのうちから選択された学習モデルを用いてチャット対応を行うチャット対応部（管理制御部１ａと形態素解析部１ｂとインデックス生成部１ｃと回答抽出部１ｄ）と、チャット内容に応じてチャット対応部で使用する学習モデルを選択する選択部１ｅと、を備えている。
問い合わせ内容の分野ごとに学習モデルが用意されることにより、分野に応じた適切な回答を行うことが可能とされる。また、チャット内容の解析結果に応じて適切な学習モデルを選択することにより、適切な問い合わせ対応を行うことができる。
一つのチャット対応部で複数の学習モデルを使い分ける構成を採用することにより、学習モデルごとにチャット対応部を設ける場合と比較して、少なくとも一部のシステムを共有することができるため、チャット対応を行うシステムのコンパクト化や開発工数の削減を図ることができる。
また、複数の学習モデルを使い分けることにより、一つ一つの学習モデルをコンパクトにすることができる。コンパクト化された一つの学習モデルを利用してユーザの問い合わせに対する回答を抽出する処理を行うことにより、処理負荷の軽減が図られ、ユーザに対して迅速な回答の提示を行うことができる。また、消費電力を低減させることが可能となる。
<6. Summary>
As described in each of the above-described examples, the
By preparing a learning model for each field of inquiry content, it is possible to make an appropriate answer according to the field. In addition, by selecting an appropriate learning model according to the analysis result of the chat contents, it is possible to perform an appropriate inquiry response.
By adopting a configuration in which a plurality of learning models are separately used in one chat correspondence unit, at least a part of the system can be shared as compared with the case where a chat correspondence unit is provided for each learning model, and therefore chat correspondence is improved. It is possible to make the system compact and reduce the development man-hours.
In addition, it is possible to make each learning model compact by properly using a plurality of learning models. By performing the process of extracting the answer to the user's inquiry using one compact learning model, the processing load can be reduced and the user can be quickly presented with the answer. In addition, it becomes possible to reduce power consumption.
上述した管理端末１の選択部１ｅは、図４等を用いて説明したように、ユーザによって入力された問い合わせ内容の分析結果に基づいて、問い合わせ内容が属するジャンルと、ユーザの知識レベルを特定するチャット内容特定部（内容特定部５）と、複数の学習モデルから特定されたジャンルの問い合わせ内容に対応するための学習モデル群を選択する対応ジャンル選択部６と、学習モデル群から特定されたユーザの知識レベルに対応するための学習モデルを選択して切り替える学習モデル切換部７と、を備えていてもよい。
学習モデルがジャンルごと、或いはユーザの知識レベルごとに用意されることにより、多様なユーザのニーズに適用することが可能となる。
特に、ユーザの知識レベルごとに学習モデルを用意することにより、同じような問い合わせ内容であってもユーザの知識レベルに合わせた回答を提示することができるため、ユーザの利便性の向上に寄与することができる。
As described above with reference to FIG. 4 and the like, the selection unit 1e of the
By preparing a learning model for each genre or each user's knowledge level, it is possible to apply it to various user needs.
In particular, by preparing a learning model for each user's knowledge level, it is possible to present an answer matching the user's knowledge level even with similar inquiry contents, which contributes to improvement in user convenience. be able to.
上述した管理端末１は、図９の新規学習モデル生成処理等で説明したように、問い合わせ内容の分析結果から新たなジャンルを生成し、該新たなジャンルの問い合わせ内容に対応するための学習モデルを生成する生成部１ｇと、を備えていてもよい。
問い合わせ内容に応じて適応的にジャンルを生成すると共に、生成した新ジャンルについての問い合わせ内容に適用可能な学習モデルを新たに生成することにより、ユーザからの問い合わせが多いジャンルなどが新ジャンルとして確立されると共に、適切な問い合わせ対応を行うことが可能となる。
また、あるジャンルを細分化したジャンルが新たなジャンルとして生成されることにより、専門性の高い学習モデルが生成され、専門性の高い問い合わせ対応を行うことができる。
The
By creating a genre adaptively according to the inquiry content and by newly creating a learning model that can be applied to the created inquiry content about the new genre, a genre frequently inquired by users is established as a new genre. In addition, it becomes possible to respond appropriately to inquiries.
Further, by generating a genre obtained by subdividing a certain genre as a new genre, a highly specialized learning model is generated, and it is possible to respond to inquiries with a high degree of specialty.
上述した管理端末１においては、図５や図８等を用いて説明したように、問い合わせ対応が継続している状況において、チャット内容特定部によるジャンルの特定を継続し、対応ジャンル選択部は特定されたジャンルが変更された場合に変更されたジャンルに合わせて学習モデル群を再度選択するように構成してもよい。
問い合わせ内容が時間経過と共に移り変わるような場合には、適宜適切なジャンルの特定が行われる。
これによって、幅広い内容を問い合わせたいユーザに対して、適宜適切なジャンルに対応した学習モデルが選択され、適切な回答をユーザに提示することができる。
In the
When the inquiry content changes over time, an appropriate genre is specified as appropriate.
Thereby, a learning model corresponding to an appropriate genre is appropriately selected for a user who wants to inquire about a wide range of contents, and an appropriate answer can be presented to the user.
上述した管理端末１においては、図５や図８等を用いて説明したように、問い合わせ対応が継続している状況において、チャット内容特定部（内容特定部５）による知識レベルの特定を継続し、学習モデル切換部は特定された知識レベルが変更された場合に変更された知識レベルに合わせて学習モデル群から学習モデルを再度選択するように構成してもよい。
問い合わせ内容を解析することによりユーザの知識レベルを推定し、該推定に合わせて適切な学習モデルが選択されるが、場合によっては、最初に行った知識レベルの推定が誤っている可能性がある。本構成によれば、問い合わせ内容の解析を継続的に実行することにより、適宜ユーザの知識レベルを推定し直し、それに応じて適切な学習モデルが再度選択し直される。
特に、変更されたジャンルに合わせて学習モデル群の再選択を行う構成と共に用いられた場合には、ジャンルごとに異なる知識レベルを持つユーザに対しても適切な対応を行うことができる。具体的には、例えばジャンルＡについての知識は乏しくジャンルＢについての知識が豊富なユーザに対して、問い合わせ内容がジャンルＡに関するものである場合には理解し易いように平易な用語を使用しつつ回答を提示するが、問い合わせ内容がジャンルＢに関するものに変化した場合には専門的な用語を交えつつ正確な情報を提示することが可能となる。
In the
The user's knowledge level is estimated by analyzing the content of the inquiry, and an appropriate learning model is selected according to the estimation. However, in some cases, the first knowledge level estimation may be incorrect. .. According to this configuration, by continuously executing the analysis of the inquiry content, the knowledge level of the user is re-estimated as appropriate, and the appropriate learning model is re-selected accordingly.
In particular, when used together with the configuration for reselecting the learning model group according to the changed genre, it is possible to appropriately deal with users having different knowledge levels for each genre. Specifically, for example, for a user who has little knowledge of genre A and has a lot of knowledge of genre B, when the inquiry content is related to genre A, a plain term is used so that it can be easily understood. Although the answer is presented, when the inquiry content is changed to the one related to the genre B, it is possible to present accurate information while using a technical term.
なお、ユーザからの一つの問い合わせに対して所定回数の回答情報の提供を行った場合にユーザの肯定的な反応情報が得られなかった場合には、オペレータ端末４を利用するオペレータに接続してもよい。その場合には、オペレータがユーザの問い合わせ内容に対応することにより、適切な回答情報を提供することが可能となり、ユーザの利便性の向上が図られる。
また、このような場合には、ユーザ対応が終了した後に、ユーザの問い合わせ内容とオペレータの回答情報を用いた機械学習を行うことが望ましい。これにより、次回同様の問い合わせがユーザからなされたとしても、オペレータの手を煩わせること無く適切な回答情報を提供することができ、業務効率の改善に寄与することができる。
If the user's affirmative response information is not obtained when the response information is provided a predetermined number of times for one inquiry from the user, the operator using the operator terminal 4 is connected. Good. In that case, the operator can provide appropriate answer information by responding to the inquiry content of the user, and the convenience of the user can be improved.
Further, in such a case, it is desirable to perform machine learning using the inquiry content of the user and the answer information of the operator after the user support is completed. As a result, even if the same inquiry is made by the user next time, appropriate answer information can be provided without bothering the operator and can contribute to the improvement of work efficiency.
＜７．プログラム及び記憶媒体＞
以上、本発明の情報処理装置の実施の形態としての管理端末１を説明してきたが、実施の形態のプログラムは、チャットボットシステムＣＢＳＭＳにおける管理端末１の処理を情報処理装置（ＣＰＵ等）に実行させるプログラムである。
<7. Program and storage medium>
Although the
実施の形態のプログラムは、それぞれが所定分野の問い合わせ対応を行うための複数の学習モデルのうちから選択された学習モデルを用いてチャット対応を行う処理を情報処理装置に実行させる。
また、チャット内容に応じて使用する学習モデルを選択する処理を情報処理装置に実行させる。
即ちこのプログラムは、管理端末１に対して図５から図９の各図で説明した処理を実行させるプログラムである。
A program according to an embodiment causes an information processing apparatus to execute a process of chat correspondence using a learning model selected from a plurality of learning models each of which performs inquiry correspondence in a predetermined field.
Further, the information processing apparatus is caused to execute a process of selecting a learning model to be used according to chat contents.
That is, this program is a program that causes the
このようなプログラムにより、上述した管理端末１としての１又は複数の情報処理装置を実現できる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記憶媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記憶媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。
With such a program, one or more information processing devices as the
Such a program can be stored in advance in an HDD as a storage medium built in a device such as a computer or a ROM in a microcomputer having a CPU. Alternatively, it can be stored (stored) temporarily or permanently in a removable storage medium such as a semiconductor memory, a memory card, an optical disk, a magneto-optical disk, or a magnetic disk. Further, such a removable storage medium can be provided as so-called package software.
Further, such a program can be installed from a removable storage medium to a personal computer or the like, or can be downloaded from a download site via a network such as a LAN or the Internet.
１ 管理端末、１ａ 管理制御部、１ｂ 形態素解析部、１ｃ インデックス生成部、１ｄ 回答抽出部、１ｅ 選択部、１ｇ 生成部、５ 内容特定部、６ 対応ジャンル選択部、７ 学習モデル切換部 1 management terminal, 1a management control unit, 1b morphological analysis unit, 1c index generation unit, 1d answer extraction unit, 1e selection unit, 1g generation unit, 5 content identification unit, 6 supported genre selection unit, 7 learning model switching unit
＜６．まとめ＞
上述の各例で説明したように、チャットボットシステムＣＢＳの管理端末１は、それぞれが所定分野の問い合わせ対応を行うための複数の学習モデルのうちから選択された学習モデルを用いてチャット対応を行うチャット対応部（管理制御部１ａと形態素解析部１ｂとインデックス生成部１ｃと回答抽出部１ｄ）と、チャット内容に応じてチャット対応部で使用する学習モデルを選択する選択部１ｅと、を備えている。
問い合わせ内容の分野ごとに学習モデルが用意されることにより、分野に応じた適切な回答を行うことが可能とされる。また、チャット内容の解析結果に応じて適切な学習モデルを選択することにより、適切な問い合わせ対応を行うことができる。
一つのチャット対応部で複数の学習モデルを使い分ける構成を採用することにより、学習モデルごとにチャット対応部を設ける場合と比較して、少なくとも一部のシステムを共有することができるため、チャット対応を行うシステムのコンパクト化や開発工数の削減を図ることができる。
また、複数の学習モデルを使い分けることにより、一つ一つの学習モデルをコンパクトにすることができる。コンパクト化された一つの学習モデルを利用してユーザの問い合わせに対する回答を抽出する処理を行うことにより、処理負荷の軽減が図られ、ユーザに対して迅速な回答の提示を行うことができる。また、消費電力を低減させることが可能となる。
<6. Summary>
As described in each of the above-described examples, the
By preparing a learning model for each field of inquiry content, it is possible to make an appropriate answer according to the field. In addition, by selecting an appropriate learning model according to the analysis result of the chat contents, it is possible to perform an appropriate inquiry response.
By adopting a configuration in which a plurality of learning models are separately used in one chat correspondence unit, at least a part of the system can be shared as compared with the case where a chat correspondence unit is provided for each learning model, and therefore chat correspondence is improved. It is possible to make the system compact and reduce the development man-hours.
In addition, it is possible to make each learning model compact by properly using a plurality of learning models. By performing the process of extracting the answer to the user's inquiry using one compact learning model, the processing load can be reduced and the user can be quickly presented with the answer. In addition, it becomes possible to reduce power consumption.
＜７．プログラム及び記憶媒体＞
以上、本発明の情報処理装置の実施の形態としての管理端末１を説明してきたが、実施の形態のプログラムは、チャットボットシステムＣＢＳにおける管理端末１の処理を情報処理装置（ＣＰＵ等）に実行させるプログラムである。
<7. Program and storage medium>
Although the
Claims (6)
チャット内容に応じて前記チャット対応部で使用する学習モデルを選択する選択部と、を備えた
情報処理装置。 A chat correspondence unit that performs chat correspondence using a learning model selected from a plurality of learning models for responding to inquiries in a predetermined field,
An information processing apparatus comprising: a selection unit that selects a learning model to be used in the chat corresponding unit according to chat contents.
ユーザによって入力された問い合わせ内容の分析結果に基づいて、問い合わせ内容が属するジャンルと、ユーザの知識レベルを特定するチャット内容特定部と、
複数の学習モデルから特定されたジャンルの問い合わせ内容に対応するための学習モデル群を選択する対応ジャンル選択部と、
前記学習モデル群から特定されたユーザの知識レベルに対応するための学習モデルを選択して切り替える学習モデル切換部と、を備えた
請求項１に記載の情報処理装置。 The selection unit,
A genre to which the inquiry content belongs, and a chat content specifying unit that specifies the user's knowledge level, based on the analysis result of the inquiry content input by the user,
A corresponding genre selection unit that selects a learning model group for responding to inquiry contents of a genre specified from a plurality of learning models,
The information processing apparatus according to claim 1, further comprising: a learning model switching unit that selects and switches a learning model corresponding to the user's knowledge level specified from the learning model group.
請求項１から請求項２の何れかに記載の情報処理装置。 The generation unit that generates a new genre from the analysis result of the inquiry content, and generates a learning model for responding to the inquiry content of the new genre. Information processing device.
前記対応ジャンル選択部は特定されたジャンルが変更された場合に変更されたジャンルに合わせて学習モデル群を再度選択する
請求項２に記載の情報処理装置。 In the situation where inquiries are being continued, the chat content specifying unit continues to specify the genre,
The information processing apparatus according to claim 2, wherein the corresponding genre selection unit reselects the learning model group in accordance with the changed genre when the identified genre is changed.
前記学習モデル切換部は特定された知識レベルが変更された場合に変更された知識レベルに合わせて学習モデル群から学習モデルを再度選択する
請求項２または請求項４の何れかに記載の情報処理装置。 In the situation where inquiries continue to be made, the chat content specifying unit continues to specify the knowledge level,
The information processing according to claim 2 or 4, wherein the learning model switching unit reselects a learning model from a learning model group in accordance with the changed knowledge level when the identified knowledge level is changed. apparatus.
チャット内容に応じて使用する学習モデルを選択する処理を、
情報処理装置が実行する情報処理方法。 A process of performing chat correspondence using a learning model selected from a plurality of learning models for responding to inquiries in a predetermined field,
The process of selecting the learning model to use according to the chat content,
An information processing method executed by an information processing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018226252A JP6670916B1 (en) | 2018-12-03 | 2018-12-03 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018226252A JP6670916B1 (en) | 2018-12-03 | 2018-12-03 | Information processing apparatus and information processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6670916B1 JP6670916B1 (en) | 2020-03-25 |
| JP2020091513A true JP2020091513A (en) | 2020-06-11 |
Family
ID=70000781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018226252A Active JP6670916B1 (en) | 2018-12-03 | 2018-12-03 | Information processing apparatus and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6670916B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6976539B1 (en) * | 2021-01-18 | 2021-12-08 | 株式会社Macbee Planet | Information processing equipment, information processing methods and programs |
| WO2022201302A1 (en) * | 2021-03-23 | 2022-09-29 | 日本電気株式会社 | Qa data evaluation device |
| JP7295207B1 (en) | 2021-12-03 | 2023-06-20 | 株式会社ビデオリサーチ | Survey tabulation system |
| JP2023114460A (en) * | 2021-12-03 | 2023-08-17 | 株式会社ビデオリサーチ | Expert answer prediction system |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11659086B2 (en) | 2020-05-18 | 2023-05-23 | Avaya Management L.P. | Tunable chatbots |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016212541A (en) * | 2015-05-01 | 2016-12-15 | 株式会社ＡＴＲ−Ｔｒｅｋ | Interactive device, interacting method, and computer program for the same |
| JP6537211B1 (en) * | 2018-07-06 | 2019-07-03 | Ｊｅインターナショナル株式会社 | Search device and program |
| JP2019114254A (en) * | 2017-12-21 | 2019-07-11 | 株式会社カカオ | Server, terminal and method for providing instant messaging service by using relay chatbot |
-
2018
- 2018-12-03 JP JP2018226252A patent/JP6670916B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016212541A (en) * | 2015-05-01 | 2016-12-15 | 株式会社ＡＴＲ−Ｔｒｅｋ | Interactive device, interacting method, and computer program for the same |
| JP2019114254A (en) * | 2017-12-21 | 2019-07-11 | 株式会社カカオ | Server, terminal and method for providing instant messaging service by using relay chatbot |
| JP6537211B1 (en) * | 2018-07-06 | 2019-07-03 | Ｊｅインターナショナル株式会社 | Search device and program |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6976539B1 (en) * | 2021-01-18 | 2021-12-08 | 株式会社Macbee Planet | Information processing equipment, information processing methods and programs |
| JP2022110532A (en) * | 2021-01-18 | 2022-07-29 | 株式会社Macbee Planet | Information processing apparatus, information processing method, and program |
| WO2022201302A1 (en) * | 2021-03-23 | 2022-09-29 | 日本電気株式会社 | Qa data evaluation device |
| JP7295207B1 (en) | 2021-12-03 | 2023-06-20 | 株式会社ビデオリサーチ | Survey tabulation system |
| JP2023089330A (en) * | 2021-12-03 | 2023-06-28 | 株式会社ビデオリサーチ | Survey tabulation system |
| JP2023114460A (en) * | 2021-12-03 | 2023-08-17 | 株式会社ビデオリサーチ | Expert answer prediction system |
| JP7352761B2 (en) | 2021-12-03 | 2023-09-28 | 株式会社ビデオリサーチ | Expert answer prediction system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6670916B1 (en) | 2020-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6670916B1 (en) | Information processing apparatus and information processing method | |
| US11409736B2 (en) | Methods and apparatus for performing machine learning to improve capabilities of an artificial intelligence (AI) entity used for online communications | |
| US10621281B2 (en) | Populating values in a spreadsheet using semantic cues | |
| US7853602B2 (en) | System and method for creating an enhanced enterprise directory | |
| US8326829B2 (en) | System and method for displaying publication dates for search results | |
| US10650818B2 (en) | Semi-supervised question answering machine | |
| US20130239006A1 (en) | Aggregator, filter and delivery system for online context dependent interaction, systems and methods | |
| US20220277055A1 (en) | Feedback method and apparatus based on online document comment, and non-transitory computer-readable storage medium | |
| US10540345B2 (en) | Reducing churn in knowledge graphs | |
| CN111586244B (en) | Voice customer service method and system | |
| CN110941708B (en) | Intelligent question and answer library establishing method, intelligent question and answer method and device and computer equipment | |
| CN104077294A (en) | Information recommendation method, information recommendation device and information resource recommendation system | |
| CN112035638B (en) | Information processing method, device, storage medium and equipment | |
| US8874564B2 (en) | System and method for communicating search results to one or more other parties | |
| US9665640B2 (en) | System and method for collapsing search results | |
| US20180067991A1 (en) | Using Structured Smart Digital Memory to Personalize Digital Agent and Bot Scenarios | |
| CN110460514A (en) | Message method, device, storage medium and the equipment of instant messaging tools | |
| JP2017072976A (en) | Information processing system, information processing method, and program | |
| US20240080283A1 (en) | Information processing system and information processing method | |
| US20200192661A1 (en) | Developer tools for a communication platform | |
| KR20190097947A (en) | Device, method and computer program for processing user inquiry | |
| WO2021107208A1 (en) | Integrated chatbot agent platform system for chatbot channel connection and integration, and service method thereof | |
| JP2020095346A (en) | Information processing apparatus and information processing method | |
| US11048486B2 (en) | Developer tools for a communication platform | |
| KR102205686B1 (en) | Method and apparatus for ranking candiate character and method and device for inputting character |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200302 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6670916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |