以下に、本開示のプログラム及び情報処理装置について、その実施形態を示す図面に基づいて詳述する。
The program and the information processing apparatus of the present disclosure will be described in detail below based on the drawings showing the embodiments thereof.
（実施形態１）
図１は情報処理システムの構成例を示す模式図である。本実施形態の情報処理システムは、多数のユーザが自身の端末を用いて他のユーザの端末との間でやり取りを行うシステムである。本実施形態の情報処理システムでは、各ユーザの端末に各ユーザに対応するアバターが設定してあり、各ユーザは、端末を介して他のユーザとやり取りを行うだけでなく、他のユーザのアバターともやり取りを行うことができる。よって、各ユーザの端末に設定されている各ユーザのアバターは、端末を介して他のユーザとやり取りを行うだけでなく、他のユーザのアバターともやり取りを行うことができる。なお、やり取りとは例えば対話処理に係る情報の送受信、インターネット等のネットワークＮ上で公開されている情報の収集等である。本実施形態の情報処理システムは多数のユーザ端末１０，２０を含み、ユーザ端末１０，２０はネットワークＮを介して相互に情報の送受信を行う。以下では、１人のユーザを自身とし、他のユーザを他者とし、自身のユーザ端末を自端末１０とし、他者のユーザ端末を他端末２０として説明する。自端末１０及び他端末２０は同様のユーザ端末を用いることができ、例えばスマートフォン、タブレット端末、パーソナルコンピュータ、携帯ゲーム機等を用いることができる。また、自端末１０及び他端末２０は情報処理システムに用いられる専用端末で構成されてもよい。本実施形態の情報処理システムにおいて、ユーザ端末１０，２０のそれぞれは、各端末１０，２０のユーザにおけるユーザ固有の情報（ユーザ固有情報）を収集する処理、ネットワークＮ経由で他のユーザ端末１０，２０又は他の装置との間で情報を送受信する処理等、種々の情報処理及び通信処理を行う。
(Embodiment 1)
FIG. 1 is a schematic diagram showing a configuration example of an information processing system. The information processing system of this embodiment is a system in which a large number of users communicate with other users' terminals using their own terminals. In the information processing system of this embodiment, an avatar corresponding to each user is set in each user's terminal, and each user not only communicates with other users via the terminal, but also interacts with other users' avatars. can interact with. Therefore, each user's avatar set in each user's terminal can not only communicate with other users via the terminal, but can also communicate with other users' avatars. Note that exchange includes, for example, transmission and reception of information related to interactive processing, collection of information published on a network N such as the Internet, and the like. The information processing system of this embodiment includes a large number of user terminals 10 and 20, and the user terminals 10 and 20 transmit and receive information to and from each other via a network N. FIG. In the following description, one user is the self, another user is the other, the own user terminal is the self terminal 10, and the other user's user terminal is the other terminal 20. FIG. Similar user terminals can be used for the own terminal 10 and the other terminal 20, and for example, smartphones, tablet terminals, personal computers, portable game machines, and the like can be used. Also, the own terminal 10 and the other terminal 20 may be composed of dedicated terminals used in an information processing system. In the information processing system of the present embodiment, each of the user terminals 10 and 20 performs a process of collecting user-specific information (user-specific information) of the user of each terminal 10 and 20, another user terminal 10 via the network N, 20 or other devices, and performs various information processing and communication processing.
図２は自端末１０の構成例を示すブロック図である。自端末１０は、制御部１１、記憶部１２、処理部１３、通信部１４、入力部１５、表示部１６、スピーカ１７、マイク１８、読み取り部１９等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、本開示の情報処理装置が行うべき種々の情報処理、制御処理等を自端末１０に実行させる。
FIG. 2 is a block diagram showing a configuration example of the own terminal 10. As shown in FIG. The own terminal 10 includes a control unit 11, a storage unit 12, a processing unit 13, a communication unit 14, an input unit 15, a display unit 16, a speaker 17, a microphone 18, a reading unit 19, etc., and these units are connected via a bus. interconnected. The control unit 11 includes one or more processors such as a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), or a GPU (Graphics Processing Unit). By appropriately executing the control program 12P stored in the storage unit 12, the control unit 11 causes the own terminal 10 to execute various information processing, control processing, and the like that should be performed by the information processing apparatus of the present disclosure.
記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。更に記憶部１２は、後述する固有情報ＤＢ（データベース）１２ａ、宛先情報ＤＢ１２ｂ及び言動履歴ＤＢ１２ｃを記憶する。固有情報ＤＢ１２ａ、宛先情報ＤＢ１２ｂ及び言動履歴ＤＢ１２ｃは、自端末１０に接続された外部記憶装置に記憶されてもよく、自端末１０が通信可能な外部記憶装置に記憶されてもよい。更に記憶部１２は、自端末１０のユーザに対応付けて設定されたアバターに関する情報を記憶する。アバターに関する情報は、アバターを表示するための画像データ、アバターに発話させる際の音声データ、アバターの表示画像に動きを付加するためのモーションデータ等を含む。
The storage unit 12 includes a RAM (Random Access Memory), flash memory, hard disk, SSD (Solid State Drive), and the like. The storage unit 12 stores in advance a control program 12P executed by the control unit 11 and various data necessary for executing the control program 12P. The storage unit 12 also temporarily stores data and the like generated when the control unit 11 executes the control program 12P. Further, the storage unit 12 stores a unique information DB (database) 12a, a destination information DB 12b, and a behavior history DB 12c, which will be described later. The unique information DB 12a, the destination information DB 12b, and the behavior history DB 12c may be stored in an external storage device connected to the own terminal 10, or may be stored in an external storage device with which the own terminal 10 can communicate. Furthermore, the storage unit 12 stores information about the avatar set in association with the user of the own terminal 10 . The information about the avatar includes image data for displaying the avatar, audio data for making the avatar speak, motion data for adding movement to the displayed image of the avatar, and the like.
処理部１３は、対話処理部１３ａ、固有情報収集部１３ｂ、言動実行部１３ｃ、履歴出力部１３ｄ等を含む。処理部１３の各部は、例えば記憶部１２に記憶してある制御プログラム１２Ｐを制御部１１が実行することによって実現されてもよいし、これらの一部を専用のハードウェア回路で実現してもよい。対話処理部１３ａは、自端末１０のユーザとの対話を行う。例えば対話処理部１３ａは、マイク１８を介した音声入力又は入力部１５を介した入力（例えばテキスト入力）によってユーザからの対話情報を取得し、取得した対話情報に対する返答情報をスピーカ１７を介した音声出力又は表示部１６に表示することによってユーザに返答し、自端末１０のユーザとの対話を行うように構成されている。なお、対話処理部１３ａは、ユーザからの対話情報に対して行うべき返答情報を予めテンプレートとして複数記憶しておき、ユーザからの対話情報に応じた返答情報をテンプレートから選択して出力することにより対話を行ってもよい。また対話処理部１３ａは、ユーザからの対話情報に応じた返答情報を、後述する固有情報ＤＢ１２ａに蓄積されたユーザ固有情報に基づいて生成して出力することにより対話を行ってもよい。更に、対話処理部１３ａは、挨拶メッセージ及び質問メッセージ等の対話情報をスピーカ１７を介した音声出力又は表示部１６に表示することによってユーザに話しかけ、マイク１８を介した音声入力又は入力部１５を介した入力によってユーザからの返答情報を取得することにより、自端末１０のユーザとの対話を行う。この場合、対話処理部１３ａは、挨拶メッセージ及び質問メッセージ等の対話情報を予めテンプレートとして複数記憶しておき、任意のテンプレートを選択して出力することにより、ユーザに話しかけてもよい。
The processing unit 13 includes a dialog processing unit 13a, a unique information collecting unit 13b, a behavior executing unit 13c, a history output unit 13d, and the like. Each unit of the processing unit 13 may be implemented by the control unit 11 executing the control program 12P stored in the storage unit 12, for example, or may be implemented by a dedicated hardware circuit. good. The dialogue processing unit 13a conducts dialogue with the user of the terminal 10 itself. For example, the dialogue processing unit 13a acquires dialogue information from the user by voice input via the microphone 18 or input (for example, text input) via the input unit 15, and transmits response information to the obtained dialogue information via the speaker 17. It is configured to respond to the user by voice output or display on the display unit 16 and to have a dialogue with the user of the own terminal 10 . The dialogue processing unit 13a stores in advance a plurality of templates of reply information to be made to the dialogue information from the user, and selects and outputs the reply information corresponding to the dialogue information from the user from the templates. You can have a dialogue. Further, the dialog processing unit 13a may perform a dialog by generating and outputting response information corresponding to the dialog information from the user based on the user unique information accumulated in the unique information DB 12a, which will be described later. Further, the dialogue processing unit 13a speaks to the user by outputting dialogue information such as a greeting message and a question message by voice through the speaker 17 or displaying it on the display unit 16, and inputs voice through the microphone 18 or the input unit 15. By obtaining reply information from the user by inputting through the terminal 10, a dialogue with the user of the own terminal 10 is performed. In this case, the dialog processing unit 13a may store a plurality of dialog information such as greeting messages and question messages in advance as templates, and may speak to the user by selecting and outputting an arbitrary template.
対話処理部１３ａは、他端末２０のユーザ又は他端末２０のユーザのアバター（他端末２０のアバター）との対話も行う。例えば対話処理部１３ａは、他端末２０から送信された、他端末２０のユーザ又は他端末２０のアバターからの対話情報を取得し、取得した対話情報に対する返答情報を他端末２０へ返信することによって他端末２０のユーザ又はアバターに返答し、他端末２０のユーザ又はアバターとの対話を行う。この場合にも、対話処理部１３ａは、他端末２０のユーザ又はアバターからの対話情報に応じた返答情報をテンプレートから選択して出力することにより対話を行ってもよいし、後述する固有情報ＤＢ１２ａに蓄積されたユーザ固有情報に基づいて返答情報を生成して出力することにより対話を行ってもよい。また、対話処理部１３ａは、挨拶メッセージ及び質問メッセージ等の対話情報を他端末２０のユーザ又はアバター宛に送信することによって他端末２０のユーザ又はアバターに話しかけ、他端末２０のユーザ又は他端末２０のアバターからの返答情報を取得することにより、他端末２０のユーザ又はアバターとの対話を行う。この場合にも、対話処理部１３ａは、予め記憶してある対話情報を選択して他端末２０のユーザ又はアバター宛に送信することにより、他端末２０のユーザ又はアバターに話しかけてもよい。
The interaction processing unit 13a also interacts with the user of the other terminal 20 or the avatar of the user of the other terminal 20 (the avatar of the other terminal 20). For example, the interaction processing unit 13a acquires interaction information from the user of the other terminal 20 or the avatar of the other terminal 20, which is transmitted from the other terminal 20, and returns reply information to the acquired interaction information to the other terminal 20. It responds to the user or avatar of the other terminal 20 and interacts with the user or avatar of the other terminal 20 . In this case as well, the dialogue processing unit 13a may perform dialogue by selecting and outputting response information corresponding to the dialogue information from the user or the avatar of the other terminal 20 from the template, or by outputting the response information. A dialogue may be performed by generating and outputting reply information based on the user-specific information stored in the . Further, the dialogue processing unit 13a speaks to the user or the avatar of the other terminal 20 by transmitting dialogue information such as a greeting message and a question message to the user or the avatar of the other terminal 20, and By acquiring the reply information from the avatar of the other terminal 20, a dialogue with the user of the other terminal 20 or the avatar is performed. In this case as well, the dialogue processing unit 13a may speak to the user of the other terminal 20 or the avatar by selecting the dialogue information stored in advance and transmitting it to the user or the avatar of the other terminal 20 .
固有情報収集部（収集部）１３ｂは、自端末１０のユーザの言動に基づいて、自端末１０のユーザのユーザ固有情報を収集する。例えば固有情報収集部１３ｂは、対話処理部１３ａが自端末１０のユーザとの間で行った対話内容からユーザ固有情報を収集する。また、固有情報収集部１３ｂは、例えば対話処理部１３ａによって、ユーザ固有情報に関する質問を自端末１０のユーザに行い、質問に対する回答を取得した場合に、取得した回答内容からユーザ固有情報を収集してもよい。更に、固有情報収集部１３ｂは、自端末１０にインストールされている各種のアプリケーションプログラムによって実行可能な処理に係る情報からユーザ固有情報を収集してもよい。例えば、固有情報収集部１３ｂは、自端末１０が他端末２０との間で送受信した電子メール、ＬＩＮＥ（登録商標）メッセージ及びＬＩＮＥスタンプ、ＳＮＳ（Social Network Service）に対して自端末１０のユーザが投稿したメッセージ及び閲覧したメッセージ、ネットワークＮを介して提供される各種サービスによって送受信されるデータ等からユーザ固有情報を収集してもよい。また固有情報収集部１３ｂは、自端末１０のユーザが行った行動に基づいてユーザ固有情報を収集してもよい。例えば、自端末１０のユーザがＬＩＮＥメッセージを受信したときに所定のＬＩＮＥスタンプ又はＬＩＮＥメッセージを返信する場合、固有情報収集部１３ｂは、ＬＩＮＥメッセージの受信に対して所定のＬＩＮＥスタンプ又はＬＩＮＥメッセージを返信することをユーザ固有情報として取得する。ユーザ固有情報は例えば、ユーザの属性、行動履歴、趣味、好み、行動傾向、思考傾向等を含む。
Unique information collection unit (collection unit) 13b collects user unique information of the user of own terminal 10 based on the behavior of the user of own terminal 10 . For example, the unique information collection unit 13b collects user unique information from the content of the dialogue between the user of the terminal 10 and the dialogue processing unit 13a. Further, when the unique information collecting unit 13b asks the user of the terminal 10 a question about the user unique information using the interactive processing unit 13a and acquires an answer to the question, the unique information collecting unit 13b collects the user unique information from the content of the acquired answer. may Furthermore, the unique information collection unit 13b may collect user unique information from information related to processes that can be executed by various application programs installed in the terminal 10 itself. For example, the unique information collection unit 13b collects e-mails, LINE (registered trademark) messages and LINE stamps sent and received between the terminal 10 and other terminals 20, and the user of the terminal 10 for SNS (Social Network Service). User-specific information may be collected from posted messages, viewed messages, data transmitted and received by various services provided via the network N, and the like. Further, the unique information collection unit 13b may collect user unique information based on actions taken by the user of the terminal 10 itself. For example, when the user of the terminal 10 receives a LINE message and returns a predetermined LINE stamp or LINE message, the unique information collection unit 13b returns a predetermined LINE stamp or LINE message in response to receiving the LINE message. to be acquired as user-specific information. User-specific information includes, for example, user attributes, action history, hobbies, preferences, action tendencies, thinking tendencies, and the like.
言動実行部（実行部）１３ｃは、例えば自端末１０のユーザからの指示又は行動傾向に従って、他端末２０のユーザ又は他端末２０のアバターとの間で対話を行い、また、ネットワークＮ上で公開されている各種の情報を収集する。具体的には、言動実行部１３ｃは、他端末２０を介して他のユーザとの間で情報の送受信を行い、他端末２０を介して他端末２０に設定してあるアバター（他端末２０の言動実行部２３ｃ）との間で情報の送受信を行うことにより、他端末２０のユーザ又はアバターとの対話を行う。なお、言動実行部１３ｃは、対話処理部１３ａを用いて、他端末２０のユーザ又はアバターとの対話を行う。また、言動実行部１３ｃは、ネットワークＮ経由で各種の情報を検索して必要な情報を取得する。なお、屋外又は室内でカメラで撮影された撮影画像がネットワークＮ上で公開されており、このような撮影画像をネットワークＮ経由で取得することにより、言動実行部１３ｃは擬似的に撮影場所に外出できる。よって、言動実行部１３ｃは、自端末１０のアバターを介して擬似的な外出処理を実行できる。
The behavior execution unit (execution unit) 13c, for example, according to an instruction from the user of the own terminal 10 or a behavioral tendency, interacts with the user of the other terminal 20 or the avatar of the other terminal 20, and also publishes on the network N Collect various information provided. Specifically, the behavior execution unit 13c transmits and receives information to and from other users via the other terminal 20, and uses the avatar set in the other terminal 20 via the other terminal 20. By transmitting and receiving information to and from the behavior execution unit 23c), it interacts with the user of the other terminal 20 or the avatar. Note that the behavior execution unit 13c uses the dialogue processing unit 13a to have a dialogue with the user of the other terminal 20 or the avatar. In addition, the behavior execution unit 13c searches for various types of information via the network N and acquires necessary information. In addition, captured images captured by a camera outdoors or indoors are open to the public on the network N, and by acquiring such captured images via the network N, the behavior execution unit 13c can go out to the shooting location in a pseudo manner. can. Therefore, the behavior executing unit 13c can execute a pseudo going-out process via the avatar of the terminal 10 itself.
履歴出力部（出力部）１３ｄは、言動実行部１３ｃが実行した言動の結果に係る履歴情報を、例えば表示部１６又はスピーカ１７にて出力する。例えば、履歴出力部１３ｄは、他端末２０を介して他のユーザ又は他のユーザのアバターとの間で送受信した情報（対話情報）、ネットワークＮ経由で収集した各種の情報を出力する。なお、履歴出力部１３ｄは、出力すべき情報に画像データ又はテキストデータ等が含まれる場合、画像データ又はテキストデータに基づく画面を表示部１６に表示し、音声データ又はテキストデータが含まれる場合、スピーカ１７にて音声出力する。
The history output unit (output unit) 13d outputs history information related to the result of behavior executed by the behavior execution unit 13c through the display unit 16 or the speaker 17, for example. For example, the history output unit 13d outputs information (dialogue information) transmitted and received with other users or avatars of other users via the other terminal 20 and various types of information collected via the network N. When the information to be output includes image data or text data, the history output unit 13d displays a screen based on the image data or text data on the display unit 16. When the information to be output includes voice data or text data, Sound is output from the speaker 17 .
通信部１４は、有線通信又は無線通信によってネットワークＮに接続するためのインタフェースであり、ネットワークＮを介して外部装置との間で情報の送受信を行う。入力部１５は、ユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。表示部１６は、液晶ディスプレイ又は有機ＥＬディスプレイ等であり、制御部１１からの指示に従って各種の情報を表示する。入力部１５及び表示部１６は一体として構成されたタッチパネルであってもよい。
The communication unit 14 is an interface for connecting to the network N by wired communication or wireless communication, and transmits and receives information to and from an external device via the network N. The input unit 15 receives an operation input by the user and sends a control signal corresponding to the operation content to the control unit 11 . The display unit 16 is a liquid crystal display, an organic EL display, or the like, and displays various information according to instructions from the control unit 11 . The input unit 15 and the display unit 16 may be a touch panel integrally configured.
スピーカ１７は、増幅器等を有する音声出力装置であり、制御部１１からの指示に従った音声データを増幅器にて増幅した後、音声出力する。マイク１８は、増幅器及びＡ／Ｄ（アナログ／デジタル）変換器等を有する音声入力装置であり、周囲の音声を収集してアナログの音声データを取得し、取得した音声データを増幅器にて増幅し、Ａ／Ｄ変換器にてデジタルの音声データに変換して音声データを取得する。マイク１８は、制御部１１からの指示に従って集音を行い、取得した音声データを逐次制御部１１へ送出する。スピーカ１７及びマイク１８は、自端末１０に内蔵されていてもよいし、ケーブル等を介して自端末１０に外付けされていてもよいし、一体として構成されたヘッドセットであってもよい。
The speaker 17 is an audio output device having an amplifier or the like, and outputs audio after amplifying the audio data according to the instruction from the control unit 11 by the amplifier. The microphone 18 is an audio input device having an amplifier, an A/D (analog/digital) converter, etc., collects ambient audio to obtain analog audio data, and amplifies the obtained audio data with an amplifier. , and an A/D converter to obtain digital audio data. The microphone 18 collects sounds according to instructions from the control unit 11 and sequentially sends the acquired audio data to the control unit 11 . The speaker 17 and the microphone 18 may be built in the own terminal 10, may be externally attached to the own terminal 10 via a cable or the like, or may be an integrated headset.
読み取り部１９は、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ又はＵＳＢ（Universal Serial Bus）メモリを含む可搬型記憶媒体１ａに記憶された情報を読み取る。記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が読み取り部１９を介して可搬型記憶媒体１ａから読み取って記憶部１２に記憶してもよい。また、記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が通信部１４を介して外部装置からダウンロードして記憶部１２に記憶してもよい。更に、制御プログラム１２Ｐ及び各種のデータを半導体メモリ１ｂに記憶しておき、制御部１１が半導体メモリ１ｂから読み出して記憶部１２に記憶してもよい。
The reader 19 reads information stored in a portable storage medium 1a including CD (Compact Disc)-ROM, DVD (Digital Versatile Disc)-ROM, or USB (Universal Serial Bus) memory. The control program 12</b>P and various data stored in the storage unit 12 may be read from the portable storage medium 1 a by the control unit 11 via the reading unit 19 and stored in the storage unit 12 . The control program 12P and various data stored in the storage unit 12 may be downloaded from an external device by the control unit 11 via the communication unit 14 and stored in the storage unit 12 . Furthermore, the control program 12P and various data may be stored in the semiconductor memory 1b, and the control unit 11 may read them from the semiconductor memory 1b and store them in the storage unit 12. FIG.
図３及び図４は自端末１０に記憶されるＤＢ１２ａ～１２ｃの構成例を示す模式図である。図３は固有情報ＤＢ１２ａを、図４Ａは宛先情報ＤＢ１２ｂを、図４Ｂは言動履歴ＤＢ１２ｃをそれぞれ示す。固有情報ＤＢ１２ａは、自端末１０のユーザに関するユーザ固有情報を記憶する。ユーザ固有情報は、固有情報収集部１３ｂが自端末１０のユーザから収集して固有情報ＤＢ１２ａに記憶される。図３に示す固有情報ＤＢ１２ａは、情報ＩＤ列、情報内容列、固有情報列等を含む。情報ＩＤ列は、ユーザ固有情報のそれぞれに予め割り当てられた識別情報を記憶する。情報内容列は、ユーザ固有情報の内容、種別を示す情報を記憶する。なお、それぞれの情報ＩＤに対応するユーザ固有情報の内容が明らかであれば、固有情報ＤＢ１２ａに情報内容列を設けなくてもよい。固有情報列は、固有情報収集部１３ｂが収集したユーザ固有情報を記憶する。固有情報ＤＢ１２ａに記憶される情報ＩＤ及び情報内容は予め記憶されており、固有情報は、固有情報収集部１３ｂが各種のユーザ固有情報を取得した場合に、制御部１１によって記憶又は更新される。
3 and 4 are schematic diagrams showing configuration examples of the DBs 12a to 12c stored in the own terminal 10. FIG. 3 shows the unique information DB 12a, FIG. 4A shows the destination information DB 12b, and FIG. 4B shows the behavior history DB 12c. The unique information DB 12a stores user unique information related to the user of the terminal 10 itself. The user unique information is collected from the user of the own terminal 10 by the unique information collection unit 13b and stored in the unique information DB 12a. The specific information DB 12a shown in FIG. 3 includes an information ID string, an information content string, a specific information string, and the like. The information ID column stores identification information pre-assigned to each piece of user-specific information. The information content column stores information indicating the content and type of user unique information. If the content of the user unique information corresponding to each information ID is clear, the unique information DB 12a may not have the information content column. The unique information string stores the user unique information collected by the unique information collecting unit 13b. Information IDs and information contents stored in the unique information DB 12a are stored in advance, and the unique information is stored or updated by the control unit 11 when the unique information collection unit 13b acquires various user unique information.
図３に示す固有情報ＤＢ１２ａでは、ユーザ固有情報として、氏名，年齢，性別等を含む属性、住所，勤務先会社名，通学先学校名，家族構成，家族の情報等を含む個人情報、性格，趣味，好きなこと，好きなもの，好きな食べ物，好きな飲み物，好きな果物，嫌いなこと，嫌いなもの，嫌いな食べ物，嫌いな飲み物，嫌いな果物等を含む嗜好に関する情報、嬉しかったこと，怒ったこと，気になっているもの，気になっている場所等を含む感情に関する情報等が登録される。固有情報ＤＢ１２ａの登録内容はこれらに限定されず、ユーザに関する種々の情報を登録することができるように構成されている。例えば、年収，通勤経路，会社での役職，同僚の情報及び上司の情報等を含む勤務先の情報、ペットに関する情報、行った場所を含む行動履歴及び行動傾向，購買した商品を含む購買履歴及び購買傾向，人柄及び考え方等のユーザの内面に関する情報等も固有情報ＤＢ１２ａに登録されてもよい。また、固有情報ＤＢ１２ａは、登録するユーザ固有情報の種類等に応じて複数のＤＢに分けて構成してもよい。
In the unique information DB 12a shown in FIG. 3, as user unique information, attributes including name, age, gender, etc., personal information including address, company name, school name, family composition, family information, personality, Hobbies, favorite things, favorite things, favorite foods, favorite drinks, favorite fruits, dislikes, disliked things, disliked foods, disliked drinks, disliked fruits, etc. Emotional information such as things, angry things, anxious things, anxious places, etc. are registered. The registered contents of the unique information DB 12a are not limited to these, and are configured so as to be able to register various information about the user. For example, annual income, commuting route, position in the company, workplace information including information on colleagues and bosses, information on pets, behavior history and behavior trends including places visited, purchase history including purchased products and Information related to the user's inner state, such as purchasing tendency, personality, and way of thinking, may also be registered in the unique information DB 12a. Further, the unique information DB 12a may be divided into a plurality of DBs according to the type of user unique information to be registered.
宛先情報ＤＢ１２ｂは、自端末１０がネットワークＮ経由で情報の送受信を行う際に用いる他端末２０の宛先情報を記憶するアドレス帳である。図４Ａに示す宛先情報ＤＢ１２ｂは、端末ＩＤ列、所有者名列、宛先情報列等を含む。端末ＩＤ列は、各他端末２０に予め割り当てられた識別情報を記憶し、所有者名列は、端末ＩＤに対応付けて各他端末２０のユーザ（他者）の氏名を記憶する。宛先情報列は、端末ＩＤに対応付けて各他端末２０に割り当てられた宛先情報を記憶する。宛先情報は、例えば各他端末２０に割り当てられた電話番号、メールアドレス、ＩＰ（Internet Protocol Address ）アドレス、ＬＩＮＥ－ＩＤ等を用いることができる。宛先情報ＤＢ１２ｂに記憶される端末ＩＤは、制御部１１が新たな他端末２０の情報を入力部１５又は通信部１４を介して取得した場合に、制御部１１によって発行されて記憶される。宛先情報ＤＢ１２ｂに記憶される端末ＩＤ以外の各情報は、制御部１１が入力部１５又は通信部１４を介して追加又は変更の指示を取得する都度、制御部１１によって追加又は変更される。宛先情報ＤＢ１２ｂの記憶内容は図４Ａに示す例に限定されず、他端末２０に関する各種の情報を記憶することができる。
The destination information DB 12b is an address book that stores destination information of other terminals 20 used when the own terminal 10 transmits and receives information via the network N. FIG. The destination information DB 12b shown in FIG. 4A includes a terminal ID column, an owner name column, a destination information column, and the like. The terminal ID column stores identification information assigned in advance to each other terminal 20, and the owner name column stores the name of the user (other person) of each other terminal 20 in association with the terminal ID. The destination information column stores destination information assigned to each other terminal 20 in association with the terminal ID. For the destination information, for example, a telephone number assigned to each other terminal 20, a mail address, an IP (Internet Protocol Address) address, a LINE-ID, or the like can be used. The terminal ID stored in the destination information DB 12b is issued and stored by the control unit 11 when the control unit 11 acquires new information on the other terminal 20 via the input unit 15 or the communication unit 14. FIG. Information other than the terminal ID stored in the destination information DB 12b is added or changed by the control unit 11 each time the control unit 11 acquires an addition or change instruction via the input unit 15 or the communication unit 14 . The storage contents of the destination information DB 12b are not limited to the example shown in FIG. 4A, and various types of information regarding the other terminal 20 can be stored.
言動履歴ＤＢ１２ｃは、言動実行部１３ｃが実行した言動の結果に係る履歴情報を記憶する。図４Ｂに示す言動履歴ＤＢ１２ｃは、言動ＩＤ列、言動内容列、相手情報列、場所情報列、言動データ列等を含む。言動ＩＤ列は、言動実行部１３ｃが実行した言動（言動処理）のそれぞれに予め割り当てられた識別情報を記憶し、言動内容列は言動ＩＤに対応付けて、言動実行部１３ｃが実行した言動（言動処理）の内容を示す情報を記憶する。なお、言動の内容は、他のユーザ又は他のユーザのアバターとの間で行った対話、ネットワークＮ経由で擬似的に行った外出等を含む。相手情報列は、言動ＩＤに対応付けて、言動実行部１３ｃが実行した言動における相手の情報を記憶する。言動における相手は、言動実行部１３ｃが実行した対話の相手、言動実行部１３ｃが実行した外出の同伴者等であり、相手の他端末２０の端末ＩＤ、所有者名又は宛先情報が相手情報列に記憶される。場所情報列は、言動ＩＤに対応付けて、言動実行部１３ｃが実行した言動における場所の情報を記憶する。言動における場所は、例えば言動実行部１３ｃが擬似的に行った外出先の場所であり、ネットワークＮ経由で取得した撮影画像の撮影場所の情報が場所情報列に記憶される。言動データ列は、言動ＩＤに対応付けて、言動実行部１３ｃが実行した言動における言動データを記憶する。言動データは例えば、他のユーザ又は他のユーザのアバターとの間で行った対話に関する対話データ（音声データ又はテキストデータ）、ネットワークＮ経由で取得した撮影画像（画像データ）等である。なお、言動データは、言動履歴ＤＢ１２ｃに記憶される構成に限らず、記憶部１２の所定領域又は自端末１０に接続された外部記憶装置に記憶してもよい。この場合、言動データ列には、言動データ（対話データ又は撮影画像等）を読み出すための情報（例えばデータの記憶場所を示すファイル名）を記憶してもよい。言動履歴ＤＢ１２ｃの記憶内容は図４Ｂに示す例に限定されず、言動履歴に関する各種の情報を記憶することができる。
The behavior history DB 12c stores history information related to results of behavior executed by the behavior executing unit 13c. The behavior history DB 12c illustrated in FIG. 4B includes a behavior ID column, a behavior content column, a partner information column, a location information column, a behavior data column, and the like. The behavior ID column stores identification information pre-assigned to each behavior (behavior processing) executed by the behavior executing unit 13c, and the behavior content column is associated with the behavior ID and indicates the behavior (behavior processing) executed by the behavior executing unit 13c. (speech and action processing) is stored. Note that the content of the behavior includes conversations with other users or other users' avatars, virtual going out via the network N, and the like. The partner information column stores information about the partner in the behavior executed by the behavior executing unit 13c in association with the behavior ID. The partner in the behavior is the partner of the conversation executed by the behavior executing unit 13c, the accompanying person on the outing executed by the behavior executing unit 13c, and the like. stored in The location information column stores location information in the behavior executed by the behavior executing unit 13c in association with the behavior ID. The place in the speech and action is, for example, the place where the speech and action execution unit 13c simulated going out, and the information of the photographing location of the photographed image acquired via the network N is stored in the place information string. The behavior data column stores the behavior data in the behavior executed by the behavior executing unit 13c in association with the behavior ID. Behavior data is, for example, dialogue data (audio data or text data) related to dialogue with another user or another user's avatar, captured images (image data) acquired via the network N, and the like. Note that the behavior data is not limited to being stored in the behavior history DB 12c, and may be stored in a predetermined area of the storage unit 12 or an external storage device connected to the terminal 10 itself. In this case, the behavior data string may store information (for example, a file name indicating the storage location of the data) for reading the behavior data (dialogue data, captured image, etc.). The stored content of the behavior history DB 12c is not limited to the example shown in FIG. 4B, and can store various kinds of information regarding the behavior history.
他端末２０は、自端末１０の上述した構成と同様の構成を有しており、自端末１０が有する各構成部１１～１９は、他端末２０において各構成部２１～２９として説明を省略する。
The other terminal 20 has the same configuration as the above-described configuration of the own terminal 10, and the constituent units 11 to 19 of the own terminal 10 are referred to as the constituent units 21 to 29 in the other terminal 20, and the description thereof is omitted. .
以下に、それぞれのユーザ端末１０，２０が行う処理について説明する。なお、自端末１０及び他端末２０はそれぞれ同様の処理を行うので、以下では代表して自端末１０が行う処理を例に説明する。図５は、自端末１０によるユーザ固有情報の収集処理の手順例を示すフローチャート、図６は画面例を示す模式図である。以下の処理は、自端末１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。自端末１０の制御部１１は、適宜のタイミングで固有情報収集部１３ｂによって自端末１０のユーザに関するユーザ固有情報を収集する。適宜のタイミングとは例えば、１週間に１回、１ヶ月に１回等の定期的なタイミングであってもよいし、固有情報ＤＢ１２ａにある程度のユーザ固有情報が蓄積されるまで連続したタイミングであってもよい。
Processing performed by each of the user terminals 10 and 20 will be described below. Since the own terminal 10 and the other terminal 20 each perform the same processing, the processing performed by the own terminal 10 as a representative will be described below as an example. FIG. 5 is a flow chart showing an example of a procedure for collecting user-specific information by the own terminal 10, and FIG. 6 is a schematic diagram showing an example of a screen. The following processing is executed by the control unit 11 according to the control program 12P stored in the storage unit 12 of the terminal 10 itself. The control unit 11 of the own terminal 10 collects the user-specific information regarding the user of the own terminal 10 by the specific information collection unit 13b at an appropriate timing. The appropriate timing may be, for example, regular timing such as once a week or once a month, or continuous timing until a certain amount of user unique information is accumulated in the unique information DB 12a. may
例えば固有情報収集部１３ｂは、対話処理部１３ａによって自端末１０のユーザとの対話を行い、自端末１０のユーザと対話すべき対話メッセージ（対話情報）を生成する（Ｓ１１）。ここでの対話メッセージは、「こんにちは。元気？」のような挨拶メッセージであってもよいし、ユーザからの対話メッセージに対する応答メッセージであってもよい。また、固有情報収集部１３ｂは、ユーザ固有情報を収集できるような質問メッセージを対話メッセージとして生成してもよい。固有情報収集部１３ｂは、生成した対話メッセージをスピーカ１７又は表示部１６にて出力する（Ｓ１２）。固有情報収集部１３ｂは、対話メッセージが音声データを含む場合、スピーカ１７から音声出力し、対話メッセージが画像データ又はテキストデータ等の表示用データを含む場合、表示部１６に表示する。このとき固有情報収集部１３ｂ（又は対話処理部１３ａ）は、例えば記憶部１２に記憶してあるアバターに係る画像データに基づいて、図６に示すように、自端末１０のユーザのアバターの画像を表示部１６に表示してもよい。また固有情報収集部１３ｂ（又は対話処理部１３ａ）は、記憶部１２に記憶してあるアバターに係る音声データに基づく音声にて対話メッセージをスピーカ１７から音声出力してもよい。この場合、ユーザは、図６に示す画面に表示されたアバターと対面して対話しているように感じることができる。なお、アバターの表示画像は、自端末１０のユーザの実写画像、人間に似たキャラクタの画像、動物等の画像、動物等のキャラクタの画像等を用いることができる。
For example, the unique information collection unit 13b performs dialogue with the user of the terminal 10 by the dialogue processing unit 13a, and generates a dialogue message (dialogue information) to be dialogued with the user of the terminal 10 (S11). The dialogue message here may be a greeting message such as "Hello. How are you?" or a response message to the dialogue message from the user. Further, the unique information collection unit 13b may generate a question message as a dialogue message that enables collection of user unique information. The unique information collection unit 13b outputs the generated dialogue message through the speaker 17 or the display unit 16 (S12). When the dialogue message contains voice data, the unique information collection unit 13b outputs the voice from the speaker 17, and when the dialogue message contains display data such as image data or text data, the display unit 16 displays the data. At this time, the unique information collection unit 13b (or the dialogue processing unit 13a) generates an image of the avatar of the user of the terminal 10 as shown in FIG. may be displayed on the display unit 16. Further, the unique information collection unit 13b (or the dialogue processing unit 13a) may output the dialogue message from the speaker 17 as voice based on the voice data related to the avatar stored in the storage unit 12. FIG. In this case, the user can feel as if he/she is interacting face-to-face with the avatar displayed on the screen shown in FIG. As the display image of the avatar, a photographed image of the user of the terminal 10, an image of a character resembling a human being, an image of an animal or the like, an image of a character such as an animal, or the like can be used.
固有情報収集部１３ｂは、出力した対話メッセージに対してユーザが回答した情報をマイク１８又は入力部１５にて取得する（Ｓ１３）。なお、固有情報収集部１３ｂは、ユーザが発話によって回答した場合、回答情報をマイク１８を介した音声入力にて取得し、ユーザが入力部１５を介して回答した場合、回答情報を入力部１５を介して取得する。そして固有情報収集部１３ｂは、取得した回答情報からユーザ固有情報を抽出する（Ｓ１４）。例えば、固有情報収集部１３ｂが「お名前を教えてください」と質問メッセージ（対話メッセージ）を音声出力し、ユーザが「○○○○です」と発話した場合、固有情報収集部１３ｂは、ユーザの回答情報「○○○○です」から、ユーザの氏名（ユーザ固有情報）「○○○○」を抽出する。また対話処理部１３ａとの対話でユーザが「今日、お父さんと喧嘩したよ」と発話した場合、固有情報収集部１３ｂは、ユーザの発話内容から、最近の出来事に関する情報（ユーザ固有情報）として「今日お父さんと喧嘩した」を抽出する。また、例えばユーザが「今日は○○の映画を観たよ」と発話した場合、固有情報収集部１３ｂは、ユーザの発話内容から、ユーザが最近観た映画の情報（ユーザ固有情報）として「○○」を抽出する。
The specific information collection unit 13b acquires information of the user's response to the output interactive message through the microphone 18 or the input unit 15 (S13). When the user answers by speaking, the unique information collecting unit 13b acquires the answer information by voice input through the microphone 18. to get through. Then, the unique information collection unit 13b extracts user unique information from the acquired answer information (S14). For example, when the unique information collecting unit 13b outputs a question message (dialogue message) saying “Please tell me your name” and the user says “I am ○○○○”, the unique information collecting unit 13b asks the user The user's name (user-specific information) "○○○○" is extracted from the answer information "○○○○". In addition, when the user utters "I had a fight with my father today" in the dialogue with the dialogue processing unit 13a, the unique information collection unit 13b extracts " I had a fight with my father today" is extracted. Further, for example, when the user utters, "I watched a movie of XX today," the specific information collection unit 13b extracts information on a movie recently watched by the user (user specific information) from the contents of the user's utterance. ○” is extracted.
固有情報収集部１３ｂは、取得したユーザ固有情報を、情報ＩＤ及び情報内容に対応付けて固有情報ＤＢ１２ａに記憶する（Ｓ１５）。例えば、固有情報ＤＢ１２ａに登録すべきユーザ固有情報に対応する質問メッセージが記憶部１２に予め記憶してあり、固有情報収集部１３ｂは、各質問メッセージについて自端末１０のユーザに質問を行うことにより、固有情報ＤＢ１２ａに登録すべきユーザ固有情報を収集できる。また、対話処理部１３ａが自端末１０のユーザと対話を行う都度、固有情報収集部１３ｂは、ユーザによる対話内容からユーザ固有情報を収集でき、固有情報ＤＢ１２ａに蓄積できる。
The unique information collection unit 13b stores the acquired user unique information in the unique information DB 12a in association with the information ID and the information content (S15). For example, question messages corresponding to user unique information to be registered in the unique information DB 12a are stored in advance in the storage unit 12, and the unique information collection unit 13b asks the user of the terminal 10 about each question message. , user unique information to be registered in the unique information DB 12a can be collected. Moreover, each time the dialog processing unit 13a interacts with the user of the terminal 10, the unique information collecting unit 13b can collect user unique information from the content of the user's dialog and store it in the unique information DB 12a.
上述した処理により、ユーザとの対話内容からユーザ固有情報が逐次抽出されて登録されるので、ユーザが意識することなくユーザ固有情報の蓄積が可能である。なお、固有情報ＤＢ１２ａに記憶されるユーザ固有情報は、既に固有情報ＤＢ１２ａに記憶してある場合、上書きして記憶してもよいし、取得日時と共に時系列データとして記憶（蓄積）してもよい。このようにユーザに関する各種の情報（ユーザ固有情報）を蓄積することにより、自端末１０に設定されたアバター（ユーザのアバター）に、ユーザ固有情報に基づく言動を行わせることができる。即ち、自端末１０のユーザが行う可能性の高い言動を自端末１０のアバターに行わせることができる。なお、ユーザ固有情報を収集する際に、ユーザの心拍数、脳波、筋電図等を計測し、ユーザの心身の状態がリラックスして冷静であるか否かを判断し、冷静である時に収集したユーザ固有情報のみを固有情報ＤＢ１２ａに蓄積するようにしてもよい。この場合、心身の状態が冷静でない興奮状態の時に収集されたユーザ固有情報を破棄することにより、ユーザの普段の状態で収集されたユーザ固有情報のみを蓄積できる。
By the above-described processing, the user-specific information is sequentially extracted from the contents of the dialogue with the user and registered, so that the user-specific information can be accumulated without the user being aware of it. If the user unique information stored in the unique information DB 12a has already been stored in the unique information DB 12a, the user unique information may be overwritten, or may be stored (accumulated) as time-series data together with the date and time of acquisition. . By accumulating various types of information (user-specific information) about the user in this way, the avatar (user's avatar) set in the terminal 10 can be made to perform behavior based on the user-specific information. That is, it is possible to make the avatar of the terminal 10 perform behaviors that are highly likely to be performed by the user of the terminal 10 . When collecting user-specific information, the user's heart rate, electroencephalogram, electromyogram, etc. are measured to determine whether the user's mental and physical state is relaxed and calm, and when the user is calm It is also possible to store only the user unique information that has been obtained in the unique information DB 12a. In this case, by discarding the user-specific information collected when the user is not calm and excited, it is possible to accumulate only the user-specific information collected when the user is in a normal state.
図７及び図８は、自端末１０及び他端末２０による言動処理の手順例を示すフローチャートである。以下の処理は、端末１０，２０の記憶部１２，２２に記憶してある制御プログラム１２Ｐ，２２Ｐに従って制御部１１，２１によって実行される。図７及び図８では左側に自端末１０が行う処理を、右側に他端末２０が行う処理をそれぞれ示す。図７及び図８に示す処理は、自端末１０の制御部１１が、言動実行部１３ｃによって、自端末１０に設定してあるアバターに、固有情報ＤＢ１２ａに記憶してあるユーザ固有情報に基づく言動処理（対話処理）を行わせ、他端末２０のユーザ又はアバターとの間で対話を行う際の処理である。
7 and 8 are flowcharts showing an example of the procedure of behavior processing by the own terminal 10 and the other terminal 20. FIG. The following processing is executed by control units 11 and 21 according to control programs 12P and 22P stored in storage units 12 and 22 of terminals 10 and 20, respectively. 7 and 8, the processing performed by the own terminal 10 is shown on the left side, and the processing performed by the other terminal 20 is shown on the right side. In the processing shown in FIGS. 7 and 8, the control unit 11 of the terminal 10 instructs the avatar set in the terminal 10 to use the behavior based on the user unique information stored in the unique information DB 12a by the behavior executing unit 13c. This is a process for performing a process (interactive process) and interacting with the user of the other terminal 20 or the avatar.
具体的には、言動実行部１３ｃは、マイク１８又は入力部１５を介して、他端末２０のいずれかのユーザ又は他端末２０に設定してあるアバターとの対話の実行要求を受け付けたか否かを判断する（Ｓ２１）。例えば自端末１０のユーザは、対話したい相手の情報（他端末２０のユーザ又はアバターを示す情報、他端末２０の宛先情報等）と、対話したい内容とをマイク１８又は入力部１５を介して入力し、対話相手との対話を行うように自端末１０のアバターに指示する。具体的には、自端末１０のユーザは、「○○さんに△△について確認してきて。」と発話した場合、言動実行部１３ｃは、対話相手として「○○さん」と、対話内容として「△△について」とを抽出し、対話相手との対話を行う指示として受け付ける。なお、対話したい相手が他端末２０のアバターである場合、言動実行部１３ｃは、対話相手として「○○さんのアバター」を抽出する。また言動実行部１３ｃは、固有情報ＤＢ１２ａに記憶されたユーザ固有情報に基づいて、自端末１０のユーザが対話したい相手及び対話内容を抽出し、抽出できた場合、対話相手との対話を行う指示（対話の実行要求）として受け付ける。
Specifically, whether or not the behavior executing unit 13c has received a request to execute a dialogue with any user of the other terminal 20 or an avatar set in the other terminal 20 via the microphone 18 or the input unit 15. (S21). For example, the user of the own terminal 10 inputs information of the other party with whom the user wants to interact (information indicating the user or avatar of the other terminal 20, destination information of the other terminal 20, etc.) and the content of the conversation via the microphone 18 or the input unit 15. and instructs the avatar of its own terminal 10 to have a dialogue with the dialogue partner. Specifically, when the user of the own terminal 10 utters, "Mr. ○○, please check about △△." "About △△" is extracted and accepted as an instruction to have a dialogue with the dialogue partner. Note that when the partner with whom the user wishes to have a dialogue is the avatar of the other terminal 20, the behavior executing unit 13c extracts "Mr. XX's avatar" as the dialogue partner. Also, the behavior executing unit 13c extracts the partner with whom the user of the terminal 10 wishes to interact and the contents of the conversation based on the user-specific information stored in the specific information DB 12a, and if the user of the terminal 10 can extract the conversation partner, instructs to have a conversation with the conversation partner. Accept as (dialogue execution request).
対話要求を受け付けていないと判断した場合（Ｓ２１：ＮＯ）、言動実行部１３ｃは、対話要求を受け付けるまで待機する。対話要求を受け付けたと判断した場合（Ｓ２１：ＹＥＳ）、言動実行部１３ｃは、要求された対話相手の宛先情報を宛先情報ＤＢ１２ｂから読み出す（Ｓ２２）。ステップＳ２２において言動実行部１３ｃは、要求された対話相手の情報（例えば氏名、他端末２０の所有者名）に対応付けて宛先情報ＤＢ１２ｂに記憶してある宛先情報を読み出す。そして言動実行部１３ｃは、読み出した宛先情報に基づいて、要求された対話相手の他端末２０に対して対話の実行を要求する（Ｓ２３）。ステップＳ２３において言動実行部１３ｃは、要求された対話相手が他端末２０のユーザであるか、他端末２０に設定されたアバターであるかに応じて、他端末２０のユーザ又はアバターに対する対話の実行を要求する。また言動実行部１３ｃは、例えばチャットアプリ又はメッセージアプリ等を用いて他端末２０との対話（メッセージの送受信）を行う。チャットアプリ又はメッセージアプリは予め記憶部１２に記憶してある。
When determining that the dialogue request has not been received (S21: NO), the behavior execution unit 13c waits until the dialogue request is received. If it is determined that the dialogue request has been received (S21: YES), the behavior execution unit 13c reads out the requested destination information of the dialogue partner from the destination information DB 12b (S22). In step S22, the behavior executing unit 13c reads the destination information stored in the destination information DB 12b in association with the requested information of the dialogue partner (for example, the name and the name of the owner of the other terminal 20). Then, the behavior executing unit 13c requests the other terminal 20 of the requested dialogue partner to execute dialogue based on the read destination information (S23). In step S23, the behavior executing unit 13c executes dialogue with the user of the other terminal 20 or the avatar according to whether the requested dialogue partner is the user of the other terminal 20 or the avatar set in the other terminal 20. request. The behavior executing unit 13c also interacts (transmits and receives messages) with the other terminal 20 using, for example, a chat application or a message application. A chat application or a message application is stored in the storage unit 12 in advance.
他端末２０の制御部２１（言動実行部２３ｃ）は、自端末１０から対話の実行を要求された場合、要求された対話相手（他端末２０のユーザ又はアバター）が対話可能であるか否かを判断する（Ｓ２４）。ステップＳ２４において言動実行部２３ｃは、要求された対話相手が他端末２０のユーザである場合、例えばスピーカ２７又は表示部２６を介して、対話要求を受け付けたことを通知（出力）し、マイク２８又は入力部２５を介して、要求された対話の実行が可能であるか否かを受け付ける。例えば言動実行部２３ｃは、表示部２６に「○○さんから対話要求がきています」等のメッセージと、対話の実行開始を指示するためのＯＫボタンと、対話の実行を拒否するためのキャンセルボタンとを表示する。そして言動実行部２３ｃは、入力部２５を介してＯＫボタン又はキャンセルボタンのいずれかに対する操作を受け付け、受け付けた操作に応じて、要求された対話の実行が可能であるか否かを判断する。また言動実行部２３ｃは、スピーカ２７にて「○○さんから対話要求がきています。どうしますか」等のメッセージを音声出力し、マイク２８を介した音声入力にてユーザからの返答を受け付け、受け付けた返答に応じて、要求された対話の実行が可能であるか否かを判断する。また、要求された対話相手が他端末２０のアバターである場合、言動実行部２３ｃは、例えば自端末１０以外の端末（他の他端末２０）との間で対話中であるか否かに応じて、要求された対話の実行が可能であるか否かを判断する。例えば言動実行部２３ｃは、自端末１０以外の端末との間で対話中である場合、要求された対話の実行が可能でないと判断し、自端末１０以外の端末との間で対話中でない場合、要求された対話の実行が可能であると判断する。
When the control unit 21 (the speech execution unit 23c) of the other terminal 20 is requested to execute a dialogue from the own terminal 10, the control unit 21 determines whether or not the requested dialogue partner (user or avatar of the other terminal 20) is capable of dialogue. (S24). In step S24, when the requested dialogue partner is the user of the other terminal 20, the behavior executing unit 23c notifies (outputs) that the dialogue request has been received via the speaker 27 or the display unit 26, for example, and the microphone 28 Alternatively, it receives via the input unit 25 whether or not the requested dialogue can be executed. For example, the speech/behavior execution unit 23c displays on the display unit 26 a message such as "There is a dialogue request from Mr. to display. Then, the behavior execution unit 23c receives an operation on either the OK button or the cancel button via the input unit 25, and determines whether or not the requested dialogue can be executed according to the received operation. In addition, the behavior execution unit 23c outputs a message such as "There is a dialogue request from Mr. XX. What do you want to do?" Depending on the received reply, it is determined whether the requested dialogue can be executed. Further, when the requested dialogue partner is the avatar of the other terminal 20, the speech/behavior execution unit 23c, for example, responds to whether or not a dialogue is being performed with a terminal other than the own terminal 10 (another terminal 20). to determine whether execution of the requested interaction is possible. For example, the behavior executing unit 23c determines that the requested dialogue cannot be executed when a dialogue is being performed with a terminal other than the own terminal 10, and when the dialogue is not being executed with a terminal other than the own terminal 10 , determines that the requested interaction can be performed.
要求された対話相手が対話可能でないと判断した場合（Ｓ２４：ＮＯ）、言動実行部２３ｃは、対話可能でないこと（対話不可）を自端末１０に通知する（Ｓ２５）。対話不可の通知を受けた自端末１０の言動実行部１３ｃは、所定時間待機し（Ｓ２６）、ステップＳ２３の処理に戻り、再度、ステップＳ２２で読み出した宛先情報に基づいて、対話相手の他端末２０に対して対話の実行を要求する（Ｓ２３）。
If it is determined that the requested dialogue partner is not capable of dialogue (S24: NO), the speech/behavior execution unit 23c notifies the self-terminal 10 that dialogue is not possible (dialogue is not possible) (S25). The speech execution unit 13c of the own terminal 10, which has received the notification that the dialogue is not possible, waits for a predetermined time (S26), returns to the process of step S23, and again, based on the destination information read out in step S22, determines whether the other terminal of the dialogue partner 20 is requested to execute dialogue (S23).
他端末２０の言動実行部２３ｃは、自端末１０から要求された対話が可能であると判断した場合（Ｓ２４：ＹＥＳ）、対話可能である旨を自端末１０に通知する（Ｓ２７）。他端末２０から対話可能を通知された場合、自端末１０の言動実行部１３ｃは、マイク１８又は入力部１５を介して要求された対話内容、又はユーザ固有情報から抽出した対話内容に基づいて対話情報を生成する（Ｓ２８）。ステップＳ２８において言動実行部１３ｃは、対話内容として抽出した情報に基づいて対話情報を生成し、例えば「△△についてはどうなっていますか」のような対話メッセージを生成する。なお、言動実行部１３ｃは、対話処理部１３ａによって、対話相手（他端末２０のユーザ又はアバター）への対話メッセージを生成してもよい。そして言動実行部１３ｃは、生成した対話情報を対話相手の他端末２０に送信する（Ｓ２９）。
When the behavior executing unit 23c of the other terminal 20 determines that the dialogue requested by the terminal 10 is possible (S24: YES), it notifies the terminal 10 that the dialogue is possible (S27). When notified by the other terminal 20 that the interaction is possible, the behavior execution unit 13c of the own terminal 10 interacts based on the content of the dialog requested via the microphone 18 or the input unit 15 or the content of the dialog extracted from the user-specific information. Information is generated (S28). In step S28, the behavior executing unit 13c generates dialogue information based on the information extracted as the dialogue content, and generates a dialogue message such as "What is happening with ??", for example. Note that the speech/behavior execution unit 13c may generate a dialogue message for the dialogue partner (the user of the other terminal 20 or the avatar) by the dialogue processing unit 13a. Then, the behavior execution unit 13c transmits the generated dialogue information to the other terminal 20 of the dialogue partner (S29).
他端末２０の言動実行部２３ｃは、自端末１０から対話情報を受信した場合、要求されていた対話相手が他端末２０のユーザであるか否かを判断する（Ｓ３０）。対話相手が他端末２０のユーザであると判断した場合（Ｓ３０：ＹＥＳ）、言動実行部２３ｃは、受信した対話情報を出力する（Ｓ３１）。ステップＳ３１において言動実行部２３ｃは、受信した対話情報（対話メッセージ）をスピーカ２７又は表示部２６にて出力する。言動実行部２３ｃは、出力した対話情報に対する、他端末２０のユーザからの返答情報（返答メッセージ）をマイク２８又は入力部２５を介して受け付け（Ｓ３２）、受け付けた返答情報を自端末１０に送信する（Ｓ３３）。
When the dialogue information is received from the own terminal 10, the behavior execution unit 23c of the other terminal 20 determines whether or not the requested dialogue partner is the user of the other terminal 20 (S30). When it is determined that the conversation partner is the user of the other terminal 20 (S30: YES), the behavior executing section 23c outputs the received dialogue information (S31). In step S<b>31 , the behavior execution unit 23 c outputs the received dialogue information (dialogue message) through the speaker 27 or the display unit 26 . The behavior execution unit 23c receives response information (response message) from the user of the other terminal 20 to the output dialogue information via the microphone 28 or the input unit 25 (S32), and transmits the received response information to the own terminal 10. (S33).
対話相手が他端末２０のユーザでないと判断した場合（Ｓ３０：ＮＯ）、即ち、対話相手が他端末２０のアバターである場合、他端末２０の言動実行部２３ｃは、固有情報ＤＢ２２ａに記憶してあるユーザ固有情報に基づいて、自端末１０から受信した対話情報に対する返答情報（返答メッセージ）を生成する（Ｓ３４）。ステップＳ３４において言動実行部２３ｃは、自端末１０から受信した対話情報が「△△についてはどうなっていますか」である場合、固有情報ＤＢ２２ａの記憶内容から「△△」に関する情報を検索し、検索結果を用いて、「□□となっています」のような返答メッセージを生成する。言動実行部２３ｃは、生成した返答情報を自端末１０に送信する（Ｓ３３）。
When it is determined that the dialogue partner is not the user of the other terminal 20 (S30: NO), that is, when the dialogue partner is the avatar of the other terminal 20, the behavior execution unit 23c of the other terminal 20 stores the information in the unique information DB 22a. Based on certain user-specific information, response information (response message) to the dialogue information received from the own terminal 10 is generated (S34). In step S34, if the dialogue information received from the terminal 10 is "What is happening with ??", the speech execution unit 23c searches for information on '? Use the search results to generate a response message such as "It is □□". The speech execution unit 23c transmits the generated response information to its own terminal 10 (S33).
自端末１０の言動実行部１３ｃは、他端末２０から受信した返答情報を履歴情報として言動履歴ＤＢ１２ｃに記憶する（Ｓ３５）。なお、言動実行部１３ｃは、ステップＳ２９で対話情報を他端末２０に送信した場合にも、送信した対話情報を履歴情報として言動履歴ＤＢ１２ｃに記憶する。これにより、他端末２０との間で送受信されたメッセージ（対話内容）を言動履歴ＤＢ１２ｃに蓄積できる。言動実行部１３ｃは、他端末２０との対話が終了したか否かを判断しており（Ｓ３６）、終了していないと判断した場合（Ｓ３６：ＮＯ）、ステップＳ２８の処理に戻り、他端末２０に送信すべき対話情報を更に生成する（Ｓ２８）。自端末１０及び他端末２０の言動実行部１３ｃ，２３ｃは、ステップＳ２８～Ｓ３５の処理を繰り返すことによって対話を行い、対話の結果（送受信された対話情報）が言動履歴ＤＢ１２ｃに蓄積される。自端末１０の言動実行部１３ｃは、他端末２０との対話が終了したと判断した場合（Ｓ３６：ＹＥＳ）、他端末２０との対話を終了する。
The behavior executing unit 13c of the own terminal 10 stores the response information received from the other terminal 20 as history information in the behavior history DB 12c (S35). Note that even when the dialogue information is transmitted to the other terminal 20 in step S29, the behavior executing unit 13c stores the transmitted dialogue information as history information in the behavior history DB 12c. As a result, messages (dialogue contents) transmitted and received with the other terminal 20 can be stored in the behavior history DB 12c. The behavior executing unit 13c determines whether or not the dialogue with the other terminal 20 has ended (S36), and if it determines that the dialogue has not ended (S36: NO), returns to the process of step S28, and returns to the process of step S28. 20 is further generated (S28). The behavior execution units 13c and 23c of the own terminal 10 and the other terminal 20 repeat the processes of steps S28 to S35 to have a dialogue, and the results of the dialogue (transmitted and received dialogue information) are accumulated in the behavior history DB 12c. When the behavior executing unit 13c of the own terminal 10 determines that the dialogue with the other terminal 20 has ended (S36: YES), the dialogue with the other terminal 20 ends.
上述した処理により、自端末１０のユーザは、自端末１０に設定してある自身のアバターによって、他端末２０のユーザ又はアバターと対話することができる。よって、自端末１０のユーザが直接他端末２０のユーザと対話し辛い場合に、自身のアバターを介して他端末２０のユーザと対話することができる。例えば自端末１０のユーザが他端末２０のユーザと喧嘩した場合に、自端末１０のユーザは自身のアバターによって他端末２０のユーザに謝罪して仲直りすることもできる。また、自端末１０のユーザと他端末２０のユーザとが対話する時間を確保できない場合であっても、例えばアバター同士で対話を行うことにより、対話時間を確保することができる。なお、言動実行部１３ｃ，２３ｃは、各端末１０，２０のアバターに、固有情報ＤＢ１２ａ，２２ａに記憶してあるユーザ固有情報に基づく言動処理（対話処理）を行わせるので、各端末１０，２０のユーザが行う可能性の高い対話処理を実現できる。
Through the processing described above, the user of the own terminal 10 can interact with the user of the other terminal 20 or the avatar using his own avatar set in the own terminal 10 . Therefore, when the user of the own terminal 10 finds it difficult to interact directly with the user of the other terminal 20, it is possible to interact with the user of the other terminal 20 via its own avatar. For example, when the user of the own terminal 10 quarrels with the user of the other terminal 20, the user of the own terminal 10 can apologize to the user of the other terminal 20 using his/her own avatar and reconcile. Further, even if the user of the own terminal 10 and the user of the other terminal 20 cannot secure time to interact with each other, it is possible to secure dialogue time by having avatars interact with each other, for example. Note that the behavior execution units 13c and 23c cause the avatars of the terminals 10 and 20 to perform behavior processing (dialogue processing) based on the user unique information stored in the unique information DBs 12a and 22a. It is possible to realize interactive processing that is highly likely to be performed by users of
他端末２０のユーザは例えば医師、看護師、作業療法士、栄養士等の専門家であってもよく、この場合、自端末１０のユーザは、自身のアバターによって体調、病気、栄養管理等について専門家に相談することができる。また、他端末２０のアバターは、これらの専門家のアバター（専門家アバター）であってもよい。例えば自端末１０の言動実行部１３ｃは、マイク１８又は入力部１５を介して自端末１０のユーザから、所定の専門家又は専門家のアバターに対する相談（対話）の実行要求を受け付ける。そして、言動実行部１３ｃは、受け付けた専門家又は専門家のアバターとの対話を、固有情報ＤＢ１２ａに蓄積したユーザ固有情報に基づいて行うことにより、専門家又は専門家のアバターに相談することができる。このように専門家又は専門家のアバターに相談した内容（対話内容）も対話履歴として言動履歴ＤＢ１２ｃに記憶される。そして、自端末１０のユーザからの要求に応じて、履歴出力部１３ｄが対話履歴に係る対話内容を出力することにより、自端末１０のユーザは相談結果を知ることができる。このような構成とした場合、自端末１０のユーザが自身では聞き辛い内容の相談であっても、自身の代わりにアバターが専門家に相談して専門家からの回答を取得するので、自端末１０のユーザは気軽に相談できる。また、専門家のアバターに相談する場合、忙しい専門家の代わりに専門家のアバターによって相談内容に対する回答が得られる。
The user of the other terminal 20 may be a specialist such as a doctor, a nurse, an occupational therapist, or a nutritionist. You can consult the house. Also, the avatars of the other terminals 20 may be avatars of these experts (expert avatars). For example, the speech/behavior execution unit 13c of the terminal 10 receives a request for consultation (dialogue) with a predetermined expert or an avatar of the expert from the user of the terminal 10 via the microphone 18 or the input unit 15. FIG. Then, the behavior executing unit 13c can consult with the expert or the expert's avatar by conducting dialogue with the accepted expert or the expert's avatar based on the user-specific information accumulated in the unique information DB 12a. can. In this way, the content (conversation content) consulted with the expert or the expert's avatar is also stored in the behavior history DB 12c as a conversation history. In response to a request from the user of terminal 10, history output unit 13d outputs the content of the dialogue related to the dialogue history, so that the user of terminal 10 can know the result of the consultation. With such a configuration, even if the user of his/her own terminal 10 asks for a consultation that is difficult for him/herself to hear, the avatar consults with an expert on behalf of the user and obtains an answer from the expert. 10 users can feel free to consult. Also, when consulting with an avatar of an expert, an answer to the content of the consultation can be obtained from the avatar of the expert instead of the busy expert.
図９及び図１０は、自端末１０及び他端末２０による言動処理の手順例を示すフローチャート、図１１は画面例を示す模式図である。図９及び図１０では左側に自端末１０が行う処理を、右側に他端末２０が行う処理をそれぞれ示す。図９及び図１０に示す処理は、自端末１０のユーザが、自端末１０を用いて他端末２０のユーザ又はアバターとの間で対話を行う際の処理である。図９及び図１０に示す処理において、図７及び図８に示す処理と同様の処理については詳細な説明を省略する。
9 and 10 are flowcharts showing an example of a procedure of behavior processing by the own terminal 10 and the other terminal 20, and FIG. 11 is a schematic diagram showing an example of a screen. 9 and 10, the processing performed by the own terminal 10 is shown on the left side, and the processing performed by the other terminal 20 is shown on the right side. The processing shown in FIGS. 9 and 10 is processing when the user of the own terminal 10 uses the own terminal 10 to interact with the user of the other terminal 20 or the avatar. In the processing shown in FIGS. 9 and 10, detailed description of the processing similar to the processing shown in FIGS. 7 and 8 will be omitted.
自端末１０の言動実行部１３ｃは、マイク１８又は入力部１５を介して、他端末２０のいずれかのユーザ又はアバターとの対話の実行要求を受け付けたか否かを判断する（Ｓ４１）。例えば自端末１０のユーザは、対話したい相手の情報（他端末２０のユーザ又はアバターを示す情報、他端末２０の宛先情報等）をマイク１８又は入力部１５を介して入力し、自身による対話相手との対話の実行を指示する。具体的には、自端末１０のユーザは、「○○さんと話したい」と発話した場合、言動実行部１３ｃは、対話相手として「○○さん」を抽出し、対話相手との対話の実行指示として受け付ける。なお、対話したい相手が他端末２０のアバターである場合、言動実行部１３ｃは、対話相手として「○○さんのアバター」を抽出する。
The behavior executing unit 13c of the own terminal 10 determines whether or not a request to execute dialogue with any user or avatar of the other terminal 20 is received via the microphone 18 or the input unit 15 (S41). For example, the user of the own terminal 10 inputs information of the other party with whom he or she wants to interact (information indicating the user or avatar of the other terminal 20, destination information of the other terminal 20, etc.) via the microphone 18 or the input unit 15, and Instructs the execution of a dialogue with Specifically, when the user of the terminal 10 utters "I want to talk to Mr. ○○", the behavior execution unit 13c extracts "Mr. ○○" as a dialogue partner, and executes a dialogue with the dialogue partner. Take it as an instruction. Note that when the partner with whom the user desires to have a dialogue is the avatar of the other terminal 20, the behavior executing unit 13c extracts "Mr. XX's avatar" as the dialogue partner.
対話要求を受け付けていないと判断した場合（Ｓ４１：ＮＯ）、言動実行部１３ｃは対話要求を受け付けるまで待機する。対話要求を受け付けたと判断した場合（Ｓ４１：ＹＥＳ）、言動実行部１３ｃは、要求された対話相手の宛先情報を宛先情報ＤＢ１２ｂから読み出す（Ｓ４２）。そして言動実行部１３ｃは、読み出した宛先情報に基づいて、要求された対話相手の他端末２０に対して対話の実行を要求する（Ｓ４３）。なお、言動実行部１３ｃは、要求された対話相手が他端末２０のユーザであるかアバターであるかに応じて、他端末２０のユーザ又はアバターに対する対話の実行を要求する。
If it is determined that the dialogue request has not been received (S41: NO), the behavior execution unit 13c waits until the dialogue request is received. When determining that the dialogue request has been received (S41: YES), the behavior execution unit 13c reads out the requested destination information of the dialogue partner from the destination information DB 12b (S42). Then, the behavior executing unit 13c requests the other terminal 20 of the requested dialogue partner to execute dialogue based on the read destination information (S43). Note that the speech/behavior executing unit 13c requests execution of a dialogue with the user of the other terminal 20 or the avatar depending on whether the requested dialogue partner is the user of the other terminal 20 or the avatar.
他端末２０の言動実行部２３ｃは、自端末１０から対話の実行を要求された場合、要求された対話相手（他端末２０のユーザ又はアバター）が対話可能であるか否かを判断する（Ｓ４４）。要求された対話相手が対話可能でないと判断した場合（Ｓ４４：ＮＯ）、言動実行部２３ｃは、対話可能でないこと（対話不可）を自端末１０に通知する（Ｓ４５）。他端末２０から対話不可を通知された場合、自端末１０の言動実行部１３ｃは、他端末２０のユーザ又はアバターが対話不可であることを示すメッセージを表示部１６に表示するか、又はスピーカ１７から音声出力することにより、自端末１０のユーザに通知し（Ｓ４６）、処理を終了する。
When receiving a dialogue execution request from its own terminal 10, the behavior executing unit 23c of the other terminal 20 determines whether or not the requested dialogue partner (the user or avatar of the other terminal 20) is capable of dialogue (S44). ). If it is determined that the requested dialogue partner is not capable of dialogue (S44: NO), the speech/behavior execution unit 23c notifies its own terminal 10 that the dialogue is not possible (dialogue not possible) (S45). When notified by the other terminal 20 that the interaction is not possible, the speech/behavior execution unit 13c of the own terminal 10 displays a message on the display unit 16 indicating that the interaction with the user or the avatar of the other terminal 20 is not possible, or displays the message on the speaker 17. , the user of the terminal 10 is notified (S46), and the process ends.
他端末２０の言動実行部２３ｃは、自端末１０から要求された対話が可能であると判断した場合（Ｓ４４：ＹＥＳ）、対話可能である旨を自端末１０が通知する（Ｓ４７）。他端末２０から対話可能を通知された場合、自端末１０の言動実行部１３ｃは、他端末２０のユーザ又はアバターが対話可能であることを示すメッセージを表示部１６に表示するか、又はスピーカ１７から音声出力することにより、自端末１０のユーザに通知する（Ｓ４８）。なお、ユーザ端末１０，２０がカメラを有し、カメラにて撮影したユーザの撮影画像をユーザ端末１０，２０間で送受信するテレビ電話を行えるように構成されている場合、自端末１０の言動実行部１３ｃは、図１１Ａに示すような画面を表示部１６に表示し、他端末２０のユーザとのテレビ電話を開始してもよい。なお、図１１Ａは他端末２０のユーザの撮影画像を表示した例を示しており、自端末１０のユーザは、図１１Ａに示すような画面を介して他端末２０のユーザと対話することができる。また、対話相手が他端末２０のアバターである場合、他端末２０の言動実行部２３ｃは、他端末２０に設定してあるアバターの画像を自端末１０へ送信し、自端末１０の言動実行部１３ｃは、図１１Ｂに示すような画面を表示部１６に表示する。図１１Ｂは他端末２０のアバターの画像を表示した例を示しており、自端末１０のユーザは、図１１Ｂに示すような画面を介して他端末２０のアバターと対話することができる。
When the behavior executing unit 23c of the other terminal 20 determines that the dialogue requested by the terminal 10 is possible (S44: YES), the terminal 10 notifies that the dialogue is possible (S47). When notified by the other terminal 20 that it is possible to interact, the behavior executing unit 13c of the own terminal 10 displays a message on the display unit 16 or displays a message indicating that the user or the avatar of the other terminal 20 can interact. The user of the own terminal 10 is notified by outputting voice from the terminal 10 (S48). Note that if the user terminals 10 and 20 have a camera and are configured to be able to make a videophone call between the user terminals 10 and 20 by transmitting and receiving images of the user captured by the camera, the user terminals 10 and 20 can execute their own words and actions. The unit 13c may display a screen as shown in FIG. 11A on the display unit 16 and start a videophone call with the user of the other terminal 20. Note that FIG. 11A shows an example of displaying a photographed image of the user of the other terminal 20, and the user of the own terminal 10 can interact with the user of the other terminal 20 via the screen as shown in FIG. 11A. . Further, when the conversation partner is the avatar of the other terminal 20, the behavior executing unit 23c of the other terminal 20 transmits the image of the avatar set in the other terminal 20 to the terminal 10, and the behavior executing unit of the terminal 10 13c displays a screen on the display unit 16 as shown in FIG. 11B. FIG. 11B shows an example of displaying the image of the avatar of the other terminal 20, and the user of the own terminal 10 can interact with the avatar of the other terminal 20 through the screen as shown in FIG. 11B.
言動実行部１３ｃは、マイク１８又は入力部１５を介して自端末１０のユーザから対話相手への対話情報を受け付け（Ｓ４９）、受け付けた対話情報を対話相手の他端末２０に送信する（Ｓ５０）。他端末２０の言動実行部２３ｃは、自端末１０から対話情報を受信した場合、要求されていた対話相手が他端末２０のユーザであるか否かを判断する（Ｓ５１）。対話相手が他端末２０のユーザであると判断した場合（Ｓ５１：ＹＥＳ）、言動実行部２３ｃは、受信した対話情報（対話メッセージ）をスピーカ２７又は表示部２６にて出力する（Ｓ５２）。そして言動実行部２３ｃは、出力した対話情報に対する、他端末２０のユーザからの返答情報（返答メッセージ）をマイク２８又は入力部２５を介して受け付け（Ｓ５３）、受け付けた返答情報を自端末１０に送信する（Ｓ５４）。
The speech execution unit 13c receives dialogue information from the user of the own terminal 10 to the dialogue partner via the microphone 18 or the input unit 15 (S49), and transmits the received dialogue information to the other terminal 20 of the dialogue partner (S50). . When the dialogue information is received from the own terminal 10, the behavior execution unit 23c of the other terminal 20 determines whether or not the requested dialogue partner is the user of the other terminal 20 (S51). When determining that the dialogue partner is the user of the other terminal 20 (S51: YES), the speech/behavior execution unit 23c outputs the received dialogue information (dialogue message) through the speaker 27 or the display unit 26 (S52). Then, the behavior execution unit 23c receives response information (response message) from the user of the other terminal 20 to the output dialogue information via the microphone 28 or the input unit 25 (S53), and transmits the received response information to the own terminal 10. Send (S54).
対話相手が他端末２０のユーザでないと判断した場合（Ｓ５１：ＮＯ）、即ち、対話相手が他端末２０のアバターである場合、他端末２０の言動実行部２３ｃは、固有情報ＤＢ２２ａに記憶してあるユーザ固有情報に基づいて、自端末１０から受信した対話情報に対する返答情報（返答メッセージ）を生成する（Ｓ５５）。そして言動実行部２３ｃは、生成した返答情報を自端末１０に送信する（Ｓ５４）。自端末１０の言動実行部１３ｃは、他端末２０から受信した返答情報（返答メッセージ）をスピーカ１７又は表示部１６にて出力し（Ｓ５６）、更に履歴情報として言動履歴ＤＢ１２ｃに記憶する（Ｓ５７）。なお、言動実行部１３ｃは、ステップＳ５０で対話情報を他端末２０に送信した場合にも、送信した対話情報を履歴情報として言動履歴ＤＢ１２ｃに記憶しておく。これにより、他端末２０との間で送受信されたメッセージ（対話内容）を言動履歴ＤＢ１２ｃに蓄積できる。
When it is determined that the dialogue partner is not the user of the other terminal 20 (S51: NO), that is, when the dialogue partner is the avatar of the other terminal 20, the behavior execution unit 23c of the other terminal 20 stores the Based on certain user-specific information, reply information (reply message) to the dialogue information received from the own terminal 10 is generated (S55). Then, the speech execution unit 23c transmits the generated response information to its own terminal 10 (S54). The behavior execution unit 13c of the own terminal 10 outputs the response information (response message) received from the other terminal 20 through the speaker 17 or the display unit 16 (S56), and further stores it in the behavior history DB 12c as history information (S57). . Note that even when the dialogue information is transmitted to the other terminal 20 in step S50, the behavior executing unit 13c stores the transmitted dialogue information as history information in the behavior history DB 12c. As a result, messages (dialogue contents) transmitted and received with the other terminal 20 can be stored in the behavior history DB 12c.
自端末１０の言動実行部１３ｃは、他端末２０との対話が終了したか否かを判断しており（Ｓ５８）、終了していないと判断した場合（Ｓ５８：ＮＯ）、ステップＳ４９の処理に戻り、他端末２０に送信すべき対話情報を、マイク１８又は入力部１５を介して自端末１０のユーザから受け付ける（Ｓ４９）。自端末１０及び他端末２０の言動実行部１３ｃ，２３ｃは、ステップＳ４９～Ｓ５７の処理を繰り返すことによって対話を行い、対話の結果（送受信された対話情報）が言動履歴ＤＢ１２ｃに蓄積される。自端末１０の言動実行部１３ｃは、他端末２０との対話が終了したと判断した場合（Ｓ５８：ＹＥＳ）、他端末２０との対話を終了する。
The speech execution unit 13c of the own terminal 10 determines whether or not the dialogue with the other terminal 20 has ended (S58). Returning, the dialogue information to be transmitted to the other terminal 20 is received from the user of the own terminal 10 via the microphone 18 or the input unit 15 (S49). The behavior executing units 13c and 23c of the own terminal 10 and the other terminal 20 repeat the processes of steps S49 to S57 to have a dialogue, and the results of the dialogue (transmitted and received dialogue information) are accumulated in the behavior history DB 12c. When the behavior executing unit 13c of the own terminal 10 determines that the dialogue with the other terminal 20 has ended (S58: YES), the dialogue with the other terminal 20 ends.
上述した処理により、自端末１０のユーザは、自端末１０を用いて他端末２０のユーザ又はアバターと対話することができる。よって、自端末１０のユーザは端末１０，２０を介して他端末２０のユーザと対話することができ、互いの撮影画像を送受信した場合にはテレビ電話が可能となる。また自端末１０のユーザが直接他端末２０のユーザと対話し辛い場合又は他端末２０のユーザが忙しい場合に、他端末２０のアバターと対話することにより、他端末２０のユーザとの対話を擬似的に実現することができる。なお、他端末２０のユーザは例えば医師、看護師、作業療法士、栄養士等の専門家であってもよく、この場合、自端末１０のユーザは、体調、病気、栄養管理等について専門家に相談することができる。また、他端末２０のアバターは、これらの専門家のアバター（専門家アバター）であってもよい。この場合、自端末１０のユーザは、忙しい専門家の代わりに専門家のアバターによって相談内容に対する回答が得られるので、気軽に相談できる。
Through the processing described above, the user of the own terminal 10 can interact with the user of the other terminal 20 or the avatar using the own terminal 10 . Therefore, the user of the own terminal 10 can interact with the user of the other terminal 20 via the terminals 10 and 20, and videophone communication becomes possible when mutual photographed images are transmitted and received. Also, when the user of the own terminal 10 finds it difficult to interact directly with the user of the other terminal 20 or when the user of the other terminal 20 is busy, by interacting with the avatar of the other terminal 20, the interaction with the user of the other terminal 20 can be simulated. can be practically realized. Note that the user of the other terminal 20 may be a specialist such as a doctor, a nurse, an occupational therapist, or a nutritionist. can consult. Also, the avatars of the other terminals 20 may be avatars of these experts (expert avatars). In this case, the user of his/her own terminal 10 can obtain an answer to the content of the consultation from the avatar of the expert instead of the busy expert, so that the user can feel free to consult.
図１２は、自端末１０による言動処理の手順例を示すフローチャートである。図１２に示す処理は、自端末１０の制御部１１が、言動実行部１３ｃによって自端末１０のアバターに、固有情報ＤＢ１２ａに記憶してあるユーザ固有情報に基づいて擬似的な外出行為を行わせる処理である。言動実行部１３ｃは、固有情報ＤＢ１２ａに蓄積してある情報に基づいて、自端末１０のユーザが行きたいと思っている場所があるか否かを判断する（Ｓ６１）。また言動実行部１３ｃは、マイク１８又は入力部１５を介して自端末１０のユーザから行きたい場所の情報を受け付けたか否かに応じて、自端末１０のユーザが行きたいと思っている場所があるか否かを判断してもよい。
FIG. 12 is a flow chart showing an example of a procedure of behavior processing by the own terminal 10. As shown in FIG. In the processing shown in FIG. 12, the control unit 11 of the own terminal 10 causes the avatar of the own terminal 10 to perform a pseudo-outing action based on the user unique information stored in the unique information DB 12a by the behavior execution unit 13c. processing. The behavior execution unit 13c determines whether there is a place that the user of the terminal 10 wants to go, based on the information stored in the unique information DB 12a (S61). In addition, the speech execution unit 13c determines the location that the user of the terminal 10 wants to go depending on whether or not the information on the location that the user of the terminal 10 wants to go is received from the user of the terminal 10 via the microphone 18 or the input unit 15. It may be determined whether there is
自端末１０のユーザが行きたい場所があると判断した場合（Ｓ６１：ＹＥＳ）、言動実行部１３ｃは、ネットワークＮ上で公開されている各種の情報から、行きたい場所に関する情報を検索する（Ｓ６２）。そして言動実行部１３ｃは、検索結果から、自端末１０のユーザが行きたい場所においてカメラで撮影されてネットワークＮ上で公開されている撮影画像をネットワークＮ経由で収集する（Ｓ６３）。例えばユーザが富士山に登りたいと思っている場合、言動実行部１３ｃは、富士山の近傍に設置されているカメラによって撮影された富士山の撮影画像、富士山の登山客が撮影した画像等を収集する。これにより、言動実行部１３ｃは、自端末１０のアバターを介して、自端末１０のユーザが行きたい場所に行って撮影画像を取得する外出行為を擬似的に実行することができる。言動実行部１３ｃは、収集した撮影画像を履歴情報として言動履歴ＤＢ１２ｃに記憶する（Ｓ６４）。なお、収集する情報は、撮影画像に限定されず、当該場所に関する情報であればどのような情報でもよい。また言動実行部１３ｃは、収集した複数の情報を、例えばユーザ固有情報に基づいてユーザの好みに適した情報に編集した後に言動履歴ＤＢ１２ｃに記憶してもよい。
If the user of the terminal 10 determines that there is a place he/she wants to go to (S61: YES), the behavior execution unit 13c searches for information on the place he/she wants to go from various information published on the network N (S62). ). Then, from the search results, the speech execution unit 13c collects, via the network N, images taken by the camera at the place the user of the terminal 10 wants to go and published on the network N (S63). For example, when the user wants to climb Mt. Fuji, the behavior execution unit 13c collects images of Mt. Fuji taken by a camera installed near Mt. Fuji, images taken by climbers of Mt. Fuji, and the like. Thereby, the behavior execution part 13c can go to the place where the user of the own terminal 10 wants to go and acquire a photographed image via the avatar of the own terminal 10, thereby performing a simulated going out action. The behavior executing unit 13c stores the captured images as history information in the behavior history DB 12c (S64). Information to be collected is not limited to captured images, and may be any information as long as it is information about the location. Further, the behavior executing unit 13c may store the collected information in the behavior history DB 12c after editing the collected information into information suitable for the user's preference, for example, based on user-specific information.
自端末１０のユーザが行きたい場所がないと判断した場合（Ｓ６１：ＮＯ）、言動実行部１３ｃは、固有情報ＤＢ１２ａに蓄積してある情報に基づいて、自端末１０のユーザがやりたいと思っていることがあるか否かを判断する（Ｓ６５）。自端末１０のユーザがやりたいことがあると判断した場合（Ｓ６５：ＹＥＳ）、言動実行部１３ｃは、ネットワークＮ上で公開されている各種の情報から、やりたいことに関する情報を検索する（Ｓ６６）。そして言動実行部１３ｃは、検索結果から、自端末１０のユーザがやりたいことに関してネットワークＮ上で公開されている撮影画像をネットワークＮ経由で収集する（Ｓ６７）。例えばユーザがスカイダイビングをしたいと思っている場合、言動実行部１３ｃは、スカイダイビングをしている人を撮影した画像、スカイダイビング中に撮影された画像等を収集する。これにより、言動実行部１３ｃは、自端末１０のアバターを介して、自端末１０のユーザがやりたいことを擬似的に実行することができる。言動実行部１３ｃは、収集した撮影画像を履歴情報として言動履歴ＤＢ１２ｃに記憶する（Ｓ６８）。なお、収集する情報は、撮影画像に限定されず、当該やりたいことに関する情報であればどのような情報でもよい。また言動実行部１３ｃは、収集した複数の情報を、例えばユーザ固有情報に基づいてユーザの好みに適した情報に編集した後に言動履歴ＤＢ１２ｃに記憶してもよい。
If it is determined that there is no place that the user of the terminal 10 wants to go to (S61: NO), the behavior execution unit 13c determines whether the user of the terminal 10 wants to go, based on the information accumulated in the unique information DB 12a. It is determined whether or not there is a case where there is a person (S65). If it is determined that the user of the terminal 10 has something to do (S65: YES), the behavior executing section 13c searches various information published on the network N for information on what the user wants to do (S66). Then, the behavior executing unit 13c collects, from the search results, captured images published on the network N regarding what the user of the terminal 10 wants to do via the network N (S67). For example, when the user wants to go skydiving, the behavior executing unit 13c collects an image of a skydiving person, an image taken during skydiving, and the like. Thereby, the behavior executing unit 13c can simulate what the user of the terminal 10 wants to do via the avatar of the terminal 10. FIG. The behavior executing unit 13c stores the captured images as history information in the behavior history DB 12c (S68). Information to be collected is not limited to captured images, and may be any information as long as it is information about what the user wants to do. Further, the behavior executing unit 13c may store the collected information in the behavior history DB 12c after editing the collected information into information suitable for the user's preference, for example, based on user-specific information.
ユーザがやりたいことがないと判断した場合（Ｓ６５：ＮＯ）、言動実行部１３ｃは、ステップＳ６１の処理に戻り、行きたい場所又はやりたいことがあると判断する都度、上述した処理によって各種の情報を収集し、擬似的な行為の履歴情報を言動履歴ＤＢ１２ｃに蓄積できる。上述した処理により、自端末１０は、固有情報ＤＢ１２ａに蓄積されたユーザ固有の情報に基づいて、ユーザが行きたい場所又はやりたいことを適宜抽出し、ユーザに代わって行動し、行動した結果得られた情報を履歴情報として蓄積できる。よって、自端末１０のユーザは、行きたい場所に行く時間又はやりたいことをやる時間がない場合であっても、自端末１０のアバターによって、行きたい場所に擬似的に行き、また、やりたいことを擬似的に行うことができる。なお、言動実行部１３ｃは、自端末１０のアバターを介して、固有情報ＤＢ１２ａに記憶してあるユーザ固有情報に基づく言動処理（行動、外出）を行うので、自端末１０のユーザが行う可能性の高い行動を実現できる。
When the user determines that there is nothing that the user wants to do (S65: NO), the behavior execution unit 13c returns to the process of step S61, and each time it determines that there is a place that the user wants to go or something that the user wants to do, various information is obtained by the above-described process. It is possible to collect and accumulate history information of pseudo actions in the behavior history DB 12c. Through the above-described processing, the own terminal 10 appropriately extracts the place the user wants to go or what the user wants to do based on the information specific to the user accumulated in the specific information DB 12a, acts on behalf of the user, and obtains the result of the action. This information can be accumulated as history information. Therefore, even if the user of his/her own terminal 10 does not have time to go to the place he/she wants to go or do what he/she wants to do, the avatar of his/her own terminal 10 allows the user to go to the place he/she wants to go and to do what he or she wants to do. It can be simulated. Note that the behavior execution unit 13c performs behavior processing (behavior, going out) based on the user-specific information stored in the unique information DB 12a via the avatar of the terminal 10. high performance can be achieved.
図１３は、自端末１０による言動履歴の再生処理の手順例を示すフローチャート、図１４は画面例を示す模式図である。図７～図１０に示す対話処理及び図１２に示す行動処理によって言動履歴ＤＢ１２ｃに言動履歴（履歴情報）を蓄積した自端末１０において、制御部１１は、履歴出力部１３ｄによって、蓄積した履歴情報を表示部１６又はスピーカ１７にて再生する。具体的には、履歴出力部１３ｄは、マイク１８又は入力部１５を介して、言動履歴ＤＢ１２ｃに蓄積した言動履歴（履歴情報）に対する再生要求を受け付けたか否かを判断する（Ｓ７１）。自端末１０のユーザは、いずれかの言動履歴を再生させたい場合、マイク１８又は入力部１５を介して言動履歴の再生要求を入力する。
FIG. 13 is a flow chart showing an example of the procedure of reproduction processing of the behavior history by the own terminal 10, and FIG. 14 is a schematic diagram showing an example of a screen. 7 to 10 and the behavior processing shown in FIG. is reproduced on the display unit 16 or the speaker 17 . Specifically, the history output unit 13d determines whether or not a reproduction request for the behavior history (history information) accumulated in the behavior history DB 12c has been received via the microphone 18 or the input unit 15 (S71). The user of his/her own terminal 10 inputs a request for reproduction of the behavior history via the microphone 18 or the input unit 15 when he/she wishes to reproduce any behavior history.
履歴出力部１３ｄは、言動履歴に対する再生要求を受け付けていないと判断した場合（Ｓ７１：ＮＯ）、再生要求を受け付けるまで待機する。履歴出力部１３ｄは、再生要求を受け付けたと判断した場合（Ｓ７１：ＹＥＳ）、言動履歴ＤＢ１２ｃに蓄積した言動履歴（履歴情報）に基づいて、図１４に示すように、それぞれの言動履歴に関する情報を表示する履歴画面を生成する（Ｓ７２）。履歴出力部１３ｄは、生成した履歴画面を表示部１６に表示する（Ｓ７３）。図１４に示す履歴画面は、左上に自端末１０のアバターの画像を表示し、自端末１０のアバターが今日行った活動（言動）について、言動履歴ＤＢ１２ｃに蓄積した言動履歴のそれぞれに基づいて、履歴情報のサムネイル画像及び言動内容を示す情報を表示する。履歴情報のサムネイル画像は、履歴情報に含まれる言動データが画像データである場合、この画像データに基づいて生成される。なお、履歴情報に含まれる言動データが画像データでない場合、例えば言動データが音声データのみである場合、サムネイル画像の代わりに「音声のみ」のメッセージを表示してもよい。履歴画面に表示される言動内容を示す情報は、履歴情報に含まれる言動内容、相手情報、場所情報等に基づいて生成される。また履歴画面は、自端末１０のアバターが過去に行った活動（言動）における言動履歴（履歴情報）を表示させるための「過去の活動履歴」ボタンを表示している。よって、履歴画面において「過去の活動履歴」ボタンが入力部１５を介して操作された場合、履歴出力部１３ｄは、言動履歴ＤＢ１２ｃに蓄積した過去の言動履歴に関する情報を履歴画面に表示する。
If the history output unit 13d determines that the reproduction request for the behavior history has not been received (S71: NO), it waits until the reproduction request is received. When the history output unit 13d determines that the reproduction request has been accepted (S71: YES), based on the behavior history (history information) accumulated in the behavior history DB 12c, as shown in FIG. A history screen to be displayed is generated (S72). The history output unit 13d displays the generated history screen on the display unit 16 (S73). The history screen shown in FIG. 14 displays an image of the avatar of the terminal 10 on the upper left, and the activities (behavior) performed by the avatar of the terminal 10 today are based on the behavior histories accumulated in the behavior history DB 12c. Display a thumbnail image of the history information and information indicating the contents of the behavior. If the behavior data included in the history information is image data, the thumbnail image of the history information is generated based on this image data. If the behavior data included in the history information is not image data, for example, if the behavior data is only audio data, a message "sound only" may be displayed instead of the thumbnail image. The information indicating the content of behavior displayed on the history screen is generated based on the content of behavior, partner information, location information, etc. included in the history information. The history screen also displays a "past activity history" button for displaying the behavior history (history information) of the past activities (behavior) performed by the avatar of the terminal 10. FIG. Therefore, when the "past activity history" button is operated via the input unit 15 on the history screen, the history output unit 13d displays information on the past behavior history accumulated in the behavior history DB 12c on the history screen.
履歴画面は、言動履歴のいずれかを再生対象に選択できるように構成されており、選択された言動履歴の再生を要求するための再生ボタンと、再生処理を終了するためのキャンセルボタンとを表示している。履歴出力部１３ｄは、履歴画面において入力部１５を介して、いずれかの言動履歴が選択されて再生ボタンが操作されたか否かに応じて、選択された履歴情報に対する再生要求（出力要求）を受け付けたか否かを判断する（Ｓ７４）。再生要求を受け付けていないと判断した場合（Ｓ７４：ＮＯ）、履歴出力部１３ｄは、再生要求を受け付けるまで待機する。再生要求を受け付けたと判断した場合（Ｓ７４：ＹＥＳ）、履歴出力部１３ｄは、選択された履歴情報を言動履歴ＤＢ１２ｃから読み出し（Ｓ７５）、読み出した履歴情報を表示部１６又はスピーカ１７にて出力する（Ｓ７６）。例えば対話処理の履歴情報に音声データの対話データ（対話音声）が含まれる場合、音声データがスピーカ１７から出力され、テキストデータの対話データが含まれる場合、テキストデータが表示部１６に表示される。これにより、自端末１０のアバターが他端末２０のユーザ又はアバターとの間で擬似的に行った対話処理を再現することができる。また、例えば外出処理の履歴情報に画像データ（撮影画像）が含まれる場合、画像データが表示部１６に表示され、自端末１０のアバターが擬似的に行った外出処理を再現することができる。
The history screen is configured so that one of the speech and action histories can be selected for playback, and displays a play button for requesting playback of the selected speech and action history and a cancel button for terminating the playback process. are doing. The history output unit 13d issues a reproduction request (output request) for the selected history information via the input unit 15 on the history screen according to whether or not any of the behavior history is selected and the reproduction button is operated. It is determined whether or not it has been accepted (S74). When determining that the reproduction request has not been received (S74: NO), the history output unit 13d waits until the reproduction request is received. When determining that the reproduction request has been received (S74: YES), the history output unit 13d reads the selected history information from the behavior history DB 12c (S75), and outputs the read history information through the display unit 16 or the speaker 17. (S76). For example, when dialogue data (dialogue voice) of voice data is included in the history information of dialogue processing, the voice data is output from the speaker 17, and when dialogue data of text data is included, the text data is displayed on the display unit 16. . As a result, it is possible to reproduce simulated interactive processing between the avatar of the terminal 10 and the user or avatar of the other terminal 20 . Further, for example, when image data (photographed image) is included in the history information of going out processing, the image data is displayed on the display unit 16, and the going out processing performed by the avatar of the own terminal 10 can be reproduced in a pseudo manner.
上述した処理により、本実施形態では、自端末１０のユーザに代わって自端末１０のアバターが、他端末２０のユーザ又はアバターと対話を実行することができる。また、自端末１０のユーザが行きたい場所に擬似的に出かけ、また、自端末１０のユーザがやりたいことを擬似的に実行し、実行した結果を示す履歴情報を自端末１０のユーザに提供することができる。よって、自端末１０のユーザは、自端末１０のアバターから提供された履歴情報を再生することによって、アバターが他端末２０のユーザ又はアバターと対話した内容を確認することができる。また、自端末１０のユーザは、自端末１０のアバターから提供された履歴情報を再生することによって、アバターが擬似的に行った行動を辿ることができる。よって、自端末１０のユーザは、アバターから提供された履歴情報に基づいて、実際に行ってみたい場所又はやってみたいことを選択することができ、実際の行動に移すことができる。
According to the process described above, in the present embodiment, the avatar of the terminal 10 can interact with the user of the other terminal 20 or the avatar instead of the user of the terminal 10 . In addition, the user of the terminal 10 simulates going to a place that the user of the terminal 10 wants to go to, executes what the user of the terminal 10 wants to do, and provides the user of the terminal 10 with history information indicating the execution result. be able to. Therefore, by reproducing the history information provided by the avatar of the own terminal 10, the user of the own terminal 10 can confirm the contents of the conversation between the avatar and the user of the other terminal 20 or the avatar. In addition, the user of his/her own terminal 10 can trace the simulated behavior of the avatar by reproducing the history information provided by the avatar of his/her own terminal 10 . Therefore, based on the history information provided by the avatar, the user of his/her own terminal 10 can select a place he/she actually wants to go or what he/she wants to do, and can move to actual action.
本実施形態では、ユーザ端末１０，２０の対話処理部１３ａ，２３ａは、ユーザ端末１０，２０のユーザと対話することができ、ユーザは、自身のユーザ端末１０，２０（ユーザ端末１０，２０のアバター）と対話することによって孤独感及び不安を和らげることができる。また、ユーザ端末１０，２０の固有情報収集部１３ｂ，２３ｂは、ユーザ端末１０，２０のユーザとの対話内容等から各ユーザのユーザ固有情報を収集する。よって、ユーザの属性、行動履歴、趣味、好み、思考傾向等の固有情報を蓄積することができる。そして、このような固有情報に基づく言動をユーザのアバターに行わせることにより、ユーザが言動する代わりにユーザと同じような言動をアバターに行わせることができる。従って、ユーザの代わりにユーザのアバターが他のユーザと対話することができる。また、ユーザが行きたい場所にアバターが代わりに出かけることができ、ユーザがやりたいことをアバターが代わりに実現することができる。ユーザの代わりにアバターが行った言動について履歴情報を蓄積しておき、蓄積した履歴情報を再生させることにより、ユーザは、アバターによる言動を擬似的に体験することができる。このようなアバターを介した擬似的な体験や自身による擬似的な体験を通して、ユーザは新たな気づきを得て、精神的により豊かな生活を送ることができるようになったり、現実世界での接点の拡大によって実際の行動変化を引き起こしたりすることが期待できる。
In this embodiment, the interaction processing units 13a and 23a of the user terminals 10 and 20 can interact with the users of the user terminals 10 and 20, and the users can interact with their own user terminals 10 and 20 (the Avatar) can relieve feelings of loneliness and anxiety. In addition, the unique information collection units 13b and 23b of the user terminals 10 and 20 collect user unique information of each user from the contents of conversations with the users of the user terminals 10 and 20, and the like. Therefore, unique information such as user attributes, action history, hobbies, tastes, and thinking tendencies can be accumulated. By making the user's avatar perform behavior based on such unique information, the avatar can be made to perform behavior similar to that of the user instead of the user's behavior. Thus, a user's avatar can interact with other users on behalf of the user. In addition, the avatar can go to the place where the user wants to go instead, and the avatar can realize what the user wants to do instead. By accumulating history information about speech and behavior performed by an avatar on behalf of the user and reproducing the accumulated history information, the user can simulate the speech and behavior of the avatar. Through such simulated experiences via avatars and simulated experiences by themselves, users gain new realizations, become able to live spiritually richer lives, and have opportunities to connect with people in the real world. It can be expected that the expansion of
また本実施形態において、言動実行部１３ｃは、数年後又は数十年後等の将来に生じる可能性のあるイベントに関して、例えば専門家（専門家の端末）に問合せを行い、専門家の意見又はアドバイス（イベントに係る情報）を取得する処理を行ってもよい。このとき言動実行部１３ｃは、自端末１０のアバターを介して問合せを行ってもよい。例えば、自端末１０のユーザの年齢、既往歴、医療機関への通院歴等から将来発症する可能性のある病気に関する情報を医師（又は医師のアバター）に問合せ、医師（又は医師のアバター）から病気に関する情報又はアドバイスを取得して履歴情報として言動履歴ＤＢ１２ｃに蓄積してもよい。また、自端末１０のユーザの年齢から、将来到来する入学試験、就職試験等に関する情報を所定端末（例えば専門家の端末）に問合せ、又はネットワークＮ上で公開されている情報を検索することにより、これらの情報を取得して履歴情報として言動履歴ＤＢ１２ｃに蓄積してもよい。更に、自端末１０のユーザの子供の年齢等から、将来到来する子供の七五三、入園、卒園、入学、卒業等のイベントに関する情報を所定端末（例えば専門家の端末）に問合せ、又はネットワークＮ上で公開されている情報を検索することにより、これらの情報を取得して履歴情報として言動履歴ＤＢ１２ｃに蓄積してもよい。このような構成とした場合、自端末１０のユーザ自身が、専門家への問合せ、情報の検索等を行うことなく、アバターが収集した履歴情報を閲覧することにより、各種の情報を得ることができる。
Further, in the present embodiment, the behavior execution unit 13c inquires, for example, an expert (expert's terminal) about an event that may occur in the future, such as several years or decades later, and obtains the opinion of the expert. Alternatively, a process of obtaining advice (information about an event) may be performed. At this time, the behavior executing unit 13c may make an inquiry through the avatar of the terminal 10 itself. For example, inquire of a doctor (or a doctor's avatar) about information about a disease that may develop in the future based on the user's age, medical history, visit history to a medical institution, etc., and the doctor (or the doctor's avatar) Information or advice about illness may be acquired and stored as history information in the behavior history DB 12c. In addition, based on the age of the user of the own terminal 10, by inquiring a predetermined terminal (for example, a terminal of an expert) about information on future entrance exams, employment exams, etc., or searching for information published on the network N , such information may be acquired and accumulated in the behavior history DB 12c as history information. In addition, based on the age of the child of the user of the terminal 10, the user inquires about information on future events such as Shichi-Go-San festival, kindergarten entrance, kindergarten entrance, graduation, etc. from a predetermined terminal (for example, a terminal of a specialist), or network N By retrieving the information published above, such information may be acquired and stored as history information in the behavior history DB 12c. With such a configuration, the user of the terminal 10 himself/herself can obtain various types of information by viewing the history information collected by the avatar without making inquiries to experts, searching for information, or the like. can.
また、自端末１０のユーザの代わりに自端末１０のアバターがユーザ固有情報に基づいて他のユーザ（他端末２０のユーザ）と対話した場合に、他のユーザとフィーリングが合うか否かを自端末１０のアバターによって判断することできる。よって、自端末１０のアバターによってフィーリングが合うと判断された他のユーザを自端末１０のユーザに推薦することにより、自端末１０のユーザは、フィーリングが合う可能性が高い他のユーザを把握できる。また、自端末１０のユーザがやろうとして忘れていることを、自端末１０のユーザの代わりに自端末１０のアバターがユーザ固有情報に基づいて行うこともできる。例えば自端末１０のユーザが買い物しようとして忘れている物を、自端末１０のアバターがユーザ固有情報に基づいて注文処理することもできる。具体的には、自端末１０の言動実行部１３ｃは、ユーザ固有の情報に基づいて、ユーザが購買しようとしていた商品を特定し、特定した商品の注文情報を所定端末（商品の販売サイトの端末）へ出力する処理を実行してもよい。また、自端末１０のアバターは、ユーザ固有情報に基づいて自端末１０のユーザが購買すべき商品を検索した場合に、この商品に関する情報をスピーカ１７又は表示部１６にて出力し、自端末１０のユーザに提案してもよい。この場合、自端末１０の言動実行部１３ｃは、ユーザ固有の情報に基づいて、ユーザが購買しようとしていた商品を抽出し、抽出した商品に関する情報を、例えばスピーカ１７又は表示部１６を介して自端末１０のアバターによって自端末１０のユーザに提案する。その後、自端末１０の言動実行部１３ｃは、例えばマイク１８又は入力部１５を介してユーザから購買許可の指示を受け付けた場合に、この商品の注文情報を所定端末（商品の販売サイトの端末）へ出力することにより注文処理を行うことができる。更に、自端末１０の言動実行部１３ｃは、ユーザ固有情報に基づいて自端末１０のユーザが気に入る可能性の高い商品を検索した場合に、自端末１０のアバターを介してこの商品を自端末１０のユーザに勧めることもできる。
Also, when the avatar of the terminal 10 instead of the user of the terminal 10 interacts with another user (user of the other terminal 20) based on the user-specific information, it is determined whether or not the feeling matches the other user. It can be judged by the avatar of the own terminal 10 . Therefore, by recommending to the user of own terminal 10 another user judged to have a similar feeling by the avatar of own terminal 10, the user of own terminal 10 can select another user with a high possibility of feeling similar. I can grasp it. Also, what the user of the terminal 10 has forgotten to do can be performed by the avatar of the terminal 10 instead of the user of the terminal 10 based on the user-specific information. For example, an avatar of the terminal 10 can process an order for an item that the user of the terminal 10 forgets to buy based on the user-specific information. Specifically, the behavior executing unit 13c of the own terminal 10 identifies the product that the user was trying to purchase based on the user-specific information, and transmits the order information of the identified product to a predetermined terminal (terminal of the product sales site). ) may be executed. Further, when the user of the terminal 10 searches for a product to be purchased by the user of the terminal 10 based on the user-specific information, the avatar of the terminal 10 outputs information about the product through the speaker 17 or the display unit 16, and the avatar of the terminal 10 users. In this case, the speech/behavior executing unit 13c of the terminal 10 extracts the product that the user is trying to purchase based on the information unique to the user, and automatically transmits the information about the extracted product via the speaker 17 or the display unit 16, for example. The avatar of the terminal 10 proposes to the user of the terminal 10 itself. After that, when receiving a purchase permission instruction from the user via the microphone 18 or the input unit 15, for example, the behavior execution unit 13c of the own terminal 10 transmits the order information of the product to a predetermined terminal (terminal of the product sales site). Order processing can be performed by outputting to Further, when the behavior executing unit 13c of the own terminal 10 searches for a product that the user of the own terminal 10 is likely to like based on the user-specific information, the speech execution unit 13c of the own terminal 10 sends the product to the own terminal 10 via the avatar of the own terminal 10. can be recommended to users of
本実施形態では、固有情報ＤＢ１２ａに蓄積されたユーザ固有情報に基づいて、自端末１０のユーザが行う可能性の高い言動を再現できる。よって、例えば自端末１０のユーザ本人が病気等で対話できなくなった場合であっても、ユーザ固有情報に基づく言動に従って、ユーザ本人が何を言いたいのか何をしたいのか等を予測できる。
In this embodiment, it is possible to reproduce behaviors that are highly likely to be performed by the user of the terminal 10 based on the user-specific information accumulated in the specific information DB 12a. Therefore, for example, even if the user of the terminal 10 himself/herself becomes ill and unable to interact, it is possible to predict what the user himself/herself wants to say or do, etc. according to the behavior based on the user-specific information.
（実施形態２）
ユーザ固有情報を登録する際に、ユーザの生体情報に基づくユーザの状態を考慮する情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態１の情報処理システムと同様のユーザ端末１０，２０によって実現されるので、同様の構成については説明を省略する。なお、本実施形態の情報処理システムは、ユーザ端末１０，２０の各ユーザの生体情報を計測する生体情報計測器３０を更に含む。
(Embodiment 2)
An information processing system that considers a user's state based on the user's biometric information when registering user-specific information will be described. The information processing system of the present embodiment is realized by the user terminals 10 and 20 similar to those of the information processing system of the first embodiment, so the description of the same configuration will be omitted. The information processing system of this embodiment further includes a biological information measuring instrument 30 that measures the biological information of each user of the user terminals 10 and 20 .
図１５は実施形態２の情報処理システムの構成例を示す模式図である。図１５は自端末１０及び自端末１０のユーザの生体情報を計測する生体情報計測器３０のみを示すが、本実施形態の情報処理システムは、それぞれの他端末２０のユーザの生体情報を計測する生体情報計測器を含む。本実施形態のユーザ端末１０，２０において通信部１４，２４は、ネットワークＮに接続するためのインタフェースだけでなく、有線通信又は無線通信によって、それぞれ対応する生体情報計測器３０と通信するためのインタフェースを含み、生体情報計測器３０との間で情報の送受信を行う。生体情報計測器３０は、例えばスマートウォッチのような腕時計型のウェアラブルデバイスであり、ユーザの心拍数、脈拍数、血圧等の生体情報を計測する。生体情報計測器３０は、計測した生体情報を逐次ユーザ端末１０，２０へ送信し、ユーザ端末１０，２０の通信部１４，２４は、それぞれ通信可能な生体情報計測器３０から送信されてくる生体情報を順次取得する。
FIG. 15 is a schematic diagram showing a configuration example of an information processing system according to the second embodiment. Although FIG. 15 shows only the own terminal 10 and the biological information measuring device 30 for measuring the biological information of the user of the own terminal 10, the information processing system of this embodiment measures the biological information of the users of the respective other terminals 20. Including biological information measuring instruments. In the user terminals 10 and 20 of the present embodiment, the communication units 14 and 24 are not only interfaces for connecting to the network N, but also interfaces for communicating with the corresponding biological information measuring instruments 30 by wired communication or wireless communication. and transmits and receives information to and from the biological information measuring instrument 30 . The biological information measuring device 30 is, for example, a wristwatch-type wearable device such as a smart watch, and measures biological information such as a user's heart rate, pulse rate, and blood pressure. The biological information measuring instrument 30 sequentially transmits the measured biological information to the user terminals 10 and 20, and the communication units 14 and 24 of the user terminals 10 and 20 receive the biological information transmitted from the communicable biological information measuring instrument 30, respectively. Get information sequentially.
本実施形態の情報処理システムにおいても、ユーザ端末１０，２０のそれぞれは、各端末のユーザにおけるユーザ固有情報を収集する処理を行う。なお、本実施形態のユーザ端末１０，２０は、ユーザ固有情報を収集して固有情報ＤＢ１２ａに記憶（登録）する際に、それぞれのユーザの生体情報に基づくユーザの状態を考慮する。図１６は、自端末１０によるユーザ固有情報の収集処理の手順例を示すフローチャートである。なお、図１６は自端末１０が行う処理を示すが、他端末２０も同様の処理を行う。
Also in the information processing system of the present embodiment, each of the user terminals 10 and 20 performs a process of collecting user-specific information of the user of each terminal. It should be noted that the user terminals 10 and 20 of the present embodiment take into account the user's state based on the biometric information of each user when collecting the user's unique information and storing (registering) it in the unique information DB 12a. FIG. 16 is a flow chart showing an example of a procedure for collection processing of user-specific information by the own terminal 10. As shown in FIG. Although FIG. 16 shows the processing performed by the own terminal 10, the other terminal 20 also performs the same processing.
自端末１０の固有情報収集部１３ｂは、対話処理部１３ａによって自端末１０のユーザとの対話を行う。具体的には、固有情報収集部１３ｂは、対話処理部１３ａによってユーザとの対話内容を示す対話情報（対話メッセージ）を生成し、スピーカ１７又は表示部１６にて出力する（Ｓ８１）。対話情報は、予め記憶部１２に記憶された対話メッセージであってもよく、マイク１８又は入力部１５を介して取得したユーザからの対話内容に応じた返答メッセージであってもよい。固有情報収集部１３ｂは、出力した対話情報に対してユーザが返答した返答情報（返答メッセージ）をマイク１８又は入力部１５にて取得する（Ｓ８２）。
The unique information collection unit 13b of the own terminal 10 interacts with the user of the own terminal 10 by the interaction processing unit 13a. Specifically, the unique information collection unit 13b generates dialogue information (dialogue message) indicating the content of the dialogue with the user by the dialogue processing unit 13a, and outputs it through the speaker 17 or the display unit 16 (S81). The dialogue information may be a dialogue message stored in the storage unit 12 in advance, or may be a reply message according to the content of the dialogue from the user acquired via the microphone 18 or the input unit 15 . The specific information collecting unit 13b acquires the reply information (response message) that the user replies to the output dialogue information through the microphone 18 or the input unit 15 (S82).
自端末１０の制御部１１は、固有情報収集部１３ｂによってユーザと対話しつつ、生体情報計測器３０から送信されたユーザの生体情報を取得する（Ｓ８３）。制御部１１は、生体情報計測器３０から取得した生体情報に基づいて、ユーザの心理状態を検出する（Ｓ８４）。例えば制御部１１は、生体情報計測器３０で計測された心拍数及び脈拍数から、ユーザの自律神経の状態を検出する。一般的に知られているように、自律神経には、活動時に活発になる交感神経と、夜間又は安静時に活発になる副交感神経とがあり、交感神経と副交感神経とのバランスに応じてユーザがリラックス状態であるか緊張・不安状態であるかを検出する。
The control unit 11 of the own terminal 10 acquires the user's biological information transmitted from the biological information measuring device 30 while interacting with the user through the unique information collecting unit 13b (S83). The control unit 11 detects the psychological state of the user based on the biological information acquired from the biological information measuring instrument 30 (S84). For example, the control unit 11 detects the state of the user's autonomic nerves from the heart rate and pulse rate measured by the biological information measuring device 30 . As is generally known, autonomic nerves include sympathetic nerves that become active during activity and parasympathetic nerves that become active at night or at rest. Detect whether the person is in a relaxed state or a tense/anxious state.
具体的には、制御部１１は、ユーザの心拍数及び脈拍数の計測結果（正確には心電波形及び脈波）に対してスペクトル解析を行い、低周波帯域成分（ＬＦ；Low Frequency）と高周波帯域成分（ＨＦ；High Frequency）とを抽出して、両者の比率を示すＬＦ／ＨＦ値を算出する。低周波帯域成分には主に交感神経成分が含まれ、高周波帯域成分には主に副交感神経成分が含まれ、制御部１１は、ＬＦ／ＨＦ値を算出することで交感神経及び副交感神経のバランスを取得することができる。制御部１１は、算出したＬＦ／ＨＦ値に基づいてユーザの心理状態を判断する。例えば制御部１１は、ＬＦ／ＨＦ値が所定値以上であれば、ユーザは緊張・不安状態であると判断し、ＬＦ／ＨＦ値が所定値未満であれば、ユーザはリラックス状態であると判断してもよい。なお、制御部１１は、ＬＦ／ＨＦ値以外の数値を算出し、算出結果に基づいてユーザの状態を検出してもよい。
Specifically, the control unit 11 performs spectrum analysis on the measurement results of the user's heart rate and pulse rate (more precisely, electrocardiographic waveform and pulse wave), and determines low frequency band components (LF; Low Frequency). A high frequency band component (HF; High Frequency) is extracted, and an LF/HF value indicating the ratio of the two is calculated. The low-frequency band component mainly contains a sympathetic nerve component, and the high-frequency band component mainly contains a parasympathetic nerve component. can be obtained. The control unit 11 determines the psychological state of the user based on the calculated LF/HF value. For example, if the LF/HF value is equal to or greater than a predetermined value, the control unit 11 determines that the user is in a tense/anxious state, and if the LF/HF value is less than the predetermined value, determines that the user is in a relaxed state. You may Note that the control unit 11 may calculate a numerical value other than the LF/HF value and detect the user's condition based on the calculation result.
制御部１１は、検出したユーザの心理状態がリラックス状態であるか否かを判断し（Ｓ８５）、リラックス状態であると判断した場合（Ｓ８５：ＹＥＳ）、固有情報収集部１３ｂにより、ステップＳ８２で取得した返答情報からユーザ固有情報を抽出する（Ｓ８６）。そして、固有情報収集部１３ｂは、抽出したユーザ固有情報を、情報ＩＤ及び情報内容に対応付けて固有情報ＤＢ１２ａに記憶する（Ｓ８７）。これにより、ユーザがリラックス状態であるときにユーザとの対話内容から抽出されたユーザ固有情報が固有情報ＤＢ１２ａに登録される。一方、検出したユーザの状態が緊張・不安状態であると判断した場合（Ｓ８５：ＮＯ）、制御部１１は、ステップＳ８６～Ｓ８７をスキップする。これにより、ユーザが緊張・不安状態であるときにユーザとの対話内容から抽出されるユーザ固有情報は固有情報ＤＢ１２ａに登録されない。よって、リラックス状態でない（緊張・不安状態である）ユーザが発した対話内容は、ユーザの本意ではない可能性があるので、このような対話内容から抽出されるユーザ固有情報を登録しないことにより、ユーザ本来の状態でのユーザ固有情報のみを登録することができる。
The control unit 11 determines whether or not the detected state of mind of the user is in a relaxed state (S85), and if it is determined to be in a relaxed state (S85: YES), the unique information collection unit 13b causes User unique information is extracted from the acquired reply information (S86). Then, the unique information collection unit 13b stores the extracted user unique information in the unique information DB 12a in association with the information ID and the information content (S87). Thereby, the user-specific information extracted from the content of the dialogue with the user when the user is in the relaxed state is registered in the specific information DB 12a. On the other hand, when it is determined that the detected state of the user is the tense/anxious state (S85: NO), the control section 11 skips steps S86 to S87. As a result, the user-specific information extracted from the content of the dialogue with the user when the user is in a tense/anxious state is not registered in the specific information DB 12a. Therefore, since there is a possibility that the content of dialogue uttered by a user who is not in a relaxed state (in a tense/anxious state) is not the user's intention, by not registering user-specific information extracted from such dialogue content, Only user-specific information in the user's original state can be registered.
制御部１１は、固有情報収集部１３ｂ（対話処理部１３ａ）がユーザとの対話を終了したか否かを判断しており（Ｓ８８）、終了していないと判断した場合（Ｓ８８：ＮＯ）、ステップＳ８１の処理に戻る。そして固有情報収集部１３ｂは、ユーザと次に対話すべき対話情報（対話メッセージ）を生成し、スピーカ１７又は表示部１６にて出力し（Ｓ８１）、ステップＳ８２～Ｓ８７の処理を繰り返す。制御部１１は、固有情報収集部１３ｂ（対話処理部１３ａ）がユーザとの対話を終了したと判断した場合（Ｓ８８：ＹＥＳ）、処理を終了する。上述した処理により、ユーザがリラックス状態である場合に、ユーザとの対話内容からユーザ固有情報が逐次抽出されて登録されるので、ユーザが意識することなく、本来のユーザにおけるユーザ固有情報の蓄積が可能である。なお、ユーザが緊張・不安状態である場合には、ユーザ固有情報の蓄積は行われないが、ユーザとの対話は行われるので、ユーザは自身の状態にかかわらず、自端末１０と対話することができる。
The control unit 11 determines whether or not the unique information collection unit 13b (interaction processing unit 13a) has finished the dialogue with the user (S88). The process returns to step S81. Then, the unique information collection unit 13b generates dialogue information (dialogue message) to be next dialogued with the user, outputs it through the speaker 17 or the display unit 16 (S81), and repeats the processing of steps S82 to S87. When the control unit 11 determines that the unique information collection unit 13b (interaction processing unit 13a) has finished the interaction with the user (S88: YES), the process ends. With the above-described processing, when the user is in a relaxed state, the user-specific information is sequentially extracted from the content of the dialogue with the user and registered. It is possible. Note that when the user is in a tense/anxious state, user-specific information is not accumulated, but dialogue with the user is performed. can be done.
本実施形態の情報処理システムにおいて、ユーザ端末１０，２０は、図７～図８に示す処理と同様の処理を行う。これにより、本実施形態においても、自端末１０に設定されたアバター（ユーザのアバター）に、固有情報ＤＢ１２ａに蓄積されたユーザ固有情報に基づいて、他端末２０のユーザ又はアバターとの対話を行わせることができる。また本実施形態のユーザ端末１０，２０は、図９～図１０に示す処理と同様の処理を行う。これにより、本実施形態においても、自端末１０のユーザは、自端末１０を用いて、他端末２０のユーザ又はアバターと対話を行うことができる。また本実施形態のユーザ端末１０，２０は、図１２に示す処理と同様の処理を行う。これにより、本実施形態においても、自端末１０に設定されたアバター（ユーザのアバター）に、固有情報ＤＢ１２ａに蓄積されたユーザ固有情報に基づいて、擬似的な外出行為（行動）を行わせることができる。更に本実施形態のユーザ端末１０，２０は、図１３に示す処理と同様の処理を行う。これにより、自端末１０のアバターが行った他端末２０のユーザ又はアバターとの対話履歴、自端末１０のアバターが行った擬似的な外出行為に係る外出履歴等を自端末１０で再現できる。よって、自端末１０のユーザは、自端末１０のアバターが行った他端末２０のユーザ又はアバターとの対話、自身が行きたかった場所への外出、自身がやりたかったことの体験等を擬似的に行うことができる。
In the information processing system of this embodiment, the user terminals 10 and 20 perform processing similar to the processing shown in FIGS. As a result, in the present embodiment as well, the avatar (user's avatar) set in the own terminal 10 interacts with the user or the avatar of the other terminal 20 based on the user unique information accumulated in the unique information DB 12a. can let Further, the user terminals 10 and 20 of this embodiment perform the same processing as the processing shown in FIGS. 9 and 10. FIG. Accordingly, in the present embodiment as well, the user of the own terminal 10 can use the own terminal 10 to interact with the user of the other terminal 20 or the avatar. Also, the user terminals 10 and 20 of this embodiment perform the same processing as the processing shown in FIG. Thus, also in the present embodiment, the avatar (user's avatar) set in the own terminal 10 can be made to perform a pseudo-outing act (behavior) based on the user unique information accumulated in the unique information DB 12a. can be done. Furthermore, the user terminals 10 and 20 of this embodiment perform the same processing as the processing shown in FIG. As a result, the conversation history of the avatar of the terminal 10 with the user of the other terminal 20 or the avatar, the going-out history of the avatar of the terminal 10 , etc. can be reproduced on the terminal 10 . Therefore, the user of the own terminal 10 simulates the interaction with the user of the other terminal 20 or the avatar conducted by the avatar of the own terminal 10, going out to the place the user wants to go, and experiencing what the user wants to do. can be done.
本実施形態においても、実施形態１と同様の効果が得られる。また本実施形態では、ユーザ固有情報を登録する際に、ユーザの心拍数、脈拍数等を計測し、ユーザの心身の状態がリラックスして冷静であるか否かを判断し、冷静である時に収集したユーザ固有情報のみを固有情報ＤＢ１２ａに蓄積できる。この場合、心身の状態が冷静でない興奮状態の時に収集されたユーザ固有情報を登録しない（破棄する）ことにより、ユーザの普段の状態で収集されたユーザ固有情報のみを蓄積できる。
Also in this embodiment, the same effects as in the first embodiment can be obtained. In addition, in this embodiment, when registering the user-specific information, the user's heart rate, pulse rate, etc. are measured, and it is determined whether or not the user's mental and physical state is relaxed and calm. Only the collected user unique information can be stored in the unique information DB 12a. In this case, by not registering (destroying) the user-specific information collected when the user is not calm and excited, it is possible to accumulate only the user-specific information collected when the user is in a normal state.
（実施形態３）
それぞれのユーザ端末１０，２０が、それぞれのユーザの言動に基づいて構築されたユーザモデルを用いて言動処理を実行する情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態１の情報処理システムと同様のユーザ端末１０，２０によって実現される。図１７は実施形態３の自端末１０の構成例を示すブロック図である。本実施形態の自端末１０は、実施形態１の自端末１０と同様の構成を有するので、同様の構成については説明を省略する。なお、本実施形態の自端末１０では、記憶部１２に固有情報ＤＢ１２ａの代わりにユーザモデル１２Ｍを記憶しており、処理部１３は固有情報収集部１３ｂを有しない。
(Embodiment 3)
An information processing system in which each of the user terminals 10 and 20 executes speech and action processing using a user model constructed based on the speech and behavior of each user will be described. The information processing system of this embodiment is implemented by user terminals 10 and 20 similar to the information processing system of the first embodiment. FIG. 17 is a block diagram showing a configuration example of the own terminal 10 according to the third embodiment. Since the own terminal 10 of the present embodiment has the same configuration as the own terminal 10 of the first embodiment, description of the similar configuration will be omitted. Note that in the self-terminal 10 of the present embodiment, the storage unit 12 stores the user model 12M instead of the unique information DB 12a, and the processing unit 13 does not have the unique information collection unit 13b.
ユーザモデル１２Ｍは、例えば深層学習アルゴリズムを用いて学習させたディープラーニングモデルであり、例えばＲＮＮ（Recurrent Neural Network）を用いたSeq2Seq（Sequence to Sequence）モデルにて構築されている。ユーザモデル１２Ｍ（第１ユーザモデル）は、自端末１０のユーザ（第１ユーザ）に対して提示された提示データと、この提示データに対してユーザが行った回答データとを含む教師データを用いて、提示データが入力された場合に、入力された提示データに対応する回答データを出力するように学習された学習済みモデルである。なお、提示データは例えば自端末１０のユーザに対する対話情報であり、回答データはこの対話情報に対応してユーザが返答した返答情報である。提示データは例えばスピーカ１７又は表示部１６を介してユーザに提示した対話情報を含み、回答データはこの対話情報に対してユーザがマイク１８又は入力部１５を介して入力した返答情報を含む。また提示データは自端末１０のユーザが電子メール、ＬＩＮＥメッセージ、ＬＩＮＥスタンプ、ＳＮＳ等を介して他端末２０から受信した対話情報を含んでもよく、回答データはこの対話情報に対してユーザが他端末２０へ返信した返答情報を含んでもよい。また提示データは例えば自端末１０のユーザに対して行われたアクションに関する情報を含み、回答データは、このアクションに対してユーザが行った行動に関する情報を含んでもよい。例えば、自端末１０のユーザがＬＩＮＥメッセージを受信した場合に、所定のＬＩＮＥスタンプを返信するものとする。この場合、ＬＩＮＥメッセージの受信を提示データとし、所定のＬＩＮＥスタンプの返信を回答データとすることができる。学習済みモデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、この演算を規定する関数の係数や閾値等のデータが、ユーザモデル１２Ｍとして記憶部１２に記憶される。
The user model 12M is, for example, a deep learning model learned using a deep learning algorithm, and is constructed by, for example, a Seq2Seq (Sequence to Sequence) model using RNN (Recurrent Neural Network). The user model 12M (first user model) uses teaching data including presentation data presented to the user (first user) of the own terminal 10 and data of the user's response to the presentation data. It is a trained model trained to output response data corresponding to the input presentation data when the presentation data is input. The presentation data is, for example, dialogue information for the user of the terminal 10 itself, and the reply data is reply information that the user has responded to in response to this dialogue information. The presentation data includes, for example, dialogue information presented to the user via the speaker 17 or the display unit 16, and the response data includes response information input by the user via the microphone 18 or the input unit 15 to this dialogue information. The presentation data may also include dialogue information received by the user of the terminal 10 from the other terminal 20 via e-mail, LINE message, LINE stamp, SNS, or the like. 20 may be included. Also, the presentation data may include, for example, information regarding an action performed on the user of the terminal 10, and the response data may include information regarding the action performed by the user in response to this action. For example, when the user of the own terminal 10 receives a LINE message, it is assumed that a predetermined LINE stamp is returned. In this case, the reception of the LINE message can be used as the presentation data, and the return of the predetermined LINE stamp can be used as the response data. A trained model performs a predetermined calculation on an input value and outputs a calculation result, and data such as a coefficient of a function that defines this calculation and a threshold value are stored in the storage unit 12 as a user model 12M. be.
ユーザモデル１２Ｍは、自端末１０において学習が行われてもよく、他の学習装置において学習された後に自端末１０の記憶部１２に記憶されてもよい。ユーザモデル１２Ｍは、教師データに含まれる提示データを入力した場合に、教師データに含まれる回答データが出力されるように学習する。なお、学習処理において、ユーザモデル１２Ｍは、入力データに対して行う所定の演算を規定する関数の係数や閾値等のデータを最適化する。これにより、入力された対話情報（提示データ）に基づいて、自端末１０のユーザが行う可能性の高い回答データ（返答情報）を出力するように学習されたユーザモデル１２Ｍが得られる。
User model 12M may be learned in own terminal 10, or may be stored in storage unit 12 of own terminal 10 after being learned in another learning device. The user model 12M learns such that when the presentation data included in the teacher data is input, the answer data included in the teacher data is output. In the learning process, the user model 12M optimizes data such as coefficients of functions and threshold values that define predetermined calculations to be performed on input data. As a result, a user model 12M that has been learned to output response data (response information) that the user of the terminal 10 is likely to make based on the input dialogue information (presentation data) is obtained.
本実施形態の対話処理部１３ａは、ユーザモデル１２Ｍを用いて、自端末１０のユーザとの対話、及び、他端末２０のユーザ又はアバターとの対話を行う。具体的には、対話処理部１３ａは、自端末１０のアバター（ユーザモデル１２Ｍ）に対する対話情報（提示データ）を取得した場合、取得した対話情報をユーザモデル１２Ｍに入力し、ユーザモデル１２Ｍから出力される、前記対話情報に対する返答情報（回答データ）を取得する。なお、対話情報は、自端末１０のユーザとの対話においては、例えばマイク１８又は入力部１５を介して自端末１０のユーザから取得し、他端末２０のユーザ又はアバターとの対話においては、通信部１４を介して他端末２０（他端末２０のユーザ又はアバター）から取得する。
The interaction processing unit 13a of the present embodiment uses the user model 12M to interact with the user of the own terminal 10 and interact with the user of the other terminal 20 or an avatar. Specifically, when obtaining dialogue information (presentation data) for the avatar (user model 12M) of its own terminal 10, the dialogue processing unit 13a inputs the obtained dialogue information to the user model 12M and outputs it from the user model 12M. Acquisition of response information (response data) to the dialogue information. The dialogue information is acquired from the user of the terminal 10 via, for example, the microphone 18 or the input unit 15 in the dialogue with the user of the terminal 10, and is acquired from the user of the terminal 10 or the avatar in the dialogue with the user of the other terminal 20. Acquired from the other terminal 20 (the user of the other terminal 20 or an avatar) via the unit 14 .
対話処理部１３ａは、ユーザモデル１２Ｍを用いて対話情報に対する返答情報を特定することにより、自端末１０のユーザが返答する可能性の高い返答情報（回答データ）を特定できる。そして、対話処理部１３ａは、自端末１０のユーザと対話する場合、特定した返答情報をスピーカ１７又は表示部１６にて出力することによって自端末１０のユーザに返答する。また対話処理部１３ａは、他端末２０のユーザ又はアバターと対話する場合、特定した返答情報を通信部１４から他端末２０へ返信することによって他端末２０のユーザ又はアバターに返答する。このように、本実施形態の対話処理部１３ａは、自端末１０のアバターに対する対話情報を取得した場合に、対話情報に対する返答情報をユーザモデル１２Ｍを用いて特定することにより、自端末１０のユーザが行う可能性の高い返答を行うことができる。なお、ユーザモデル１２Ｍは、Seq2Seqモデルを用いて構築される構成に限定されない。
The dialogue processing unit 13a can identify reply information (response data) that is highly likely to be replied by the user of the own terminal 10 by identifying reply information to the dialogue information using the user model 12M. Then, when interacting with the user of its own terminal 10 , the dialogue processing unit 13 a responds to the user of its own terminal 10 by outputting the specified response information through the speaker 17 or the display unit 16 . Further, when interacting with the user or the avatar of the other terminal 20 , the interaction processing section 13 a responds to the user or the avatar of the other terminal 20 by sending back the specified response information from the communication section 14 to the other terminal 20 . As described above, the dialogue processing unit 13a of the present embodiment, when obtaining the dialogue information for the avatar of the terminal 10, uses the user model 12M to identify the response information to the dialogue information, thereby allowing the user of the terminal 10 to You can make a reply that is likely to be made by Note that the user model 12M is not limited to the configuration constructed using the Seq2Seq model.
本実施形態においても、他端末２０は自端末１０と同様の構成を有する。よって、他端末２０において、他端末２０のユーザ（第２ユーザ）に対して提示された提示データと、この提示データに対して他端末２０のユーザが行った回答データとを含む教師データを用いて、提示データが入力された場合に、入力された提示データに対応する回答データを出力するように学習された学習済みモデルであるユーザモデル２２Ｍ（第２ユーザモデル）が、記憶部２２に記憶されている。
Also in this embodiment, the other terminal 20 has the same configuration as the own terminal 10 . Therefore, in the other terminal 20, teacher data including presentation data presented to the user (second user) of the other terminal 20 and answer data given by the user of the other terminal 20 to the presentation data is used. A user model 22M (second user model), which is a learned model trained to output answer data corresponding to the input presentation data when presentation data is input, is stored in the storage unit 22. It is
図１８は、実施形態３の自端末１０及び他端末２０による言動処理の手順例を示すフローチャートである。図１８に示す処理は、図７及び図８に示す処理においてステップＳ２７の前にステップＳ９１を追加し、ステップＳ２８の前にステップＳ９２を追加したものである。図１８では、図７に示したステップＳ２１～Ｓ２６の図示を省略しており、図７及び図８と同様のステップについては説明を省略する。なお、各ユーザ端末１０，２０は、それぞれのユーザに基づく教師データを用いて学習されたユーザモデル１２Ｍ，２２Ｍを記憶部１２，２２に記憶しているものとする。
FIG. 18 is a flow chart showing an example of a procedure of behavior processing by the own terminal 10 and the other terminal 20 according to the third embodiment. The process shown in FIG. 18 is obtained by adding step S91 before step S27 and adding step S92 before step S28 in the process shown in FIGS. In FIG. 18, illustration of steps S21 to S26 shown in FIG. 7 is omitted, and description of the same steps as in FIGS. 7 and 8 is omitted. It is assumed that each of the user terminals 10 and 20 stores user models 12M and 22M learned using teacher data based on each user in the storage units 12 and 22, respectively.
本実施形態では、ステップＳ２１において自端末１０の言動実行部１３ｃは、マイク１８又は入力部１５を介して自端末１０のユーザから、自端末１０のアバター（ユーザモデル１２Ｍ）による対話の実行命令（実行要求）を受け付ける。ここでの対話実行命令は、いずれかの他端末２０のユーザ又はアバターとの対話の実行命令である。また、本実施形態において、他端末２０の言動実行部（設定部）２３ｃは、自端末１０から要求された対話が可能であると判断した場合（Ｓ２４：ＹＥＳ）、自端末１０とのコネクションを設定する（Ｓ９１）。これにより、他端末２０の言動実行部２３ｃは、対話を要求してきた自端末１０のユーザ又はアバター（ユーザモデル１２Ｍ）と、他端末２０のユーザ又はアバター（ユーザモデル２２Ｍ）とのコネクションを設定する。そして、他端末２０の言動実行部２３ｃは、対話を要求された他端末２０のユーザ又はアバターが対話可能である旨を自端末１０に通知する（Ｓ２７）。一方、自端末１０の言動実行部（設定部）１３ｃは、他端末２０から対話可能を通知された後、他端末２０とのコネクションを設定する（Ｓ９２）。これにより、自端末１０の言動実行部１３ｃは、対話を要求した自端末１０のユーザ又はアバター（ユーザモデル１２Ｍ）と、他端末２０のユーザ又はアバター（ユーザモデル２２Ｍ）とのコネクションを設定する。そして、自端末１０の言動実行部１３ｃは、マイク１８又は入力部１５を介して要求された対話内容に基づいて対話情報を生成する（Ｓ２８）。なお、言動実行部１３ｃ（対話処理部１３ａ）は、例えば「話したいことは何ですか」のようなメッセージを提示データとしてユーザモデル１２Ｍに入力し、ユーザモデル１２Ｍから出力される返答情報（回答データ）を、他端末２０のユーザ又はアバターへ送信すべき対話情報としてもよい。
In this embodiment, in step S21, the behavior executing unit 13c of the terminal 10 receives an execution command ( execution request). The interaction execution instruction here is an execution instruction for interaction with the user of any of the other terminals 20 or the avatar. Further, in the present embodiment, when the behavior executing unit (setting unit) 23c of the other terminal 20 determines that the dialogue requested by the own terminal 10 is possible (S24: YES), the connection with the own terminal 10 is established. Set (S91). As a result, the behavior executing unit 23c of the other terminal 20 establishes a connection between the user or avatar (user model 12M) of the terminal 10 requesting the dialogue and the user or avatar (user model 22M) of the other terminal 20. . Then, the speech/behavior execution unit 23c of the other terminal 20 notifies the own terminal 10 that the user or the avatar of the other terminal 20 requested to interact can interact (S27). On the other hand, the behavior executing unit (setting unit) 13c of the own terminal 10 sets a connection with the other terminal 20 after being notified that the conversation is possible from the other terminal 20 (S92). Thereby, the behavior executing unit 13c of the own terminal 10 establishes a connection between the user or avatar (user model 12M) of the own terminal 10 requesting the interaction and the user or avatar (user model 22M) of the other terminal 20. FIG. Then, the behavior execution unit 13c of the own terminal 10 generates dialogue information based on the dialogue content requested via the microphone 18 or the input unit 15 (S28). Note that the behavior execution unit 13c (dialogue processing unit 13a) inputs a message such as "What do you want to talk about?" data) may be interactive information to be transmitted to the user of the other terminal 20 or the avatar.
その後、自端末１０及び他端末２０の言動実行部１３ｃ，２３ｃは、ステップＳ２９以降の処理を行う。なお、他端末２０の言動実行部２３ｃは、自端末１０から送信された対話情報（自端末１０から提示された提示データ）を取得する取得部として動作し、自端末１０の言動実行部１３ｃは、他端末２０から送信された対話情報（他端末２０から提示された提示データ）を取得する取得部として動作する。また、本実施形態では、ステップＳ３４において他端末２０の言動実行部２３ｃ（対話処理部２３ａ）は、ユーザモデル２２Ｍを用いて、自端末１０から受信した対話情報に対応する返答情報（返答メッセージ）を生成する。具体的には、対話処理部２３ａは、自端末１０から受信した対話情報を、他端末２０のアバターに対する提示データとしてユーザモデル２２Ｍに入力し、ユーザモデル２２Ｍから出力される返答情報（回答データ）を取得し、取得した返答情報を、自端末１０へ返信する返答情報とする。またステップＳ２８において自端末１０の言動実行部１３ｃ（対話処理部１３ａ）は、ユーザモデル１２Ｍを用いて、他端末２０から受信した対話情報（返答情報）に対応する返答情報を生成する。ここでも、自端末１０の対話処理部１３ａは、他端末２０から受信した対話情報を、自端末１０のアバターに対する提示データとして自端末１０のユーザモデル１２Ｍに入力し、ユーザモデル１２Ｍから出力される返答情報を取得し、取得した返答情報を、他端末２０へ返信する返答情報とする。
After that, the behavior execution units 13c and 23c of the own terminal 10 and the other terminal 20 perform the processing after step S29. Note that the behavior execution unit 23c of the other terminal 20 operates as an acquisition unit that acquires the dialogue information (presentation data presented from the own terminal 10) transmitted from the own terminal 10, and the behavior execution unit 13c of the own terminal 10 , an acquisition unit that acquires dialogue information transmitted from the other terminal 20 (presentation data presented from the other terminal 20). Further, in this embodiment, in step S34, the behavior execution unit 23c (dialogue processing unit 23a) of the other terminal 20 uses the user model 22M to generate reply information (reply message) corresponding to the dialogue information received from the own terminal 10. to generate Specifically, the dialog processing unit 23a inputs the dialog information received from the own terminal 10 to the user model 22M as presentation data for the avatar of the other terminal 20, and the response information (response data) output from the user model 22M. is obtained, and the obtained response information is used as response information to be returned to the terminal 10 itself. Also, in step S28, the behavior execution unit 13c (dialogue processing unit 13a) of the terminal 10 generates response information corresponding to the dialogue information (response information) received from the other terminal 20 using the user model 12M. Here also, the dialogue processing unit 13a of the own terminal 10 inputs the dialogue information received from the other terminal 20 into the user model 12M of the own terminal 10 as presentation data for the avatar of the own terminal 10, and is output from the user model 12M. Reply information is acquired, and the acquired reply information is used as reply information to be returned to the other terminal 20.例文帳に追加
上述した処理により、本実施形態においても、自端末１０のユーザは、自端末１０に設定してある自身のアバターによって、他端末２０のユーザ又はアバターと対話することができる。また、本実施形態では、それぞれのユーザ端末１０，２０毎に学習されたユーザモデル１２Ｍ，２２Ｍを用いて、自端末１０のアバターが他端末２０のユーザ又はアバターとの間でやり取りする対話情報及び返答情報、或いは、他端末２０のアバターが自端末１０のアバターとの間でやり取りする対話情報及び返答情報が生成される。よって、各ユーザ端末１０，２０のユーザが行う可能性が高い対話を、各ユーザ端末１０，２０のアバターによって再現できる。
According to the process described above, the user of the own terminal 10 can interact with the user of the other terminal 20 or the avatar by using the own avatar set in the own terminal 10 in this embodiment as well. Further, in the present embodiment, using the user models 12M and 22M learned for each of the user terminals 10 and 20, the avatar of the own terminal 10 exchanges dialogue information and Response information, or dialogue information and response information exchanged between the avatar of the other terminal 20 and the avatar of the own terminal 10 is generated. Therefore, dialogues that are highly likely to be performed by the users of the user terminals 10 and 20 can be reproduced by the avatars of the user terminals 10 and 20 .
本実施形態のユーザ端末１０，２０は、図９及び図１０に示す言動処理と同様の処理を行う。なお、本実施形態では、ステップＳ４７において他端末２０の言動実行部２３ｃは、自端末１０から要求された対話が可能であると判断した場合（Ｓ４４：ＹＥＳ）、自端末１０とのコネクションを設定し、その後、対話を要求された他端末２０のユーザ又はアバターが対話可能である旨を自端末１０に通知する。またステップＳ４８において自端末１０の言動実行部１３ｃは、他端末２０から対話可能を通知された後、他端末２０とのコネクションを設定し、その後、他端末２０への対話情報を受け付ける。また本実施形態では、ステップＳ５５において他端末２０の言動実行部２３ｃ（対話処理部２３ａ）は、ユーザモデル２２Ｍを用いて、自端末１０から受信した対話情報に対応する返答情報（返答メッセージ）を生成する。具体的には、対話処理部２３ａは、自端末１０から受信した対話情報を、他端末２０のアバターに対する提示データとしてユーザモデル２２Ｍに入力し、ユーザモデル２２Ｍから出力される返答情報（回答データ）を取得し、取得した返答情報を、自端末１０へ返信する返答情報とする。このような処理により、本実施形態においても、自端末１０のユーザは、他端末２０のユーザ又はアバターと対話することができる。本実施形態では、それぞれの他端末２０毎に学習されたユーザモデル２２Ｍを用いて、他端末２０のアバターが自端末１０のユーザとの間でやり取りする対話情報及び返答情報が生成される。よって、他端末２０のユーザが行う可能性が高い対話を、他端末２０のアバターにおいて再現でき、自端末１０のユーザは、他端末２０のアバターを介して他端末２０のユーザとの対話を擬似的に行うことができる。
The user terminals 10 and 20 of this embodiment perform processing similar to the behavior processing shown in FIGS. 9 and 10 . Note that in the present embodiment, when the behavior execution unit 23c of the other terminal 20 determines in step S47 that the dialogue requested by the terminal 10 is possible (S44: YES), the connection with the terminal 10 is established. After that, the terminal 10 notifies the terminal 10 that the user or avatar of the other terminal 20 requested to interact can interact. In step S<b>48 , the behavior executing unit 13 c of the own terminal 10 establishes a connection with the other terminal 20 after being notified that the conversation is possible from the other terminal 20 , and then receives dialogue information for the other terminal 20 . Further, in the present embodiment, in step S55, the behavior execution unit 23c (dialogue processing unit 23a) of the other terminal 20 generates reply information (reply message) corresponding to the dialogue information received from the own terminal 10 using the user model 22M. Generate. Specifically, the dialog processing unit 23a inputs the dialog information received from the own terminal 10 to the user model 22M as presentation data for the avatar of the other terminal 20, and the response information (response data) output from the user model 22M. is obtained, and the obtained response information is used as response information to be returned to the terminal 10 itself. Through such processing, the user of the own terminal 10 can interact with the user of the other terminal 20 or the avatar in this embodiment as well. In the present embodiment, the user model 22M learned for each of the other terminals 20 is used to generate dialogue information and response information that the avatar of the other terminal 20 exchanges with the user of the terminal 10 itself. Therefore, a dialogue that is likely to be performed by the user of the other terminal 20 can be reproduced in the avatar of the other terminal 20, and the user of the own terminal 10 simulates the dialogue with the user of the other terminal 20 via the avatar of the other terminal 20. can be done systematically.
本実施形態のユーザ端末１０，２０は、図１２に示す言動処理と同様の処理を行う。なお、本実施形態では、自端末１０の制御部１１は、言動実行部１３ｃによって自端末１０のアバターを介して、ユーザモデル１２Ｍに基づいて擬似的な外出行為を実行する。具体的には、ステップＳ６１において自端末１０の言動実行部１３ｃは、ユーザモデル２２Ｍを用いて、自端末１０のユーザが行きたいと思っている場所があるか否かを判断する。例えば言動実行部１３ｃは、「行きたい場所」を提示データとしてユーザモデル１２Ｍに入力し、ユーザモデル１２Ｍから出力される「行きたい場所」に関する情報（回答データ）を取得する。なお、言動実行部１３ｃは、ユーザモデル１２Ｍから「行きたい場所」に関する情報が出力されたか否かに応じて、自端末１０のユーザが行きたいと思っている場所があるか否かを判断する。また、ステップＳ６５において自端末１０の言動実行部１３ｃは、ユーザモデル２２Ｍを用いて、自端末１０のユーザがやりたいと思っていることがあるか否かを判断する。例えば言動実行部１３ｃは、「やりたいこと」を提示データとしてユーザモデル１２Ｍに入力し、ユーザモデル１２Ｍから出力される「やりたいこと」に関する情報（回答データ）を取得する。なお、言動実行部１３ｃは、ユーザモデル１２Ｍから「やりたいこと」に関する情報が出力されたか否かに応じて、自端末１０のユーザがやりたいと思っていることがあるか否かを判断する。上述した処理により、本実施形態の自端末１０は、ユーザモデル１２Ｍを用いて、自端末１０のユーザが行きたい場所又はやりたいことを抽出し、ユーザに代わって行動し、行動した結果得られた情報を履歴情報として蓄積できる。
The user terminals 10 and 20 of this embodiment perform processing similar to the behavior processing shown in FIG. In this embodiment, the control unit 11 of the own terminal 10 executes a pseudo-outing action based on the user model 12M via the avatar of the own terminal 10 by the behavior execution unit 13c. Specifically, in step S61, the speech/behavior executing unit 13c of the terminal 10 determines whether or not there is a place that the user of the terminal 10 wants to go, using the user model 22M. For example, the behavior executing unit 13c inputs "a place you want to go" to the user model 12M as presentation data, and acquires information (response data) on the "place you want to go" output from the user model 12M. Note that the behavior executing unit 13c determines whether or not there is a place that the user of the terminal 10 wants to go, depending on whether or not the user model 12M outputs the information about the "place to go". . Also, in step S65, the behavior executing unit 13c of the terminal 10 determines whether or not the user of the terminal 10 wants to do something using the user model 22M. For example, the behavior executing unit 13c inputs "what you want to do" as presentation data to the user model 12M, and acquires information (response data) on "what you want to do" output from the user model 12M. Behavior execution unit 13c determines whether or not there is something that the user of terminal 10 wants to do, depending on whether or not information about "what he wants to do" is output from user model 12M. By the above-described processing, the own terminal 10 of the present embodiment uses the user model 12M to extract the place the user of the own terminal 10 wants to go or what the user wants to do, acts on behalf of the user, and obtains the result of the action. Information can be accumulated as history information.
本実施形態のユーザ端末１０，２０は、図１３に示す言動履歴の再生処理と同様の処理を行う。これにより、ユーザ端末１０，２０は、図１４に示すような履歴画面を表示し、履歴画面を介して、それぞれのユーザ端末１０，２０の言動実行部１３ｃ，２３ｃが行った対話処理及び外出処理の再生指示を受け付ける。よって、自端末１０のユーザに代わって自端末１０のアバターが他端末２０のユーザ又はアバターとの間で行った対話処理を再現することができ、自端末１０のユーザは他端末２０のユーザ又はアバターとの対話を擬似的に体験することができる。また、自端末１０のアバターが擬似的に行った外出処理を再現することができ、自端末１０のユーザは、アバターが実行した行動を辿ることができる。
The user terminals 10 and 20 of the present embodiment perform processing similar to the behavior history reproduction processing shown in FIG. As a result, the user terminals 10 and 20 display a history screen as shown in FIG. to receive a playback instruction. Therefore, the avatar of the own terminal 10 can reproduce the dialogue processing performed between the user of the other terminal 20 or the avatar on behalf of the user of the own terminal 10, and the user of the own terminal 10 can reproduce the user of the other terminal 20 or the avatar. You can simulate a dialogue with an avatar. In addition, it is possible to reproduce the out-of-home processing that the avatar of the terminal 10 performed in a pseudo manner, and the user of the terminal 10 can trace the actions performed by the avatar.
本実施形態においても、実施形態１と同様の効果が得られる。また本実施形態では、それぞれのユーザ端末１０，２０毎に学習したユーザモデル１２Ｍ，２２Ｍに基づいて、それぞれのユーザが行う可能性の高い対話内容及び行動内容を特定できる。よって、それぞれのユーザが行う可能性の高い対話内容の対話及び行動内容の行動を実現することにより、それぞれのユーザのアバターによって擬似的な対話及び行動を実現できる。
Also in this embodiment, the same effects as in the first embodiment can be obtained. Further, in this embodiment, based on the user models 12M and 22M learned for each of the user terminals 10 and 20, it is possible to specify the conversation content and action content that each user is likely to perform. Therefore, by realizing the dialogue of the dialogue content and the action of the action content that are highly likely to be performed by each user, it is possible to realize the pseudo-dialogue and action by the avatar of each user.
本実施形態において、自端末１０が自端末１０のユーザのユーザモデル１２Ｍを記憶し、他端末２０が他端末２０のユーザのユーザモデル２２Ｍを記憶し、それぞれの端末１０，２０の言動実行部１３ｃ，２３ｃが、それぞれのユーザモデル１２Ｍ，２２Ｍに基づく言動処理を、それぞれの端末１０，２０のアバターを介して行う構成に限定されない。例えば、自端末１０が、他端末２０から他端末２０のユーザのユーザモデル２２Ｍを取得することにより、自端末１０のユーザモデル１２Ｍだけでなく、他端末２０のユーザモデル２２Ｍを記憶してもよい。このような構成によれば、自端末１０が、自端末１０のユーザモデル１２Ｍに基づく言動処理を自端末１０のアバターを介して行うと共に、他端末２０のユーザモデル２２Ｍに基づく言動処理を他端末２０のアバターを介して行うことができる。よって、自端末１０において、自端末１０のアバターと他端末２０のアバターとの間の対話処理を実行することができる。なお、この場合、自端末１０のアバターと他端末２０のアバターとの間で実行された対話処理の履歴情報を他端末２０へ送信することにより、他端末２０のユーザが後日対話内容を確認できる。また逆に、他端末２０が、自端末１０から自端末１０のユーザモデル１２Ｍを取得し、他端末２０において、自端末１０のアバターと他端末２０のアバターとの間の対話処理を実行する構成としてもよい。
In this embodiment, the self-terminal 10 stores the user model 12M of the user of the self-terminal 10, the other terminal 20 stores the user model 22M of the user of the other terminal 20, and the behavior execution unit 13c of each of the terminals 10 and 20 , 23c perform speech and behavior processing based on the user models 12M and 22M via the avatars of the terminals 10 and 20, respectively. For example, by obtaining the user model 22M of the user of the other terminal 20 from the other terminal 20, the own terminal 10 may store not only the user model 12M of the own terminal 10 but also the user model 22M of the other terminal 20. . According to such a configuration, the self-terminal 10 performs speech and behavior processing based on the user model 12M of the self-terminal 10 via the avatar of the self-terminal 10, and performs speech and behavior processing based on the user model 22M of the other terminal 20. It can be done through 20 avatars. Therefore, in the own terminal 10, interactive processing between the avatar of the own terminal 10 and the avatar of the other terminal 20 can be executed. In this case, the user of the other terminal 20 can later check the contents of the dialogue by transmitting the history information of the dialogue process executed between the avatar of the own terminal 10 and the avatar of the other terminal 20 to the other terminal 20. . Conversely, the other terminal 20 acquires the user model 12M of the own terminal 10 from the own terminal 10, and in the other terminal 20, a dialogue process between the avatar of the own terminal 10 and the avatar of the other terminal 20 is executed. may be
本実施形態において、ユーザモデル１２Ｍ，２２Ｍは、ユーザ端末１０，２０の各ユーザに対して提示された提示データと、この提示データに対してユーザが行った回答データ及び実行したアプリケーションプログラムの実行データとを含む教師データを用いて学習された学習済みモデルであってもよい。この場合、ユーザモデルは、提示データが入力された場合に、入力された提示データに対応する回答データ及びアプリケーションプログラムの実行データを出力する。ここでの提示データは、例えば自端末１０のユーザが自端末１０を用いて行った行動に関する行動情報とし、回答データはこの行動情報に対応してユーザが行った処理（行動）に関する処理情報とし、実行データはこの行動情報に対応してユーザが実行（起動）したアプリケーションプログラムの情報とすることができる。
In this embodiment, the user models 12M and 22M are presented data presented to each user of the user terminals 10 and 20, response data given by the user to the presented data, and execution data of the executed application program. It may be a trained model learned using teacher data including and. In this case, when presentation data is input, the user model outputs response data corresponding to the input presentation data and application program execution data. The presentation data here is, for example, action information related to the action performed by the user of the terminal 10 using the terminal 10, and the response data is processing information related to the process (behavior) performed by the user in response to this action information. , the execution data can be information of an application program executed (started) by the user corresponding to this action information.
例えば、自端末１０のユーザが、電子メール、ＬＩＮＥメッセージ、ＳＮＳ等を介して会議のスケジュールに関する情報を取得した場合に、その後、自端末１０を用いて会議室の使用を予約するための予約アプリ（アプリケーションプログラム）を実行して会議室の予約を行ったとする。この場合、会議のスケジュールに関する情報を取得したことを示す行動情報を提示データとし、予約アプリを用いて会議室の予約を行うことを示す処理情報を回答データとし、会議室の使用を予約するための予約アプリを実行データとすることができる。また、自端末１０のユーザが、ネットワークＮ上の旅行の予約サイトを介して旅行の予約を行った場合に、その後、自端末１０を用いてレストランの予約サイトを介したレストランの予約、又はオプショナルツアーの予約サイトを介したオプショナルツアーの申込を行ったとする。この場合、旅行の予約サイトを介して旅行の予約を行ったことを示す行動情報を提示データとし、予約サイトを介したレストランの予約又はオプショナルツアーの申込を行うことを示す処理情報を回答データとし、レストランの予約サイト又はオプショナルツアーの予約サイトにアクセスするためのブラウザを実行データとすることができる。このような提示データ、回答データ及び実行データを含む教師データを用いてユーザモデル１２Ｍを学習させることにより、ユーザがある行動を行った後に行う可能性の高い次の行動（処理）を予測するユーザモデル１２Ｍを生成できる。
For example, when the user of the own terminal 10 acquires information about the schedule of the meeting via e-mail, LINE message, SNS, etc., then a reservation application for reserving the use of the conference room using the own terminal 10 Suppose that (application program) is executed to reserve a conference room. In this case, to reserve the use of the conference room by using the action information indicating that the information on the schedule of the conference has been acquired as the presentation data, and the processing information indicating that the conference room is to be reserved using the reservation application as the response data. can be used as execution data. Further, when the user of the own terminal 10 makes a travel reservation through a travel reservation site on the network N, after that, the user of the own terminal 10 makes a restaurant reservation through the restaurant reservation site, or optionally Assume that a user applies for an optional tour via a tour reservation site. In this case, the action information indicating that a travel reservation has been made via the travel reservation site will be treated as presentation data, and the processing information indicating that a restaurant reservation or optional tour application will be made via the reservation site will be treated as response data. , a browser for accessing a restaurant reservation site or an optional tour reservation site. By making the user model 12M learn using teacher data including such presentation data, response data, and execution data, the user predicts the next action (process) that is highly likely to be performed after the user performs a certain action. A model 12M can be generated.
上述したように、過去に自端末１０のユーザが自端末１０を用いて行った行動に関する情報を提示データとし、この行動に対して、自端末１０のユーザが更に行った行動（処理）に関する情報を回答データとし、ユーザが実行したアプリケーションプログラムの情報を実行データとする教師データを用いてユーザモデル１２Ｍを学習させる。ユーザモデル１２Ｍは、教師データに含まれる提示データを入力した場合に、教師データに含まれる回答データ及び実行データが出力されるように学習する。これにより、入力された行動情報（提示データ）に基づいて、自端末１０のユーザが行う可能性の高い処理情報（回答データ）及びアプリケーションプログラムの情報（実行データ）を出力するように学習されたユーザモデル１２Ｍが得られる。このようなユーザモデル１２Ｍを用いることにより、自端末１０の言動実行部１３ｃは、自端末１０のユーザがある行動を行った場合に、次に行う可能性の高い行動（処理）を予測して、対応するアプリケーションプログラムを実行することにより、自端末１０のユーザの操作負担を軽減できる。言動実行部１３ｃは、ユーザモデル１２Ｍに基づいて実行したアプリケーションプログラムの実行結果を言動履歴ＤＢに蓄積しておき、自端末１０のユーザからの要求に応じて、蓄積した実行結果をスピーカ１７又は表示部１６を介して再現することができる。これにより、自端末１０のユーザは、自端末１０のアバター（言動実行部１３ｃ）がユーザモデル１２Ｍに基づいて行った行動（処理）を後で確認することができる。
As described above, the presentation data is information about actions performed by the user of the terminal 10 in the past using the terminal 10, and information about actions (processes) performed by the user of the terminal 10 in response to this action. is answer data and the information of the application program executed by the user is used as execution data to learn the user model 12M. The user model 12M learns so that when the presentation data included in the teacher data is input, the answer data and execution data included in the teacher data are output. As a result, based on the input action information (presentation data), it is learned to output processing information (response data) and application program information (execution data) that are highly likely to be performed by the user of the terminal 10. A user model 12M is obtained. By using such a user model 12M, the behavior executing unit 13c of the own terminal 10 predicts the action (process) that is highly likely to be performed next when the user of the own terminal 10 performs a certain action. , the operation load on the user of the terminal 10 can be reduced by executing the corresponding application program. The behavior execution unit 13c accumulates execution results of application programs executed based on the user model 12M in the behavior history DB, and displays the accumulated execution results through the speaker 17 or the like in response to a request from the user of the terminal 10. It can be reproduced via the unit 16 . As a result, the user of the terminal 10 can later confirm the action (process) performed by the avatar (the behavior execution unit 13c) of the terminal 10 based on the user model 12M.
（実施形態４）
それぞれのユーザ端末１０，２０のユーザ毎に学習したユーザモデルをサーバに記憶し、サーバにおいて、それぞれのユーザモデルに基づく言動処理が実行される情報処理システムについて説明する。本実施形態の情報処理システムは、実施形態３の情報処理システムにおけるユーザ端末１０，２０のほかにサーバ４０を備える。図１９はサーバ４０の構成例を示すブロック図である。サーバ４０は、制御部４１、記憶部４２、処理部４３、通信部４４、入力部４５、表示部４６、読み取り部４７等を含み、これらの各部はバスを介して相互に接続されている。サーバ４０が有する各構成部４１～４７は、自端末１０における各構成部１１～１６，１９と同様の構成であるので詳細については説明を省略する。
(Embodiment 4)
An information processing system in which user models learned for each user of user terminals 10 and 20 are stored in a server, and behavior processing based on each user model is executed in the server will be described. The information processing system of this embodiment includes a server 40 in addition to the user terminals 10 and 20 in the information processing system of the third embodiment. FIG. 19 is a block diagram showing a configuration example of the server 40. As shown in FIG. The server 40 includes a control section 41, a storage section 42, a processing section 43, a communication section 44, an input section 45, a display section 46, a reading section 47, etc. These sections are interconnected via a bus. The configuration units 41 to 47 of the server 40 have the same configuration as the configuration units 11 to 16 and 19 of the own terminal 10, so detailed description thereof will be omitted.
サーバ４０の記憶部４２は、ユーザ端末１０，２０のそれぞれに対応して設けられた複数のユーザモデル４２Ｍ（図１９では３つの第１ユーザモデル４２Ｍ１、第２ユーザモデル４２Ｍ２、第３ユーザモデル４２Ｍ３）と、言動履歴ＤＢ４２ａとを記憶する。言動履歴ＤＢ４２ａは、例えばユーザ端末１０，２０のそれぞれに対応して設けられてもよく、この場合、図４Ｂに示す構成と同様の構成を有する。また言動履歴ＤＢ４２ａは、図４Ｂに示す構成に、更にユーザＩＤ列を有する構成でもよく、この場合、ユーザ端末１０，２０のそれぞれに割り当てられたユーザＩＤに対応付けて、それぞれのユーザに対応する履歴情報が蓄積される。
The storage unit 42 of the server 40 stores a plurality of user models 42M (three first user models 42M1, second user models 42M2, and third user models 42M3 in FIG. ) and the behavior history DB 42a. The behavior history DB 42a may be provided for each of the user terminals 10 and 20, for example, and in this case, has the same configuration as that shown in FIG. 4B. 4B, the behavior history DB 42a may also have a user ID column. History information is accumulated.
また、サーバ４０の処理部４３は対話処理部４３ａ及び言動実行部４３ｂを有する。対話処理部４３ａ及び言動実行部４３ｂは、実施形態３の自端末１０における対話処理部１３ａ及び言動実行部１３ｃと同様の処理を行う。なお、サーバ４０の言動実行部４３ｂは、対話処理部４３ａを用いて、複数のユーザモデル４２Ｍに基づいて複数のアバター（複数のユーザ端末１０，２０のアバター）間での対話を行う。図２０は、サーバ４０による言動処理の手順例を示すフローチャートである。以下の処理はサーバ４０の記憶部４２に記憶してある制御プログラム４２Ｐに従って制御部４１によって実行される。
Further, the processing unit 43 of the server 40 has a dialogue processing unit 43a and a behavior execution unit 43b. The dialogue processing unit 43a and the behavior execution unit 43b perform the same processing as the dialogue processing unit 13a and the behavior execution unit 13c in the own terminal 10 of the third embodiment. Note that the behavior executing unit 43b of the server 40 uses the dialogue processing unit 43a to have a dialogue between a plurality of avatars (avatars of the plurality of user terminals 10 and 20) based on a plurality of user models 42M. FIG. 20 is a flow chart showing an example of a procedure of behavior processing by the server 40. As shown in FIG. The following processing is executed by the control unit 41 according to the control program 42P stored in the storage unit 42 of the server 40. FIG.
サーバ４０の言動実行部４３ｂは、それぞれのユーザモデル４２Ｍに基づいて、それぞれ対応するユーザのアバターが、他のアバターとの対話を要求しているか否かを判断する（Ｓ１０１）。例えば言動実行部４３ｂは、それぞれのユーザモデル４２Ｍに対して、「対話したい相手がいますか」のようなメッセージを提示データとして入力し、ユーザモデル４２Ｍから、対話したい相手に関する情報（回答データ）が出力されるか否かに応じて、あるアバターが他のアバターとの対話を要求しているか否かを判断する。例えばユーザモデル４２Ｍから、「対話したい相手がいます」、「○○さんと対話したいです」のような回答データが出力された場合、言動実行部４３ｂは、このユーザモデル４２Ｍに対応するアバターからの他のアバターとの対話要求を受け付ける。
The behavior executing unit 43b of the server 40 determines whether or not the corresponding user's avatar requests interaction with another avatar based on each user model 42M (S101). For example, the behavior execution unit 43b inputs a message such as "Do you have a partner with whom you want to have a dialogue?" Depending on whether or not it is output, it is determined whether or not an avatar requests interaction with another avatar. For example, when the user model 42M outputs answer data such as "There is someone I want to talk to" and "I want to talk to Mr. Accepts requests for interaction with other avatars.
言動実行部４３ｂは、対話要求を受け付けていないと判断した場合（Ｓ１０１：ＮＯ）、対話要求を受け付けるまで待機する。言動実行部４３ｂは、対話要求を受け付けたと判断した場合（Ｓ１０１：ＹＥＳ）、対話要求してきたユーザモデル４２Ｍ（第１対話相手）を特定し（Ｓ１０２）、第１対話相手が対話したい第２対話相手を特定する（Ｓ１０３）。ここでは、言動実行部４３ｂは、対話したい相手に関する回答データを出力したユーザモデル４２Ｍを第１対話相手に特定し、第１対話相手のユーザモデル４２Ｍから出力された回答データによって指定された対話相手を第２対話相手に特定する。
When the behavior executing unit 43b determines that the dialogue request has not been received (S101: NO), it waits until the dialogue request is received. When the speech execution unit 43b determines that the dialogue request has been received (S101: YES), it identifies the user model 42M (first dialogue partner) that has requested the dialogue (S102), and selects the second dialogue with which the first dialogue partner wants to have a dialogue. The other party is specified (S103). Here, the behavior executing unit 43b specifies the user model 42M that outputs the answer data regarding the partner with whom the user wishes to have a dialogue as the first dialogue partner, and the dialogue partner specified by the answer data output from the user model 42M of the first dialogue partner. to be the second interlocutor.
次に言動実行部４３ｂは、特定した第１対話相手から第２対話相手への対話情報を生成する（Ｓ１０４）。言動実行部４３ｂは、例えば「話したいことは何ですか」のようなメッセージを提示データとして、第１対話相手のユーザモデル４２Ｍに入力し、ユーザモデル１２Ｍから出力される返答情報（回答データ）に基づいて、第１対話相手からの対話情報を生成する。言動実行部４３ｂは、生成した対話情報に対する第２対話相手からの返答情報を生成する（Ｓ１０５）。ここでは、言動実行部４３ｂは、生成した第１対話相手からの対話情報を提示データとして、第２対話相手のユーザモデル４２Ｍに入力し、ユーザモデル４２Ｍから出力される返答情報（回答データ）に基づいて、第２対話相手から第１対話相手への返答情報を生成する。言動実行部４３ｂは、ステップＳ１０４及びＳ１０５で生成した第１対話相手から第２対話相手への対話情報と、第２対話相手から第１対話相手への返答情報とを、第１対話相手と第２対話相手との間の対話処理における履歴情報として、例えば第１対話相手及び第２対話相手のユーザ（ユーザＩＤ）に対応付けて言動履歴ＤＢ４２ａに記憶する（Ｓ１０６）。
Next, the behavior execution unit 43b generates dialogue information from the specified first dialogue partner to the second dialogue partner (S104). The behavior executing unit 43b inputs a message such as "What do you want to talk about?" to generate dialogue information from the first dialogue partner. The behavior executing unit 43b generates response information from the second dialogue partner to the generated dialogue information (S105). Here, the behavior executing unit 43b inputs the generated dialogue information from the first dialogue partner as presentation data to the user model 42M of the second dialogue partner, and converts the response information (response data) output from the user model 42M into Based on this, the reply information from the second dialogue partner to the first dialogue partner is generated. The speech/behavior execution unit 43b transmits the dialogue information generated in steps S104 and S105 from the first dialogue partner to the second dialogue partner and the reply information from the second dialogue partner to the first dialogue partner, and transmits the information to the first dialogue partner and the first dialogue partner. As history information in dialogue processing with two dialogue partners, for example, it is stored in the behavior history DB 42a in association with the users (user IDs) of the first and second dialogue partners (S106).
言動実行部４３ｂは、第１対話相手と第２対話相手との間の対話が終了したか否かを判断しており（Ｓ１０７）、終了していないと判断した場合（Ｓ１０７：ＮＯ）、ステップＳ１０４の処理に戻り、ステップＳ１０５で生成した第２対話相手からの対話情報（返答情報）に対する第１対話相手からの返答情報を生成する（Ｓ１０４）。ここでは、言動実行部４３ｂは、第２対話相手からの対話情報（返答情報）を提示データとして、第１対話相手のユーザモデル４２Ｍに入力し、ユーザモデル４２Ｍから出力される返答情報（回答データ）に基づいて、第１対話相手から第２対話相手への返答情報を生成する。言動実行部４３ｂは、第１対話相手と第２対話相手との間の対話が終了するまでステップＳ１０４～Ｓ１０６の処理を繰り返す。即ち、第１対話相手のユーザモデル４２Ｍから出力された対話情報を第２対話相手のユーザモデル４２Ｍに入力し、第２対話相手のユーザモデル４２Ｍから出力された対話情報を第１対話相手のユーザモデル４２Ｍに入力する。これにより、第１対話相手のユーザモデル４２Ｍと、第２対話相手のユーザモデル４２Ｍとの間における対話を行うことができ、また対話の結果を言動履歴ＤＢ４２ａに蓄積することができる。
The behavior execution unit 43b determines whether or not the dialogue between the first dialogue partner and the second dialogue partner has ended (S107). Returning to the process of S104, response information from the first dialogue partner is generated in response to the dialogue information (response information) from the second dialogue partner generated in step S105 (S104). Here, the behavior executing unit 43b inputs the dialogue information (response information) from the second dialogue partner as presentation data to the user model 42M of the first dialogue partner, and the reply information (response data) output from the user model 42M. ) to generate reply information from the first dialogue partner to the second dialogue partner. The behavior execution unit 43b repeats the processing of steps S104 to S106 until the dialogue between the first dialogue partner and the second dialogue partner is completed. That is, the dialogue information output from the user model 42M of the first dialogue partner is input to the user model 42M of the second dialogue partner, and the dialogue information output from the user model 42M of the second dialogue partner is input to the user model 42M of the first dialogue partner. Input to model 42M. As a result, a dialogue can be conducted between the user model 42M of the first dialogue partner and the user model 42M of the second dialogue partner, and the result of the dialogue can be accumulated in the behavior history DB 42a.
言動実行部４３ｂは、第１対話相手と第２対話相手との間の対話が終了したと判断した場合（Ｓ１０７：ＹＥＳ）、上述した処理を終了する。なお、言動実行部４３ｂは、第１対話相手のユーザモデル４２Ｍ又は第２対話相手のユーザモデル４２Ｍから出力される回答データ（返答情報）に基づいて対話の終了を判定するが、例えば所定回数の対話の往復が行われた場合に対話を終了してもよい。
When the behavior execution unit 43b determines that the dialogue between the first dialogue partner and the second dialogue partner has ended (S107: YES), the above-described process ends. Note that the speech/behavior execution unit 43b determines the end of the dialogue based on the response data (response information) output from the user model 42M of the first dialogue partner or the user model 42M of the second dialogue partner. A dialogue may end when a round trip of the dialogue has taken place.
本実施形態において、サーバ４０の言動実行部４３ｂは、実施形態３の自端末１０の言動実行部１３ｃと同様に、それぞれのユーザモデル４２Ｍに基づいて、図１２に示す言動処理と同様の処理を行うことができる。即ち、言動実行部４３ｂは、それぞれのユーザモデル４２Ｍに対応するユーザが行きたい場所又はやりたいことを特定し、それぞれのアバターに擬似的な外出行為を行わせることができる。具体的には、ステップＳ６１においてサーバ４０の言動実行部４３ｂは、それぞれのユーザモデル４２Ｍを用いて、それぞれのユーザが行きたいと思っている場所があるか否かを判断する。例えば言動実行部４３ｂは、「行きたい場所」を提示データとしてユーザモデル４２Ｍに入力し、ユーザモデル４２Ｍから出力される「行きたい場所」に関する情報（回答データ）を取得することにより、このユーザモデル４２Ｍに対応するユーザが行きたいと思っている場所を取得する。また、ステップＳ６５においてサーバ４０の言動実行部４３ｂは、それぞれのユーザモデル４２Ｍを用いて、それぞれのユーザがやりたいと思っていることがあるか否かを判断する。例えば言動実行部４３ｂは、「やりたいこと」を提示データとしてユーザモデル４２Ｍに入力し、ユーザモデル４２Ｍから出力される「やりたいこと」に関する情報（回答データ）を取得することにより、このユーザモデル４２Ｍに対応するユーザがやりたいと思っていることを取得する。上述した処理により、サーバ４０は、それぞれのユーザモデル４２Ｍに基づいて、それぞれのユーザが行きたい場所又はやりたいことを抽出できる。また、サーバ４０の言動実行部４３ｂは、それぞれのユーザが行きたい場所又はやりたいことに関する各種の情報をネットワークＮ経由で検索して収集する。そして言動実行部４３ｂは、それぞれ収集した情報を、ユーザモデル４２Ｍに対応するそれぞれのユーザ（ユーザＩＤ）に対応付けて言動履歴ＤＢ４２ａに記憶する。これにより、それぞれのユーザのアバターが、ユーザに代わって擬似的に行った行動の結果を履歴情報として蓄積できる。
In this embodiment, the behavior execution unit 43b of the server 40 performs the same behavior processing as the behavior processing shown in FIG. It can be carried out. In other words, the behavior executing unit 43b can specify a place where the user corresponding to each user model 42M wants to go or what the user wants to do, and can cause each avatar to perform a pseudo-outing action. Specifically, in step S61, the behavior executing unit 43b of the server 40 uses each user model 42M to determine whether or not there is a place that each user wants to go. For example, the speech and behavior execution unit 43b inputs the "place you want to go" to the user model 42M as presentation data, and acquires information (response data) on the "place you want to go" output from the user model 42M. Acquire the place where the user corresponding to 42M wants to go. Also, in step S65, the behavior executing unit 43b of the server 40 uses each user model 42M to determine whether or not each user wants to do something. For example, the behavior execution unit 43b inputs "what you want to do" as presentation data to the user model 42M, acquires information (response data) on "what you want to do" output from the user model 42M, and makes this user model 42M Get what the corresponding user wants to do. By the above-described processing, the server 40 can extract places that each user wants to go or things that each user wants to do, based on each user model 42M. In addition, the behavior executing unit 43b of the server 40 retrieves and collects various kinds of information about places the users want to go or things they want to do via the network N. FIG. Then, the behavior execution unit 43b associates each collected information with each user (user ID) corresponding to the user model 42M and stores the collected information in the behavior history DB 42a. Thereby, each user's avatar can accumulate the result of the pseudo action performed on behalf of the user as history information.
上述した構成により、本実施形態では、サーバ４０がそれぞれのユーザ端末１０，２０におけるアバター間の対話処理を行い、また、それぞれのアバターによる各種の行動を行い、行った結果を履歴情報として蓄積する。そしてサーバ４０は、それぞれのユーザ端末１０，２０からの要求に応じて、それぞれのユーザに対応付けて蓄積した履歴情報をユーザ端末１０，２０へ提供する。よって、ユーザ端末１０，２０の各ユーザは、サーバ４０において自身のアバターが行った対話処理及び各種の行動を把握できる。従って、本実施形態においても、それぞれのユーザ端末１０，２０のユーザは、自身に代わって自身のアバターが他のアバターとの間で行った対話を擬似的に体験することができ、また、自身のアバターが擬似的に行った外出処理を辿ることができる。
With the above-described configuration, in the present embodiment, the server 40 performs interactive processing between avatars on the user terminals 10 and 20, performs various actions by each avatar, and accumulates the results as history information. . Then, the server 40 provides the user terminals 10 and 20 with history information accumulated in association with the respective users in response to requests from the respective user terminals 10 and 20 . Therefore, each user of the user terminals 10 and 20 can grasp the interactive processing and various actions performed by his or her avatar on the server 40 . Therefore, in the present embodiment as well, the users of the user terminals 10 and 20 can experience simulated interactions between their own avatars and other avatars on behalf of themselves. You can trace the outing process that the avatar performed in a pseudo manner.
本実施形態において、サーバ４０の記憶部４２に、各ユーザのユーザモデル４２Ｍを記憶する代わりに、実施形態１における各ユーザの固有情報ＤＢ１２ａを記憶しておき、各ユーザの固有情報ＤＢ１２ａに基づく言動処理を行う構成としてもよい。
In this embodiment, instead of storing the user model 42M of each user in the storage unit 42 of the server 40, each user's unique information DB 12a in the first embodiment is stored, and behavior based on each user's unique information DB 12a is stored. It may be configured to perform processing.
上述した実施形態１－２では、自端末１０のユーザ又はアバターと、他端末２０のユーザ又はアバターとが対話する際に、自端末１０と他端末２０との間で対話情報の送受信が行われるが、このような構成に限定されない。例えば、自端末１０と他端末２０との通信を中継するサーバを備え、サーバを介して自端末１０と他端末２０との間で対話情報の送受信が行われてもよい。
In the above-described embodiment 1-2, when the user or avatar of the own terminal 10 and the user or avatar of the other terminal 20 interact, transmission and reception of dialogue information is performed between the own terminal 10 and the other terminal 20. However, it is not limited to such a configuration. For example, a server that relays communication between the own terminal 10 and the other terminal 20 may be provided, and communication information may be transmitted and received between the own terminal 10 and the other terminal 20 via the server.
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
The embodiments disclosed this time are illustrative in all respects and should be considered not restrictive. The scope of the present invention is indicated by the scope of the claims rather than the meaning described above, and is intended to include all modifications within the scope and meaning equivalent to the scope of the claims.
