JP7028130B2

JP7028130B2 - Agent device

Info

Publication number: JP7028130B2
Application number: JP2018189504A
Authority: JP
Inventors: 嗣巳大塚
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2018-10-04
Filing date: 2018-10-04
Publication date: 2022-03-02
Anticipated expiration: 2038-10-04
Also published as: JP2020060809A

Description

本発明は、エージェント装置に関する。 The present invention relates to an agent device.

特許文献１では、車両内に設けられ、当該車両内で複数のユーザと対話を行うエージェント装置において、対話を行うユーザが聞こえやすい位置のスピーカから音声を出力するエージェント装置が開示されている。 Patent Document 1 discloses an agent device provided in a vehicle and having a dialogue with a plurality of users in the vehicle, and outputs a voice from a speaker at a position where the user having the dialogue can easily hear the voice.

特開２００５－１９０１９２号公報Japanese Unexamined Patent Publication No. 2005-190192

特許文献１のように、エージェントが同じ空間の複数のユーザと対話を行うシステムの場合、各ユーザから要求されたタスク（例えばレストラン検索、観光地検索等）は、ユーザごとに個別に処理されることになる。そのため、例えばその場の複数のユーザから同種のタスク（例えばレストラン検索）が要求された場合、それぞれのユーザに対してそれぞれ異なる応答内容（例えば異なるレストラン名）が出力される場合があった。 In the case of a system in which an agent interacts with a plurality of users in the same space as in Patent Document 1, tasks requested by each user (for example, restaurant search, tourist spot search, etc.) are processed individually for each user. It will be. Therefore, for example, when a plurality of users on the spot request the same type of task (for example, restaurant search), different response contents (for example, different restaurant names) may be output to each user.

このように、特許文献１を始めとする従来のシステムでは、複数のユーザのタスクを個別に処理することは可能であるものの、例えば複数のタスクを統合管理して矛盾なく処理することができず、ユーザが不便を感じる場合があった。 As described above, in the conventional system such as Patent Document 1, although it is possible to process the tasks of a plurality of users individually, for example, it is not possible to perform integrated management of a plurality of tasks and process them without contradiction. , The user may find it inconvenient.

本発明は、上記に鑑みてなされたものであって、複数のタスクを統合管理して矛盾なく処理することができるエージェント装置を提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide an agent device capable of integrated management of a plurality of tasks and processing without contradiction.

上述した課題を解決し、目的を達成するために、本発明に係るエージェント装置は、複数のユーザに対してエージェントを個別に対応付け、前記エージェントごとにユーザとの対話を行うエージェント装置であって、前記エージェントごとに、前記ユーザの音声データから前記ユーザが要求するタスクを認識し、前記エージェントごとに、前記ユーザに対して、前記タスクに応じた応答内容の音声データを生成して出力することにより、前記タスクを処理し、各ユーザから各エージェントに要求されたＮ件のタスクの処理状況を把握し、前記Ｎ件のうちの一部のタスクが完了した場合、その時点で未完了であるタスクを要求したユーザに対して、完了済みのタスクへの賛否を尋ねる応答内容の音声データを生成して出力する、制御部を備える。 In order to solve the above-mentioned problems and achieve the object, the agent device according to the present invention is an agent device in which agents are individually associated with a plurality of users and each agent interacts with the user. For each agent, the task requested by the user is recognized from the voice data of the user, and for each agent, voice data of the response content corresponding to the task is generated and output to the user. Therefore, the task is processed, the processing status of the N tasks requested by each user to each agent is grasped, and when some of the N tasks are completed, the task is not completed at that time. It is provided with a control unit that generates and outputs voice data of response contents asking the user who requested the task for approval or disapproval of the completed task.

これにより、エージェント装置は、複数のタスクを処理する過程において、完了済みのタスクが発生した際に、タスクが完了していないユーザに対して完了済みのタスクへの賛否を尋ねることができる。 As a result, the agent device can ask the user who has not completed the task for or against the completed task when the completed task occurs in the process of processing the plurality of tasks.

また、本発明に係るエージェント装置において、前記制御部は、前記Ｎ件のタスクが同種である場合において、前記Ｎ件のうちの一件のタスクが完了した場合、その時点でタスクが未完了であるエージェントを選択し、選択したエージェントに対応付けられたユーザに対して、完了済みのタスクへの賛否を尋ねる応答内容の音声データを生成して出力してもよい。 Further, in the agent device according to the present invention, when the N tasks are of the same type and one of the N tasks is completed, the control unit does not complete the task at that time. A certain agent may be selected, and voice data of the response content asking the user associated with the selected agent for approval or disapproval of the completed task may be generated and output.

これにより、エージェント装置は、複数の同種のタスクを処理する過程において、完了済みのタスクが発生した際に、タスクが完了していないエージェントからユーザに対して、完了済みのタスクへの賛否を尋ねることができる。 As a result, when a completed task occurs in the process of processing multiple tasks of the same type, the agent device asks the user for or against the completed task from the agent who has not completed the task. be able to.

本発明に係るエージェント装置によれば、複数のタスクを統合管理して矛盾なく処理することができる。 According to the agent device according to the present invention, a plurality of tasks can be integratedly managed and processed without contradiction.

図１は、本発明の実施形態に係るエージェント装置の機能ブロック図である。FIG. 1 is a functional block diagram of an agent device according to an embodiment of the present invention. 図２は、本発明の実施形態に係るエージェント装置による対話制御方法の流れを示す図である。FIG. 2 is a diagram showing a flow of a dialogue control method using an agent device according to an embodiment of the present invention. 図３は、本発明の実施形態に係るエージェント装置による対話制御方法の第一の実施例を示す図である。FIG. 3 is a diagram showing a first embodiment of the dialogue control method by the agent device according to the embodiment of the present invention. 図４は、本発明の実施形態に係るエージェント装置による対話制御方法の第二の実施例を示す図である。FIG. 4 is a diagram showing a second embodiment of the dialogue control method by the agent device according to the embodiment of the present invention. 図５は、本発明の実施形態に係るエージェント装置による対話制御方法の第三の実施例を示す図である。FIG. 5 is a diagram showing a third embodiment of the dialogue control method by the agent device according to the embodiment of the present invention.

本発明の実施形態に係るエージェント装置について、図面を参照しながら説明する。なお、本発明は以下の実施形態に限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。 The agent device according to the embodiment of the present invention will be described with reference to the drawings. The present invention is not limited to the following embodiments. In addition, the components in the following embodiments include those that can be easily replaced by those skilled in the art, or those that are substantially the same.

本実施形態に係るエージェント装置は、例えば車両に搭載され、複数のエージェントを通じて、車両に搭乗している複数のユーザと対話を行う装置である。エージェント装置は、車両内の複数のユーザに対してエージェントを個別に対応付け、エージェントごとにユーザとの対話を行う。 The agent device according to the present embodiment is, for example, a device mounted on a vehicle and having a dialogue with a plurality of users on the vehicle through a plurality of agents. The agent device individually associates agents with a plurality of users in the vehicle, and interacts with the users for each agent.

エージェント装置の一態様としては、例えば車両に内蔵される態様が挙げられる。この場合、エージェント装置は、車両内に設けられたマイク、スピーカ、モニタ等を通じて、複数のユーザと対話を行う。また、エージェント装置の別の態様としては、車両とは別体の小型のロボット等によって構成される態様が挙げられる。この場合、エージェント装置は、ロボットに設けられたマイク、スピーカ、モニタ等を通じて、複数のユーザと対話を行う。 One aspect of the agent device is, for example, a mode built in a vehicle. In this case, the agent device interacts with a plurality of users through microphones, speakers, monitors, etc. provided in the vehicle. Further, as another embodiment of the agent device, there is an embodiment configured by a small robot or the like separate from the vehicle. In this case, the agent device interacts with a plurality of users through a microphone, a speaker, a monitor, or the like provided in the robot.

本実施形態では、エージェント装置の機能として複数のユーザと対話を行う擬人化された主体のことを「エージェント」と定義する。例えばエージェント装置が車両に内蔵されている場合は、スピーカから出力される音声がエージェントとして機能する。また、その際にモニタ上等に擬人化されたエージェントの像（画像データ）を表示してもよい。また、エージェント装置が小型のロボットによって構成される場合は、このロボット自体がエージェントとして機能する。 In the present embodiment, an anthropomorphic subject who interacts with a plurality of users as a function of the agent device is defined as an "agent". For example, when the agent device is built in the vehicle, the sound output from the speaker functions as an agent. Further, at that time, an anthropomorphic agent image (image data) may be displayed on a monitor or the like. When the agent device is composed of a small robot, the robot itself functions as an agent.

［エージェント装置］
エージェント装置１は、具体的には図１に示すように、複数のマイク１１と、複数のスピーカ１２と、制御部２０と、記憶部３０と、を備えている。 [Agent device]
Specifically, as shown in FIG. 1, the agent device 1 includes a plurality of microphones 11, a plurality of speakers 12, a control unit 20, and a storage unit 30.

マイク１１は、車両内におけるユーザが発した音声を集音し、その音声データを生成する。そして、マイク１１は、生成した音声データを制御部２０の各部に出力する。スピーカ１２には、制御部２０の各部で生成された応答内容（発話文章）のデータが入力される。そして、スピーカ１２は、入力された応答内容のデータをユーザに対して音声出力する。マイク１１およびスピーカ１２は、エージェントごとに設けられ、車両内におけるユーザに近い位置、例えば運転席付近、助手席付近、後部座席付近等に配置される。 The microphone 11 collects the voice emitted by the user in the vehicle and generates the voice data. Then, the microphone 11 outputs the generated voice data to each unit of the control unit 20. The response content (spoken text) data generated by each unit of the control unit 20 is input to the speaker 12. Then, the speaker 12 outputs the input response content data to the user by voice. The microphone 11 and the speaker 12 are provided for each agent and are arranged at positions close to the user in the vehicle, for example, near the driver's seat, near the passenger seat, near the rear seat, and the like.

エージェント装置１では、合計Ｎ台のエージェントを通じて、合計Ｎ人のユーザと対話を行う。すなわち、エージェントとユーザの数は同じである。エージェント装置１は、例えば図２に示すように、Ｎ人のユーザの発話を個別に音声認識し、Ｎ件のタスクを個別に認識する。そして、エージェント装置１は、Ｎ件のタスクを統合管理することにより、後記するように、Ｎ件のタスクの状況を把握し、応答するエージェントを選択し、ユーザへの応答内容を生成する。そして、選択したエージェントを通じてユーザに対して応答内容を出力する。 The agent device 1 interacts with a total of N users through a total of N agents. That is, the number of agents and users is the same. As shown in FIG. 2, for example, the agent device 1 individually recognizes the utterances of N users by voice, and individually recognizes N tasks. Then, by managing the N tasks in an integrated manner, the agent device 1 grasps the status of the N tasks, selects an agent to respond to, and generates a response content to the user, as will be described later. Then, the response content is output to the user through the selected agent.

エージェント装置１は、例えばＣＡＮ（Controller Area Network）等の車載ネットワークにより、通信部（例えばＤＣＭ：Data Communication Module）２およびナビゲーション装置３と相互に通信可能に接続されている。 The agent device 1 is communicably connected to the communication unit (for example, DCM: Data Communication Module) 2 and the navigation device 3 by an in-vehicle network such as a CAN (Controller Area Network).

通信部２は、外部のサーバ４と情報通信を行うための手段である。この通信部２とサーバ４とは、例えば無線ネットワークにより接続されている。ナビゲーション装置３は、モニタ等の図示しない表示部と、ＧＰＳ衛星からの信号を受信するための図示しないＧＰＳ受信部を備えている。このナビゲーション装置３は、ＧＰＳ受信部で取得した現在位置の情報に基づいて、車両の周辺の地図情報や目的地までの経路情報を表示部に表示することにより、ナビゲーションを行う。また、ナビゲーション装置３は、後記するように、必要に応じて統合管理部２４によって制御される場合もある。 The communication unit 2 is a means for performing information communication with an external server 4. The communication unit 2 and the server 4 are connected by, for example, a wireless network. The navigation device 3 includes a display unit (not shown) such as a monitor and a GPS receiving unit (not shown) for receiving a signal from a GPS satellite. The navigation device 3 performs navigation by displaying map information around the vehicle and route information to the destination on the display unit based on the information of the current position acquired by the GPS receiving unit. Further, the navigation device 3 may be controlled by the integrated management unit 24 as necessary, as will be described later.

サーバ４は、通信部２を通じて、エージェント装置１との間で情報のやり取りを行う。例えば、サーバ４は、エージェント装置１から、後記するタスクの処理に必要な情報（例えばユーザから要求されたレストラン検索の結果等）を求められた場合、該当する情報をエージェント装置１に対して送信する。 The server 4 exchanges information with the agent device 1 through the communication unit 2. For example, when the server 4 is requested by the agent device 1 for information necessary for processing the task described later (for example, the result of a restaurant search requested by the user), the server 4 transmits the corresponding information to the agent device 1. do.

制御部（プロセッサ）２０は、具体的にはＣＰＵ（Central Processing Unit）等の演算処理装置によって構成されており、マイク１１から入力されたユーザの音声データの音声認識処理を行うとともに、ユーザに対する応答内容の音声データを生成し、生成した音声データをスピーカ１２に対して出力する。また、制御部２０は、コンピュータプログラムを実行することにより、話者特定部２１、タスク認識部２２、タスク処理部２３および統合管理部２４として機能する。以下、各部の詳細について説明する。 Specifically, the control unit (processor) 20 is composed of an arithmetic processing unit such as a CPU (Central Processing Unit), performs voice recognition processing of the user's voice data input from the microphone 11, and responds to the user. The content voice data is generated, and the generated voice data is output to the speaker 12. Further, the control unit 20 functions as a speaker identification unit 21, a task recognition unit 22, a task processing unit 23, and an integrated management unit 24 by executing a computer program. The details of each part will be described below.

話者特定部２１は、車両内における複数のユーザの発話の音声データをマイク１１から取得し、例えば声紋認証を利用して、音声を発した話者を特定する。そして、話者特定部２１は、話者の音声や名前を対応付けた情報を話者データとして記憶部３０に格納する。 The speaker identification unit 21 acquires voice data of the utterances of a plurality of users in the vehicle from the microphone 11, and identifies the speaker who uttered the voice by using, for example, voiceprint authentication. Then, the speaker identification unit 21 stores information associated with the voice and name of the speaker as speaker data in the storage unit 30.

タスク認識部２２は、車両内における複数のユーザの発話の音声データをマイク１１から取得し、当該ユーザの音声データからユーザが要求するタスクを認識する。ここで、「タスク」とは、ユーザからエージェントに課される作業のことであり、例えばレストラン検索、観光地検索、楽曲検索、天気検索、雑談等が挙げられる。タスク認識部２２は、エージェントごとにユーザが要求するタスクを認識する。 The task recognition unit 22 acquires the voice data of the utterances of a plurality of users in the vehicle from the microphone 11, and recognizes the task requested by the user from the voice data of the user. Here, the "task" is a work imposed on the agent by the user, and examples thereof include a restaurant search, a tourist spot search, a music search, a weather search, and a chat. The task recognition unit 22 recognizes the task requested by the user for each agent.

タスク認識部２２は、例えばあるユーザからエージェントに対して、「和食のオススメ教えて」という発話がなされた場合、「レストラン検索」というタスクを認識する（後記する図３参照）。そして、タスク認識部２２は、タスクのゴール（目標）を「行くレストランの決定」に設定し、タスクの方針を「和食のお店から絞り込み」に設定する。 For example, when a user makes an utterance "Tell me a recommendation for Japanese food" to an agent, the task recognition unit 22 recognizes the task "restaurant search" (see FIG. 3 described later). Then, the task recognition unit 22 sets the goal (goal) of the task to "determine the restaurant to go to" and the policy of the task to "narrow down from Japanese restaurants".

タスク処理部２３は、タスク認識部２２が認識したタスクを処理する。タスク認識部２２は、タスクに応じた応答内容の音声データを生成する。そして、タスク認識部２２は、エージェントごとにユーザに対して、生成した音声を出力することにより、タスクを処理する。タスク処理部２３は、例えばあるユーザの「和食のレストラン検索」というタスクを処理する場合、通信部２を通じてサーバ４と通信することにより、車両の近辺の和食のお店の情報をサーバ４から取得する。そして、タスク処理部２３は、例えば「和食だと○○というお店はいかがでしょうか？」等の応答内容の音声データを生成し、生成した音声をユーザに対して出力する。 The task processing unit 23 processes the task recognized by the task recognition unit 22. The task recognition unit 22 generates voice data of the response content according to the task. Then, the task recognition unit 22 processes the task by outputting the generated voice to the user for each agent. For example, when processing a task called "Japanese restaurant search" by a user, the task processing unit 23 acquires information on Japanese restaurants in the vicinity of the vehicle from the server 4 by communicating with the server 4 through the communication unit 2. do. Then, the task processing unit 23 generates voice data of the response content such as "How about a shop called XX for Japanese food?" And outputs the generated voice to the user.

なお、タスク処理部２３は、例えばサーバ４から取得した情報と、予め記憶部３０に格納された応答内容の一部に相当する音声データとを組み合わせることにより、応答内容を生成してもよく、あるいはサーバ４から直接取得した音声データを応答内容として用いてもよい。 The task processing unit 23 may generate the response content by, for example, combining the information acquired from the server 4 with the voice data corresponding to a part of the response content stored in the storage unit 30 in advance. Alternatively, the voice data directly acquired from the server 4 may be used as the response content.

統合管理部２４は、複数（Ｎ台）のエージェントによって同じタイミングで処理されている複数（Ｎ件）のタスクを管理し、必要に応じて種々の対話制御を行う。統合管理部２４は、具体的には以下の（１）～（４）の制御を行う。
（１）Ｎ件のタスクが同種であるか否かを判定する。
（２）Ｎ件のタスクの処理状況を個別管理および全体管理する。
（３）Ｍ件（１≦Ｍ＜Ｎ）のタスクが完了した際に、タスクが完了したユーザ以外に対して完了したタスクに対する賛否を尋ねる。
（４）タスクの処理状況に応じてＮ台のエージェントがそれぞれどのユーザに対して応答するかを決定する。 The integrated management unit 24 manages a plurality of (N tasks) tasks processed at the same timing by a plurality of (N units) agents, and performs various dialogue controls as necessary. Specifically, the integrated management unit 24 controls the following (1) to (4).
(1) It is determined whether or not N tasks are of the same type.
(2) Individual management and overall management of the processing status of N tasks.
(3) When M tasks (1 ≦ M <N) are completed, the user other than the user who completed the task is asked for the approval or disapproval of the completed task.
(4) It is determined which user each of the N agents responds to according to the processing status of the task.

上記（２）では、例えば以下の（２－１）および（２－２）のように、Ｎ＝２（二人のユーザと二台のエージェント）である場合であって、ユーザ２のタスクが先に完了した場合、ユーザ１に対して、ユーザ２のタスク完了結果（和食の「★★」というお店に行く）に対する賛否を尋ねる。 In (2) above, for example, as in (2-1) and (2-2) below, when N = 2 (two users and two agents), the task of user 2 is If it is completed first, the user 1 is asked for the approval or disapproval of the task completion result of the user 2 (going to the restaurant "★★" of Japanese food).

（２－１）ユーザ１とエージェント１
タスク＝レストラン検索
条件＝イタリアン
エントリ（最適だとエージェントが判断した店舗）＝○○
対話状況＝レストラン提示
（２－２）ユーザ２とエージェント２
タスク＝レストラン検索
条件＝和食
エントリ（最適だとエージェントが判断した店舗）＝★★
対話状況＝行き先決定 (2-1) User 1 and Agent 1
Task = Restaurant search Condition = Italian entry (store judged by the agent to be optimal) = ○○
Dialogue status = Restaurant presentation (2-2) User 2 and Agent 2
Task = Restaurant search Condition = Japanese food entry (store judged by the agent to be optimal) = ★★
Dialogue status = destination decision

また、上記（４）では、以下の（４－１）および（４－２）のような制御を行う。
（４－１）ある一組のユーザ‐エージェント間のタスクが完了（例：これから行くレストランの決定）した場合
・残りのエージェントがそれぞれ進行中のタスクを一時中断し、元々対話をしていた各々のユーザに対して、完了済みのタスクに対する賛否を尋ねる（後記する図３参照）。
・タスクを完了したエージェントが、残りのユーザ‐エージェントの対話に割り込み、完了済みのタスクに対する賛否を尋ねる（後記する図５参照）。
（４－２）複数組のユーザ‐エージェント間のタスクがほぼ同時刻に完了（例：それぞれが別々のレストランに行くことを決定）した場合
・全エージェントが、元々対話をしていた各々のユーザに対して、どちらのタスクに賛同するかを択一質問する（後記する図４参照）。 Further, in the above (4), the following controls (4-1) and (4-2) are performed.
(4-1) When a set of user-agent tasks is completed (eg, deciding which restaurant to go to) -The remaining agents suspend their ongoing tasks and have a dialogue with each other. Ask the user for or against the completed task (see Figure 3 below).
-The agent who completed the task interrupts the remaining user-agent dialogue and asks for or against the completed task (see Figure 5 below).
(4-2) When tasks between multiple sets of users and agents are completed at approximately the same time (example: each decides to go to a different restaurant) -Each user who originally had a dialogue with all agents Ask the question which task they agree with (see Figure 4 below).

統合管理部２４は、各ユーザから各エージェントに要求されたＮ件のタスクの処理状況を把握する。そして、統合管理部２４は、Ｎ件のタスクのうちの一部（Ｍ件（１≦Ｍ＜Ｎ））のタスクが完了した場合、その時点で未完了であるタスクを要求したユーザに対して、完了済みのタスクへの賛否を尋ねる応答内容の音声データを生成して出力する。 The integrated management unit 24 grasps the processing status of N tasks requested by each user to each agent. Then, when the task of a part (M (1 ≦ M <N)) of the N tasks is completed, the integrated management unit 24 requests the user who requested the task that is not completed at that time. , Generates and outputs audio data of the response content asking for approval or disapproval of the completed task.

なお、「タスクが完了した」とは、例えば「レストラン検索」のタスクを処理するエージェントが、ユーザに対して特定のレストランを提案し、当該ユーザがその提案を受け入れた場合等が挙げられる。また、統合管理部２４は、例えばサーバ４から取得した情報と、予め記憶部３０に格納された応答内容の一部に相当する音声データとを組み合わせることにより、応答内容を生成してもよく、あるいはサーバ４から直接取得した音声データを応答内容として用いてもよい。 The "task completed" is, for example, a case where an agent processing the task of "restaurant search" proposes a specific restaurant to a user and the user accepts the proposal. Further, the integrated management unit 24 may generate the response content by, for example, combining the information acquired from the server 4 with the voice data corresponding to a part of the response content stored in the storage unit 30 in advance. Alternatively, the voice data directly acquired from the server 4 may be used as the response content.

ここで、統合管理部２４は、Ｎ件のタスクが同種か否かによってそれぞれ異なる制御を行ってもよい。なお、「Ｎ件のタスクが同種」であるとは、例えばＮ件のタスクが全て「レストラン検索」であった場合等が挙げられる（後記する図３および図４参照）。 Here, the integrated management unit 24 may perform different controls depending on whether or not the N tasks are of the same type. In addition, "N tasks are of the same type" may be, for example, a case where all N tasks are "restaurant search" (see FIGS. 3 and 4 described later).

例えば統合管理部２４は、Ｎ件のタスクが同種である場合において、当該Ｎ件のうちの一件のタスクが完了した場合、その時点でタスクが未完了であるエージェントを選択する。次に、統合管理部２４は、完了済みのタスクへの賛否を尋ねる応答内容の音声データを生成する。そして、統合管理部２４は、選択したエージェントのスピーカ１２を通じて、当該エージェントに対応付けられたユーザに対して、音声データを出力する。なお、この場合の具体的な実施例については後記する（後記する図３参照）。 For example, when N tasks are of the same type and one of the N tasks is completed, the integrated management unit 24 selects an agent whose task is not completed at that time. Next, the integrated management unit 24 generates voice data of the response content asking for approval or disapproval of the completed task. Then, the integrated management unit 24 outputs voice data to the user associated with the agent through the speaker 12 of the selected agent. Specific examples in this case will be described later (see FIG. 3 below).

また、統合管理部２４は、Ｎ件のタスクが同種である場合において、当該Ｎ件のうちの複数件のタスクが完了した場合、全てのエージェントを選択する。次に、統合管理部２４は、完了済みのタスクへの賛否を尋ねる応答内容の音声データを生成する。そして、統合管理部２４は、全てのエージェントのスピーカ１２を通じて、これらのエージェントに対応付けられたユーザに対して、音声データを出力する。なお、この場合の具体的な実施例については後記する（後記する図４参照）。 Further, the integrated management unit 24 selects all agents when a plurality of tasks out of the N tasks are completed in the case where the N tasks are of the same type. Next, the integrated management unit 24 generates voice data of the response content asking for approval or disapproval of the completed task. Then, the integrated management unit 24 outputs voice data to the user associated with these agents through the speakers 12 of all the agents. Specific examples in this case will be described later (see FIG. 4 described later).

また、統合管理部２４は、Ｎ件のタスクに異種のタスクが含まれている場合において、当該Ｎ件のうちの一件のタスクが完了した場合、タスクが完了済みであるエージェントを選択する。次に、統合管理部２４は、完了済みのタスクへの賛否を尋ねる応答内容の音声データを生成する。そして、統合管理部２４は、選択したエージェントのスピーカ１２を通じて、その場にいる全ユーザに対して、音声データを出力する。なお、この場合の具体的な実施例については後記する（後記する図５参照）。 Further, the integrated management unit 24 selects an agent whose tasks have been completed when one of the N tasks is completed when the N tasks include different kinds of tasks. Next, the integrated management unit 24 generates voice data of the response content asking for approval or disapproval of the completed task. Then, the integrated management unit 24 outputs voice data to all the users on the spot through the speaker 12 of the selected agent. Specific examples in this case will be described later (see FIG. 5 described later).

記憶部３０は、例えばＨＤＤ（Hard Disk Drive）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）等によって構成されている。記憶部３０は、話者特定部２１によって生成された話者データを記憶する。また、記憶部３０は、制御部２０の各部が生成する応答内容の一部に相当する音声データを予め記憶していてもよい。 The storage unit 30 is composed of, for example, an HDD (Hard Disk Drive), a ROM (Read Only Memory), a RAM (Random access memory), or the like. The storage unit 30 stores speaker data generated by the speaker identification unit 21. Further, the storage unit 30 may store in advance voice data corresponding to a part of the response content generated by each unit of the control unit 20.

［対話制御方法］
以下、エージェント装置１による対話制御方法の具体的な実施例について、図３～図５を参照しながら説明する。 [Dialogue control method]
Hereinafter, specific examples of the dialogue control method using the agent device 1 will be described with reference to FIGS. 3 to 5.

＜第一の実施例＞
図３は、各エージェントが同種かつ方針の異なるタスクを処理する状況において、最速で完了したタスクへの賛否を、他のユーザに対して尋ねる場合の例を示している。以下では、同図右側に示したステップ番号順に説明する。 <First Example>
FIG. 3 shows an example in which each agent processes tasks of the same type but different policies, and asks other users for or against the task completed at the fastest speed. Hereinafter, the steps will be described in the order of the step numbers shown on the right side of the figure.

（ステップＳ１）
タスク認識部２２は、ユーザ１の「和食のオススメ教えて」という発話から「レストラン検索」のタスクを認識し、かつタスクのゴールを「行くレストランの決定」に、タスクの方針を「和食のお店から絞り込み」に設定する。また、タスク認識部２２は、ユーザ２の「近くに焼肉のお店ある？」という発話から「レストラン検索」のタスクを認識し、かつタスクのゴールを「行くレストランの決定」に、タスクの方針を「焼肉のお店から絞り込み」に設定する。また、タスク認識部２２は、ユーザＮの「安いレストランが知りたいです。」という発話から「レストラン検索」のタスクを認識し、かつタスクのゴールを「行くレストランの決定」に、タスクの方針を「価格帯から絞り込み」に設定する。 (Step S1)
The task recognition unit 22 recognizes the task of "restaurant search" from the utterance "Tell me the recommendation of Japanese food" of user 1, and the goal of the task is "decision of the restaurant to go", and the policy of the task is "Japanese food". Set to "Refine from store". In addition, the task recognition unit 22 recognizes the task of "restaurant search" from the utterance "Is there a yakiniku restaurant nearby?" Of user 2, and sets the goal of the task to "decide which restaurant to go to". Is set to "Narrow down from yakiniku restaurants". In addition, the task recognition unit 22 recognizes the task of "restaurant search" from the utterance "I want to know a cheap restaurant" of user N, and sets the task policy to "decide which restaurant to go to". Set to "Refine from price range".

（ステップＳ２）
タスク処理部２３は、エージェント１を通じてユーザ１に「○○」という和食のお店を提案する。また、タスク処理部２３は、エージェント２を通じてユーザ２に「★★」という焼肉のお店を提案する。また、タスク処理部２３は、エージェントＮを通じてユーザＮに「□□」というイタリアンのお店を提案する。また、統合管理部２４は、各エージェント１，２，Ｎによるタスクの処理状況、すなわち各タスクの内容、条件、状況、エントリおよび出力先を収集し、全体管理する。 (Step S2)
The task processing unit 23 proposes a Japanese restaurant called "○○" to the user 1 through the agent 1. In addition, the task processing unit 23 proposes a yakiniku restaurant called "★★" to the user 2 through the agent 2. In addition, the task processing unit 23 proposes an Italian restaurant called "□□" to the user N through the agent N. In addition, the integrated management unit 24 collects the processing status of the tasks by the agents 1, 2, and N, that is, the contents, conditions, statuses, entries, and output destinations of each task, and manages them as a whole.

（ステップＳ３）
本ステップでは、ユーザ１からエージェント１に対して、お店の評価を尋ねる発話がなされる。また、ユーザ２からエージェント２に対して、エージェント２の提案を承諾する旨の発話がなされ、ユーザ２のタスクが完了する。また、ユーザＮからエージェントＮに対して、お店の価格帯を尋ねる発話がなされる。 (Step S3)
In this step, the user 1 asks the agent 1 for the evaluation of the store. Further, the user 2 makes an utterance to the agent 2 to accept the proposal of the agent 2, and the task of the user 2 is completed. In addition, the user N makes an utterance asking the agent N about the price range of the store.

（ステップＳ４）
統合管理部２４は、ユーザ２のタスクが完了したため、タスクが未完了であるエージェント１，Ｎを選択する。そして、統合管理部２４は、エージェント１，Ｎを通じてユーザ１，Ｎにユーザ２のタスク（「★★」という焼肉のお店に行く）への賛否を尋ねる。 (Step S4)
Since the task of user 2 has been completed, the integrated management unit 24 selects agents 1 and N whose tasks have not been completed. Then, the integrated management unit 24 asks users 1 and N for approval or disapproval of the task of user 2 (going to a yakiniku restaurant called "★★") through agents 1 and N.

（ステップＳ５）
本ステップでは、ユーザ１，Ｎからエージェント１，Ｎに対して、ユーザ２のタスクに賛同する旨の発話がなされる。 (Step S5)
In this step, users 1 and N make utterances to agents 1 and N to the effect that they agree with the task of user 2.

（ステップＳ６）
統合管理部２４は、ユーザ２のタスクにユーザ１，Ｎが賛同したため、エージェント１，２，Ｎを通じて、ユーザ１，２，Ｎに「★★」という焼肉のお店に行先が決定した旨を伝える。そして、統合管理部２４は、例えばナビゲーション装置３を制御し、当該ナビゲーション装置３を通じて、決定した行先へのルート案内を開始する。 (Step S6)
Since the user 1 and N agreed with the task of the user 2, the integrated management unit 24 indicated that the destination was decided to the yakiniku restaurant "★★" for the users 1, 2 and N through the agents 1, 2 and N. inform. Then, the integrated management unit 24 controls, for example, the navigation device 3 and starts route guidance to the determined destination through the navigation device 3.

＜第二の実施例＞
図４は、各エージェントが同種かつ方針の異なるタスクを処理する状況において、同時に完了した複数のタスクの賛否を全ユーザに対して尋ねる場合の例を示している。以下では、同図右側に示したステップ番号順に説明する。 <Second Example>
FIG. 4 shows an example in which all users are asked for the approval or disapproval of a plurality of tasks completed at the same time in a situation where each agent processes tasks of the same type but different policies. Hereinafter, the steps will be described in the order of the step numbers shown on the right side of the figure.

（ステップＳ１１）
タスク認識部２２は、ユーザ１の「和食のオススメ教えて」という発話から「レストラン検索」のタスクを認識し、かつタスクのゴールを「行くレストランの決定」に、タスクの方針を「和食のお店から絞り込み」に設定する。また、タスク認識部２２は、ユーザ２の「近くに焼肉のお店ある？」という発話から「レストラン検索」のタスクを認識し、かつタスクのゴールを「行くレストランの決定」に、タスクの方針を「焼肉のお店から絞り込み」に設定する。また、タスク認識部２２は、ユーザＮの「安いレストランが知りたいです。」という発話から「レストラン検索」のタスクを認識し、かつタスクのゴールを「行くレストランの決定」に、タスクの方針を「価格帯から絞り込み」に設定する。 (Step S11)
The task recognition unit 22 recognizes the task of "restaurant search" from the utterance "Tell me the recommendation of Japanese food" of user 1, and the goal of the task is "decision of the restaurant to go", and the policy of the task is "Japanese food". Set to "Refine from store". In addition, the task recognition unit 22 recognizes the task of "restaurant search" from the utterance "Is there a yakiniku restaurant nearby?" Of user 2, and sets the goal of the task to "decide which restaurant to go to". Is set to "Narrow down from yakiniku restaurants". In addition, the task recognition unit 22 recognizes the task of "restaurant search" from the utterance "I want to know a cheap restaurant" of user N, and sets the task policy to "decide which restaurant to go to". Set to "Refine from price range".

（ステップＳ１２）
タスク処理部２３は、エージェント１を通じてユーザ１に「○○」という和食のお店を提案する。また、タスク処理部２３は、エージェント２を通じてユーザ２に「★★」という焼肉のお店を提案する。また、タスク処理部２３は、エージェントＮを通じてユーザＮに「□□」というイタリアンのお店を提案する。また、統合管理部２４は、各エージェント１，２，Ｎによるタスクの処理状況、すなわち各タスクの内容、条件、状況、エントリおよび出力先を収集し、全体管理する。 (Step S12)
The task processing unit 23 proposes a Japanese restaurant called "○○" to the user 1 through the agent 1. In addition, the task processing unit 23 proposes a yakiniku restaurant called "★★" to the user 2 through the agent 2. In addition, the task processing unit 23 proposes an Italian restaurant called "□□" to the user N through the agent N. In addition, the integrated management unit 24 collects the processing status of the tasks by the agents 1, 2, and N, that is, the contents, conditions, statuses, entries, and output destinations of each task, and manages them as a whole.

（ステップＳ１３）
本ステップでは、ユーザ１からエージェント１に対して、エージェント１の提案を承諾する旨の発話がなされ、ユーザ１のタスクが完了する。また、ユーザ２からエージェント２に対して、エージェント２の提案を承諾する旨の発話がなされ、ユーザ２のタスクが完了する。また、ユーザＮからエージェントＮに対して、お店の価格帯を尋ねる発話がなされる。 (Step S13)
In this step, the user 1 utters to the agent 1 that the proposal of the agent 1 is accepted, and the task of the user 1 is completed. Further, the user 2 makes an utterance to the agent 2 to accept the proposal of the agent 2, and the task of the user 2 is completed. In addition, the user N makes an utterance asking the agent N about the price range of the store.

（ステップＳ１４）
統合管理部２４は、ユーザ１，２のタスクが同時に完了したため、全てのエージェント１，２，Ｎを選択する。そして、統合管理部２４は、エージェント１，２，Ｎを通じてユーザ１，２，Ｎに、ユーザ１のタスク（「○○」という和食のお店に行く）と、ユーザ２のタスク（「★★」という焼肉のお店に行く）のどちらに賛同するかを尋ねる。 (Step S14)
Since the tasks of users 1 and 2 have been completed at the same time, the integrated management unit 24 selects all agents 1, 2 and N. Then, the integrated management unit 24 gives the user 1, 2, N the task of user 1 (going to a Japanese restaurant called "○○") and the task of user 2 ("★★") through agents 1, 2, N. I go to a yakiniku restaurant called "") and ask which one you agree with.

（ステップＳ１５）
本ステップでは、ユーザ１，２，Ｎからエージェント１，２，Ｎに対して、ユーザ２のタスクに賛同する旨の発話がなされる。 (Step S15)
In this step, users 1, 2 and N make utterances to agents 1, 2 and N to the effect that they agree with the task of user 2.

（ステップＳ１６）
統合管理部２４は、ユーザ２のタスクにユーザ１，２，Ｎが賛同したため、エージェント１，２，Ｎを通じて、ユーザ１，２，Ｎに「★★」という焼肉のお店に行先が決定した旨を伝える。そして、統合管理部２４は、例えばナビゲーション装置３を制御し、当該ナビゲーション装置３を通じて、決定した行先へのルート案内を開始する。 (Step S16)
Since users 1, 2, and N agreed with the task of user 2, the integrated management unit 24 decided the destination to the yakiniku restaurant "★★" for users 1, 2, and N through agents 1, 2, and N. Tell that. Then, the integrated management unit 24 controls, for example, the navigation device 3 and starts route guidance to the determined destination through the navigation device 3.

＜第三の実施例＞
図５は、各エージェントが異種のタスクを処理する状況において、あるユーザのタスクの賛否を、他のユーザのタスクに割り込んで尋ね、かつ全ユーザで合意後に割り込み前のタスクを再開する場合の例を示している。以下では、同図右側に示したステップ番号順に説明する。 <Third Example>
FIG. 5 shows an example in which, in a situation where each agent processes a different task, the pros and cons of one user's task are interrupted by another user's task and asked, and all users agree and then restart the pre-interrupt task. Is shown. Hereinafter, the steps will be described in the order of the step numbers shown on the right side of the figure.

（ステップＳ２１）
タスク認識部２２は、ユーザ１の「和食のオススメ教えて」という発話から「レストラン検索」のタスクを認識し、かつタスクのゴールを「行くレストランの決定」に、タスクの方針を「和食のお店から絞り込み」に設定する。また、タスク認識部２２は、ユーザ２の「この辺りでオススメの観光地を教えて」という発話から「観光地検索」のタスクを認識し、かつタスクのゴールを「行く観光地の決定」に、タスクの方針を「高評価から絞り込み」に設定する。なお、本ステップでは、ユーザＮとエージェントＮとの対話は発生していない。 (Step S21)
The task recognition unit 22 recognizes the task of "restaurant search" from the utterance "Tell me the recommendation of Japanese food" of user 1, and the goal of the task is "decision of the restaurant to go", and the policy of the task is "Japanese food". Set to "Refine from store". In addition, the task recognition unit 22 recognizes the task of "sightseeing spot search" from the utterance of user 2 "tell me the recommended sightseeing spots around here", and sets the goal of the task to "determining the sightseeing spot to go". , Set the task policy to "narrow down from high rating". In this step, no dialogue between the user N and the agent N has occurred.

（ステップＳ２２）
タスク処理部２３は、エージェント１を通じてユーザ１に「○○」という和食のお店を提案する。また、タスク処理部２３は、エージェント２を通じてユーザ２に「☆☆」という観光地を提案する。また、統合管理部２４は、各エージェント１，２，Ｎによるタスクの処理状況、すなわち各タスクの内容、条件、状況、エントリおよび出力先を収集し、全体管理する。なお、本ステップでは、ユーザＮとエージェントＮとの対話は発生していない。 (Step S22)
The task processing unit 23 proposes a Japanese restaurant called "○○" to the user 1 through the agent 1. In addition, the task processing unit 23 proposes a tourist spot called "☆☆" to the user 2 through the agent 2. In addition, the integrated management unit 24 collects the processing status of the tasks by the agents 1, 2, and N, that is, the contents, conditions, statuses, entries, and output destinations of each task, and manages them as a whole. In this step, no dialogue between the user N and the agent N has occurred.

（ステップＳ２３）
本ステップでは、ユーザ１からエージェント１に対して、お店の評価を尋ねる発話がなされる。また、ユーザ２からエージェント２に対して、エージェント２の提案を承諾する旨の発話がなされ、ユーザ２のタスクが完了する。なお、本ステップでは、ユーザＮとエージェントＮとの対話は発生していない。 (Step S23)
In this step, the user 1 asks the agent 1 for the evaluation of the store. Further, the user 2 makes an utterance to the agent 2 to accept the proposal of the agent 2, and the task of the user 2 is completed. In this step, no dialogue between the user N and the agent N has occurred.

（ステップＳ２４）
統合管理部２４は、ユーザ１，２のタスクが異種のタスクであり、かつユーザ２のタスクが完了したため、エージェント２を選択する。そして、統合管理部２４は、エージェント２を通じてユーザ１，Ｎに、ユーザ２のタスク（「☆☆」という観光地に行く）への賛否を尋ねる。その際、エージェント２は、ユーザ１のタスクへの割り込みを行ってユーザ２のタスクの賛否を尋ねる。また、エージェント２は、それまで対話を行っていなかったユーザ２に対しても、ユーザ２のタスクの賛否を尋ねる。 (Step S24)
The integrated management unit 24 selects the agent 2 because the tasks of the users 1 and 2 are different tasks and the task of the user 2 is completed. Then, the integrated management unit 24 asks users 1 and N for approval or disapproval of the task of user 2 (going to a tourist spot called "☆☆") through agent 2. At that time, the agent 2 interrupts the task of the user 1 and asks for the approval or disapproval of the task of the user 2. In addition, the agent 2 also asks the user 2 who has not had a dialogue so far for the approval or disapproval of the task of the user 2.

（ステップＳ２５）
本ステップでは、ユーザ１，Ｎからエージェント２に対して、ユーザ２のタスクに賛同する旨の発話がなされる。 (Step S25)
In this step, the user 1 and N make an utterance to the agent 2 to the effect that they agree with the task of the user 2.

（ステップＳ２６）
統合管理部２４は、ユーザ２のタスクにユーザ１，Ｎが賛同したため、エージェント１，２，Ｎを通じて、ユーザ１，２，Ｎに「☆☆」という観光地に行先が決定した旨を伝える。そして、統合管理部２４は、例えばナビゲーション装置３を制御し、当該ナビゲーション装置３を通じて、決定した行先へのルート案内を開始する。 (Step S26)
Since the user 1 and N agree with the task of the user 2, the integrated management unit 24 informs the users 1, 2 and N that the destination has been decided to the tourist spot "☆☆" through the agents 1, 2 and N. Then, the integrated management unit 24 controls, for example, the navigation device 3 and starts route guidance to the determined destination through the navigation device 3.

（ステップＳ２７）
タスク処理部２３は、中断したタスクを再開し、エージェント１を通じてユーザ１に「○○」という和食のお店の評価を伝える。 (Step S27)
The task processing unit 23 resumes the interrupted task and informs the user 1 of the evaluation of the Japanese restaurant "○○" through the agent 1.

以上のように、本実施形態に係るエージェント装置１によれば、複数のタスクを処理する過程において、タスクが完了していないユーザに対して完了済みのタスクへの賛否を尋ねることができる。従って、エージェント装置１によれば、複数のタスクを統合管理して矛盾なく処理することができ、ユーザの不便を解消することができる。 As described above, according to the agent device 1 according to the present embodiment, in the process of processing a plurality of tasks, it is possible to ask a user who has not completed the task for approval or disapproval of the completed task. Therefore, according to the agent device 1, a plurality of tasks can be integratedly managed and processed without contradiction, and the inconvenience of the user can be eliminated.

［対話制御プログラム］
本実施形態に係る対話制御プログラムは、コンピュータを、前記した制御部２０の各部（各手段）として機能させたものである。音声対話プログラムは、例えばハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ等の、コンピュータで読み取り可能な記録媒体に格納して配布してもよく、あるいは、ネットワークを介して流通させてもよい。 [Dialogue control program]
In the dialogue control program according to the present embodiment, the computer is made to function as each part (each means) of the above-mentioned control part 20. The voice dialogue program may be stored and distributed in a computer-readable recording medium such as a hard disk, a flexible disk, or a CD-ROM, or may be distributed via a network.

以上、本発明に係るエージェント装置について、発明を実施するための形態により具体的に説明したが、本発明の趣旨はこれらの記載に限定されるものではなく、特許請求の範囲の記載に基づいて広く解釈されなければならない。また、これらの記載に基づいて種々変更、改変等したものも本発明の趣旨に含まれることはいうまでもない。 The agent device according to the present invention has been specifically described above in terms of the mode for carrying out the invention, but the purpose of the present invention is not limited to these descriptions, and is based on the description of the scope of claims. Must be broadly interpreted. Needless to say, various changes, modifications, etc. based on these descriptions are also included in the gist of the present invention.

１エージェント装置
２通信部
３ナビゲーション装置
４サーバ
１１マイク
１２スピーカ
２０制御部
２１話者特定部
２２タスク認識部
２３タスク処理部
２４統合管理部
３０記憶部 1 Agent device 2 Communication unit 3 Navigation device 4 Server 11 Microphone 12 Speaker 20 Control unit 21 Speaker identification unit 22 Task recognition unit 23 Task processing unit 24 Integrated management unit 30 Storage unit

Claims

複数のユーザに対してエージェントを個別に対応付け、前記エージェントごとにユーザとの対話を行うエージェント装置であって、
前記エージェントごとに、前記ユーザの音声データから前記ユーザが要求するタスクを認識し、
前記エージェントごとに、前記ユーザに対して、前記タスクに応じた応答内容の音声データを生成して出力することにより、前記タスクを処理し、
各ユーザから各エージェントに要求されたＮ件のタスクの処理状況を把握し、前記Ｎ件のうちの一部のタスクが完了した場合、その時点で未完了であるタスクを要求したユーザに対して、完了済みのタスクへの賛否を尋ねる応答内容の音声データを生成して出力する、
制御部を備えるエージェント装置。 An agent device that individually associates agents with a plurality of users and interacts with the users for each agent.
For each agent, the task requested by the user is recognized from the voice data of the user, and the task is recognized.
For each agent, the task is processed by generating and outputting voice data of the response content corresponding to the task to the user.
Understand the processing status of N tasks requested by each user to each agent, and if some of the N tasks are completed, the user who requested the task that is not completed at that time , Generates and outputs audio data of the response content asking for approval or disapproval of the completed task,
An agent device equipped with a control unit.

前記制御部は、
前記Ｎ件のタスクが同種である場合において、前記Ｎ件のうちの一件のタスクが完了した場合、その時点でタスクが未完了であるエージェントを選択し、
選択したエージェントに対応付けられたユーザに対して、完了済みのタスクへの賛否を尋ねる応答内容の音声データを生成して出力する、
請求項１に記載のエージェント装置。 The control unit
When the N tasks are of the same type and one of the N tasks is completed, an agent whose task is incomplete at that time is selected.
Generates and outputs audio data of the response content asking the user associated with the selected agent for approval or disapproval of the completed task.
The agent device according to claim 1.