JP2007030050A - Robot control device, robot control system, robot device and robot control method - Google Patents
Robot control device, robot control system, robot device and robot control method Download PDFInfo
- Publication number
- JP2007030050A JP2007030050A JP2005212406A JP2005212406A JP2007030050A JP 2007030050 A JP2007030050 A JP 2007030050A JP 2005212406 A JP2005212406 A JP 2005212406A JP 2005212406 A JP2005212406 A JP 2005212406A JP 2007030050 A JP2007030050 A JP 2007030050A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- user behavior
- behavior information
- user
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明は、ロボット制御装置、ロボット制御システム、ロボット装置、およびロボット制御方法に関する。 The present invention relates to a robot control apparatus, a robot control system, a robot apparatus, and a robot control method.
従来、様々な会議システムが知られている。
特許文献１には、操作者の分身となって行動する、とくに遠隔会議等に使用されるロボット装置が開示されている。これにより、操作者が遠隔地の会議場に出席させたロボットを介して、会議の状況を見て、聞き、表情を見せ、話し、資料を提示し、握手をする等、臨場感のある会議を可能にすると記載されている。
Conventionally, various conference systems are known.
特許文献２には、ビデオコンファレンス／テレコンファレンス技術およびロボット工学技術を組み合わせて使用するグループ会議環境で遠隔の会議出席者がその存在を映像化できる装置が開示されている。ここで、遠隔の会議出席者の顔がビデオモニタにほぼ実物大に映される。
特許文献３には、仮想会議システム用端末装置および仮想会議システムが開示されている。この仮想会議システムにおいては、各端末をネットワークによって接続し、各端末を操作する出席者をエージェントで表現し、各端末の表示画面に表示された会議室の全景を示す仮想会議室ウインドウ内に表示する。会議における各出席者へ発言権や黒板の使用権が与えられると、各エージェントはこれに応じて演壇上に移動したり、黒板の前に移動したりして、何れの出席者が権利を有しているのか表示する。出席者同士の秘話や司会者の発言等に応じて、声の音量等を制御すると共に、この状態をエージェントの動きで表示する。このように、会議中の各出席者の動作情報を各端末へ伝送することで、会議進行状態を各エージェントの動きによって視覚的に表示できる、とされている。
特許文献４には、アニメーション化されたキャラクタを用いて会議参加者を表現する会議室が開示されている。このアニメーション式電子会議室においては、ネットワーク上の各会議参加者に対して、各参加者の端末を介して各人の位置、身振り、音声等表現したいと希望するものを画面上のキャラクタ、人形または登場人物として動画化し、シミュレーション化されたアニメーション式電子会議を参加者間で行う。また、登場人物制御手段を用いて、参加者自身が画面に表示される登場人物を制御できる。
特許文献５には、多地点テレビ会議システムの一例が開示されている。このシステムにおいて、会議運営をサポートするキャラクタ信号を各端末のモニタ・ディスプレイにスーパーインポーズすることにより、全会議参加者が会議運営情報を容易に確認できるようにする、とされている。
特許文献６には、会議システムの一例が開示されている。あるパソコンのキーボードに
具備されている拍手ボタンを操作したとき、「拍手」の文字をそのパソコンのモニタに表示させるとともに、「拍手」のキャラクタデータをネットワークを介して他のパソコンに伝送する。各パソコンにおいて、モニタに表示された文字中に「拍手」の文字があるか否かを判定し、「拍手」の文字が検出された場合においては、予め記憶されている拍手音の音声データを読み出し、スピーカから放音させる。
Patent Document 6 discloses an example of a conference system. When the applause button provided on the keyboard of a personal computer is operated, the characters “applause” are displayed on the monitor of the personal computer, and the character data of “applause” are transmitted to another personal computer via the network. In each computer, it is determined whether or not the characters “applause” are present in the characters displayed on the monitor. If the character “applause” is detected, the audio data of the applause sound stored in advance is stored. Read out and emit sound from the speaker.
また、特許文献７には、複数のクリーチャと学習者とで会話を連鎖できる参加型多人数会話システムが開示されている。各々のクリーチャは、他者の発話に対してコミットするかどうかを判断する第１判断手段と、コミットしないと判断したとき新たな発話を生成する生成手段と、コミットすると判断したとき前記他者にアドレスを向ける手段とを含む。これにより、人間が参与しなくても動作が進み、そのたえに人間は話し手や聞き手としてだけではなく、傍観者として振る舞うことができ、たとえば外国語学習支援システムに利用すると、学習者の持続的な学習が期待できる、とされている。
しかし、従来の会議システムは、おもに遠隔地にいる出席者に対して、臨場感のある会議を実現する目的で開発されていた。 However, the conventional conference system has been developed for the purpose of realizing a conference with a sense of reality for mainly attendees in remote locations.
一方、会議や授業等では、出席者や生徒に意見があっても意思表示するタイミングが難しかったり、出席者や生徒間で理解度の格差があるという問題がある。 On the other hand, in meetings and classes, there are problems in that it is difficult to display the intention even if there are opinions from attendees and students, and there is a difference in understanding between attendees and students.
本発明は上記事情を踏まえてなされたものであり、本発明の目的は、会議や授業等に参加するロボットにより、参加者間の意思疎通を良好にする技術を提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique for improving communication between participants by a robot that participates in a conference, a class, or the like.
本発明によれば、ロボットを制御するロボット制御装置であって、ユーザの言動を示すユーザ言動情報を複数のユーザからそれぞれ取得するユーザ言動情報取得部と、前記ユーザ言動情報取得部が取得した前記ユーザ言動情報を収集する収集部と、前記収集部による収集処理の終了タイミングを決定するタイミング決定部と、前記タイミング決定部による前記終了タイミングの決定があるまでの前記収集部による前記ユーザ言動情報の収集結果に基づき、前記ユーザの言動を前記ロボットが表現するように当該ロボットの言動を決定する言動決定部と、前記言動決定部が決定した言動を前記ロボットに実行させる出力処理部と、を含むロボット制御装置が提供される。 According to the present invention, a robot control apparatus that controls a robot, the user behavior information acquisition unit that acquires user behavior information indicating user behavior from a plurality of users, and the user behavior information acquisition unit acquired by the user behavior information acquisition unit A collection unit that collects user behavior information, a timing determination unit that determines an end timing of collection processing by the collection unit, and the user behavior information by the collection unit until the end timing is determined by the timing determination unit. A behavior determining unit that determines the behavior of the robot so that the robot expresses the behavior of the user based on the collected result; and an output processing unit that causes the robot to execute the behavior determined by the behavior determining unit. A robot controller is provided.
ここで、ロボットは、ロボット装置とすることもでき、またキャラクタで示される仮想ロボットとすることもできる。また、ロボットは、音声認識機能を有する対話型ロボットとすることができる。これにより、出力処理部は、周囲の状況に応じて、ロボットが適切なタイミングで言動を実行するように制御することができる。また、ここで、ユーザ言動情報取得部は、ユーザ言動情報を計数可能なデータとして取得することができる。ここで、ユーザとは、たとえば会議や授業、講義に参加する、発表者、聴講者、司会者、先生、生徒等の参加者とすることができる。 Here, the robot can be a robot device or a virtual robot represented by a character. The robot can be an interactive robot having a voice recognition function. As a result, the output processing unit can control the robot to perform speech at appropriate timing according to the surrounding situation. Here, the user behavior information acquisition unit can acquire user behavior information as countable data. Here, the user can be, for example, a participant such as a presenter, a lecturer, a moderator, a teacher, and a student who participate in a conference, class, or lecture.
本発明のロボット制御装置によれば、会議や授業等に参加するロボットに、参加者の言動を反映させた言動を実行させることができるため、参加者間の意思疎通を良好にすることができる。 According to the robot control device of the present invention, since the robots participating in a meeting or a class can execute the behavior reflecting the behavior of the participants, the communication between the participants can be improved. .
本発明のロボット制御装置において、前記収集部は、前記ユーザ言動情報を同種のユーザ言動情報毎に分類して収集することができる。 In the robot control apparatus of the present invention, the collecting unit can collect the user behavior information by classifying the user behavior information for each type of user behavior information.
本発明のロボット制御装置において、前記言動決定部は、最も収集数の多い種類の前記ユーザ言動情報を優先的に示す言動を前記ロボットが表現するように、当該ロボットの言動を決定することができる。 In the robot control apparatus of the present invention, the behavior determining unit can determine the behavior of the robot so that the robot expresses behavior that preferentially indicates the type of user behavior information that is collected most. .
本発明のロボット制御装置において、前記タイミング決定部は、前記収集部による収集処理の開始タイミングを決定するとともに、前記ユーザ言動情報取得部が、前記開始タイミングの後に前記複数のユーザの所定割合以上のユーザから前記ユーザ言動情報を取得したときに、前記収集処理の終了タイミングを決定することができ、前記言動決定部は、前記開始タイミングから前記終了タイミングまでの間に、前記収集部が収集した前記ユーザ言動情報に基づき、前記ロボットの言動を決定することができる。 In the robot control apparatus of the present invention, the timing determination unit determines a start timing of the collection process by the collection unit, and the user behavior information acquisition unit has a predetermined ratio of the plurality of users equal to or greater than the start timing. When the user behavior information is acquired from a user, it is possible to determine an end timing of the collection process, and the behavior determination unit collects the collected information from the start timing to the end timing. Based on the user behavior information, the behavior of the robot can be determined.
本発明のロボット制御装置において、前記タイミング決定部は、前記収集部による収集処理の開始タイミングを決定するとともに、前記ユーザ言動情報取得部が、前記開始タイミングから所定時間が経過したときに、前記収集処理の終了タイミングを決定することができる。ここで、前記言動決定部は、前記開始タイミングから前記終了タイミングまでの間に、前記収集部が収集した前記ユーザ言動情報に基づき、前記ロボットの言動を決定することができる。 In the robot control apparatus according to the aspect of the invention, the timing determination unit determines a start timing of the collection process by the collection unit, and the user behavior information acquisition unit receives the collection when a predetermined time has elapsed from the start timing. The end timing of the process can be determined. Here, the behavior determination unit can determine the behavior of the robot based on the user behavior information collected by the collection unit between the start timing and the end timing.
本発明のロボット制御装置において、前記タイミング決定部は、前記ユーザからの前記ユーザ言動情報に、前記収集部による収集処理の開始指示が含まれるか否かを判断し、当該開始指示が含まれる場合に、前記収集部による収集処理の開始タイミングを決定することができる。ユーザ言動情報取得部は、優先順位が高く設定されたユーザからの前記ユーザ言動情報を、他のユーザからの前記ユーザ言動情報と区別して取得することができる。 In the robot control apparatus of the present invention, the timing determination unit determines whether or not the user behavior information from the user includes a collection processing start instruction by the collection unit, and the start instruction is included. In addition, the start timing of the collection process by the collection unit can be determined. The user behavior information acquisition unit can acquire the user behavior information from a user set with a high priority order separately from the user behavior information from other users.
本発明のロボット制御装置は、前記ロボットの実行モードの設定と、当該実行モードにおける前記ユーザ言動情報の収集数の閾値とを対応づけて記憶する設定記憶部をさらに含むことができ、前記タイミング決定部は、前記設定記憶部を参照して、いずれかの種類の前記ユーザ言動情報の収集数が前記閾値以上となった場合に、前記収集部による収集処理の終了タイミングを決定することができ、前記言動決定部は、前記収集数が閾値以上となった前記ユーザ言動情報を示す言動を前記ロボットが表現するように、当該ロボットの言動を決定することができる。 The robot control apparatus of the present invention may further include a setting storage unit that stores the setting of the execution mode of the robot and the threshold of the number of collected user behavior information in the execution mode in association with each other. The unit can determine the end timing of the collection process by the collection unit when the number of collections of the user behavior information of any type is equal to or greater than the threshold with reference to the setting storage unit, The behavior determination unit can determine the behavior of the robot such that the robot expresses the behavior indicating the user behavior information whose collected number is equal to or greater than a threshold.
また、ロボット制御装置は、ユーザ言動情報取得部がユーザ言動情報を取得した場合に、ユーザ言動情報を入力したユーザに、入力を受け付けたことを通知する通知部をさらに含むことができる。通知部は、ユーザ言動情報取得部がユーザ言動情報を取得した場合に、当該ユーザ言動情報が収集部により収集されても、そのユーザ言動情報の収集数が前記閾値以上とならず、ロボットが言動を実行しない場合に、ユーザ言動情報を入力したユーザに、入力を受け付けたことを通知することができる。 The robot control device may further include a notification unit that notifies the user who has input the user behavior information that the input has been accepted when the user behavior information acquisition unit acquires the user behavior information. When the user behavior information acquisition unit acquires user behavior information, the notifying unit collects the user behavior information by the collection unit, but the collected number of user behavior information does not exceed the threshold value, and the robot is When not executing, the user who has input the user behavior information can be notified that the input has been accepted.
本発明のロボット制御装置において、前記タイミング決定部は、前記ユーザからの前記ユーザ言動情報に、前記実行モードの設定の変更指示が含まれるか否かを判断し、当該変更指示が含まれる場合に、前記設定記憶部の前記実行モードの設定を更新することができる。 In the robot control apparatus of the present invention, the timing determination unit determines whether or not the user behavior information from the user includes an instruction to change the execution mode setting, and includes the change instruction. The setting of the execution mode in the setting storage unit can be updated.
本発明のロボット制御装置において、前記ユーザ言動情報取得部は、前記ユーザ言動情報を、各前記ユーザを識別する情報に対応づけて取得することができる。 In the robot control apparatus of the present invention, the user behavior information acquisition unit can acquire the user behavior information in association with information for identifying each user.
本発明のロボット制御装置は、各前記ユーザを識別する情報と、当該ユーザの属性とを対応づけて記憶する属性記憶部と、前記属性記憶部に記憶された前記ユーザの属性に応じて、前記ユーザ言動情報取得部が取得した前記ユーザ言動情報に重み付けを付与する重み付け付与部と、をさらに含むことができ、前記収集部は、前記ユーザ言動情報を前記重み付け付与部により付与された前記重み付けに対応付けて収集することができる。 The robot control device according to the present invention includes an attribute storage unit that stores information for identifying each user and the attribute of the user in association with each other, and according to the attribute of the user stored in the attribute storage unit, A weight assigning unit that assigns a weight to the user behavior information acquired by the user behavior information acquisition unit, and the collection unit applies the user behavior information to the weight assigned by the weight assigning unit. They can be collected in association with each other.
本発明のロボット制御装置において、前記言動決定部は、所定の条件を満たした場合に、前記ロボットが実行する前記言動に対応する前記ユーザ言動情報に対応付けられた前記ユーザを識別する情報に基づき、前記ロボットが当該ユーザを明示する発言をするように当該ロボットの言動を決定することができる。 In the robot control apparatus of the present invention, the behavior determining unit is based on information for identifying the user associated with the user behavior information corresponding to the behavior performed by the robot when a predetermined condition is satisfied. The robot's behavior can be determined such that the robot makes a statement that clearly identifies the user.
本発明のロボット制御装置において、前記タイミング決定部は、前記ユーザ言動情報の内容に基づき、当該ユーザ言動情報を前記収集部による収集処理を行うことなく出力するか否かを判断することができ、前記言動決定部は、前記タイミング決定部が前記収集処理を行うことなく出力すると決定した場合に、当該ユーザ言動情報に基づき、前記ロボットの言動を決定することができる。 In the robot control apparatus of the present invention, the timing determination unit can determine whether to output the user behavior information without performing the collection process by the collection unit based on the content of the user behavior information, The behavior determination unit can determine the behavior of the robot based on the user behavior information when the timing determination unit determines to output without performing the collection process.
本発明のロボット制御装置は、前記ユーザ言動情報取得部は、前記複数のユーザそれぞれに対応づけられた複数の入力手段からの入力を受け付けることができる。 In the robot control apparatus of the present invention, the user behavior information acquisition unit can accept inputs from a plurality of input means associated with the plurality of users.
本発明によれば、上記いずれかに記載のロボット制御装置と、前記ロボット制御装置の前記ユーザ言動取得部とネットワークを介してそれぞれ接続された複数の入力手段と、を含むロボット制御システムが提供される。 According to the present invention, there is provided a robot control system including any one of the robot control devices described above, and a plurality of input units respectively connected to the user behavior acquisition unit of the robot control device via a network. The
本発明によれば、自律移動型または対話型のロボット装置であって、上記いずれかに記載のロボット制御装置と、前記出力処理部の出力に基づき、前記言動決定部が決定した前記言動を実行する言動実行部と、を含むことを特徴とするロボット装置が提供される。 According to the present invention, an autonomous mobile or interactive robot apparatus that executes the behavior determined by the behavior determination unit based on any one of the robot control device described above and an output of the output processing unit. And a speech execution unit.
本発明によれば、ロボットを制御するロボット制御方法であって、ユーザの言動を示すユーザ言動情報を複数のユーザからそれぞれ取得するユーザ言動情報取得ステップと、前記ユーザ言動情報取得ステップで取得された前記ユーザ言動情報を収集する収集ステップと、前記収集ステップにおける収集処理の終了タイミングを決定するタイミング決定ステップと、前記タイミング決定ステップにおける前記終了タイミングの決定があるまでの前記収集ステップにおける前記ユーザ言動情報の収集結果に基づき、前記ユーザの言動を前記ロボットが表現するように当該ロボットの言動を決定する言動決定ステップと、前記言動決定ステップで決定された言動を前記ロボットに実行させる出力ステップと、を含むロボット制御方法が提供される。 According to the present invention, there is provided a robot control method for controlling a robot, the user behavior information acquisition step for acquiring user behavior information indicating the behavior of the user from a plurality of users, and the user behavior information acquisition step. The collection step for collecting the user behavior information, the timing determination step for determining the end timing of the collection processing in the collection step, and the user behavior information in the collection step until the end timing is determined in the timing determination step A behavior determination step for determining the behavior of the robot so that the robot expresses the behavior of the user, and an output step for causing the robot to execute the behavior determined in the behavior determination step. A robot control method is provided.
本発明のロボット制御方法において、前記収集ステップは、前記ユーザ言動情報を同種のユーザ言動情報毎に分類するステップを含むことができる。 In the robot control method of the present invention, the collecting step may include a step of classifying the user behavior information for each type of user behavior information.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, etc. are also effective as an aspect of the present invention.
本発明によれば、会議や授業等に参加するロボットにより、参加者間の意思疎通を良好にすることができる。 ADVANTAGE OF THE INVENTION According to this invention, the communication between participants can be made favorable by the robot which participates in a meeting, a class, etc.
次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。なお、以下の図面において、本発明の本質に関わらない部分の構成は省略する。 Next, the best mode for carrying out the invention will be described in detail with reference to the drawings. In the following drawings, configurations of parts not related to the essence of the present invention are omitted.
本実施の形態において、ロボットが教室で複数の生徒と一緒に授業に参加する場合を例として説明する。以下の実施の形態において、ロボットは、生徒全員から意見や感想等のユーザ言動情報を取得する多数決モードと、生徒から任意に入力されるユーザ言動情報を取得する多数決モード以外のその他モードのいずれかに設定される。いずれの場合も、ロボットは、取得したユーザ言動情報を収集して、収集結果に基づき言動を決定して実行する。 In this embodiment, an example will be described in which a robot participates in a class with a plurality of students in a classroom. In the following embodiments, the robot is in either a majority mode for acquiring user behavior information such as opinions and impressions from all students, or any other mode other than the majority mode for acquiring user behavior information arbitrarily input from students. Set to In any case, the robot collects the acquired user behavior information and determines and executes the behavior based on the collected result.
図１は、本実施の形態におけるロボットが、授業に参加する様子を示す模式図である。
ここでは、授業には、６人の生徒、先生、およびロボット２００が参加している。本実施の形態において、ロボット２００は対話機能を有するとともに自律移動する。６人の生徒には、それぞれ、一般入力手段３０２ａ〜３０２ｆが付与される。
FIG. 1 is a schematic diagram showing how the robot in the present embodiment participates in a class.
Here, six students, a teacher, and a
以下、多数決モードの処理を示す。たとえば、先生が何か説明をした後、「どうでしたか？」と質問をし、それに対して生徒全員に一般入力手段３０２ａ〜３０２ｆから意見や感想等のユーザ言動情報を入力させる。一般入力手段３０２ａ〜３０２ｆに入力されたユーザ言動情報は、ネットワーク（不図示）を介してロボット２００に送信される。ロボット２００は、一般入力手段３０２ａ〜３０２ｆから入力されたユーザ言動情報を同種のユーザ言動情報に分類して収集し、収集結果を出力する。
Hereinafter, the majority mode processing will be described. For example, after the teacher explains something, the question is “How was it?”, And all the students are asked to input user behavior information such as opinions and impressions from the general input means 302a to 302f. The user behavior information input to the
たとえば、一般入力手段３０２ａ、一般入力手段３０２ｂ、一般入力手段３０２ｄ、および一般入力手段３０２ｅが付与された生徒が「おもしろい」と入力し、一般入力手段３０２ｃが付与された生徒が「眠い」、一般入力手段３０２ｆが付与された生徒が「眠い」と入力したとする。この場合、「おもしろい」と入力した生徒が４名で多数である。また、「眠い」と入力した生徒も２名いる。そのため、ロボット２００は、多数の意見である「おもしろい」を強調するとともに、少数の意見である「眠い」についても発言する。その結果、ロボット２００は、たとえば、「すごくおもしろかった！！でも眠い人もいたかも」と発言する。このようにすれば、ロボット２００が、生徒全体の総意を代弁することができる。また、「眠い」等の否定的な表現を生徒が直接言いにくい場合でも、ロボット２００が代弁してくれるので、少数意見も言いやすくなる。
For example, a student who is given the general input means 302a, the general input means 302b, the general input means 302d, and the general input means 302e inputs “interesting”, and the student who is given the general input means 302c is “sleepy”. It is assumed that the student to whom the
図２は、本実施の形態におけるロボットが授業に参加する様子の他の例を示す模式図である。
以下、通常モードの処理を示す。たとえば、一般入力手段３０２ｆが付与された生徒が「○○って何？」という質問を一般入力手段３０２ｆに入力すると、ロボット２００は、所定のタイミングで、生徒にかわり、「先生、○○って何ですか？」と質問する。このようにすれば、生徒が質問等をしたくても自分で言い出せない場合であっても、ロボット２００が代理で質問してくれる。そのため、生徒がロボット２００を通して、匿名で質問や意見を先生に伝えることができる。
FIG. 2 is a schematic diagram showing another example of how the robot in the present embodiment participates in a class.
The normal mode processing will be described below. For example, when a student to whom the
図３は、本実施の形態におけるロボット制御装置を含むロボット制御システムの構成の一例を示すブロック図である。
以下で説明するロボット制御システムおよびロボット制御装置の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースを中心にハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
FIG. 3 is a block diagram illustrating an example of a configuration of a robot control system including the robot control device according to the present embodiment.
Each component of the robot control system and the robot control device described below includes a CPU, a memory, a program that realizes the components shown in the figure loaded in the memory, and a storage unit such as a hard disk that stores the program. It is realized by an arbitrary combination of hardware and software, centering on a network connection interface. It will be understood by those skilled in the art that there are various modifications to the implementation method and apparatus.
ロボット制御システム１０は、ロボット制御装置１００およびロボット制御装置１００とネットワーク３１０を介して接続された一般入力手段３０２ａ〜３０２ｆ、および管理者用入力手段３００により構成される。
The
ロボット制御装置１００は、ユーザ言動情報取得部１０２、フィルタ処理部１０４、タイミング決定部１０６、収集部１０８、言動決定部１１０、出力処理部１１２、属性記憶部１１４、設定記憶部１１６、ユーザ言動情報記憶部１１８、言動データベース１２０、および禁止言動記憶部１２２を含む。本実施の形態において、ロボット制御装置１００はロボット２００に組み込まれ、ロボット２００を制御する。これにより、ロボット２００が、図１および図２に示したような処理をすることができる。ロボット２００の構成は後述する。
The
ユーザ言動情報取得部１０２は、ユーザの言動を示すユーザ言動情報を複数のユーザからそれぞれ取得する。本実施の形態において、ユーザ言動情報取得部１０２は、一般入力手段３０２ａ〜３０２ｆおよび管理者用入力手段３００から入力されたユーザ言動情報をネットワーク３１０を介して取得する。また、一般入力手段３０２ａ〜３０２ｆおよび管理者用入力手段３００からは、ユーザ言動情報とユーザＩＤとが対応付けて送信される。ユーザ言動情報取得部１０２は、ユーザ言動情報をユーザＩＤに対応付けて取得する。
The user behavior
ネットワーク３１０は、無線ＬＡＮや携帯電話等の各種無線環境、ＬＡＮやＷＡＮや電話回線等の各種有線環境、または共有メモリにより実現できる。
The
本実施の形態において、生徒には一般入力手段３０２ａ〜３０２ｆがそれぞれ付与される。生徒は一般入力手段３０２ａ〜３０２ｆから質問や感想等のユーザ言動情報を入力する。また、先生には管理者用入力手段３００が付与され、先生は管理者用入力手段３００から指示等のユーザ言動情報を入力する。 In the present embodiment, general input means 302a to 302f are respectively given to the students. The student inputs user behavior information such as questions and impressions from the general input means 302a to 302f. Also, the teacher is provided with the manager input means 300, and the teacher inputs user behavior information such as instructions from the manager input means 300.
一般入力手段３０２ａ〜３０２ｆは、生徒が意識的または無意識的に言動を入力する手段とすることができる。以下、一般入力手段３０２ａを例として説明する。他の一般入力手段３０２ｂ〜３０２ｆも、一般入力手段３０２ａと同様の構成を有する。
The general input means 302a to 302f can be means for the student to input speech and behavior consciously or unconsciously. Hereinafter, the
一般入力手段３０２ａは、たとえば、ボタン、キーボード、タッチパネル、マイク、カメラ、血圧センサ、発汗センサ、加速度センサ等を一つ以上組み合わせた構成とすることができる。また、一般入力手段３０２ａは、たとえば携帯電話端末やＰＤＡ等の無線通信端末とすることもできる。
The
また、一般入力手段３０２ａは、たとえば、賛成を示すボタン、反対を示すボタン、納得したことを示すボタン、楽しいことを示すボタン、楽しくないことを示すボタン、聞き取れないことを示すボタン、わからないことを示すボタン等の複数のボタンを含むことができる。たとえば、生徒が先生の話すことが聞き取れなかった場合に、一般入力手段３０２ａの聞き取れないことを示すボタンを押すと、「聞き取れない」ことを示すユーザ言動情報がユーザ言動情報取得部１０２に送信される。
The general input means 302a is, for example, a button indicating approval, a button indicating disagreement, a button indicating consent, a button indicating fun, a button indicating non-fun, a button indicating inability to hear, or a fact that it does not understand A plurality of buttons can be included, such as a button to indicate. For example, when the student cannot hear the teacher's speech and presses the button indicating that he / she cannot hear the general input means 302 a, user behavior information indicating “not heard” is transmitted to the user behavior
また、一般入力手段３０２ａは、たとえば、漢字、かな、英数字等の文字を入力可能なキーボードを含むこともできる。さらに、一般入力手段３０２ａは、タッチパネルを含む構成とすることもできる。一般入力手段３０２ａがタッチパネルを含む場合、たとえばタッチパネルの初期画面として「何を実行しますか？＜質問＞、＜聞き取れなかった＞、＜賛成＞、＜否定＞」等を表示させ、ユーザが触れた箇所に対応する画面に切り替えるようにすることができる。たとえば、ユーザが、タッチパネルの＜質問＞部分に触れると、「質問を入力してください。」という画面を表示させ、ユーザに質問を入力させる。ユーザが質問を入力すると、その内容を示すユーザ言動情報がユーザ言動情報取得部１０２に送信される。
Moreover, the general input means 302a can also include a keyboard capable of inputting characters such as kanji, kana, and alphanumeric characters, for example. Further, the
また、生徒が質問を入力するのを支援する誘導プログラムを準備しておくこともできる。この誘導プログラムは、一般入力手段３０２ａに記憶されてもよく、ロボット制御装置１００内、または他のサーバに記憶され、ネットワーク３１０を介して一般入力手段３０２ａに表示されるようにすることもできる。
It is also possible to prepare a guidance program that assists students in entering questions. The guidance program may be stored in the
以下、誘導プログラムの処理手順の一例を示す。たとえば、ユーザが、タッチパネルの＜質問＞部分に触れると、「どのように質問しますか？＜なに＞、＜いつ＞、＜どこ＞、＜だれ＞、＜なぜ＞、＜どのように＞」と画面が切り替わる。ユーザがタッチパネルの＜なに＞部分に触れると、「なにを質問しますか？」と表示され、ソフトキーボードが表示される。ユーザはソフトキーボードから自由に文字を入力することができる。たとえば、ユーザが「素因数分解」と文字入力すると、最後に「質問文：素因数分解、って、なにですか？＜Ｏｋ＞、＜Ｃａｎｃｅｌ＞」と確認画面が表示される。ユーザがタッチパネルの＜Ｏｋ＞部分に触れると、「素因数分解ってなにですか？」という内容のユーザ言動情報がユーザ言動情報取得部１０２に送信される。
Hereinafter, an example of the processing procedure of the guidance program is shown. For example, when the user touches the <Question> part of the touch panel, "How do you ask a question? <What>, <When>, <Where>, <Who>, <Why>, <How> "And the screen switches. When the user touches the <what> part of the touch panel, "What do you want to ask?" Is displayed and a soft keyboard is displayed. The user can freely enter characters from the soft keyboard. For example, when the user inputs characters “prime factorization”, a confirmation screen is finally displayed as “Question text: What is prime factorization? <Ok>, <Cancel>”. When the user touches the <Ok> portion of the touch panel, the user behavior information having the content “What is prime factorization?” Is transmitted to the user behavior
なお、管理者用入力手段３００は、一般入力手段３０２ａと同様の構成とすることもでき、また異なる構成とすることもできる。たとえば、管理者用入力手段３００は、ロボット２００に指示を与えるためのボタン等を設けた構成とすることもできる。
Note that the
属性記憶部１１４は、ユーザＩＤと、当該ユーザの属性とを対応づけて記憶する。ここで、ユーザの属性とは、たとえば優先順位とすることができる。本実施の形態において、管理者用入力手段３００のユーザＩＤは、最も優先順位が高く設定される。ユーザ言動情報取得部１０２は、優先順位が高く設定されたユーザからのユーザ言動情報を、他のユーザからのユーザ言動情報と区別して取得することができる。
The
また、ユーザの属性は、重み付け係数とすることもできる。
優先順位や重み付け係数は、たとえば予め先生等が設定し、属性記憶部１１４に記憶しておくことができる。一例として、たとえば、発言の多い生徒の優先順位や重み付け係数は低く設定し、あまり発言しない生徒の優先順位や重み付け係数を高く設定するようにすることができる。このようにすれば、あまり発言しない生徒の発言に高い重み付けが付され、ロボット２００がその生徒の言動を優先的に表現するようにすることができる。一方、他の例として、たとえば発言の多い生徒の優先順位や重み付け係数を高く設定することもできる。このような生徒は、クラスのオピニオンリーダー的生徒である可能性が高いため、ロボット２００がこの生徒の言動を表現することにより、クラスの雰囲気を一つにまとめるという効果が期待できる。なお、属性記憶部１１４の設定は、生徒の発言状況に応じて自動的に変更される構成とすることもできる。
The user attribute can also be a weighting factor.
The priority order and the weighting coefficient can be set in advance by a teacher or the like and stored in the
図４は、属性記憶部１１４の内部構成を示す図である。
属性記憶部１１４は、ユーザＩＤ欄、優先順位欄、および重み付け係数欄を含む。重み付け係数欄は、モード毎に設定される。ここでは、多数決モードの重み付け係数と、多数決モード以外のその他モードの重み付け係数とが設定されている。
FIG. 4 is a diagram illustrating an internal configuration of the
The
ここで、ユーザＩＤが「０００１」のユーザは、管理者用入力手段３００を保持する先生とする。ユーザＩＤ「０００１」のユーザの優先順位は、１番に設定されている。また、ユーザＩＤ「０００１」のその他モードの重み付け係数が「１０」に設定されている。ユーザＩＤ「０００２」および「０００３」のユーザは、一般入力手段３０２ａ〜３０２ｆを保持する生徒とする。ユーザＩＤ「０００２」のその他モードの重み付け係数は、「２」に設定されている。ユーザＩＤ「０００３」のその他モードの重み付け係数は、「０．５」に設定されている。また、多数決モードの場合は、いずれのユーザの重み付け係数も「１」に設定されている。
Here, it is assumed that the user with the user ID “0001” is a teacher who holds the
図３に戻り、フィルタ処理部１０４は、属性記憶部１１４を参照して、ユーザ言動情報取得部１０２が取得したユーザ言動情報にそのユーザの属性を対応付けてタイミング決定部１０６に送出する。
Returning to FIG. 3, the
禁止言動記憶部１２２は、ロボット２００が実行することが禁止された言動を記憶する。禁止言動記憶部１２２は、たとえば、禁止語句を記憶する。フィルタ処理部１０４は、禁止言動記憶部１２２を参照して、ユーザ言動情報取得部１０２が取得したユーザ言動情報に禁止された言動が含まれる場合に、そのユーザ言動情報をタイミング決定部１０６に送出しないようにする。ここでは図示していないが、ロボット制御装置１００は、音声認識処理部を含むことができ、たとえばユーザ言動情報が音声で入力された場合には、音声認識処理を行う。フィルタ処理部１０４は、音声認識処理されたユーザ言動情報に基づき、そのユーザ言動情報に禁止語句等が含まれないかを判断することができる。このようにすれば、たとえばユーザから非難や中傷の語句が入力された場合でも、ロボット２００がその語句を発言しないようにすることができる。これにより、ロボット２００が悪用されて授業が妨害されるのを防ぐことができる。
The prohibited
収集部１０８は、ユーザ言動情報取得部１０２が取得したユーザ言動情報を収集する。タイミング決定部１０６は、収集部１０８による収集処理の終了タイミングを決定する。
The
設定記憶部１１６は、ロボット２００の実行モードの設定と、当該実行モードにおけるユーザ言動情報の収集数の閾値とを対応づけて記憶する。
The setting
図５は、設定記憶部１１６の内部構成を示す図である。
設定記憶部１１６は、現モード欄、モード欄、および閾値欄を含む。現モード欄では、現在設定されているモードにフラグが立つようになっている。ここでは、通常モードが設定されている。閾値欄には、モード毎に設定された閾値が記憶される。ここで、通常モードの閾値は「５」、迅速モードの閾値は「１０」、じっくりモードの閾値は「１」である。
FIG. 5 is a diagram illustrating an internal configuration of the setting
The setting
図３に戻り、タイミング決定部１０６は、多数決モード以外の通常モード、迅速モード、じっくりモードに設定されているとき、フィルタ処理部１０４からユーザ言動情報が送出されると、設定記憶部１１６を参照して、ユーザ言動情報の収集数が閾値以上となった場合に、収集部１０８による収集処理を終了させることができる。
Returning to FIG. 3, the
また、タイミング決定部１０６は、多数決モードに設定されているときには、たとえば優先順位が高く設定されたユーザからのユーザ言動情報に、収集部１０８による収集処理の開始指示が含まれるか否かを判断することができる。タイミング決定部１０６は、開始指示が含まれる場合に収集部１０８による収集処理の開始タイミングを決定することができる。この開始指示は、たとえば先生が管理者用入力手段３００等を介して入力することができる。また、他の例として、ロボット制御装置１００において先生の音声を認識し、タイミング決定部１０６は、先生の発話内容に基づき、開始指示の有無を判断することもできる。タイミング決定部１０６は、開始タイミングを決定すると、収集部１０８に開始指示を出力する。これにより、収集部１０８が収集処理を開始する。多数決モードの場合、タイミング決定部１０６は、たとえば開始タイミングの後に複数の生徒のうち、所定割合以上の生徒から一般入力手段３０２ａ〜３０２ｆを介してユーザ言動情報が入力され、ユーザ言動情報取得部１０２がこれらを取得したときに、収集処理の終了タイミングを決定することができる。また、タイミング決定部１０６は、たとえば開始タイミングから所定時間が経過したときに収集処理の終了タイミングを決定することもできる。また、タイミング決定部１０６は、管理者用入力手段３００から終了指示があったときに収集処理の終了タイミングを決定することもできる。
Further, when the majority decision mode is set, the
また、タイミング決定部１０６は、たとえば優先順位が高く設定されたユーザからのユーザ言動情報に、実行モードの設定の変更指示が含まれるか否かを判断することができる。タイミング決定部１０６は、変更指示が含まれる場合に、設定記憶部１１６の実行モードの設定を更新することができる。
Further, the
収集部１０８は、ユーザ言動情報を同種のユーザ言動情報毎に分類してユーザ言動情報記憶部１１８に記憶する。
The
なお、図３には示していないが、ロボット制御装置１００は、図１２に示したような分類テーブルを含むことができる。分類テーブル１２４は、ユーザ言動情報取得部１０２が取得するユーザ言動情報と、それらが分類される代表的なユーザ言動情報とを対応付けて記憶する。ここで、ユーザ言動情報取得部１０２が取得するユーザ言動情報が「笑い」、「拍手」、「うなずき」の場合、これらは代表的なユーザ言動情報「楽しい」に分類される。また、ユーザ言動情報取得部１０２が取得するユーザ言動情報が「眠り」の場合、これは代表的なユーザ言動情報「楽しくない」に分類される。さらに、ユーザ言動情報取得部１０２が取得するユーザ言動情報が「静止」の場合、いずれのユーザ言動情報にも分類されず、ユーザ言動情報としてカウントされない。収集部１０８は、分類テーブル１２４を参照して、ユーザ言動情報を同種のユーザ言動情報毎に分類することができる。
Although not shown in FIG. 3, the
図６は、ユーザ言動情報記憶部１１８の内部構成の一例を示す図である。
ユーザ言動情報記憶部１１８は、ユーザ言動情報欄、および収集数欄を含む。ここで、ユーザ言動情報欄には、「わからない」、「眠い」、「楽しい」等のユーザ言動情報が記憶されている。ユーザ言動情報「わからない」の収集数は「４」、ユーザ言動情報「眠い」の収集数は「２」、ユーザ言動情報「楽しい」の収集数は「３」となっている。
FIG. 6 is a diagram illustrating an example of an internal configuration of the user behavior
The user behavior
図３に戻り、言動決定部１１０は、タイミング決定部１０６からの終了指示があるまでの収集部１０８によるユーザ言動情報の収集結果に基づき、ユーザの言動をロボット２００が表現するようにロボット２００の言動を決定する。言動決定部１１０は、タイミング決定部１０６による終了タイミングの決定があると、ユーザ言動情報記憶部１１８を参照して、それまでにユーザ言動情報記憶部１１８に記憶されたユーザ言動情報に基づき、ロボット２００の言動を決定する。
Returning to FIG. 3, the
ここで、収集部１０８は、最も収集数の多い種類のユーザ言動を優先的に示す言動をロボット２００が表現するように、ロボット２００の言動を決定することができる。たとえば、多数決モードに設定されている場合、言動決定部１１０は、最も収集数の多い種類のユーザ言動情報を優先的に表現するとともに、場合によっては少数意見も表現することができる。
Here, the
言動データベース１２０は、特定の状況におけるロボットの発話データおよび動作データを記憶する。言動決定部１１０は、言動データベース１２０も参照して、ロボット２００の言動を決定することができる。たとえば、言動データベース１２０は、生徒から入力されることが想定される語句と、その語句と同意で、ロボット２００が発話するのにふさわしい他の語句とを対応付けて記憶することができる。たとえば、「うるさい」に対して、ロボット２００が発話するのにふさわしい語句として「静かにしてください」を対応付けておくことができる。これにより、ユーザが一般入力手段３０２ａ等から「うるさい」と入力した場合でも、ロボット２００に「静かにしてください」と発言させることができる。
The
また、言動決定部１１０は、ロボット２００が文法、テンプレート、コーパスに基づく発話をするようにロボット２００の言動を決定することができる。
In addition, the
出力処理部１１２は、言動決定部１１０が決定した言動をロボット２００に実行させる。また、出力処理部１１２は、周囲の状況に基づき、ロボット２００が言動を実行するタイミングを決定する。たとえば、出力処理部１１２は、先生が発話中は、ロボット２００が動作しないように制御することができる。ロボット２００の動作禁止の指示は、たとえば管理者用入力手段３００から入力することもできる。
The
なお、設定記憶部１１６は、収集処理を行わないユーザ言動情報を記憶しておくことができる。図７は、設定記憶部１１６の内部構成の一部を示す図である。たとえば、「聞き取れない」ことを示すボタンが押された場合、迅速に対応する必要がある。そのため、「聞き取れない」というユーザ言動情報が入力された場合には、収集処理を行うことなく、言動決定部１１０がこの言動を出力するようにすることができる。タイミング決定部１０６は、設定記憶部１１６を参照して、収集処理を行わないことが設定されたユーザ言動情報が入力された場合には、言動決定部１１０にユーザ言動情報を送出する。言動決定部１１０は、そのユーザ言動情報に基づき、ロボット２００の言動を決定する。
The setting
図８は、ロボット２００の電気的構成の一例を示すブロック図である。
胴体部２０１には、ロボット全体の制御を行うコントローラ２１０、ロボットの動力源となるバッテリ２１１、スピーカ２１２、マイクロフォン２１３、２つの車輪を動かすためのアクチュエータ２１４Ａおよびアクチュエータ２１４Ｂ、および通信インターフェース２２４等が収納される。
FIG. 8 is a block diagram illustrating an example of the electrical configuration of the
The
マイクロフォン２１３は、特定の話者からの発話を含む周囲の音声を集音し、得られた音声データをコントローラ２１０に送出する。
The
コントローラ２１０は、ＣＰＵ２１０Ａやメモリ２１０Ｂを内蔵しており、ＣＰＵ２１０Ａにおいて、メモリ２１０Ｂに記憶された制御プログラムが実行されることにより、各種の処理を行う。
The controller 210 includes a
通信インターフェース２２４は、ネットワーク３１０を介して、一般入力手段３０２ａ〜３０２ｆ、および管理者用入力手段３００等との間で通信を行う。
The
頭部２０２には、ＣＣＤカメラ２２１ＡおよびＣＣＤカメラ２２１Ｂ、ならびに頭部２０２を回転するためのアクチュエータ２２２Ａおよびアクチュエータ２２２Ｂ等が収納される。 The head 202 contains a CCD camera 221A and a CCD camera 221B, and an actuator 222A and an actuator 222B for rotating the head 202.
ＣＣＤカメラ２２１ＡおよびＣＣＤカメラ２２１Ｂは、周囲の状況を撮像し、得られた画像データを、コントローラ２１０に送出する。 The CCD camera 221 </ b> A and the CCD camera 221 </ b> B image the surrounding situation and send the obtained image data to the controller 210.
アクチュエータ２２２Ａおよびアクチュエータ２２２Ｂは、ロボット２００の頭部２０２を上下左右に回転させる。
The actuator 222A and the actuator 222B rotate the head 202 of the
コントローラ２１０は、マイクロフォン２１３や通信インターフェース２２４を介して得られる音声データやＣＣＤカメラ２２１ＡおよびＣＣＤカメラ２２１Ｂから得られる画像データに基づいて、メモリ２１０Ｂから適宜情報を読み出し、周囲の状況を取得する。また、本実施の形態におけるロボット制御装置１００の各機能は、コントローラ２１０により実現することができる。
The controller 210 appropriately reads information from the memory 210B based on audio data obtained via the
コントローラ２１０は、アクチュエータ２１４Ａ、アクチュエータ２１４Ｂ、アクチュエータ２２２Ａ、およびアクチュエータ２２２Ｂ等を制御してロボット２００に決定した動作を実行させる。また、コントローラ２１０は、合成音を生成し、スピーカ２１２に供給して、ロボット２００に決定した発話を出力させる。
The controller 210 controls the actuator 214A, the actuator 214B, the actuator 222A, the actuator 222B, and the like to cause the
なお、ここでは図示してないが、ロボット２００は、アーム部およびそれを駆動するアクチュエータを含む構成とすることもでき、コントローラ２１０によりアーム部を駆動するアクチュエータを制御して、ロボット２００に挙手や拍手等をさせることもできる。
Although not shown here, the
ロボット２００は、笑ったり、うなずいたり、視線を動かしたり等の動作を実行可能に構成することができる。
The
図９は、図３に示したロボット制御装置１００の処理手順を示すフローチャートである。
ユーザ言動情報取得部１０２が一般入力手段３０２ａ〜３０２ｆ、または管理者用入力手段３００からユーザ言動情報を取得すると（Ｓ１００のＹＥＳ）、フィルタ処理部１０４はフィルタ処理を行う（Ｓ１０２）。ここで、ユーザ言動情報取得部１０２は、ユーザ言動情報とともにユーザＩＤを取得することができる。フィルタ処理部１０４は、ユーザＩＤに基づき、属性記憶部１１４を参照してユーザの属性を取得する。このとき、フィルタ処理部１０４は、設定記憶部１１６を参照して現モードの設定を確認し、設定されたモードに対応する重み付け係数を取得する。
FIG. 9 is a flowchart showing a processing procedure of the
When the user behavior
つづいて、タイミング決定部１０６は、フィルタ処理部１０４から送出されたユーザ言動情報に、モード設定の変更指示が含まれるか否かを判断する（Ｓ１０４）。モード設定の変更指示が含まれる場合（Ｓ１０４のＹＥＳ）、タイミング決定部１０６は、設定記憶部１１６のモード設定を変更する（Ｓ１０６）。
Subsequently, the
つづいて、処理が終了したか否かを判断し（Ｓ１０８）、終了していない場合（Ｓ１０８のＮＯ）、タイミング決定部１０６は、収集処理を行うか否かを判断する（Ｓ１１０）。収集処理を行う場合（Ｓ１１０のＹＥＳ）、タイミング決定部１０６は、ユーザ言動情報および属性を収集部１０８に送出する。収集部１０８は、収集処理を行う（Ｓ１１２）。具体的には、収集部１０８は、タイミング決定部１０６から送出されたユーザ言動情報を、それに対応付けられた属性を考慮してユーザ言動情報記憶部１１８に記憶する。ステップＳ１０４において、モード設定の変更指示が含まれない場合（Ｓ１０４のＮＯ）、ステップＳ１１０に進む。
Subsequently, it is determined whether or not the process has been completed (S108). If the process has not been completed (NO in S108), the
つづいて、タイミング決定部１０６は、設定記憶部１１６とユーザ言動情報記憶部１１８を参照して、収集処理を終了するか否かを判断する（Ｓ１１４）。収集処理を終了する場合（Ｓ１１４のＹＥＳ）、言動決定部１１０に終了タイミングの決定を通知する。言動決定部１１０は、ユーザ言動情報記憶部１１８および言動データベース１２０を参照して、ロボット２００の言動を決定する（Ｓ１１６）。出力処理部１１２は、所定のタイミングで、言動決定部１１０が決定した言動をロボット２００に実行させる（Ｓ１１８）。つづいて、処理を終了するか否かを判断し（Ｓ１２０）、処理を終了しない場合（Ｓ１２０のＮＯ）、ステップＳ１００に戻る。
Subsequently, the
ステップＳ１０８において終了すると判断した場合（Ｓ１０８のＹＥＳ）、およびステップＳ１１４において収集処理を終了しないと判断した場合（Ｓ１１４のＮＯ）、ステップＳ１２０に進む。 If it is determined in step S108 to end (YES in S108) and if it is determined in step S114 that the collection process is not ended (NO in S114), the process proceeds to step S120.
次に、図３〜図９を参照して、いずれかの一般入力手段からユーザ言動情報が入力された場合の処理を説明する。
ユーザ言動情報記憶部１１８に、図６に示したようなユーザ言動情報が記憶された状態で、たとえば、ユーザ言動情報取得部１０２がユーザＩＤ「０００２」のユーザから「わからない」というユーザ言動情報を取得したとする（図９、Ｓ１００のＹＥＳ）。フィルタ処理部１０４は、属性記憶部１１４（図４）および設定記憶部１１６（図５）を参照して、ユーザＩＤ「０００２」に基づき、現モードである「通常モード」を含む「その他モード」におけるこのユーザの重み付け係数「２」を読み出す（図９、Ｓ１０２）。フィルタ処理部１０４は、ユーザ言動情報「わからない」と重み付け係数「２」とを対応付けてタイミング決定部１０６に送出する。
Next, with reference to FIG. 3 to FIG. 9, processing when user behavior information is input from any of the general input means will be described.
In the state in which the user behavior information as shown in FIG. 6 is stored in the user behavior
ここで、このユーザ言動情報にはモード設定の変更指示は含まれず、収集処理も必要なため（図９、Ｓ１０４のＮＯおよびＳ１１０のＹＥＳ）、タイミング決定部１０６は、このユーザ言動情報および重み付け係数を収集部１０８に送出する。収集部１０８は、ユーザ言動情報記憶部１１８のユーザ言動情報「わからない」に「２」を加える。これにより、ユーザ言動情報「わからない」の収集数が「６」となる（図９、Ｓ１１２）。
Here, since this user behavior information does not include a mode setting change instruction and also requires a collection process (FIG. 9, NO in S104 and YES in S110), the
タイミング決定部１０６は、設定記憶部１１６およびユーザ言動情報記憶部１１８を参照し、設定記憶部１１６の現モードである「通常モード」の閾値「５」とユーザ言動情報記憶部１１８の「わからない」の収集数「６」とを比較する。ここで、収集数が閾値以上となるため、タイミング決定部１０６は、収集処理の終了を決定する（図９、Ｓ１１４のＹＥＳ）。タイミング決定部１０６は、収集処理の終了タイミングの決定を言動決定部１１０に通知する。言動決定部１１０は、ロボット２００が「わからない」に対応する発話をするようにロボット２００の言動を決定する。言動決定部１１０は、たとえば「わかりません」とロボット２００に発話させることを決定する（図９、Ｓ１１６）。出力処理部１１２は、これを所定のタイミングでロボット２００に発話させる（図９、Ｓ１１８）。
The
また、ロボット２００は以下の言動を行うことができる。これらの言動は、言動決定部１１０により決定され、出力処理部１１２により制御される。
The
たとえば、ロボット２００は、挙手をして発言することにより、匿名的または明示的に参加者の代弁を行うことができる。たとえば、また、ロボット２００は、質問ランプ等の表示部を含む構成とすることもでき、この場合、質問ランプを点灯させたり点滅させたりすることで挙手を実現することができる。また、ロボット２００は、人や動物の形をしたＣＧエージェントとすることもでき、腕をあげたＣＧを表示することで挙手を実現することができる。このように、ロボット２００が挙手をすることにより、たとえば先生の進行を直接妨げることなく、発言の意思表示を行うことができる。
For example, the
この場合、先生がロボット２００の挙手に気づき、ロボットの名前である「ロボ太郎君」と発言すると、ロボット２００はそれを認識して所望の質問や発言を行う。ここで、ロボット２００は、マイクロフォン２１３を介して入力される音声の音声認識、ＣＣＤカメラ２２１Ａや２２１Ｂ等を介して入力される画像の画像認識、通信インターフェース２２４を介して入力される先生からの指示等に基づき、指名されたことを検出することができる。
In this case, when the teacher notices the raising hand of the
また、ロボット２００は、ツッコミ等の発言により、匿名的または明示的に参加者の代弁を行うことができる。たとえば、ロボット２００は、「漢字が間違ってるよー」、「聞こえませーん」、「なんでやねん」、「ええー」、「そんなー」等、音声合成や録音音声、エフェクトつき録音音声等により発話することができる。教室や会議や講演等では、参加者が直接発言しにくいこともあるが、このように、ロボット２００が代弁してくれることにより、対人関係に影響することなく、言いたいことを伝えることができる。
Moreover, the
また、ロボット２００は、ほめたり拍手することにより、参加者の気持ちを代弁することができる。たとえば、学校の授業において、「よくできました」といいながら拍手をされることは、生徒の勉強意欲等の向上効果があるが、教室の雰囲気や先生の立場等の理由で、特定の生徒をほめにくい場合がある。このような場合、先生の代わりにロボット２００にほめたり拍手させることにより、先生の気持ちを代弁させることができる。この場合、たとえば先生が管理者用入力手段３００から生徒をほめる指示を入力することにより、ロボット２００がその指示に従い、生徒をほめる言動をすることができる。また、生徒が、一般入力手段３０２ａ〜３０２ｆから生徒をほめる指示を入力することによっても、ロボット２００がそれらの指示に従い、生徒をほめる言動をするようにすることもできる。これにより、匿名でもほめることができる。
Also, the
さらに、ロボット２００は、ほめたり拍手することにより、他の参加者が拍手するべきタイミングを表現することができる。たとえば、タイミングよく「よくできました」といいながら、拍手をはじめれば、他の参加者が拍手をはじめるきっかけになりやすい。この場合も、ロボット２００は、一般入力手段３０２ａ〜３０２ｆや管理者用入力手段３００から入力された指示に従い、拍手したりすることができる。
Furthermore, the
また、ロボット２００は、笑うことにより、参加者の気持ちを代弁することができる。笑うことは参加者たちの一体感を醸成する効果があり、ロボット２００が笑うことは、ロボット２００が一緒に参加していることをアピールする効果がある。一般入力手段３０２ａ〜３０２ｆや、管理者用入力手段３００から入力される内容に基づき、笑っている参加者が多いと判断された場合、ロボット２００も一緒に笑うようにすることができる。また、この場合、うれしそうな表現を行うようにすることもできる。たとえば、笑っている声を出力することもでき、ダンスのような動きを行ってもいいし、ランプを点滅や点灯させてもよい。これにより、ロボット２００も会議の参加者であることをアピールすることができる。
In addition, the
また、ロボット２００は、うなずくことにより、参加者の気持ちを代弁することができる。ロボット２００は、一般入力手段３０２ａ〜３０２ｆ等の入力手段から入力されたユーザ言動情報に基づき、納得している人が多いと判断した場合、うなずく動作をすることができる。また、たとえばカメラの撮影画像に基づき、うなずいている参加者が多いと判断された場合、ロボット２００も一緒にうなずくことにする。逆に、首をかしげたり、疑問に思っている聴講者が多いと判断された場合、ロボット２００も同様に首をかしげることにする。こうすることで、参加者の理解度をロボット２００が表現することができ、発表者が話しやすくなる効果がある。ロボット２００がうなずく動作は、ロボット２００の首や頭を動かしたり、ロボット２００が首や頭を持たない場合、可動部を上下に動かしたり、人間や動物等のＣＧエージェントでは、頭部を縦に動かすアニメーションや動画を入れたり、ランプを点滅や点灯させることにより実現することができる。
Moreover, the
また、ロボット２００は、視線を制御することにより、参加者の気持ちを代弁することができる。ロボット２００は、一般入力手段３０２ａ〜３０２ｆ等の入力手段から入力されたユーザ言動情報に基づき、真剣に聞いている参加者が多いと判断した場合、発表者に視線を向ける動作をすることができる。一方、ロボット２００が集中できていない参加者が多いと判断した場合、発表者以外に視線を向ける動作をすることができる。こうすることで、ロボット２００が参加者の集中度を表現することができ、発表者が話しやすくなる効果がある。視線を向ける動作は、ロボット２００の頭部や目の正面を発表者に向けることで表現できる。人間や動物等のＣＧエージェントでは、正面むきの画像を表示することで表現できる。逆に視線をそらす動作は、ロボット２００の頭部や目の正面を発表者以外に向けることで表現できる。人間や動物等のＣＧエージェントでは、正面以外を向いている画像を表示することで表現できる。
In addition, the
また、一般入力手段３０２ａ〜３０２ｆがマイクの場合、ユーザ言動情報取得部１０２は、たとえば生徒が小声で発話した音声を取得する。ロボット制御装置１００は、取得した音声を音声認識して、内容に応じて適切な音声を出力することもでき、また、生徒の発話内容をそのまま出力することもできる。たとえば、一般入力手段３０２ａを保持する生徒が「漢字が違っている」と発話すると、ユーザ言動情報取得部１０２は、その音声を取得し、出力処理部１１２は、「漢字が違っている」と音声出力する。このとき、出力処理部１１２は、生徒の声質そのままで音声出力するのではなく、声質を変換して音声出力する。これにより、誰がその言葉を言ったかどうかを匿名としたまま、ロボット２００に代弁させることができる。また、ロボット２００特有の音声を用いることにより、ロボット２００のキャラクタ性を高めることができ、ロボット２００が生徒にとけ込むようにすることができる。
Further, when the general input means 302a to 302f are microphones, the user behavior
また、ロボット２００は、管理者用入力手段３００から入力されたユーザ言動情報に基づき、質問等をすることもできる。たとえば、先生が生徒に質問をして欲しいタイミングで「○○って何ですか？」等の質問を管理者用入力手段３００から入力することにより、ロボット２００にこの質問をさせることができる。これにより、ロボット２００を生徒の代表として利用することができる。たとえば、授業で重要なポイントを説明する際に、ロボット２００がタイミングよく質問を行い、先生がそのポイントを詳しく説明することにより、その説明を生徒の記憶に残りやすくすることができる。
The
また、ロボット２００は、管理者用入力手段３００から入力されたユーザ言動情報に基づき、他の生徒に質問等をすることもできる。たとえば、先生が「△△さん、○○って何なのか、教えて？」等の質問を管理者用入力手段３００から入力することにより、ロボット２００にこの質問をさせることができる。これにより、先生が直接生徒に質問するよりも、気軽な雰囲気で生徒に回答させることができる。また、生徒の記憶に残りやすくしたり、生徒の集中力を持続しやすくさせることができる。このとき、生徒が答えた後に、ロボット２００が「先生、そうなの？」、「△△さん、すごーい」のような発話をすることにより、より効果をあげることも期待できる。
The
以上、図面を参照して本発明の実施の形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 The embodiments of the present invention have been described above with reference to the drawings, but these are exemplifications of the present invention, and various configurations other than those described above can be adopted.
図１０は、ユーザ言動情報記憶部１１８の内部構成の他の例を示す図である。ここでは、ユーザ言動情報が「楽しい」である場合の例を示す。ユーザ言動情報記憶部１１８は、ユーザ言動情報を収集時間に対応付けて記憶することができる。この場合、ある一定期間内に収集されたユーザ言動情報の数に基づき、各ユーザ言動情報の収集数を算出することができる。また、過去に収集されたユーザ言動情報も考慮して各ユーザ言動情報の収集数を算出することができる。この場合、過去に収集されたユーザ言動情報は、時間の経過とともに収集数に反映される影響が小さくなるように、減衰させることができる。たとえば、過去に収集されたユーザ言動情報は、収集時に減衰倍率０．５をかけてカウントすることができる。減衰倍率が時間の経過とともに減少するようにすることもできる。
FIG. 10 is a diagram illustrating another example of the internal configuration of the user behavior
また、以上の実施の形態において、設定記憶部１１６に実行モード毎に閾値が設定された例を示したが、ユーザ言動情報の種類に応じて閾値を設定しておくこともできる。たとえば、ユーザ言動情報が「楽しい」の閾値をユーザ言動情報が「楽しくない」の閾値よりも低く設定したり、ユーザ言動情報が「わからない」の閾値を他のユーザ言動情報の閾値よりも低く設定したり、適宜設定することができる。閾値を低く設定しておくことにより、ユーザ言動情報の収集数が少なくてもロボット２００がそのユーザ言動情報を代行しやすくすることができる。
In the above embodiment, an example in which a threshold value is set for each execution mode in the setting
また、収集部１０８は、同じ参加者が同種のユーザ言動情報を複数回入力した場合には、たとえば２回目以降のユーザ言動情報のカウント値を低くすることができる。収集部１０８は、ユーザ言動情報取得部１０２が取得するユーザ言動情報と、それに対応付けられたユーザＩＤに基づき、参加者が同一か否かを判断することができる。なお、この処理は、フィルタ処理部１０４が行ってもよい。
Further, when the same participant inputs the same type of user behavior information multiple times, the
また、一般入力手段３０２ａ〜３０２ｆにおいて、いずれかのボタンが押されたときに、押された回数や速さ、強さ等の状況を検知して、その情報もユーザ言動情報取得部１０２に送信するようにすることができる。ロボット２００において、ボタンが押された状況に応じてロボット２００が異なる対応を行うようにすることができる。たとえば、生徒が賛成ボタンを普通の強さで１回押しただけの場合は、ロボット２００がうなずくだけとし、生徒が賛成ボタンを激しく何度も押した場合は、ロボット２００が「賛成賛成！」と強い調子で賛成であることを表現するようにすることができる。
Further, when any of the buttons is pressed in the general input means 302a to 302f, the number of times of pressing, the speed, the strength, and the like are detected, and the information is also transmitted to the user behavior
また、ロボット制御装置１００は、ウェブサーバ機能を有する構成とすることができ、一般入力手段３０２ａ〜３０２ｆ、または管理者用入力手段３００に、種々の画面を表示させることができる。たとえば、ユーザがユーザ言動情報を入力するための入力画面や、ロボット２００の処理状態等を入力手段に表示させることができる。また、ウェブサーバ機能は、ロボット制御装置１００とは別のサーバに搭載することもできる。
Moreover, the
たとえば、ユーザが何らかのユーザ言動情報を入力しても、ロボット２００がすぐにそのユーザ言動情報に対応する言動を実行しないと、ユーザは自分が入力したユーザ言動情報が受け付けられたのか不安になるおそれがある。ロボット制御装置１００は、上記ウェブサーバ機能等を用い、ユーザ言動情報が入力された入力手段に、「受け付けました」等の表示をさせることができる。また、たとえばユーザが質問を入力しても、ユーザ言動情報の収集数が閾値以上とならないと、ロボット２００がその質問を発言しない。このような場合、ロボット制御装置１００は、ユーザの入力手段に「今は質問できないから、授業の後で先生に聞いてね」とか、「もうちょっと待って」等の通知を行うことができる。これにより、ユーザがロボット２００の処理状況を把握することができる。また、ユーザがユーザ言動情報を入力したときに、現在のロボット制御装置１００の実行モードがユーザの入力手段に表示されるようにすることができる。これにより、ユーザはロボット２００の処理状態を把握することができる。
For example, even if the user inputs some user behavior information, if the
また、ユーザ言動情報記憶部１１８には、ユーザ言動情報とそのユーザ言動情報を入力したユーザのユーザＩＤとを対応付けて記憶しておくこともできる。また、ユーザ言動情報記憶部１１８のデータは、外部から読み出し可能にすることができる。このようにすることにより、ユーザ言動情報記憶部１１８に記憶された内容を見ることにより、どのユーザからどのようなユーザ言動情報が入力されたのかを把握することができる。このような情報は、たとえば先生が生徒の状態を把握するのに用いることができる。
Also, the user behavior
また、言動決定部１１０は、所定の条件を満たした場合に、ロボット２００が実行する言動に対応するユーザ言動情報に対応付けられたユーザを識別する情報に基づき、ロボットが当該ユーザを明示する発言をするように当該ロボットの言動を決定することができる。ここで、所定の条件とは、たとえば先生が問題を出して、生徒に回答させた場合に、正解した生徒の数が少ない場合等である。このような場合、ロボット２００は、上述した手順に従い、生徒から入力された回答を収集数が多い順に発表する。その後、先生が「正解は○○です。」と発言すると、ロボット２００は、先生の発言を音声認識する。その結果、その回答が正解であったかを把握することができ、正解の回答の収集数に基づき、正解した生徒の数が多いか少ないかを判断する。ロボット２００は、正解した生徒の数が少ない場合は、正解の回答に対応付けられたユーザＩＤに基づき、正解を入力した生徒を認識する。その結果、ロボット２００は、たとえば「いまの問題に正解したのは○○さんです。」等の発言をすることができる。
In addition, the
図１１は、ロボット２００が上記のような処理を行うためのユーザ言動情報記憶部１１８の構成を示す図である。ユーザ言動情報記憶部１１８は、ユーザ言動情報および収集数に対応付けてユーザＩＤも記憶する。たとえば、ユーザ言動情報「Ａ」の収集数は５で、このユーザ言動情報を入力したユーザのユーザＩＤは、「００２」、「００３」、「００４」、「００５」、および「００６」となっている。また、ユーザ言動情報「Ｂ」の収集数は１で、このユーザ言動情報を入力したユーザのユーザＩＤは、「００７」となっている。
FIG. 11 is a diagram illustrating a configuration of the user behavior
ここで、たとえば「Ａ」と「Ｂ」という回答が入力され、「Ｂ」が正解だった場合、正解したのはユーザＩＤ「００７」の生徒だけである。ここで、ロボット制御装置１００は、ユーザＩＤと、そのユーザＩＤに対応する生徒の名前とを記憶するユーザ情報記憶部を含むことができる。ロボット２００は、ユーザ言動情報記憶部１１８およびユーザ情報記憶部を参照して、ユーザＩＤ「００７」に対応する生徒の名前を発表する。このようにすれば、生徒が回答を入力した時点では、その回答を誰が入力したかが他の人に知られないようにするとともに、回答が正解だった場合に入力した人が明示されるようにできる。これにより、あまり自信がない場合であっても、生徒が自分の意見を入力するようにすることができる。また、ほめられることにより、生徒が自信を持つことができるようにすることもできる。
Here, for example, when answers “A” and “B” are input and “B” is correct, only the student with the user ID “007” has correctly answered. Here, the
また、他の例として、ロボット２００は、不参加者または遠隔参加者に付与された一般入力手段から入力されるユーザ言動情報に基づき、言動を実行することもできる。このようにすれば、テレビ会議や遠隔地にいるユーザからのユーザ言動情報についても、ロボット２００が表現することができる。
As another example, the
また、他の例として、生徒の保護者が遠隔で授業に参加することができる。保護者はロボット２００のカメラ画像とマイク音声を通して、授業の様子を見ることができ、首を動かすことで子供の様子をチェックすることもできる。したがって、保護者にとって透明性や安心感の向上という効果も得られる。
As another example, a guardian of a student can participate in a class remotely. The guardian can see the state of the class through the camera image of the
また、一つの教室や会場に、複数のロボット２００を配置することもできる。この場合、参加者をグループ分けし、あるグループの参加者から入力されるユーザ言動情報を一のロボットに、他のグループの参加者から入力されるユーザ言動情報を他のロボットに送信することができる。これにより、それぞれのロボットが、各グループの参加者の言動を代表して表現するようにすることができる。
In addition, a plurality of
また、ユーザ言動情報の入力手段は、たとえばカメラとすることもできる。この場合、会場にカメラを設置し、参加者を順に撮影して、複数の参加者から順次ユーザ言動情報を取得することができる。また、会場に複数のカメラを設置し、複数の参加者から同時にユーザ言動情報を取得することもできる。また、ロボット２００のカメラを用いてユーザ言動情報を取得することもできる。これらの場合、参加者の視線やうなずく仕種を検出することにユーザ言動情報を取得することができる。たとえば、カメラ画像から、うなずいている人が多い場合はロボット２００もうなずき、こっくりこっくりしている人が多い場合は、ロボット２００も眠そうな表現をすることもできる。
The user behavior information input means may be a camera, for example. In this case, a camera can be installed at the venue, the participants can be photographed in order, and user behavior information can be acquired sequentially from a plurality of participants. It is also possible to install a plurality of cameras at the venue and obtain user behavior information from a plurality of participants at the same time. Also, user behavior information can be acquired using the camera of the
また、ユーザ言動情報の入力手段は、たとえば血圧センサや発汗センサとすることもできる。この場合、参加者の興奮の度合い等がわかるため、興奮している場合はロボット２００の発話を興奮気味のテンションにしたり、沈静している場合は落ち着いた口調にしたりできる。沈静しすぎている場合は、ロボット２００が先生に内容を質問したり、学校の授業に変化をもたせることで、生徒の眠気覚ましを行うこともできる。
The user behavior information input means may be, for example, a blood pressure sensor or a sweat sensor. In this case, since the degree of excitement of the participant is known, the utterance of the
なお、以上の実施の形態においては、ロボット制御装置１００がロボット装置であるロボット２００に組み込まれる例を説明したが、ロボット制御装置１００は、キャラクタで示される仮想ロボットを制御する構成とすることもできる。この場合、仮想ロボットはモニタ等に表示して実現することができる。
In the above embodiment, the example in which the
本発明は、以下の態様も含む。
（１）会議や授業、講義に参加するロボットであって、発表者、聴講者、司会者、先生、生徒等の参加者が使用するための会議参加者用入力手段を内部または外部に持ち、無線または有線で会議参加者用入力手段とロボットとの間で通信する通信手段、ロボットの行動を実行するロボット出力手段、を備えたロボット装置。
（２）さらに、多数決、会議進行状態、倫理性のような情報に基づき、ロボットがするべき行動の有無や種類を判断する行動判断手段、を備えたロボット装置。
（３）さらに、ロボット出力手段が、挙手をして発言することにより、匿名的または明示的に参加者の代弁を行うロボット装置。
（４）さらに、ロボット出力手段が、ツッコミ等の発言をしたり、ほめたり拍手したり、笑ったり、うなずいたり、視線を制御したりすることにより、参加者の気持ちを代弁するロボット装置。
（５）さらに、ロボット出力手段が、ほめたり拍手することにより、参加者が拍手するべきタイミングを表現するロボット装置。
（６）さらに、ロボット出力手段が、挙手したり、拍手したり、「異議なし」等と発話することにより、不参加者または遠隔参加者の代理で投票するロボット装置。
（７）さらに、ロボット出力手段が、挙手したり、拍手したり、「異議なし」等と発話することにより、投票の集計結果を表現するロボット装置。
（８）会議や授業、講義またはそのシステムに参加するエージェントの制御方法であって、発表者、聴講者、司会者、先生、生徒等の参加者が使用するための会議参加者用入力手段を内部または外部に持ち、無線または有線で会議参加者用入力手段とエージェントとの間で通信する通信手段、エージェントの行動を実行するエージェント出力手段、を備えたエージェント制御方法。
（９）さらに、多数決、会議進行状態、倫理性のような情報に基づき、エージェントがするべき行動の有無や種類を判断する行動判断手段、を備えたエージェント制御方法。
（１０）さらに、エージェント出力手段が、挙手をして発言することにより、匿名的または明示的に参加者の代弁を行うエージェント制御方法。
（１１）さらに、エージェント出力手段が、ツッコミ等の発言をしたり、ほめたり拍手したり、笑ったり、うなずいたり、視線を制御したりすることにより、参加者の気持ちを代弁するエージェント制御方法。
（１２）さらに、エージェント出力手段が、ほめたり拍手することにより、参加者が拍手するべきタイミングを表現するエージェント制御方法。
（１３）さらに、エージェント出力手段が、挙手したり拍手したり「異議なし」等と発話することにより、不参加者または遠隔参加者の代理で投票するエージェント制御方法。
（１４）さらに、エージェント出力手段が、挙手したり拍手したり「異議なし」等と発話することにより、投票の集計結果を表現するエージェント制御方法。
（１５）上記エージェント制御方法を実行する手段を含む会議システム。
（１６）上記エージェント制御方法を記憶した記憶媒体。
The present invention also includes the following aspects.
(1) A robot that participates in meetings, classes, lectures, and has an input means for meeting participants inside or outside for use by participants such as presenters, auditors, presenters, teachers, and students. A robot apparatus comprising: communication means for communicating between a conference participant input means and a robot wirelessly or by wire; and a robot output means for executing a robot action.
(2) A robot apparatus further comprising behavior determination means for determining the presence or type of the action to be performed by the robot based on information such as majority decision, conference progress status, and ethics.
(3) Furthermore, the robot device that speaks the participant anonymously or explicitly by raising the hand and speaking.
(4) Further, the robot device that speaks the feelings of the participants by the robot output means making statements such as tsukomi, praising, applauding, laughing, nodding, controlling the line of sight.
(5) Furthermore, the robot apparatus that expresses the timing at which the participant should applaud when the robot output means praises and applauds.
(6) Furthermore, the robot device that votes by the non-participant or the remote participant by the robot output means raising hands, applauding, or saying “no objection” or the like.
(7) Further, the robot device that expresses the result of counting the votes by the robot output means raising hands, applauding, or saying “no objection”.
(8) A method for controlling an agent who participates in a conference, class, lecture, or system thereof, and a conference participant input means for use by participants such as presenters, auditors, presenters, teachers and students An agent control method comprising a communication means that is provided inside or outside and communicates between a conference participant input means and an agent wirelessly or by wire, and an agent output means for executing an agent action.
(9) An agent control method further comprising action determination means for determining the presence or type of action to be performed by the agent based on information such as majority decision, conference progress status, and ethics.
(10) Further, an agent control method in which the agent output means raises a hand and speaks the participant anonymously or explicitly.
(11) Further, an agent control method in which the agent output means speaks out, etc., praises, applause, laughs, nods, controls the line of sight, and controls the participant's feelings.
(12) An agent control method in which the agent output means further expresses the timing at which the participant should applaud by praising or applauding.
(13) Further, an agent control method in which the agent output means votes on behalf of a non-participant or a remote participant by raising hands, applauding, or saying “no objection” or the like.
(14) Further, an agent control method in which the agent output means expresses the result of counting votes by raising hands, applauding, or saying “no objection” or the like.
(15) A conference system including means for executing the agent control method.
(16) A storage medium storing the agent control method.
本発明は、会議や授業等に参加するロボットを制御するロボット制御装置、ロボット制御システム、およびロボット制御方法、ならびにこれらに制御されるロボット装置に適用することができる。 The present invention can be applied to a robot control apparatus, a robot control system, a robot control method, and a robot apparatus controlled by them, which control a robot participating in a conference or class.
１０ ロボット制御システム
１００ ロボット制御装置
１０２ ユーザ言動情報取得部
１０４ フィルタ処理部
１０６ タイミング決定部
１０８ 収集部
１１０ 言動決定部
１１２ 出力処理部
１１４ 属性記憶部
１１６ 設定記憶部
１１８ ユーザ言動情報記憶部
１２０ 言動データベース
１２２ 禁止言動記憶部
１２４ 分類テーブル
２００ ロボット
２０１ 胴体部
２０２ 頭部
２１０ コントローラ
２１０Ａ ＣＰＵ
２１０Ｂ メモリ
２１１ バッテリ
２１２ スピーカ
２１３ マイクロフォン
２１４Ａ、２１４Ｂ アクチュエータ
２２１Ａ、２２１Ｂ ＣＣＤカメラ
２２２Ａ、２２２Ｂ アクチュエータ
２２４ 通信インターフェース
DESCRIPTION OF
210B
Claims (18)
ユーザの言動を示すユーザ言動情報を複数のユーザからそれぞれ取得するユーザ言動情報取得部と、
前記ユーザ言動情報取得部が取得した前記ユーザ言動情報を収集する収集部と、
前記収集部による収集処理の終了タイミングを決定するタイミング決定部と、
前記タイミング決定部による前記終了タイミングの決定があるまでの前記収集部による前記ユーザ言動情報の収集結果に基づき、前記ユーザの言動を前記ロボットが表現するように当該ロボットの言動を決定する言動決定部と、
前記言動決定部が決定した言動を前記ロボットに実行させる出力処理部と、
を含むロボット制御装置。 A robot control device for controlling a robot,
A user behavior information acquisition unit for acquiring user behavior information indicating user behavior from a plurality of users, and
A collection unit that collects the user behavior information acquired by the user behavior information acquisition unit;
A timing determination unit that determines the end timing of the collection process by the collection unit;
A behavior determination unit that determines the behavior of the robot so that the robot expresses the user's behavior based on the collection result of the user behavior information by the collection unit until the end timing is determined by the timing determination unit. When,
An output processing unit that causes the robot to execute the behavior determined by the behavior determination unit;
Robot control device including.
前記収集部は、前記ユーザ言動情報を同種のユーザ言動情報毎に分類して収集するロボット制御装置。 The robot control device according to claim 1,
The collection unit is a robot control apparatus that classifies and collects the user behavior information for each type of user behavior information.
前記言動決定部は、最も収集数の多い種類の前記ユーザ言動情報を優先的に示す言動を前記ロボットが表現するように、当該ロボットの言動を決定するロボット制御装置。 The robot control device according to claim 2, wherein
The behavior determination unit is a robot control device that determines the behavior of the robot so that the robot expresses behavior that preferentially indicates the type of user behavior information with the highest number of collections.
前記タイミング決定部は、前記収集部による収集処理の開始タイミングを決定するとともに、前記ユーザ言動情報取得部が、前記開始タイミングの後に前記複数のユーザの所定割合以上のユーザから前記ユーザ言動情報を取得したときに、前記収集処理の終了タイミングを決定し、
前記言動決定部は、前記開始タイミングから前記終了タイミングまでの間に、前記収集部が収集した前記ユーザ言動情報に基づき、前記ロボットの言動を決定するロボット制御装置。 The robot control device according to any one of claims 1 to 3,
The timing determination unit determines a start timing of the collection process by the collection unit, and the user behavior information acquisition unit acquires the user behavior information from a user having a predetermined ratio or more of the plurality of users after the start timing. The end timing of the collection process is determined,
The behavior determination unit is a robot control device that determines the behavior of the robot based on the user behavior information collected by the collection unit between the start timing and the end timing.
前記タイミング決定部は、前記収集部による収集処理の開始タイミングを決定するとともに、前記ユーザ言動情報取得部が、前記開始タイミングから所定時間が経過したときに、前記収集処理の終了タイミングを決定するロボット制御装置。
前記言動決定部は、前記開始タイミングから前記終了タイミングまでの間に、前記収集部が収集した前記ユーザ言動情報に基づき、前記ロボットの言動を決定するロボット制御装置。 The robot control device according to any one of claims 1 to 3,
The timing determining unit determines a start timing of the collecting process by the collecting unit, and determines the end timing of the collecting process when the user behavior information acquiring unit has passed a predetermined time from the start timing. Control device.
The behavior determination unit is a robot control device that determines the behavior of the robot based on the user behavior information collected by the collection unit between the start timing and the end timing.
前記タイミング決定部は、前記ユーザからの前記ユーザ言動情報に、前記収集部による収集処理の開始指示が含まれるか否かを判断し、当該開始指示が含まれる場合に、前記収集部による収集処理の開始タイミングを決定するロボット制御装置。 The robot control device according to claim 4 or 5,
The timing determination unit determines whether or not the user behavior information from the user includes an instruction to start the collection process by the collection unit, and when the start instruction is included, the collection process by the collection unit Robot controller that determines the start timing of the robot.
前記ロボットの実行モードの設定と、当該実行モードにおける前記ユーザ言動情報の収集数の閾値とを対応づけて記憶する設定記憶部をさらに含み、
前記タイミング決定部は、前記設定記憶部を参照して、いずれかの種類の前記ユーザ言動情報の収集数が前記閾値以上となった場合に、前記収集部による収集処理の終了タイミングを決定し、
前記言動決定部は、前記収集数が閾値以上となった前記ユーザ言動情報を示す言動を前記ロボットが表現するように、当該ロボットの言動を決定するロボット制御装置。 The robot control device according to claim 2 or 3,
A setting storage unit that stores the setting of the execution mode of the robot and the threshold of the number of collected user behavior information in the execution mode in association with each other;
The timing determination unit refers to the setting storage unit, determines the end timing of the collection process by the collection unit when the number of collections of the user behavior information of any kind is equal to or greater than the threshold,
The behavior determining unit is a robot control device that determines the behavior of the robot so that the robot expresses the behavior indicating the user behavior information in which the collected number is equal to or greater than a threshold.
前記タイミング決定部は、前記ユーザからの前記ユーザ言動情報に、前記実行モードの設定の変更指示が含まれるか否かを判断し、当該変更指示が含まれる場合に、前記設定記憶部の前記実行モードの設定を更新するロボット制御装置。 The robot control device according to claim 7, wherein
The timing determination unit determines whether or not the user behavior information from the user includes an instruction to change the execution mode setting, and when the change instruction is included, the execution of the setting storage unit A robot controller that updates mode settings.
前記ユーザ言動情報取得部は、前記ユーザ言動情報を、各前記ユーザを識別する情報に対応づけて取得するロボット制御装置。 The robot control device according to any one of claims 1 to 8,
The user behavior information acquisition unit is a robot control device that acquires the user behavior information in association with information for identifying each user.
各前記ユーザを識別する情報と、当該ユーザの属性とを対応づけて記憶する属性記憶部と、
前記属性記憶部に記憶された前記ユーザの属性に応じて、前記ユーザ言動情報取得部が取得した前記ユーザ言動情報に重み付けを付与する重み付け付与部と、
をさらに含み、
前記収集部は、前記ユーザ言動情報を前記重み付け付与部により付与された前記重み付けに対応付けて収集するロボット制御装置。 The robot controller according to claim 9, wherein
An attribute storage unit that stores information for identifying each user and the attribute of the user in association with each other;
According to the attribute of the user stored in the attribute storage unit, a weighting assigning unit for assigning weight to the user behavior information acquired by the user behavior information acquisition unit;
Further including
The collection unit is a robot control device that collects the user behavior information in association with the weighting given by the weighting granting unit.
前記言動決定部は、所定の条件を満たした場合に、前記ロボットが実行する前記言動に対応する前記ユーザ言動情報に対応付けられた前記ユーザを識別する情報に基づき、前記ロボットが当該ユーザを明示する発言をするように当該ロボットの言動を決定するロボット制御装置。 The robot controller according to claim 9, wherein
The behavior determining unit, when a predetermined condition is satisfied, the robot specifies the user based on information for identifying the user associated with the user behavior information corresponding to the behavior performed by the robot. A robot control device that determines the behavior of the robot so as to make a remark.
前記タイミング決定部は、前記ユーザ言動情報の内容に基づき、当該ユーザ言動情報を前記収集部による収集処理を行うことなく出力するか否かを判断し、
前記言動決定部は、前記タイミング決定部が前記収集処理を行うことなく出力すると決定した場合に、当該ユーザ言動情報に基づき、前記ロボットの言動を決定することを特徴とするロボット制御装置。 The robot control device according to any one of claims 1 to 11,
The timing determination unit determines whether to output the user behavior information without performing the collection process by the collection unit based on the content of the user behavior information,
The behavior control unit determines the behavior of the robot based on the user behavior information when the timing determination unit determines to output without performing the collection process.
前記ユーザ言動情報取得部は、前記複数のユーザそれぞれに対応づけられた複数の入力手段からの入力を受け付ける通信処理部を含むロボット制御装置。 The robot control device according to any one of claims 1 to 12,
The said user behavior information acquisition part is a robot control apparatus containing the communication process part which receives the input from the several input means matched with each of these users.
前記ロボット制御装置の前記ユーザ言動取得部とネットワークを介してそれぞれ接続された複数の入力手段と、
を含むロボット制御システム。 A robot control device according to any one of claims 1 to 13,
A plurality of input means respectively connected to the user behavior acquisition unit of the robot control device via a network;
Including robot control system.
請求項１乃至１３いずれかに記載のロボット制御装置と、
前記出力処理部の出力に基づき、前記言動決定部が決定した前記言動を実行する言動実行部と、
を含むことを特徴とするロボット装置。 An autonomously moving or interactive robotic device,
A robot control device according to any one of claims 1 to 13,
A behavior executing unit that executes the behavior determined by the behavior determining unit based on the output of the output processing unit;
The robot apparatus characterized by including.
ユーザの言動を示すユーザ言動情報を複数のユーザからそれぞれ取得するユーザ言動情報取得ステップと、
前記ユーザ言動情報取得ステップで取得された前記ユーザ言動情報を収集する収集ステップと、
前記収集ステップにおける収集処理の終了タイミングを決定するタイミング決定ステップと、
前記タイミング決定ステップにおける前記終了タイミングの決定があるまでの前記収集ステップにおける前記ユーザ言動情報の収集結果に基づき、前記ユーザの言動を前記ロボットが表現するように当該ロボットの言動を決定する言動決定ステップと、
前記言動決定ステップで決定された言動を前記ロボットに実行させる出力ステップと、
を含むロボット制御方法。 A robot control method for controlling a robot,
User behavior information acquisition step for acquiring user behavior information indicating user behavior from each of a plurality of users;
A collecting step of collecting the user behavior information acquired in the user behavior information acquisition step;
A timing determining step for determining an end timing of the collecting process in the collecting step;
Behavior determination step of determining the behavior of the robot so that the robot expresses the behavior of the user based on the collection result of the user behavior information in the collection step until the end timing is determined in the timing determination step When,
An output step for causing the robot to execute the behavior determined in the behavior determination step;
A robot control method including:
前記収集ステップは、前記ユーザ言動情報を同種のユーザ言動情報毎に分類するステップを含むロボット制御方法。 The robot control method according to claim 16, wherein
The collecting step is a robot control method including a step of classifying the user behavior information for each kind of user behavior information.
ユーザの言動を示すユーザ言動情報を複数のユーザからそれぞれ取得するユーザ言動情報取得手段、
前記ユーザ言動情報取得手段、が取得した前記ユーザ言動情報を収集する収集手段、
前記収集手段による収集処理の終了タイミングを決定するタイミング決定手段、
前記タイミング決定手段による前記終了タイミングの決定があるまでの前記収集手段による前記ユーザ言動情報の収集結果に基づき、前記ユーザの言動を前記ロボットが表現するように当該ロボットの言動を決定する言動決定手段、
前記言動決定手段が決定した言動を前記ロボットに実行させる出力処理手段、
として機能させることを特徴とするプログラム。 Computer to control the robot,
User behavior information acquisition means for acquiring user behavior information indicating user behavior from a plurality of users,
Collecting means for collecting the user behavior information acquired by the user behavior information acquisition means;
Timing determining means for determining the end timing of the collecting process by the collecting means;
Behavior determination means for determining the behavior of the robot so that the robot expresses the behavior of the user based on the collection result of the user behavior information by the collection means until the end timing is determined by the timing determination means. ,
Output processing means for causing the robot to execute the behavior determined by the behavior determination means;
A program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005212406A JP2007030050A (en) | 2005-07-22 | 2005-07-22 | Robot control device, robot control system, robot device and robot control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005212406A JP2007030050A (en) | 2005-07-22 | 2005-07-22 | Robot control device, robot control system, robot device and robot control method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007030050A true JP2007030050A (en) | 2007-02-08 |
Family
ID=37789926
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005212406A Pending JP2007030050A (en) | 2005-07-22 | 2005-07-22 | Robot control device, robot control system, robot device and robot control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007030050A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008152943A1 (en) * | 2007-06-13 | 2008-12-18 | Softbank Bb Corp. | Mobile communication device, method for controlling mobile communication device, program for the same, and recording medium |
| JP2017514227A (en) * | 2014-04-17 | 2017-06-01 | ソフトバンク・ロボティクス・ヨーロッパＳｏｆｔｂａｎｋ Ｒｏｂｏｔｉｃｓ Ｅｕｒｏｐｅ | Running software applications on the robot |
| JP2018156296A (en) * | 2017-03-16 | 2018-10-04 | 株式会社日立製作所 | Education support system and education support method |
| JP2018174425A (en) * | 2017-03-31 | 2018-11-08 | 国立大学法人大阪大学 | Conference system and control program |
| JP2019169099A (en) * | 2018-03-26 | 2019-10-03 | 株式会社 日立産業制御ソリューションズ | Conference assistance device, and conference assistance system |
| CN111787035A (en) * | 2019-04-03 | 2020-10-16 | 王宇溪 | User interaction system |
-
2005
- 2005-07-22 JP JP2005212406A patent/JP2007030050A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008152943A1 (en) * | 2007-06-13 | 2008-12-18 | Softbank Bb Corp. | Mobile communication device, method for controlling mobile communication device, program for the same, and recording medium |
| JP2017514227A (en) * | 2014-04-17 | 2017-06-01 | ソフトバンク・ロボティクス・ヨーロッパＳｏｆｔｂａｎｋ Ｒｏｂｏｔｉｃｓ Ｅｕｒｏｐｅ | Running software applications on the robot |
| JP2018156296A (en) * | 2017-03-16 | 2018-10-04 | 株式会社日立製作所 | Education support system and education support method |
| JP2018174425A (en) * | 2017-03-31 | 2018-11-08 | 国立大学法人大阪大学 | Conference system and control program |
| JP2019169099A (en) * | 2018-03-26 | 2019-10-03 | 株式会社 日立産業制御ソリューションズ | Conference assistance device, and conference assistance system |
| CN111787035A (en) * | 2019-04-03 | 2020-10-16 | 王宇溪 | User interaction system |
| CN111787035B (en) * | 2019-04-03 | 2023-04-07 | 王宇溪 | User interaction system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11151997B2 (en) | Dialog system, dialog method, dialog apparatus and program | |
| US11183187B2 (en) | Dialog method, dialog system, dialog apparatus and program that gives impression that dialog system understands content of dialog | |
| CN112204564A (en) | System and method for speech understanding via integrated audio and visual based speech recognition | |
| TW202040530A (en) | Control method, system and equipment of learning companion robot and storage medium | |
| CN112262024A (en) | System and method for dynamic robot configuration for enhanced digital experience | |
| WO2018163646A1 (en) | Dialogue method, dialogue system, dialogue device, and program | |
| WO2018163645A1 (en) | Dialogue method, dialogue system, dialogue device, and program | |
| CN112204565A (en) | System and method for inferring scenes based on visual context-free grammar model | |
| JP2007030050A (en) | Robot control device, robot control system, robot device and robot control method | |
| JP5020593B2 (en) | Foreign language learning communication system | |
| JPWO2017200079A1 (en) | Dialogue method, dialogue system, dialogue apparatus, and program | |
| Nishio et al. | The effects of physically embodied multiple conversation robots on the elderly | |
| KR101949997B1 (en) | Method for training conversation using dubbing/AR | |
| Wallis | A robot in the kitchen | |
| Huang et al. | Exploration of human reactions to a humanoid robot in public STEM education | |
| JP7096626B2 (en) | Information extraction device | |
| JP7130290B2 (en) | information extractor | |
| Huang et al. | Can a Virtual Listener Replace a Human Listener in Active Listening Conversation? | |
| Al Moubayed et al. | Furhat goes to Robotville: A large-scale multiparty human-robot interaction data collection in a public space | |
| WO2017200077A1 (en) | Dialog method, dialog system, dialog device, and program | |
| JP7286303B2 (en) | Conference support system and conference robot | |
| Han et al. | Collecting multi-modal data of human-robot interaction | |
| WO2022091230A1 (en) | Information extraction device | |
| US11605390B2 (en) | Systems, methods, and apparatus for language acquisition using socio-neuorocognitive techniques | |
| Saxena et al. | Virtual Assistant with Facial Expession Recognition |