JP2009090420A - Robot remote control system - Google Patents

Robot remote control system Download PDF

Info

Publication number
JP2009090420A
JP2009090420A JP2007264118A JP2007264118A JP2009090420A JP 2009090420 A JP2009090420 A JP 2009090420A JP 2007264118 A JP2007264118 A JP 2007264118A JP 2007264118 A JP2007264118 A JP 2007264118A JP 2009090420 A JP2009090420 A JP 2009090420A
Authority
JP
Japan
Prior art keywords
robot
operator
terminal
information
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007264118A
Other languages
Japanese (ja)
Other versions
JP5070441B2 (en
Inventor
Masahiro Shiomi
昌裕 塩見
Takayuki Kanda
崇行 神田
Daisuke Sakamoto
大介 坂本
Hiroshi Ishiguro
浩 石黒
Norihiro Hagita
紀博 萩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2007264118A priority Critical patent/JP5070441B2/en
Publication of JP2009090420A publication Critical patent/JP2009090420A/en
Application granted granted Critical
Publication of JP5070441B2 publication Critical patent/JP5070441B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To properly adapt to a request by a colloquist for robots by enabling the robots to be remotely controlled by one or more operators meeting the requirement requested by the colloquist for the robots. <P>SOLUTION: A robot remote control system 10 comprises the robots 12a, 12b, a central control device 14, and operation terminals 16a-16c connected to each other through a network 100. When the robots 12a, 12b are difficult to adapt by autonomous control only, the request for calling operators is sent to the center control device 14. When receiving the request for calling, the center control device 14 selects one or more operators meeting the requirement requested by the colloquist according to a requirement list prepared from the voice of the colloquist for the robots 12a, 12b. Then, the one or more operators selected remotely control the robots 12a, 12b by using the operation terminal 16. Since the robots are remotely controlled by one or more operators meeting the requirement requested by the colloquist for the robots, the system can properly adapt to the requirement. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、ロボット遠隔操作システムに関し、特にたとえばロボットを遠隔操作するための、ロボット遠隔操作システムに関する。   The present invention relates to a robot remote control system, and more particularly to a robot remote control system for remotely controlling a robot, for example.

この種の従来のロボット遠隔操作システムの一例が、特許文献１に開示されている。この特許文献１のロボット遠隔操作システムは、ネットワークを介して接続された複数のロボット，中央制御装置および複数の操作端末を含む。複数の操作端末のそれぞれは、オペレータによって操作される。ロボットは、人間とコミュニケーション可能な自律型ロボットであり、自律制御だけでは対応が困難な状況などになったときに、必要に応じてオペレータを呼び出す。中央制御装置は、最も適切な操作端末（オペレータ）を選択し、当該操作端末に遠隔操作を依頼する。オペレータを呼び出したロボットは、その操作端末からの操作コマンドに基づいて自身の動作を制御する。
特開２００７−１９０６５９［B25J 13/00, B25J 5/00］ An example of this type of conventional robot remote control system is disclosed in Patent Document 1. The robot remote operation system of Patent Document 1 includes a plurality of robots, a central control device, and a plurality of operation terminals connected via a network. Each of the plurality of operation terminals is operated by an operator. The robot is an autonomous robot that can communicate with humans, and calls an operator as necessary when the situation becomes difficult to deal with by autonomous control alone. The central control device selects the most appropriate operation terminal (operator) and requests the operation terminal to perform remote operation. The robot that has called the operator controls its own operation based on the operation command from the operation terminal.
JP2007-190659 [B25J 13/00, B25J 5/00]

しかし、特許文献１に示す背景技術では、ロボットを遠隔操作するのは１人のオペレータであるため、コミュニケーション対象の人間が要求する条件を全て満たそうとすると、個々のオペレータに対して高い知識レベルが要求される。このようなロボット遠隔操作システムの構築は困難であり、現実的ではないと考えられる。また、１人のオペレータでは、十分に対応できない場合もある。   However, in the background art shown in Patent Document 1, since it is a single operator who remotely controls the robot, a high knowledge level is required for each operator if all the conditions required by the person to be communicated are to be satisfied. Is required. Such a robot remote control system is difficult to construct and is not realistic. In addition, one operator may not be able to cope with it sufficiently.

それゆえに、この発明の主たる目的は、新規な、ロボット遠隔操作システムを提供することである。   Therefore, the main object of the present invention is to provide a novel robot remote control system.

この発明の他の目的は、遠隔操作するロボットとコミュニケーションする相手の要求に適切に対応することができる、ロボット遠隔操作システムを提供することである。   Another object of the present invention is to provide a robot remote control system capable of appropriately responding to a request of a partner communicating with a remotely operated robot.

この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために記述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。   The present invention employs the following configuration in order to solve the above problems. The reference numerals in parentheses, supplementary explanations, and the like indicate the corresponding relationship with the embodiments described in order to help understanding of the present invention, and do not limit the present invention.

第１の発明は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介してロボットの遠隔操作を行う複数の操作端末と、ネットワークを介してロボットと操作端末とを仲介する中央制御装置とを備える、ロボット遠隔操作システムである。ロボットは、自律制御により人間との間におけるコミュニケーション行動の実行が困難であるかどうかを判断する判断手段、および判断手段の判断結果が肯定的であるとき中央制御装置に遠隔操作の依頼を通知する通知手段を備え、中央制御装置は、通知手段からの遠隔操作の依頼の通知を受信する依頼通知受信手段、依頼通知受信手段が遠隔操作の依頼の通知を受信したことに応じてロボットの遠隔操作を行う操作者が満たすべき条件についての条件リストを作成する条件リスト作成手段、複数の操作端末の各々について操作者の属性情報を含む端末情報を記憶する端末情報記憶手段、条件作成手段によって作成された条件リストと端末情報記憶手段に記憶された端末情報とを比較する比較手段、比較手段の比較結果に基づいて条件リストの全部または一部の条件を満足する端末情報を有する１または複数の操作端末をロボットの遠隔操作を行う操作端末として選択する選択手段、およびロボットと選択手段によって選択された１または複数の操作端末とをネットワークを介して通信可能に接続させる接続制御手段を備えることを特徴とする。   According to a first aspect of the present invention, there is provided a robot that performs communication with humans through at least one of body movement and voice by remote operation or autonomous control, a plurality of operation terminals that perform remote operation of the robot via a network, and a network This is a robot remote control system including a central control device that mediates between the robot and the operation terminal via the. The robot determines whether it is difficult to execute communication actions with humans by autonomous control, and notifies the central controller of a request for remote operation when the determination result of the determination means is affirmative A central processing unit including a notification means, a request notification receiving means for receiving a notification of a remote operation request from the notification means, and a remote operation of the robot in response to the request notification receiving means receiving a notification of a remote operation request. Created by a condition list creating means for creating a condition list for conditions to be satisfied by an operator who performs the operation, a terminal information storage means for storing terminal information including attribute information of the operator for each of a plurality of operation terminals, and a condition creating means A comparison means for comparing the prepared condition list with the terminal information stored in the terminal information storage means, and a condition list based on the comparison result of the comparison means Selection means for selecting one or a plurality of operation terminals having terminal information satisfying all or a part of the conditions as an operation terminal for remotely operating the robot, and one or a plurality of operation terminals selected by the robot and the selection means; It is characterized by comprising a connection control means for enabling communication via a network.

第１の発明では、ロボット遠隔操作システム（１０）は、遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボット（１２ａ，１２ｂ）と、ネットワーク（１００）を介してロボットの遠隔操作を行う複数の操作端末（１６ａ〜１６ｃ）と、ネットワークを介してロボットと操作端末との仲介を行う中央制御装置（１４）とを備える。ロボットでは、判断手段（６０，Ｓ４０３，Ｓ５０５〜Ｓ５１７）が、自律制御により人間との間におけるコミュニケーション行動の実行が困難であるかどうかを判断する。通知手段（６０，６２，８２，８４，１００，Ｓ４０５，Ｓ６０１）は、判断手段の判断結果が肯定的であるとき、つまり自律制御により人間とコミュニケーションすることができないとき、中央制御装置に遠隔操作の依頼を通知する。中央制御装置では、依頼通知受信手段（Ｓ５）が、ロボットの通知手段からの遠隔操作の依頼の通知を受信する。すると、条件リスト作成手段（６０，６２，５２，５４，７０，８２，８４，１００，Ｓ３５，Ｓ６５，Ｓ７１，Ｓ１０１〜Ｓ１１３）が、依頼通知受信手段が遠隔操作の依頼の通知を受信したことに応じて、ロボットの遠隔操作を行う操作者が満たすべき条件についての条件リストを作成する。端末情報記憶手段（Ｓ１）は、複数の操作端末の各々について操作者の属性情報を含む端末情報を記憶している。したがって、比較手段（Ｓ６７，Ｓ７５，Ｓ２０１〜Ｓ２２９）は、条件作成手段によって作成された条件リストと、端末情報記憶手段に記憶された端末情報とを比較する。選択手段（Ｓ７，Ｓ６９，Ｓ７７，Ｓ７９，Ｓ８１，Ｓ８３）は、比較手段の比較結果に基づいて条件リストの全部または一部の条件を満足する端末情報を有する１または複数の操作端末をロボットの遠隔操作を行う操作端末として選択する。接続制御手段（Ｓ８５〜Ｓ８９）は、ロボットと選択手段によって選択された１または複数の操作端末とをネットワークを介して通信可能に接続させる。   In the first invention, the robot remote control system (10) includes a robot (12a, 12b) that performs a communication action with a human by at least one of body motion and voice by remote control or autonomous control, and a network (100). ) Through a plurality of operation terminals (16a to 16c) that perform remote operation of the robot, and a central control device (14) that mediates between the robot and the operation terminal through a network. In the robot, the determination means (60, S403, S505 to S517) determines whether or not it is difficult to execute a communication action with a human by autonomous control. The notification means (60, 62, 82, 84, 100, S405, S601) is operated remotely by the central control unit when the determination result of the determination means is affirmative, that is, when communication with humans cannot be performed by autonomous control. Notify the request. In the central control unit, the request notification receiving means (S5) receives the notification of the request for remote operation from the notification means of the robot. Then, the condition list creation means (60, 62, 52, 54, 70, 82, 84, 100, S35, S65, S71, S101 to S113) that the request notification receiving means has received the notification of the remote operation request. In response to this, a condition list is created for conditions to be satisfied by an operator who performs remote operation of the robot. The terminal information storage means (S1) stores terminal information including operator attribute information for each of the plurality of operation terminals. Therefore, the comparison means (S67, S75, S201 to S229) compares the condition list created by the condition creation means with the terminal information stored in the terminal information storage means. The selection means (S7, S69, S77, S79, S81, S83) selects one or a plurality of operation terminals having terminal information satisfying all or a part of the condition list based on the comparison result of the comparison means. Select as an operation terminal for remote operation. The connection control means (S85 to S89) connects the robot and one or a plurality of operation terminals selected by the selection means so that they can communicate with each other via a network.

たとえば、ロボットとコミュニケーションする人間からの質問に５つの条件（要求）があり、５つの要求をすべて満たすことができるオペレータが存在しなかったとする。このような場合に、中央制御装置は、３つの要求に対応することができる或るオペレータの操作端末と、残りの２つの要求に対応することができる他のオペレータの操作端末とを選択する。したがって、２人のオペレータが当該ロボットの遠隔操作を行うことで、当該ロボットとコミュニケーションする人間からの質問（５つの要求）について対応することができる。   For example, it is assumed that there are five conditions (requests) in a question from a person who communicates with a robot, and there is no operator who can satisfy all the five requests. In such a case, the central control unit selects one operator's operation terminal capable of responding to three requests and another operator's operation terminal capable of responding to the remaining two requests. Therefore, two operators can respond to questions (five requests) from a person who communicates with the robot by remotely operating the robot.

第１の発明によれば、ロボットとコミュニケーションする人間からの要求に対応できる１または複数のオペレータを選択し、ロボットと選択されたオペレータが操作する操作端末とを通信可能に接続させるので、オペレータの遠隔操作によって人間からの要求を満たすことができる。つまり、ロボットとコミュニケーションする相手の要求に適切に応えて、円滑に対応することができる。   According to the first invention, one or a plurality of operators that can respond to a request from a person who communicates with the robot is selected, and the robot and the operation terminal operated by the selected operator are communicably connected. Remote control can satisfy human demands. That is, it is possible to respond appropriately to the request of the other party who communicates with the robot and to respond smoothly.

第２の発明は、第１の発明に従属し、ロボットは、人間の音声に対応する音声信号を検出する音声検出手段、および音声検出手段によって検出された音声信号を少なくとも中央制御装置に送信する送信手段をさらに備える。中央制御装置は、送信手段からの音声信号を受信する音声受信手段、音声受信手段によって受信された音声信号に基づいて人間の音声を認識する音声認識手段、および音声認識手段の認識結果に基づいて人間の発話する言語を特定する言語特定手段をさらに備える。条件リストは、言語情報を条件として含む。   A second invention is according to the first invention, and the robot transmits a voice detection means for detecting a voice signal corresponding to a human voice, and a voice signal detected by the voice detection means to at least the central controller. A transmission means is further provided. The central control unit includes: a voice receiving unit that receives a voice signal from the transmission unit; a voice recognition unit that recognizes a human voice based on the voice signal received by the voice receiving unit; and a recognition result of the voice recognition unit. Language specifying means for specifying a language spoken by a human is further provided. The condition list includes language information as a condition.

第２の発明では、ロボットの音声検出手段（５４，６０，６２，７０）は、人間の音声に対応する音声信号を検出する。送信手段（６０，６２，８２，８４，１００，Ｓ６０５）は、音声検出手段によって検出された音声信号を少なくとも中央制御装置に送信する。ただし、ロボットと操作端末とが通信可能に接続された場合には、当該音声信号は操作端末に送信される。中央制御装置の音声受信手段（Ｓ３９）は、送信手段からの音声信号を受信する。音声認識手段（Ｓ４１，Ｓ４５，Ｓ４９）は、音声受信手段によって受信された音声信号に基づいて人間の音声を認識する。言語特定手段（Ｓ４３，Ｓ４７，Ｓ５１〜Ｓ６３）は、音声認識手段の認識結果に基づいて人間の発話する言語を特定する。   In the second invention, the voice detection means (54, 60, 62, 70) of the robot detects a voice signal corresponding to a human voice. The transmission means (60, 62, 82, 84, 100, S605) transmits the audio signal detected by the audio detection means to at least the central controller. However, when the robot and the operation terminal are communicably connected, the audio signal is transmitted to the operation terminal. The voice receiving means (S39) of the central control unit receives the voice signal from the sending means. The voice recognition means (S41, S45, S49) recognizes human voice based on the voice signal received by the voice reception means. The language specifying means (S43, S47, S51 to S63) specifies a language spoken by a human based on the recognition result of the voice recognition means.

たとえば、条件リストには、ロボットとコミュニケーションする人間が話す言語情報が含まれる。したがって、中央制御装置は、少なくとも、ロボットとコミュニケーションする人間と同じ言語を話すことができるオペレータが操作する操作端末を選択する。   For example, the condition list includes language information spoken by a person communicating with the robot. Therefore, the central control device selects at least an operation terminal operated by an operator who can speak the same language as a human being communicating with the robot.

第２の発明によれば、ロボットとコミュニケーションする人間と同じ言語を話すことができるオペレータが操作する操作端末を選択することができるため、ロボットとコミュニケーションする人間と、オペレータとが直接的に会話することができる。これによって、オペレータは、当該人間の要求を的確に理解し、それに対応することができる。   According to the second invention, since an operation terminal operated by an operator who can speak the same language as the person who communicates with the robot can be selected, the person who communicates with the robot and the operator have a direct conversation. be able to. Thus, the operator can accurately understand and respond to the human request.

第３の発明は、第２の発明に従属し、選択手段は、１つの操作端末の端末情報によって条件リストの一部の条件を満足するとき、当該一部の条件を除く残りの条件を満足する端末情報を有する１または複数の他の操作端末を選択する他端末選択手段を含み、他端末選択手段は、条件リストの全条件に対して一定の割合を超える条件を満足するまで他の操作端末の選択を継続する。   A third invention is dependent on the second invention, and when the selection means satisfies a part of the condition list by the terminal information of one operation terminal, the selection means satisfies the remaining conditions excluding the part of the condition Including other terminal selection means for selecting one or a plurality of other operation terminals having terminal information to be executed, and the other terminal selection means performs other operations until a condition exceeding a certain ratio with respect to all conditions in the condition list is satisfied. Continue selecting terminals.

第３の発明では、他端末選択手段（Ｓ６９，Ｓ７５，Ｓ７７，Ｓ７９）は、１つの操作端末によって条件リストの一部の条件を満足するとき、当該一部の条件を除く残りの条件を満足する端末情報を有する１または複数の他の操作端末を選択する。他端末選択手段は、条件リストの全条件に対して一定の割合を超える条件を満足するまで他の操作端末の選択を継続する。   In the third invention, when the other terminal selection means (S69, S75, S77, S79) satisfies a part of the conditions in the condition list by one operation terminal, the other conditions are satisfied except for the part of the conditions. One or more other operation terminals having terminal information to be selected are selected. The other terminal selection means continues to select other operation terminals until a condition exceeding a certain ratio with respect to all conditions in the condition list is satisfied.

たとえば、一定の割合を８０％とし、ロボットとコミュニケーションする人間から５つの要求があった場合に、中央制御装置は、少なくとも４つの要求を満たすまで、他の操作端末を選択する。この場合には、複数人のオペレータによって、ロボットは遠隔操作される。   For example, when the fixed ratio is 80% and there are five requests from a person communicating with the robot, the central control device selects another operation terminal until at least four requests are satisfied. In this case, the robot is remotely operated by a plurality of operators.

ここで、一定の割合以上を満たせば良いようにしてあるのは、必ず全ての条件を満たさなければならないようにすると、他端末選択手段の選択処理が、無限ループになってしまう可能性があるからである。ただし、このような場合であっても、一定の割合以上の要求に応答することができるので、全く対応できないような不都合な状態は回避される。   Here, it is only necessary to satisfy a certain ratio or more. If all the conditions must be satisfied, the selection process of the other terminal selection means may become an infinite loop. Because. However, even in such a case, since it is possible to respond to requests of a certain ratio or more, an inconvenient state that cannot be handled at all can be avoided.

第３の発明によれば、ロボットとコミュニケーションする人間からの要求を全て満たしていなくても、オペレータがロボットを遠隔操作することにより、全く対応できないような不都合を回避して、当該人間の要求に可及的多く対応するようにすることができる。また、操作端末の選択処理が無限ループになるのを防止することができる。   According to the third aspect of the present invention, even if all the requests from the human being who communicates with the robot are not satisfied, it is possible to avoid the inconvenience that cannot be dealt with at all by the operator remotely operating the robot. It is possible to respond as much as possible. In addition, it is possible to prevent the operation terminal selection process from entering an infinite loop.

第４の発明は、第３の発明に従属し、中央制御装置は、選択手段によって選択された操作端末の数が一定数以上であるかどうかを判定する端末数判定手段をさらに備え、他端末選択手段は、端末数判定手段によって、一定数以上であることが判定されるまで他の操作端末の選択を継続する。   A fourth invention is according to the third invention, wherein the central control device further comprises a terminal number determination means for determining whether or not the number of operation terminals selected by the selection means is equal to or greater than a certain number, and the other terminal The selection means continues to select other operation terminals until it is determined by the terminal number determination means that the number is a certain number or more.

第４の発明では、中央制御装置の端末数判定手段（Ｓ８１）は、選択手段によって選択された操作端末の数が一定数以上であるかどうかを判定する。他端末選択手段は、端末数判定手段によって、一定数以上であることが判定されるまで他の操作端末の選択を継続する。つまり、操作端末の数が制限される。たとえば、一定数を３とした場合に、中央制御装置によって３台の操作端末が選択されれば、条件リストに含まれる条件のうち、一定の割合（たとえば、８０％）以上の条件を満たしていなくても、他の操作端末の選択を終了する。   In the fourth invention, the terminal number determination means (S81) of the central control apparatus determines whether or not the number of operation terminals selected by the selection means is a certain number or more. The other terminal selection means continues to select other operation terminals until it is determined by the terminal number determination means that the number is equal to or greater than a certain number. That is, the number of operation terminals is limited. For example, if the fixed number is 3, and if three operation terminals are selected by the central control unit, the condition included in the condition list satisfies a certain ratio (for example, 80%) or more. Even if not, the selection of another operation terminal is terminated.

第４の発明によれば、第３の発明と同様に、操作端末の選択処理が無限ループになってしまうのを防止することができる。また、操作端末の数を制限するので、遠隔操作するオペレータの人数が多数になり、オペレータ同士での調整等に時間がかかるのを防止することができる。これにより、円滑にロボットを遠隔操作することができる。   According to the fourth invention, similarly to the third invention, it is possible to prevent the selection process of the operation terminal from becoming an infinite loop. In addition, since the number of operation terminals is limited, it is possible to prevent the number of operators to be remotely operated from increasing, and it is possible to prevent time and the like from being adjusted between operators. Thereby, the robot can be remotely operated smoothly.

第５の発明は、第２の発明に従属し、選択手段は、１つの操作端末の端末情報によって条件リストの一部の条件を満足するとき、当該条件一部の条件を除く残りの条件を満足する端末情報を有する１または複数の他の操作端末を選択する他端末操作手段を含み、中央制御装置は、選択手段によって選択された操作端末の数が一定数以上であるかどうかを判定する端末数判定手段をさらに備え、他端末選択手段は、端末数判定手段によって、一定数以上であることが判定されるまで他の操作端末の選択を継続する。   The fifth invention is dependent on the second invention, and when the selection means satisfies a part of the conditions in the condition list based on the terminal information of one operation terminal, the remaining conditions excluding the part of the condition are included. Including other terminal operation means for selecting one or a plurality of other operation terminals having satisfied terminal information, and the central control device determines whether or not the number of operation terminals selected by the selection means is equal to or greater than a certain number Terminal number determination means is further provided, and the other terminal selection means continues to select other operation terminals until it is determined by the terminal number determination means that the number is equal to or greater than a certain number.

第５の発明では、他端末選択手段（Ｓ６９，Ｓ７５，Ｓ７７，Ｓ７９）は、１つの操作端末の端末情報によって条件リストの一部の条件を満足するとき、当該条件一部の条件を除く残りの条件を満足する端末情報を有する１または複数の他の操作端末を選択する。中央制御装置の端末数判定手段（Ｓ８１）は、選択手段によって選択された操作端末の数が一定数以上であるかどうかを判定する。他端末選択手段は、端末数判定手段によって、一定数以上であることが判定されるまで他の操作端末の選択を継続する。   In the fifth invention, when the other terminal selection means (S69, S75, S77, S79) satisfies a partial condition in the condition list according to the terminal information of one operation terminal, the remaining condition excluding the partial condition is excluded. One or a plurality of other operation terminals having terminal information satisfying the above condition are selected. The terminal number determination means (S81) of the central control apparatus determines whether or not the number of operation terminals selected by the selection means is a certain number or more. The other terminal selection means continues to select other operation terminals until it is determined by the terminal number determination means that the number is equal to or greater than a certain number.

第５の発明によれば、操作端末の選択処理が無限ループになるのを防止するとともに、オペレータの数を制限して、円滑にロボットを遠隔操作することができる。   According to the fifth invention, the operation terminal selection process is prevented from becoming an infinite loop, and the number of operators can be limited to smoothly operate the robot remotely.

第６の発明は、第１ないしは第５の発明のいずれかに従属し、中央制御装置は、ロボットと複数操作端末との通信速度によってロボットから複数の操作端末に送信するロボットの情報を制御する送信情報制御手段をさらに備える。   A sixth invention is dependent on any one of the first to fifth inventions, and the central control device controls the robot information transmitted from the robot to the plurality of operation terminals at a communication speed between the robot and the plurality of operation terminals. Transmission information control means is further provided.

第６の発明では、中央制御装置の送信情報制御手段（Ｓ１１，Ｓ３０１〜Ｓ３２９）は、ロボットと１または複数操作端末との通信速度によってロボットから複数の操作端末に送信するロボットの情報を制御する。たとえば、ロボットから操作端末に送信するデータが映像データ，音声データおよび距離データの３種類であるとする。オペレータは、たとえば、ロボットから送信されるデータを参照するなどして、ロボットを遠隔操作する。たとえば、通信速度が速い場合には、ロボットは、映像データ，音声データおよび距離データを送信する。また、通信速度が遅い場合には、ロボットは、距離データのみを送信する。さらに、通信速度がそれらの中間程度である場合には、ロボットは、映像データのみ、または、音声データのみを送信する。   In the sixth invention, the transmission information control means (S11, S301 to S329) of the central control device controls the robot information transmitted from the robot to the plurality of operation terminals according to the communication speed between the robot and one or more operation terminals. . For example, it is assumed that there are three types of data transmitted from the robot to the operation terminal: video data, audio data, and distance data. The operator remotely controls the robot, for example, referring to data transmitted from the robot. For example, when the communication speed is high, the robot transmits video data, audio data, and distance data. When the communication speed is low, the robot transmits only distance data. Furthermore, when the communication speed is about the middle of them, the robot transmits only video data or only audio data.

第６の発明によれば、ロボットが送信するデータの種類を通信速度に応じて選択するので、たとえば、送信するデータ量を調整することができる。したがって、ネットワークが過負荷になるのを防止することができる。つまり、通信がいたずらに遅延することがないため、ロボットを円滑に遠隔操作することができる。   According to the sixth aspect, since the type of data transmitted by the robot is selected according to the communication speed, for example, the amount of data to be transmitted can be adjusted. Therefore, it is possible to prevent the network from becoming overloaded. That is, since the communication is not delayed unnecessarily, the robot can be remotely operated smoothly.

この発明によれば、ロボットとコミュニケーションする人間からの要求に対応できる１または複数のオペレータを選択し、ロボットと選択されたオペレータが操作する操作端末とを通信可能に接続させるので、オペレータの遠隔操作によって人間からの要求を満たすことができる。つまり、ロボットとコミュニケーションする相手の要求に適切に応えて、円滑に対応することができる。   According to the present invention, one or a plurality of operators capable of responding to a request from a person who communicates with the robot is selected, and the robot and the operation terminal operated by the selected operator are communicably connected. Can satisfy human demands. That is, it is possible to respond appropriately to the request of the other party who communicates with the robot and to respond smoothly.

この発明の上述の目的、その他の目的、特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。   The above object, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

図１を参照して、この実施例のロボット遠隔操作システム１０は、ロボット１２ａおよび１２ｂを含む。このロボット１２ａおよび１２ｂは、ネットワーク１００を介して、中央制御装置１４，操作端末１６ａ，１６ｂおよび１６ｃに接続される。以下、ロボット１２ａ，１２ｂを区別する必要がない場合には、ロボット１２と呼ぶことにする。同様に、操作端末１６ａ−１６ｃのそれぞれを区別する必要がない場合には、操作端末１６と呼ぶことにする。   Referring to FIG. 1, a robot remote control system 10 of this embodiment includes robots 12a and 12b. The robots 12a and 12b are connected to the central controller 14 and the operation terminals 16a, 16b and 16c via the network 100. Hereinafter, when it is not necessary to distinguish the robots 12a and 12b, they will be referred to as robots 12. Similarly, when there is no need to distinguish each of the operation terminals 16a-16c, they will be referred to as operation terminals 16.

ロボット１２は、相互作用指向のロボット（コミュニケーションロボット）であり、主として人間Ａのようなコミュニケーションの対象（コミュニケーション対象）との間で、身振り手振りのような身体動作および音声の少なくとも一方を含むコミュニケーション行動を実行する機能を備えている。ロボット１２は、一例として、受付ロボットや接客ロボットなどであり、たとえば或るイベント会場や家電量販店の販売フロアなどの様々な場所および状況に配置され、通常は自律制御によって、道案内や商品紹介などの役割を果たす。   The robot 12 is an interaction-oriented robot (communication robot), and mainly includes a communication action including at least one of body movement such as gesture gesture and voice with a communication target (communication target) such as the human A. It has a function to execute. The robot 12 is, for example, a reception robot or a customer service robot, and is disposed in various places and situations such as a certain event venue or a sales floor of a home appliance mass retailer. To play a role.

しかし、自律制御だけでは、対応することが難しい事態になった場合に、人間によってより細やかな対応（コミュニケーション等）が求められると、ロボット１２はオペレータを呼び出す。そして、ロボット１２は、呼び出したオペレータによって入力された操作コマンド情報を受信した時には、受信した操作コマンドに基づいて自身の動作を制御する。つまり、ロボット１２は、その自身の状況に応じてオペレータを呼び出し、オペレータによって操作される。   However, when it becomes difficult to respond only by autonomous control, the robot 12 calls an operator when a more detailed response (communication or the like) is required by a human. When the robot 12 receives operation command information input by the calling operator, the robot 12 controls its own operation based on the received operation command. That is, the robot 12 calls an operator according to its own situation and is operated by the operator.

なお、図１には、簡単のため、２台のロボット（１２ａ，１２ｂ）およびロボット１２を遠隔操作する３台の操作端末（１６ａ−１６ｃ）を示してあるが、これによって限定される必要はない。ロボット１２は１台でもよく、３台以上であっても構わない。また、操作端末は、２台以上であれば何台でも構わない。   For simplicity, FIG. 1 shows two robots (12a, 12b) and three operation terminals (16a-16c) for remotely operating the robot 12, but it is not necessary to be limited by these. Absent. One robot 12 or three or more robots 12 may be used. Further, the number of operation terminals is not limited as long as it is two or more.

図２を参照して、ロボット１２のハードウェアの構成について説明する。また、図２はこの実施例のロボット１２の外観を示す正面図である。ロボット１２は台車１８を含み、台車１８の下面にはロボット１２を自律移動させる２つの車輪２０および１つの従輪２２が設けられる。２つの車輪２２は車輪モータ２４（図３参照）によってそれぞれ独立に駆動され、台車１８すなわちロボット１２を前後左右の任意方向に動かすことができる。また、従輪２２は車輪２０を補助する補助輪である。したがって、ロボット１２は、配置された空間内を自律制御によって移動可能である。ただし、ロボット１２は、或る場所に固定的に配置されても構わない。   The hardware configuration of the robot 12 will be described with reference to FIG. FIG. 2 is a front view showing the appearance of the robot 12 of this embodiment. The robot 12 includes a carriage 18, and two wheels 20 and one slave wheel 22 for autonomously moving the robot 12 are provided on the lower surface of the carriage 18. The two wheels 22 are independently driven by a wheel motor 24 (see FIG. 3), and the carriage 18, that is, the robot 12 can be moved in any direction, front, back, left, and right. The slave wheel 22 is an auxiliary wheel that assists the wheel 20. Therefore, the robot 12 can move in the arranged space by autonomous control. However, the robot 12 may be fixedly arranged at a certain place.

台車１８の上には、円柱形のセンサ取り付けパネル２６が設けられ、このセンサ取り付けパネル２６には、多数の赤外線距離センサ２８が取り付けられる。これらの赤外線距離センサ２８は、センサ取り付けパネル２６すなわちロボット１２の周囲の物体（人間や障害物など）との距離を測定するものである。   A cylindrical sensor mounting panel 26 is provided on the carriage 18, and a number of infrared distance sensors 28 are mounted on the sensor mounting panel 26. These infrared distance sensors 28 measure the distance from the sensor mounting panel 26, that is, an object (such as a human being or an obstacle) around the robot 12.

センサ取り付けパネル２６の上には、胴体３０が直立するように設けられる。また、胴体３０の前方中央上部（人の胸に相当する位置）には、上述した赤外線距離センサ２８がさらに設けられ、ロボット１２の前方の主として人間との距離を計測する。また、胴体３０には、その側面側上端部のほぼ中央から伸びる支柱３２が設けられ、支柱３２の上には、全方位カメラ３４が設けられる。全方位カメラ３４は、ロボット１２の周囲を撮影するものであり、後述する眼カメラ５８とは区別される。この全方位カメラ３４としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。なお、これら赤外線距離センサ２８および全方位カメラ３４の設置位置は、当該部位に限定されず適宜変更され得る。   The body 30 is provided on the sensor mounting panel 26 so as to stand upright. In addition, the above-described infrared distance sensor 28 is further provided in the upper front upper portion of the body 30 (a position corresponding to a human chest), and measures the distance mainly to a human in front of the robot 12. Further, the body 30 is provided with a support column 32 extending from substantially the center of the upper end of the side surface, and an omnidirectional camera 34 is provided on the support column 32. The omnidirectional camera 34 captures the surroundings of the robot 12 and is distinguished from an eye camera 58 described later. As this omnidirectional camera 34, for example, a camera using a solid-state imaging device such as a CCD or a CMOS can be adopted. In addition, the installation positions of the infrared distance sensor 28 and the omnidirectional camera 34 are not limited to the portions, and can be changed as appropriate.

胴体３０の両側面上端部（人の肩に相当する位置）には、それぞれ、肩関節３６Ｒおよび肩関節３６Ｌによって、上腕３８Ｒおよび上腕３８Ｌが設けられる。図示は省略するが、肩関節３６Ｒおよび肩関節３６Ｌは、それぞれ、直交する３軸の自由度を有する。すなわち、肩関節３６Ｒは、直交する３軸のそれぞれの軸廻りにおいて上腕３８Ｒの角度を制御できる。肩関節３６Ｒの或る軸（ヨー軸）は、上腕３８Ｒの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。同様にして、肩関節３６Ｌは、直交する３軸のそれぞれの軸廻りにおいて上腕３８Ｌの角度を制御できる。肩関節３６Ｌの或る軸（ヨー軸）は、上腕３８Ｌの長手方向（または軸）に平行な軸であり、他の２軸（ピッチ軸およびロール軸）は、その軸にそれぞれ異なる方向から直交する軸である。   An upper arm 38R and an upper arm 38L are provided at upper end portions on both sides of the body 30 (a position corresponding to a human shoulder) by a shoulder joint 36R and a shoulder joint 36L, respectively. Although illustration is omitted, each of the shoulder joint 36R and the shoulder joint 36L has three orthogonal degrees of freedom. That is, the shoulder joint 36R can control the angle of the upper arm 38R around each of the three orthogonal axes. A certain axis (yaw axis) of the shoulder joint 36R is an axis parallel to the longitudinal direction (or axis) of the upper arm 38R, and the other two axes (pitch axis and roll axis) are orthogonal to the axis from different directions. It is an axis to do. Similarly, the shoulder joint 36L can control the angle of the upper arm 38L around each of three orthogonal axes. A certain axis (yaw axis) of the shoulder joint 36L is an axis parallel to the longitudinal direction (or axis) of the upper arm 38L, and the other two axes (pitch axis and roll axis) are orthogonal to the axis from different directions. It is an axis to do.

また、上腕３８Ｒおよび上腕３８Ｌのそれぞれの先端には、肘関節４０Ｒおよび肘関節４０Ｌが設けられる。図示は省略するが、肘関節４０Ｒおよび肘関節４０Ｌは、それぞれ１軸の自由度を有し、この軸（ピッチ軸）の軸回りにおいて前腕４２Ｒおよび前腕４２Ｌの角度を制御できる。   In addition, an elbow joint 40R and an elbow joint 40L are provided at the tips of the upper arm 38R and the upper arm 38L, respectively. Although illustration is omitted, each of the elbow joint 40R and the elbow joint 40L has one degree of freedom, and the angles of the forearm 42R and the forearm 42L can be controlled around this axis (pitch axis).

前腕４２Ｒおよび前腕４２Ｌのそれぞれの先端には、人の手に相当する球体４４Ｒおよび球体４４Ｌがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人間の手の形をした「手」を用いることも可能である。また、図示は省略するが、台車１８の前面，肩関節３６Ｒと肩関節３６Ｌとを含む肩に相当する部位，上腕３８Ｒ，上腕３８Ｌ，前腕４２Ｒ，前腕４２Ｌ，球体４４Ｒおよび球体４４Ｌには、それぞれ、接触センサ（図３で包括的に示す）４６が設けられる。台車１８の前面の接触センサ４６は、台車１８への人間や他の障害物の接触を検知する。したがって、ロボット１２は、その自身の移動中に障害物との接触が有ると、それを検知し、直ちに車輪２０の駆動を停止してロボット１２の移動を急停止させることができる。また、その他の接触センサ４６は、当該各部位に触れたかどうかを検知する。なお、接触センサ４６の設置位置は、当該部位に限定されず、適宜な位置（人の胸，腹，脇，背中および腰に相当する位置）に設けられてもよい。   A sphere 44R and a sphere 44L corresponding to a human hand are fixedly provided at the tips of the forearm 42R and the forearm 42L, respectively. However, when a finger or palm function is required, a “hand” in the shape of a human hand can be used. Although not shown, the front surface of the carriage 18, the portion corresponding to the shoulder including the shoulder joint 36 </ b> R and the shoulder joint 36 </ b> L, the upper arm 38 </ b> R, the upper arm 38 </ b> L, the forearm 42 </ b> R, the forearm 42 </ b> L, the sphere 44 </ b> R, and the sphere 44 </ b> L, A contact sensor (shown generically in FIG. 3) 46 is provided. The contact sensor 46 on the front surface of the carriage 18 detects contact of a person or another obstacle with the carriage 18. Therefore, the robot 12 can detect that there is a contact with an obstacle during its movement and immediately stop the driving of the wheel 20 to suddenly stop the movement of the robot 12. Further, the other contact sensors 46 detect whether or not the respective parts are touched. In addition, the installation position of the contact sensor 46 is not limited to the said site | part, and may be provided in an appropriate position (position corresponding to a person's chest, abdomen, side, back, and waist).

胴体３０の中央上部（人の首に相当する位置）には首関節４８が設けられ、さらにその上には頭部５０が設けられる。図示は省略するが、首関節４８は、３軸の自由度を有し、３軸の各軸廻りに角度制御可能である。或る軸（ヨー軸）はロボット１２の真上（鉛直上向き）に向かう軸であり、他の２軸（ピッチ軸、ロール軸）は、それぞれ、それと異なる方向で直交する軸である。   A neck joint 48 is provided at the upper center of the body 30 (a position corresponding to a person's neck), and a head 50 is further provided thereon. Although illustration is omitted, the neck joint 48 has a degree of freedom of three axes, and the angle can be controlled around each of the three axes. A certain axis (yaw axis) is an axis directed directly above (vertically upward) of the robot 12, and the other two axes (pitch axis and roll axis) are axes orthogonal to each other in different directions.

頭部５０には、人の口に相当する位置に、スピーカ５２が設けられる。スピーカ５２は、ロボット１２が、それの周辺の人間に対して音声ないし音によってコミュニケーションを取るために用いられる。また、人の耳に相当する位置には、マイク５４Ｒおよびマイク５４Ｌが設けられる。以下、右のマイク５４Ｒと左のマイク５４Ｌとをまとめてマイク５４ということがある。マイク５４は、周囲の音、とりわけコミュニケーションを実行する対象である人間の声を取り込む。さらに、人の目に相当する位置には、眼球部５６Ｒおよび眼球部５６Ｌが設けられる。眼球部５６Ｒおよび眼球部５６Ｌは、それぞれ眼カメラ５８Ｒおよび眼カメラ５８Ｌを含む。以下、右の眼球部５６Ｒと左の眼球部５６Ｌとをまとめて眼球部５６ということがある。また、右の眼カメラ５８Ｒと左の眼カメラ５８Ｌとをまとめて眼カメラ５８ということがある。   The head 50 is provided with a speaker 52 at a position corresponding to a human mouth. The speaker 52 is used for the robot 12 to communicate with humans around it by voice or sound. A microphone 54R and a microphone 54L are provided at a position corresponding to a human ear. Hereinafter, the right microphone 54R and the left microphone 54L may be collectively referred to as a microphone 54. The microphone 54 captures ambient sounds, particularly a human voice that is an object for performing communication. Furthermore, an eyeball portion 56R and an eyeball portion 56L are provided at positions corresponding to human eyes. The eyeball portion 56R and the eyeball portion 56L include an eye camera 58R and an eye camera 58L, respectively. Hereinafter, the right eyeball portion 56R and the left eyeball portion 56L may be collectively referred to as the eyeball portion 56. Further, the right eye camera 58R and the left eye camera 58L may be collectively referred to as an eye camera 58.

眼カメラ５８は、ロボット１２に接近した人間の顔や他の部分ないし物体などを撮影して、それに対応する映像信号を取り込む。また、眼カメラ５８は、上述した全方位カメラ３４と同様のカメラを用いることができる。たとえば、眼カメラ５８は、眼球部５６内に固定され、眼球部５６は、眼球支持部（図示せず）を介して頭部５０内の所定位置に取り付けられる。図示は省略するが、眼球支持部は、２軸の自由度を有し、それらの各軸廻りに角度制御可能である。たとえば、この２軸の一方は、頭部５０の上に向かう方向の軸（ヨー軸）であり、他方は、一方の軸に直交しかつ頭部５０の正面側（顔）が向く方向に直行する方向の軸（ピッチ軸）である。眼球支持部がこの２軸の各軸廻りに回転されることによって、眼球部５６ないし眼カメラ５８の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。なお、上述のスピーカ５２，マイク５４および眼カメラ５８の設置位置は、当該部位に限定されず、適宜な位置に設けられてよい。   The eye camera 58 captures a human face approaching the robot 12, other parts or objects, and captures a corresponding video signal. The eye camera 58 can be the same camera as the omnidirectional camera 34 described above. For example, the eye camera 58 is fixed in the eyeball unit 56, and the eyeball unit 56 is attached to a predetermined position in the head 50 via an eyeball support unit (not shown). Although illustration is omitted, the eyeball support portion has two degrees of freedom, and the angle can be controlled around each of these axes. For example, one of the two axes is an axis (yaw axis) in a direction toward the top of the head 50, and the other is orthogonal to the one axis and goes straight in a direction in which the front side (face) of the head 50 faces. It is an axis (pitch axis) in the direction to be. By rotating the eyeball support portion around each of the two axes, the tip (front) side of the eyeball portion 56 or the eye camera 58 is displaced, and the camera axis, that is, the line-of-sight direction is moved. It should be noted that the installation positions of the above-described speaker 52, microphone 54, and eye camera 58 are not limited to the portions, and may be provided at appropriate positions.

このように、この実施例のロボット１２は、車輪２０の独立２軸駆動，肩関節３６の３自由度（左右で６自由度），肘関節４０の１自由度（左右で２自由度），首関節４８の３自由度および眼球支持部の２自由度（左右で４自由度）の合計１７自由度を有する。   As described above, the robot 12 of this embodiment includes independent two-axis driving of the wheels 20, three degrees of freedom of the shoulder joint 36 (6 degrees of freedom on the left and right), and one degree of freedom of the elbow joint 40 (two degrees of freedom on the left and right). It has a total of 17 degrees of freedom: 3 degrees of freedom for the neck joint 48 and 2 degrees of freedom for the eyeball support (4 degrees of freedom on the left and right).

図３はロボット１２の電気的な構成を示すブロック図である。この図３を参照して、ロボット１２は、ＣＰＵ６０を含む。ＣＰＵ６０は、マイクロコンピュータ或いはプロセッサとも呼ばれ、バス６２を介して、メモリ６４，モータ制御ボード６６，センサ入力／出力ボード６８および音声入力／出力ボード７０に接続される。   FIG. 3 is a block diagram showing the electrical configuration of the robot 12. With reference to FIG. 3, the robot 12 includes a CPU 60. The CPU 60 is also called a microcomputer or a processor, and is connected to the memory 64, the motor control board 66, the sensor input / output board 68, and the audio input / output board 70 via the bus 62.

メモリ６４は、図示は省略をするが、ＲＯＭ，ＨＤＤおよびＲＡＭを含む。ＲＯＭおよびＨＤＤには、ロボット１２の動作を制御するための制御プログラムが予め記憶される。たとえば、各センサの出力（センサ情報）を検知するための検知プログラム、および外部コンピュータ（中央制御装置１４および操作端末１６など）との間で必要なデータやコマンドを送受信するための通信プログラムなどが記録される。また、ＲＡＭは、ワークメモリやバッファメモリとして用いられる。   The memory 64 includes a ROM, an HDD, and a RAM (not shown). In the ROM and the HDD, a control program for controlling the operation of the robot 12 is stored in advance. For example, a detection program for detecting the output (sensor information) of each sensor and a communication program for transmitting / receiving necessary data and commands to / from external computers (such as the central control device 14 and the operation terminal 16). To be recorded. The RAM is used as a work memory or a buffer memory.

モータ制御ボード６６は、たとえばＤＳＰで構成され、各腕や首関節および眼球部などの各軸モータの駆動を制御する。すなわち、モータ制御ボード６６は、ＣＰＵ６０からの制御データを受け、右眼球部５６Ｒの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「右眼球モータ７２」と示す）の回転角度を制御する。同様にして、モータ制御ボード６６は、ＣＰＵ６０からの制御データを受け、左眼球部５６Ｌの２軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「左眼球モータ７４」と示す）の回転角度を制御する。   The motor control board 66 is composed of, for example, a DSP, and controls driving of motors of axes such as arms, neck joints, and eyeballs. That is, the motor control board 66 receives control data from the CPU 60, and controls two motors (collectively indicated as “right eyeball motor 72” in FIG. 3) that control the angles of the two axes of the right eyeball portion 56R. Control the rotation angle. Similarly, the motor control board 66 receives control data from the CPU 60, and shows two motors for controlling the respective angles of the two axes of the left eyeball portion 56L (in FIG. 3, collectively referred to as “left eyeball motor 74”). ) To control the rotation angle.

また、モータ制御ボード６６は、ＣＰＵ６０からの制御データを受け、右肩関節３６Ｒの直交する３軸のそれぞれの角度を制御する３つのモータと右肘関節４０Ｒの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「右腕モータ７６」と示す）の回転角度を制御する。同様にして、モータ制御ボード６６は、ＣＰＵ６０からの制御データを受け、左肩関節３６Ｌの直交する３軸のそれぞれの角度を制御する３つのモータと左肘関節４０Ｌの角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「左腕モータ７８」と示す）の回転角度を制御する。   The motor control board 66 receives control data from the CPU 60, and includes three motors for controlling the angles of the three orthogonal axes of the right shoulder joint 36R and one motor for controlling the angle of the right elbow joint 40R. The rotation angles of a total of four motors (collectively indicated as “right arm motor 76” in FIG. 3) are controlled. Similarly, the motor control board 66 receives control data from the CPU 60, three motors for controlling the angles of the three orthogonal axes of the left shoulder joint 36L, and one motor for controlling the angle of the left elbow joint 40L. The rotation angles of a total of four motors (collectively indicated as “left arm motor 78” in FIG. 3) are controlled.

さらに、モータ制御ボード６６は、ＣＰＵ６０からの制御データを受け、首関節４８の直交する３軸のそれぞれの角度を制御する３つのモータ（図３では、まとめて「頭部モータ８０」と示す）の回転角度を制御する。そして、モータ制御ボード６６は、ＣＰＵ６０からの制御データを受け、車輪２０を駆動する２つのモータ（図３では、まとめて「車輪モータ２４」と示す）の回転角度を制御する。なお、この実施例では、車輪モータ２４を除くモータは、制御を簡素化するためにステッピングモータ（すなわち、パルスモータ）を用いる。ただし、車輪モータ２４と同様に直流モータを用いるようにしてもよい。また、ロボット１２の身体部位を駆動するアクチュエータは、電流を動力源とするモータに限らず適宜変更された、たとえば、他の実施例では、エアアクチュエータが適用されてもよい。   Further, the motor control board 66 receives control data from the CPU 60, and controls three motors that control the angles of the three orthogonal axes of the neck joint 48 (in FIG. 3, collectively indicated as "head motor 80"). Control the rotation angle. The motor control board 66 receives control data from the CPU 60 and controls the rotation angles of the two motors that drive the wheels 20 (collectively indicated as “wheel motors 24” in FIG. 3). In this embodiment, a motor other than the wheel motor 24 uses a stepping motor (that is, a pulse motor) in order to simplify the control. However, a DC motor may be used similarly to the wheel motor 24. The actuator that drives the body part of the robot 12 is not limited to a motor that uses a current as a power source, and may be changed as appropriate. For example, in another embodiment, an air actuator may be applied.

センサ入力／出力ボード６８もまた、同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ６０に与える。すなわち、赤外線距離センサ２８のそれぞれからの反射時間に関するデータがこのセンサ入力／出力ボード６８を通じてＣＰＵ６０に入力される。また、全方位カメラ３４からの映像信号が、必要に応じてセンサ入力／出力ボード６８で所定の処理を施してからＣＰＵ６０に入力される。眼カメラ５８からの映像信号も、同様にして、ＣＰＵ６０に入力される。また、上述した複数の接触センサ（図３では、まとめて「接触センサ４６」と示す）からの信号がセンサ入力／出力ボード６８を介してＣＰＵ６０に与えられる。   Similarly, the sensor input / output board 68 is also constituted by a DSP, and takes in signals from each sensor and gives them to the CPU 60. That is, data relating to the reflection time from each of the infrared distance sensors 28 is input to the CPU 60 through the sensor input / output board 68. The video signal from the omnidirectional camera 34 is input to the CPU 60 after being subjected to predetermined processing by the sensor input / output board 68 as necessary. Similarly, the video signal from the eye camera 58 is also input to the CPU 60. Further, signals from the plurality of contact sensors described above (collectively indicated as “contact sensors 46” in FIG. 3) are provided to the CPU 60 via the sensor input / output board 68.

音声入力／出力ボード７０もまた、同様に、ＤＳＰで構成され、ＣＰＵ６０から与えられる音声合成データに従った音声または声がスピーカ５２から出力される。また、マイク５４からの音声入力が、音声入力／出力ボード７０を介してＣＰＵ６０に与えられる。   Similarly, the voice input / output board 70 is also configured by a DSP, and voice or voice according to voice synthesis data provided from the CPU 60 is output from the speaker 52. Also, voice input from the microphone 54 is given to the CPU 60 via the voice input / output board 70.

また、ＣＰＵ６０は、バス６２を介して通信ＬＡＮボード８２に接続される。通信ＬＡＮボード８２は、ＤＳＰで構成され、ＣＰＵ６０から与えられた送信データを無線通信装置８４に与え、無線通信装置８４から送信データを、ネットワーク１００を介して外部コンピュータ（中央制御装置１４および操作端末１６など）に送信する。また、通信ＬＡＮボード８２は、無線通信装置８４を介してデータを受信し、受信したデータをＣＰＵ６０に与える。つまり、ロボット１２は、通信ＬＡＮボード８２および無線通信装置８４によって、中央制御装置１４および操作端末１６と無線通信を行うことができる。   The CPU 60 is connected to the communication LAN board 82 via the bus 62. The communication LAN board 82 is configured by a DSP and provides transmission data given from the CPU 60 to the wireless communication device 84, and sends the transmission data from the wireless communication device 84 to the external computer (the central control device 14 and the operation terminal via the network 100. 16). The communication LAN board 82 receives data via the wireless communication device 84 and gives the received data to the CPU 60. That is, the robot 12 can perform wireless communication with the central control device 14 and the operation terminal 16 by the communication LAN board 82 and the wireless communication device 84.

さらに、ＣＰＵ６０は、バス６２を介して無線タグ読取装置８６が接続される。無線タグ読取装置８６は、アンテナ（図示せず）を介して、無線タグ（ＲＦＩＤタグ）から送信される識別情報の重畳された電波を受信する。そして、無線タグ読取装置８６は、受信した電波信号を増幅し、当該電波信号から識別信号を分離し、当該識別情報を復調（デコード）してＣＰＵ６０に与える。無線タグは、イベント会場や家電量販店の販売フロアなどに居る人間に装着されており、無線タグ読取装置８６は、通信可能範囲内の無線タグを検出する。なお、無線タグは、アクティブ型であってもよいし、無線タグ読み取り装置８６から送信される電波に応じて駆動されるパッシブ型であってもよい。   Further, the wireless tag reader 86 is connected to the CPU 60 via the bus 62. The wireless tag reader 86 receives a radio wave superimposed with identification information transmitted from the wireless tag (RFID tag) via an antenna (not shown). The wireless tag reader 86 amplifies the received radio wave signal, separates the identification signal from the radio wave signal, demodulates (decodes) the identification information, and supplies the identification information to the CPU 60. The wireless tag is attached to a person in an event venue or a sales floor of a home appliance mass retailer, and the wireless tag reader 86 detects a wireless tag within a communicable range. Note that the wireless tag may be an active type or a passive type that is driven in accordance with radio waves transmitted from the wireless tag reader 86.

図１に戻って、中央制御装置１４は、当該ロボット遠隔操作システム１０におけるオペレータの呼び出しを制御するコンピュータであり、ロボット１２および操作端末１６の状態を示す情報を管理する。中央制御装置１４は、図示は省略するがＣＰＵを含み、ＣＰＵにはメモリやデータベース、通信装置などが接続されている。中央制御装置１４は、通信装置を介してネットワーク１００に有線または無線で接続されている。   Returning to FIG. 1, the central control device 14 is a computer that controls the call of the operator in the robot remote operation system 10, and manages information indicating the states of the robot 12 and the operation terminal 16. Although not shown, the central control device 14 includes a CPU, and a memory, a database, a communication device, and the like are connected to the CPU. The central control device 14 is connected to the network 100 via a communication device in a wired or wireless manner.

メモリには、当該中央制御装置１４の動作を制御するための制御プログラムおよび必要なデータが記憶される。制御プログラムは、たとえば、ロボット１２および操作端末１６のそれぞれとの間で必要なデータやコマンドを送受信するための通信プログラムおよびロボット１２からオペレータの呼び出し要求があったときに適切なオペレータ（操作端末１６）を選択するための選択プログラムなどを含む。   The memory stores a control program and necessary data for controlling the operation of the central controller 14. The control program includes, for example, a communication program for transmitting and receiving necessary data and commands between the robot 12 and the operation terminal 16, and an appropriate operator (operation terminal 16 when an operator call request is received from the robot 12. ) Including a selection program for selecting.

また、データベースには、ロボット１２の情報を示すロボット情報テーブル（図４参照）と、操作端末１６の情報を示すオペレータ端末情報テーブル（図５参照）とが記憶される。また、データベースには、イベント会場および家電量販店の販売フロアなどに存在する人間の情報（たとえば、無線タグの識別情報，使用言語および行動履歴）なども記憶される。   The database stores a robot information table (see FIG. 4) indicating information on the robot 12, and an operator terminal information table (see FIG. 5) indicating information on the operation terminal 16. The database also stores human information (for example, wireless tag identification information, language used, and action history) existing at event venues and sales floors of home appliance mass retailers.

図４を参照して、ロボット情報テーブルには、ロボット名，状態，位置および対話相手などの情報が記憶される。ロボット名の欄には、ロボット１２の名前（たとえば、Ｒ１，Ｒ２，…）が登録される。状態の欄には、該当するロボット１２の現在の状態が登録される。具体的には、「ＢＵＳＹ」または「ＩＤＬＥ」が登録される。ＢＵＳＹは、家電量販店の販売フロアにおいて人間と対話などのコミュニケーション行動を実行している状態などを意味する。ＩＤＬＥは人間と対話などのコミュニケーション行動を実行していない状態、すなわち、空いている状態を意味する。   Referring to FIG. 4, the robot information table stores information such as the robot name, state, position, and conversation partner. The name of the robot 12 (for example, R1, R2,...) Is registered in the robot name column. In the status column, the current status of the corresponding robot 12 is registered. Specifically, “BUSY” or “IDLE” is registered. BUSY means a state in which a communication action such as dialogue with a person is executed on the sales floor of a consumer electronics retailer. IDLE means a state in which a communication action such as dialogue with a person is not executed, that is, a free state.

図４に戻って、位置の欄には、当該ロボット１２の現在位置の情報が登録される。この実施例では、当該ロボット１２の配置された建物や会場などの場所を示す情報および当該場所においての当該ロボット１２が現在存在している位置の座標が登録される。具体的には、ロボット名「Ｒ１」に対応して、位置の欄に、「家電量販店」，「販売フロア」および「１２０，１４０」が登録されている。このことから、ロボット名「Ｒ１」のロボット１２は、「家電量販店」の「販売フロア」に配置され、その現在位置は、座標（１２０，１４０）で表される位置であることが分かる。   Returning to FIG. 4, information on the current position of the robot 12 is registered in the position column. In this embodiment, information indicating a place such as a building or a venue where the robot 12 is arranged, and coordinates of a position where the robot 12 currently exists in the place are registered. Specifically, “home appliance mass retailer”, “sales floor”, and “120, 140” are registered in the position column corresponding to the robot name “R1”. From this, it can be seen that the robot 12 with the robot name “R1” is placed on the “sales floor” of the “home appliance mass retailer” and its current position is a position represented by coordinates (120, 140).

なお、中央制御装置１４のメモリないしデータベースには、ロボット１２が配置される場所等の地図（マップ）データが記憶され、マップデータをＸＹ座標で表し、これによって、ロボット１２の位置を座標で表している。ただし、ロボット１２は移動するため、その移動制御量をロボット１２から得たり、別途環境センサ（カメラ，赤外線センサなど）を用いてロボット１２の位置を監視したりするようにしてもよい。   The memory or database of the central control unit 14 stores map (map) data such as a place where the robot 12 is arranged, and the map data is expressed in XY coordinates, thereby expressing the position of the robot 12 in coordinates. ing. However, since the robot 12 moves, the amount of movement control may be obtained from the robot 12, or the position of the robot 12 may be monitored using a separate environmental sensor (camera, infrared sensor, etc.).

対話相手の欄には、当該ロボット１２が現在コミュニケーション行動を実行している人間の情報が登録される。具体的には、対話相手の識別情報（ＩＤ）に対応付けて、名前（たとえば、山田太郎），使用言語（たとえば、日本語）および現在位置（座標）などが登録される。また、当該ロボット１２が人間と対話していない場合にはコミュニケーション行動を行う対象が存在しないことを表す「ＮＵＬＬ」が登録される。   In the dialogue partner column, information on the person who is currently performing the communication action of the robot 12 is registered. Specifically, a name (for example, Taro Yamada), a language to be used (for example, Japanese), a current position (coordinates), and the like are registered in association with identification information (ID) of the conversation partner. In addition, when the robot 12 is not interacting with a human, “NULL” indicating that there is no target for communication behavior is registered.

中央制御装置１４は、ロボット１２との通信によって当該ロボット１２の状態を示す情報，位置を示す情報および対話相手を示す情報などを一定時間ごとに取得して、ロボット情報テーブルを作成および更新する。図４には示していないが、たとえば、対話相手の来訪回数や来訪してからの経過時間およびロボット１２が当該相手にすでに実行した行動の履歴（たとえば、挨拶を済ませたなど）などの情報も必要に応じてデータベースから取得して適宜登録するようにしてもよい。なお、ロボット情報テーブルには、当該ロボット１２のアドレス（ＩＰアドレス）も登録されてもよい。   The central control device 14 creates and updates the robot information table by acquiring information indicating the state of the robot 12, information indicating the position, information indicating the conversation partner, and the like at regular intervals through communication with the robot 12. Although not shown in FIG. 4, for example, information such as the number of times the conversation partner has visited, the elapsed time since the visit, and the history of actions that the robot 12 has already performed on the partner (for example, greetings have been completed, etc.) If necessary, it may be acquired from the database and registered as appropriate. In the robot information table, the address (IP address) of the robot 12 may also be registered.

図５を参照して、オペレータ端末情報テーブルには、ＩＤ，名前，状態，所在地，ステータス値およびスキルリストなどの情報が登録される。ＩＤの欄には、操作端末１６またはこの操作端末１６を操作するオペレータを識別するための識別情報が登録される。この実施例では、ＩＤは数値で表される。ただし、「ｉｄ＿ｍａｘ」は、操作端末ないしオペレータの最大値に対応する定数である。名前の欄には、当該操作端末１６を操作するオペレータの名前が登録される。状態の欄には、当該操作端末１６の現在の状態が登録される。具体的には「ＩＤＬＥ」および「ＢＵＳＹ−Ｒ１」などが記載される。「ＩＤＬＥ」は、現在ロボット１２を操作せずに、中央制御装置１４からの呼び出し待ちの状態（待機の状態）を意味する。「ＢＵＳＹ」は、ロボット１２を遠隔操作している状態を意味し、たとえば、「ＢＵＳＹ−Ｒ１」と記載されている場合には、ロボット名「Ｒ１」のロボット１２を操作している状態であることが分かる。所在地の欄には、当該操作端末１６が設置されている場所（都道府県または地域など）が登録される。   Referring to FIG. 5, information such as ID, name, state, location, status value, and skill list is registered in the operator terminal information table. Identification information for identifying the operation terminal 16 or an operator who operates the operation terminal 16 is registered in the ID column. In this embodiment, the ID is represented by a numerical value. However, “id_max” is a constant corresponding to the maximum value of the operation terminal or the operator. In the name column, the name of the operator who operates the operation terminal 16 is registered. In the status column, the current status of the operation terminal 16 is registered. Specifically, “IDLE” and “BUSY-R1” are described. “IDLE” means a state of waiting for a call from the central control device 14 without operating the robot 12 (standby state). “BUSY” means a state where the robot 12 is remotely operated. For example, when “BUSY-R1” is described, the robot 12 having the robot name “R1” is operated. I understand that. The location (prefecture or region) where the operation terminal 16 is installed is registered in the location column.

ステータス値の情報は、さらに、経験，言語数およびスキル数の情報に分類される。このステータス値は、オペレータを検索するときに、ロボット遠隔操作システム１０の使用者によって任意に決められた条件（使用者条件）と対比される情報であり、使用者によって設定および変更が可能である。なお、オペレータ検索処理（図１３参照）の詳細については後述する。経験の欄には、ロボット１２の操作歴（年月）が登録される。言語数の欄には、当該オペレータが話すことのできる言語の数が登録される。たとえば、当該オペレータが、日本語，英語および独語を話すことができる場合には、言語数の欄には「３」が登録される。スキル数の欄には、オペレータが持つ能力や知識など（以下、「スキル」という。）の数が登録される。具体的なスキルの内容については、スキルリストに登録される。スキルリストの情報には、各オペレータのスキルが記述される。このスキルリストは、オペレータを選択するときに、ロボット１２が要求する条件と対比される。なお、オペレータ選択処理（図８−図１１参照）の詳細については後述する。   The status value information is further classified into information on experience, the number of languages, and the number of skills. This status value is information to be compared with conditions (user conditions) arbitrarily determined by the user of the robot remote control system 10 when searching for an operator, and can be set and changed by the user. . Details of the operator search process (see FIG. 13) will be described later. In the experience column, the operation history (year / month) of the robot 12 is registered. In the number of languages column, the number of languages that the operator can speak is registered. For example, when the operator can speak Japanese, English, and German, “3” is registered in the number of languages column. The number of skills, knowledge, etc. (hereinafter referred to as “skills”) possessed by the operator is registered in the skill number column. Specific skill contents are registered in the skill list. The skill list information describes the skill of each operator. This skill list is compared with conditions required by the robot 12 when selecting an operator. The details of the operator selection process (see FIGS. 8 to 11) will be described later.

スキルリストには、言語およびスキル１,スキル２,…，スキルＭ（Ｍ：自然数）の情報を含む。言語の欄には、当該オペレータが話すことのできる言語が登録される。スキル１,スキル２,…，スキルＭの欄には、当該オペレータのスキルとして、得意とする分野または担当する分野（内容）が登録される。なお、オペレータ端末情報テーブルには、操作端末１６のアドレス（ＩＰアドレス）も登録されてよい。   The skill list includes information on language, skill 1, skill 2,..., Skill M (M: natural number). In the language column, languages that the operator can speak are registered. In the fields of Skill 1, Skill 2,..., Skill M, a field of expertise or a field in charge (content) is registered as the skill of the operator. Note that the address (IP address) of the operation terminal 16 may also be registered in the operator terminal information table.

中央制御装置１４は、たとえば、操作端末１６との通信によって、当該操作端末１６の位置，状態，所在地，ステータス値およびスキルリストの情報を一定時間毎に取得して、オペレータ端末情報テーブルを生成および更新する。或いは、状態，所在地，ステータス値およびスキルリストの変更があった場合には、当該操作端末１６を操作するオペレータから中央制御装置１４の管理者に通知し、中央制御装置１４の管理者がオペレータ端末情報テーブルを生成および更新するようにしてもよい。   For example, the central control device 14 obtains information on the position, state, location, status value, and skill list of the operation terminal 16 at regular intervals by communication with the operation terminal 16, and generates an operator terminal information table. Update. Alternatively, when there is a change in the state, location, status value, and skill list, the operator operating the operation terminal 16 notifies the administrator of the central control device 14, and the administrator of the central control device 14 The information table may be generated and updated.

たとえば、このオペレータ端末情報テーブルを参照すると、ＩＤが「１」の操作端末１６は、「大阪」に設置されており、当該操作端末１６を操作するオペレータの名前が「山田」であることが分かる。また、当該オペレータ（山田）は、「日本語」を話すことができ、言語数は「１」であり、ロボット１２の操作歴が「３６ヶ月」であることが分かる。さらに、当該操作端末１６の現在の状態が「ＩＤＬＥ」であることが分かる。さらにまた、当該オペレータ（山田）のスキル数は「１」であり、スキル１の内容から「パソコン担当」であることが分かる。   For example, referring to this operator terminal information table, it can be seen that the operation terminal 16 with ID “1” is installed in “Osaka” and the name of the operator who operates the operation terminal 16 is “Yamada”. . The operator (Yamada) can speak “Japanese”, the number of languages is “1”, and the operation history of the robot 12 is “36 months”. Further, it can be seen that the current state of the operation terminal 16 is “IDLE”. Furthermore, the number of skills of the operator (Yamada) is “1”, and it can be seen from the contents of skill 1 that he is “person in charge of personal computer”.

同様に、ＩＤが「２」の操作端末１６は、「東京」に設置されており、当該操作端末１６を操作するオペレータの名前が「鈴木」であることが分かる。また、当該オペレータ（鈴木）は、「日本語」および「英語」を話すことができ、言語数は「２」であり、ロボット１２の操作歴は「２ヶ月」であることが分かる。さらに、当該操作端末１６の現在の状態が「ＩＤＬＥ」であることが分かる。さらにまた、当該オペレータ（鈴木）のスキル数は「２」であり、スキル１の内容から「ｉＰｏｄ担当」（「ｉＰｏｄ」は、登録商標である）であることが分かり、スキル２の内容から「ラグビー」の知識が有ることが分かる。   Similarly, the operation terminal 16 with the ID “2” is installed in “Tokyo”, and it is understood that the name of the operator who operates the operation terminal 16 is “Suzuki”. The operator (Suzuki) can speak “Japanese” and “English”, the number of languages is “2”, and the operation history of the robot 12 is “2 months”. Further, it can be seen that the current state of the operation terminal 16 is “IDLE”. Furthermore, the number of skills of the operator (Suzuki) is “2”, and the content of skill 1 indicates that “iPod is in charge” (“iPod” is a registered trademark). You can see that there is knowledge of "Rugby".

さらに、操作端末ＩＤが「ｉｄ＿ｍａｘ」の操作端末１６は、「福岡」に設置されており、当該操作端末１６を操作するオペレータの名前が「宮崎」であることが分かる。また、当該オペレータ（宮崎）は、「日本語」，「英語」および「独語」を話すことができ、言語数は「３」であり、ロボット１２の操作歴は「１２ヶ月」であることが分かる。さらに、当該操作端末１６の現在状態が「ＢＵＳＹ−Ｒ１」（ロボットＲ１を操作している状態）であることが分かる。さらにまた、当該オペレータ（宮崎）のスキル数は「Ｍ」であり、スキル１の内容から「家電担当」であることが分かり、スキル２の内容から「サッカー」の知識が有ることが分かり、スキルＭの内容から「野球」の知識が有ることが分かる。   Further, it is understood that the operation terminal 16 having the operation terminal ID “id_max” is installed in “Fukuoka”, and the name of the operator who operates the operation terminal 16 is “Miyazaki”. The operator (Miyazaki) can speak “Japanese”, “English”, and “German”, the number of languages is “3”, and the operation history of the robot 12 is “12 months”. I understand. Further, it can be seen that the current state of the operation terminal 16 is “BUSY-R1” (a state in which the robot R1 is being operated). Furthermore, the number of skills of the operator (Miyazaki) is “M”. From the contents of skill 1, it is understood that the person is “in charge of home appliances”, and from the contents of skill 2, it is understood that there is knowledge of “soccer”. It can be seen from the contents of M that there is knowledge of “baseball”.

なお、図示は省略するが、操作端末１６をオペレータが操作していない場合（オフラインの場合）は、「ＮＵＬＬ」（すなわち、遠隔操作不能な状態）と登録されてもよい。   Although illustration is omitted, when the operation terminal 16 is not operated by the operator (when offline), “NULL” (that is, a state in which remote operation is not possible) may be registered.

図１に示した操作端末１６は、コンピュータであり、図示は省略するがＣＰＵを含み、ＣＰＵにはメモリ，表示装置，入力装置，スピーカ，マイクおよび通信装置などが接続される。操作端末１６は、通信装置を介してネットワーク１００に有線または無線で接続されている。メモリには、当該操作端末１６の動作を制御するための制御プログラムおよび必要なデータが記録される。制御プログラムは、たとえば、ロボット１２および中央制御装置１４との間で必要なデータやコマンドを送受信するための通信プログラム、入力装置から入力された操作コマンドを検出する検出プログラムおよび表示装置に画像などを表示するための表示プログラムなどを含む。   The operation terminal 16 shown in FIG. 1 is a computer and includes a CPU (not shown). A memory, a display device, an input device, a speaker, a microphone, a communication device, and the like are connected to the CPU. The operation terminal 16 is connected to the network 100 via a communication device in a wired or wireless manner. In the memory, a control program and necessary data for controlling the operation of the operation terminal 16 are recorded. The control program includes, for example, a communication program for transmitting and receiving necessary data and commands between the robot 12 and the central control device 14, a detection program for detecting an operation command input from the input device, and an image on the display device. Includes a display program for display.

表示装置は、ＬＣＤやＣＲＴであり、この表示装置には、後述するように、ＧＵＩとしてロボットカメラ画像２１２，ロボット情報２１４および操作パネル２１６などを含む遠隔操作画面２１０（図６参照）が表示される。入力装置はコンピュータマウス，キーボードおよびタッチパネルなどである。たとえば、オペレータは、表示装置に表示された遠隔操作画面２１０を見て入力装置を操作することによって、ロボット１２を遠隔操作するための遠隔操作コマンドを入力することができる。スピーカは、主として遠隔操作するロボット１２のマイク５４を通して検出された人間の音声を出力する。さらに、マイクは、主として、オペレータの音声を検出し、オペレータの音声はロボット１２のスピーカ５２を通じて出力される。   The display device is an LCD or CRT. As will be described later, a remote operation screen 210 (see FIG. 6) including a robot camera image 212, robot information 214, an operation panel 216, and the like is displayed on the display device. The The input device is a computer mouse, a keyboard, a touch panel, or the like. For example, the operator can input a remote operation command for remotely operating the robot 12 by operating the input device while viewing the remote operation screen 210 displayed on the display device. The speaker outputs a human voice mainly detected through the microphone 54 of the robot 12 that is remotely operated. Further, the microphone mainly detects the voice of the operator, and the voice of the operator is output through the speaker 52 of the robot 12.

図６を参照して、この遠隔操作画面２１０では、たとえば、ロボットカメラ画像２１２、ロボット情報２１４および操作パネル２１６が表示される。ロボットカメラ画像２１２には、ロボット１２から受信した眼カメラ５８の撮影画像が表示される。これによって、オペレータは、ロボット１２の眼カメラ５８が捕らえている画像、たとえば、対話している人間をリアルタイムで見ることができる。   Referring to FIG. 6, on remote operation screen 210, for example, robot camera image 212, robot information 214, and operation panel 216 are displayed. In the robot camera image 212, a captured image of the eye camera 58 received from the robot 12 is displayed. Thus, the operator can see an image captured by the eye camera 58 of the robot 12, for example, a human being interacting in real time.

ロボット情報２１４には、当該ロボット１２の情報、状況および対話相手の情報などが表示される。具体的には、当該ロボット１２の配置された場所（イベント会場や家電量販店など），名前（もしくは識別情報），配置された場所の地図および対話している人間の情報が表示される。地図には、ロボット１２および対話相手を示すアイコンが各存在位置に対応して表示される。これによって、ロボット１２が設置場所のどこに存在しているのか、対話相手がロボット１２に対してどこに存在しているのかなどを、オペレータは容易に把握することができる。   In the robot information 214, information on the robot 12, the situation, information on the conversation partner, and the like are displayed. Specifically, the place where the robot 12 is placed (such as an event venue or a home appliance mass retailer), the name (or identification information), a map of the place where the robot 12 is placed, and information on the person who is interacting are displayed. On the map, icons indicating the robot 12 and the conversation partner are displayed corresponding to each location. Accordingly, the operator can easily grasp where the robot 12 is located at the installation location and where the conversation partner is located with respect to the robot 12.

なお、操作端末１６は、地図情報を予め記憶しておいてもよいし、中央制御装置１４から当該ロボット１２に関する情報とともに受信するようにしてもよい。また、ロボット１２および対話相手の位置は、たとえばロボット１２から一定時間ごとに操作端末１６に送信される。ロボット１２は、初期の配置位置および向きを記憶しているので、自分の現在の位置および向きを常に把握し、赤外線距離センサ２８の出力情報と自分の位置などから対話相手のおよその位置を推定できる。また、地図には、その場所に存在する対話相手以外の人間を示すアイコンも表示されてよい。この場合には、オペレータはその場所におけるロボット１２の状況をさらに詳細に知ることができる。   The operation terminal 16 may store map information in advance or may receive the map information together with information related to the robot 12 from the central control device 14. The positions of the robot 12 and the conversation partner are transmitted from the robot 12 to the operation terminal 16 at regular intervals, for example. Since the robot 12 stores the initial position and orientation, the robot 12 always knows its current position and orientation, and estimates the approximate position of the conversation partner from the output information of the infrared distance sensor 28 and its own position. it can. In addition, an icon indicating a person other than the conversation partner existing at the place may be displayed on the map. In this case, the operator can know the situation of the robot 12 at the location in more detail.

また、ロボット１２の配置場所における人間の位置情報は、周囲に設置された天井カメラまたは無線タグ読取装置などのような環境のセンサを用いて、当該環境のセンサと接続された他のコンピュータで検出してよく、当該他のコンピュータからロボット１２に与え、ロボット１２から操作端末１６に送信されてもよい。または、当該位置情報は上述の他のコンピュータから中央制御装置１４を経由して、操作端末１６に送信されてもよい。また、環境のセンサによってロボット１２の位置なども検出可能であるので、ロボット１２は、自分の位置および向きなどの情報も、人間の位置情報などとともに上述の他のコンピュータから取得してもよい。   Further, the position information of the person at the location where the robot 12 is arranged is detected by another computer connected to the sensor of the environment using a sensor of the environment such as a ceiling camera or a wireless tag reader installed in the surroundings. Alternatively, it may be given from the other computer to the robot 12 and transmitted from the robot 12 to the operation terminal 16. Alternatively, the position information may be transmitted from the other computer described above to the operation terminal 16 via the central control device 14. In addition, since the position of the robot 12 and the like can be detected by the environmental sensor, the robot 12 may acquire information such as its own position and orientation from the above-mentioned other computer together with the human position information.

また、対話している人間の情報としては、名前，所属（たとえば、カウンターの人間や来客），来店回数，前回の来店日，今回の来店後の経過時間およびロボット１２が当該相手にすでに行ったコミュニケーション行動の履歴などが表示される。これによって、オペレータは、ロボット１２の対話相手の情報を知ることができる。対話相手の情報は、中央制御装置１４から操作端末１６に送信される。なお、これらオペレータに提示される情報は一例であり、ロボット情報２１４には適宜適切な情報が表示される。このようなロボット情報２１４によって、オペレータは、ロボット１２および対話相手の情報ならびに両者の置かれている状況などを容易に把握することができる。   In addition, as information of the person who is interacting, the name, affiliation (for example, counter person or visitor), the number of visits to the store, the date of the previous visit, the elapsed time since this visit, and the robot 12 has already performed for the partner. A history of communication behavior is displayed. As a result, the operator can know information on the conversation partner of the robot 12. Information on the conversation partner is transmitted from the central controller 14 to the operation terminal 16. Note that the information presented to these operators is an example, and appropriate information is appropriately displayed in the robot information 214. With such robot information 214, the operator can easily grasp the information of the robot 12 and the conversation partner and the situation where both are placed.

さらに、ロボット１２と対話相手が話している場合には、ロボット１２から音声情報が送信されて、操作端末１６のスピーカから当該音声が出力される。したがって、オペレータは、さらに対話相手の言葉を聞くことによって、現在の状況をより容易に把握することができる。また、オペレータは、遠隔操作画面でロボット１２の状況を確認しながら、対話相手からの質問の内容を容易に判断することができるため、質問に対する回答を操作端末１６およびロボット１２を介して、対話相手に答えることができる。   Further, when the robot 12 and the conversation partner are talking, voice information is transmitted from the robot 12 and the voice is output from the speaker of the operation terminal 16. Therefore, the operator can grasp the current situation more easily by further listening to the conversation partner's words. In addition, since the operator can easily determine the contents of the question from the conversation partner while confirming the status of the robot 12 on the remote operation screen, the answer to the question is interactively communicated via the operation terminal 16 and the robot 12. You can answer the other party.

操作パネル２１６では、オペレータが入力装置を操作することにより、ロボット１２の動作を制御する操作コマンドが入力される。たとえば、図６に示すように、操作パネル２１６には、移動を指示するためのボタン，コミュニケーション行動を指示するためのボタンおよび遠隔操作の終了を指示するためのボタンなどが設けられる。具体的には、「前進」ボタンは、ロボット１２を前進させるためのボタンである。オペレータが、「前進」ボタンを選択すると、ロボット１２は、たとえば、一定距離だけ前進する。同様に、「後退」ボタンはロボット１２を後退させ、「右」ボタンはロボット１２を右旋回させ、「左」ボタンはロボット１２を左旋回させる。また、「お辞儀」ボタンは、ロボット１２にお辞儀というコミュニケーション行動を実行させるためのボタンである。具体的には、オペレータが「お辞儀」ボタンを選択すると、ロボット１２は、首関節４８を制御して頭部５０を下に向け、すなわち、お辞儀をする。また、「右指差し」のボタンは、ロボット１２に右指差しというコミュニケーション行動を実行させためのボタンである。具体的には、オペレータが「右指差し」のボタンを選択すると、ロボット１２は、右肩関節３６Ｒおよび右肘関節４０Ｒを制御して腕を前方に上げる。同様にして、操作パネル２１６に表示されたボタンをオペレータが選択することにより、ロボット１２に、うなずき、左指差しなどの身振りや発話を含む所定のコミュニケーション行動を実行させることができる。また、「終了」ボタンは、遠隔操作を終了させるためのボタンである。オペレータが「終了」ボタンを選択すると、ロボット１２は遠隔操作モードから自律制御モードに移行する。   On the operation panel 216, an operation command for controlling the operation of the robot 12 is input by the operator operating the input device. For example, as shown in FIG. 6, the operation panel 216 is provided with a button for instructing movement, a button for instructing communication behavior, a button for instructing the end of remote operation, and the like. Specifically, the “forward” button is a button for moving the robot 12 forward. When the operator selects the “forward” button, the robot 12 moves forward, for example, by a certain distance. Similarly, the “reverse” button causes the robot 12 to retract, the “right” button causes the robot 12 to turn right, and the “left” button causes the robot 12 to turn left. The “bow” button is a button for causing the robot 12 to execute a communication action of bowing. Specifically, when the operator selects the “bow” button, the robot 12 controls the neck joint 48 and turns the head 50 downward, that is, bows. The “right pointing” button is a button for causing the robot 12 to execute a communication action of pointing right. Specifically, when the operator selects the “right finger” button, the robot 12 controls the right shoulder joint 36R and the right elbow joint 40R to raise the arm forward. Similarly, when the operator selects a button displayed on the operation panel 216, the robot 12 can execute a predetermined communication action including gestures and speech such as nodding and pointing left. The “end” button is a button for ending the remote operation. When the operator selects the “end” button, the robot 12 shifts from the remote operation mode to the autonomous control mode.

操作端末１６は、中央制御装置１４に選ばれたオペレータに基づいて呼び出される。対話相手の質問は、ロボット１２のマイク５４によって取得され、ネットワーク１００を介してスピーカから出力される。オペレータは、対話相手がした質問を聞くと、操作パネル２１６に対応するコミュニケーション行動や、オペレータ自身の音声などで対話相手の質問に答えることで対応する。   The operation terminal 16 is called based on the operator selected by the central controller 14. The question of the conversation partner is acquired by the microphone 54 of the robot 12 and is output from the speaker via the network 100. When the operator hears the question asked by the conversation partner, the operator responds by answering the question of the conversation partner with the communication behavior corresponding to the operation panel 216 or the operator's own voice.

このロボット遠隔操作システム１０では、上述したように、ロボット１２は、通常、自律制御によって、人間との間でコミュニケーション行動を行い、受付や案内などのサービスを提供する。しかし、自律制御だけでは対応することが難しい状況になった場合など、必要に応じて、当該ロボット１２は、操作端末１６つまりオペレータを呼び出す。ロボット１２には、図示は省略するが、オペレータを呼び出すための条件（オペレータ呼出条件）が予めメモリ６４に記憶されている。ロボット１２は、オペレータ呼出条件を満足すると判定した場合に、オペレータを呼び出す。ロボット１２は、中央制御装置１４にオペレータの呼出要求を送信する。中央制御装置１４は、オペレータの呼出要求を受けると、オペレータを選択する。簡単に説明すると、ロボット１２が対話（コミュニケーション）する人間が要求する条件（質問など）を検出し、この条件に合致する１または複数のオペレータを選択する。そして、選択したオペレータにロボット情報を送信して、各オペレータが操作する操作端末１６とロボット１２とを通信可能に接続される。   In the robot remote operation system 10, as described above, the robot 12 usually performs communication behavior with humans by autonomous control and provides services such as reception and guidance. However, the robot 12 calls the operation terminal 16, that is, the operator as necessary, such as when it becomes difficult to deal with by autonomous control alone. Although not shown, the robot 12 stores in advance a condition for calling an operator (operator calling condition) in the memory 64. When it is determined that the operator calling condition is satisfied, the robot 12 calls the operator. The robot 12 transmits an operator call request to the central controller 14. When the central control device 14 receives a call request from the operator, the central control device 14 selects the operator. Briefly, a condition (question or the like) required by a person with whom the robot 12 interacts (communications) is detected, and one or a plurality of operators that meet this condition are selected. Then, the robot information is transmitted to the selected operator, and the operation terminal 16 operated by each operator and the robot 12 are communicably connected.

具体的には、中央制御装置１４のＣＰＵは、図７−図１４に示す処理を含む、複数の処理を並行的に実行する。また、ロボット１２のＣＰＵ６０は、図１６−図１８に示す処理を含む、複数の処理を並行的に実行する。さらに、操作端末１６のＣＰＵは、図１９に示す遠隔操作対応処理を含む、複数の処理を並行的に実行する。   Specifically, the CPU of the central control device 14 executes a plurality of processes in parallel, including the processes shown in FIGS. Further, the CPU 60 of the robot 12 executes a plurality of processes in parallel including the processes shown in FIGS. Furthermore, the CPU of the operation terminal 16 executes a plurality of processes in parallel including the remote operation handling process shown in FIG.

図７に示すように、中央制御装置１４のＣＰＵは、全体処理を開始すると、ステップＳ１で、各操作端末１６の状態を取得し、テーブルを更新する。具体的には、中央制御装置１４のＣＰＵは、各操作端末１６から、その位置，オペレータの情報および現在の使用状況などを含む情報を取得し、図５に示したようなオペレータ端末情報テーブルを更新する。次のステップＳ３では、各ロボット１２の状態を取得し、テーブルを更新する。具体的には、中央制御装置１４のＣＰＵは、各ロボット１２から、当該ロボット１２の位置，現在の作動状態および対話相手の情報などを含む情報を取得し、図４に示したようなロボット情報テーブルを更新する。   As shown in FIG. 7, when starting the overall processing, the CPU of the central control device 14 acquires the state of each operation terminal 16 and updates the table in step S1. Specifically, the CPU of the central control unit 14 acquires information including the position, operator information, current usage status, and the like from each operation terminal 16, and creates an operator terminal information table as shown in FIG. Update. In the next step S3, the state of each robot 12 is acquired and the table is updated. Specifically, the CPU of the central controller 14 acquires information including the position of the robot 12, the current operating state, information on the conversation partner, and the like from each robot 12, and the robot information as illustrated in FIG. 4. Update the table.

続いて、ステップＳ５では、ロボットｘからの呼び出しがあるか否か、すなわち、或るロボット１２からのオペレータ呼び出し要求を受信したか否かを判断する。ここでは、「ロボットｘ」は、複数台のロボット１２のうちの或る１台のロボット１２を意味する。ステップＳ５でＮＯであれば、すなわちロボットｘからの呼び出しが無ければ、ステップＳ１５で、全体処理を終了するか否かを判断する。ここでは、たとえば、ロボット遠隔操作システム１０の使用者ないし中央制御装置１４の管理者から終了指示が与えられたかどうかを判断する。ステップＳ１５でＹＥＳであれば、つまり終了指示があれば、そのまま全体処理を終了する。一方、ステップＳ１５でＮＯであれば、つまり終了指示がなければ、ステップＳ１に戻る。このように、中央制御装置１４では、オペレータ操作端末テーブルの更新、ロボット情報テーブルの更新および呼び出し要求の有無の判断が一定時間毎に繰り返し実行される。   Subsequently, in step S5, it is determined whether there is a call from the robot x, that is, whether an operator call request from a certain robot 12 is received. Here, “robot x” means one of the plurality of robots 12. If “NO” in the step S5, that is, if there is no call from the robot x, it is determined whether or not the entire process is ended in a step S15. Here, for example, it is determined whether or not an end instruction is given from the user of the robot remote control system 10 or the administrator of the central controller 14. If “YES” in the step S15, that is, if there is an end instruction, the entire process is ended as it is. On the other hand, if “NO” in the step S15, that is, if there is no end instruction, the process returns to the step S1. As described above, in the central control device 14, the update of the operator operation terminal table, the update of the robot information table, and the determination of the presence / absence of a call request are repeatedly executed at regular intervals.

また、ステップＳ５でＹＥＳであれば、すなわちロボットｘからの呼び出しがあれば、ステップＳ７で、後述するオペレータ選択処理（図８−図１１参照）を行う。次のステップＳ９では、オペレータＯＰｋが選択されたか否かを判断する。この「オペレータＯＰk」は、オペレータ選択処理で選択された１または複数のオペレータを意味する。ただし、オペレータが選択されていない場合もある。つまり、変数ｋは０，１，…，ｊ（最大値）のいずれかの値を取る。ステップＳ９でＮＯであれば、すなわち、１人もオペレータＯＰｋが選択されていない場合には、ステップＳ１３で、オペレータの呼び出しを要求してきたロボットｘに「エラー」を送信して、ステップＳ１５に進む。つまり、中央制御装置１４のＣＰＵは、ロボットｘを操作するオペレータＯＰｋ（操作端末１６）が存在しないことをロボット１２に伝える。 If YES in step S5, that is, if there is a call from the robot x, an operator selection process (see FIGS. 8 to 11) described later is performed in step S7. In the next step S9, it is determined whether or not the operator OP k has been selected. The “operator OP k ” means one or more operators selected in the operator selection process. However, the operator may not be selected. That is, the variable k takes one of 0, 1,..., J (maximum value). If “NO” in the step S9, that is, if no operator OP k is selected, an “error” is transmitted to the robot x that has requested the operator to be called in a step S13, and the process proceeds to the step S15. move on. That is, the CPU of the central controller 14 informs the robot 12 that there is no operator OP k (operation terminal 16) that operates the robot x.

一方、ステップＳ９でＹＥＳであれば、すなわち、オペレータの呼び出しを要求してきたロボットｘを操作するオペレータＯＰｋ（操作端末１６）が選択された場合には、ステップＳ１１で、後述するセンサ情報選択処理（図１４参照）を実行して、ステップＳ１５に進む。このステップＳ１１では、ロボットｘと、オペレータＯＰｋが操作する操作端末１６との通信速度によって、ロボットｘから当該操作端末１６に送信するセンサ情報（データの種類）を選択することにより、データ量が調整される。これは、通信時間の遅延を防止するためである。 On the other hand, if “YES” in the step S9, that is, if the operator OP k (the operation terminal 16) that operates the robot x that has requested the operator to call is selected, a sensor information selection process described later is performed in a step S11. (See FIG. 14) is executed, and the process proceeds to step S15. In step S11, the amount of data is reduced by selecting sensor information (data type) to be transmitted from the robot x to the operation terminal 16 according to the communication speed between the robot x and the operation terminal 16 operated by the operator OP k. Adjusted. This is to prevent a delay in communication time.

図８−図１１は、図７に示したステップＳ７のオペレータ選択処理を示すフロー図である。図８に示すように、中央制御装置１４のＣＰＵは、オペレータ選択処理開始すると、ステップＳ３１で、変数を初期化する。具体的には、変数ｋおよび変数ｊのそれぞれに１が設定され、変数ｊｐｎ，変数ｅｎｇおよび変数ｄｅｕのそれぞれに０が設定される。ここで、変数ｋは選択されたオペレータＯＰｋを個別に識別するための変数であり、変数ｊは選択されたオペレータＯＰｋの人数のカウント値（総数）を示す。また、変数ｊｐｎはロボットｘが対話している人間の音声から日本語らしさ演算をした演算結果を格納し、変数ｅｎｇはロボットｘが対話している人間の音声から英語らしさ演算をした演算結果を格納し、そして、変数ｄｅｕはロボットｘが対話している人間の音声からドイツ語らしさ演算をした演算結果を格納する。 FIGS. 8-11 is a flowchart which shows the operator selection process of step S7 shown in FIG. As shown in FIG. 8, when starting the operator selection process, the CPU of the central controller 14 initializes variables in step S31. Specifically, 1 is set for each of variable k and variable j, and 0 is set for each of variable jpn, variable eng, and variable deu. Here, the variable k is a variable for individually identifying the selected operator OP k , and the variable j indicates the count value (total number) of the number of the selected operator OP k . The variable jpn stores the calculation result obtained by calculating the Japanese character from the voice of the person interacting with the robot x, and the variable eng indicates the calculation result of calculating the English character from the voice of the person interacting with the robot x. The variable deu stores the calculation result obtained by calculating the German-likeness from the human voice with which the robot x is interacting.

続いて、ステップＳ３３では、条件リストＬおよび残存条件リストＬＡを初期化する。つまり、条件リストＬおよび残存条件リストＬＡに含まれる条件が全て消去される。条件リストＬには、オペレータを検索するための１または複数の条件が記述される。この実施例では、条件リストＬは、条件（Ｌ０＋ＬｉＬ）（ｉＬ＝１，２，…，ＬＮ）と表される。条件Ｌ０は、言語についての条件であり、この実施例では、日本語，英語およびドイツ語のいずれかが設定される。また、条件ＬｉＬは言語以外の他の条件であり、変数ｉＬによって個別に識別される。 Subsequently, in step S33, the condition list L and the remaining condition list LA are initialized. That is, all the conditions included in the condition list L and the remaining condition list LA are deleted. The condition list L describes one or more conditions for searching for an operator. In this embodiment, the condition list L is expressed as a condition (L 0 + L iL ) (iL = 1, 2,..., LN). Conditions L 0 is a condition of the language, in this example, Japanese, one of the English and German are set. The condition L iL is a condition other than language, and is individually identified by the variable iL.

次のステップＳ３５では、ロボットｘに音声入力が有るか否かを判断する。つまり、中央制御装置１４のＣＰＵは、対話相手の音声がロボットｘで検出され、検出された音声に対応する音声信号がロボットｘから送信され、その音声信号を受信したか否かを判断する。ステップＳ３５でＮＯであれば、つまりロボットｘに音声入力が無ければ、ステップＳ３７で、ロボットｘに音声の出力を指示して、ステップＳ３５に戻る。ステップＳ３７では、たとえば、「何か御用でしょうか？」などのように、対話相手に発話させるような音声をロボット１２から出力させるためのコマンドがロボットｘに送信される。このようにして、中央制御装置１４のＣＰＵは、対話相手の質問（要求）を聞き出して、条件リストＬを作成するのである。   In the next step S35, it is determined whether or not the robot x has a voice input. That is, the CPU of the central control device 14 determines whether or not the voice of the conversation partner is detected by the robot x, a voice signal corresponding to the detected voice is transmitted from the robot x, and the voice signal is received. If “NO” in the step S35, that is, if there is no voice input to the robot x, the robot x is instructed to output a voice in a step S37, and the process returns to the step S35. In step S37, for example, a command for causing the robot 12 to output a voice that causes the conversation partner to speak is sent to the robot x, such as "What is it for?" In this way, the CPU of the central control device 14 listens to questions (requests) of the conversation partner and creates the condition list L.

また、ステップＳ３５でＹＥＳであれば、つまり、ロボットｘに音声入力があれば、ステップＳ４１で、日本語らしさ演算を行う。ここで、日本語らしさ演算とは、ロボットｘの対話相手の言語がどれだけ日本語に近いかの割合を求める演算である。具体的には、中央制御装置１４のＣＰＵは、受信した音声信号を、日本語用辞書を用いてＤＰマッチング法やＨＭＭ（隠れマルコフモデル）法により音声認識し、認識結果とそのスコア（近似度ないし正確さを示す割合）とを得る。次のステップＳ４３では、演算結果を変数ｊｐｎに格納する。ここでは、上述のようにして演算した結果のうち、スコアを日本語らしさとして変数ｊｐｎに格納する。   If “YES” in the step S35, that is, if there is a voice input to the robot x, a Japanese-likeness calculation is performed in a step S41. Here, the Japanese-likeness calculation is an operation for obtaining a ratio of how close the language of the conversation partner of the robot x is to Japanese. Specifically, the CPU of the central control unit 14 recognizes the received voice signal by the DP matching method or the HMM (Hidden Markov Model) method using a Japanese dictionary, and the recognition result and its score (approximation degree). Or a ratio indicating accuracy). In the next step S43, the calculation result is stored in the variable jpn. Here, among the results calculated as described above, the score is stored in the variable jpn as Japanese-likeness.

続くステップＳ４５では、英語らしさ演算を行う。ここでは、中央制御装置１４のＣＰＵは、英語用辞書を用いて、ステップＳ４１と同様の方法で音声認識し、認識結果とそのスコアとを得る。そして、ステップＳ４７で、演算結果（スコア）を英語らしさとして変数ｅｎｇに格納する。図９に示すように、次のステップＳ４９では、ドイツ語らしさ演算を行う。ここでは、中央制御装置１４のＣＰＵは、ドイツ語用辞書を用いて、ステップＳ４１と同様の方法で音声認識し、認識結果とスコアとを得る。次のステップＳ５１では、演算結果（スコア）をドイツ語らしさとして変数ｄｅｕに格納する。   In the following step S45, English-likeness calculation is performed. Here, the CPU of the central control device 14 performs speech recognition using the English dictionary in the same manner as in step S41, and obtains a recognition result and its score. In step S47, the calculation result (score) is stored in the variable eng as English-likeness. As shown in FIG. 9, in the next step S49, a German-likeness calculation is performed. Here, the CPU of the central controller 14 performs speech recognition using the German dictionary in the same manner as in step S41, and obtains a recognition result and a score. In the next step S51, the calculation result (score) is stored in the variable deu as German-likeness.

次のステップＳ５３では、変数ｊｐｎが変数ｅｎｇよりも大きいか否かを判断する。つまり、ここでは、中央制御装置１４のＣＰＵは、ロボットｘの対話相手の言語が日本語または英語のどちらに近いのかを判断する。ここでＹＥＳであれば、つまり変数ｊｐｎが変数ｅｎｇよりも大きければ、ロボットｘの対話相手の言語が英語よりも日本語に近いと判断し、ステップＳ５５で、変数ｊｐｎが変数ｄｅｕよりも大きいか否かを判断する。つまり、ここでは、中央制御装置１４のＣＰＵは、ロボットｘの対話相手の言語が日本語またはドイツ語のどちらに近いのかを判断する。   In the next step S53, it is determined whether or not the variable jpn is larger than the variable eng. That is, here, the CPU of the central controller 14 determines whether the language of the conversation partner of the robot x is close to Japanese or English. If YES here, that is, if variable jpn is larger than variable eng, it is determined that the language of the conversation partner of robot x is closer to Japanese than English, and whether variable jpn is larger than variable deu in step S55. Judge whether or not. That is, here, the CPU of the central controller 14 determines whether the language of the conversation partner of the robot x is close to Japanese or German.

ステップＳ５５でＹＥＳであれば、つまり変数ｊｐｎが変数ｄｅｕよりも大きければ、ロボットｘの対話相手の言語がドイツ語よりも日本語に近いと判断し、ステップＳ５７で、条件Ｌ０を日本語に設定して、ステップＳ６５に進む。一方、ステップＳ５５でＮＯであれば、つまり変数ｊｐｎが変数ｄｅｕ以下であれば、ロボットｘの対話相手の言語が日本語よりもドイツ語に近いと判断し、ステップＳ６１で、条件Ｌ０をドイツ語に設定して、ステップＳ６５に進む。 If YES in the step S55, that is, if the variable jpn is greater than the variable deu, dialogue partner of the language of the robot x is determined that the closer to the Japanese than German, in step S57, the condition L 0 to Japanese Set and proceed to step S65. On the other hand, if NO in step S55, that is, if variable jpn is equal to or smaller than variable deu, it is determined that the language of the conversation partner of robot x is closer to German than Japanese, and in step S61, condition L 0 is set to German. Set the word and go to step S65.

また、上述したステップＳ５３でＮＯであれば、つまり変数ｊｐｎが変数ｅｎｇ以下であれば、ロボットｘの対話相手の言語が日本語よりも英語に近いと判断し、ステップＳ５９で、変数ｅｎｇが変数ｄｅｕよりも大きいか否かを判断する。ここでは、中央制御装置１４のＣＰＵは、ロボットｘの対話相手の言語が英語またはドイツ語のどちらに近いのかを判断する。   If NO in step S53 described above, that is, if the variable jpn is equal to or smaller than the variable eng, it is determined that the language of the conversation partner of the robot x is closer to English than Japanese, and the variable eng is a variable in step S59. It is determined whether it is larger than deu. Here, the CPU of the central controller 14 determines whether the language of the conversation partner of the robot x is close to English or German.

ステップＳ５９でＹＥＳであれば、つまり変数ｅｎｇが変数ｄｅｕよりも大きければ、ロボットｘの対話相手の言語がドイツ語よりも英語に近いと判断し、ステップＳ６３で、条件Ｌ０を英語に設定して、ステップＳ６５に進む。一方、ステップＳ５９でＮＯであれば、つまり変数ｅｎｇが変数ｄｅｕ以下であれば、ロボットｘの対話相手の言語が英語よりもドイツ語に近いと判断し、ステップＳ６１に進む。 If YES in the step S59, that is, greater than the variable eng is variable deu, dialogue partner of the language of the robot x is determined that the closer to the English than German, in step S63, to set the conditions L 0 in English Then, the process proceeds to step S65. On the other hand, if NO in step S59, that is, if the variable eng is equal to or smaller than the variable deu, it is determined that the language of the conversation partner of the robot x is closer to German than English, and the process proceeds to step S61.

続いて、ステップＳ６５で、後述する条件リスト作成処理（図１２参照）を実行し、ステップＳ６７で、後述するオペレータ検索処理（図１３参照）を実行し、図１０に示すステップＳ６９では、ステップＳ６７で検索されたオペレータＯＰｋ（ｋ＝１）が条件リストＬの全ての条件を満たしているか否かを判断する。つまり、中央制御装置１４のＣＰＵは、検索された１人目のオペレータＯＰｋの言語およびスキルが、条件リストＬのすべての条件に合致するか、または包含しているかを判断するのである。 Subsequently, in step S65, a condition list creation process (see FIG. 12) described later is executed, an operator search process (see FIG. 13) described later is executed in step S67, and in step S69 shown in FIG. 10, step S67 is executed. It is determined whether or not the operator OP k (k = 1) retrieved in step 1 satisfies all the conditions in the condition list L. That is, the CPU of the central controller 14 determines whether the language and skill of the searched first operator OP k matches or includes all the conditions in the condition list L.

ステップＳ６９でＹＥＳであれば、つまり１人目のオペレータＯＰｋが条件リストＬのすべての条件を満たす場合には、そのまま図１１に示すステップＳ８３に進む。一方、ステップＳ６９でＮＯであれば、つまり、１人目のオペレータＯＰｋでは、条件リストＬの一部の条件しか満たしていない場合には、ステップＳ７１で、残存条件リストＬＡを作成する。つまり、オペレータＯＰｋが満たしていない残りの条件についてのリスト（残存条件リストＬＡ）を作成（更新）する。ここで、残存条件リストＬＡは、残存条件（ＬＡ０＋ＬＡｉＬＡ）（ｉＬＡ＝１，２，…，ＬＡＮ）と表すことができる。残存条件ＬＡ０は、言語についての条件であり、条件Ｌ０と一致する。また、残存条件ＬＡｉＬＡは言語以外の他の条件である。ただし、変数ＬＮＡは、言語以外の残存条件ＬＡｉＬＡの最大値（最大数）を示す。具体的には、残存条件リストＬＡは、数１および数２に従って作成（更新）される。
［数１］
残存条件ＬＡ０＝条件Ｌ０
［数２］
残存条件ＬＡｉＬＡ＝条件ＬｉＬ−ＧｅｔＬｉｓｔ（オペレータＯＰｋ）
ただし、数２では、オペレータＯＰｋ（ｋ＝０，１，…，ｊ）が満たす条件（スキル）を「ＧｅｔＬｉｓｔ（オペレータＯＰｋ）」関数によってオペレータ端末情報テーブルから読み出し、条件リストＬに含まれる条件ＬｉＬから削除して、残存条件ＬＡｉＬＡを決定する。たとえば、オペレータＯＰ1が「パソコン売り場」のスキルを持ち、条件リストＬに条件として「パソコン売り場」および「ｉＰｏｄ」が含まれている場合に、数２に従って残存条件リストＬＡを作成すると、条件リストＬに含まれる条件から、オペレータＯＰ1が持つスキル「パソコン売り場」が削除され、残存条件リストＬＡに条件として「ｉＰｏｄ」が設定される。 If “YES” in the step S69, that is, if the first operator OP k satisfies all the conditions in the condition list L, the process proceeds to a step S83 shown in FIG. On the other hand, if NO in step S69, that is, if the first operator OP k satisfies only a part of the conditions in the condition list L, the remaining condition list LA is created in step S71. That is, a list (remaining condition list LA) for the remaining conditions not satisfied by the operator OP k is created (updated). Here, the remaining condition list LA can be expressed as a remaining condition (LA 0 + LA iLA ) (iLA = 1, 2,..., LAN). The remaining condition LA 0 is a language condition and matches the condition L 0 . The remaining condition LA iLA is a condition other than language. However, the variable LNA indicates the maximum value (maximum number) of the remaining conditions LA iLA other than the language. Specifically, the remaining condition list LA is created (updated) according to Equations 1 and 2.
[Equation 1]
Residual condition LA 0 = condition L 0
[Equation 2]
Residual condition LA iLA = condition L iL -GetList (operator OP k )
However, in Equation 2, the condition (skill) satisfied by the operator OP k (k = 0, 1,..., J) is read from the operator terminal information table by the “GetList (operator OP k )” function and included in the condition list L. The remaining condition LA iLA is determined by deleting from the condition L iL . For example, when the operator OP 1 has the skill of “personal computer department” and the condition list L includes “personal computer department” and “iPod” as conditions, if the remaining condition list LA is created according to Equation 2, the condition list From the conditions included in L, the skill “personal computer department” possessed by the operator OP 1 is deleted, and “iPod” is set as a condition in the remaining condition list LA.

続いて、ステップＳ７３では、変数ｋおよび変数ｊをインクリメントする。つまり、検索されたオペレータＯＰｋの番目と、選択されたオペレータＯＰｋの総数ｊとが、それぞれ１加算される。次のステップＳ７５では、残存条件リストＬＡを最も満たすオペレータの検索処理（図１３参照）を実行する。さらに、ステップＳ７７では、ステップＳ７５で検索されたオペレータＯＰｋが残存条件リストＬＡのすべての条件を満たしているか否かを判断する。ここで、ＹＥＳであれば、つまり、ステップＳ７５で検索されたオペレータＯＰｋが残存条件リストＬＡのすべての条件を満たしている場合には、ステップＳ８３に進む。 Subsequently, in step S73, the variable k and the variable j are incremented. That is, the second operator OP k that retrieved, the total number j of the selected operator OP k are respectively 1 added. In the next step S75, a search process (see FIG. 13) for the operator that best satisfies the remaining condition list LA is executed. Further, in step S77, it is determined whether or not the operator OP k searched in step S75 satisfies all the conditions in the remaining condition list LA. If YES here, that is, if the operator OP k searched in step S75 satisfies all the conditions in the remaining condition list LA, the process proceeds to step S83.

ここで、ステップＳ７７でＮＯであれば、つまり、ステップＳ７５で検索されたオペレータＯＰｋが残存条件リストＬＡの一部を満たす場合には、ステップＳ７９で、条件リストＬのすべての条件のうち、８０％以上の条件を満たしているか否かを判断する。たとえば、条件リストＬに５つの条件が含まれる場合に、そのうちの４つの条件を満たしたか否かを判断する。ステップＳ７９でＹＥＳであれば、つまり、条件リストＬのすべての条件のうち、８０％以上の条件を満たしている場合には、ステップＳ８３に進む。一方、ステップＳ７９でＮＯであれば、つまり、条件リストＬのすべての条件のうち、８０％未満の条件しか満たしていない場合には、ステップＳ８１で、検索したオペレータＯＰｋの人数が３人以上であるか否かを判断する。つまり、変数ｋまたは変数（総数）ｊが３以上であるかどうかを判断する。ここで、ステップ８１でＮＯであれば、オペレータＯＰｋが３人未満であれば、そのままステップＳ７１に戻って、残存条件リストＬＡを更新し、次のオペレータＯＰｋを検索する。 Here, if NO in step S77, that is, if the operator OP k searched in step S75 satisfies a part of the remaining condition list LA, in step S79, among all the conditions in the condition list L, It is determined whether or not the condition of 80% or more is satisfied. For example, when the condition list L includes five conditions, it is determined whether or not four of the conditions are satisfied. If “YES” in the step S79, that is, if 80% or more of the conditions in the condition list L are satisfied, the process proceeds to a step S83. On the other hand, if NO in step S79, that is, of all the conditions of the condition list L, if not satisfied only 80% less than condition, in step S81, the number of the operator OP k is three or more retrieved It is determined whether or not. That is, it is determined whether or not the variable k or the variable (total number) j is 3 or more. If “NO” in the step 81, if the operator OP k is less than three, the process returns to the step S71 as it is to update the remaining condition list LA and search for the next operator OP k .

このように、条件リストＬのすべての条件のうちの一定の割合を超える数の条件を満たしたり、検索されたオペレータＯＰｋの数が一定数を超えたりする場合にも、後述の処理に以降するのは、無限ループになってしまったり、ほとんどの場合にロボット１２に「エラー」を送信してしまうような不都合を回避するためである。また、選択されたオペレータＯＰｋの人数があまり多くなり過ぎると、オペレータＯＰｋ間で、ロボット１２の遠隔操作の方法や順番等を調整するのが煩わしくなってしまうからである。ただし、「８０％」や「３人」は単なる一例であり、これに限定される必要はなく、任意に設定することができる。また、条件リストＬを満たす割合やオペレータＯＰｋの数は、条件リストＬに含まれる条件の数に応じて可変的に設定するようにしてもよい。 As described above, even when the number of conditions exceeding a certain ratio among all the conditions in the condition list L is satisfied, or when the number of retrieved operators OP k exceeds a certain number, the processing described later is performed. This is to avoid inconveniences such as an infinite loop or in most cases an “error” is transmitted to the robot 12. In addition, if the number of selected operators OP k becomes too large, it becomes troublesome to adjust the remote operation method and order of the robot 12 between the operators OP k . However, “80%” and “3 people” are merely examples, and the present invention is not limited to these and can be arbitrarily set. Further, the ratio satisfying the condition list L and the number of operators OP k may be variably set according to the number of conditions included in the condition list L.

図１１に示すように、ステップＳ８３では、選択されたオペレータＯＰｋが使用する操作端末１６を、ロボットｘに紹介する。たとえば、中央制御装置１４のＣＰＵは、ロボットｘに対して、選択されたオペレータＯＰｋが使用する操作端末１６の接続情報（ＩＰアドレス）を送信する。続いて、ステップＳ８５では、選択されたオペレータＯＰｋが使用する操作端末１６に、ロボットｘの遠隔操作依頼を送信する。たとえば、選択されたオペレータＯＰｋが操作する操作端末１６に対して、呼出要求を送信したロボットｘの接続情報（ＩＰアドレス）を送付する。 As shown in FIG. 11, in step S83, the operation terminal 16 used by the selected operator OP k is introduced to the robot x. For example, the CPU of the central controller 14 transmits connection information (IP address) of the operation terminal 16 used by the selected operator OP k to the robot x. Subsequently, in step S85, the on operation terminal 16 used by the operator OP k selected, it transmits a remote control request for the robot x. For example, the connection information (IP address) of the robot x that transmitted the call request is sent to the operation terminal 16 operated by the selected operator OP k .

なお、図示は省略するが、ステップＳ８５では、オペレータ端末情報テーブルにおいて、選択されたオペレータＯＰｋが使用する操作端末１６の状態が「ＢＵＳＹ−Ｒｘ」に更新される。 Although not shown, in step S85, the in operator terminal information table, the operator OP k is selected states of the operation terminal 16 to be used is updated to "BUSY-Rx".

そして、ステップＳ８７では、変数ｊが０より大きいか否かを判断する。すなわち、選択されたオペレータＯＰｋが２人以上であるか否かを判断する。ステップＳ８７でＮＯであれば、つまり変数ｊが０以下であれば、図７に示した全体処理にリターンする。一方、ステップＳ８７でＹＥＳであれば、つまり、変数ｊが１以上であれば、ステップＳ８９で、選択されたオペレータＯＰｋ間の通信を確立して、全体処理にリターンする。 In step S87, it is determined whether or not the variable j is greater than zero. That is, it is determined whether or not there are two or more selected operators OP k . If “NO” in the step S87, that is, if the variable j is 0 or less, the process returns to the entire process illustrated in FIG. On the other hand, if “YES” in the step S87, that is, if the variable j is 1 or more, the communication between the selected operators OP k is established in a step S89, and the process returns to the entire process.

たとえば、ステップＳ８９では、中央制御装置１４のＣＰＵは、選択された２人以上のオペレータに対して、それぞれ、他のオペレータが使用する操作端末１６の接続情報（ＩＰアドレス）を通知するとともに、チャットソフトを起動させる（音声チャット処理の実行させる）コマンドが送信される。したがって、選択されたオペレータＯＰkの各オペレータ端末１６は他のオペレータ端末１６と通信可能に接続され、たとえば、オペレータＯＰｋ同士が音声チャットにより、ロボットｘの遠隔操作についての情報交換や調整を行うことができる。これにより、ロボットｘの遠隔操作を円滑に実行し、ロボットｘを通して、このロボットｘの対話相手と円滑にコミュニケーションすることができる。 For example, in step S89, the CPU of the central control device 14 notifies the connection information (IP address) of the operation terminal 16 used by other operators to the two or more selected operators, and chats. A command to start the software (execute voice chat processing) is transmitted. Accordingly, each operator terminal 16 of the selected operator OP k is communicably connected to the other operator terminals 16. For example, the operators OP k exchange information and adjust the remote operation of the robot x by voice chat. be able to. As a result, the remote operation of the robot x can be smoothly executed, and the robot x can communicate with the conversation partner of the robot x smoothly.

なお、この実施例では、簡単のため、音声チャットにより、オペレータＯＰｋ同士が会話するようにしてあるが、テキスト入力によりチャットするようにしてもよい。或いは、音声とテキストとの両方を用いたチャットであってもよい。 In this embodiment, for the sake of simplicity, the operators OP k communicate with each other by voice chat. However, the chat may be performed by text input. Alternatively, it may be a chat using both voice and text.

図１２は、図９に示したステップＳ６５の条件リスト作成処理のフロー図である。図１２に示すように、中央制御装置１４のＣＰＵは、条件リスト作成処理を開始すると、ステップＳ１０１で、ロボットｘで検出された音声からキーワードリストＫＬを作成する。簡単に説明すると、ロボットｘで検出された対話相手の音声対応する音声信号を音声認識する。ここでは、上述した音声認識の結果に、周知の形態素解析の処理を施し、名詞に相当する単語（キーワード）を抽出する。そして、抽出されたすべてのキーワードがキーワードリストＫＬに設定される。ここで、抽出されたキーワードは、条件Ｌ0（言語）以外の条件ＬiLとして条件リストＬに設定される。たとえば、音声認識の結果が「パソコンはどこですか？あと、ｉＰｏｄも探しています。」である場合には、キーワードとして、「パソコン」および「ｉＰｏｄ」が抽出され、たとえば、条件Ｌ1として「パソコン」が設定され、条件Ｌ2として「ｉＰｏｄ」が設定される。 FIG. 12 is a flowchart of the condition list creation process in step S65 shown in FIG. As shown in FIG. 12, when starting the condition list creation process, the CPU of the central controller 14 creates the keyword list KL from the voice detected by the robot x in step S101. Briefly, the voice signal corresponding to the voice of the conversation partner detected by the robot x is recognized. Here, a well-known morphological analysis process is performed on the result of speech recognition described above, and a word (keyword) corresponding to a noun is extracted. All extracted keywords are set in the keyword list KL. Here, the extracted keyword is set to the condition list L as a condition L iL non condition L 0 (language). For example, "Where is the computer? Later, also looking for iPod." Result of voice recognition in the case of, as a keyword, "PC" and "iPod" is extracted, for example, "PC as a condition L 1 "is set," iPod "is set as a condition L 2.

続いて、ステップＳ１０３では、変数ＫＬＮにキーワードリストＫＬのキーワード数を設定する。ここで設定されるキーワード数は、抽出したキーワードの総数である。次のステップＳ１０５では、変数を初期化する。つまり、上述した、条件リストＬに含まれる条件の数をカウントする変数ＬＮに１が設定され、抽出したキーワードを順番に指定するための変数ｉＬＢに０が設定される。   In step S103, the number of keywords in the keyword list KL is set in the variable KLN. The number of keywords set here is the total number of extracted keywords. In the next step S105, variables are initialized. That is, 1 is set in the variable LN for counting the number of conditions included in the condition list L, and 0 is set in the variable iLB for sequentially specifying the extracted keywords.

続いて、ステップＳ１０７では、変数ＫＬＮが０より大きいか否かを判断する。つまり、対話相手の音声からキーワードが抽出されたか否かを判断する。ステップＳ１０７でＮＯであれば、つまり、変数ＫＬＮが０であれば、対話相手の音声からキーワードが抽出されていないと判断して、そのまま図８−図１１に示したオペレータ選択処理にリターンする。一方、ステップＳ１０７でＹＥＳであれば、つまり、変数ＫＬＮが１以上であれば、対話相手の音声からキーワードが抽出されたと判断して、ステップＳ１０９へ進む。   Subsequently, in step S107, it is determined whether or not the variable KLN is greater than zero. That is, it is determined whether or not a keyword has been extracted from the voice of the conversation partner. If “NO” in the step S107, that is, if the variable KLN is 0, it is determined that no keyword is extracted from the voice of the conversation partner, and the process directly returns to the operator selection process shown in FIGS. On the other hand, if “YES” in the step S107, that is, if the variable KLN is 1 or more, it is determined that the keyword is extracted from the voice of the conversation partner, and the process proceeds to the step S109.

ステップＳ１０９では、条件ＬＬＮにキーワードＫＬｉＬＢを設定する。たとえば、キーワードＫＬ０に「パソコン」が設定されている場合には、条件Ｌ１として「パソコン」が設定される。続いて、ステップＳ１１１で、変数ｉＬＢと変数ＬＮとのそれぞれをインクリメントする。次のステップＳ１１３では、変数ｉＬＢと変数ＫＬＮとが等しいかどうかを判断する。つまり、キーワードリストＫＬに含まれるキーワードをすべて条件リストＬに設定したか否かを判断する。ステップＳ１１３でＹＥＳであれば、つまり、変数ｉＬＢと変数ＫＬＮとが等しければ、そのままオペレータ選択処理にリターンする。一方、ステップＳ１１３でＮＯであれば、つまり変数ｉＬＢと変数ＫＬＮとが等しくなければ、ステップＳ１０９に戻る。 In step S109, the keyword KL iLB is set in the condition L LN . For example, when “PC” is set as the keyword KL 0 , “PC” is set as the condition L 1 . Subsequently, in step S111, each of the variable iLB and the variable LN is incremented. In the next step S113, it is determined whether or not the variable iLB and the variable KLN are equal. That is, it is determined whether or not all the keywords included in the keyword list KL are set in the condition list L. If “YES” in the step S113, that is, if the variable iLB and the variable KLN are equal, the process directly returns to the operator selection process. On the other hand, if “NO” in the step S113, that is, if the variable iLB and the variable KLN are not equal, the process returns to the step S109.

図１３は、図９に示したステップＳ６７および図１０に示したステップＳ７５のオペレータの検索処理を示すフロー図である。図１３に示すように、中央制御装置１４のＣＰＵは、オペレータの検索処理を開始すると、ステップＳ２０１で、残存条件リストＬＡが初期化されているか否かを判断する。つまり、中央制御装置１４のＣＰＵは、条件リストＬを満たすオペレータを検索しているのか、残存条件リストＬＡを満たすオペレータを検索しているのかを判断する。よって、ステップＳ２０１でＹＥＳであれば、つまり残存条件リストＬＡが初期化されていれば、条件リストＬを用いてオペレータを検索すると判断して、ステップＳ２０３で、検索条件リストＬＢとして条件リストＬを設定する。しかし、ステップＳ２０１でＮＯであれば、つまり残存条件リストＬＡが初期化されていなければ、残存条件リストＬＡを用いてオペレータを検索すると判断して、ステップＳ２０５で、検索条件リストＬＢとして残存条件リストＬＡを設定する。ここで、「検索条件ＬＢｉＬＣ」は、検索条件リストＬＢに含まれる条件の１つを指し、「ｉＬＣ」は、検索条件リストＬＢの集合に含まれる各条件を個別に指定するための変数である。また、検索条件リストＬＢには、条件リストＬまたは残存条件リストＬＡが設定されるため、検索条件リストＬＢに含まれる条件の総数は、それぞれのリストに含まれる条件の総数に対応する変数ＬＮまたは変数ＬＡＮとなる。 FIG. 13 is a flowchart showing the operator search processing in step S67 shown in FIG. 9 and step S75 shown in FIG. As shown in FIG. 13, when the CPU of the central control device 14 starts the operator search process, in step S201, the CPU determines whether or not the remaining condition list LA has been initialized. That is, the CPU of the central control device 14 determines whether an operator that satisfies the condition list L is searched for or an operator that satisfies the remaining condition list LA is searched. Therefore, if YES in step S201, that is, if the remaining condition list LA is initialized, it is determined that the operator is to be searched using the condition list L, and the condition list L is set as the search condition list LB in step S203. Set. However, if NO in step S201, that is, if the remaining condition list LA is not initialized, it is determined that the operator is searched using the remaining condition list LA, and the remaining condition list is set as the search condition list LB in step S205. Set LA. Here, “search condition LB iLC ” indicates one of the conditions included in the search condition list LB, and “iLC” is a variable for individually specifying each condition included in the set of search condition lists LB. is there. In addition, since the condition list L or the remaining condition list LA is set in the search condition list LB, the total number of conditions included in the search condition list LB is the variable LN corresponding to the total number of conditions included in each list or Variable LAN.

続いてステップＳ２０７では、変数を初期化する。具体的には、変数ｉＬＣ，変数ｋａおよび変数ｉｄに１を設定する。ここで、変数ｉＬＣは、検索条件リストＬＢに含まれる条件を個別に指定するための変数である。また、変数ｋａは、スキルリストに含まれるスキルを個別に指定するための変数である。変数ｉｄは、オペレータ（操作端末１６）を個別に指定するための変数である。   In step S207, variables are initialized. Specifically, 1 is set to the variable iLC, the variable ka, and the variable id. Here, the variable iLC is a variable for individually specifying the conditions included in the search condition list LB. The variable ka is a variable for individually specifying skills included in the skill list. The variable id is a variable for individually specifying an operator (operation terminal 16).

次のステップＳ２０９では、配列ｍａｔｃｈ［１〜ｉｄ＿ｍａｘ］を初期化する。すなわち、中央制御装置１４のＣＰＵは、配列ｍａｔｃｈ［１］〜ｍａｔｃｈ［ｉｄ＿ｍａｘ］に０を設定する。ここで、配列ｍａｔｃｈ［１〜ｉｄ＿ｍａｘ］の配列番号は、図５に示したオペレータ端末情報テーブルのオペレータ（操作端末１６）のＩＤに対応している。このオペレータのＩＤで指定された配列ｍａｔｃｈ［１〜ｉｄ＿ｍａｘ］には、当該オペレータが持つスキルと条件リストＬに含まれる条件とが一致した数（一致数）が設定（記憶）される。   In the next step S209, the array match [1-id_max] is initialized. That is, the CPU of the central control device 14 sets 0 in the array match [1] to match [id_max]. Here, the array element number of the array match [1 to id_max] corresponds to the ID of the operator (operation terminal 16) in the operator terminal information table shown in FIG. In the array match [1 to id_max] designated by the operator ID, the number (match number) of the skill that the operator has and the condition included in the condition list L are set (stored).

続くステップＳ２１１では、変数ｉｄがｉｄ＿ｍａｘより大きいか否かを判断する。つまり、変数ｉｄがオペレータ端末情報テーブルに登録されるオペレータの総数を超えたか否かを判断する。ステップＳ２１１でＮＯであれば、つまり変数ｉｄがｉｄ＿ｍａｘ以下であれば、ステップＳ２１３で、ｉｄ＿ｓｔａｔｅ（ｉｄ）が「ＩＤＬＥ」であるか否かを判断する。ここで、関数ｉｄ＿ｓｔａｔｅ（ｉｄ）は、変数ｉｄで指定したＩＤに対応して記載された状態を返す関数である。つまり、中央制御装置１４のＣＰＵは、オペレータ端末情報テーブルを参照して、変数ｉｄで指定するＩＤのオペレータ（操作端末１６）が「待機中の状態」であるか否かを判断するのである。   In a succeeding step S211, it is determined whether or not the variable id is larger than id_max. That is, it is determined whether or not the variable id exceeds the total number of operators registered in the operator terminal information table. If “NO” in the step S211, that is, if the variable id is equal to or less than id_max, it is determined whether or not the id_state (id) is “IDLE” in a step S213. Here, the function id_state (id) is a function that returns a state described corresponding to the ID specified by the variable id. That is, the CPU of the central control device 14 refers to the operator terminal information table and determines whether or not the operator (operation terminal 16) having the ID specified by the variable id is in a “standby state”.

ステップＳ２１３でＮＯであれば、つまり、ｉｄ＿ｓｔａｔｅ（ｉｄ）が「ＩＤＬＥ」でなければ、ステップＳ２２７で、変数ｉｄをインクリメントし、変数ｋａを初期化して、ステップＳ２１１に戻る。一方、ステップＳ２１３でＹＥＳであれば、つまりｉｄ＿ｓｔａｔｅ（ｉｄ）が「ＩＤＬＥ」であれば、ステップＳ２１５で、変数ｋａがｉｄ＿ｓｎ（ｉｄ）より大きいか否かを判断する。   If NO in step S213, that is, if id_state (id) is not "IDLE", the variable id is incremented in step S227, the variable ka is initialized, and the process returns to step S211. On the other hand, if “YES” in the step S213, that is, if id_state (id) is “IDLE”, it is determined whether or not the variable ka is larger than id_sn (id) in a step S215.

ここで、関数ｉｄ＿ｓｎ（ｉｄ）は、変数ｉｄで指定するＩＤのオペレータが持つスキル数を返す関数である。したがって、ステップＳ２１５では、変数ｉｄで指定するＩＤのオペレータが持つすべてのスキルと、条件リストＬに含まれるすべての条件との一致数／不一致を調べたか否かを判断するのである。ステップＳ２１５でＹＥＳであれば、つまり、変数ｋａがｉｄ＿ｓｎ（ｉｄ）より大きければ、そのままステップＳ２２７に進む。一方、ステップＳ２１５でＮＯであれば、つまり、変数ｋａがｉｄ＿ｓｎ（ｉｄ）以下であれば、ステップＳ２１７で、変数ｉＬＣが変数ＬＢＮより大きいか否かを判断する。つまり、検索条件ＬＢｉＬＣが、検索条件リストＬＢの総数（ＬＢＮ）よりも大きいか否かを判断する。ステップＳ２１７でＹＥＳであれば、つまり変数ｉＬＣが変数ＬＢＮより大きければ、ステップＳ２２５で、変数ｋａをインクリメントし、変数ｉＬＣを初期化して、ステップＳ２１５に進む。一方、ステップＳ２１７でＮＯであれば、つまり変数ｉＬＣが変数ＬＢＮ以下であれば、ステップＳ２１９で、検索条件ＬＢｉＬＣがｉｄ＿ｓｋ（ｉｄ，ｋａ）と一致するか否かを判断する。 Here, the function id_sn (id) is a function that returns the number of skills possessed by the operator of the ID specified by the variable id. Therefore, in step S215, it is determined whether or not the number of matches / mismatch between all the skills of the operator with the ID specified by the variable id and all the conditions included in the condition list L has been examined. If “YES” in the step S215, that is, if the variable ka is larger than id_sn (id), the process proceeds to a step S227 as it is. On the other hand, if “NO” in the step S215, that is, if the variable ka is equal to or less than id_sn (id), it is determined whether or not the variable iLC is larger than the variable LBN in a step S217. That is, it is determined whether or not the search condition LB iLC is larger than the total number (LBN) of the search condition list LB. If “YES” in the step S217, that is, if the variable iLC is larger than the variable LBN, the variable ka is incremented in a step S225, the variable iLC is initialized, and the process proceeds to the step S215. On the other hand, if “NO” in the step S217, that is, if the variable iLC is equal to or less than the variable LBN, it is determined whether or not the search condition LB iLC matches id_sk (id, ka) in a step S219.

ここで、関数ｉｄ＿ｓｋ（ｉｄ，ｋａ）は、変数ｉｄで指定するＩＤのオペレータが持つスキルｋａを返す関数である。たとえば、図５に示したオペレータ情報端末テーブルを参照して分かるように、関数ｉｄ＿ｓｋ（２，１）は「ｉＰｏｄ」を返す。ステップＳ２１９でＹＥＳであれば、つまり、検索条件ＬＢｉＬＣがｉｄ＿ｓｋ（ｉｄ，ｋａ）と一致すれば、ステップＳ２２１で、配列ｍａｔｃｈ［ｉｄ］をインクリメントして、ステップＳ２２３に進む。つまり、ステップＳ２２１では、変数ｉｄが示すＩＤのオペレータについて、当該オペレータのスキルと、条件リストＬまたは残存条件リストＬＡの条件との一致数がカウントされるのである。一方、ステップＳ２１９でＮＯであれば、つまり検索条件ＬＢｉＬＣがｉｄ＿ｓｋ（ｉｄ，ｋａ）と一致しなければ、そのままステップＳ２２３に進む。ステップＳ２２３では、変数ｉＬＣをインクリメントする。したがって、次の検索条件ＬＢｉＬＣと関数ｉｄ＿ｓｋ（ｉｄ，ｋａ）が返すスキルとが一致するか否かの判断処理が実行される。 Here, the function id_sk (id, ka) is a function that returns the skill ka possessed by the operator of the ID specified by the variable id. For example, as can be seen with reference to the operator information terminal table shown in FIG. 5, the function id_sk (2, 1) returns “iPod”. If YES in step S219, that is, if the search condition LB iLC matches id_sk (id, ka), the array match [id] is incremented in step S221, and the process proceeds to step S223. That is, in step S221, for the operator with the ID indicated by the variable id, the number of matches between the skill of the operator and the condition in the condition list L or the remaining condition list LA is counted. On the other hand, if “NO” in the step S219, that is, if the search condition LB iLC does not match the id_sk (id, ka), the process proceeds to a step S223 as it is. In step S223, the variable iLC is incremented. Accordingly, a process for determining whether or not the next search condition LB iLC matches the skill returned by the function id_sk (id, ka) is executed.

また、ステップＳ２１１でＹＥＳであれば、つまりｉｄがｉｄ＿ｍａｘより大きければ、ステップＳ２２９で、配列ｍａｔｃｈ［１〜ｉｄ＿ｍａｘ］の中で、最大値かつ使用者条件を満たすＩＤのオペレータをオペレータＯＰｋに設定して、オペレータの選択処理にリターンする。 Also, if YES in step S211, that is, if id is greater than Id_max, set in step S229, in the sequence match [1~id_max], the operator of the maximum value and the user satisfies ID to the operator OP k Then, the process returns to the operator selection process.

ここで、使用者条件は、上述したとおり、オペレータを検索するときに、ロボット遠隔操作システム１０の使用者によって、任意に決めることができる条件である。たとえば、使用者条件が「経験歴が豊富なオペレータを優先して呼び出したい」である場合に、配列ｍａｔｃｈ［０〜ｉｄ＿ｍａｘ］のそれぞれに含まれる値の中で最も大きい値が設定される配列が２つ以上有る場合に、それぞれの配列数に対応したＩＤを持つオペレータが持つステータス値の「経験」に含まれる値が一番大きいオペレータが、オペレータＯＰ検索処理によって検索されたオペレータとなる。たとえば、配列ｍａｔｃｈ［２］および配列ｍａｔｃｈ［ｉｄ＿ｍａｘ］が示す一致数が最大である場合には、図５に示したオペレータ端末情報テーブルを参照して分かるように、ＩＤが「２」であるオペレータの経験（２月）と、ＩＤが「ｉｄ＿ｍａｘ」であるオペレータの経験（１２月）とから、上記使用者条件を満たすのは、ＩＤが「ｉｄ＿ｍａｘ」であるオペレータである。このオペレータ（宮崎）がオペレータＯＰｋとして設定されるのである。 Here, as described above, the user condition is a condition that can be arbitrarily determined by the user of the robot remote control system 10 when searching for an operator. For example, when the user condition is “want to call an operator with abundant experience”, an array in which the largest value among the values included in each of the arrays match [0 to id_max] is set. When there are two or more operators, the operator having the largest value included in the “experience” status value of the operator having an ID corresponding to the number of arrays is the operator searched by the operator OP search process. For example, when the number of matches indicated by the array match [2] and the array match [id_max] is the maximum, the operator whose ID is “2” is understood with reference to the operator terminal information table shown in FIG. From the experience (February) and the experience (December) of the operator whose ID is “id_max”, the operator whose ID is “id_max” satisfies the user condition. This operator (Miyazaki) is set as the operator OP k .

また、他の実施例では、使用者条件が「多くのキーワードに対応可能なオペレータを出きるだけ温存したい」である場合には、一致数が最大である複数のオペレータの中で、スキル数が最も少ないオペレータがオペレータＯＰｋとして設定される。 In another embodiment, when the user condition is “I want to preserve as many operators as possible corresponding to many keywords”, the number of skills among the plurality of operators having the maximum number of matches is The fewest operators are set as operator OP k .

さらに、その他の実施例では、使用者条件が「複数の言語を話すことができるオペレータを出きるだけ温存したい」である場合には、一致数が最大である複数のオペレータの中で、言語数が最も少ないオペレータがオペレータＯＰｋとして設定される。 Furthermore, in another embodiment, when the user condition is “I want to preserve as many operators as possible who can speak multiple languages”, the number of languages among the multiple operators with the largest number of matches. The operator having the smallest number is set as the operator OP k .

図１４は、図７に示したステップＳ１１のセンサ情報選択処理のフロー図である。図１４を参照して、ステップＳ３０１では、変数ｋを初期化する（ｋ＝１）。続いて、ステップＳ３０３では、変数ｋが変数ｊ以下であるか否かを判断する。すなわち、ｋ番目のオペレータＯＰｋが、オペレータＯＰｋの総数ｊ以上であるか否かを判断する。ステップＳ３０３でＮＯであれば、つまり、変数ｋが変数ｊよりも大きければ、ステップＳ３１１に進む。一方、ステップＳ３０３でＹＥＳであれば、つまり、変数ｋが変数ｊ以下であれば、ステップＳ３０５で、ロボットｘとオペレータＯＰｋが操作する操作端末１６との通信速度Ｓが閾値Ｓａ以上か否かを判断する。つまり、閾値Ｓａよりも通信速度Ｓが大きければ、オペレータＯＰｋが操作する操作端末１６に音声情報が送信される。 FIG. 14 is a flowchart of the sensor information selection process in step S11 shown in FIG. Referring to FIG. 14, in step S301, variable k is initialized (k = 1). Subsequently, in step S303, it is determined whether or not the variable k is equal to or less than the variable j. That, k-th operator OP k determines whether at least the total number j of the operator OP k. If “NO” in the step S303, that is, if the variable k is larger than the variable j, the process proceeds to a step S311. On the other hand, if “YES” in the step S303, that is, if the variable k is equal to or less than the variable j, whether or not the communication speed S between the robot x and the operation terminal 16 operated by the operator OP k is equal to or higher than the threshold value Sa in a step S305. Judging. That is, if the communication speed S is larger than the threshold value Sa, the audio information is transmitted to the operation terminal 16 operated by the operator OP k .

ステップＳ３０５でＮＯであれば、つまりロボットｘと操作端末１６との通信速度が閾値Ｓａ未満であれば、そのままステップＳ３０９に進む。一方、ステップＳ３０５でＹＥＳであれば、ステップＳ３０７で、音声情報をオペレータＯＰｋに送信させて、ステップＳ３０９に進む。このステップＳ３０７では、中央制御装置１４のＣＰＵは、ロボットｘの対話相手の音声に対応する音声信号を音声情報として、オペレータＯＰｋが操作する操作端末１６に送信させるべく、そのためのコマンドをロボットｘに送信する。オペレータＯＰｋは、その音声信号の音声を聞くことにより、対話相手の発話内容を容易に知ることができ、したがって、対話相手と会話をすることができる。このため、適切に対応することができる。ステップＳ３０９では、変数ｋをインクリメントして、ステップＳ３０３に戻る。 If “NO” in the step S305, that is, if the communication speed between the robot x and the operation terminal 16 is less than the threshold value Sa, the process proceeds to a step S309 as it is. On the other hand, if “YES” in the step S305, the voice information is transmitted to the operator OP k in a step S307, and the process proceeds to the step S309. In this step S307, the CPU of the central control device 14 sends a command for that purpose to the robot x in order to transmit the voice signal corresponding to the voice of the conversation partner of the robot x as voice information to the operation terminal 16 operated by the operator OP k. Send to. The operator OP k can easily know the utterance content of the conversation partner by listening to the voice of the voice signal, and thus can talk with the conversation partner. For this reason, it can respond appropriately. In step S309, the variable k is incremented, and the process returns to step S303.

ステップＳ３１１では、変数ｋを初期化する。続いて、ステップＳ３１３では、変数ｋが変数ｊ以下であるか否かを判断する。ステップＳ３１３でＹＥＳであれば、ステップＳ３１５で、ロボットｘとオペレータＯＰｋが操作する操作端末１６との通信速度Ｓが閾値Ｓｖ以上か否かを判断する。たとえば、閾値Ｓｖよりも通信速度Ｓが大きければ、オペレータＯＰｋが操作する操作端末１６にカメラ情報が送信される。 In step S311, the variable k is initialized. Subsequently, in step S313, it is determined whether or not the variable k is equal to or less than the variable j. If “YES” in the step S313, it is determined whether or not the communication speed S between the robot x and the operation terminal 16 operated by the operator OP k is equal to or higher than the threshold value Sv in a step S315. For example, if the communication speed S is higher than the threshold value Sv, the camera information is transmitted to the operation terminal 16 operated by the operator OP k .

ステップＳ３１５でＮＯであれば、つまりロボットｘと操作端末１６との通信速度が閾値Ｓｖ未満であれば、そのままステップＳ３１９で、変数ｋをインクリメントして、ステップＳ３１３に戻る。一方、ステップＳ３１５でＹＥＳであれば、つまりロボットｘと操作端末１６との通信速度が閾値Ｓｖ以上であれば、ステップＳ３１７で、カメラ情報をオペレータＯＰｋに送信させて、ステップＳ３１９に進む。このステップＳ３１７では、中央制御装置１４のＣＰＵは、ロボットｘの全方位カメラ３４や眼カメラ５８で撮影された映像に対応する映像信号を映像情報として、オペレータＯＰｋが操作する操作端末１６に送信させるべく、そのためのコマンドをロボットｘに送信する。オペレータＯＰｋは、その映像を見ることにより、ロボットｘの周囲の状況や対話相手の顔の表情、身振り手振りなどを知ることができる。したがって、たとえば、相手の表情を見て対応することができるので、より適切に対応することができる。 If “NO” in the step S315, that is, if the communication speed between the robot x and the operation terminal 16 is less than the threshold value Sv, the variable k is incremented in a step S319, and the process returns to the step S313. On the other hand, if “YES” in the step S315, that is, if the communication speed between the robot x and the operation terminal 16 is equal to or higher than the threshold value Sv, the camera information is transmitted to the operator OP k in a step S317, and the process proceeds to the step S319. In this step S317, the CPU of the central control device 14 transmits, as video information, a video signal corresponding to the video taken by the omnidirectional camera 34 or the eye camera 58 of the robot x to the operation terminal 16 operated by the operator OP k. In order to do so, a command for that purpose is transmitted to the robot x. The operator OP k can know the situation around the robot x, the facial expression of the conversation partner, gesture gestures, and the like by viewing the video. Therefore, for example, it is possible to respond by looking at the facial expression of the other party, so it is possible to respond more appropriately.

ステップＳ３２１では、変数ｋを初期化する。続いてステップＳ３２３では、変数ｋが変数ｊ以下であるか否かを判断する。ステップＳ３２３でＮＯであれば、図７に示した全体処理にリターンする。一方、ステップＳ３２３でＹＥＳであれば、ステップＳ３２５で、ロボットｘとオペレータＯＰｋが操作する操作端末１６との通信速度Ｓが閾値Ｓｓ以上か否かを判断する。たとえば、閾値Ｓｓよりも通信速度Ｓが大きければ、オペレータＯＰｋが操作する操作端末１６に距離情報が送信される。 In step S321, the variable k is initialized. In step S323, it is determined whether the variable k is equal to or less than the variable j. If “NO” in the step S323, the process returns to the entire process illustrated in FIG. On the other hand, if “YES” in the step S323, it is determined whether or not the communication speed S between the robot x and the operation terminal 16 operated by the operator OP k is equal to or higher than the threshold value Ss in a step S325. For example, if the communication speed S is larger than the threshold value Ss, the distance information is transmitted to the operation terminal 16 operated by the operator OP k .

ステップＳ３２５でＮＯであれば、つまりロボットｘと操作端末１６との通信速度Ｓが閾値Ｓｓ未満であれば、そのままステップＳ３２９へ進み、変数ｋをインクリメントして、ステップＳ３２３に戻る。一方、ステップＳ３２５でＹＥＳであれば、つまりロボットｘと操作端末１６との通信速度Ｓが閾値Ｓｓ以上であれば、ステップＳ３２７で、距離情報をオペレータＯＰｋに送信させて、ステップＳ３２９に進む。このステップＳ３２７では、中央制御装置１４のＣＰＵは、ロボットｘの赤外線距離センサ２８で検出されたロボットｘと対話相手との距離についての距離データおよび接触センサ４６で検出された対話相手とロボット１２との接触状態などを、距離情報としてオペレータＯＰｋが操作する操作端末１６に送信させるべく、そのためのコマンドをロボットｘに送信する。この距離情報を見ることにより、オペレータＯＰｋは、対話相手とロボット１２との状態（対話相手までの距離）を認識することができる。これにより、たとえば、ロボットｘを通してスキンシップを図ることが可能である。 If “NO” in the step S325, that is, if the communication speed S between the robot x and the operation terminal 16 is less than the threshold Ss, the process proceeds to a step S329 as it is, the variable k is incremented, and the process returns to the step S323. On the other hand, if “YES” in the step S325, that is, if the communication speed S between the robot x and the operation terminal 16 is equal to or higher than the threshold value Ss, the distance information is transmitted to the operator OP k in a step S327, and the process proceeds to the step S329. In this step S327, the CPU of the central controller 14 determines the distance data on the distance between the robot x and the conversation partner detected by the infrared distance sensor 28 of the robot x and the conversation partner and the robot 12 detected by the contact sensor 46. Is transmitted to the operation terminal 16 operated by the operator OP k as distance information, a command for that is transmitted to the robot x. By viewing this distance information, the operator OP k can recognize the state (distance to the conversation partner) between the conversation partner and the robot 12. Thereby, for example, skinship can be achieved through the robot x.

なお、閾値Ｓａ，閾値Ｓｖおよび閾値Ｓｓの値は、使用者によって任意に変更可能である。たとえば、アナログ電話の通信速度が約５４ｋｂｐｓであるため、閾値Ｓａを５４ｋｂｐｓに設定するようにしてもよい。または、閾値Ｓａを０に設定することで、ロボット１２が常に音声情報をオペレータＯＰｋが使用する操作端末１６に送信するようにしてもよい。 Note that the values of the threshold value Sa, the threshold value Sv, and the threshold value Ss can be arbitrarily changed by the user. For example, since the communication speed of the analog telephone is about 54 kbps, the threshold value Sa may be set to 54 kbps. Alternatively, by setting the threshold value Sa to 0, the robot 12 may always transmit voice information to the operation terminal 16 used by the operator OP k .

ただし、ロボット１２と操作端末１６との通信速度Ｓは、中央制御装置１４に記憶される呼出要求を送信したロボット１２と操作端末１６とのそれぞれの通信回線の最大通信速度（ベストエフォート）に基づいて決められる。また、通信速度Ｓは、中央制御装置１４から基準データをロボット１２および操作端末１６のそれぞれに送信することで、当該基準データの送信にかかった時間から決められてもよい。   However, the communication speed S between the robot 12 and the operation terminal 16 is based on the maximum communication speed (best effort) of each communication line between the robot 12 and the operation terminal 16 that has transmitted the call request stored in the central controller 14. Can be decided. Further, the communication speed S may be determined from the time taken to transmit the reference data by transmitting the reference data from the central controller 14 to each of the robot 12 and the operation terminal 16.

また、この実施例では、通信速度Ｓが或る閾値を超えるか否かで、ロボット１２から操作端末１６に送信する情報を決定するようにしてあるが、通信環境等を考慮しない場合には、音声情報，カメラ情報および距離情報のいずれか１つまたは２つ以上を必ず送信するようにしてもよい。   In this embodiment, information to be transmitted from the robot 12 to the operation terminal 16 is determined depending on whether or not the communication speed S exceeds a certain threshold. However, when the communication environment is not considered, Any one or two or more of audio information, camera information, and distance information may be transmitted.

さらに、この実施例では、通信速度Ｓに応じて、送信する情報を決定するようにしてあるが、ロボット１２が設置される環境に応じて送信する情報を決定するようにしてもよい。   Furthermore, in this embodiment, the information to be transmitted is determined according to the communication speed S, but the information to be transmitted may be determined according to the environment where the robot 12 is installed.

ここで、カメラ情報およびセンサ情報が制限された場合に、操作端末１６の表示装置に表示される遠隔操作画面２１０の表示例を図１５に示す。図１５から分かるように、操作パネル２１６の表示内容は、図６に示した遠隔操作画面２１０と同じである。ロボットカメラ画像２１２の表示部は、カメラ情報が制限されているため、「カメラ情報制限中」の文字列（テキスト）が表示される。ロボット情報２１４の表示部には、図６に示した遠隔操作画面２１０と同様に、ロボットが設置される位置，当該ロボットの名前，設置された場所の地図および対話している人間の情報が表示される。ただし、ロボット情報２１４の下部に示されるように、音声情報は、図６に示した遠隔操作画面２１０と同様に、「通信中」と表示されるが、距離情報は、「制限中」のテキストが表示される。   Here, FIG. 15 shows a display example of the remote operation screen 210 displayed on the display device of the operation terminal 16 when the camera information and the sensor information are restricted. As can be seen from FIG. 15, the display content of the operation panel 216 is the same as that of the remote operation screen 210 shown in FIG. Since the display unit of the robot camera image 212 is limited in camera information, a character string (text) “camera information is being restricted” is displayed. Similar to the remote operation screen 210 shown in FIG. 6, the display unit of the robot information 214 displays the position where the robot is installed, the name of the robot, the map of the installed location, and the information of the person who is interacting with the robot. Is done. However, as shown in the lower part of the robot information 214, the voice information is displayed as “communication” as in the remote operation screen 210 shown in FIG. 6, but the distance information is the text “restricted”. Is displayed.

図１６は、ロボット１２（ロボットｘ）のＣＰＵ６０の全体処理を示すフロー図である。図１６に示すように、ロボット１２（ロボットｘ）のＣＰＵ６０は、全体処理を開始すると、ステップＳ４０１で、後述するオペレータ呼出条件判定処理（図１７参照）を実行し、ステップＳ４０３で、オペレータ呼出フラグがオンであるか否かを判断する。図示は省略するが、オペレータの呼出フラグは、１ビットのレジスタで構成され、メモリ６４（ＲＡＭ）に設けられる。この呼出フラグは、オペレータ呼出条件判定処理を実行することにより、オン／オフされる。具体的には、オペレータ呼出条件を満たす場合には、呼出フラグはオンされ、逆に、オペレータ呼出条件を満たさない場合には、呼出フラグはオフされる。呼出フラグがオンされると、レジスタにデータ値「１」が設定され、逆に、呼出フラグがオフされると、レジスタにデータ値「０」が設定される。   FIG. 16 is a flowchart showing the overall processing of the CPU 60 of the robot 12 (robot x). As shown in FIG. 16, when starting the entire process, the CPU 60 of the robot 12 (robot x) executes an operator call condition determination process (see FIG. 17) described later in step S401, and in step S403, calls an operator call flag. It is determined whether or not is on. Although not shown in the figure, the operator call flag is composed of a 1-bit register and is provided in the memory 64 (RAM). This call flag is turned on / off by executing an operator call condition determination process. Specifically, if the operator call condition is satisfied, the call flag is turned on. Conversely, if the operator call condition is not satisfied, the call flag is turned off. When the call flag is turned on, the data value “1” is set in the register. Conversely, when the call flag is turned off, the data value “0” is set in the register.

ステップＳ４０３でＮＯであれば、つまり呼出フラグがオフであれば、ステップＳ４０９で、自立行動処理を実行する。なお、自律行動処理では、自立制御によって必要に応じて人間との間でコミュニケーション行動を実行する。たとえば、人間と対面した場合には、当該人間に挨拶をしたり、また、人間に道を尋ねられた場合には、道案内を行ったりする。一方、ステップＳ４０３でＹＥＳであれば、つまり、呼出フラグがオンであれば、ステップＳ４０５で、後述する遠隔操作対応処理（図１８参照）を実行する。   If “NO” in the step S403, that is, if the calling flag is turned off, an independent action process is executed in a step S409. In the autonomous behavior process, communication behavior is executed with human beings as needed by independent control. For example, when a person is faced, a greeting is given to the person, and when a person is asked about the way, directions are given. On the other hand, if “YES” in the step S403, that is, if the calling flag is turned on, a remote operation handling process (see FIG. 18) described later is executed in a step S405.

続いてステップＳ４０７では、停止命令があるかどうかを判断する。たとえば、停止命令（停止コマンド）は、オペレータの操作に従って、操作端末１６からネットワーク１００を介してロボット１２に送信される。ただし、ロボット１２やロボット１２が配置される環境に停止ボタンを設けておき、当該ボタンを操作することにより、ロボット１２に停止コマンドを入力するようにしてもよい。ステップＳ４０７でＹＥＳであれば、つまり停止命令が有れば、そのまま全体処理を終了する。一方、ステップＳ４０７でＮＯであれば、つまり停止命令が無ければ、ステップＳ４０１に戻る。   In step S407, it is determined whether there is a stop command. For example, a stop command (stop command) is transmitted from the operation terminal 16 to the robot 12 via the network 100 according to the operation of the operator. However, a stop button may be provided in the environment where the robot 12 or the robot 12 is arranged, and a stop command may be input to the robot 12 by operating the button. If “YES” in the step S407, that is, if there is a stop command, the entire processing is ended as it is. On the other hand, if NO in step S407, that is, if there is no stop command, the process returns to step S401.

図１７は、図１６に示したステップＳ４０１のオペレータ呼出条件判定処理のフロー図である。図１７に示すように、ロボット１２のＣＰＵ６０は、オペレータ呼出条件判定処理を開始すると、ステップＳ５０１で、呼出条件フラグをオフし、ステップＳ５０３で、周囲情報を検出する。つまり、オペレータ呼出条件の判断に必要なセンサ（赤外線距離センサ２８，全方位カメラ３４，マイク５４，眼カメラ５８，接触センサ４６および無線タグ読み取り装置８６）の出力を検出し、周囲および自身の状況（状態）を認識する。   FIG. 17 is a flowchart of the operator call condition determination process in step S401 shown in FIG. As shown in FIG. 17, when starting the operator calling condition determination process, the CPU 60 of the robot 12 turns off the calling condition flag in step S501, and detects surrounding information in step S503. In other words, the outputs of sensors (infrared distance sensor 28, omnidirectional camera 34, microphone 54, eye camera 58, contact sensor 46, and wireless tag reader 86) necessary for determining the operator calling condition are detected, and the surroundings and their own conditions Recognize (state).

続いてステップＳ５０５では、特定の文章や単語を検出したか否かを判断する。ステップＳ５０５でＹＥＳであれば、つまり、特定の文章や単語を検出すれば、オペレータ呼出条件を満たすと判断して、ステップＳ５１９で呼出条件フラグをオンして、図１６に示したロボット１２の全体処理にリターンする。たとえば、特定の文章や単語としては、ロボット１２が相手（対話相手）の意図を理解できないことを意味する文章や単語、たとえば、「違う」，「責任者を呼んで」，「そうじゃないんだけど」および「わからないかなあ」などが考えられる。   In step S505, it is determined whether a specific sentence or word has been detected. If YES in step S505, that is, if a specific sentence or word is detected, it is determined that the operator calling condition is satisfied, the calling condition flag is turned on in step S519, and the entire robot 12 shown in FIG. Return to processing. For example, as a specific sentence or word, a sentence or word that means that the robot 12 cannot understand the intention of the other party (the conversation partner), for example, “No”, “Call the person in charge”, “That ’s not right But "and" I don't know "can be considered.

一方、ステップＳ５０５でＮＯであれば、つまり特定の文章や単語を検出していなければ、ステップＳ５０７で、特定の顔の表情を取得したか否かを判断する。たとえば、特定の表情とは、人の顔表情認識で怒りが検出されたこと、顔特定機能で特定の人を検出したことが考えられる。ステップＳ５０７でＹＥＳであれば、つまり、特定の顔の表情を取得すれば、オペレータ呼出条件を満たすと判断して、ステップＳ５１９に進む。   On the other hand, if “NO” in the step S505, that is, if a specific sentence or word is not detected, it is determined whether or not a specific facial expression is acquired in a step S507. For example, the specific facial expression may be that anger has been detected by recognizing a human facial expression, or that a specific person has been detected by the face specifying function. If “YES” in the step S507, that is, if a specific facial expression is acquired, it is determined that the operator calling condition is satisfied, and the process proceeds to a step S519.

また、ステップＳ５０７でＮＯであれば、つまり、特定の顔の表情を取得していなければ、ステップＳ５０９で特定の人間を検出したか否かを判断する。たとえば、特定の人物を検出する方法としては、特定のＩＤの無線タグを検出したこと（たとえば、ＶＩＰとして登録された人が現れたこと）などが考えられる。ステップＳ５０９でＹＥＳであれば、つまり特定の人間を検出すれば、オペレータ呼出条件を満たすと判断して、ステップＳ５１９へ進む。一方、ステップＳ５０９でＮＯであれば、つまり、特定の人間を検出していなければ、ステップＳ５１１で、人間と長時間会話している状況であるか否かを判断する。たとえば、赤外線距離センサ２８で取得された距離が１ｍ以内である状態が５分以上になればＹＥＳと判断されるようにしてもよい。   If “NO” in the step S507, that is, if a specific facial expression is not acquired, it is determined whether or not a specific human is detected in a step S509. For example, as a method for detecting a specific person, a wireless tag having a specific ID may be detected (for example, a person registered as a VIP appears). If “YES” in the step S509, that is, if a specific person is detected, it is determined that the operator calling condition is satisfied, and the process proceeds to a step S519. On the other hand, if NO in step S509, that is, if a specific person has not been detected, it is determined in step S511 whether or not a long-time conversation with the person is present. For example, it may be determined as YES when the distance acquired by the infrared distance sensor 28 is within 1 m for 5 minutes or longer.

ステップＳ５１１でＹＥＳであれば、つまり、人間と長時間会話している状況であれば、オペレータ呼出条件を満たすと判断して、ステップＳ５１９に進む。一方、ステップＳ５１１でＮＯであれば、つまり人間と長時間会話している状況でなければ、ステップＳ５１３で、行く手を塞がれた状況であるか否かを判断する。ステップＳ５１３でＹＥＳであれば、つまり行く手を塞がれた状況であれば、オペレータ呼出条件を満たすと判断して、ステップＳ５１９に進む。一方、ステップＳ５１３でＮＯであれば、つまり行く手を塞がれていない状況であれば、ステップＳ５１５で周囲に人が多く存在する状況であるか否かを判断する。ここで、周囲に人が多く存在する状態は、ロボット１２または周囲の環境に設けられた他のセンサの出力に基づいて検出されるようにしてもよい。   If “YES” in the step S511, that is, if it is a situation in which a conversation with a human is performed for a long time, it is determined that the operator calling condition is satisfied, and the process proceeds to a step S519. On the other hand, if “NO” in the step S511, that is, if it is not a situation where the person is talking for a long time, in a step S513, it is determined whether or not the going hand is blocked. If “YES” in the step S513, that is, if the hand is closed, it is determined that the operator calling condition is satisfied, and the process proceeds to the step S519. On the other hand, if “NO” in the step S513, that is, if the moving hand is not blocked, it is determined whether or not there are many people around in a step S515. Here, the state where there are many people in the surroundings may be detected based on the output of the robot 12 or other sensors provided in the surrounding environment.

ステップＳ５１５でＹＥＳであれば、つまり周囲に人が多く存在する状況であれば、オペレータ呼出条件を満たすと判断して、ステップＳ５１９に進む。一方、ステップＳ５１５でＮＯであれば、つまり周囲に人が多く存在していない状況であれば、ステップＳ５１７で、オペレータ呼出ボタンが押されたかどうかを判断する。なお、オペレータ呼び出しボタンはロボット１２または周囲の環境に設けられてもよい。ステップＳ５１７でＹＥＳであれば、つまりオペレータ呼出条件判定を満たすと判断して、ステップＳ５１９に進む。一方、ステップＳ５１７でＮＯであれば、つまりオペレータ呼出ボタンが押されていなければ、図１６に示したロボット１２の全体処理にリターンする。   If “YES” in the step S515, that is, if there are many people around, it is determined that the operator calling condition is satisfied, and the process proceeds to the step S519. On the other hand, if “NO” in the step S515, that is, if there are not many people around, it is determined whether or not the operator call button has been pressed in a step S517. The operator call button may be provided in the robot 12 or the surrounding environment. If “YES” in the step S517, that is, it is determined that the operator calling condition determination is satisfied, and the process proceeds to the step S519. On the other hand, if NO in step S517, that is, if the operator call button has not been pressed, the process returns to the entire process of the robot 12 shown in FIG.

図１８は、図１６に示したステップＳ４０５の遠隔操作対応処理のフロー図である。図１８に示すように、ロボット１２のＣＰＵ６０は、遠隔操作対応処理を開始すると、ステップＳ６０１で、中央制御装置１４に対して、オペレータ呼出要求を送信し、当該要求に対する応答の受信を待つ。続いて、ステップＳ６０３では、中央制御装置１４から操作端末１６の紹介があったか否かを判断する。たとえば、操作端末１６のアドレス（ＩＰアドレス）を含む呼出応答を受信したか、エラーを受信したかが判断される。ステップＳ６０３でＮＯであれば、すなわち中央制御装置１４からエラーを受信した場合には、ステップＳ６１３で、エラー処理を実行して、図１６に示したロボット１２の全体処理にリターンする。   FIG. 18 is a flowchart of the remote operation handling process of step S405 shown in FIG. As shown in FIG. 18, when starting the remote operation handling process, the CPU 60 of the robot 12 transmits an operator call request to the central control device 14 and waits for a response to the request in step S601. Subsequently, in step S603, it is determined whether or not the operation terminal 16 has been introduced from the central controller 14. For example, it is determined whether a call response including an address (IP address) of the operation terminal 16 has been received or an error has been received. If “NO” in the step S603, that is, if an error is received from the central controller 14, an error process is executed in a step S613, and the process returns to the entire process of the robot 12 illustrated in FIG.

たとえば、エラー処理では、利用可能な操作端末１６（オペレータ）が存在せず、オペレータの遠隔操作による制御が望めないので、ロボット１２は自立的にエラー対応処理を行う。たとえば、特定の文章や単語を検出した場合のように、ロボット１２自身で対処することができないような状況では、「手空きのオペレータがおりませんので、しばらくお待ちください。」、「申し訳ございません。対応できるオペレータが存在しません。」といった発話を含むコミュニケーション行動を実行するようにすることができる。これによって、ロボット１２は、対話相手に、自身が対応不可能な状態であることを知らせることができ、また対話相手の違った反応を引き出して、自立制御で対応可能な状態に変化することが期待される。また、ＶＩＰが来たり多くの人に囲まれたりした状況では、エラー対応としての発話や身振りを特に提示せずに、自立制御を継続するようにしてもよい。ただし、エラーを受信してから一定時間経過後に呼出要求を再送信するようにしてもよい。   For example, in the error process, there is no operation terminal 16 (operator) that can be used, and control by remote operation by the operator cannot be expected, so the robot 12 performs the error handling process autonomously. For example, when a specific sentence or word is detected and the robot 12 cannot handle it, “Please wait for a while because there is no available operator.” "There is no operator who can respond." As a result, the robot 12 can inform the conversation partner that the robot 12 is in an incapable state, and can draw a different response from the conversation partner and change to a state that can be handled by independent control. Be expected. Also, in situations where VIPs come or are surrounded by many people, independent control may be continued without specifically presenting utterances or gestures for handling errors. However, the call request may be retransmitted after a predetermined time has elapsed since the error was received.

なお、ステップＳ６１３で呼出要求に対する応答の受信待ち時間切れになったと判断されるときには、たとえば、通信困難であることを対話相手に通知したり、呼び出しを再度試みたりしてから、全体に処理にリターンする。   When it is determined in step S613 that the waiting time for receiving a response to the call request has expired, for example, the communication partner is notified that communication is difficult or the call is retried, and then the entire process is performed. Return.

また、ステップＳ６０３でＹＥＳであれば、すなわち、中央制御装置１４から操作端末１６を紹介された場合は、ステップＳ６０５に進む。なお、上述したように、中央制御装置１４からの紹介は、中央制御装置１４が操作端末１６の識別情報（ＩＰアドレス）を送信することにより行われる。ここで、操作端末１６の紹介があったときは、遠隔操作対応モードに移行して、続くステップＳ６０５−Ｓ６１１の処理を一定時間後に繰り返し実行する。この遠隔操作対応モードでは、ロボット１２の動作は、遠隔操作があったときには操作コマンドに従った動作を実行するが、遠隔操作がないときには自律制御する。   If YES in step S603, that is, if the operation terminal 16 is introduced from the central controller 14, the process proceeds to step S605. As described above, the introduction from the central control device 14 is performed when the central control device 14 transmits the identification information (IP address) of the operation terminal 16. Here, when the operation terminal 16 is introduced, the process shifts to the remote operation support mode, and the processes of subsequent steps S605 to S611 are repeatedly executed after a predetermined time. In this remote operation compatible mode, the robot 12 performs an operation according to the operation command when there is a remote operation, but autonomously controls when there is no remote operation.

ステップＳ６０５では、紹介された操作端末１６に対して、センサ情報（音声情報，カメラ情報およびセンサ情報など）を送信する。すなわち、マイク５４が取得した音声情報（対話相手の発話音声），眼カメラ５８が撮影したカメラ情報および赤外線距離センサ２８による障害物（対話相手）までの距離などが操作端末１６に対して送信される。   In step S605, sensor information (voice information, camera information, sensor information, etc.) is transmitted to the introduced operation terminal 16. That is, the voice information acquired by the microphone 54 (speech voice of the conversation partner), the camera information captured by the eye camera 58, the distance to the obstacle (dialog partner) by the infrared distance sensor 28, and the like are transmitted to the operation terminal 16. The

続いてステップＳ６０７では、操作端末１６から、自身の動作を制御する操作コマンド（音声情報の送信も含む）を受信したか否かを判断する。ステップＳ６０７でＮＯであれば、すなわち、操作コマンドを受信しなかった場合には、ステップＳ６０５に戻る。   Subsequently, in step S607, it is determined whether or not an operation command (including transmission of audio information) for controlling its own operation has been received from the operation terminal 16. If “NO” in the step S607, that is, if an operation command is not received, the process returns to the step S605.

一方、ステップＳ６０７でＹＥＳであれば、すなわち、操作端末１６からの操作コマンドを受信した場合には、ステップＳ６０９で遠隔操作終了要求があったか否かを判断する。つまり、ステップＳ６０７で受信した操作コマンドが、遠隔操作終了コマンドであったか否かを判断する。   On the other hand, if “YES” in the step S607, that is, if an operation command is received from the operation terminal 16, it is determined whether or not a remote operation end request is made in a step S609. That is, it is determined whether or not the operation command received in step S607 is a remote operation end command.

ステップＳ６０９でＮＯであれば、すなわちコミュニケーション行動を指示する操作コマンドを受信した場合には、ステップＳ６１１で、当該操作コマンドに応じた動作を実行して、ステップＳ６０５に戻る。このステップＳ６１１の処理によって、上述したように、ロボット１２の動作が遠隔操作に基づいて制御される。たとえば、スピーカ５２およびマイク５４を用いた当該操作端末を使用するオペレータと対話相手との会話，お辞儀や指差しなどの身体動作および前進や旋回などの移動を実行する。   If “NO” in the step S609, that is, if an operation command instructing a communication action is received, an operation corresponding to the operation command is executed in a step S611, and the process returns to the step S605. By the processing in step S611, as described above, the operation of the robot 12 is controlled based on the remote operation. For example, a conversation between an operator who uses the operation terminal using the speaker 52 and the microphone 54 and a conversation partner, body movements such as bowing and pointing, and movements such as advancing and turning are executed.

なお、操作コマンドを受信したときに、自律制御によってコミュニケーション行動などを実行中であった場合には、当該実行中の行動が終了するのを待ってから操作コマンドに対応する動作を実行してもよいし、当該実行中の行動を中止してから操作コマンドに対応する動作を実行してもよい。   When a communication action is being executed by autonomous control when an operation command is received, the operation corresponding to the operation command may be executed after waiting for the action being executed to end. Alternatively, the action corresponding to the operation command may be executed after the action being executed is stopped.

一方、ステップＳ６０９でＹＥＳであれば、図１６に示すロボット１２の全体処理にリターンする。つまり、ステップＳ６０９でＹＥＳと判断されるか、ステップＳ６１３の処理が終了すれば、ロボット１２の動作モードは遠隔操作対応モードから自律制御モードに戻る。   On the other hand, if “YES” in the step S609, the process returns to the entire process of the robot 12 illustrated in FIG. That is, if YES is determined in step S609 or if the process in step S613 is completed, the operation mode of the robot 12 returns from the remote operation support mode to the autonomous control mode.

図１９は、操作端末１６のＣＰＵの遠隔操作処理のフロー図である。図１９に示すように、操作端末１６のＣＰＵは、遠隔操作処理を開始すると、ステップＳ７０１で、中央制御装置１４からの遠隔操作依頼が有るか否かを判断する。具体的には、中央制御装置１４から送信されたロボット１２のＩＰアドレスを含む遠隔操作依頼を受信したか否かが判断される。   FIG. 19 is a flowchart of the remote operation processing of the CPU of the operation terminal 16. As shown in FIG. 19, when starting the remote operation process, the CPU of the operation terminal 16 determines whether or not there is a remote operation request from the central control device 14 in step S701. Specifically, it is determined whether a remote operation request including the IP address of the robot 12 transmitted from the central control device 14 has been received.

ステップＳ７０１でＮＯであれば、すなわち、中央制御装置１４からの遠隔操作依頼がなければ、そのまま同じステップＳ７０１に戻る。ただし、このステップＳ７０１の処理は一定時間（たとえば、３０秒）毎に実行される。一方、ステップＳ７０１でＹＥＳであれば、すなわち、中央制御装置１４からの遠隔操作依頼を有れば、ステップＳ７０３で、表示装置に図６や図１５に示したような遠隔操作画面２１０が表示される。   If “NO” in the step S701, that is, if there is no remote operation request from the central control device 14, the process returns to the same step S701 as it is. However, the process of step S701 is executed every certain time (for example, 30 seconds). On the other hand, if “YES” in the step S701, that is, if there is a remote operation request from the central control device 14, the remote operation screen 210 as shown in FIG. 6 or FIG. 15 is displayed on the display device in a step S703. The

なお、この遠隔操作画面２１０を表示した当初では、当該操作端末１６を呼び出したロボット１２のカメラ画像および当該ロボット１２に関する情報は取得されていないので、ロボットカメラ画像２１２の内容の表示はない。続いて、ステップＳ７０５では、音声チャット処理の実行指示が有るか否かを判断する。ステップＳ７０５でＹＥＳであれば、すなわち、中央制御装置１４から音声チャット処理の実行指示がされれば、ステップＳ７０７で、音声チャット処理を実行する。すなわち、中央制御装置１４の指示に従い、音声チャット処理を実行する。また、ステップＳ７０７の処理が終了すれば、ステップＳ７０９に進む。同様にして、ステップＳ７０５でＮＯであっても、ステップＳ７０９に進む。さらに、ステップＳ７０５またはステップＳ７０７の処理が終了すると、続くステップＳ７０９−Ｓ７１７の処理が一定時間ごとに繰り返し実行される。   Note that at the beginning of displaying the remote operation screen 210, the camera image of the robot 12 that called the operation terminal 16 and the information related to the robot 12 are not acquired, and therefore the content of the robot camera image 212 is not displayed. Subsequently, in step S705, it is determined whether or not there is an instruction to perform voice chat processing. If “YES” in the step S705, that is, if the execution instruction of the voice chat process is instructed from the central control device 14, the voice chat process is executed in a step S707. That is, the voice chat process is executed in accordance with the instruction from the central controller 14. If the process of step S707 ends, the process proceeds to step S709. Similarly, even if NO in step S705, the process proceeds to step S709. Further, when the process of step S705 or step S707 is completed, the subsequent processes of steps S709 to S717 are repeatedly executed at regular intervals.

ステップＳ７０９では、ロボット情報の受信および更新が行われる。すなわち、中央制御装置１４またはロボット１２からロボット情報を受信して、遠隔操作画面２１０のロボット情報２１４の表示を更新する。なお、ロボット情報２１４を最初に表示する際には、当該ロボット１２の位置，名前および対話相手の情報などは中央制御装置１４から取得される。また、地図表示のためのロボット１２および相手の位置情報は当該ロボット１２から取得される。   In step S709, the robot information is received and updated. That is, the robot information is received from the central controller 14 or the robot 12 and the display of the robot information 214 on the remote operation screen 210 is updated. When the robot information 214 is displayed for the first time, the position, name, dialogue partner information, etc. of the robot 12 are acquired from the central controller 14. Further, the position information of the robot 12 and the opponent for map display is acquired from the robot 12.

続いて、ステップＳ７１１では、センサ情報（音声情報，カメラ情報および距離情報など）の受信および更新が行われる。すなわち、ロボット１２から音声情報を受信して、操作端末１６のスピーカから当該音声情報を出力する。また、ロボット１２からカメラ情報を受信して、遠隔操作画面のロボットカメラ画像２１２の表示を更新する。さらに、ロボット１２から距離情報を受信して、障害物（対話相手）までの距離を表示する。   Subsequently, in step S711, reception and update of sensor information (voice information, camera information, distance information, etc.) is performed. That is, the audio information is received from the robot 12 and the audio information is output from the speaker of the operation terminal 16. Also, the camera information is received from the robot 12 and the display of the robot camera image 212 on the remote operation screen is updated. Furthermore, distance information is received from the robot 12, and the distance to the obstacle (the conversation partner) is displayed.

なお、ロボット１２と当該操作端末１６との通信速度Ｓによっては、ロボット１２から送信されないセンサ情報があるため、かかる場合には、一部または全部のセンサ情報についての表示に制限がかかる。   Depending on the communication speed S between the robot 12 and the operation terminal 16, there is sensor information that is not transmitted from the robot 12, and in this case, display of some or all sensor information is limited.

続いてステップＳ７１３では、操作コマンドの入力があったか否かを判断する。たとえば、入力装置からの入力データと操作パネル２１６のボタン配置データとに基づいて、オペレータによって操作コマンドボタンが選択されたか否かが判断される。ステップＳ７１３でＮＯであれば、すなわち、操作コマンドの入力が無い場合には、そのままステップＳ７０９に戻る。   In step S713, it is determined whether an operation command has been input. For example, based on input data from the input device and button arrangement data on the operation panel 216, it is determined whether or not an operation command button has been selected by the operator. If “NO” in the step S713, that is, if there is no input of an operation command, the process returns to the step S709 as it is.

一方、ステップＳ７１３でＹＥＳであれば、すなわち、操作コマンドの入力があった場合には、ステップＳ７１５で、選択された操作コマンドを特定し、当該操作コマンドをロボット１２に送信する。   On the other hand, if “YES” in the step S713, that is, if an operation command is input, the selected operation command is specified in a step S715, and the operation command is transmitted to the robot 12.

そして、ステップＳ７１７で、遠隔操作の終了要求があったか否かを判断する。つまり、ステップＳ７１３で入力された操作コマンドが遠隔操作の終了を指示するコマンド（終了コマンド）であるか否かを判断する。ステップＳ７１３でＮＯであれば、すなわち終了コマンドが入力されていない場合には、そのままステップＳ７０９に戻る。一方、ステップＳ７１７でＹＥＳであれば、すなわち、オペレータによって終了コマンドが入力された場合には、遠隔操作処理を終了する。   In step S717, it is determined whether or not there has been a remote operation termination request. That is, it is determined whether or not the operation command input in step S713 is a command (end command) for instructing the end of the remote operation. If “NO” in the step S713, that is, if an end command is not input, the process returns to the step S709 as it is. On the other hand, if YES in step S717, that is, if an end command is input by the operator, the remote operation processing is ended.

この実施例によれば、ロボットからの呼出要求があると、ロボットの対話相手の要求を満たすスキルを持つ１人または複数のオペレータを選択し、選択した１人または複数のオペレータがロボットを遠隔操作し、当該ロボットを通して、対話相手とコミュニケーションすることができる。したがって、対話相手の要求に適切に対応することができる。   According to this embodiment, when there is a call request from the robot, one or more operators having skills that satisfy the request of the robot's conversation partner are selected, and the selected one or more operators remotely operate the robot. In addition, it is possible to communicate with the conversation partner through the robot. Therefore, it is possible to appropriately respond to the request of the conversation partner.

なお、本実施例では、赤外線距離センサ２８を用いているが、赤外線距離センサ２８に代えて、超音波距離センサやミリ波レーダなどを用いてロボット１２と対話相手との距離を計測してもよい。また、オペレータ選択処理では、３つ言語の「らしさ演算」を行っているが、必要に応じて言語の数を増やしてもよい。   In this embodiment, the infrared distance sensor 28 is used. However, instead of the infrared distance sensor 28, the distance between the robot 12 and the conversation partner may be measured using an ultrasonic distance sensor, a millimeter wave radar, or the like. Good. In the operator selection process, “likeness calculation” of three languages is performed, but the number of languages may be increased as necessary.

また、ロボット１２のオペレータの呼出フラグは、体表に設けた接触などを検出するセンサ（たとえば、皮膚センサ）で、そのロボット１２自身が殴られたことを検出し、オンになるようにしてもよい。また、ロボット１２は、呼出要求を送信する場合に、さらに、一時的にロボットセンサ情報（音声情報，カメラ情報および距離情報など）が記憶されるようにしてもよい。   In addition, the call flag of the operator of the robot 12 is detected by a sensor (for example, a skin sensor) that detects contact on the body surface, and detects that the robot 12 itself has been beaten. Good. Further, when transmitting a call request, the robot 12 may further temporarily store robot sensor information (such as voice information, camera information, and distance information).

図１はこの発明の一実施例のロボット遠隔操作システムの概要を示す図解図である。FIG. 1 is an illustrative view showing an outline of a robot remote control system according to an embodiment of the present invention. 図２は図１に示すロボットの外観を正面から見た図解図である。FIG. 2 is an illustrative view showing the appearance of the robot shown in FIG. 1 from the front. 図３は図１に示すロボットの電気的な構成を示すブロック図である。FIG. 3 is a block diagram showing an electrical configuration of the robot shown in FIG. 図４は図１に示す中央制御装置のデータベースに記憶されるロボット情報テーブルの一例を示す図解図である。FIG. 4 is an illustrative view showing one example of a robot information table stored in the database of the central controller shown in FIG. 図５は図１に示す中央制御装置のデータベースに記憶されるオペレータ端末情報テーブルの一例を示す図解図である。FIG. 5 is an illustrative view showing one example of an operator terminal information table stored in the database of the central controller shown in FIG. 図６は図１に示す操作端末の表示装置に表示される遠隔操作画面の一例を示す図解図である。6 is an illustrative view showing one example of a remote operation screen displayed on the display device of the operation terminal shown in FIG. 図７は図１に示す中央制御措置のＣＰＵの全体処理を示すフロー図である。FIG. 7 is a flowchart showing the entire processing of the CPU of the central control measure shown in FIG. 図８は図１に示す中央制御措置のＣＰＵのオペレータ選択処理の一部を示すフロー図である。FIG. 8 is a flowchart showing a part of the CPU operator selection process of the central control measure shown in FIG. 図９は図１に示す中央制御措置のＣＰＵのオペレータ選択処理の他の一部であって、図８に後続するフロー図である。FIG. 9 is another part of the CPU operator selection process of the central control measure shown in FIG. 1, and is a flowchart subsequent to FIG. 図１０は図１に示す中央制御措置のＣＰＵのオペレータ選択処理のその他の一部であって、図９に後続するフロー図である。FIG. 10 is another part of the CPU operator selection process of the central control measure shown in FIG. 1, and is a flowchart subsequent to FIG. 図１１は図１に示す中央制御措置のＣＰＵのオペレータ選択処理のさらに他の一部であって、図１０に後続するフロー図である。11 is still another part of the CPU operator selection process of the central control measure shown in FIG. 1, and is a flowchart subsequent to FIG. 図１２は図１に示す中央制御措置のＣＰＵの条件リスト作成処理を示すフロー図である。FIG. 12 is a flowchart showing a condition list creation process of the CPU of the central control measure shown in FIG. 図１３は図１に示す中央制御措置のＣＰＵのオペレータの検索処理を示すフロー図である。FIG. 13 is a flowchart showing the search process of the CPU operator of the central control measure shown in FIG. 図１４は図１に示す中央制御措置のＣＰＵのセンサ情報選択処理を示すフロー図である。FIG. 14 is a flowchart showing sensor information selection processing of the CPU of the central control measure shown in FIG. 図１５は図１に示す操作端末の表示装置に表示される遠隔操作画面の他の例を示す図解図である。FIG. 15 is an illustrative view showing another example of a remote operation screen displayed on the display device of the operation terminal shown in FIG. 図１６は図１に示すロボットのＣＰＵの全体処理を示すフロー図である。FIG. 16 is a flowchart showing the overall processing of the CPU of the robot shown in FIG. 図１７は図１に示すロボットのＣＰＵのオペレータ呼出条件判定処理を示すフロー図である。FIG. 17 is a flowchart showing operator call condition determination processing of the CPU of the robot shown in FIG. 図１８は図１に示すロボットのＣＰＵの遠隔操作対応処理を示すフロー図である。FIG. 18 is a flowchart showing a remote operation handling process of the CPU of the robot shown in FIG. 図１９は図１に示す操作端末のＣＰＵの遠隔操作処理を示すフロー図である。FIG. 19 is a flowchart showing remote operation processing of the CPU of the operation terminal shown in FIG.

符号の説明Explanation of symbols

１０ …ロボット遠隔操作システム
１２ …コミュニケーションロボット
１４ …中央制御装置
１６ …操作端末
２８ …超音波距離センサ
３４ …全方位カメラ
４６ …接触センサ
５２ …スピーカ
５４ …マイク
５８ …眼カメラ
６０ …ＣＰＵ
６２ …バス
６４ …メモリ
６６ …モータ制御ボード
６８ …センサ入力／出力ボード
７０ …音声入力／出力ボード
８２ …通信ＬＡＮボード
８４ …無線通信装置
８６ …無線タグ読取装置
１００ …ネットワーク DESCRIPTION OF SYMBOLS 10 ... Robot remote control system 12 ... Communication robot 14 ... Central controller 16 ... Operation terminal 28 ... Ultrasonic distance sensor 34 ... Omnidirectional camera 46 ... Contact sensor 52 ... Speaker 54 ... Microphone 58 ... Eye camera 60 ... CPU
62 ... Bus 64 ... Memory 66 ... Motor control board 68 ... Sensor input / output board 70 ... Audio input / output board 82 ... Communication LAN board 84 ... Wireless communication device 86 ... Wireless tag reader 100 ... Network

Claims (6)

遠隔操作または自律制御により、人間との間で身体動作および音声の少なくとも一方によるコミュニケーション行動を行うロボットと、ネットワークを介して前記ロボットの遠隔操作を行う複数の操作端末と、前記ネットワークを介して前記ロボットと前記操作端末との仲介を行う中央制御装置とを備える、ロボット遠隔操作システムにおいて、
前記ロボットは、
自律制御により前記人間との間におけるコミュニケーション行動の実行が困難であるかどうかを判断する判断手段、および
前記判断手段の判断結果が肯定的であるとき前記中央制御装置に遠隔操作の依頼を通知する通知手段を備え、
前記中央制御装置は、
前記通知手段からの遠隔操作の依頼の通知を受信する依頼通知受信手段、
前記依頼通知受信手段が遠隔操作の依頼の通知を受信したことに応じて前記ロボットの遠隔操作を行う操作者が満たすべき条件についての条件リストを作成する条件リスト作成手段、
前記複数の操作端末の各々について操作者の属性情報を含む端末情報を記憶する端末情報記憶手段、
前記条件作成手段によって作成された条件リストと前記端末情報記憶手段に記憶された端末情報とを比較する比較手段、
前記比較手段の比較結果に基づいて前記条件リストの全部または一部の条件を満足する端末情報を有する１または複数の操作端末を前記ロボットの遠隔操作を行う操作端末として選択する選択手段、および
前記ロボットと前記選択手段によって選択された１または複数の操作端末とを前記ネットワークを介して通信可能に接続させる接続制御手段を備えることを特徴とする、ロボット遠隔操作システム。 A robot that performs communication with humans through at least one of body movement and voice by remote control or autonomous control, a plurality of operation terminals that perform remote control of the robot via a network, and the network via the network In a robot remote control system comprising a central controller that mediates between a robot and the operation terminal,
The robot is
A determination means for determining whether or not it is difficult to execute a communication action with the human by autonomous control; and when the determination result of the determination means is affirmative, the central control apparatus is notified of a request for remote operation A notification means,
The central controller is
A request notification receiving means for receiving a notification of a remote operation request from the notification means;
Condition list creating means for creating a condition list for conditions to be satisfied by an operator who performs remote operation of the robot in response to the request notification receiving means receiving a notification of a remote operation request;
Terminal information storage means for storing terminal information including operator attribute information for each of the plurality of operation terminals;
Comparison means for comparing the condition list created by the condition creation means with the terminal information stored in the terminal information storage means;
Selection means for selecting one or a plurality of operation terminals having terminal information satisfying all or a part of the conditions of the condition list as operation terminals for performing remote operation of the robot, based on a comparison result of the comparison means; and A robot remote control system comprising connection control means for connecting a robot and one or a plurality of operation terminals selected by the selection means via the network so as to communicate with each other. 前記ロボットは、
前記人間の音声に対応する音声信号を検出する音声検出手段、および
前記音声検出手段によって検出された音声信号を少なくとも前記中央制御装置に送信する送信手段をさらに備え、
前記中央制御装置は、
前記送信手段からの音声信号を受信する音声受信手段、
前記音声受信手段によって受信された音声信号に基づいて前記人間の音声を認識する音声認識手段、および
前記音声認識手段の認識結果に基づいて前記人間の発話する言語を特定する言語特定手段をさらに備え、
前記条件リストは、言語情報を条件として含む、請求項１記載のロボット遠隔操作システム。 The robot is
Voice detection means for detecting a voice signal corresponding to the human voice; and transmission means for transmitting the voice signal detected by the voice detection means to at least the central control unit,
The central controller is
Audio receiving means for receiving an audio signal from the transmitting means;
Voice recognition means for recognizing the human voice based on a voice signal received by the voice reception means; and language specification means for specifying a language spoken by the human based on a recognition result of the voice recognition means. ,
The robot remote control system according to claim 1, wherein the condition list includes language information as a condition. 前記選択手段は、１つの前記操作端末の端末情報によって前記条件リストの一部の条件を満足するとき、当該一部の条件を除く残りの条件を満足する端末情報を有する１または複数の他の前記操作端末を選択する他端末選択手段を含み、
前記他端末選択手段は、前記条件リストの全条件に対して一定の割合を超える条件を満足するまで前記他の操作端末の選択を継続する、請求項２のロボット遠隔操作システム。 When the selection means satisfies a part of the conditions in the condition list by the terminal information of one of the operation terminals, the selection unit includes one or a plurality of other information including terminal information that satisfies the remaining conditions excluding the part of the condition Including other terminal selection means for selecting the operation terminal,
The robot remote operation system according to claim 2, wherein the other terminal selection unit continues to select the other operation terminal until a condition exceeding a certain ratio with respect to all the conditions in the condition list is satisfied. 前記中央制御装置は、
前記選択手段によって選択された操作端末の数が一定数以上であるかどうかを判定する端末数判定手段をさらに備え、
前記他端末選択手段は、前記端末数判定手段によって、一定数以上であることが判定されるまで前記他の操作端末の選択を継続する、請求項３記載のロボット遠隔操作システム。 The central controller is
A terminal number determination means for determining whether or not the number of operation terminals selected by the selection means is a certain number or more;
The robot remote operation system according to claim 3, wherein the other terminal selection unit continues to select the other operation terminal until the terminal number determination unit determines that the number is equal to or greater than a certain number. 前記選択手段は、１つの前記操作端末の端末情報によって前記条件リストの一部の条件を満足するとき、当該条件一部の条件を除く残りの条件を満足する端末情報を有する１または複数の他の前記操作端末を選択する他端末操作手段を含み、
前記中央制御装置は、
前記選択手段によって選択された操作端末の数が一定数以上であるかどうかを判定する端末数判定手段をさらに備え、
前記他端末選択手段は、前記端末数判定手段によって、一定数以上であることが判定されるまで前記他の操作端末の選択を継続する、請求項２記載のロボット遠隔操作システム。 When the selection means satisfies a part of the condition list by the terminal information of one operation terminal, the selection unit includes one or a plurality of other terminals having terminal information that satisfies the remaining conditions excluding the part of the condition Other terminal operation means for selecting the operation terminal of
The central controller is
A terminal number determination means for determining whether or not the number of operation terminals selected by the selection means is a certain number or more;
The robot remote operation system according to claim 2, wherein the other terminal selection unit continues to select the other operation terminal until the terminal number determination unit determines that the number is equal to or greater than a certain number. 前記中央制御装置は、
前記ロボットと前記１または複数操作端末との通信速度によって前記ロボットから前記１または前記複数の操作端末に送信する前記ロボットの情報を制御する送信情報制御手段をさらに備える、請求項１ないし５のいずれかに記載のロボット遠隔操作システム。 The central controller is
The transmission information control means for controlling the information of the robot transmitted from the robot to the one or the plurality of operation terminals according to the communication speed between the robot and the one or the plurality of operation terminals. The robot remote control system described in Crab.
JP2007264118A 2007-10-10 2007-10-10 Robot remote control system Active JP5070441B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007264118A JP5070441B2 (en) 2007-10-10 2007-10-10 Robot remote control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007264118A JP5070441B2 (en) 2007-10-10 2007-10-10 Robot remote control system

Publications (2)

Publication Number Publication Date
JP2009090420A true JP2009090420A (en) 2009-04-30
JP5070441B2 JP5070441B2 (en) 2012-11-14

Family

ID=40662923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007264118A Active JP5070441B2 (en) 2007-10-10 2007-10-10 Robot remote control system

Country Status (1)

Country Link
JP (1) JP5070441B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010260141A (en) * 2009-05-08 2010-11-18 Nec Corp Robot device
CN103419203A (en) * 2012-05-21 2013-12-04 李坚 All-day domestic robot
KR20150081427A (en) * 2012-09-11 2015-07-14 유진 알. 파렌테 System for remotely swinging a golf club
JP2018153875A (en) * 2017-03-15 2018-10-04 株式会社オカムラ Management system, management method and program
JP2019005819A (en) * 2017-06-21 2019-01-17 富士ゼロックス株式会社 Remote control type mobile robot and robot control system
WO2019069850A1 (en) * 2017-10-02 2019-04-11 株式会社オカムラ Management system and control method
JP2020066094A (en) * 2018-10-24 2020-04-30 トヨタ自動車株式会社 Communication robot and communication robot control program
CN111312385A (en) * 2020-03-06 2020-06-19 西门子医疗***有限公司 Processing device, method and system for controlling medical equipment
CN111326249A (en) * 2020-03-06 2020-06-23 西门子医疗***有限公司 Processing device, user equipment and system for controlling medical equipment
JP2021062426A (en) * 2019-10-10 2021-04-22 沖電気工業株式会社 Robot system
WO2022138653A1 (en) * 2020-12-24 2022-06-30 川崎重工業株式会社 Robot system and robot work method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7041492B2 (en) * 2017-10-31 2022-03-24 川崎重工業株式会社 Robot system
JP7052546B2 (en) 2018-05-11 2022-04-12 トヨタ自動車株式会社 Autonomous mobile systems, autonomous mobiles, charging docks, control methods, and programs
JP7505425B2 (en) 2021-03-18 2024-06-25 トヨタ自動車株式会社 Remote Control System
JP7468421B2 (en) 2021-03-23 2024-04-16 トヨタ自動車株式会社 Remote operation system, remote operation method, and program
JP7468423B2 (en) 2021-03-24 2024-04-16 トヨタ自動車株式会社 Remote control system, remote control mobile body, remote control method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004160653A (en) * 2002-11-13 2004-06-10 Samsung Electronics Co Ltd Home robot control system and home robot operating method
JP2007160442A (en) * 2005-12-12 2007-06-28 Honda Motor Co Ltd Mobile robot
JP2007190659A (en) * 2006-01-20 2007-08-02 Advanced Telecommunication Research Institute International Robot remote operation system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004160653A (en) * 2002-11-13 2004-06-10 Samsung Electronics Co Ltd Home robot control system and home robot operating method
JP2007160442A (en) * 2005-12-12 2007-06-28 Honda Motor Co Ltd Mobile robot
JP2007190659A (en) * 2006-01-20 2007-08-02 Advanced Telecommunication Research Institute International Robot remote operation system

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010260141A (en) * 2009-05-08 2010-11-18 Nec Corp Robot device
CN103419203A (en) * 2012-05-21 2013-12-04 李坚 All-day domestic robot
KR20150081427A (en) * 2012-09-11 2015-07-14 유진 알. 파렌테 System for remotely swinging a golf club
JP2015534473A (en) * 2012-09-11 2015-12-03 ペアレンテ、ユージーン、アール． A system for swinging a golf club from a remote location
KR102032342B1 (en) 2012-09-11 2019-10-15 유진 알. 파렌테 System for remotely swinging a golf club
JP2018153875A (en) * 2017-03-15 2018-10-04 株式会社オカムラ Management system, management method and program
JP7013689B2 (en) 2017-06-21 2022-02-01 富士フイルムビジネスイノベーション株式会社 Remote-controlled mobile robots and robot control systems
JP2019005819A (en) * 2017-06-21 2019-01-17 富士ゼロックス株式会社 Remote control type mobile robot and robot control system
WO2019069850A1 (en) * 2017-10-02 2019-04-11 株式会社オカムラ Management system and control method
JP2019063950A (en) * 2017-10-02 2019-04-25 株式会社オカムラ Management system and control method
US11534907B2 (en) 2017-10-02 2022-12-27 Okamura Corporation Management system and control method
CN111086010A (en) * 2018-10-24 2020-05-01 丰田自动车株式会社 Communication robot and computer-readable storage medium
JP7067414B2 (en) 2018-10-24 2022-05-16 トヨタ自動車株式会社 Communication robots and control programs for communication robots
CN111086010B (en) * 2018-10-24 2022-11-08 丰田自动车株式会社 Communication robot and computer-readable storage medium
JP2020066094A (en) * 2018-10-24 2020-04-30 トヨタ自動車株式会社 Communication robot and communication robot control program
JP2021062426A (en) * 2019-10-10 2021-04-22 沖電気工業株式会社 Robot system
CN111326249A (en) * 2020-03-06 2020-06-23 西门子医疗***有限公司 Processing device, user equipment and system for controlling medical equipment
CN111312385A (en) * 2020-03-06 2020-06-19 西门子医疗***有限公司 Processing device, method and system for controlling medical equipment
WO2022138653A1 (en) * 2020-12-24 2022-06-30 川崎重工業株式会社 Robot system and robot work method
JP7477651B2 (en) 2020-12-24 2024-05-01 川崎重工業株式会社 ROBOT SYSTEM AND ROBOT OPERATION METHOD

Also Published As

Publication number Publication date
JP5070441B2 (en) 2012-11-14

Similar Documents

Publication Publication Date Title
JP5070441B2 (en) Robot remote control system
JP4639343B2 (en) Robot remote control system
JP5033994B2 (en) Communication robot
JP4386367B2 (en) Communication robot improvement system
EP3463244B1 (en) Guide robot and method and system for operating the same
JP4822319B2 (en) Communication robot and attention control system using the same
JP2009241166A (en) Robot remote operation system
JP5429462B2 (en) Communication robot
JP4786519B2 (en) Method for acquiring information necessary for service for moving object by robot, and object movement service system by robot using the method
JP5366048B2 (en) Information provision system
JP4599522B2 (en) Communication robot
US20190389075A1 (en) Robot system and robot dialogue method
WO2018108176A1 (en) Robot video call control method, device and terminal
JP5145569B2 (en) Object identification method and apparatus
JP2007160427A (en) Robot control system
JP2009131914A (en) Robot control system
CN111515970B (en) Interaction method, mimicry robot and related device
JP4677593B2 (en) Communication robot
JP2019147234A (en) Device, robot, method, and program
JP2007265329A (en) Route guidance system
JP5163202B2 (en) Article estimation system
JP6468643B2 (en) Communication system, confirmation action determination device, confirmation action determination program, and confirmation action determination method
JP5194314B2 (en) Communication system
JP2005202075A (en) Speech communication control system and its method and robot apparatus
JP2007260864A (en) Communication robot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120706

R150 Certificate of patent or registration of utility model

Ref document number: 5070441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250