JP6901992B2 - Guidance robot system and language selection method - Google Patents
Guidance robot system and language selection method Download PDFInfo
- Publication number
- JP6901992B2 JP6901992B2 JP2018078970A JP2018078970A JP6901992B2 JP 6901992 B2 JP6901992 B2 JP 6901992B2 JP 2018078970 A JP2018078970 A JP 2018078970A JP 2018078970 A JP2018078970 A JP 2018078970A JP 6901992 B2 JP6901992 B2 JP 6901992B2
- Authority
- JP
- Japan
- Prior art keywords
- language
- conversation
- robot
- unit
- keyword
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Manipulator (AREA)
- Toys (AREA)
Description
本発明は、複数の言語で案内を行う案内ロボットシステム及び案内方法に関するものである。 The present invention relates to a guidance robot system and a guidance method that provide guidance in a plurality of languages.
従来、ロボットを施設に設置して案内サービスを提供するとき、案内ロボットが動かずに停止していると、案内ロボットに何ができるのかユーザにはわからず、その結果利用されないという問題があった。 Conventionally, when a robot is installed in a facility to provide a guidance service, if the guidance robot is stopped without moving, the user does not know what the guidance robot can do, and as a result, it is not used. ..
例えばポスター等により「案内ロボット」等と表示したとしても、案内サービスを提供中なのかどうかわからず、人間の説明者がロボットの傍に立ち利用を呼び掛けるなどのアピールを行わなければ利用してもらえないという問題があった。 For example, even if a poster or the like is displayed as "guidance robot", it is not known whether the guidance service is being provided, and if a human explainer does not appeal by standing beside the robot and calling for use, it will be used. There was a problem that there was no.
また一方で、ロボット自体が案内サービスを音声で呼びかける場合にも、案内ロボットが使用する言語については、設定されている言語を用いることになるが、この設定されている言語と異なる言語で会話するユーザは、案内サービスを利用するのが困難となる。 On the other hand, when the robot itself calls the guidance service by voice, the language used by the guidance robot will be the set language, but the conversation will be in a language different from the set language. It becomes difficult for the user to use the guidance service.
言語の切り替え方法については、電子辞書のような装置で音声入力を受け取り、入力された音声を音声識別してデータ変換し、このデータと予め言語ごとに登録しておいたデータとを照合し、一致した言語へ切り替える技術が開示されている（例えば特許文献１）。 Regarding the method of switching languages, a device such as an electronic dictionary receives voice input, voice-identifies the input voice, converts the data, and collates this data with the data registered in advance for each language. A technique for switching to a matching language is disclosed (for example, Patent Document 1).
上述のような特許文献１の技術の場合、まずはユーザが音声を発し、これを受けて言語の切り替えを行うが、これを案内ロボットに適用すると、ユーザが音声を発するまで、案内ロボットは動かずに停止したままとなる。よって、案内ロボットに何ができるのかユーザにはわからず、その結果利用されないという上記問題が解消されない。また、特許文献１の技術の場合、ユーザが音声を発するまで、どのような言語を用いることができるのかを知ることができない。これは、特許文献１の技術が受動的な動作（ユーザから入力があってはじめて動作する）となっていることに起因する。 In the case of the technology of Patent Document 1 as described above, the user first emits a voice and then switches the language in response to the voice. However, when this is applied to the guide robot, the guide robot does not move until the user emits a voice. It remains stopped at. Therefore, the user does not know what the guide robot can do, and as a result, the above problem of not being used cannot be solved. Further, in the case of the technique of Patent Document 1, it is not possible to know what kind of language can be used until the user emits a voice. This is because the technique of Patent Document 1 is a passive operation (it operates only when there is an input from the user).
本発明は、このような問題点を解決すべくなされたもので、使用可能な言語を能動的に知らせるとともに、案内サービスに使用する言語を、対面しているユーザが使用する言語に変更する技術を提供することを目的とする。 The present invention has been made to solve such a problem, and is a technique for actively informing the available languages and changing the language used for the guidance service to the language used by the facing user. The purpose is to provide.
かかる課題を解決するため、本発明は、言語ごとに設けられる会話処理部を用いて、案内サービスを提供する案内ロボットシステムであって、各言語に対応付けられた時間で、各々の言語を用いて順番に繰り返し話かけるようにロボットを制御する話しかけ部と、話しかけを行っているときに前記ロボットの前に対面している人がいることを検知する対面検知部と、当該対面者の話す言語の中から特定のキーワードを検出するキーワード検出部と、前記キーワード検出部により検出されたキーワードに基づいて、事前に登録されている複数の言語の中から一つの言語を選択する言語選択部と、前記対面検知部が対面者を検知したときに前記ロボットが話しかけている言語と対応付けられている会話処理部で、会話を始めるように制御するとともに、その後、前記言語選択部により選択された言語と対応付けられている会話処理部により会話を継続するように制御する会話制御部と、を有することを特徴とする。 In order to solve such a problem, the present invention is a guidance robot system that provides a guidance service by using a conversation processing unit provided for each language, and uses each language at a time associated with each language. A talking unit that controls the robot so that it speaks repeatedly in order, a face-to-face detection unit that detects that there is a person facing the robot when talking, and the language spoken by the person. A keyword detection unit that detects a specific keyword from among them, a language selection unit that selects one language from a plurality of pre-registered languages based on the keywords detected by the keyword detection unit, and a language selection unit. The conversation processing unit associated with the language spoken by the robot when the face-to-face detection unit detects a person is controlled to start a conversation, and then the language selected by the language selection unit. It is characterized by having a conversation control unit that controls the conversation to be continued by a conversation processing unit associated with.
複数の言語で案内サービスを提供するロボットが案内サービスに使用する言語をユーザが使用する言語に変更することができる。
上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
The language used for the guidance service by the robot that provides the guidance service in a plurality of languages can be changed to the language used by the user.
Issues, configurations and effects other than those described above will be clarified by the description of the following embodiments.
以下図面について、本発明の案内ロボットシステム及び言語選択方法の一実施形態を説明する。
図１は、実施形態の案内ロボットシステム全体の構成例を示した図である。案内ロボットシステム１は、複数の言語で案内サービスを提供するシステムである。ロボット４とロボット制御装置３は、無線通信で接続され案内サービスを提供する建物５や敷地内に設置される。ロボット４は、ロボット制御装置３から制御命令を受け取り、建物を利用するユーザに建物５内の設備やテナントの場所、テナントの提供する商品、サービス等を紹介する案内サービスを実施する。
Hereinafter, an embodiment of the guidance robot system and the language selection method of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a configuration example of the entire guidance robot system of the embodiment. The guidance robot system 1 is a system that provides guidance services in a plurality of languages. The
図１では、１台のロボット制御装置３とそれに接続された１台のロボット４が記載されているが、施設の規模や種類により複数のロボット制御装置３および複数のロボット４を配置して、サービスを提供してもよい。複数のロボットを設置することにより、ロボット毎にサービス内容を変更し、ロボット毎に話す言語の割合を変更することも可能となる。
In FIG. 1, one
建物５内に設置されたロボット制御装置３は、ネットワーク６を介してロボット管理サーバ２に接続される。本実施形態では、建物を一つのみ記載しているが、複数の建物を一つロボット管理サーバ２が管理することも可能である。ロボット管理サーバ２は、どの建物にどのロボットが配置され、正常に動作しているか、またメンテナンスが必要かどうかを管理している。ロボット管理サーバ２を設けることで、例えば、交換や修理が必要な場合、代替ロボットの機体や部品を手配して、技術者とともに設置建物に送り、早期に復旧させて案内サービスを再提供することができる。
The
図２は、ロボット４の構成例を示した図である。ロボット４は、各種の処理を行うＣＰＵ（Central Processing Unit）１０と、記憶装置１１（主記憶装置および補助記憶装置を含んだ記憶装置）とを有する。記憶装置１１は、ＣＰＵ１０に接続されており、駆動機構３５を制御する駆動制御部２０、会話を制御する会話制御部２１、入出力装置１２との入出力を行う入出力部２２などのソフトウェアモジュールやデータを記憶する。
FIG. 2 is a diagram showing a configuration example of the
ロボット４は、周辺機器として入出力装置１２を有している。ロボット４は、入出力装置１２として、音声を発するスピーカ３４および周囲の音声を集音するマイク３１を有し、これらを用いてユーザとの会話を行う。またロボット４は、入出力装置１２として、外部周囲を撮像するカメラ３０および物体を検出し当該物体までの距離を計測する測域センサ３３を有し、これらを用いてユーザや障害物を認識する。ロボット４は、入出力装置１２として、機体姿勢を検出するためのジャイロセンサ３２、およびロボット４の機体姿勢を制御し、ロボット４を移動させるための駆動機構３５を有する。またロボット４は、ロボット制御装置３との間で無線通信を行うための通信インターフェイス１３とを備える。
The
ＣＰＵ１０が記憶装置１１に記憶されたソフトウェアモジュールを読み出して実行することで、ロボット４の上記機能（駆動制御部２０、会話制御部２１、および入出力部２２）が実現される。
When the
ロボット４は、カメラ３０から映像（画像）を取得し、マイク３１から音声を取得して、ロボット制御装置３に送信する。ロボット４は、ロボット制御装置３からの指示に基づいて、建物５内を駆動機構３５により移動する。また、ロボット４は、移動中にカメラ３０の画像および測域センサ３３の出力値に基づいて障害物を検知し、駆動制御部２０により自律的に移動を停止したり、障害物を回避したりする。
The
図３は、ロボット制御装置３の構成の例を示す。ロボット制御装置３は、各種の処理を行うＣＰＵ４０と、各種ソフトウェアモジュール、テーブル等のデータを格納する記憶装置４１（主記憶装置および補助記憶装置を含んだ記憶装置）を有する。またロボット制御装置３は、ロボット４およびロボット管理サーバ２と相互通信可能な通信インターフェイス４２を備える。
FIG. 3 shows an example of the configuration of the
ＣＰＵ４０は記憶装置４１に記憶されたプログラムを読み出して、各種機能を実行する。本実施形態では、ロボット制御装置３の機能として、入力データ処理部５０、移動指示部５１、対面検知部５２、音声認識部５３、キーワード検出部６４、言語選択部８１、言語切り替え部５４、言語テーブル６５、サービスフロー処理部５５、サービスフロー５６、会話制御部６６、キーワードテーブル６７、施設情報テーブル６３が実現される。また、会話制御部６６は、話しかけ部６８、会話処理部（日本語）５７、会話処理部（英語）５９、会話処理部（中国語）６１を含み、キーワードテーブル６７は、日本語キーワードテーブル５８、英語キーワードテーブル６０、中国語キーワードテーブル６２を含んでいる。
The
会話制御部６６は、いずれの会話処理部を用いて会話を行うかを制御する処理部であり、ユーザとの会話を始めるための話しかけ処理を実施する話しかけ部６８を有している。話しかけ部６８は、各言語に対応付けられた時間で、各々の言語を用いて順番に繰り返し話かけるようにロボット４を制御する。尚、「話しかけ」は、「引き込み」とも換言することができ、これらは同義である。「引き込み」は、広い意味でロボットを利用してもらうためのユーザを引き込むための要素全般である。すなわち、「話しかけ」は、単なる発話のみならず、ロボットの身振り手振りの動作、サイネージ表示連携、掲示なども、概念上含んでもよい。
The
入力データ処理部５０は、ロボット４から受信したデータを処理する。移動指示部５１は、ユーザを該当場所まで案内するときのその移動先を指定するなどの移動指示を行う。
The input
対面検知部５２は、ロボット４が話しかけを行っているときに、ロボット４の前に対面している人がいることを検知する。対面検知部５２は、ロボット４のカメラ３０および測域センサ３３から得られた画像情報や障害物情報を取得し、これらの情報に基づき、ユーザと対面状態にあるかどうかを検知する。本実施形態では、対面検知している間は案内サービスを継続し、ユーザがロボットから離れて対面検知しなくなれば案内を中止して話しかけ処理を始める。このようにすれば、ロボット４が誤認識した言語で案内をした場合、これを中止させることができる。
The face-to-
音声認識部５３は、ロボット４より送信される、ロボット４のマイク３１から集音されたユーザの音声データを従前技術に基づき解析処理し、音声認識を行う。音声認識部５３は、取得した音声データを、キーワード検索などの後処理に適したデータ（例えばテキストデータ）に変換する。音声認識部５３により処理した後のデータをここでは認識データと称する。
The
キーワード検出部６４は、認識データを基に、キーワードテーブル６７を検索することで、対面者の話す言語の中から特定のキーワードを検出する。キーワード検出部６４は、言語ごとに用意されたキーワードテーブルをそれぞれ検索する。ここでは、日本語キーワードテーブル５８、英語キーワードテーブル６０、中国語キーワードテーブル６２が事前に用意されている。言語選択部８１は、キーワードテーブル５８、６０、６２のいずれが用いられて検索されたかを特定する。これにより、言語選択部８１は、日本語、英語、中国語の中から、対面者の話す言語を一つ選択することができる。本実施形態では、日本語、英語、中国語の各言語を一意に識別するための識別情報と、キーワードテーブル５８、６０、６２とが対応付けられており、言語選択部８１は、特定した識別情報を、会話制御部６６や言語切り替え部５４などの後段の処理部に出力する。
The
言語切り替え部５４は、キーワード検出部６４により選択された言語となるように使用言語を切り替える。この切り替え制御は、会話制御部６６の指示に従い行われる。
The
サービスフロー処理部５５は、サービスフロー５６に設定された施設内の設備やテナントの案内を行うフローに基づいて案内を行う。
The service
会話制御部６６にある会話処理部（日本語）５７は、対面者が日本語を使用すると判定されたときに日本語の会話処理を行う処理部である。会話処理部（英語）５９、会話処理部（中国語）６１も同様に、各言語の会話処理を行う。尚、会話処理部（日本語）５７、会話処理部（英語）５９、会話処理部（中国語）６１は、音声認識部５３を用いて、対面者の問いかけに対する応答を行う処理部であり、既存の技術が用いられてもよい。会話処理部５７、５９、６１は、上記の言語ごとの識別情報と対応付けられており、会話制御部６６は、この識別情報を前段の処理部から取得して、用いる会話処理部を特定し、特定した会話処理部を用いて会話処理を行うことができるように構成されている。
The conversation processing unit (Japanese) 57 in the
施設情報テーブル６３には、ロボット４が案内サービスを行う施設やテナントに関する情報が登録されており、本実施形態では、ユーザの質問や案内依頼に対して、施設情報テーブル６３を参照してサービスを提供する。施設情報テーブル６３に、建物５の地図情報を含ませ、地図情報を表示装置で表示して案内サービスを行ってもよい。ロボット４は駆動機構３５に依頼のあった目的地へ移動するよう指示を出力し、ユーザを目的地まで移動して案内してもよい。
Information about the facility or tenant to which the
言語テーブル６５は、各言語の案内回数を日単位でまとめたものである。言語テーブル６５については後述する。 The language table 65 summarizes the number of times each language is guided on a daily basis. The language table 65 will be described later.
図４は、ロボット管理サーバ２の構成例を示した図である。ロボット管理サーバ２は、各種の処理を行うＣＰＵ７０と、ロボット配置管理部７３等のソフトウェアモジュール、テーブル等のデータを記憶する記憶装置７１（主記憶装置および補助記憶装置を含んだ記憶装置）とを有する。またロボット管理サーバ２は、ロボット制御装置３と相互通信可能な通信インターフェイス７２を備える。
FIG. 4 is a diagram showing a configuration example of the robot management server 2. The robot management server 2 includes a
ＣＰＵ７０が記憶装置７１に記憶されたソフトウェアモジュールを読み出して実行することで、ロボット管理サーバ２の機能（ロボット配置管理部７３等）が実現される。
The function of the robot management server 2 (robot
ロボット配置管理部７３は、どのロボットがどの建物に配置されているかの情報を記憶しており、また正常にサービスを提供できているかどうかをモニタする。ロボット配置管理部７３は、サービスを提供できていない場合は必要なロボットの保守サービスを行うように、建物へロボットの機体、部品、技術者を派遣できるよう指示を出す。
The robot
図５は、ロボット制御装置３の動作例を示すフローチャートである。ロボット４が案内サービスを提供するとき、建物５内の人に対して、会話制御部６６の話しかけ部６８は、気を引くため、または会話の契機をつくるための話しかけ動作を実行する。本実施形態では、最初にステップＳ１００で日本語音声による話しかけを１０秒間行い、その後ステップＳ１０１で英語音声による話しかけを１５秒間行い、ステップＳ１０２で日本語音声による話しかけを１０秒間行い、ステップＳ１０３で中国語音声による話しかけを１５秒間行う。話しかけ部６８は、このステップＳ１００〜Ｓ１０３の動作を繰り返す。
FIG. 5 is a flowchart showing an operation example of the
本実施形態では、このように日本語、英語、中国語による話しかけを行うものとしたが、事前に用意した言語であれば、どのような言語であってもよい。また本実施形態では、ユーザが使用する可能性の高い主要言語（第一の言語）と、その他の言語である副言語（第二の言語）とを交互に繰り返すことで、話しかけ動作を行う。また本実施形態では、日本国内にロボット４が設置されていることを想定しているため、他の言語よりも、主要言語である日本語を多く発声するように、話しかけ動作が行われる。ロボット４が設置されている国で使用されている言語の割合に合わせて、各言語の話しかけ時間や頻度を設定することで、より多くの人に案内サービスを提供することができる。また、話しかけの言語は、主要言語と副言語を区別せず、ロボット４が案内できる言語全てを順番に使用し、各々の言語の時間を調整してもよい。
In the present embodiment, the conversation is made in Japanese, English, and Chinese in this way, but any language may be used as long as it is a language prepared in advance. Further, in the present embodiment, the talking operation is performed by alternately repeating the main language (first language) that is likely to be used by the user and the sub-language (second language) that is another language. Further, in the present embodiment, since it is assumed that the
話しかけ中に対面検知部５２が対面者を検知したときは、会話制御部６６は、そのときに話しかけている言語で会話を実行するように制御する。例えばステップＳ１００にて、日本語で話しかけている最中に対面者を対面検知部５２が検知したときは、会話制御部６６は、ステップＳ１１０にて、会話処理部（日本語）５７を用いて日本語で会話実行を行うように制御する。同様に、英語で話しかけている最中に、対面者を対面検知部５２が検出したときは、会話処理部（英語）５９を用いて英語で会話実行を行うように制御する（Ｓ１０１：Ｙｅｓ、Ｓ１１２）。中国語についても同様である（Ｓ１０３：Ｙｅｓ、Ｓ１１４）。
When the face-to-
会話処理部（日本語）５７を用いて日本語で会話実行を行っている最中に、ステップＳ１１１にて、会話の中でキーワードテーブル６７に登録されている英語や中国語のキーワードを検知したときは、会話制御部６６の制御に従い、言語切り替え部５４が日本語会話を終了し、キーワード検出部６４が検出したキーワードの言語に切り替えて会話を行う（Ｓ１１２またはＳ１１４に移行）。
While executing a conversation in Japanese using the conversation processing unit (Japanese) 57, in step S111, an English or Chinese keyword registered in the keyword table 67 was detected in the conversation. At that time, according to the control of the
ステップＳ１１１にて、英語や中国語のキーワードをキーワード検出部６４が検出しなかった場合は、会話制御部６６は、このまま引き続き会話処理部（日本語）５７を用いて、日本語による会話を遂行する。そしてサービスフロー処理部５５がサービスフロー５６に基づいて施設案内やテナント案内のサービスを継続する。サービスが終了した場合、もしくは対面者が立ち去った場合、ステップ１００の話しかけ動作に戻り、話しかけ部６８が複数の言語での話しかけを繰り返す。
If the
ステップＳ１１３、ステップＳ１１５は、ステップＳ１１１と同様の処理であり、それぞれ英語、中国語で会話が行われている場合の処理となる。 Step S113 and step S115 are the same processes as in step S111, and are processes when conversations are conducted in English and Chinese, respectively.
このように会話制御部６６は、まずは、対面検知部５２が対面者を検知したときにロボット４が話しかけている言語（例えば日本語）と対応付けられている会話処理部（例えば会話処理部（日本語）５７）で、会話を始めるように制御する。そして会話制御部６６は、その後、言語選択部８１により選択された言語と対応付けられている会話処理部（例えば会話処理部（英語）５９、会話処理部（中国語）６１）により会話を継続するように制御する。
In this way, the
異なる言語を話す複数のユーザが対面し、殆ど同時にロボット４へ話しかけることも想定される。この場合、キーワードを検知するたびに言語が切り替わると、サービスを効率的に提供することができない。よって、会話中の言語と異なる言語のキーワードを複数回検知した場合のみ、言語に切り替える実装でもよい。また、言語の切り替えを一度行うと案内サービスが終了するまで他の言語には切り替えないようにしてもよい。このように頻繁に使用言語を切り替えないようにすることで、複数の人から話しかけられたような場合であっても効率よく案内サービスを提供することが可能になる。
It is also assumed that a plurality of users who speak different languages face each other and talk to the
図６は、キーワードテーブル６７の例である。図３の構成図では、言語毎にキーワードテーブルを用意しているが、図６のキーワードテーブルのように各単語の言語毎の表現を対応付けて、一つのテーブルとして実現してもよい。 FIG. 6 is an example of the keyword table 67. Although the keyword table is prepared for each language in the configuration diagram of FIG. 3, it may be realized as one table by associating the expressions of each word for each language as in the keyword table of FIG.
キーワード１２０は、頻繁に使用する、発話の合間に挟み込む言葉（フィラー）の例である。キーワード１２１は、話しかけるときに頻繁に使用される単語の例である。キーワード１２２は、ロボット４につけられた名前の例であり、同じ名前であっても各言語により発音やイントネーションが異なるため、言語毎に発音の特徴を登録しておく。キーワード１２３は、挨拶に用いられる単語の例である。キーワード１２４は、建物内でよく使用される施設の例である。
キーワード検出部６４は、キーワードを検出した回数をキーワードテーブル６７に格納する。そして、キーワード検出部６４は、対面者の話す言語の中から特定のキーワードを検出する際、キーワードテーブル６７に格納された検出回数の多いキーワードから順に、照合処理を行ってもよい。また、キーワード検出部６４は、キーワードテーブル６７に登録されているキーワード全てを使用して照合するのではなく、検出回数が規定値を超えているキーワードや一定割合以上検出されたキーワードを、照合対象のキーワードとして扱う実装でもよい。キーワードを絞ることにより、検索負荷や判定負荷を減らすことができるだけでなく、会話中の判定により、頻繁に言語の変更が発生し案内効率が低下することを防ぐことができる。
The
図７は言語テーブル６５の例である。この例では日付１３０毎に日本語での案内回数１３１、英語での案内回数１３２、中国語での案内回数１３３を言語切り替え部５４が言語を切り替えたときにカウントしていく。会話制御部６６は、このテーブルを参照して各々の言語で話しかけを行う時間や頻度、または話しかけの順番のいずれか一方もしくは両方を決定し、変更することにより、適切な言語により案内サービスを実施できる可能性を高めることができる。例えば会話制御部６６は、案内回数が最多となる言語の時間を最も長く、多く繰り返されるように順番付けを行う。また案内回数が少ない言語については、会話制御部６６は、当該言語に割り当てる時間を短く、繰り返しも少なくなるように順番付けを行う。
FIG. 7 is an example of the language table 65. In this example, the number of times of guidance in Japanese 131, the number of times of guidance in
本実施形態では、日本語、英語、中国語で案内する案内ロボットサービスの例を説明したが、国や建物、施設、時期、イベントに応じて、スペイン語、ロシア語、韓国語などの言語で案内サービスを提供してもよく、言語の種類を増減してもよい。 In this embodiment, an example of a guidance robot service that guides in Japanese, English, and Chinese has been described, but in languages such as Spanish, Russian, and Korean, depending on the country, building, facility, time, and event. Guidance services may be provided, and the types of languages may be increased or decreased.
上記実施形態では、ロボット制御装置３とロボット４とを別体とした構成について説明したが、ロボット制御装置３の機能をロボット４に組み込んでもよい。また、ロボット制御装置３について、図３で示す構成（機能分割）はあくまで一例である。例えば、会話制御部６６の制御動作や機能を、サービスフロー処理部５５に実装するなど、さまざまな機能分割を行うことができる。これ以外にも、ＣＰＵなどの演算処理装置と記憶装置とを有する制御部が、上記実施形態で説明した動作や機能を提供できれば、どのような機能分割をしても構わない。
In the above embodiment, the configuration in which the
尚、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。 The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations. Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration. Further, each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
１：案内ロボットシステム
２：ロボット管理サーバ
３：ロボット制御装置
４：ロボット
５０：入力データ処理部
５１：移動指示部
５２：対面検知部
５３：音声認識部
５４：言語切り替え部
５５：サービスフロー処理部
５６：サービスフロー
５７：会話処理部（日本語）
５８：日本語キーワードテーブル
５９：会話処理部（英語）
６０：英語キーワードテーブル
６１：会話処理部（中国語）
６２：中国語キーワードテーブル
６４：キーワード検出部
６５：言語テーブル
６６：会話制御部
６７：キーワードテーブル
６８：話しかけ部
８１：言語選択部
1: Guidance robot system 2: Robot management server 3: Robot control device 4: Robot 50: Input data processing unit 51: Movement instruction unit 52: Face-to-face detection unit 53: Voice recognition unit 54: Language switching unit 55: Service flow processing unit 56: Service flow 57: Conversation processing department (Japanese)
58: Japanese keyword table 59: Conversation processing department (English)
60: English keyword table 61: Conversation processing department (Chinese)
62: Chinese keyword table 64: Keyword detection unit 65: Language table 66: Conversation control unit 67: Keyword table 68: Speaking unit 81: Language selection unit
Claims (6)
各言語に対応付けられた時間で、各々の言語を用いて順番に繰り返し話かけるようにロボットを制御する話しかけ部と、
話しかけを行っているときに前記ロボットの前に対面している人がいることを検知する対面検知部と、
当該対面者の話す言語の中から特定のキーワードを検出するキーワード検出部と、
前記キーワード検出部により検出されたキーワードに基づいて、事前に登録されている複数の言語の中から一つの言語を選択する言語選択部と、
前記対面検知部が対面者を検知したときに前記ロボットが話しかけている言語と対応付けられている会話処理部で、会話を始めるように制御するとともに、その後、前記言語選択部により選択された言語と対応付けられている会話処理部により会話を継続するように制御する会話制御部と、
を有することを特徴とする案内ロボットシステム。 A guidance robot system that provides guidance services using a conversation processing unit provided for each language.
A talking unit that controls the robot to talk repeatedly in order using each language at the time associated with each language,
A face-to-face detection unit that detects that there is a person facing the robot in front of the robot when talking to it,
A keyword detection unit that detects a specific keyword from the language spoken by the person in question,
A language selection unit that selects one language from a plurality of pre-registered languages based on the keywords detected by the keyword detection unit, and a language selection unit.
The conversation processing unit associated with the language spoken by the robot when the face-to-face detection unit detects a person is controlled to start a conversation, and then the language selected by the language selection unit. A conversation control unit that controls the conversation to continue by the conversation processing unit associated with
A guidance robot system characterized by having.
前記話しかけ部は、前記第一の言語で予め定められた時間話しかけ、次に前記複数の第二の言語の中から、話しかけに使う言語を決めることを特徴とする請求項１に記載の案内ロボットシステム。 The plurality of languages include a first language and a plurality of second languages different from the first language.
The guidance robot according to claim 1, wherein the talking unit talks in a predetermined time in the first language, and then determines a language to be used for talking from the plurality of second languages. system.
前記キーワード検出部は、キーワードを検出した回数をキーワードテーブルに格納し、対面者の話す言語の中から特定のキーワードを検出する際、前記キーワードテーブルに格納された検出回数が規定値以上のキーワードのみを用いて検索することを特徴とする請求項２に記載の案内ロボットシステム。 The keywords are registered in the keyword table corresponding to each language, and are registered in the keyword table.
The keyword detection unit stores the number of times a keyword is detected in a keyword table, and when detecting a specific keyword from the language spoken by a face-to-face person, only keywords whose number of detections stored in the keyword table is equal to or greater than a specified value The guidance robot system according to claim 2, wherein the search is performed using the above.
話しかけ部が、第一の言語で予め定められた時間の間人へ話しかける処理と、第二の言語で予め定められた時間の間人への話しかけを行う処理とを交互に繰り返し行い、
対面検知部が、話しかけを行っているときにロボットの前に人がいることを検知し、
会話処理部が、前記話しかけ部が話しかけている言語で、検知された人と会話を始め、
キーワード検出部が、人の話すことばの中に出てくるキーワードを検出し、
言語選択部が、検出されたキーワードに基づいて第一の言語と第二の言語との中から会話を継続する言語を選択し、
会話制御部が、選択された言語に対応する会話処理部で会話を継続するように制御することを特徴とする案内ロボットの言語選択方法。 In the language selection method of a guidance robot that provides guidance services in multiple languages,
The talking department alternately repeats the process of talking to a person for a predetermined time in the first language and the process of talking to a person for a predetermined time in the second language.
The face-to-face detector detects that there is a person in front of the robot while talking,
The conversation processing department starts a conversation with the detected person in the language spoken by the talking department.
The keyword detection unit detects keywords that appear in human spoken words and
The language selection unit selects the language to continue the conversation from the first language and the second language based on the detected keywords.
A language selection method for a guidance robot, characterized in that a conversation control unit controls a conversation processing unit corresponding to a selected language to continue a conversation.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018078970A JP6901992B2 (en) | 2018-04-17 | 2018-04-17 | Guidance robot system and language selection method |
| CN201910267116.4A CN110385723A (en) | 2018-04-17 | 2019-04-03 | Guided robot system and speech selection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018078970A JP6901992B2 (en) | 2018-04-17 | 2018-04-17 | Guidance robot system and language selection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019184969A JP2019184969A (en) | 2019-10-24 |
| JP6901992B2 true JP6901992B2 (en) | 2021-07-14 |
Family
ID=68284922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018078970A Active JP6901992B2 (en) | 2018-04-17 | 2018-04-17 | Guidance robot system and language selection method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6901992B2 (en) |
| CN (1) | CN110385723A (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111581362A (en) * | 2020-04-29 | 2020-08-25 | 联想(北京)有限公司 | Processing method and device |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004053825A (en) * | 2002-07-18 | 2004-02-19 | Yamaha Corp | Apparatus, method, and program for language identification |
| KR101548907B1 (en) * | 2009-01-06 | 2015-09-02 | 삼성전자 주식회사 | multilingual dialogue system and method thereof |
| JP5250066B2 (en) * | 2011-03-04 | 2013-07-31 | 東芝テック株式会社 | Information processing apparatus and program |
| KR101358999B1 (en) * | 2011-11-21 | 2014-02-07 | (주) 퓨처로봇 | method and system for multi language speech in charactor |
| JP6440483B2 (en) * | 2014-12-17 | 2018-12-19 | シャープ株式会社 | COMMUNICATION SYSTEM, SERVER DEVICE, ROBOT, INFORMATION PROCESSING METHOD, AND PROGRAM |
| JP6521705B2 (en) * | 2015-04-13 | 2019-05-29 | 矢崎エナジーシステム株式会社 | Taxi meter system and external equipment |
| JP6086971B1 (en) * | 2015-12-14 | 2017-03-01 | ハウステンボス株式会社 | Accommodation procedure assistance system |
| WO2017112813A1 (en) * | 2015-12-22 | 2017-06-29 | Sri International | Multi-lingual virtual personal assistant |
| CN105835065A (en) * | 2016-05-27 | 2016-08-10 | 苏州铭冠软件科技有限公司 | Intelligent service robot |
| CN109476447B (en) * | 2016-08-04 | 2020-09-08 | 三菱电机株式会社 | User guiding device for elevator |
| CN106378781A (en) * | 2016-10-20 | 2017-02-08 | 国网山东省电力公司菏泽供电公司 | Service robot guide system and method |
| CN106782606A (en) * | 2017-01-17 | 2017-05-31 | 山东南工机器人科技有限公司 | For the communication and interaction systems and its method of work of Dao Jiang robots |
| CN206795817U (en) * | 2017-05-03 | 2017-12-26 | 山东大学 | A kind of banking assistant robot based on more biometric informations |
-
2018
- 2018-04-17 JP JP2018078970A patent/JP6901992B2/en active Active
-
2019
- 2019-04-03 CN CN201910267116.4A patent/CN110385723A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019184969A (en) | 2019-10-24 |
| CN110385723A (en) | 2019-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6947852B2 (en) | Intercom communication using multiple computing devices | |
| KR102374910B1 (en) | Voice data processing method and electronic device supporting the same | |
| EP3227828B1 (en) | System and method for alternatively interacting with elevators | |
| KR20190001434A (en) | System and device for selecting a speech recognition model | |
| JP6966979B2 (en) | Dialogue system control methods, dialogue systems and programs | |
| CN109144458B (en) | Electronic device for performing operation corresponding to voice input | |
| US20200043576A1 (en) | Continuous user identity verification in clinical trials via voice-based user interface | |
| KR102594838B1 (en) | Electronic device for performing task including call in response to user utterance and method for operation thereof | |
| JP6689953B2 (en) | Interpreter service system, interpreter service method, and interpreter service program | |
| JP6901992B2 (en) | Guidance robot system and language selection method | |
| KR20190139489A (en) | method for operating speech recognition service and electronic device supporting the same | |
| JP4162074B2 (en) | Interactive information retrieval device | |
| JPWO2017175442A1 (en) | Information processing apparatus and information processing method | |
| JP2020201322A (en) | Guide robot system and conversation generation method | |
| CN111055291B (en) | Guidance robot system and guidance method | |
| Goetze et al. | Multimodal human-machine interaction for service robots in home-care environments | |
| JP2020064168A5 (en) | ||
| CN112292342B (en) | Informing controller | |
| US11568866B2 (en) | Audio processing system, conferencing system, and audio processing method | |
| JP6235148B2 (en) | Dialog system and information processing method | |
| JP6530528B1 (en) | Information processing apparatus and program | |
| JP2010286943A (en) | Reception device | |
| US20140022160A1 (en) | System and method for interacting with a computing device | |
| JP6520040B2 (en) | INFORMATION PROCESSING SYSTEM, COMMUNICATION PROCESSING METHOD, AND PROGRAM FOR THE SAME |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200717 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210528 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210615 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210618 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6901992 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |