JP6893410B2 - Communication robot - Google Patents

Communication robot Download PDF

Info

Publication number
JP6893410B2
JP6893410B2 JP2016229904A JP2016229904A JP6893410B2 JP 6893410 B2 JP6893410 B2 JP 6893410B2 JP 2016229904 A JP2016229904 A JP 2016229904A JP 2016229904 A JP2016229904 A JP 2016229904A JP 6893410 B2 JP6893410 B2 JP 6893410B2
Authority
JP
Japan
Prior art keywords
customer
robot
communication robot
designated area
dialogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016229904A
Other languages
Japanese (ja)
Other versions
JP2018086689A (en
Inventor
可嘉 戴
可嘉 戴
圭祐 寺田
圭祐 寺田
Original Assignee
株式会社Ｇ−グロボット
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｇ−グロボット filed Critical 株式会社Ｇ−グロボット
Priority to JP2016229904A priority Critical patent/JP6893410B2/en
Publication of JP2018086689A publication Critical patent/JP2018086689A/en
Application granted granted Critical
Publication of JP6893410B2 publication Critical patent/JP6893410B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、人（顧客）と対話を行うコミュニケーションロボットに係り、特に顧客を対面距離まで引き寄せて対話することにより音声認識率の向上を図ったコミュニケーションロボットに関する。 The present invention relates to a communication robot that interacts with a person (customer), and particularly relates to a communication robot that aims to improve the voice recognition rate by attracting the customer to a face-to-face distance and interacting with the robot.

近年、身振り手振りや音声等を用いて顧客を対象にサービスを提供するコミュニケーションロボット（以下、単にロボットという）が、病院、ホテル、銀行、レストラン等の受付けカウンタに配置され、人に代わって受付や案内等のサービス業務を行うようになってきている。
通常、ロボットには人の音声を聞き取るための耳に相当するマイクと発声のための口に相当するスピーカとをロボット本体に取付け、顧客との対話を支援するための対話支援システムをロボット本体に内蔵又は外部に設けている。 In recent years, communication robots (hereinafter simply referred to as robots) that provide services to customers using gestures and voices have been placed at reception counters in hospitals, hotels, banks, restaurants, etc. It has come to perform service operations such as guidance.
Normally, a robot is equipped with a microphone corresponding to an ear for listening to human voice and a speaker corresponding to a mouth for vocalization attached to the robot body, and a dialogue support system for supporting dialogue with a customer is attached to the robot body. It is installed inside or outside.

対話支援システムには、顧客の発話を認識するための音声認識ユニットが含まれており、この音声認識ユニットの認識率を高めることが、ロボットと顧客とのスムーズなコミュニケーションにとって重要な因子となる。
認識率は、音声認識ユニットの性能にもよるが、顧客とロボットとの対話距離にも大きく依存しており、対話距離が相手と握手出来る範囲にあれば現状の音声認識ユニットにおいては満足できる認識率が得られる。 The dialogue support system includes a voice recognition unit for recognizing the customer's utterance, and increasing the recognition rate of the voice recognition unit is an important factor for smooth communication between the robot and the customer.
The recognition rate depends on the performance of the voice recognition unit, but it also depends greatly on the dialogue distance between the customer and the robot, and if the dialogue distance is within the range where the other party can shake hands, the current voice recognition unit can satisfy the recognition. You can get the rate.

一般に不特定な人を対象にサービスを提供するロボットの場合、サービスを求めている顧客とロボットとをまず結びつけるコミュニケーション開始動作とその後、顧客をロボットに引き寄せる顧客引き寄せ動作とを備える必要がある。
特許文献１に記載されたコミュニケーションロボットは、コミュニケーション開始動作として、広視野カメラの画像から予め検出した人の位置で回転速度を落とし、眼カメラの画像からロボットに顔を向ける正面顔の人を検出し、検出した場合に合図を送ることを開示している。 Generally, in the case of a robot that provides a service to an unspecified person, it is necessary to first provide a communication start operation that connects the customer seeking the service and the robot, and then a customer attraction operation that attracts the customer to the robot.
The communication robot described in Patent Document 1 reduces the rotation speed at the position of a person detected in advance from the image of the wide-field camera as a communication start operation, and detects a person with a front face facing the robot from the image of the eye camera. It discloses that it will send a signal when it is detected.

特開２００９−４５６９２号公報Japanese Unexamined Patent Publication No. 2009-45692

特許文献１は、コミュニケーション開始動作を開示しているのみで、顧客をロボットに引き寄せる顧客引き寄せ動作については、何等の開示もない。特許文献１には、ロボットが顧客に近づいて行くことが開示されているが、受付けカウンタに配置されているロボットでは、ロボット自体は移動することなく、顧客をロボットに引き寄せる顧客引き寄せ動作を行うことが必要である。
本発明は、こうした事情を考慮してなされたもので、顧客を対面距離まで引き寄せて対話することにより音声認識率の向上を図ったコミュニケーションロボットを提供することを目的とする。 Patent Document 1 only discloses the communication start operation, and does not disclose any customer attraction operation that attracts the customer to the robot. Patent Document 1 discloses that the robot approaches the customer, but in the robot arranged at the reception counter, the robot itself does not move and performs a customer attraction operation to attract the customer to the robot. is required.
The present invention has been made in consideration of such circumstances, and an object of the present invention is to provide a communication robot in which a voice recognition rate is improved by attracting a customer to a face-to-face distance and having a dialogue.

本発明のコミュニケーションロボットは、顧客を対面距離まで引き寄せて対話を行うコミュニケーションロボットであって、遠隔に位置する顧客の挙動から顧客が対話を欲しているか否かを判定する第１判定手段と；第１判定手段により顧客が対話を欲していると判定したとき、顧客が遠隔位置から近接距離まで近づくように手招きする第１動作を実行する第１動作実行手段と；顧客が所定の距離内に近接したか否かを判定する第２判定手段と；第２判定手段により近接したと判定したとき、顧客に握手を求める第２動作を実行する第２動作実行手段とを備えている。 The communication robot of the present invention is a communication robot that draws a customer to a face-to-face distance and performs a dialogue, and is a first determination means for determining whether or not the customer wants a dialogue from the behavior of a remote customer; 1 With the first action executing means for executing the first action of beckoning the customer to approach from a remote position to a close distance when the customer determines that the customer wants a dialogue by the judging means; It is provided with a second determination means for determining whether or not the customer has done so; and a second operation execution means for executing a second operation for asking the customer to shake hands when the second determination means determines that the customer is close.

また、顧客が対話を欲しているか否かの第１判定は、取得した顧客の画像データに基づいて、顧客が指定エリアに位置し、かつコミュニケーションロボットの視線と顧客の視線とが一致するとき欲していると判定する。
また、第１動作は、コミュニケーションロボットが立上がり顧客に対して挨拶する動作を含む。
さらに、顧客が所定の距離内に近接したか否かの第２判定は、顧客が近接エリアに位置したとき近接したと判定する。 In addition, the first determination as to whether or not the customer wants dialogue is performed when the customer is located in a designated area based on the acquired image data of the customer and the line of sight of the communication robot and the line of sight of the customer match. It is determined that it is.
In addition, the first operation includes an operation in which the communication robot stands up and greets the customer.
Further, the second determination as to whether or not the customer is close within a predetermined distance determines that the customer is close when the customer is located in the close area.

本発明のコミュニケーションロボットの動作方法は、顧客を対面距離まで引き寄せて対話を行うコミュニケーションロボットの動作方法において、遠隔に位置する顧客の挙動から顧客が対話を欲しているか否かを判定する第１判定ステップと；第１判定ステップにより顧客が対話を欲していると判定したとき、顧客が遠隔位置から近接距離まで近づくように手招きする第１動作を実行する第１動作実行ステップと；顧客が所定の距離内に近接したか否かを判定する第２判定ステップと；第２判定ステップにより近接したと判定したとき、顧客に握手を求める第２動作を実行する第２動作実行ステップとを備える。 The operation method of the communication robot of the present invention is a first determination for determining whether or not a customer wants a dialogue based on the behavior of a remote customer in the operation method of a communication robot that draws a customer to a face-to-face distance and performs a dialogue. With the step; When it is determined by the first determination step that the customer wants a dialogue, the first operation execution step of executing the first operation beckoning the customer to approach from a remote position to a close distance; It includes a second determination step of determining whether or not the customer is close within the distance; and a second operation execution step of executing a second operation of asking the customer to shake hands when it is determined that the customer is close by the second determination step.

本発明によれば、顧客を対面距離まで引き寄せて対話を行うため、音声認識ユニットにおける音声認識の性能を向上させることができる。したがって、より自然なコミュニケーションを実現することができる。 According to the present invention, since the customer is drawn to the face-to-face distance to have a dialogue, the performance of voice recognition in the voice recognition unit can be improved. Therefore, more natural communication can be realized.

本発明の一実施例に係るロボットの骨格構造図。The skeleton structure diagram of the robot which concerns on one Example of this invention. 図１に示すロボットの制御系の一例を示すブロック図。The block diagram which shows an example of the control system of the robot shown in FIG. 図１に示すロボットの動作手順を示すフロー図。The flow chart which shows the operation procedure of the robot shown in FIG. 図１に示すロボットの待機中の動作を示す図。The figure which shows the standby operation of the robot shown in FIG. 図１に示すロボットが立ち上がった動作を示す図。The figure which shows the operation which the robot shown in FIG. 1 stood up. 図１に示すロボットが顧客に挨拶する動作を示す図。The figure which shows the operation which the robot shown in FIG. 1 greets a customer. 図１に示すロボットが顧客を手招きする動作を示す図。The figure which shows the operation which the robot shown in FIG. 1 beckons a customer. 図１に示すロボットが顧客に握手を求める動作を示す図。The figure which shows the operation which the robot shown in FIG. 1 asks a customer to shake hands. 図１に示すロボットが顧客と握手する動作を示す図。The figure which shows the operation which the robot shown in FIG. 1 shakes hands with a customer.

図１は本発明の一実施例に係るロボットの骨格構造図である。
実際の配置ロボットとしては、この骨格構造にシリコン樹脂等で皮膚を貼り、化粧を施したり衣装を着せるなどして人間に近い風貌に模して構成される。
ロボット１００は、頭部１０２と、首関節１０４を介して接続された上部胴体１０６と、上部胴体１０６と連結部１３０を介して連結された下部胴体１０８と、上部胴体１０６の両肩に腕関節１１２Ｒ，１１４Ｒ，１１２Ｌ，１１４Ｌを介して連結された右腕１１０Ｒと左腕１１０Ｌと、下部胴体１０６に脚関節１２２Ｒ，１２４Ｒ，１２２Ｌ，１２４Ｌを介して連結された右脚１２０Ｒと左脚１２０Ｌとから構成されている。 FIG. 1 is a skeleton structure diagram of a robot according to an embodiment of the present invention.
The actual placement robot is configured to imitate a human-like appearance by attaching skin to this skeleton structure with silicone resin or the like, applying makeup or putting on costumes.
The robot 100 has a head 102, an upper torso 106 connected via a neck joint 104, a lower torso 108 connected to the upper torso 106 via a connecting portion 130, and arm joints on both shoulders of the upper torso 106. It is composed of a right arm 110R and a left arm 110L connected via 112R, 114R, 112L, 114L, and a right leg 120R and a left leg 120L connected to the lower torso 106 via leg joints 122R, 124R, 122L, 124L. ing.

頭部１０２には目に相当する位置に眼カメラ４０Ｒ、４０Ｌと口に相当する位置にスピーカ２０とが取付けられている。なお、眼カメラ４０Ｒ，４０Ｌ及びスピーカ２０の取付け位置はこれに限定されるものではない。また、首関節１０４の位置には後述する近接センサ３０が、上部胴体１０６には耳に相当するマイク１０が取付けられている。近接センサ３０とマイク１０の取付け位置についても必ずしもこれに限定されるものではない。
右腕１１０Ｒと左腕１１０Ｌの先端には人の手の形状をした右手１１６Ｒと左手１１６Ｌとが設けられる。また右脚１２０Ｒと左脚１２０Ｌの先端には足に相当する足部材１２６Ｒと１２６Ｌとが設けられる。足部材１２６Ｒと１２６Ｌは必ずしも人の足の形状とする必要はないが、指や掌の機能が必要な場合には人の足の形を模した形状としてもよい。 Eye cameras 40R and 40L are attached to the head 102 at positions corresponding to the eyes, and speakers 20 are attached at positions corresponding to the mouth. The mounting positions of the eye cameras 40R and 40L and the speaker 20 are not limited to this. Further, a proximity sensor 30 described later is attached to the position of the neck joint 104, and a microphone 10 corresponding to an ear is attached to the upper body 106. The mounting positions of the proximity sensor 30 and the microphone 10 are not necessarily limited to this.
At the tips of the right arm 110R and the left arm 110L, a right hand 116R and a left hand 116L in the shape of a human hand are provided. Further, foot members 126R and 126L corresponding to the feet are provided at the tips of the right leg 120R and the left leg 120L. The foot members 126R and 126L do not necessarily have to have the shape of a human foot, but may have a shape imitating the shape of a human foot when the functions of fingers and palms are required.

首関節１０４は３軸の自由度を有し、後述する頭部モータにより頭部１０２を上胴体１０６に対して回動動作可能である。また、右腕１１０Ｒと左腕１１０Ｌとはそれぞれ腕関節１１２Ｒ，１１４Ｒ，１１２Ｌ，１１４Ｌを介して、後述する腕モータにより回動動作可能であり、右脚１２０Ｒと左脚１２０Ｌとはそれぞれ脚関節１２２Ｒ，１２４Ｒ，１２２Ｌ，１２４Ｌを介して、後述する脚モータにより回動動作可能である。 The neck joint 104 has three degrees of freedom, and the head 102 can be rotated with respect to the upper torso 106 by a head motor described later. Further, the right arm 110R and the left arm 110L can be rotated by an arm motor described later via the arm joints 112R, 114R, 112L and 114L, respectively, and the right leg 120R and the left leg 120L are leg joints 122R and 124R, respectively. , 122L, 124L, and can be rotated by a leg motor described later.

さらに、連結部１３０は後述する腰モータにより回動動作可能となっている。眼カメラ４０Ｒ，４０Ｌはロボット１００に対面する顧客の顔等を撮影して、その画像データを取り込む。距離センサ３０は、超音波を発射し、その超音波が顧客から反射されて距離センサ３０に入射されたタイミングを測定して、顧客との間の距離情報を得る。マイク１０は、顧客が発する音声を取り込み、これを音声入出力ユニットを介して音声認識ユニットに送る。 Further, the connecting portion 130 can be rotated by a waist motor described later. The eye cameras 40R and 40L photograph the face of the customer facing the robot 100 and capture the image data. The distance sensor 30 emits ultrasonic waves, measures the timing at which the ultrasonic waves are reflected from the customer and is incident on the distance sensor 30, and obtains distance information with the customer. The microphone 10 takes in the voice emitted by the customer and sends it to the voice recognition unit via the voice input / output unit.

図２は、図１に示すロボットの動作を制御する制御系の一例を示すブロック図である。
制御系２００は、メモリ２１０、ＣＰＵ２２０、モータ制御ユニット２３０、センサ入出力ユニット２４０、音声入出力ユニット２５０、音声認識ユニット２６０、画像認識ユニット２６５、通信ＬＡＮユニット２７０を含み、これらはバス２９０を介して信号の授受を行うように構成されている。
通信ＬＡＮユニット２７０は無線通信装置２８０を介して外部の装置に接続され、外部の装置との間で信号の授受を行うことができる。 FIG. 2 is a block diagram showing an example of a control system for controlling the operation of the robot shown in FIG.
The control system 200 includes a memory 210, a CPU 220, a motor control unit 230, a sensor input / output unit 240, a voice input / output unit 250, a voice recognition unit 260, an image recognition unit 265, and a communication LAN unit 270, which are via the bus 290. It is configured to send and receive signals.
The communication LAN unit 270 is connected to an external device via the wireless communication device 280, and can exchange signals with and from the external device.

ＣＰＵ２２０はロボット１００の全体的な制御を行う。メモリ２１０は、ロボット１００を制御するための制御プログラムを格納している。
モータ制御ユニット２３０はＣＰＵ２２０からの制御データに基づいてロボット１００の腕、頭部、首、腰、脚等に備えられた各軸モータの駆動を制御する。即ち、腕モータ２３１を介して、腕関節１１２Ｒ，１２４Ｒ，１２２Ｌ，１２４Ｌに設けられた軸モータを制御することにより右腕１１０Ｒおよび左腕１１０Ｌの動作を制御する。 The CPU 220 controls the robot 100 as a whole. The memory 210 stores a control program for controlling the robot 100.
The motor control unit 230 controls the drive of each axis motor provided on the arms, head, neck, hips, legs, etc. of the robot 100 based on the control data from the CPU 220. That is, the movements of the right arm 110R and the left arm 110L are controlled by controlling the shaft motors provided on the arm joints 112R, 124R, 122L, and 124L via the arm motor 231.

また、脚モータ２３５を介して、脚関節１２２Ｒ，１２４Ｒ，１２２Ｌ，１２４Ｌに設けられた軸モータを制御することにより右脚１２０Ｒおよび左脚１２０Ｌの動作を制御する。さらに、首モータ２３３を介して、首関節１０４に設けられた軸モータを制御することにより頭部１０２の動作を制御する。
腰モータ２３４は連結部１３０の動作を、頭部モータ２３２は頭部１０２の回転角度をそれぞれ制御する。 Further, the movements of the right leg 120R and the left leg 120L are controlled by controlling the shaft motors provided on the leg joints 122R, 124R, 122L, and 124L via the leg motor 235. Further, the operation of the head 102 is controlled by controlling the shaft motor provided on the neck joint 104 via the neck motor 233.
The waist motor 234 controls the operation of the connecting portion 130, and the head motor 232 controls the rotation angle of the head 102.

センサ入出力ユニット２４０は、距離センサ３０及び眼カメラ４０からの信号をＣＰＵ２２０に伝送する。距離センサ３０からの反射時間、即ち、距離情報と、眼カメラ４０からの画像データとが、必要に応じてセンサ入出力ユニット２４０で所定の信号処理を施された後、ＣＰＵ２２０に伝送される。
音声入出力ユニット２５０は、ＣＰＵ２２０からの音声合成データに従った音声をスピーカ２０から出力させる。また、マイク１０からの音声を音声入力データとしてＣＰＵ２２０に伝送する。 The sensor input / output unit 240 transmits signals from the distance sensor 30 and the eye camera 40 to the CPU 220. The reflection time from the distance sensor 30, that is, the distance information and the image data from the eye camera 40 are transmitted to the CPU 220 after being subjected to predetermined signal processing by the sensor input / output unit 240 as needed.
The voice input / output unit 250 outputs the voice according to the voice synthesis data from the CPU 220 from the speaker 20. Further, the voice from the microphone 10 is transmitted to the CPU 220 as voice input data.

音声認識ユニット２６０は、音声入出力ユニット２５０及びＣＰＵ２２０と協同して、マイク１０からの音声を解析し、スピーカ２０から出力する音声を合成する。
画像認識ユニット２６５は、センサ入出力ユニット２４０及びＣＰＵ２２０と協同して、眼カメラからの画像データを解析し、顧客が対話を欲しているか否かを判定する。
ＣＰＵ２２０はバス２９０を介して通信ＬＡＮユニット２７０及び無線通信装置２８０に接続される。これにより、制御系２００は、外部コンピュータ等と通信を行うことができる。 The voice recognition unit 260, in cooperation with the voice input / output unit 250 and the CPU 220, analyzes the voice from the microphone 10 and synthesizes the voice output from the speaker 20.
The image recognition unit 265, in cooperation with the sensor input / output unit 240 and the CPU 220, analyzes the image data from the eye camera and determines whether or not the customer wants a dialogue.
The CPU 220 is connected to the communication LAN unit 270 and the wireless communication device 280 via the bus 290. As a result, the control system 200 can communicate with an external computer or the like.

図３は、本発明の一実施例に係るロボットの動作手順を示すフロー図である。また図４乃至図９は、図３のフローに従ったロボットの動作を示す図である。
以下、図３乃至図９を参照して本発明の一実施例に係るロボットが顧客を引き寄せる顧客引き寄せ動作について説明する。
ここでは、ホテルに到着した顧客がフロントデスクに行き、チェックインを行う場合を例に挙げて説明する。 FIG. 3 is a flow chart showing an operation procedure of the robot according to an embodiment of the present invention. 4 to 9 are diagrams showing the operation of the robot according to the flow of FIG.
Hereinafter, a customer attraction operation in which the robot according to the embodiment of the present invention attracts customers will be described with reference to FIGS. 3 to 9.
Here, a case where a customer arriving at a hotel goes to the front desk and checks in will be described as an example.

ロボット１００は、図４に示すように、フロントデスク６０に対して着席して待機している。本発明では、図５乃至図９に示すようにフロアの所定箇所に指定エリア７０と近接エリア８０とを設けている。指定エリア７０は、例えば、ホテルの入口付近で、ロボット１００から視認可能な位置とすることができる。なお指定エリア７０は複数箇所設けてもよい。近接エリア８０は、例えばフロントデスク６０の付近でロボット１００が手を延ばせば顧客５００と握手可能な位置とすることができる。 As shown in FIG. 4, the robot 100 is seated at the front desk 60 and stands by. In the present invention, as shown in FIGS. 5 to 9, a designated area 70 and a proximity area 80 are provided at predetermined locations on the floor. The designated area 70 can be, for example, a position visible from the robot 100 near the entrance of the hotel. The designated area 70 may be provided at a plurality of locations. The proximity area 80 can be positioned so that the robot 100 can shake hands with the customer 500 if the robot 100 reaches out near the front desk 60, for example.

まず、ホテル内のフロアにいる顧客が、チェックインを必要とする、即ち、ロボット１００との対話を欲している顧客なのか否かを判定する必要がある。本発明ではこの判定は、顧客の挙動に基づいて判定する。本実施例では、ホテルのフロアにいる顧客の画像データから、当該顧客が、指定エリア７０に位置し、かつ、ロボット１００の視線と当該顧客の視線とが一致する場合には、当該顧客は、対話を欲していると判定する。なお、顧客の画像データは、ホテル内に設けた、図示しない複数のカメラとロボット１００の眼カメラ４０とから取得することができる（ステップ３１０）。 First, it is necessary to determine whether the customer on the floor in the hotel is a customer who needs check-in, that is, a customer who wants to interact with the robot 100. In the present invention, this determination is made based on the behavior of the customer. In this embodiment, if the customer is located in the designated area 70 and the line of sight of the robot 100 matches the line of sight of the customer from the image data of the customer on the floor of the hotel, the customer is determined. Determine that you want dialogue. The customer image data can be acquired from a plurality of cameras (not shown) and the eye camera 40 of the robot 100 provided in the hotel (step 310).

ロボット１００の視線と顧客との視線の一致の判定は、複数のカメラからの画像データと眼カメラ４０からの画像データとを画像認識ユニット２６５に伝送して解析することにより行うことができる（ステップ３２０，３３０）。なお、顧客が指定エリア７０に位置しているか否かも同様に行うことができる。
このようにしてチェックインを必要とする顧客であると判定された場合、当該顧客５００をチェックインカウンタ６０まで招き寄せる第１動作を実行する（ステップ３４０）。 The determination of the coincidence between the line of sight of the robot 100 and the line of sight of the customer can be performed by transmitting the image data from the plurality of cameras and the image data from the eye camera 40 to the image recognition unit 265 and analyzing them (step). 320,330). It should be noted that whether or not the customer is located in the designated area 70 can be similarly determined.
When it is determined that the customer needs check-in in this way, the first operation of inviting the customer 500 to the check-in counter 60 is executed (step 340).

本実施例の場合には、ロボット１００が顧客５００に対し、指定エリア７０から近接エリア８０まで近づくよう手招きすることでこれを行う。
まず、図５に示すように、ロボット１００は着席状態から立ち上がる。次に、図６に示すように、顧客５００に対し頭を下げる等の挨拶動作を行う。なお、挨拶動作に、「いらっしゃいませ。」などの発話を伴ってもよい。 In the case of this embodiment, the robot 100 beckons the customer 500 to approach the designated area 70 to the proximity area 80.
First, as shown in FIG. 5, the robot 100 stands up from the seated state. Next, as shown in FIG. 6, a greeting operation such as bowing the head to the customer 500 is performed. The greeting action may be accompanied by an utterance such as "Welcome."

次いで、図７に示すように顧客５００に対して手招き動作を行う。このとき、「お客さま、こちらまでお越し下さい。」などの発話を伴ってもよい。
次に、顧客５００が所定の距離内に近接したか否かの判定を行う（ステップ３５０）。この判定は、顧客５００が設定された近接エリア８０内に位置したか否かで行い、位置したときには近接したと判定する。この判定は、距離センサ３０からの信号を用いて行うことも出来るし、または、前述した対話を欲しているか否かの判定と同様に画像データを用いて行うことも出来る。 Next, as shown in FIG. 7, a beckoning operation is performed on the customer 500. At this time, an utterance such as "Customer, please come here." May be accompanied.
Next, it is determined whether or not the customer 500 is close within a predetermined distance (step 350). This determination is made based on whether or not the customer 500 is located within the set proximity area 80, and when it is located, it is determined that the customer 500 is close. This determination can be performed using the signal from the distance sensor 30, or can be performed using image data in the same manner as the determination as to whether or not the user wants the dialogue described above.

そして顧客が近接エリア８０内に位置したとき、ロボット１００は図８に示すように握手のために片手を挙げる動作を開始する。この動作により顧客５００はロボット１００と握手するために、ロボット１００に、より近接する。そして、握手可能な距離となったとき、図９に示すようにロボット１００は顧客５００と握手を行う第２動作を実行する（ステップ３６０）。 Then, when the customer is located in the proximity area 80, the robot 100 starts the operation of raising one hand for shaking hands as shown in FIG. By this operation, the customer 500 comes closer to the robot 100 in order to shake hands with the robot 100. Then, when the handshake distance is reached, the robot 100 executes a second operation of shaking hands with the customer 500 as shown in FIG. 9 (step 360).

この握手を行う第２動作は、チェックインのためには必ずしも必要ないが、本発明の目的である音声認識ユニット２６０の音声認識率の向上には重要な役割を果たす。通常、握手可能な距離はほぼ１ｍ程度であり、この距離まで近づくことで音声認識率が格段に向上するからである。なお上述したロボット１００の各ステップにおける動作は、図２に示す制御系２００の制御動作により行なわれる。 This second action of shaking hands is not always necessary for check-in, but plays an important role in improving the voice recognition rate of the voice recognition unit 260, which is the object of the present invention. Normally, the distance at which a handshake can be shaken is about 1 m, and the voice recognition rate is significantly improved by approaching this distance. The operation in each step of the robot 100 described above is performed by the control operation of the control system 200 shown in FIG.

１００・・・コミュニケーションロボット
１０・・・マイク
２０・・・スピーカ
３０・・・距離センサ
４０・・・眼カメラ
２００・・・制御系
２６０・・・音声認識ユニット
２６５・・・画像認識ユニット 100 ... Communication robot 10 ... Microphone 20 ... Speaker 30 ... Distance sensor 40 ... Eye camera 200 ... Control system 260 ... Voice recognition unit 265 ... Image recognition unit

Claims (4)

顧客を対面距離まで引き寄せて対話を行うコミュニケーションロボットであって、
取得した前記顧客の画像データに基づいて、前記顧客が遠隔の第１指定エリアに位置し、かつ前記コミュニケーションロボットの視線と前記顧客の視線とが一致するとき、前記顧客は対話を欲していると判定し、前記顧客が前記第１指定エリアに位置しないか又は、前記コミュニケーションロボットの視線と前記顧客の視線とが一致しないときには前記顧客は対話を欲していないと判定する第１判定手段と；
前記第１判定手段により前記顧客が対話を欲していると判定したとき、前記顧客が前記第１指定エリアから近接の第２指定エリアに位置するように手招きする第１動作を実行する第１動作実行手段と；
前記顧客が前記第２指定エリアに位置したとき近接したと判定する第２判定手段と；
前記第２判定手段により近接したと判定したとき、前記顧客に握手を求める第２動作を実行する第２動作実行手段と；
を備えたコミュニケーションロボット。 A communication robot that draws customers to a face-to-face distance and engages in dialogue.
Based on the acquired image data of the customer, when the customer is located in a remote first designated area and the line of sight of the communication robot matches the line of sight of the customer, the customer wants a dialogue. With the first determination means for determining that the customer does not want dialogue when the customer is not located in the first designated area or the line of sight of the communication robot does not match the line of sight of the customer;
When the customer determines that the customer wants a dialogue by the first determination means, the first operation of executing the first operation of beckoning the customer to be located in a second designated area close to the first designated area. With means of execution;
With a second determination means for determining that the customer is close when the customer is located in the second designated area;
When it is determined by the second determination means that the customer is close to the customer, the second operation execution means for executing the second operation of requesting the customer to shake hands;
Communication robot equipped with. 前記第１指定エリアは、ホテルの入口付近で、前記コミュニケーションロボットから視認可能な位置に設定し、前記第２指定エリアは、前記コミュニケーションロボットが着席して待機しているフロントデスクの近傍で、前記コミュニケーションロボットが手を延ばして前記顧客と握手可能な位置に設定されている請求項１に記載のコミュニケーションロボット。 The first designated area is set at a position visible to the communication robot near the entrance of the hotel, and the second designated area is near the front desk where the communication robot is seated and waiting. The communication robot according to claim 1, wherein the communication robot is set at a position where it can reach out and shake hands with the customer. 前記第１動作は、前記コミュニケーションロボットが立上がり前記顧客に対して挨拶する動作を含む請求項１に記載のコミュニケーションロボット。 The communication robot according to claim 1, wherein the first operation includes an operation in which the communication robot stands up and greets the customer. 顧客を対面距離まで引き寄せて対話を行うコミュニケーションロボットの動作方法において、
取得した前記顧客の画像データに基づいて、前記顧客が遠隔の第１指定エリアに位置し、かつ前記コミュニケーションロボットの視線と前記顧客の視線とが一致するとき、前記顧客は対話を欲していると判定し、前記顧客が前記第１指定エリアに位置しないか又は、前記コミュニケーションロボットの視線と前記顧客の視線とが一致しないときには前記顧客は対話を欲していないと判定する第１判定ステップと；
前記第１判定ステップにより前記顧客が対話を欲していると判定したとき、前記顧客が前記第１指定エリアから近接の第２指定エリアに位置するように手招きする第１動作を実行する第１動作実行ステップと；
前記顧客が前記第２指定エリアに位置したとき近接したと判定する第２判定ステップと；
前記第２判定ステップにより近接したと判定したとき、前記顧客に握手を求める第２動作を実行する第２動作実行ステップと；
を備えたコミュニケーションロボットの動作方法。 In the operation method of a communication robot that draws customers to a face-to-face distance and engages in dialogue
Based on the acquired image data of the customer, when the customer is located in a remote first designated area and the line of sight of the communication robot matches the line of sight of the customer, the customer wants a dialogue. The first determination step of determining that the customer does not want dialogue when the customer is not located in the first designated area or the line of sight of the communication robot does not match the line of sight of the customer;
When it is determined by the first determination step that the customer wants a dialogue, the first operation of executing the first operation of beckoning the customer to be located in a second designated area close to the first designated area. With execution steps;
With the second determination step of determining that the customer is close when the customer is located in the second designated area;
When it is determined that the customer is closer to the second determination step, the second operation execution step of executing the second operation of requesting the customer to shake hands;
How to operate a communication robot equipped with.
JP2016229904A 2016-11-28 2016-11-28 Communication robot Active JP6893410B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016229904A JP6893410B2 (en) 2016-11-28 2016-11-28 Communication robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016229904A JP6893410B2 (en) 2016-11-28 2016-11-28 Communication robot

Publications (2)

Publication Number Publication Date
JP2018086689A JP2018086689A (en) 2018-06-07
JP6893410B2 true JP6893410B2 (en) 2021-06-23

Family

ID=62493313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016229904A Active JP6893410B2 (en) 2016-11-28 2016-11-28 Communication robot

Country Status (1)

Country Link
JP (1) JP6893410B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7176244B2 (en) * 2018-06-20 2022-11-22 カシオ計算機株式会社 Robot, robot control method and program
JP2020049624A (en) * 2018-09-28 2020-04-02 日本信号株式会社 Guide robot
JP7253900B2 (en) * 2018-11-13 2023-04-07 株式会社日立製作所 communication robot

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3879193B2 (en) * 1997-08-22 2007-02-07 ソニー株式会社 Robot apparatus and control method thereof
JP4822319B2 (en) * 2005-10-27 2011-11-24 株式会社国際電気通信基礎技術研究所 Communication robot and attention control system using the same
JP2011177875A (en) * 2010-03-04 2011-09-15 Toyota Motor Corp Robot
US9162720B2 (en) * 2010-12-03 2015-10-20 Disney Enterprises, Inc. Robot action based on human demonstration
US20180009118A1 (en) * 2015-02-17 2018-01-11 Nec Corporation Robot control device, robot, robot control method, and program recording medium

Also Published As

Publication number Publication date
JP2018086689A (en) 2018-06-07

Similar Documents

Publication Publication Date Title
JP6893410B2 (en) Communication robot
JP4599522B2 (en) Communication robot
JP5751610B2 (en) Conversation robot
KR102463806B1 (en) Electronic device capable of moving and method for operating thereof
JP2009241166A (en) Robot remote operation system
JP2018067785A (en) Communication robot system
US20190389075A1 (en) Robot system and robot dialogue method
JP2004216513A (en) Communication robot
JP7102169B2 (en) Equipment, robots, methods, and programs
WO2019087495A1 (en) Information processing device, information processing method, and program
JP2018051701A (en) Communication apparatus
JP5162852B2 (en) Android control system
JP5206151B2 (en) Voice input robot, remote conference support system, and remote conference support method
JP5296898B2 (en) Android control system
Igorevich et al. Behavioral synchronization of human and humanoid robot
JP2017170568A (en) Service providing robot system
JP4793904B2 (en) Communication robot system and communication robot
JP2004034274A (en) Conversation robot and its operation method
CN207571782U (en) A kind of chat robots
CN107133609A (en) A kind of man-machine communication robot and its control method
US11986728B2 (en) Game processing method and record medium
JP6845121B2 (en) Robots and robot control methods
JP3745649B2 (en) Communication robot
JP2012232352A (en) Communication robot
JP2004227276A (en) Human communication behavior recording system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210601

R150 Certificate of patent or registration of utility model

Ref document number: 6893410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250