JP2009045692A - Communication robot and its operating method - Google Patents
Communication robot and its operating method Download PDFInfo
- Publication number
- JP2009045692A JP2009045692A JP2007213775A JP2007213775A JP2009045692A JP 2009045692 A JP2009045692 A JP 2009045692A JP 2007213775 A JP2007213775 A JP 2007213775A JP 2007213775 A JP2007213775 A JP 2007213775A JP 2009045692 A JP2009045692 A JP 2009045692A
- Authority
- JP
- Japan
- Prior art keywords
- head
- person
- wide
- image
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Toys (AREA)
- Manipulator (AREA)
Abstract
Description
本発明は、人とのコミュニケーションを図るコミュニケーションロボットと、その動作方法に関し、特に、人がサービスを依頼し易いロボットの実現を図るものである。 The present invention relates to a communication robot that communicates with a person and an operation method thereof, and in particular, aims to realize a robot in which a person can easily request a service.
コミュニケーションロボットは、身振り手振りや音声等を用いて人とのコミュニケーションを図る機能を備えている。
例えば、下記特許文献１に記載されたコミュニケーションロボットは、首（頭部）や眼球を回転させてロボットの視線を移動し、視線の演出によりロボットの意図を伝達するように構成されている。
Communication robots have a function of communicating with people using gestures, voices, and the like.
For example, the communication robot described in the following Patent Document 1 is configured to move the robot's line of sight by rotating the neck (head) and eyeballs, and transmit the robot's intention by the effect of the line of sight.
図１３は、このコミュニケーションロボットの構成をブロック図で示している。このロボットは、外形的に胴体と頭部とを有しており、腕が回動可能に胴体で支持され、頭部に眼や口（スピーカ２３）が配置されている。眼は眼球モータ１１、１２で回転し、腕は腕モータ１３，１４で回転する。頭部は、頭部モータ１５の駆動により胴体に対して首を振るように回転する。胴体は、腰モータ１６で向きを変え、また、車輪モータ１７により前後左右に移動する。また、近隣物との距離を測定する超音波距離センサ１８や衝突を感知する衝突センサ２２、全方位カメラ１９、マイク２４等が胴体に配置され、眼カメラ２０が頭部に配置されている。 FIG. 13 is a block diagram showing the configuration of this communication robot. This robot has a torso and a head in appearance, and an arm is rotatably supported by the torso, and an eye and a mouth (speaker 23) are arranged on the head. The eyes are rotated by eyeball motors 11 and 12, and the arms are rotated by arm motors 13 and 14. The head rotates by swinging the head with respect to the trunk by driving the head motor 15. The body is turned by the waist motor 16 and moved to the front, rear, left and right by the wheel motor 17. In addition, an ultrasonic distance sensor 18 that measures the distance to a nearby object, a collision sensor 22 that detects a collision, an omnidirectional camera 19, a microphone 24, and the like are disposed on the trunk, and an eye camera 20 is disposed on the head.
また、制御系として、ＣＰＵ２５と、制御プログラムや各種データが記憶されるメモリ２６と、ＣＰＵ２５の指示に基づいて各モータを制御するモータ制御ボード２９と、各センサの情報をＣＰＵ２５に送るセンサ入力／出力ボード３０と、ＣＰＵ２５から与えられた合成音声をスピーカ２３から出力し、マイク２４から拾った音をＣＰＵ２５に送る音声入力／出力ボード３１と、外部のコンピュータと通信を行う無線通信装置２８と、ＣＰＵ２５から送られた情報を無線通信装置２８を通じて外部コンピュータに送り、外部コンピュータからの受信情報をＣＰＵ２５に送る通信ＬＡＮボード２７とを備えている。
このコミュニケーションロボットは、さらに、人物に付された無線タグの識別情報を取得する無線タグ読取装置３２を備えており、無線タグの情報から対象人物が近くに来たことを認識すると、眼カメラの画像から対象人物の位置を検出し、頭部の回転や視線の移動によりロボットの意図を対象人物に伝達する。
Further, as a control system, a CPU 25, a memory 26 for storing a control program and various data, a motor control board 29 for controlling each motor based on an instruction from the CPU 25, and sensor input / information for sending information on each sensor to the CPU 25 An output board 30, a voice input / output board 31 that outputs a synthesized voice given from the CPU 25 from the speaker 23, and a sound picked up from the microphone 24 to the CPU 25; a wireless communication device 28 that communicates with an external computer; A communication LAN board 27 is provided for sending information sent from the CPU 25 to the external computer through the wireless communication device 28 and sending received information from the external computer to the CPU 25.
The communication robot further includes a wireless tag reading device 32 that acquires identification information of a wireless tag attached to a person. When recognizing that the target person is near from the information of the wireless tag, the communication robot The position of the target person is detected from the image, and the intention of the robot is transmitted to the target person by rotating the head or moving the line of sight.
しかし、不特定の人を対象にサービスを提供するサービスロボットの場合は、サービスを求めている人とロボットとを結びつけることが先ず必要になる。人間同士では、サービスの必要な人がサービス提供者を特に声で呼ばなくても、コミュニケーションが巧く始まる場合が多い。
このようなコミュニケーション開始能力をロボットにも持たせるため、本発明者等は、先に、人とロボットとのアイコンタクトでコミュニケーションを開始する方法を下記非特許文献１で提案している。
この方法では、ロボットに取り付けられたカメラ画像から、ロボットの方を向いている人間を検出したとき、ロボットが、その人物の方を向き、それでもさらにロボットの方を見続けていた場合に、人間とのアイコンタクトが成立したと判断し、そこで人間が手を挙げると、ロボットが人間の方に近付き、コミュニケーションが開始される。
In order to provide the robot with such communication start capability, the present inventors have previously proposed a method for starting communication by eye contact between a person and a robot in Non-Patent Document 1 below.
In this method, when a person facing the robot is detected from a camera image attached to the robot, the robot faces the person and still looks at the robot. If the person raises his hand there, the robot approaches the person and communication begins.
しかし、先に提案した方法では、ロボットを呼びたいと思っても、ロボットが自分に対してサービスできる状態なのかどうかが人間には分からない、と言う問題点がある。この場合、ロボットの状態は分からないが、サービスできる状態だと仮定して、ロボットを呼ぼうとすると、人は、アイコンタクトを果たすために、ずっとロボットの方を見続けていなければならない。また、少し、見続けてロボットが反応しないときは、サービスできる状態ではないと思って、ロボットの方を見るのを止めてしまうかもしれない。実際は、もう少し見続ければ、ロボットの人間検出処理が完了したかもしれないが、それは人間には分からない。 However, the proposed method has a problem that even if it is desired to call a robot, humans do not know whether or not the robot is ready for service. In this case, the state of the robot is not known, but assuming that it is in a serviceable state, when trying to call the robot, a person must keep looking at the robot all the time to make eye contact. Also, if the robot does not react after a while, it may stop thinking that it is not ready for service. In fact, if you keep looking a little more, the human detection process of the robot may have been completed, but it is not understood by humans.
図１４は、高齢者介護施設において、食事中の高齢者の中に手助け（サービス）を求めている人がいないかを見守っている介護者Ｆの様子を示している。
コミュニケーションロボットが、こうした介護の現場で介護ロボットとして活躍するためには、先ず、手助けを希望する高齢者が簡単にコミュニケーションを取れる存在でなければならない。
FIG. 14 shows a situation of a caregiver F who is watching whether there is a person who is seeking help (service) among the elderly who are eating at an elderly care facility.
In order for a communication robot to play an active role as a care robot in such a nursing care field, first of all, an elderly person who wants help must be able to communicate easily.
本発明は、こうした事情を考慮して創案したものであり、依頼者が依頼し易いコミュニケーションロボットを提供し、また、その動作方法を提供することを目的としている。 The present invention has been made in consideration of such circumstances, and an object thereof is to provide a communication robot that can be easily requested by a client and to provide an operation method thereof.
本発明のコミュニケーションロボットは、顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットであって、前記頭部に設けられた眼に相当する眼カメラと、前記胴部に設けられた広域を撮影する広視野カメラと、前記眼カメラ及び広視野カメラの画像を処理する画像処理手段と、を備え、前記画像処理手段は、前記広視野カメラの画像から人物を検出するとともに、前記頭部の回転速度が所定値以下のときに前記眼カメラの画像からロボットに顔を向ける正面顔の人物を検出し、前記頭部制御手段は、前記胴部に対して前記頭部を所定速度で回転させる見回り動作を行いながら、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を前記所定値以下に低減させ、前記合図動作制御手段は、前記画像処理手段により前記眼カメラの画像から前記正面顔の人物が予め設定された時間を超えて検出されたとき、当該人物に合図を送ることを特徴とする。
このコミュニケーションロボットは、頭部を回転し（首を振り）、周囲を観察しているような所作（見回り動作）を行う。そして、人が居る方向で頭部の回転速度を落とし、或いは、一時停止する。この見回り動作は、依頼の受入れが可能である状態を表すもので、観察自体は見せ掛けであり、人物の検出は、見回り動作の開始前に、胴部に設けられた広視野カメラの画像から行われ、人物の検出位置で頭部の回転速度を緩めるように制御される。このとき、その検出位置の人物がロボットを見続けていると、ロボットは、アイコンタクトが成立したと判断して合図を送る。そのため、サービスを求める人は、ロボットが見回り動作を行っていれば、サービス可能であると知ることができ、ロボットが自分の方を向いたときにロボットを見ていれば、ロボットにサービスを依頼できる。
The communication robot according to the present invention includes a head imitating a face, a torso that supports the head, a head control unit that rotates the head to swing a head relative to the torso, and establishment of communication. A communication robot having a signaling operation control means for signaling the eye, an eye camera corresponding to the eye provided on the head, a wide-field camera for imaging a wide area provided on the torso, and the eye Image processing means for processing images of the camera and the wide-field camera, wherein the image processing means detects a person from the image of the wide-field camera and the rotational speed of the head is equal to or less than a predetermined value. A person with a front face facing the robot is detected from the image of the eye camera, and the head control means performs a look-around operation for rotating the head at a predetermined speed with respect to the torso. The rotational speed of the head is reduced to the predetermined value or less at a position where the image processing means detects a person from the image of the wide-field camera, and the cue motion control means When a person with a front face is detected from an image exceeding a preset time, a signal is sent to the person.
This communication robot rotates the head (shakes the neck) and performs an operation (look-around operation) as if observing the surroundings. Then, the rotation speed of the head is reduced or temporarily stopped in the direction in which the person is present. This look-ahead operation represents a state where the request can be accepted, the observation itself is a fake, and the person is detected from the image of the wide-field camera provided on the trunk before the start of the look-ahead operation. It is controlled so as to slow down the rotational speed of the head at the detection position of the person. At this time, if the person at the detected position continues to look at the robot, the robot determines that eye contact has been established and sends a signal. Therefore, a person seeking a service can know that the service is possible if the robot is performing a patrol motion, and if the robot is looking at the robot when it is facing it, request the service from the robot. it can.
また、本発明のコミュニケーションロボットは、顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットであって、前記胴部に設けられた広域を撮影する広視野カメラと、前記広視野カメラの画像を処理する画像処理手段と、を備え、前記画像処理手段は、前記広視野カメラの画像から人物を検出するとともに、前記広視野カメラの画像からロボットに顔を向ける正面顔の人物を検出し、前記頭部制御手段は、前記胴部に対して前記頭部を所定速度で回転させる見回り動作を行いながら、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させ、前記合図動作制御手段は、前記画像処理手段により、前記広視野カメラの画像に含まれる、回転速度が前記所定値以下に低減した前記頭部の顔前方の画像領域から、前記正面顔の人物が予め設定された時間を超えて検出されたとき、当該人物に合図を送ることを特徴とする。
このコミュニケーションロボットは、見回り動作中にチェックすべき方向の検出や、正面顔の検出を広視野カメラの画像だけで行うことができる。この場合、正面顔の検出が、人の方向への頭部の回転を待たずに開始できると言う利点がある。
The communication robot according to the present invention includes a head imitating a face, a torso that supports the head, a head control unit that rotates the head so as to swing the head with respect to the torso, and communication. A communication robot having a signaling operation control means for signaling the establishment of a wide-field camera that captures a wide area provided in the trunk, and an image processing means that processes an image of the wide-field camera. The image processing means detects a person from the image of the wide-field camera, detects a person with a front face facing the robot from the image of the wide-field camera, and the head control means includes the torso The rotation speed of the head at a position where the image processing means detects a person from the image of the wide-field camera while performing a look-around operation for rotating the head at a predetermined speed with respect to a part. The cue motion control means includes an image area in front of the head face whose rotation speed is reduced to the predetermined value or less, which is included in the image of the wide-field camera by the image processing means. When a person with a front face is detected exceeding a preset time, a signal is sent to the person.
This communication robot can detect the direction to be checked during the look-around operation and detect the front face only with the image of the wide-field camera. In this case, there is an advantage that the detection of the front face can be started without waiting for the rotation of the head in the direction of the person.
また、本発明のコミュニケーションロボットでは、前記合図動作制御手段が、前記正面顔の人物に対する前記合図として、当該人物に前記胴部の正面を向ける動作、当該人物に声を掛ける動作、当該人物に手を挙げる動作の中の一または二以上の動作を行うことが可能である。
この合図により、サービスを求める人は、依頼要求の受入れを確認することができる。
In the communication robot of the present invention, the cue motion control means may act as the cue for the person of the front face, the operation of directing the front of the torso to the person, the operation of calling the person, One or more of the listed operations can be performed.
With this signal, the person who requests the service can confirm acceptance of the request.
また、本発明のコミュニケーションロボットでは、前記画像処理手段は、前記広視野カメラの画像から肌色領域を検出し、前記肌色領域のフレーム間差分の絶対値の総和が閾値を超えるとき、前記肌色領域を人物として検出するようにしている。
見回り動作の途中でチェックする人物の検出は、厳密さが要求されないため、肌色領域の位置を人物と推定している。ただ、肌色の壁等、全く動かないものは除外している。
In the communication robot of the present invention, the image processing means detects a skin color area from the image of the wide-field camera, and when the sum of absolute values of differences between frames of the skin color area exceeds a threshold, the skin color area is detected. The person is detected as a person.
Since the detection of a person to be checked during the look-around operation does not require strictness, the position of the skin color region is estimated as a person. However, those that do not move at all, such as skin-colored walls, are excluded.
また、本発明のコミュニケーションロボットでは、眼カメラの画像から正面顔を検出する場合に、前記画像処理手段が、前記眼カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記肌色領域における前記顔矩形の中心線の位置に基づいて前記正面顔を検出するようにしている。
顔矩形の中心線の位置は鼻の位置に相当し、この鼻が肌色領域の中央にあるか否かで正面顔かどうかを簡単に識別することができる。
In the communication robot of the present invention, when a front face is detected from an image of an eye camera, the image processing means uses a discriminator that uses a rectangular feature from the image of the eye camera. In addition to detecting a rectangle, a skin color region superimposed on the face rectangle is detected, and the front face is detected based on the position of the center line of the face rectangle in the skin color region.
The position of the center line of the face rectangle corresponds to the position of the nose, and whether or not the face is a front face can be easily identified by whether or not the nose is in the center of the skin color area.
また、本発明のコミュニケーションロボットでは、広視野カメラの画像から正面顔を検出する場合に、前記画像処理手段が、前記広視野カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記広視野カメラの画像の中心線の方向との角度差αを算出し、さらに、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記顔矩形の中心線の方向との角度差βを算出し、前記角度差αによって決まる閾値と前記角度差βとを比較して前記正面顔を検出するようにしている。
広視野カメラの画像から正面顔を検出する場合は、その顔が広視野カメラの画像の境界付近に位置していると、ロボットの方を見ていても斜めを向いた顔に写る。そのため、顔が写る位置に応じて、正面顔の判定に用いる閾値を変える必要がある。
In the communication robot of the present invention, when a front face is detected from an image of a wide-field camera, the image processing means corresponds to a face from the image of the wide-field camera using a discriminator using a rectangular feature. Detecting a face rectangle to be detected, and detecting a skin color region superimposed on the face rectangle, and a direction of a center line of the skin color region and a direction of a center line of the image of the wide field camera viewed from the center of the wide field camera And the angle difference β between the direction of the center line of the skin color region and the direction of the center line of the face rectangle viewed from the center of the wide-field camera is calculated. The front face is detected by comparing the determined threshold value with the angle difference β.
When a front face is detected from an image of a wide-field camera, if the face is located near the boundary of the image of the wide-field camera, the face appears obliquely even when looking at the robot. For this reason, it is necessary to change the threshold used for determining the front face according to the position where the face appears.
また、本発明のコミュニケーションロボットでは、前記画像処理手段は、前記広視野カメラの画像から、さらに、フレーム間差分が閾値を超える変動領域を検出し、前記頭部制御手段は、前記画像処理手段が前記変動領域を検出したとき、前記見回り動作を中断して、所定時間の間、前記変動領域が検出された方向に前記頭部の顔を向けるようにしている。
このロボットは、ドアが開いたり、人が立ったりすると、見回り動作を中断して、そちらの方向に頭部を向ける。そのため、ドアから入室した人や立ち上がった人は、自分の方に顔を向けたロボットを見ることで、ロボットにサービスを依頼できる。また、このような動作により、周囲の人には、ロボットが周りに気を配って見回っているということが伝えられる。
In the communication robot according to the aspect of the invention, the image processing unit may further detect a fluctuation region in which a difference between frames exceeds a threshold from the image of the wide-field camera, and the head control unit may include the image processing unit. When the variable region is detected, the look-around operation is interrupted and the face of the head is directed in the direction in which the variable region is detected for a predetermined time.
When the door opens or a person stands, this robot interrupts the look-around operation and turns its head in that direction. Therefore, a person who enters the room through a door or a person who has stood up can request a service from the robot by looking at the robot facing his / her face. In addition, by such an operation, the surrounding people are informed that the robot is looking around.
また、本発明のコミュニケーションロボットでは、前記合図動作制御手段から合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記頭部制御手段は、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開するようにしている。
このロボットの動作で、コンタクトを求めた他の人物は、ロボットが要求を認識したこと、現在実施中のコミュニケーションが終了すれば、要求に応じてくれることを知ることができる。
Further, in the communication robot of the present invention, when another person who requests contact is detected in the middle of performing communication with the person who sent the signal from the signal operation control unit, the head control unit, The communication is interrupted, the face of the head is directed for a predetermined time in the direction of the detected other person, and then the communication is resumed by returning the orientation of the head. Yes.
With this robot operation, another person who has requested contact can know that the robot has recognized the request and will respond to the request when the current communication is completed.
また、本発明のコミュニケーションロボットでは、前記コンタクトを要求する他の人物が前記画像処理手段により検出され、前記画像処理手段は、前記広視野カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出するとともに、前記顔矩形に重畳する肌色領域を検出し、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記広視野カメラの画像の中心線の方向との角度差αを算出し、さらに、前記広視野カメラの中心から見た前記肌色領域の中心線の方向と前記顔矩形の中心線の方向との角度差βを算出し、前記角度差αによって決まる閾値と前記角度差βとを比較して前記コンタクトを要求する他の人物の正面画を検出するようにしている。
コミュニケーションを実施中であっても、広視野カメラの画像から正面顔を検出することで、コンタクトを要求する他の人物を検出することができる。
In the communication robot of the present invention, another person who requests the contact is detected by the image processing means, and the image processing means uses a discriminator using a rectangular feature from the image of the wide-field camera. A face rectangle corresponding to the face is detected, and a skin color region superimposed on the face rectangle is detected, and the direction of the center line of the skin color region viewed from the center of the wide field camera and the center line of the image of the wide field camera And the angle difference β between the direction of the center line of the skin color region and the direction of the center line of the face rectangle as viewed from the center of the wide-field camera is calculated. A threshold value determined by the difference α is compared with the angle difference β to detect a front image of another person who requests the contact.
Even during communication, by detecting the front face from the image of the wide-field camera, it is possible to detect other persons who require contact.
また、本発明のコミュニケーションロボットでは、前記コンタクトを要求する他の人物がロボットに触れたとき、ロボットに装着されたタッチセンサにより検出されるようにしても良い。
ロボットが、現在、他の人とコミュニケーションを実施中であっても、ロボットに触れることで、要求を認識させることができる。
In the communication robot of the present invention, when another person who requests the contact touches the robot, it may be detected by a touch sensor attached to the robot.
Even if the robot is currently communicating with another person, the request can be recognized by touching the robot.
また、本発明の動作方法は、顔を模した頭部と、前記頭部を支える胴部と、前記胴部に対して首を振るように前記頭部を回転させる頭部制御手段と、コミュニケーションの成立を合図する合図動作制御手段と、を有するコミュニケーションロボットの動作方法であって、前記胴部に設けられた広視野カメラの画像から人物を検出するステップと、前記胴部に対して前記頭部を所定速度で回転する見回り動作を行いながら、前記人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させるステップと、前記頭部の回転速度が前記所定値以下に低減したとき、前記頭部に設けられた眼カメラの画像、または、前記広視野カメラの画像に含まれる前記頭部の顔前方の画像領域からロボットに顔を向ける正面顔の人物を検出するステップと、前記正面顔の人物が予め設定された時間を超えてロボットに顔を向けているとき、当該人物に合図を送るステップと、を備えることを特徴とする。
このコミュニケーションロボットの動作により、サービスを求める人は、ロボットが見回り動作を行っていれば、サービス可能であると知ることができ、ロボットが自分の方を向いたときにロボットを見ていれば、ロボットにサービスを依頼できる。
The operation method of the present invention includes a head imitating a face, a torso supporting the head, a head control means for rotating the head so as to swing the head with respect to the torso, and communication. An operation method of a communication robot having a cue motion control means for signaling the establishment of: a step of detecting a person from an image of a wide-field camera provided on the torso, and the head with respect to the torso Reducing the rotation speed of the head to a predetermined value or less at a position where the person is detected while performing a look-around operation of rotating the part at a predetermined speed, and reducing the rotation speed of the head to the predetermined value or less. Detecting a front face person facing the robot from an image area in front of the head face included in the image of the eye camera provided on the head or the image of the wide-field camera. When said front face of a person is face against the robot exceeds a predetermined time, characterized in that it comprises the steps of: sending a signal to the person.
With this communication robot movement, a person seeking a service can know that the robot can perform the service if the robot performs a patrol, and if the robot is looking at the robot when it is facing, You can request service from the robot.
また、本発明のコミュニケーションロボットの動作方法では、さらに、前記広視野カメラの画像からフレーム間差分が閾値を超える変動領域を検出するステップを備え、前記変動領域が検出されたとき、前記見回り動作を中断して、所定時間の間、前記変動領域が検出された方向に前記頭部の顔を向けるようにしている。
このコミュニケーションロボットの動作により、ドアから入室した人や立ち上がった人は、自分の方に顔を向けたロボットを見ることで、ロボットにサービスを依頼できる。また、このような動作により、周囲の人には、ロボットが周りに気を配って見回っているということが伝えられる。
The communication robot operation method of the present invention further includes a step of detecting a fluctuation region in which a difference between frames exceeds a threshold value from an image of the wide-field camera, and when the fluctuation region is detected, the patrol operation is performed. The operation is interrupted, and the face of the head is directed in the direction in which the fluctuation region is detected for a predetermined time.
By this operation of the communication robot, a person who enters the room from the door or a person who stands up can request a service from the robot by looking at the robot facing his face. In addition, by such an operation, the surrounding people are informed that the robot is looking around.
また、本発明のコミュニケーションロボットの動作方法では、前記合図を送った人物とコミュニケーションを実施している途中で、コンタクトを要求する他の人物が検出されたとき、前記コミュニケーションを中断して、検出された前記他の人物の方向に所定時間の間だけ前記頭部の顔を向け、その後、前記頭部の向きを元に戻して前記コミュニケーションを再開するようにしている。
このロボットの動作により、コンタクトを求めた他の人物は、ロボットが要求を認識したこと、そして、現在実施中のコミュニケーションが終了すれば、要求に応じてくれることを知ることができる。
In the communication robot operation method of the present invention, when another person requesting contact is detected during communication with the person who sent the signal, the communication is interrupted and detected. Further, the face of the head is directed to the direction of the other person for a predetermined time, and then the direction of the head is returned to the original to resume the communication.
By the operation of the robot, another person who has requested contact can know that the robot has recognized the request and that it will respond to the request when the current communication is completed.
本発明により、コミュニケーションロボットにサービスを依頼する依頼者は、ロボットの動作から、そのロボットが依頼を受け入れ可能な状態にあるか否かを簡単に知ることができる。また、依頼者は、ロボットの動作から、ロボットの頭部が自分の方に向く時期を予測し、その時期に合わせてロボットを見ることでサービスを依頼できるため、ロボットへの依頼の伝達が容易である。
従って、依頼者は、適切なタイミングで、且つ、極めて容易にロボットに依頼を伝えることができる。
According to the present invention, a client who requests a service from a communication robot can easily know whether or not the robot is ready to accept a request from the operation of the robot. In addition, the client can request the service by predicting the time when the robot's head is facing the user from the robot's movements, and watching the robot according to that time, making it easy to communicate the request to the robot It is.
Therefore, the client can transmit the request to the robot very easily at an appropriate timing.
本発明のコミュニケーションロボットの実施形態について、図面を基に説明する。このロボットは、高齢者介護施設において、手助け（サービス）を必要とする高齢者との間でコミュニケーションを取る動作を行う。
図１は、本発明のロボットの機能ブロックを示す図、図２は、このロボットのハードウエア構成を示すブロック図、図３は、このロボットの外観を示す図、図４は、ロボットの動作を示すフロー図、図５は、図４のステップ１の動作手順を示すフロー図、図６は、図４のステップ３の動作手順を示すフロー図、図７は、図４のステップ７の動作手順を示すフロー図、図８は、図４のステップ８の動作手順を示すフロー図、また、図９は、図４のステップ１２の動作手順を示すフロー図である。
An embodiment of a communication robot according to the present invention will be described with reference to the drawings. This robot performs an operation of communicating with an elderly person who needs help (service) in an elderly care facility.
FIG. 1 is a diagram showing functional blocks of the robot of the present invention, FIG. 2 is a block diagram showing the hardware configuration of the robot, FIG. 3 is a diagram showing the appearance of the robot, and FIG. FIG. 5 is a flowchart showing the operation procedure of Step 1 of FIG. 4, FIG. 6 is a flowchart showing the operation procedure of Step 3 of FIG. 4, and FIG. 7 is the operation procedure of Step 7 of FIG. FIG. 8 is a flowchart showing the operation procedure of step 8 in FIG. 4, and FIG. 9 is a flowchart showing the operation procedure of step 12 in FIG.
このロボットは、介護ロボットであり、図３に示すように、眼に相当する眼カメラ２０が設けられた頭部５２と、広域を撮影する広視野カメラ５３が設けられた胴部５４と、胴部５４に回動可能に支持された腕５５とを有している。眼カメラ２０は、ビデオカメラで構成され、また、広視野カメラ５３は、向きを変えた３台のビデオカメラで１８０°の範囲が撮影できるように構成されている。
このロボットは、図２に示すように、その内部に、ＣＰＵ２５と、制御プログラムや各種データが記憶されるメモリ２６と、ＣＰＵ２５の指示に基づいて各モータを制御するモータ制御ボード２９と、各センサの情報をＣＰＵ２５に送るセンサ入力／出力ボード３０と、ＣＰＵ２５から与えられた合成音声をスピーカ２３から出力し、マイク２４から拾った音をＣＰＵ２５に送る音声入力／出力ボード３１と、外部のコンピュータと通信を行う無線通信装置２８と、ＣＰＵ２５から送られた情報を無線通信装置２８を通じて外部コンピュータに送り、外部コンピュータからの受信情報をＣＰＵ２５に送る通信ＬＡＮボード２７とを備えている。
This robot is a care robot, and as shown in FIG. 3, a head 52 provided with an eye camera 20 corresponding to an eye, a torso 54 provided with a wide-field camera 53 for photographing a wide area, and a torso The arm 54 is rotatably supported by the portion 54. The eye camera 20 is configured by a video camera, and the wide-field camera 53 is configured so that a 180 ° range can be captured by three video cameras whose directions are changed.
As shown in FIG. 2, the robot includes a CPU 25, a memory 26 that stores a control program and various data, a motor control board 29 that controls each motor based on instructions from the CPU 25, and each sensor. The sensor input / output board 30 for sending the information to the CPU 25, the voice input / output board 31 for outputting the synthesized voice given from the CPU 25 from the speaker 23 and the sound picked up from the microphone 24 to the CPU 25, and an external computer A wireless communication device 28 that performs communication and a communication LAN board 27 that sends information sent from the CPU 25 to an external computer through the wireless communication device 28 and sends information received from the external computer to the CPU 25 are provided.
また、モータ制御ボード２９は、腕５５を回転する腕モータ１３、１４、頭部５２を回転する頭部モータ１５、胴体５４を回転する腰モータ１６、及び、胴体５４を前後左右に移動する車輪モータ１７の駆動を制御する。
また、センサ入力／出力ボード３０は、超音波距離センサ１８、広視野カメラ５３、眼カメラ２０、タッチセンサ２１及び衝突センサ２２の情報を取得して配信する。
また、このロボットは、広視野カメラ５３及び眼カメラ２０の画像を処理する画像処理部４０を有している。この画像処理部４０は、画像から肌色領域を検出する肌色検出部４１と、ビデオカメラのフレーム間の差分を算出するフレーム差分算出部４２と、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出する顔検出部４３とを有している。
なお、この画像処理部４０は、ＤＳＰ（digital signal processor）で構成することができ、或いは、制御プログラムに従って演算処理を行うＣＰＵ２５の機能として実現することができる。また、外部コンピュータの側で画像処理部４０を保持し、無線通信装置２８を通じて送られた画像データを処理して、その処理結果をロボットに渡すようにすることもできる。
The motor control board 29 includes arm motors 13 and 14 that rotate the arm 55, a head motor 15 that rotates the head 52, a waist motor 16 that rotates the body 54, and a wheel that moves the body 54 forward, backward, left and right. The drive of the motor 17 is controlled.
The sensor input / output board 30 acquires and distributes information on the ultrasonic distance sensor 18, the wide-field camera 53, the eye camera 20, the touch sensor 21, and the collision sensor 22.
The robot also includes an image processing unit 40 that processes images from the wide-field camera 53 and the eye camera 20. The image processing unit 40 corresponds to a face using a skin color detection unit 41 that detects a skin color region from an image, a frame difference calculation unit 42 that calculates a difference between frames of a video camera, and a discriminator using a rectangular feature. And a face detection unit 43 that detects a face rectangle to be detected.
The image processing unit 40 can be configured by a DSP (digital signal processor), or can be realized as a function of the CPU 25 that performs arithmetic processing according to a control program. Alternatively, the image processing unit 40 can be held on the external computer side, the image data sent through the wireless communication device 28 can be processed, and the processing result can be passed to the robot.
このロボットは、図１に示すように、本発明に関わる機能ブロックとして、胴部５４の上の頭部５２を、首を振るように回転させる頭部制御手段６１と、眼カメラ２０及び広視野カメラ５３の画像処理を行う画像処理手段６２と、手５５を挙げたり、スピーカ２３から音声を発したり、胴部５４を依頼者の方向に向けたりして依頼者に合図を送る合図動作制御手段６３と、画像処理手段６２の処理結果やタッチセンサ２１の検知情報に基づいて各部を制御する制御部６４とを備えている。 As shown in FIG. 1, the robot includes a head control means 61 for rotating the head 52 on the torso 54 so as to swing the head, the eye camera 20 and the wide field of view as functional blocks related to the present invention. An image processing means 62 for performing image processing of the camera 53, and a cue operation control means for raising a hand 55, emitting a sound from the speaker 23, or pointing the body 54 toward the requester to send a signal to the requester. 63, and a control unit 64 that controls each unit based on the processing result of the image processing means 62 and the detection information of the touch sensor 21.
図４のフロー図は、このロボットの動作手順を示している。
先ず、画像処理手段６２が、広視野カメラ５３の広視野画像から、人物の肌色領域を検出する（ステップ１）。
この処理は、具体的には、図５のフロー図に示す手順で行われる。即ち、広視野画像から、ＲＧＢカラースペース（Ｒ、Ｇ、Ｂ各８ビット）での値が、
Ｒ＞９５、Ｇ＞４０、Ｂ＞２０
Ｍａｘ｛Ｒ．Ｇ．Ｂ｝−Ｍｉｎ｛Ｒ．Ｇ．Ｂ｝＞１５
｜Ｒ−Ｇ｜＞１５
Ｒ＞Ｇ、Ｒ＞Ｂ
の条件を満たす肌色の画素の範囲を抽出し（ステップ１１）、この肌色部分のフレーム間差分を算出して、フレーム間差分の絶対値の総和が閾値を超えるか否かを識別する（ステップ１２）。フレーム間差分が閾値以下の肌色部分は、肌色の壁や机等が抽出されたものとして排除し(ステップ１４)、フレーム間差分の絶対値の総和が閾値を超える肌色部分を人物の顔の肌色領域として検出する(ステップ１３)。
なお、画像処理手段６２は、広視野画像からの肌色領域の検出を絶えず繰り返す。
The flowchart of FIG. 4 shows the operation procedure of this robot.
First, the image processing means 62 detects a human skin color region from the wide-field image of the wide-field camera 53 (step 1).
Specifically, this process is performed according to the procedure shown in the flowchart of FIG. That is, from the wide-field image, the value in the RGB color space (R, G, B each 8 bits) is
R> 95, G> 40, B> 20
Max {R. G. B} -Min {R. G. B}> 15
| RG |> 15
R> G, R> B
A skin color pixel range that satisfies the above condition is extracted (step 11), the inter-frame difference of this skin color portion is calculated, and it is identified whether or not the sum of absolute values of inter-frame differences exceeds a threshold value (step 12). ). Skin color portions where the interframe difference is less than or equal to the threshold value are excluded as skin color walls or desks are extracted (step 14), and the skin color portion where the sum of absolute values of interframe differences exceeds the threshold value is the skin color of the person's face The area is detected (step 13).
The image processing means 62 continuously repeats the detection of the skin color area from the wide-field image.
次に、図４に戻り、頭部制御手段６１が、頭部５２を一定の回転速度で回転する見回り動作を開始する(ステップ２)。
この見回り動作の間も、画像処理手段６２は、広視野カメラ５３の広視野画像から、フレーム間差分が大きい領域を検出する（ステップ３）。
これは、立ち上がった人物やドアから入室した人物の検出を目的とするものであり、具体的には、図６のフロー図に示す手順で行われる。即ち、広視野画像のフレーム間差分を算出し（ステップ３１）、差分値が予め定めた閾値を超える領域を算出する（ステップ３２）。次いで、その領域の面積が設定値を超えているか否かを判定し(ステップ３３)、設定値を超えている場合に差分大の領域として検出する(ステップ３４)。その領域の面積が設定値を超えていない場合は、無視する（ステップ３５）。
差分大の領域を検出した場合は、図４に示すように、頭部制御手段６１が、見回り動作を中断して、頭部５２を差分大の領域の方向に向け(ステップ６)、後述するステップ７の処理が行われる。
Next, returning to FIG. 4, the head control means 61 starts a look-around operation for rotating the head 52 at a constant rotational speed (step 2).
During this look-around operation, the image processing means 62 detects a region having a large inter-frame difference from the wide field image of the wide field camera 53 (step 3).
This is for the purpose of detecting a person who has stood up or entered a room through a door, and is specifically performed according to the procedure shown in the flowchart of FIG. That is, the inter-frame difference of the wide-field image is calculated (step 31), and an area where the difference value exceeds a predetermined threshold is calculated (step 32). Next, it is determined whether or not the area of the area exceeds the set value (step 33). If the area exceeds the set value, the area is detected as a large difference area (step 34). If the area of the region does not exceed the set value, it is ignored (step 35).
When the large difference area is detected, as shown in FIG. 4, the head control means 61 interrupts the look-around operation and directs the head 52 toward the large difference area (step 6), which will be described later. The process of step 7 is performed.
また、見回り動作を続ける頭部制御手段６１は、頭部５２がステップ１で検出された肌色領域の方向を向いたときに（ステップ４）、頭部５２の回転速度を落とし、或いは、一時停止する（ステップ５）。
頭部５２の回転が停止または緩やかになると、画像処理手段６２は、頭部５２に搭載された眼カメラ２０の画像から、ロボットを直視している顔（正面顔）を検出する（ステップ７）。
この処理は、具体的には、図７のフロー図に示す手順で行われる。即ち、先ず、眼カメラの画像から、矩形特徴を利用した識別器を用いて顔に相当する顔矩形を検出する（ステップ７１）。顔領域の検出に用いる識別器として多くのものが開発されているが、ここでは、“ＯｐｅｎＣＶ Ｈａａｒ Ｃｌａｓｓｉｆｉｅｒ”（G. Bradsky, A. kaehler, V. Pisarevskky, “Learning Based Computer Vision with Intel’s Open Source Computer Vision Library,” Intel Technology Journal, Vol.09, 2005）を正面顔を検出するように学習させたものを用いている。
Further, the head control means 61 that continues the look-around operation reduces the rotational speed of the head 52 or pauses when the head 52 faces the skin color area detected in step 1 (step 4). (Step 5).
When the rotation of the head 52 is stopped or slowed down, the image processing means 62 detects a face (front face) looking directly at the robot from the image of the eye camera 20 mounted on the head 52 (step 7). .
Specifically, this process is performed according to the procedure shown in the flowchart of FIG. That is, first, a face rectangle corresponding to the face is detected from the image of the eye camera using a discriminator using the rectangle feature (step 71). Many classifiers have been developed for use in the detection of facial regions. Here, “OpenCV Haar Classifier” (G. Bradsky, A. kaehler, V. Pisarevskky, “Learning Based Computer Vision with Intel's Open Source Computer Vision Library, “Intel Technology Journal, Vol.09, 2005) is used to learn to detect the front face.
図１０（ａ）に示す矩形７０は、この識別器を用いて検出した顔矩形を示している。この顔矩形７０の水平方向の中心線は、鼻の位置に一致している。しかし、顔矩形７０の範囲内には、顔以外の領域も含まれ、また、顔矩形７０の範囲からはみ出る顔の部分も存在する。
次に、この眼カメラの画像を水平方向にスキャンして肌色領域を検出する（ステップ７２）。肌色領域の検出条件は、ステップ１１の場合と同じである。
図１０（ｂ）（ｃ）（ｄ）は、それぞれ、カメラから見て多少右側を向いた顔、正面を向いた顔、カメラから見て多少左側を向いた顔の画像を示しており、各画像には、顔矩形７０と、顔矩形７０の水平方向の中心線７２と、肌色領域の境界線７１とを書き加えている。顔矩形７０の水平方向の中心線７２は、鼻の位置に一致しており、顔が右側を向いているとき（図１０（ｂ））、この中心線７２は、肌色領域の水平方向の中心より右側にずれている。逆に、顔が左側を向いているとき（図１０（ｄ））には、この中心線７２は、肌色領域の水平方向の中心より左側にずれている。顔が正面を向いているとき（図１０（ｃ））は、この中心線７２が、肌色領域の水平方向の中心に位置している。
A rectangle 70 shown in FIG. 10A indicates a face rectangle detected using this classifier. The center line of the face rectangle 70 in the horizontal direction coincides with the position of the nose. However, the area other than the face is included in the range of the face rectangle 70, and there is a part of the face that protrudes from the range of the face rectangle 70.
Next, the skin color region is detected by scanning the image of the eye camera in the horizontal direction (step 72). The detection condition of the skin color area is the same as in the case of step 11.
FIGS. 10B, 10C, and 10D show images of a face slightly facing the right side when viewed from the camera, a face facing the front side, and a face slightly facing the left side when viewed from the camera. A face rectangle 70, a horizontal center line 72 of the face rectangle 70, and a boundary line 71 of the skin color region are added to the image. The horizontal center line 72 of the face rectangle 70 coincides with the position of the nose, and when the face is facing the right side (FIG. 10B), the center line 72 is the horizontal center of the skin color area. It is shifted to the right. Conversely, when the face is facing left (FIG. 10D), the center line 72 is shifted to the left from the center in the horizontal direction of the skin color area. When the face is facing the front (FIG. 10C), the center line 72 is located at the center in the horizontal direction of the skin color area.
そこで、眼カメラの画像から、顔矩形７０の水平方向の中心位置（中心線７２の位置）と肌色領域(境界線７１の間の領域)の水平方向の中心位置との差分を算出し(ステップ７３)、この差分値と予め設定した閾値とを比較する(ステップ７４)。差分値が閾値未満であれば、正面顔と決定し（ステップ７５）、差分値が閾値を超えていれば、正面顔ではないと決定する（ステップ７６）。
正面顔が検出されなければ、頭部制御手段６１は、見回り動作を続ける（ステップ７でＮＯの場合）。
Therefore, the difference between the horizontal center position of the face rectangle 70 (the position of the center line 72) and the horizontal center position of the skin color area (the area between the boundary lines 71) is calculated from the image of the eye camera (step). 73) The difference value is compared with a preset threshold value (step 74). If the difference value is less than the threshold value, it is determined to be a front face (step 75), and if the difference value exceeds the threshold value, it is determined not to be a front face (step 76).
If the front face is not detected, the head control means 61 continues the look-around operation (in the case of NO at step 7).
正面顔が検出されると、制御部６４は、その人物とのアイコンタクトが成立したか否かを判定する(ステップ８)。
この処理は、具体的には、図８のフロー図に示す手順で行われる。即ち、正面顔が継続して検出されている時間を計測し(ステップ８１)、計測時間が予め設定された閾値を超えた場合に（ステップ８２でＹＥＳの場合）、アイコンタクトが成立したと判定される(ステップ８３)。また、計測時間が閾値を超えなければ、アイコンタクト不成立と判定され（ステップ８４）、頭部制御手段６１は、見回り動作を再開する（ステップ２）。
アイコンタクトが成立すると、合図動作制御手段６３は、胴部５４をアイコンタクトの相手方に向け、手５５を挙げたり、スピーカ２３から「何か御用ですか」と発声して合図を送る（ステップ９）。
次いで、ロボットは、車輪５６を使って相手に近付き、サービスを開始する（ステップ１０）。
なお、画像処理手段６２は、広視野画像からの肌色領域の検出を繰り返しており、人の位置が変わった場合は、頭部の回転速度を緩める方向もそれに応じて変化する。
When the front face is detected, the control unit 64 determines whether eye contact with the person is established (step 8).
Specifically, this process is performed according to the procedure shown in the flowchart of FIG. That is, the time during which the front face is continuously detected is measured (step 81), and when the measurement time exceeds a preset threshold value (YES in step 82), it is determined that the eye contact is established. (Step 83). If the measurement time does not exceed the threshold value, it is determined that the eye contact is not established (step 84), and the head control means 61 resumes the look-around operation (step 2).
When the eye contact is established, the cue motion control means 63 points the torso 54 toward the other party of the eye contact, raises the hand 55, and utters "What is your business?" ).
Next, the robot approaches the opponent using the wheels 56 and starts a service (step 10).
Note that the image processing means 62 repeatedly detects the skin color area from the wide-field image, and when the position of the person changes, the direction in which the rotational speed of the head is reduced also changes accordingly.
ロボットがこうした動作を行うため、サービスを希望する人は、ロボットの見回り動作を見て、ロボットがサービスの依頼に応じる状態であることを認識できる。
また、サービスの希望者は、ロボットの見回り動作から、ロボットが自分の方に頭を向ける時期を予測することができ、その時期に合わせてロボットを見詰めれば、サービスを受けることができる。そのため、ロボットに対して効率的に依頼を伝えることが可能である。
また、椅子から立ち上がった高齢者や、ドアから入室した高齢者等に対して、手助けが必要になる場合がある。こうした動きを伴う被介護者への手助けは、椅子に静かに座っている高齢者への手助けに比べて、迅速性が要求される。このロボットは、被介護者等の大きな動きを検出すると、直ぐにその方向に頭部を回転するので、手助けの希望者は、このときにロボットを見詰めれば、迅速な手助けが受けられる。
Since the robot performs such an operation, a person who desires a service can recognize that the robot is in a state of responding to a service request by looking at the robot's patrol operation.
Also, the service applicant can predict the time when the robot turns his head toward the user from the look-around operation of the robot, and can receive the service by staring at the robot in accordance with the time. Therefore, it is possible to efficiently transmit a request to the robot.
In addition, assistance may be required for elderly people standing up from chairs, elderly people entering rooms through doors, and the like. The help to the cared person with such movement is required to be quicker than the help to the elderly sitting quietly in the chair. When this robot detects a large movement of a cared person or the like, the head is immediately rotated in that direction, so that a person who wants help can receive quick help by staring at the robot at this time.
次に、ロボットがサービスを開始した後に、他のサービス希望者が現れた場合のロボットの動作について説明する。
図４に示すように、ロボットがサービスを開始(ステップ１０)した後、他のサービス希望者がロボットに触れると、制御部６４は、それをタッチセンサ２１によって検出し(ステップ１１)、後述するステップ１４の動作を行う。
Next, the operation of the robot when another service applicant appears after the robot has started service will be described.
As shown in FIG. 4, after the robot starts a service (step 10), when another service applicant touches the robot, the control unit 64 detects it by the touch sensor 21 (step 11), which will be described later. Step 14 is performed.
また、画像処理手段６２は、サービス実行中でも、広視野カメラ５３の広視野画像に対する解析を続け、広視野画像から正面顔を検出する(ステップ１２)。
この処理は、具体的には、図９のフロー図に示す手順で行われる。即ち、広視野画像から、ステップ７１と同様の手順で顔矩形を検出し（ステップ１２１）、ステップ７２と同様の手順で肌色領域を検出する(ステップ１２２)。
このとき、人物の顔は、広視野画像の中央付近に位置している場合もあれば、図１１に示すように、広視野画像の境界付近に位置している場合もある。人物の顔が広視野画像の中央付近に位置している場合は、その人物がロボットを見詰めていると、ステップ７３、ステップ７４で説明したように、顔矩形の水平方向の中心位置と肌色領域の水平方向の中心位置との差分は小さくなる。
Further, the image processing means 62 continues to analyze the wide-field image of the wide-field camera 53 even during service execution, and detects the front face from the wide-field image (step 12).
Specifically, this process is performed according to the procedure shown in the flowchart of FIG. That is, a face rectangle is detected from the wide-field image in the same procedure as in step 71 (step 121), and a skin color area is detected in the same procedure as in step 72 (step 122).
At this time, the face of the person may be located near the center of the wide-field image, or may be located near the boundary of the wide-field image as shown in FIG. If the face of the person is located near the center of the wide-field image, and if the person is staring at the robot, as described in step 73 and step 74, the horizontal center position and skin color area of the face rectangle The difference from the horizontal center position becomes small.
しかし、人物の顔が広視野画像の境界付近に位置していると、その人物がロボットを見詰めていても、顔矩形の水平方向の中心位置と肌色領域の水平方向の中心位置との差分値は大きい。そして、この差分値の大きさは、人物の顔が広視野画像の境界に近付く程、増大する。
そこで、図１１（ａ）（ｂ）に示すように、広視野カメラ５３の中心を“ｏ”、肌色領域の中心位置とｏとを結ぶ線（点線）を肌色領域の代表線として、ｏを通る広視野画像の中心線から測った代表線（点線）までの角度をαと規定し、また、顔矩形の中心位置（鼻の位置）とｏとを結ぶ線（実線）と、代表線（点線）との間の角度（絶対角度）をβと規定し、実験に基づいて、正面顔と看做せるβの閾値をαに応じて設定した。
図１２（ａ）は、その結果を示している。ここで、βは、代表線の左方向にずれる角度をβleft、代表線の右方向にずれる角度をβrightと表示している。また、図１２（ｂ）は、図１２（ａ）の結果をグラフに表している。
However, if the person's face is located near the boundary of the wide-field image, even if the person stares at the robot, the difference between the horizontal center position of the face rectangle and the horizontal center position of the skin color area Is big. The magnitude of the difference value increases as the person's face approaches the boundary of the wide-field image.
Therefore, as shown in FIGS. 11A and 11B, the center of the wide-field camera 53 is “o”, the line connecting the center position of the skin color area and o (dotted line) is the representative line of the skin color area, and o is The angle from the center line of the wide-field image passing through to the representative line (dotted line) measured as α is defined as α, the line connecting the center position of the face rectangle (nose position) and o (solid line), and the representative line ( The angle (absolute angle) with respect to the dotted line) is defined as β, and a threshold value of β that can be regarded as a front face is set according to α based on experiments.
FIG. 12A shows the result. Here, β represents the angle shifted to the left of the representative line as β left , and the angle shifted to the right of the representative line as β right . FIG. 12B shows the result of FIG. 12A in a graph.
図９のフロー図に戻り、広視野画像から、ｏを通る広視野画像の中心線から測った代表線（点線）までの角度αを算出し（ステップ１２３）、また、顔矩形の中心位置とｏとを結ぶ線（実線）と、代表線（点線）との間の角度βを算出し（ステップ１２４）、βが、図１２に規定する、αに依存した閾値（βleft，βright）未満であるか否かを判定する（ステップ１３５）。閾値未満であれば、正面顔と識別し(ステップ１２６)、閾値以上であれば、正面顔では無いと識別する（ステップ１２７）。 Returning to the flowchart of FIG. 9, the angle α from the wide-field image to the representative line (dotted line) measured from the center line of the wide-field image passing through o is calculated (step 123). An angle β between a line (solid line) connecting o and a representative line (dotted line) is calculated (step 124), and β is a threshold (β left , β right ) defined in FIG. It is determined whether it is less than (step 135). If it is less than the threshold, it is identified as a front face (step 126), and if it is greater than or equal to the threshold, it is identified as not being a front face (step 127).
図４のフロー図に戻り、制御部６４は、広視野画像から正面顔が継続して検出されている時間を計測し、その時間が予め設定された所定時間を超えたか否かを判定する（ステップ１３）。
ロボットを見詰める時間が所定時間を超えた場合(ステップ１３でＹＥＳの場合)、或いは、ロボットに触れた人が居た場合（ステップ１１でＹＥＳの場合）に、頭部制御手段６１は、頭部５２をその人の方向に回転し、その位置で少し停止した後、元の位置に戻し(ステップ１４)、実行中のサービスを再開する(ステップ１０)。
このロボットの動作は、サービス要求に気付いたこと、しかし、現在は他の人へのサービスを実施中であるため、直ぐには要求に応じられないこと、を相手に伝えることができる。この場合、ロボットは、このサービス要求を記憶し、実施中のサービスが終了したときに、記憶したサービス要求に応える。
Returning to the flowchart of FIG. 4, the control unit 64 measures the time during which the front face is continuously detected from the wide-field image, and determines whether or not the time exceeds a preset predetermined time ( Step 13).
When the time for staring at the robot exceeds a predetermined time (in the case of YES in step 13), or when there is a person who has touched the robot (in the case of YES in step 11), the head control means 61 Rotate 52 in the direction of the person, stop for a while at that position, return to the original position (step 14), and resume the service being executed (step 10).
The operation of the robot can inform the other party that he / she has noticed the service request, but cannot immediately respond to the request because he / she is currently providing a service to another person. In this case, the robot stores this service request, and responds to the stored service request when the service in progress is completed.
このように、このコミュニケーションロボットに対して、依頼者は、極めて簡単な動作で、且つ、効率的に、コミュニケーションを図ることができる。
なお、ここでは、広視野カメラ５３として３台のビデオカメラで構成されたカメラを使用したが、広い視野の撮影が可能なカメラであれば、どのようなものでも使用できる。
また、ここでは、見回り動作の過程における正面顔の検出を眼カメラで行う場合について説明したが、眼カメラを使用せずに、広視野カメラ５３の画像から行うようにしても良い。この場合の正面顔の検出方法は、ステップ１２で説明した方法と同じであり、回転速度が低減した頭部の顔前方の画像領域から正面顔を検出する。この場合は、正面顔の検出が、人の方向への頭部の回転を待たずに開始できると言う利点がある。
また、ここでは、介護ロボットについて説明したが、本発明は、それだけに限るものでは無く、ミュージアムでのガイドロボットや、食事の注文を受付けるウェーターロボット等、不特定多数を対象にコミュニケーションを図るロボットに対して適用することができる。
In this way, the client can communicate efficiently with this communication robot with an extremely simple operation.
Here, a camera composed of three video cameras is used as the wide-field camera 53, but any camera capable of photographing a wide field of view can be used.
Although the case where the front face is detected by the eye camera in the course of the look-around operation has been described here, it may be performed from the image of the wide-field camera 53 without using the eye camera. The front face detection method in this case is the same as the method described in step 12, and the front face is detected from the image area in front of the head face whose rotational speed is reduced. In this case, there is an advantage that the detection of the front face can be started without waiting for the rotation of the head in the direction of the person.
In addition, although the nursing robot has been described here, the present invention is not limited to this, but for robots that communicate to unspecified large numbers of people such as guide robots in museums and waiter robots that accept meal orders. Can be applied.
本発明は、介護ロボット、ガイドロボット、店員ロボット、ウェーターロボット等のサービスロボットに広く適用することができ、依頼者が依頼し易いロボットを実現することができる。 The present invention can be widely applied to service robots such as a care robot, a guide robot, a clerk robot, and a waiter robot, and can realize a robot that can be easily requested by a client.
１１ 眼球モータ
１２ 眼球モータ
１３ 腕モータ
１４ 腕モータ
１５ 頭部モータ
１６ 腰モータ
１７ 車輪モータ
１８ 超音波距離センサ
１９ 全方位カメラ
２０ 眼カメラ
２１ タッチセンサ
２２ 衝突センサ
２３ スピーカ
２４ マイク
２５ ＣＰＵ
２６ メモリ
２７ 通信ＬＡＮボード
２８ 無線通信装置
２９ モータ制御ボード
３０ センサ入力／出力ボード
３１ 音声入力／出力ボード
３３ 無線タグ読取装置
４０ 画像処理部
４１ 肌色検出部
４２ フレーム差分算出部
４３ 顔検出部
５２ 頭部
５３ 広視野カメラ
５４ 胴部
５５ 腕
７０ 顔矩形
７１ 肌色領域境界線
７２ 顔矩形中心線
DESCRIPTION OF SYMBOLS 11 Eyeball motor 12 Eyeball motor 13 Arm motor 14 Arm motor 15 Head motor 16 Waist motor 17 Wheel motor 18 Ultrasonic distance sensor 19 Omnidirectional camera 20 Eye camera 21 Touch sensor 22 Collision sensor 23 Speaker 24 Microphone 25 CPU
26 Memory 27 Communication LAN Board 28 Wireless Communication Device 29 Motor Control Board 30 Sensor Input / Output Board 31 Audio Input / Output Board 33 Wireless Tag Reader 40 Image Processing Unit 41 Skin Color Detection Unit 42 Frame Difference Calculation Unit 43 Face Detection Unit 52 Head Part 53 Wide-field camera 54 Body 55 Arm 70 Face rectangle 71 Skin color area boundary line 72 Face rectangle center line
Claims (13)
前記頭部に設けられた眼に相当する眼カメラと、
前記胴部に設けられた広域を撮影する広視野カメラと、
前記眼カメラ及び広視野カメラの画像を処理する画像処理手段と、
を備え、
前記画像処理手段は、前記広視野カメラの画像から人物を検出するとともに、前記頭部の回転速度が所定値以下のときに前記眼カメラの画像からロボットに顔を向ける正面顔の人物を検出し、
前記頭部制御手段は、前記胴部に対して前記頭部を所定速度で回転させる見回り動作を行いながら、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を前記所定値以下に低減させ、
前記合図動作制御手段は、前記画像処理手段により前記眼カメラの画像から前記正面顔の人物が予め設定された時間を超えて検出されたとき、当該人物に合図を送ることを特徴とするコミュニケーションロボット。 A head imitating the face; a torso supporting the head; a head control means for rotating the head so as to swing the head against the torso; and a cue motion control means for signaling establishment of communication A communication robot having
An eye camera corresponding to the eye provided on the head;
A wide-field camera for photographing a wide area provided in the trunk,
Image processing means for processing images of the eye camera and the wide-field camera;
With
The image processing means detects a person from the image of the wide-field camera and detects a person with a front face facing the robot from the image of the eye camera when the rotational speed of the head is a predetermined value or less. ,
The head control means performs a look-around operation for rotating the head at a predetermined speed with respect to the torso, and at the position where the image processing means detects a person from the image of the wide-field camera. The rotation speed is reduced below the predetermined value,
The cue motion control means sends a cue to the person when the person of the front face is detected from the image of the eye camera beyond a preset time by the image processing means. .
前記胴部に設けられた広域を撮影する広視野カメラと、
前記広視野カメラの画像を処理する画像処理手段と、
を備え、
前記画像処理手段は、前記広視野カメラの画像から人物を検出するとともに、前記広視野カメラの画像からロボットに顔を向ける正面顔の人物を検出し、
前記頭部制御手段は、前記胴部に対して前記頭部を所定速度で回転させる見回り動作を行いながら、前記画像処理手段が前記広視野カメラの画像から人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させ、
前記合図動作制御手段は、前記画像処理手段により、前記広視野カメラの画像に含まれる、回転速度が前記所定値以下に低減した前記頭部の顔前方の画像領域から、前記正面顔の人物が予め設定された時間を超えて検出されたとき、当該人物に合図を送ることを特徴とするコミュニケーションロボット。 A head imitating the face; a torso supporting the head; a head control means for rotating the head so as to swing the head against the torso; and a cue motion control means for signaling establishment of communication A communication robot having
A wide-field camera for photographing a wide area provided in the trunk,
Image processing means for processing the image of the wide-field camera;
With
The image processing means detects a person from the image of the wide-field camera, detects a person with a front face facing the robot from the image of the wide-field camera,
The head control means performs a look-around operation for rotating the head at a predetermined speed with respect to the torso, and at the position where the image processing means detects a person from the image of the wide-field camera. The rotational speed of
The cue motion control means detects the person of the front face from the image area in front of the head face whose rotation speed is reduced to the predetermined value or less included in the image of the wide-field camera by the image processing means. A communication robot characterized by sending a signal to a person when it is detected exceeding a preset time.
前記胴部に設けられた広視野カメラの画像から人物を検出するステップと、
前記胴部に対して前記頭部を所定速度で回転する見回り動作を行いながら、前記人物を検出した位置で、前記頭部の回転速度を所定値以下に低減させるステップと、
前記頭部の回転速度が前記所定値以下に低減したとき、前記頭部に設けられた眼カメラの画像、または、前記広視野カメラの画像に含まれる前記頭部の顔前方の画像領域からロボットに顔を向ける正面顔の人物を検出するステップと、
前記正面顔の人物が予め設定された時間を超えてロボットに顔を向けているとき、当該人物に合図を送るステップと、
を備えることを特徴とするコミュニケーションロボットの動作方法。 A head imitating the face; a torso supporting the head; a head control means for rotating the head so as to swing the head against the torso; and a cue motion control means for signaling establishment of communication An operation method of a communication robot having
Detecting a person from an image of a wide-field camera provided in the trunk;
Reducing the rotational speed of the head to a predetermined value or less at a position where the person is detected while performing a look-around operation for rotating the head at a predetermined speed with respect to the torso;
When the rotational speed of the head is reduced to the predetermined value or less, the robot starts from the image area of the front of the head included in the image of the eye camera provided in the head or the image of the wide-field camera. Detecting a person with a front face facing the face,
Sending a signal to the person when the front face person faces the robot over a preset time; and
A method for operating a communication robot, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007213775A JP4949969B2 (en) | 2007-08-20 | 2007-08-20 | Communication robot and its operation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007213775A JP4949969B2 (en) | 2007-08-20 | 2007-08-20 | Communication robot and its operation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009045692A true JP2009045692A (en) | 2009-03-05 |
| JP4949969B2 JP4949969B2 (en) | 2012-06-13 |
Family
ID=40498402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007213775A Expired - Fee Related JP4949969B2 (en) | 2007-08-20 | 2007-08-20 | Communication robot and its operation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4949969B2 (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102848388A (en) * | 2012-04-05 | 2013-01-02 | 上海大学 | Service robot locating and grabbing method based on multiple sensors |
| WO2013114493A1 (en) * | 2012-02-03 | 2013-08-08 | 日本電気株式会社 | Communication draw-in system, communication draw-in method, and communication draw-in program |
| CN106041947A (en) * | 2016-06-07 | 2016-10-26 | 河南摩西机械制造有限公司 | Security robot |
| JP2017164854A (en) * | 2016-03-17 | 2017-09-21 | カシオ計算機株式会社 | Robot and program |
| WO2017175360A1 (en) * | 2016-04-07 | 2017-10-12 | 株式会社日立製作所 | Control system and control device |
| JPWO2017169826A1 (en) * | 2016-03-28 | 2018-04-12 | Ｇｒｏｏｖｅ Ｘ株式会社 | Autonomous robot that welcomes you |
| CN108177146A (en) * | 2017-12-28 | 2018-06-19 | 北京奇虎科技有限公司 | Control method, device and the computing device of robot head |
| JP2018117341A (en) * | 2017-01-17 | 2018-07-26 | 株式会社コルグ | Mobile body and program |
| CN108972518A (en) * | 2018-09-19 | 2018-12-11 | 山东金惠新达智能制造科技有限公司 | A kind of suspension type crusing robot push-botton operation manipulator and robot |
| JP2019087175A (en) * | 2017-11-10 | 2019-06-06 | 日本電信電話株式会社 | Action condition estimation apparatus, action condition estimation method and program thereof |
| CN109927025A (en) * | 2017-12-18 | 2019-06-25 | 广州供电局有限公司 | Patrol dimension robot control method, device, computer equipment and storage medium |
| JP2019185634A (en) * | 2018-04-17 | 2019-10-24 | 株式会社エクサウィザーズ | Coaching assistance device and program |
| WO2020057203A1 (en) * | 2018-09-21 | 2020-03-26 | 中新智擎科技有限公司 | Security inspection robot and security inspection method |
| JP2022048184A (en) * | 2019-04-24 | 2022-03-25 | セコム株式会社 | Monitoring and display device |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107856039B (en) * | 2017-11-16 | 2020-06-05 | 北京科技大学 | Old-age care service robot system and old-age care method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001300874A (en) * | 2000-04-25 | 2001-10-30 | Casio Comput Co Ltd | Robot device and program recording medium therefor |
| JP2004209599A (en) * | 2002-12-27 | 2004-07-29 | Sony Corp | Robot device, action learning method for robot device and action preparation method for robot device |
| JP2006123136A (en) * | 2004-11-01 | 2006-05-18 | Advanced Telecommunication Research Institute International | Communication robot |
| JP2006247780A (en) * | 2005-03-10 | 2006-09-21 | Advanced Telecommunication Research Institute International | Communication robot |
| JP2006272471A (en) * | 2005-03-28 | 2006-10-12 | Advanced Telecommunication Research Institute International | Communication robot |
-
2007
- 2007-08-20 JP JP2007213775A patent/JP4949969B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001300874A (en) * | 2000-04-25 | 2001-10-30 | Casio Comput Co Ltd | Robot device and program recording medium therefor |
| JP2004209599A (en) * | 2002-12-27 | 2004-07-29 | Sony Corp | Robot device, action learning method for robot device and action preparation method for robot device |
| JP2006123136A (en) * | 2004-11-01 | 2006-05-18 | Advanced Telecommunication Research Institute International | Communication robot |
| JP2006247780A (en) * | 2005-03-10 | 2006-09-21 | Advanced Telecommunication Research Institute International | Communication robot |
| JP2006272471A (en) * | 2005-03-28 | 2006-10-12 | Advanced Telecommunication Research Institute International | Communication robot |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9662788B2 (en) | 2012-02-03 | 2017-05-30 | Nec Corporation | Communication draw-in system, communication draw-in method, and communication draw-in program |
| WO2013114493A1 (en) * | 2012-02-03 | 2013-08-08 | 日本電気株式会社 | Communication draw-in system, communication draw-in method, and communication draw-in program |
| CN104093527A (en) * | 2012-02-03 | 2014-10-08 | 日本电气株式会社 | Communication draw-in system, communication draw-in method, and communication draw-in program |
| JPWO2013114493A1 (en) * | 2012-02-03 | 2015-05-11 | 日本電気株式会社 | Communication pull-in system, communication pull-in method and communication pull-in program |
| CN102848388A (en) * | 2012-04-05 | 2013-01-02 | 上海大学 | Service robot locating and grabbing method based on multiple sensors |
| JP2017164854A (en) * | 2016-03-17 | 2017-09-21 | カシオ計算機株式会社 | Robot and program |
| JPWO2017169826A1 (en) * | 2016-03-28 | 2018-04-12 | Ｇｒｏｏｖｅ Ｘ株式会社 | Autonomous robot that welcomes you |
| US11135727B2 (en) | 2016-03-28 | 2021-10-05 | Groove X, Inc. | Autonomously acting robot that performs a greeting action |
| WO2017175360A1 (en) * | 2016-04-07 | 2017-10-12 | 株式会社日立製作所 | Control system and control device |
| JPWO2017175360A1 (en) * | 2016-04-07 | 2018-06-07 | 株式会社日立製作所 | Control system and control device |
| CN106041947A (en) * | 2016-06-07 | 2016-10-26 | 河南摩西机械制造有限公司 | Security robot |
| JP2018117341A (en) * | 2017-01-17 | 2018-07-26 | 株式会社コルグ | Mobile body and program |
| JP2019087175A (en) * | 2017-11-10 | 2019-06-06 | 日本電信電話株式会社 | Action condition estimation apparatus, action condition estimation method and program thereof |
| CN109927025A (en) * | 2017-12-18 | 2019-06-25 | 广州供电局有限公司 | Patrol dimension robot control method, device, computer equipment and storage medium |
| CN108177146A (en) * | 2017-12-28 | 2018-06-19 | 北京奇虎科技有限公司 | Control method, device and the computing device of robot head |
| JP2019185634A (en) * | 2018-04-17 | 2019-10-24 | 株式会社エクサウィザーズ | Coaching assistance device and program |
| CN108972518A (en) * | 2018-09-19 | 2018-12-11 | 山东金惠新达智能制造科技有限公司 | A kind of suspension type crusing robot push-botton operation manipulator and robot |
| WO2020057203A1 (en) * | 2018-09-21 | 2020-03-26 | 中新智擎科技有限公司 | Security inspection robot and security inspection method |
| JP2022048184A (en) * | 2019-04-24 | 2022-03-25 | セコム株式会社 | Monitoring and display device |
| JP7356524B2 (en) | 2019-04-24 | 2023-10-04 | セコム株式会社 | monitoring display device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4949969B2 (en) | 2012-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4949969B2 (en) | Communication robot and its operation method | |
| JP4599522B2 (en) | Communication robot | |
| JP5186723B2 (en) | Communication robot system and communication robot gaze control method | |
| JP4512830B2 (en) | Communication robot | |
| WO2016170808A1 (en) | Moving body control system, control method, and storage medium | |
| US20120259638A1 (en) | Apparatus and method for determining relevance of input speech | |
| KR20070029794A (en) | A method and a system for communication between a user and a system | |
| JP2009166184A (en) | Guide robot | |
| JP2004216513A (en) | Communication robot | |
| JP2006272471A (en) | Communication robot | |
| WO2020115972A1 (en) | Information processing apparatus, information processing method and program | |
| JPWO2019155735A1 (en) | Information processing equipment, information processing methods and programs | |
| CN107133609B (en) | Man-machine communication robot and control method thereof | |
| JP2007156689A (en) | Light source position detection device and face recognition device using the same and self-propelled robot | |
| JP2007130691A (en) | Communication robot | |
| JP4793904B2 (en) | Communication robot system and communication robot | |
| JP2004034274A (en) | Conversation robot and its operation method | |
| JP2004042151A (en) | Communication robot | |
| JP7106097B2 (en) | telepresence system | |
| JP6686583B2 (en) | Robots and programs | |
| JP4831750B2 (en) | Communication trigger system | |
| JP5219535B2 (en) | Autonomous mobile wheelchair | |
| JP2007125646A (en) | Communication robot | |
| JP2006263874A (en) | Communication robot | |
| JP2005292972A (en) | Object recognizing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111024 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120308 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4949969 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |