JP2019021166A - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP2019021166A
JP2019021166A JP2017140636A JP2017140636A JP2019021166A JP 2019021166 A JP2019021166 A JP 2019021166A JP 2017140636 A JP2017140636 A JP 2017140636A JP 2017140636 A JP2017140636 A JP 2017140636A JP 2019021166 A JP2019021166 A JP 2019021166A
Authority
JP
Japan
Prior art keywords
person
guidance
information
partner
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017140636A
Other languages
Japanese (ja)
Other versions
JP6993802B2 (en
Inventor
隆則 坂口
Takanori Sakaguchi
隆則 坂口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Signal Co Ltd
Original Assignee
Nippon Signal Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Signal Co Ltd filed Critical Nippon Signal Co Ltd
Priority to JP2017140636A priority Critical patent/JP6993802B2/en
Publication of JP2019021166A publication Critical patent/JP2019021166A/en
Application granted granted Critical
Publication of JP6993802B2 publication Critical patent/JP6993802B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

To decide a person more likely to desire information transmission as an opponent of the information transmission.SOLUTION: A person image recognition unit 104 is configured to recognize image information on a person to be included in images taken by an imaging unit 103, and a directional relationship identification unit 105 is configured to identify a directional relationship between the person and an own self (a guide robot 1) on the basis of the image information on the person recognized by the person image recognition unit 104. A distance identification unit 106 is configured to identify a distance between the person recognized from the taken image and a self-robot. A guide opponent identification 107 is configured to determine whether the person having the directional relationship and the distance to the person identified is a guide opponent on the basis of the directional relationship identified by the directional relationship identification unit 105 and the distance to the person identified by the distance identification unit 106.SELECTED DRAWING: Figure 3

Description

本発明は、情報を発信する技術に関する。   The present invention relates to a technique for transmitting information.

情報を発信する技術として、特許文献１には、話者から話された会話の始まりを意味する特定の音声を認識し、音源方向推定により話者の方向を検出し、検出した話者方向に移動し、移動後にカメラから入力された画像から人物の顔を検出し、顔が検出された場合に対話処理を行う技術が開示されている。   As a technique for transmitting information, Patent Document 1 recognizes a specific voice that means the start of a conversation spoken by a speaker, detects the direction of the speaker by estimating a sound source direction, and detects the direction of the detected speaker. A technique is disclosed that moves, detects a person's face from an image input from a camera after the movement, and performs interactive processing when the face is detected.

特開２００６−２５１２６６号公報JP 2006-251266 A

例えば駅の改札周辺等の人が大勢通る場所において特定の人に向けて情報発信を行う場合、大勢の人の中から誰を情報発信の相手とするかを決めなければならない。特許文献１の技術では、話しかけてきた相手を情報発信の相手として決定しているが、雑踏の中では相手の声が認識しにくい場合がある。また、単に近くにいる人を情報発信の相手として決定することも考えられるが、それでは近くを通り過ぎるだけの人が情報発信の相手として決定されることが起こり得る。
本発明は、上記の背景に鑑み、情報発信を望んでいる可能性がより高い人物を情報発信の相手として決定することを目的とする。 For example, when information is transmitted to a specific person in a place where many people pass, such as around a ticket gate of a station, it is necessary to determine who is the information transmission partner from the large number of people. In the technology of Patent Document 1, the other party who is talking is determined as the other party to whom information is transmitted. In addition, it is conceivable that a person who is nearby is determined as an information transmission partner. However, it is possible that a person who only passes nearby is determined as an information transmission partner.
In view of the above background, an object of the present invention is to determine a person who is more likely to desire information transmission as an information transmission partner.

上述した課題を解決するために、本発明は、撮影した画像に含まれる人物の画像情報を認識し、認識した前記人物の画像情報に基づいて前記人物と自己との向きの関係を特定し、前記関係に基づいて前記人物を情報の発信相手とするか否かを決定する画像処理装置を第１の態様として提供する。   In order to solve the above-described problem, the present invention recognizes image information of a person included in a photographed image, specifies the relationship between the person and self based on the recognized image information of the person, An image processing apparatus that determines whether or not the person is an information transmission partner based on the relationship is provided as a first aspect.

第１の態様の画像処理装置によれば、人物と自己との向きの関係に関係なく発信相手の可否を決定する場合に比べて、情報発信を望んでいる可能性がより高い人物を情報発信の相手として決定することができる。   According to the image processing apparatus of the first aspect, information is transmitted to a person who is more likely to desire information transmission than in the case of determining whether or not a transmission partner is available regardless of the relationship between the direction of the person and himself / herself. Can be determined as an opponent.

上記の第１の態様の画像処理装置において、前記人物の向きと前記人物から自己に向かう方向との乖離度に基づいて前記人物を情報の発信相手とするか否か決定する、という構成が第２の態様として採用されてもよい。   In the image processing apparatus according to the first aspect, the configuration is such that it is determined whether or not the person is the information transmission partner based on the degree of deviation between the direction of the person and the direction from the person toward the person. It may be adopted as the second aspect.

第２の態様の画像処理装置によれば、自己に注目している人物を情報発信の相手として決定することができる。   According to the image processing apparatus of the second aspect, a person who is paying attention to himself / herself can be determined as an information transmission partner.

上記の第１又は第２の態様の画像処理装置において、自己の向きと自己から前記人物に向かう方向との乖離度に基づいて前記人物を情報の発信相手とするか否か決定する、という構成が第３の態様として採用されてもよい。   In the image processing apparatus according to the first or second aspect, the configuration is such that it is determined whether or not the person is the information transmission partner based on a degree of deviation between the direction of the person and the direction from the person toward the person. May be employed as the third aspect.

第３の態様の画像処理装置によれば、自己を正面から見ようとしている人物を情報発信の相手として決定することができる。   According to the image processing apparatus of the third aspect, a person who is looking at himself from the front can be determined as an information transmission partner.

上記の第１から第３のいずれか１の態様の画像処理装置において、自己は回転の動き又は首振りの動きが可能であり、前記撮影を継続して行い、前記動きをしつつ音及び光の少なくとも一方を出力し、当該出力の前後における前記画像から前記画像情報を認識した前記人物についての前記向きの関係の変化に基づいて前記人物を情報の発信相手とするか否か決定する、という構成が第４の態様として採用されてもよい。   In the image processing apparatus according to any one of the first to third aspects, the self can be rotated or swung, and continuously performs the photographing, and the sound and light while moving. And determining whether or not to make the person an information transmission partner based on a change in the orientation relationship of the person who has recognized the image information from the images before and after the output. A configuration may be employed as the fourth aspect.

第４の態様の画像処理装置によれば、自己に気付いた人物を情報発信の相手として決定することができる。   According to the image processing apparatus of the fourth aspect, it is possible to determine a person who has noticed himself as an information transmission partner.

上記の第１から第４のいずれか１の態様の画像処理装置において、発信相手とした人物の特徴情報を前記画像から取得し、過去に取得した特徴情報に基づき、新たに認識した人物が過去に発信相手とした人物であるか否かを判定し、当該判定の結果に基づいて当該人物を情報の発信相手とするか否か決定する、という構成が第５の態様として採用されてもよい。   In the image processing apparatus according to any one of the first to fourth aspects described above, the feature information of the person who is the caller is acquired from the image, and the newly recognized person is past based on the feature information acquired in the past. A configuration may be adopted as a fifth aspect in which it is determined whether or not the person is a person who is a caller, and whether or not the person is a caller of information is determined based on the determination result. .

第５の態様の画像処理装置によれば、情報発信がまだされていない人物が他の人物に比べて情報発信の相手として決定されやすくすることができる。   According to the image processing apparatus of the fifth aspect, it is possible to make it easier for a person who has not yet transmitted information to be determined as an information transmission partner than other persons.

上記の第１から第５のいずれか１の態様の画像処理装置において、前記撮影を継続して行い、前記人物が前記画像に写っている時間に基づいて前記人物を情報の発信相手とするか否か決定する、という構成が第６の態様として採用されてもよい。   In the image processing apparatus according to any one of the first to fifth aspects described above, is the photographing continuously performed, and whether the person is the information transmission partner based on the time the person is in the image? The configuration of determining whether or not may be adopted as the sixth aspect.

第６の態様の画像処理装置によれば、人物が画像に写っている時間を用いない場合に比べて、自己から離れた人物でも情報発信の相手として決定されやすいようにすることができる。   According to the image processing apparatus of the sixth aspect, it is possible to make it easier for a person away from the person to be determined as an information transmission partner as compared with a case where the time when the person is in the image is not used.

上記の第１から第６のいずれか１の態様の画像処理装置において、前記画像から認識した人物と自己との距離に基づいて前記人物を情報の発信相手とするか否か決定する、という構成が第７の態様として採用されてもよい。   In the image processing apparatus according to any one of the first to sixth aspects described above, the determination is made as to whether or not the person is the information transmission partner based on the distance between the person recognized from the image and the self. May be employed as the seventh aspect.

第７の態様の画像処理装置によれば、自己に近づいてくる人物が他の人物に比べて情報発信の相手として決定されやすくすることができる。   According to the image processing apparatus of the seventh aspect, it is possible to make it easier for a person approaching to himself / herself to be determined as an information transmission partner than other persons.

上記の第１から第７のいずれか１の態様の画像処理装置において、前記撮影を継続して行い、前記発信相手として決定した人物に前記情報の発信を開始した後、当該人物に関し新たに特定した前記向きの関係に基づき前記情報の発信を終了する、という構成が第８の態様として採用されてもよい。   In the image processing apparatus according to any one of the first to seventh aspects, after the shooting is continuously performed and the transmission of the information to the person determined as the transmission partner is started, the person is newly specified. A configuration in which transmission of the information is terminated based on the orientation relationship may be adopted as the eighth aspect.

第８の態様の画像処理装置によれば、情報発信の相手の自己への関心が失われたときに情報発信を終了することができる。   According to the image processing apparatus of the eighth aspect, the information transmission can be terminated when the interest of the information transmission partner is lost.

上記の第１から第８のいずれか１の態様の画像処理装置において、前記撮影を継続して行い、前記発信相手として決定した人物に前記情報の発信を開始した後、当該人物の画像情報が認識されなくなった場合に前記情報の発信を終了する、という構成が第９の態様として採用されてもよい。   In the image processing apparatus according to any one of the first to eighth aspects, after the shooting is continuously performed and the transmission of the information to the person determined as the transmission partner is started, the image information of the person is A configuration in which the transmission of the information is terminated when it is no longer recognized may be adopted as the ninth aspect.

第９の態様の画像処理装置によれば、情報発信の相手が自己の前からいなくなったときに情報発信を終了することができる。   According to the image processing apparatus of the ninth aspect, the information transmission can be ended when the information transmission partner is no longer in front of itself.

上記の第１から第９のいずれか１の態様の画像処理装置において、前記発信相手として決定した人物に前記情報の発信を開始した後、収集した音から音声を認識し、認識した音声に基づき前記情報の発信を終了する、という構成が第１０の態様として採用されてもよい。   In the image processing apparatus according to any one of the first to ninth aspects described above, after starting the transmission of the information to the person determined as the transmission partner, the voice is recognized from the collected sound, and based on the recognized voice A configuration of terminating the transmission of the information may be adopted as the tenth aspect.

第１０の態様の画像処理装置によれば、発信相手が音声で情報発信を終了させることができる。   According to the image processing apparatus of the tenth aspect, the transmission partner can end the information transmission by voice.

実施例に係る案内ロボットの外観を表す図The figure showing the external appearance of the guidance robot which concerns on an Example 案内ロボットのハードウェア構成を表す図Diagram showing hardware configuration of guidance robot 制御装置が実現する機能構成を表す図The figure showing the functional composition which a control device realizes 撮影範囲の一例を表す図Diagram showing an example of shooting range 撮影された画像の一例を表す図A figure showing an example of a photographed image ３次元座標系で表された人物の向きの一例を表す図The figure showing an example of the direction of the person represented by the three-dimensional coordinate system 特定された人物方向の一例を表す図A figure showing an example of the specified person direction 特定された第１の向き関係の例を表す図The figure showing the example of the specified 1st orientation relationship 特定された第２の向き関係の例を表す図The figure showing the example of the specified 2nd orientation relationship 特定された人物距離の一例を表す図A figure showing an example of the specified person distance ポイントテーブルの一例を表す図Diagram showing an example of the point table 制御装置の動作手順の一例を表す図The figure showing an example of the operation procedure of a control device 変形例の制御装置の動作手順の一例を表す図The figure showing an example of the operation | movement procedure of the control apparatus of a modification 係数テーブルの一例を表す図Diagram showing an example of coefficient table

［１］実施例
図１は実施例に係る案内ロボット１の外観を表す。案内ロボット１は、情報を発信したり、目的地まで移動したりすることで、人々を案内するロボットである。本実施例では、案内ロボット１は、駅に設置され、駅の利用客に対して電車のダイヤ、運行状況及び駅の内部の施設等の情報を発信し、また、目的地までの道案内を行う。 [1] Embodiment FIG. 1 shows an appearance of a guide robot 1 according to an embodiment. The guide robot 1 is a robot that guides people by transmitting information or moving to a destination. In this embodiment, the guidance robot 1 is installed at a station, and transmits information such as train schedules, operation conditions, and facilities inside the station to station users, and also provides directions to the destination. Do.

案内ロボット１は、頭部２と、胸部３と、腹部４と、座部５とを備える。頭部２は、人間の頭部を模した部分であり、Ｉ／Ｆ部６（Ｉ／Ｆ：Interface）を備える。頭部２は、概ね球体の形をしており、その球体のうちＩ／Ｆ部６が設けられた部分を削り取られた形をしている。Ｉ／Ｆ部６は、実世界との間で情報をやり取りするインターフェースであり、画像の表示、音又は光の出力、画像の撮影及び集音等を行う。   The guide robot 1 includes a head 2, a chest 3, an abdomen 4, and a seat 5. The head 2 is a part imitating a human head and includes an I / F unit 6 (I / F: Interface). The head 2 is generally in the shape of a sphere, and a portion of the sphere that is provided with the I / F portion 6 is cut off. The I / F unit 6 is an interface that exchanges information with the real world, and performs image display, sound or light output, image shooting, sound collection, and the like.

Ｉ／Ｆ部６は、人間の顔のように、頭部２の一方を向いている。そのため、案内ロボット１においては、Ｉ／Ｆ部６が向いている方向が正面方向Ａ１として認識される。正面方向Ａ１は、案内ロボット１の前方を示す方向である。胸部３は、頂点側が切り取られた円錐の形をしており、その切り取られた部分に頭部２が載せられている。頭部２は、胸部３により回転可能に支持されている。   The I / F unit 6 faces one side of the head 2 like a human face. Therefore, in the guidance robot 1, the direction in which the I / F unit 6 faces is recognized as the front direction A1. The front direction A1 is a direction indicating the front of the guidance robot 1. The chest 3 has a conical shape with the apex side cut off, and the head 2 is placed on the cut-out portion. The head 2 is rotatably supported by the chest 3.

腹部４は、頂点側が斜めに切り取られた（そしてやや丸みを帯びた）円錐の形をしており、その切り取られた部分に胸部３が載せられている。胸部３は、腹部４により回転可能に支持されている。頭部２及び胸部３が回転することで、人間が顔の向きを変えるように、正面方向Ａ１の向きを変えられるようになっている。また、座部５は、モータと、鉛直下方側に露出する車輪とを有しており、車輪を回転させて移動することができる。   The abdomen 4 has a conical shape whose apex side is cut off obliquely (and slightly rounded), and the chest 3 is placed on the cut off part. The chest 3 is rotatably supported by the abdomen 4. By rotating the head 2 and the chest 3, the direction of the front direction A1 can be changed so that a human changes the direction of the face. Moreover, the seat part 5 has a motor and the wheel exposed to the perpendicular downward side, and can move it by rotating a wheel.

図２は案内ロボット１のハードウェア構成を表す。案内ロボット１は、制御装置１１と、記憶装置１２と、通信装置１３と、操作表示装置１４と、撮影装置１５と、距離センサ１６と、音処理装置１７と、発光装置１８と、走行装置１９と、回転装置２０とを備える。制御装置１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等を有するコンピュータであり、ＲＡＭをワークエリアとしてＲＯＭ等に記憶されたプログラムを実行して、各装置を制御する。   FIG. 2 shows a hardware configuration of the guidance robot 1. The guidance robot 1 includes a control device 11, a storage device 12, a communication device 13, an operation display device 14, a photographing device 15, a distance sensor 16, a sound processing device 17, a light emitting device 18, and a traveling device 19. And a rotating device 20. The control device 11 is a computer having a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc., and executes a program stored in the ROM or the like using the RAM as a work area. Control the device.

記憶装置１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリ等の記憶手段であり、制御装置１１が制御に用いるデータ及びプログラム等を記憶している。通信装置１３は、移動体通信又は無線ＬＡＮ（Local Area Network）通信等の無線通信を行う通信回路を有し、外部装置と無線通信を行う。操作表示装置１４は、表示手段であるディスプレイと、操作手段であるタッチパネル（ディスプレイの表面に設けられている）とを備え、画像を表示すると共に、利用者からの操作を受け付ける。   The storage device 12 is a storage means such as a hard disk drive (HDD), a solid state drive (SSD), or a flash memory, and stores data, programs, and the like used for control by the control device 11. The communication device 13 includes a communication circuit that performs wireless communication such as mobile communication or wireless LAN (Local Area Network) communication, and performs wireless communication with an external device. The operation display device 14 includes a display as a display unit and a touch panel (provided on the surface of the display) as an operation unit, displays an image and receives an operation from a user.

撮影装置１５は、レンズ及びイメージセンサ等を備え、レンズから入射する光が表す光景を撮影し、撮影した光景を示す画像を生成する。距離センサ１６は、例えば超音波又は電磁波を発信及び受信する素子を有し、発信した超音波又は電磁波が物体で反射して受信されるまでの時間からその物体までの距離を検出する。なお、距離センサ１６は、通常は超音波を発信し、状況により電磁波を発信してもよい。音処理装置１７は、スピーカ及びマイクロフォン等を有し、音を出力したり（音を発したり）、音を収集したりする。   The photographing device 15 includes a lens, an image sensor, and the like, photographs a scene represented by light incident from the lens, and generates an image indicating the photographed scene. The distance sensor 16 includes an element that transmits and receives ultrasonic waves or electromagnetic waves, for example, and detects the distance from the time until the transmitted ultrasonic waves or electromagnetic waves are reflected and received by the object to the object. Note that the distance sensor 16 normally transmits ultrasonic waves and may transmit electromagnetic waves depending on the situation. The sound processing device 17 includes a speaker, a microphone, and the like, and outputs sound (generates sound) or collects sound.

発光装置１８は、ＬＥＤ（Light Emitting Diode）等を有し、制御装置１１からの制御信号に基づいて光を出力する（光を発する）。走行装置１９は、走行用モータ、車輪及び操舵用モータ等を有し、制御装置１１からの制御信号に基づいて車輪を回転させて案内ロボット１を走行させる。走行装置１９は、例えば車輪の回転方向を左右で反対にしたり、舵角を大きくしたりすることで、案内ロボット１を回転させることもできる。これを「回転の動き」という。回転装置２０は、モータ等を有し、頭部２及び胸部３を回転させてＩ／Ｆ部６の向き、すなわち正面方向Ａ１の向きを変化させる。このときの頭部２の動きが首を振っているように見えるので、これを「首振りの動き」という。   The light emitting device 18 includes an LED (Light Emitting Diode) or the like, and outputs light (emits light) based on a control signal from the control device 11. The traveling device 19 includes a traveling motor, wheels, a steering motor, and the like, and rotates the wheels based on a control signal from the control device 11 to cause the guide robot 1 to travel. The traveling device 19 can also rotate the guide robot 1 by, for example, reversing the rotation direction of the wheels on the left and right or increasing the rudder angle. This is called “rotational movement”. The rotating device 20 includes a motor and the like, and rotates the head 2 and the chest 3 to change the direction of the I / F unit 6, that is, the direction of the front direction A1. Since the movement of the head 2 at this time appears to be shaking the head, this is referred to as “swing movement”.

制御装置１１がプログラムを実行することで、以下に述べる機能が実現される。
図３は制御装置１１が実現する機能構成を表す。制御装置１１は、音出力部１０１と、光出力部１０２と、撮影部１０３と、人物画像認識部１０４と、向き関係特定部１０５と、距離特定部１０６と、案内相手決定部１０７と、案内済判定部１０８と、案内動作部１１０と、音収集部１２１と、音声認識部１２２と、案内終了判断部１２３とを備える。 The functions described below are realized by the control device 11 executing the program.
FIG. 3 shows a functional configuration realized by the control device 11. The control device 11 includes a sound output unit 101, a light output unit 102, a photographing unit 103, a person image recognition unit 104, an orientation relationship specifying unit 105, a distance specifying unit 106, a guidance partner determining unit 107, a guidance An end determination unit 108, a guidance operation unit 110, a sound collection unit 121, a voice recognition unit 122, and a guidance end determination unit 123.

音出力部１０１は、定められた音を出力する。音出力部１０１は、例えば、自ロボットが案内を行っていない場合に、一定時間が経過すると、自ロボットに回転の動き及び首振りの動きのいずれか一方又は両方をさせつつ、案内を呼びかける音声（「駅構内の案内はいかがですか」など）を出力する。音出力部１０１は、音を出力する前に、音を出力する旨を撮影部１０３に通知する。   The sound output unit 101 outputs a predetermined sound. For example, the sound output unit 101 is a voice that calls for guidance while causing the robot to perform one or both of rotational movement and swinging movement when a certain time has elapsed when the robot has not performed guidance. ("How about the information on the station?") Is output. The sound output unit 101 notifies the photographing unit 103 that a sound is to be output before outputting the sound.

光出力部１０２は、定められた光を出力する。光出力部１０２は、例えば、自ロボットが案内を行っていない場合に、一定時間が経過すると、自ロボットに回転の動き及び首振りの動きのいずれか一方又は両方をさせつつ、ＬＥＤを一定の回数だけ点滅させる。光出力部１０２は、光を出力する前に、光を出力する旨を撮影部１０３に通知する。音出力部１０１による音の出力及び光出力部１０２による光の出力は、自ロボットの存在を周囲の人物に気付いてもらうために行われる。撮影部１０３は、自ロボットの周辺の光景を継続して撮影する。撮影部１０３は、本実施例では、自ロボットの正面方向Ａ１側の定められた範囲（撮影範囲）の光景を撮影する。   The light output unit 102 outputs predetermined light. For example, when the robot is not guiding, the light output unit 102, when a certain time has elapsed, causes the robot to perform a certain one or both of the rotational movement and the swinging movement while keeping the LED constant. Flashes the number of times. The light output unit 102 notifies the photographing unit 103 that light is output before outputting light. The sound output by the sound output unit 101 and the light output by the light output unit 102 are performed in order for the surrounding person to notice the presence of the robot. The photographing unit 103 continuously photographs a scene around the robot. In this embodiment, the photographing unit 103 photographs a scene in a predetermined range (photographing range) on the front direction A1 side of the robot.

図４は撮影範囲の一例を表す。図４では、鉛直上方から見た頭部２が表されている。Ｉ／Ｆ部６には、撮影装置１５が備えるレンズ１５１が設けられている。撮影部１０３は、レンズ１５１から正面方向Ａ１を中心とした画角θ１の範囲を撮影範囲として撮影する。なお、画角の境界に沿った方向のうち、レンズ１５１から見て右側を右境界方向Ａ２といい、左側を左境界方向Ａ３というものとする。撮影部１０３は、例えば決められた時間間隔で継続して撮影を行い、撮影する度に、撮影した光景を示す画像を人物画像認識部１０４に供給する。   FIG. 4 shows an example of the photographing range. In FIG. 4, the head 2 viewed from above is shown. The I / F unit 6 is provided with a lens 151 included in the photographing device 15. The photographing unit 103 photographs the range of the angle of view θ1 centered on the front direction A1 from the lens 151 as a photographing range. Of the directions along the boundary of the angle of view, the right side when viewed from the lens 151 is referred to as a right boundary direction A2, and the left side is referred to as a left boundary direction A3. The imaging unit 103 continuously performs imaging at a predetermined time interval, for example, and supplies an image showing the captured scene to the human image recognition unit 104 every time imaging is performed.

人物画像認識部１０４は、撮影部１０３により撮影された画像に含まれる人物の画像情報を認識する。人物の画像情報には、例えば、人物を表す各画素の座標情報と、各画素の色情報及び輝度情報とが含まれる。人物画像認識部１０４は、例えば周知の画像認識技術を用いて、供給された画像から特徴量（ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量及びＨＯＧ（Histograms of Oriented Gradients）特徴量等）を算出し、汎用的な人物のパターン画像の特徴量と比較して、一致したものを人物として認識する。   The person image recognition unit 104 recognizes image information of a person included in the image photographed by the photographing unit 103. The person image information includes, for example, coordinate information of each pixel representing the person, color information and luminance information of each pixel. The human image recognition unit 104 calculates a feature amount (SIFT (Scale-Invariant Feature Transform) feature amount, HOG (Histograms of Oriented Gradients) feature amount, etc.) from the supplied image using, for example, a well-known image recognition technique. Compared with the feature amount of a general-purpose person's pattern image, the matched one is recognized as a person.

図５は撮影された画像の一例を表す。図５に表す画像Ｇ１には、人物Ｃ１１〜Ｃ１８までの８人の人物が写っている。人物画像認識部１０４は、これら８人の人物の画像情報を認識すると、各人物を識別する識別子として人物ＩＤ（Identification）を発行し、発行した人物ＩＤと共に認識した画像情報を向き関係特定部１０５及び距離特定部１０６に供給する。以降の各機能では、各人物に関する情報がこの人物ＩＤによって誰の情報であるか識別されるものとする。   FIG. 5 shows an example of a photographed image. The image G1 shown in FIG. 5 includes eight persons C11 to C18. When the person image recognizing unit 104 recognizes the image information of these eight persons, the person image recognizing unit 104 issues a person ID (Identification) as an identifier for identifying each person. And supplied to the distance specifying unit 106. In the subsequent functions, it is assumed that the information regarding each person is identified by the person ID.

撮影部１０３による撮影は継続して行われるため、人物画像認識部１０４も、人物の画像情報の認識を継続して行う。その際、人物画像認識部１０４は、時間的に連続して撮影された２つの画像の両方から、算出した特徴量の類似度が閾値以上の人物を認識した場合、その人物は同一人物だとみなして、新たな人物ＩＤは発行せず、発行済みの人物ＩＤを再度用いる。こうして同一人物を別人と認識することを防止している。   Since the photographing by the photographing unit 103 is continuously performed, the person image recognition unit 104 also continuously recognizes the person's image information. At that time, if the person image recognition unit 104 recognizes a person whose similarity of the calculated feature quantity is equal to or greater than a threshold value from both of two images taken continuously in time, the person is the same person. Therefore, a new person ID is not issued and the issued person ID is used again. This prevents the same person from being recognized as another person.

向き関係特定部１０５は、人物画像認識部１０４により認識された人物の画像情報に基づいてその人物と自己（案内ロボット１）との向きの関係を特定する。以下ではこの関係を「向き関係」という。向き関係特定部１０５は、本実施例では、視線を検知する周知の技術（例えば基準点（例えば目頭）と動点（例えば虹彩）の位置関係に基づいて視線を検知する技術）を用いて、人物の画像からその人物の視線を検知して、検知した視線の方向をその人物の向きとして特定する。   The orientation relationship specifying unit 105 specifies the orientation relationship between the person and the self (guidance robot 1) based on the image information of the person recognized by the person image recognition unit 104. Hereinafter, this relationship is referred to as “direction relationship”. In this embodiment, the orientation relationship specifying unit 105 uses a well-known technique (for example, a technique for detecting a line of sight based on a positional relationship between a reference point (for example, the eye) and a moving point (for example, an iris)). The line of sight of the person is detected from the image of the person, and the direction of the detected line of sight is specified as the direction of the person.

向き関係特定部１０５は、特定した人物の向きを、例えば鉛直方向をＺ軸、正面方向Ａ１をＹ軸、それらのＹ軸及びＺ軸に直交するＸ軸により定められる３次元座標系の方向ベクトルで表す。
図６は３次元座標系で表された人物の向きの一例を表す。図６では、鉛直上方から見た案内ロボット１及び図５に表す人物Ｃ１１〜Ｃ１８と、特定された各人物の向きＤ１１〜Ｄ１８とが表されている。本実施例では、人物の向きＤ１１〜Ｄ１８は、いずれも水平方向に沿った所定の長さのベクトルであるものとする。 The orientation relationship specifying unit 105 determines the orientation of the specified person, for example, a direction vector of a three-dimensional coordinate system determined by the Z axis as the vertical direction, the Y axis as the front direction A1, and the X axis orthogonal to the Y axis and the Z axis. Represented by
FIG. 6 shows an example of the orientation of a person represented in a three-dimensional coordinate system. In FIG. 6, the guidance robot 1 viewed from vertically above, the persons C11 to C18 illustrated in FIG. 5, and the orientations D11 to D18 of each specified person are illustrated. In this embodiment, it is assumed that the person orientations D11 to D18 are all vectors having a predetermined length along the horizontal direction.

また、向き関係特定部１０５は、画像上での人物の座標（例えば人物を表す全画素の重心の位置の座標）を算出し、算出した座標に基づいて、自ロボットから見てその人物がいる方向（以下「人物方向」という）を特定する。向き関係特定部１０５は、本実施例では、図５に表すように、画像の左上を原点として、右方向をＸ軸正方向、下向きをＹ軸正方向とする座標系における座標を人物の座標として算出する。   Further, the orientation relationship specifying unit 105 calculates the coordinates of the person on the image (for example, the coordinates of the position of the center of gravity of all the pixels representing the person), and the person is seen from the robot based on the calculated coordinates. Specify the direction (hereinafter referred to as “person direction”). In this embodiment, as shown in FIG. 5, the orientation relationship specifying unit 105 uses the coordinates in the coordinate system in which the upper left corner of the image is the origin, the right direction is the X axis positive direction, and the downward direction is the Y axis positive direction. Calculate as

向き関係特定部１０５は、例えば人物の座標が画像のＸ軸方向における中心の座標であれば、正面方向Ａ１をその人物についての人物方向として特定する。また、向き関係特定部１０５は、人物の座標が画像のＸ軸方向における右端の座標であれば、図４に表した右境界方向Ａ２をその人物についての人物方向として特定し、人物の座標が画像のＸ軸方向における左端の座標であれば、図４に表した左境界方向Ａ３をその人物についての人物方向として特定する。   For example, if the coordinates of the person are the coordinates of the center in the X-axis direction of the image, the orientation relationship specifying unit 105 specifies the front direction A1 as the person direction for the person. Further, if the coordinates of the person are the coordinates of the right end in the X-axis direction of the image, the orientation relation specifying unit 105 specifies the right boundary direction A2 shown in FIG. 4 as the person direction for the person, and the person coordinates are If it is the leftmost coordinate in the X-axis direction of the image, the left boundary direction A3 shown in FIG. 4 is specified as the person direction for the person.

また、向き関係特定部１０５は、右境界方向Ａ２及び正面方向Ａ１の間と、正面方向Ａ１及び左境界方向Ａ３の間の人物方向については、例えば人物の重心のＸ座標の値と人物方向とを対応付けた方向テーブルを記憶しておき、算出した人物のＸ座標に対応付けられた人物方向を、その人物についての人物方向として特定する。各人物方向は、例えば正面方向Ａ１に対して成す角度で表される。   In addition, the orientation relation specifying unit 105 determines, for example, the value of the X coordinate of the center of gravity of the person and the person direction between the right boundary direction A2 and the front direction A1 and the person direction between the front direction A1 and the left boundary direction A3. Is stored, and the person direction associated with the calculated X coordinate of the person is specified as the person direction for the person. Each person direction is represented by an angle formed with respect to the front direction A1, for example.

図７は特定された人物方向の一例を表す。向き関係特定部１０５は、図７の例では、人物Ｃ１１〜Ｃ１８の人物方向として、人物方向Ｅ１１〜Ｅ１８を特定している。向き関係特定部１０５は、以上のとおり特定した人物の向き及び人物方向に基づいて、次の２通りの向き関係を特定する。向き関係特定部１０５は、人物の向きとその人物から自己（案内ロボット１）に向かう方向との乖離度を、第１の向き関係として特定する。ここでいう「乖離度」とは、２つの方向（向きを含む）が乖離している度合いを意味する。本実施例では、乖離度は、２つの方向が成す角度の大きさによって表される。   FIG. 7 shows an example of the specified person direction. In the example of FIG. 7, the orientation relationship specifying unit 105 specifies the person directions E11 to E18 as the person directions of the persons C11 to C18. The orientation relationship identification unit 105 identifies the following two orientation relationships based on the orientation and the orientation of the person identified as described above. The orientation relationship identifying unit 105 identifies the degree of divergence between the orientation of the person and the direction from the person toward himself (guidance robot 1) as the first orientation relationship. As used herein, the “degree of divergence” means the degree of divergence between two directions (including direction). In this embodiment, the degree of divergence is expressed by the magnitude of the angle formed by the two directions.

図７に表す人物方向の反対向きの方向は、各人物から案内ロボット１に向かう方向を表している。そこで、向き関係特定部１０５は、或る人物について特定した人物の向きと人物方向とが成す角度（本実施例における乖離度）を、第１の向き関係として特定する。
図８は特定された第１の向き関係の例を表す。向き関係特定部１０５は、人物Ｃ１１については、図８（ａ）に表すように、図６に表す人物の向きＤ１１と図７に表す人物方向Ｅ１１とが成す角度θ１１ｄを第１の向き関係として特定する。 The direction opposite to the person direction shown in FIG. 7 represents the direction from each person toward the guidance robot 1. Therefore, the orientation relationship specifying unit 105 specifies the angle (degree of divergence in the present embodiment) formed by the orientation of the person specified for a certain person and the person direction as the first orientation relationship.
FIG. 8 shows an example of the identified first orientation relationship. For the person C11, as shown in FIG. 8A, the orientation relation specifying unit 105 sets the angle θ11d formed by the person orientation D11 shown in FIG. 6 and the person direction E11 shown in FIG. 7 as the first orientation relation. Identify.

また、向き関係特定部１０５は、人物Ｃ１２については、図８（ｂ）に表すように、図６に表す人物の向きＤ１２と図７に表す人物方向Ｅ１２とが成す角度θ１２ｄを第１の向き関係として特定する。向き関係特定部１０５は、人物Ｃ１３〜Ｃ１８についても同様に第１の向き関係を特定する。   Further, as shown in FIG. 8B, the orientation relationship specifying unit 105 sets the angle θ12d formed by the person direction D12 shown in FIG. 6 and the person direction E12 shown in FIG. Identify as a relationship. The orientation relationship specifying unit 105 similarly specifies the first orientation relationship for the persons C13 to C18.

また、向き関係特定部１０５は、自己（案内ロボット１）の向きと自己からその人物に向かう方向との乖離度を、第２の向き関係として特定する。図７に表す人物方向は、案内ロボット１から人物に向かう方向を表している。そこで、向き関係特定部１０５は、或る人物について特定した人物方向と正面方向Ａ１とが成す角度（すなわち乖離度）を、第２の向き関係として特定する。   Further, the orientation relationship specifying unit 105 specifies the degree of deviation between the orientation of the self (guidance robot 1) and the direction from the self toward the person as the second orientation relationship. The person direction shown in FIG. 7 represents a direction from the guidance robot 1 toward the person. Therefore, the orientation relationship specifying unit 105 specifies the angle (that is, the degree of deviation) formed by the person direction specified for a certain person and the front direction A1 as the second orientation relationship.

図９は特定された第２の向き関係の例を表す。向き関係特定部１０５は、人物Ｃ１１については、図９（ａ）に表すように、図７に表す人物方向Ｅ１１と正面方向Ａ１とが成す角度θ１１ｅを第２の向き関係として特定する。また、向き関係特定部１０５は、人物Ｃ１２については、図９（ｂ）に表すように、図７に表す人物方向Ｅ１２と正面方向Ａ１とが成す角度θ１２ｅを第２の向き関係として特定する。   FIG. 9 shows an example of the specified second orientation relationship. For the person C11, as shown in FIG. 9A, the orientation relation specifying unit 105 specifies an angle θ11e formed by the person direction E11 and the front direction A1 shown in FIG. 7 as the second orientation relation. Further, as shown in FIG. 9B, the orientation relation specifying unit 105 specifies an angle θ12e formed by the person direction E12 and the front direction A1 shown in FIG. 7 as the second orientation relation, as shown in FIG. 9B.

向き関係特定部１０５は、人物Ｃ１３〜Ｃ１８についても同様に第２の向き関係を特定する。向き関係特定部１０５は、各人物について特定した第１及び第２の向き関係を案内相手決定部１０７に供給する。また、向き関係特定部１０５は、特定した人物方向を距離特定部１０６にも供給する。距離特定部１０６は、撮影された画像から認識された人物と自ロボットとの距離（以下「人物距離」という）を特定する。   The orientation relationship specifying unit 105 similarly specifies the second orientation relationship for the persons C13 to C18. The orientation relationship identification unit 105 supplies the first and second orientation relationships identified for each person to the guidance partner determination unit 107. In addition, the orientation relationship specifying unit 105 also supplies the specified person direction to the distance specifying unit 106. The distance specifying unit 106 specifies the distance between the person recognized from the photographed image and the robot (hereinafter referred to as “person distance”).

距離特定部１０６は、本実施例では、距離センサ１６の超音波を供給された人物方向に向けて発信させた場合に距離センサ１６が検出した距離を、その人物方向にいる人物の人物距離として特定する。
図１０は特定された人物距離の一例を表す。距離特定部１０６は、人物Ｃ１１〜Ｃ１８について、それぞれ人物距離Ｆ１１〜Ｆ１８を特定している。距離特定部１０６は、特定した人物距離を案内相手決定部１０７に供給する。 In this embodiment, the distance specifying unit 106 uses the distance detected by the distance sensor 16 when transmitting the ultrasonic waves from the distance sensor 16 in the direction of the supplied person as the person distance of the person in the person direction. Identify.
FIG. 10 shows an example of the specified person distance. The distance specifying unit 106 specifies person distances F11 to F18 for the persons C11 to C18, respectively. The distance specifying unit 106 supplies the specified person distance to the guidance partner determining unit 107.

案内相手決定部１０７は、向き関係特定部１０５により特定された向き関係（詳細には第１の向き関係及び第２の向き関係）と、距離特定部１０６により特定された人物距離とに基づいて、その向き関係及び人物距離が特定された人物を案内相手（情報発信の相手又は道案内の相手）とするか否かを決定する。第１の向き関係、第２の向き関係及び人物距離は、案内ロボット１に対する各人物の位置及び向きの相対的な関係を示す情報であり、以下では「相関情報」ともいう。   The guidance partner determining unit 107 is based on the orientation relationship specified by the orientation relationship specifying unit 105 (specifically, the first orientation relationship and the second orientation relationship) and the person distance specified by the distance specifying unit 106. Then, it is determined whether or not a person whose direction relation and person distance are specified is set as a guidance partner (information transmission partner or road guidance partner). The first orientation relationship, the second orientation relationship, and the person distance are information indicating a relative relationship between the position and orientation of each person with respect to the guidance robot 1, and are also referred to as “correlation information” below.

案内相手決定部１０７は、詳細には、供給された各相関情報（第１の向き関係、第２の向き関係及び人物距離）が示す各値に対応するポイントを付与し、その合計値に基づいて決定を行う。案内相手決定部１０７は、各相関情報の値の範囲とポイントとを対応付けたポイントテーブルを用いる。   Specifically, the guidance partner determination unit 107 gives points corresponding to the values indicated by the supplied correlation information (first orientation relationship, second orientation relationship and person distance), and based on the total value. Make a decision. The guidance partner determination unit 107 uses a point table in which the range of values of each correlation information and points are associated with each other.

図１１はポイントテーブルの一例を表す。図１１の例では、第１の向き関係については、「Ｔｈ１１未満」、「Ｔｈ１１以上Ｔｈ１２未満」、「Ｔｈ１２以上」という値の範囲に「１０」、「６」、「３」というポイントが対応付けられている。また、第２の向き関係については、「Ｔｈ２１未満」、「Ｔｈ２１以上Ｔｈ２２未満」、「Ｔｈ２２以上」という値の範囲に「７」、「４」、「２」というポイントが対応付けられ、人物距離については、「Ｔｈ３１未満」、「Ｔｈ３１以上Ｔｈ３２未満」、「Ｔｈ３２以上」という値の範囲に「３」、「２」、「１」というポイントが対応付けられている。   FIG. 11 shows an example of the point table. In the example of FIG. 11, with respect to the first orientation relationship, the points “10”, “6”, and “3” correspond to the value ranges of “less than Th11”, “more than Th11 and less than Th12”, and “more than Th12”. It is attached. As for the second orientation relationship, the points “7”, “4”, “2” are associated with the range of values “less than Th21”, “more than Th21 and less than Th22”, and “more than Th22”. Regarding the distance, the points “3”, “2”, and “1” are associated with the value ranges of “less than Th31”, “more than Th31 and less than Th32”, and “more than Th32”.

案内相手決定部１０７は、各人物の各相関情報が供給されると、供給された各相関情報にポイントテーブルで対応付けられているポイントを読み出して合計する。図１１の例では、各人物について最小６ポイントから最大２０ポイントが合計値として算出される。案内相手決定部１０７は、算出した合計値が例えば閾値Ｔｈ４０以上の人物を、案内相手の候補として抽出する。   When the correlation information of each person is supplied, the guide partner determination unit 107 reads and sums the points associated with the supplied correlation information in the point table. In the example of FIG. 11, a minimum of 6 points and a maximum of 20 points are calculated as total values for each person. The guidance partner determination unit 107 extracts a person whose calculated total value is, for example, a threshold Th40 or more as a guidance partner candidate.

案内相手決定部１０７は、抽出した候補の合計値に対して補正（詳しくは後ほど説明する）を行った後に、補正後の合計値が最大の人物を、案内相手として決定する。案内相手決定部１０７は、案内相手として決定した人物の人物ＩＤを案内済判定部１０８に供給する。また、前述した人物画像認識部１０４も、案内済判定部１０８に、画像情報を認識した人物の特徴量及び人物ＩＤを供給する。   The guidance partner determination unit 107 corrects (explains in detail later) the extracted candidate total value, and then determines the person with the maximum corrected total value as the guidance partner. The guidance partner determination unit 107 supplies the person ID of the person determined as the guidance partner to the guidance completion determination unit 108. The person image recognition unit 104 described above also supplies the guidance determination unit 108 with the feature amount and person ID of the person who recognized the image information.

案内済判定部１０８は、人物画像認識部１０４によって新たに認識された人物が過去に案内相手とされた人物であるか否か、つまりその人物に対して案内済みであるか否かを判定する。案内済判定部１０８は、案内相手決定部１０７から供給されたのと同じ人物ＩＤと共に供給された特徴量（ＳＩＦＴ特徴量等）を、案内済みの人物の特徴量として記憶する。   The guidance completion determination unit 108 determines whether or not the person newly recognized by the person image recognition unit 104 is a person who has been a guidance partner in the past, that is, whether or not the person has already been guided. . The guidance completion determination unit 108 stores the feature amount (SIFT feature amount and the like) supplied together with the same person ID supplied from the guidance partner determination unit 107 as the feature amount of the guided person.

この特徴量は、発信相手とした人物の画像上での特徴を示す情報であり、人物画像認識部１０４によって画像から取得された情報である。特徴量は、本発明の「特徴情報」の一例である。人物画像認識部１０４によって新たに人物の画像情報が認識されると、案内済判定部１０８には、その人物の特徴量が新たに供給される。   This feature amount is information indicating the feature on the image of the person who is the transmission partner, and is information acquired from the image by the person image recognition unit 104. The feature amount is an example of the “feature information” in the present invention. When the person image recognition unit 104 newly recognizes the person's image information, the guidance determination unit 108 is newly supplied with the feature amount of the person.

その際、案内済判定部１０８は、人物画像認識部１０４によって過去に取得された特徴量に基づき、この新たに認識された人物が過去に案内相手とされた人物であるか否かを判定する。なお、案内済判定部１０８は、記憶した特徴量を、定められた期間（例えば数時間）が経過した場合、定められた時刻（例えば０時）になった場合又は案内ロボット１の電源の切断が行われた場合等に削除する。これにより、例えば何日も前に案内相手とされた人物が案内済みと判定されないようになっている。   At that time, the guidance completion determination unit 108 determines whether or not the newly recognized person is a person who has been a guidance partner in the past based on the feature amount acquired in the past by the person image recognition unit 104. . Note that the guidance determination unit 108 determines that the stored feature amount is when a predetermined period (for example, several hours) has elapsed, when a predetermined time (for example, 0 o'clock) has been reached, or when the guidance robot 1 is powered off. It is deleted when it is done. Thereby, for example, a person who has been a guidance partner many days ago is not determined to have been guided.

人物画像認識部１０４は、人物の同異に関係なく人物ＩＤを発行するので、例えば図５に表す人物Ｃ１１の特徴量が過去に記憶されていたとしても、その特徴量に対応付けられている人物ＩＤは、人物Ｃ１１について新たに取得された特徴量に対応する人物ＩＤとは異なっている。そこで、案内済判定部１０８は、記憶している特徴量のうち、新たに供給された特徴量との類似度が閾値以上となるものがあった場合に、それらの特徴量は同一人物の特徴量であり、すなわち、新たに供給された特徴量が取得された人物は案内済みの人物であると判定する。   Since the person image recognition unit 104 issues a person ID regardless of the person's difference, for example, even if the feature amount of the person C11 shown in FIG. 5 has been stored in the past, it is associated with the feature amount. The person ID is different from the person ID corresponding to the feature amount newly acquired for the person C11. Therefore, when there are features stored in the feature amounts that have a similarity with a newly supplied feature amount equal to or greater than a threshold value, the guided determination unit 108 determines that the feature amounts are those of the same person. That is, it is determined that the person from whom the newly supplied feature quantity has been acquired is a guided person.

案内済判定部１０８は、反対に、類似度が閾値以上となる特徴量がなかった場合には、新たに供給された特徴量が取得された人物は案内済みの人物ではないと判定する。案内済判定部１０８は、その判定結果を案内相手決定部１０７に通知する。案内相手決定部１０７は、新たに認識された人物についての案内済判定部１０８による判定の結果に基づいて、その人物を案内相手とするか否か決定する。   On the other hand, if there is no feature quantity whose similarity is equal to or greater than the threshold value, the guidance completion determination unit 108 determines that the person from whom the newly supplied feature quantity has been acquired is not a guided person. The guidance completion determination unit 108 notifies the guidance partner determination unit 107 of the determination result. The guidance partner determination unit 107 determines whether or not to use the person as the guidance partner based on the result of determination by the guidance completion determination unit 108 for the newly recognized person.

案内相手決定部１０７は、具体的には、案内済みと判定された人物が候補として抽出された場合は、その人物のポイントの合計値を減らす補正（例えば０．５倍する補正）を行う。そして、案内相手決定部１０７は、上記のとおり補正後の合計値が最大の人物を、案内相手として決定する。案内相手決定部１０７は、案内相手を決定すると、案内相手として決定した人物の人物ＩＤを案内動作部１１０に供給する。   Specifically, when a person who has been determined to be guided is extracted as a candidate, the guidance partner determining unit 107 performs correction (for example, correction by 0.5) to reduce the total value of the person's points. Then, the guidance partner determination unit 107 determines the person having the maximum corrected total value as the guidance partner as described above. When the guide partner is determined, the guide partner determination unit 107 supplies the person ID of the person determined as the guide partner to the guide operation unit 110.

案内動作部１１０は、案内相手決定部１０７により案内相手と決定された人物に対して案内動作を実行する。案内動作部１１０は、情報発信部１１１と、向き変更部１１２と、移動部１１３とを備える。情報発信部１１１は、案内相手に対して、音声、映像及び動きを用いて、各種の情報を発信する。情報発信部１１１は、例えば、「何かお困りですか？」又は「お手伝いできることはありますか？」等の声掛けを示す音声情報を発信する。   The guidance operation unit 110 performs a guidance operation on the person determined as the guidance partner by the guidance partner determination unit 107. The guide operation unit 110 includes an information transmission unit 111, a direction changing unit 112, and a moving unit 113. The information transmission unit 111 transmits various types of information to the guidance partner using voice, video, and movement. The information transmission unit 111 transmits, for example, voice information indicating a voice call such as “Are you in trouble?” Or “Is there anything you can help?”

また、情報発信部１１１は、想定される質問（例えば電車の発車時刻、ホーム、券売機の場所及び駅構内の施設の有無等を尋ねる質問）への回答を予め記憶しておき、Ｉ／Ｆ部６への操作により指定された質問（質問の選択肢から選択された質問又は文字入力で示された質問）への回答を発信する。また、情報発信部１１１への質問は、音声によっても行われる。   In addition, the information transmission unit 111 stores in advance answers to assumed questions (for example, questions asking about the departure time of a train, the home, the location of a ticket vending machine, the existence of facilities in a station, etc.), and the I / F An answer to a question (question selected from question options or a question indicated by character input) is transmitted by operating the unit 6. The question to the information transmission unit 111 is also made by voice.

音収集部１２１は、案内ロボット１の周囲で発生した音を収集する。音収集部１２１は、収集した音を示す音データを音声認識部１２２に供給する。音声認識部１２２は、音収集部１２１により収集された音から音声を認識する。音声認識部１２２は、認識した音声を示すテキスト情報を案内動作部１１０及び案内終了判断部１２３に供給する。情報発信部１１１は、供給されたテキスト情報が想定される質問を示していた場合、その質問への回答を発信する。   The sound collection unit 121 collects sounds generated around the guidance robot 1. The sound collection unit 121 supplies sound data indicating the collected sound to the voice recognition unit 122. The voice recognition unit 122 recognizes voice from the sound collected by the sound collection unit 121. The voice recognition unit 122 supplies text information indicating the recognized voice to the guidance operation unit 110 and the guidance end determination unit 123. When the supplied text information indicates a question that is assumed, the information transmission unit 111 transmits an answer to the question.

向き変更部１１２は、案内ロボット１の正面方向Ａ１の向き（つまりＩ／Ｆ部６の向き）を変更する。向き変更部１１２は、回転装置２０に頭部２及び胸部３を回転させることで、正面方向Ａ１の向きを変更する。例えば、案内動作部１１０には、向き関係特定部１０５から、特定された向き関係が供給される。向き変更部１１２は、供給された向き関係のうち、案内相手についての第２の向き関係（自己の向きと自己からその人物に向かう方向との乖離度）を小さくする方向に正面方向Ａ１の向きを変更する。   The direction changing unit 112 changes the direction of the front direction A1 of the guide robot 1 (that is, the direction of the I / F unit 6). The orientation changing unit 112 changes the orientation of the front direction A1 by causing the rotating device 20 to rotate the head 2 and the chest 3. For example, the guidance operation unit 110 is supplied with the specified orientation relationship from the orientation relationship identification unit 105. The orientation changing unit 112 is the orientation of the front direction A1 in the direction of decreasing the second orientation relationship (the degree of deviation between the orientation of the self and the direction from the self toward the person) of the supplied orientation among the supplied orientation relationships. To change.

これにより、案内ロボット１は、案内相手に正面方向Ａ１を向けながら案内相手に対して案内動作を実行することができる。移動部１１３は、案内ロボット１を移動させる。移動部１１３は、走行装置１９のモータを回転させることで、目標とする位置に案内ロボット１を移動させる。例えば、案内動作部１１０には、距離特定部１０６から、特定された人物距離が供給される。   Thereby, the guidance robot 1 can perform guidance operation | movement with respect to a guidance partner, directing front direction A1 to a guidance partner. The moving unit 113 moves the guide robot 1. The moving unit 113 moves the guide robot 1 to a target position by rotating the motor of the traveling device 19. For example, the specified person distance is supplied from the distance specifying unit 106 to the guidance operation unit 110.

移動部１１３は、案内相手についての第２の向き関係を小さくしつつ、人物距離を小さくする方向に案内ロボット１を移動させる。これにより、案内ロボット１は、離れている案内相手まで近寄ってから案内動作を実行することができる。なお、移動部１１３は、案内相手が特定の場所までの案内を希望した場合に、その場所まで移動することで道案内を行うこともできる。   The moving unit 113 moves the guide robot 1 in the direction of reducing the person distance while reducing the second orientation relationship with respect to the guidance partner. Thereby, the guidance robot 1 can execute a guidance operation after approaching a remote guidance partner. In addition, when the guidance partner desires guidance to a specific place, the moving unit 113 can also perform route guidance by moving to that place.

案内終了判断部１２３は、案内相手決定部１０７により案内相手として決定された人物への案内動作部１１０による案内動作（情報発信、向きの変更、移動）が開始された後、その案内動作を終了させるか否かの判断を行う。案内終了判断部１２３は、案内の終了を判断するために定められた案内終了パラメータを用いてその判断を行う。案内終了判断部１２３は、例えば、音声認識部１２２により認識された音声という案内終了パラメータに基づき案内動作の終了を判断する。   The guidance end determination unit 123 ends the guidance operation after the guidance operation (information transmission, direction change, movement) by the guidance operation unit 110 to the person determined as the guidance partner by the guidance partner determination unit 107 is started. Judgment whether or not to make it. The guidance end determination unit 123 performs the determination using a guidance end parameter determined to determine the end of the guidance. The guidance end determination unit 123 determines the end of the guidance operation based on, for example, a guidance end parameter called voice recognized by the voice recognition unit 122.

案内終了判断部１２３は、例えば、案内動作の終了を指示する語句（「案内終了」、「終わり」及び「ありがとう」等）を記憶しておき、その語句が認識された場合に案内動作の終了を判断する。案内終了判断部１２３は、案内動作の終了を判断すると、案内動作を終了するよう案内動作部１１０に指示する。案内動作部１１０は、この指示を受け取ると、実行中の案内動作を終了する。これにより、案内相手が音声で案内動作を終了させることができる。   For example, the guidance end determination unit 123 stores words (“Guidance end”, “End”, “Thank you”, etc.) for instructing the end of the guidance operation, and ends the guidance operation when the word is recognized. Judging. When the guidance end determination unit 123 determines the end of the guidance operation, the guidance end determination unit 123 instructs the guidance operation unit 110 to end the guidance operation. Upon receiving this instruction, the guide operation unit 110 ends the guide operation being executed. Thereby, the guidance partner can end the guidance operation by voice.

また、案内終了判断部１２３には、向き関係特定部１０５から、特定された向き関係が供給される。案内終了判断部１２３は、供給された向き関係のうち、案内相手の人物に関し新たに特定された向き関係という案内終了パラメータに基づき案内動作の終了を判断する。案内終了判断部１２３は、例えば、新たに特定された向き関係が示す値から図１１に表すポイントテーブルを用いて上記と同様にポイントの合計値を算出する。案内終了判断部１２３は、算出した合計値が閾値以下になった場合に、案内動作の終了を判断する。   The guidance end determination unit 123 is supplied with the specified orientation relationship from the orientation relationship identification unit 105. The guidance end determination unit 123 determines the end of the guidance operation based on the guidance end parameter, which is the newly specified orientation relationship with respect to the guidance partner person, among the supplied orientation relationships. For example, the guidance end determination unit 123 calculates the total value of points in the same manner as described above using the point table shown in FIG. 11 from the value indicated by the newly specified orientation relationship. The guidance end determination unit 123 determines the end of the guidance operation when the calculated total value is equal to or less than the threshold value.

案内相手は、案内ロボット１が発信する情報に関心を持っている間は、案内ロボット１に対して（Ｉ／Ｆ部６に対して）正対して発信される情報を見聞きするが、必要な情報を得たら、前述した案内動作の終了を指示する語句を発することなく他の方向を向いて案内ロボット１の前から立ち去る場合がある。その場合でも、向き関係に基づく案内動作の終了が判断されることで、案内相手の案内ロボット１への関心が失われたときに案内動作を終了することができる。   While the guide partner is interested in the information transmitted by the guide robot 1, he / she sees and listens to the information transmitted in front of the guide robot 1 (to the I / F unit 6). When the information is obtained, there is a case where the user walks away from the front of the guide robot 1 in another direction without issuing the phrase for instructing the end of the guide operation. Even in such a case, by determining the end of the guidance operation based on the orientation relationship, the guidance operation can be terminated when the interest of the guidance partner in the guidance robot 1 is lost.

また、案内終了判断部１２３には、人物画像認識部１０４から、認識された人物の人物ＩＤが供給される。案内終了判断部１２３は、案内相手決定部１０７により案内相手として決定された人物の人物ＩＤが人物画像認識部１０４から供給されなくなった、すなわち、その人物の画像情報が認識されなくなった場合に、案内動作の終了を判断する。   The guidance end determination unit 123 is supplied with the person ID of the recognized person from the person image recognition unit 104. The guidance end determination unit 123, when the person ID of the person determined as the guidance partner by the guidance partner determination unit 107 is no longer supplied from the person image recognition unit 104, that is, when the image information of the person is no longer recognized. Determine the end of the guidance operation.

案内終了判断部１２３は、例えば、新たに特定された向き関係が示す値から図１１に表すポイントテーブルを用いて上記と同様にポイントの合計値を算出する。案内終了判断部１２３は、算出した合計値が閾値以下になった場合に、案内動作の終了を判断する。これにより、案内相手が案内ロボット１の前からいなくなったときに案内動作を終了することができる。   For example, the guidance end determination unit 123 calculates the total value of points in the same manner as described above using the point table shown in FIG. 11 from the value indicated by the newly specified orientation relationship. The guidance end determination unit 123 determines the end of the guidance operation when the calculated total value is equal to or less than the threshold value. Thereby, the guidance operation can be ended when the guidance partner is no longer in front of the guidance robot 1.

図１２は制御装置１１の動作手順の一例を表す。この動作手順は、例えば案内ロボット１の電源が投入されることを契機に開始される。まず、制御装置１１（撮影部１０３）は、自ロボットの周辺の光景の継続的な撮影を開始する（ステップＳ１１）。次に、制御装置１１（音出力部１０１又は光出力部１０２）は、音又は光の出力処理を行う（ステップＳ１２）。   FIG. 12 shows an example of the operation procedure of the control device 11. This operation procedure is started, for example, when the power of the guidance robot 1 is turned on. First, the control device 11 (shooting unit 103) starts continuous shooting of a scene around the robot (step S11). Next, the control device 11 (sound output unit 101 or light output unit 102) performs sound or light output processing (step S12).

続いて、制御装置１１（人物画像認識部１０４）は、撮影された画像に含まれる人物の画像情報を認識する（ステップＳ１３）。次に、制御装置１１（向き関係特定部１０５及び距離特定部１０６）は、認識された人物の画像情報に基づいてその人物と自己（案内ロボット１）との向きの関係及びその人物と自己との距離（人物距離）を特定する（ステップＳ１４）。   Subsequently, the control device 11 (person image recognition unit 104) recognizes image information of a person included in the photographed image (step S13). Next, the control device 11 (the orientation relationship specifying unit 105 and the distance specifying unit 106) determines the orientation relationship between the person and the self (guidance robot 1) and the person and the self based on the image information of the recognized person. Is determined (step S14).

続いて、制御装置１１（案内相手決定部１０７）は、特定された向き関係及び人物距離に基づいてポイントの合計値を算出し（ステップＳ１５）、合計値が閾値以上の人物が抽出されたか否かを判断する（ステップＳ１６）。制御装置１１（案内相手決定部１０７）は、合計値が閾値以上の人物が抽出されなかった（ＮＯ）と判断した場合は、ステップＳ１２（出力処理）に戻って動作を行う。   Subsequently, the control device 11 (guidance partner determination unit 107) calculates a total value of points based on the specified orientation relationship and person distance (step S15), and whether or not a person whose total value is equal to or greater than a threshold is extracted. Is determined (step S16). If it is determined that no person whose total value is equal to or greater than the threshold value has been extracted (NO), the control device 11 (guidance partner determination unit 107) returns to step S12 (output processing) to perform the operation.

制御装置１１（案内相手決定部１０７及び案内済判定部１０８）は、合計値が閾値以上の人物が抽出された（ＹＥＳ）と判断した場合は、抽出した人物の中に案内済みの人物がいればその人物の合計値を補正する（ステップＳ１７）。そして、制御装置１１（案内相手決定部１０７）は、合計値が最大の人物を案内相手として決定する（ステップＳ１８）。制御装置１１（案内動作部１１０）は、案内相手と決定された人物に対して案内動作を実行する（ステップＳ２１）。   If the control device 11 (the guidance partner determination unit 107 and the guidance determination unit 108) determines that a person whose total value is equal to or greater than the threshold is extracted (YES), the guided person is included in the extracted person. For example, the total value of the person is corrected (step S17). And the control apparatus 11 (guidance partner determination part 107) determines a person with the largest total value as a guidance partner (step S18). The control device 11 (guidance operation unit 110) performs a guidance operation on the person determined as the guidance partner (step S21).

次に、制御装置１１（案内終了判断部１２３）は、案内終了パラメータ（認識された音声又は新たに特定された向き関係）を取得する（ステップＳ２２）。続いて、制御装置１１（案内終了判断部１２３）は、案内終了パラメータによる案内終了条件が満たされたか否かを判断し（ステップＳ２３）、案内終了条件が満たされていない（ＮＯ）と判断した場合はステップＳ２１に戻って案内動作を行う。   Next, the control device 11 (guidance end determination unit 123) acquires a guidance end parameter (recognized voice or newly specified orientation relationship) (step S22). Subsequently, the control device 11 (guidance end determination unit 123) determines whether or not the guide end condition based on the guide end parameter is satisfied (step S23), and determines that the guide end condition is not satisfied (NO). In this case, the process returns to step S21 to perform the guidance operation.

制御装置１１（案内終了判断部１２３）は、案内終了条件が満たされた（ＹＥＳ）と判断した場合は、案内動作を終了する（ステップＳ２４）。そして、制御装置１１（案内済判定部１０８）は、案内相手として決定された人物の特徴量を記憶して（ステップＳ２５）、この動作手順を終了する。   When it is determined that the guide end condition is satisfied (YES), the control device 11 (guidance end determination unit 123) ends the guide operation (step S24). And the control apparatus 11 (guidance completion determination part 108) memorize | stores the feature-value of the person determined as a guidance other party (step S25), and complete | finishes this operation | movement procedure.

例えば駅の構内で電車のダイヤや施設などについて案内を望む人物の場合、案内ロボット１に気付いたら、案内ロボット１に関心を示し、例えば案内してもらえるかどうかを判断するため案内ロボット１の方を向くことになりやすい。一方、そのような案内を特に望んでいない人物の場合、案内ロボット１に気付いても、案内ロボット１には関心がないので、案内ロボット１の方を向くことはなく自分の移動方向や探している施設の方向などを向くことになりやすい。   For example, in the case of a person who wants to provide information about train schedules and facilities on the premises of a station, if he / she notices the guide robot 1, he / she is interested in the guide robot 1, for example, to determine whether he / she can guide him / her. It tends to turn to. On the other hand, in the case of a person who does not particularly want such guidance, even if he / she notices the guidance robot 1, he / she is not interested in the guidance robot 1. It tends to face the direction of the facility that is.

本実施例では、上述した第１の向き関係（人物の向きとその人物から案内ロボット１に向かう方向との乖離度）に基づいて案内相手が決定される。人物が案内ロボット１の方を向くとこの乖離度が小さくなるので、第１の向き関係を用いることで、案内ロボット１に関心を示している人物を案内相手（情報発信の相手でもある）として決定することができる。   In the present embodiment, the guidance partner is determined based on the above-described first orientation relationship (degree of deviation between the orientation of the person and the direction from the person toward the guidance robot 1). Since the degree of divergence decreases when the person faces the guidance robot 1, the person who is interested in the guidance robot 1 is used as a guidance partner (also an information transmission partner) by using the first orientation relationship. Can be determined.

また、前述したように案内ロボット１に案内してもらえるかどうかを判断する場合、Ｉ／Ｆ部６がよく見えるように案内ロボット１の正面に移動することになりやすい。本実施例では、上述した第２の向き関係（案内ロボット１の向きと案内ロボット１からその人物に向かう方向との乖離度）に基づいて案内相手が決定されることで、そのように案内ロボット１を正面から見ようとしている人物を案内相手として決定することができる。   Further, as described above, when it is determined whether or not the guidance robot 1 can guide the user, the I / F unit 6 is likely to move to the front of the guidance robot 1 so that the I / F unit 6 can be clearly seen. In the present embodiment, the guidance robot is determined based on the second orientation relationship described above (the degree of divergence between the orientation of the guidance robot 1 and the direction from the guidance robot 1 toward the person). The person who is going to see 1 from the front can be determined as the guidance partner.

以上のとおり、本実施例では、第１の向き関係及び第２の向き関係を用いることで、向き関係に関係なく案内相手の可否を決定する場合に比べて、案内（情報発信を含む）を望んでいる可能性がより高い人物を案内相手（情報発信の相手）として決定することができる。また、案内を望む人物は、案内ロボット１の方に近づいてくるので、案内を望まない人物に比べて人物距離も短くなりやすい。   As described above, in the present embodiment, guidance (including information transmission) is provided by using the first orientation relationship and the second orientation relationship, as compared with the case where the availability of the guidance partner is determined regardless of the orientation relationship. A person who is more likely to desire can be determined as a guidance partner (information transmission partner). Further, since the person who desires guidance approaches the guidance robot 1, the person distance is likely to be shorter than the person who does not want guidance.

本実施例では、人物距離にも基づいて案内相手が決定されるので、案内ロボット１に近づいてくる人物（他の人物に比べて案内を望む人物である可能性が高い人物）を他の人物に比べて案内相手として決定しやすくすることができる。また、本実施例では、案内済みの人物についてはポイントの合計値を減らす補正がなされた。これにより、まだ案内をされていない人物を案内済みの人物に比べて案内相手として決定しやすくすることができる。   In this embodiment, since the guidance partner is determined based on the person distance, a person approaching the guidance robot 1 (a person who is more likely to be a person who wants guidance than other persons) is assumed to be another person. This makes it easier to decide as a guide partner. Further, in this embodiment, correction has been made to reduce the total value of points for a guided person. As a result, it is possible to make it easier to determine a person who has not been guided as a guidance partner compared to a person who has already been guided.

［２］変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は必要に応じてそれぞれ組み合わせてもよい。 [2] Modifications The above-described embodiments are merely examples of the present invention, and may be modified as follows. Moreover, you may combine an Example and each modification as needed.

［２−１］出力処理の活用
音出力部１０１及び光出力部１０２による音及び光の出力を、案内相手の決定に活用してもよい。例えば、案内相手決定部１０７は、音出力部１０１による音の出力又は光出力部１０２による光の出力（少なくとも一方の出力。両方の出力であってもよい）の前後において人物画像認識部１０４により画像情報が認識された人物についての向き関係の変化に基づいてその人物を案内相手とするか否か決定する。 [2-1] Utilization of Output Processing Sound and light output by the sound output unit 101 and the light output unit 102 may be utilized for determining a guidance partner. For example, the guidance partner determination unit 107 uses the person image recognition unit 104 before and after the sound output by the sound output unit 101 or the light output by the light output unit 102 (at least one output, which may be both outputs). Based on the change in the orientation relationship of the person whose image information has been recognized, it is determined whether or not that person is to be the guidance partner.

図１３は本変形例の制御装置１１の動作手順の一例を表す。以下では図１２の動作手順と異なる点を中心に説明する。まず、制御装置１１は、ステップＳ１１（撮影開始）、Ｓ１３（人物の画像情報の認識）、Ｓ１４（向き関係及び人物距離の特定）に相当する動作をステップＳ３１、Ｓ３２、Ｓ３３で行う。そして、制御装置１１（案内相手決定部１０７）は、特定された向き関係及び人物距離に基づくポイントの合計値を第１合計値として算出する（ステップＳ３４）。   FIG. 13 illustrates an example of an operation procedure of the control device 11 according to the present modification. Below, it demonstrates centering on a different point from the operation | movement procedure of FIG. First, the control device 11 performs operations corresponding to steps S11 (start of photographing), S13 (recognition of person image information), and S14 (identification of orientation relationship and person distance) in steps S31, S32, and S33. And the control apparatus 11 (guidance partner determination part 107) calculates the total value of the point based on the specified orientation relationship and person distance as a 1st total value (step S34).

次に、制御装置１１は、ステップＳ１２（出力処理）と同様に音又は光の出力処理を行う（ステップＳ４１）。続いて、制御装置１１は、Ｓ１３（人物の画像情報の認識）、Ｓ１４（向き関係及び人物距離の特定）に相当する動作をステップＳ４２、Ｓ４３で行う。そして、制御装置１１（案内相手決定部１０７）は、特定された向き関係及び人物距離に基づくポイントの合計値を第２合計値として算出する（ステップＳ４４）。   Next, the control device 11 performs a sound or light output process (step S41) as in step S12 (output process). Subsequently, the control device 11 performs operations corresponding to S13 (recognition of person image information) and S14 (identification of orientation relationship and person distance) in steps S42 and S43. And the control apparatus 11 (guidance partner determination part 107) calculates the total value of the point based on the specified orientation relationship and person distance as a 2nd total value (step S44).

制御装置１１は、ステップＳ４２の人物の画像情報の認識を、ステップＳ４１の出力処理から一定の時間以上経過してから行う。一定の時間としては、出力された音又は光に気付いた人物が向きを変えたり位置を変えたりすることができる時間（例えば１〜２秒程度）が定められる。次に、制御装置１１（案内相手決定部１０７）は、算出した第２合計値に、第１合計値及び第２合計値の差分を合算する（ステップＳ５１）。   The control device 11 recognizes the image information of the person in step S42 after a predetermined time or more has elapsed since the output processing in step S41. As the fixed time, a time (for example, about 1 to 2 seconds) during which the person who notices the output sound or light can change the direction or position can be determined. Next, the control device 11 (guidance partner determination unit 107) adds the difference between the first total value and the second total value to the calculated second total value (step S51).

制御装置１１は、詳細には、第２合計値から第１合計値を減じた値を差分として、第２合計値に合算する。つまり、第１合計値よりも第２合計値の方が大きければ、合算値は第２合計値よりも大きくなるし、第１合計値よりも第２合計値の方が小さければ、合算値は第２合計値よりも小さくなる以降、制御装置１１は、図１２のステップＳ１６（人物の抽出）、Ｓ１７（合計値補正）、Ｓ１８（案内相手の決定）を、合計値を合算値に変えた動作をステップＳ５２、Ｓ５３、Ｓ５４で行う。   Specifically, the control device 11 adds the second total value as a difference to a value obtained by subtracting the first total value from the second total value. That is, if the second total value is larger than the first total value, the total value is larger than the second total value, and if the second total value is smaller than the first total value, the total value is After being smaller than the second total value, the control device 11 changes the total value to the total value in steps S16 (person extraction), S17 (total value correction), and S18 (determination of guidance partner) in FIG. The operation is performed in steps S52, S53, and S54.

案内相手は、案内ロボット１の存在に気付いている人物から決定するのが望ましい。例えば、案内ロボット１の存在に気付いていない第１の人物がたまたま案内ロボット１の正面方向にいて且つ案内ロボット１の方を向いていたとする。その場合、案内ロボット１の存在に気付いた第２の人物が案内をしてもらうため案内ロボット１に近づこうとしているが正面方向から遠い場所にいた場合、その第２の人物は第２の向き関係によるポイントが小さいので、案内相手として決定されないことになる。   The guidance partner is preferably determined from a person who is aware of the presence of the guidance robot 1. For example, it is assumed that the first person who is not aware of the presence of the guidance robot 1 happens to be in front of the guidance robot 1 and face the guidance robot 1. In that case, if the second person who notices the presence of the guide robot 1 is approaching the guide robot 1 to receive guidance, but is in a place far from the front direction, the second person is in the second direction. Since the point by relationship is small, it will not be determined as a guidance partner.

本変形例では、出力された音又は光に気付いて案内ロボット１の方を向いたり案内ロボット１の正面に移動したりした人物は差分が大きくなって合算値が大きくなる。そのため、第２の人物が音又は光に気付いて案内ロボット１の方を振り向く動作を行えば、第１の人物よりも合算値が大きくなって案内相手として決定されることが起こり易くなる。このように、本変形例では、案内ロボット１が出力した音又は光に気付いた人物、すなわち案内ロボット１に気付いた人物を案内相手として決定することができる。   In this modified example, the difference between the person who notices the output sound or light and turns to the front of the guide robot 1 or moves to the front of the guide robot 1 increases and the total value increases. Therefore, if the second person notices sound or light and performs an action of turning around the guidance robot 1, the total value becomes larger than that of the first person and it is likely to be determined as a guidance partner. Thus, in this modification, the person who notices the sound or light output from the guidance robot 1, that is, the person who notices the guidance robot 1 can be determined as the guidance partner.

言い換えると、音又は光の出力の前後の変化を用いない場合に比べて、案内ロボット１に気付いていない人物が案内相手として決定されにくいようにすることができる。なお、案内相手決定部１０７は、音又は光の出力の前後において画像情報が認識された人物についての人物距離の変化に基づいてその人物を案内相手とするか否か決定してもよい。案内を望む人物が音又は光に気付けば、案内ロボット１の方に近づいてくることになりやすいから、この場合も、案内ロボット１が出力した音又は光に気付いた人物がこれに気付いていない人物に比べて案内相手として決定されやすくなる。   In other words, it is possible to make it difficult for a person who is not aware of the guidance robot 1 to be determined as a guidance partner, as compared with the case where a change before and after the output of sound or light is not used. Note that the guidance partner determination unit 107 may determine whether or not to use the person as a guidance partner based on a change in the person distance of the person whose image information is recognized before and after the output of sound or light. If a person who desires guidance notices sound or light, it tends to approach the guidance robot 1. In this case as well, a person who notices the sound or light output by the guidance robot 1 is not aware of this. It becomes easier to be determined as a guide partner than a person.

［２−２］音及び光の変化
音出力部１０１が出力する音及び光出力部１０２が出力する光を変化させてもよい。例えば、音出力部１０１は、マイクロフォンが収集する音が大きいほど、出力する音の音量を大きくして出力する。これにより、音量が一律の場合に比べて、周りがうるさい環境では出力された音が周囲の人物に聞こえやすくすることができ、周りが静かな環境では出力された音がうるさく聞こえないようにすることができる。 [2-2] Change in Sound and Light The sound output from the sound output unit 101 and the light output from the light output unit 102 may be changed. For example, the sound output unit 101 increases the volume of the output sound as the sound collected by the microphone increases. This makes it easier for people around to hear the output sound in a noisy environment than in the case of a uniform volume, and prevents the output sound from being heard in a quiet environment. be able to.

また、音出力部１０１は、現在時刻に応じた音声を出力する。音出力部１０１は、例えば朝なら「お早うございます」、昼なら「こんにちは」、夜なら「こんばんは」というように挨拶の言葉を変化させたり、通勤時間なら「いってらっしゃい」と言ったりする。これにより、案内ロボットが時刻を認識していることを音声の聞き手に知ってもらうことができる。   The sound output unit 101 outputs sound corresponding to the current time. The sound output unit 101, for example, "Good morning" if the morning, if the noon "Hello", or to change the words of greeting such as "Good evening," If the night, or say if the commuting time, "Have a nice day". As a result, the voice listener can know that the guidance robot recognizes the time.

また、案内ロボットが明るさの度合い（例えば照度）を検出するセンサを備えている場合に、光出力部１０２は、検出された明るさの度合いが大きい（明るい）ほど、出力する光を強くする。これにより、周囲が明るい環境でも、案内ロボット１の存在に気付いてもらいやすくなる。   When the guidance robot includes a sensor that detects the degree of brightness (for example, illuminance), the light output unit 102 increases the output light as the detected degree of brightness is larger (brighter). . As a result, even in an environment where the surroundings are bright, the presence of the guidance robot 1 can be easily noticed.

また、人物画像認識部１０４により人物画像が認識された人物の数が多いほど、音出力部１０１が出力する音を大きくし、光出力部１０２が出力する光を強くしてもよい。これにより、これにより、周囲に人が多くいる環境でも、案内ロボット１の存在に気付いてもらいやすくなる。   Further, as the number of persons whose person images are recognized by the person image recognition unit 104 increases, the sound output from the sound output unit 101 may be increased and the light output from the light output unit 102 may be increased. This makes it easier for the user to be aware of the presence of the guidance robot 1 even in an environment where there are many people around.

［２−３］動き及び移動
案内ロボット１は、実施例では、自ロボットの存在を周囲の人物に気付いてもらうために音及び光を出力したが、それに代えて又はそれに加えて、向き変更部１１２による向きの変更及び移動部１１３による移動を行ってもよい。例えば、向き変更部１１２が左右に向きを変更させることで案内ロボット１が左右に頭を振るような動作を行ったり、移動部１１３が円を描くように案内ロボット１を移動させたりしてもよい。 [2-3] Movement and Movement In the embodiment, the guidance robot 1 outputs a sound and light so as to make the surrounding person aware of the presence of the robot, but instead of or in addition to this, the direction changing unit The orientation change by 112 and the movement by the moving unit 113 may be performed. For example, even if the direction changing unit 112 changes the direction to the left and right, the guidance robot 1 performs an operation of shaking the head from side to side, or the moving unit 113 moves the guide robot 1 to draw a circle. Good.

その場合に、人物画像認識部１０４により人物画像が認識された人物の数が多いほど、動作を大袈裟にしてもよい。具体的には、動作を大きくしたり、動作を早くしたり、動作の回数を増やしたりしてもよい。これにより、周囲に人が多くいる環境でも、案内ロボット１の存在に気付いてもらいやすくなる。   In that case, the more the number of persons whose person images are recognized by the person image recognizing unit 104, the greater the operation may be. Specifically, the operation may be increased, the operation may be accelerated, or the number of operations may be increased. As a result, even in an environment where there are many people around, it is easy to be aware of the presence of the guide robot 1.

［２−４］画像に写っている時間
撮影部１０３により撮影された画像に写っている時間の長さを案内相手の決定に活用してもよい。この場合、案内相手決定部１０７は、人物が撮影部１０３により撮影された画像に写っている時間に基づいてその人物を案内相手とするか否か決定する。この時間は、被写体である人物への撮影が継続された時間を表すので、以下では「撮影継続時間」という。 [2-4] Time Taken in Image The length of time taken in the image taken by the photographing unit 103 may be used for determining the guidance partner. In this case, the guidance partner determination unit 107 determines whether or not the person is to be the guidance partner based on the time that the person is in the image captured by the imaging unit 103. Since this time represents the time during which photographing of a person who is the subject is continued, it is hereinafter referred to as “shooting duration”.

本変形例では、人物画像認識部１０４が、画像情報を認識する度に、認識した人物の人物ＩＤを案内相手決定部１０７に供給する。案内相手決定部１０７は、同じ人物ＩＤが継続して供給されている時間を、その人物ＩＤが発行された人物の撮影継続時間として判断する。案内相手決定部１０７は、例えば、ポイントの合計値を、撮影継続時間に応じた係数を乗じて補正する。この補正は、例えば撮影継続時間と係数とを対応付けた係数テーブルを用いて行われる。   In this modification, the person image recognition unit 104 supplies the recognized person ID to the guidance partner determination unit 107 every time image information is recognized. The guide partner determination unit 107 determines the time during which the same person ID is continuously supplied as the shooting duration of the person who has been issued the person ID. For example, the guidance partner determination unit 107 corrects the total value of the points by multiplying by a coefficient corresponding to the shooting duration. This correction is performed using, for example, a coefficient table in which the shooting duration time and the coefficient are associated with each other.

図１４は係数テーブルの一例を表す。図１４の例では、「Ｔｈ５１未満」、「Ｔｈ５１以上Ｔｈ５２未満」、「Ｔｈ５２以上」という撮影継続時間の範囲に「０．７」、「１．０」、「１．３」という係数が対応付けられている。案内相手決定部１０７は、図１２のステップＳ１５において、人物のポイントの合計値を算出する際に、その人物の撮影継続時間に係数テーブルで対応付けられた係数を合計値に乗じた値を、その人物のポイントの合計値として算出する。   FIG. 14 shows an example of the coefficient table. In the example of FIG. 14, coefficients of “0.7”, “1.0”, and “1.3” correspond to the range of shooting durations “less than Th51”, “more than Th51 and less than Th52”, and “more than Th52”. It is attached. When calculating the total value of the person's points in step S15 of FIG. 12, the guidance partner determining unit 107 multiplies the total value by the coefficient associated with the shooting duration of the person in the coefficient table, Calculated as the total value of the person's points.

案内ロボット１の撮影範囲は、図６に表すように、案内ロボット１から離れるほど、広い範囲になる。そのため、案内ロボット１から見て同じ方向にいる人物でも、人物距離が短い人物はすぐに正面方向Ａ１に移動できるが、人物距離が長くなるほど、正面方向Ａ１に移動する際の距離も長くなる。そのため、人物が案内ロボット１から離れているほど、人物距離によるポイントが小さくなることはもちろん、第２の向き関係によるポイントも小さくなりやすいから、案内相手として決定されにくい。   As shown in FIG. 6, the shooting range of the guide robot 1 becomes wider as the distance from the guide robot 1 increases. Therefore, even if the person is in the same direction as viewed from the guidance robot 1, a person with a short person distance can immediately move in the front direction A1, but the longer the person distance, the longer the distance when moving in the front direction A1. Therefore, as the person is farther away from the guidance robot 1, the point due to the person distance becomes smaller and the point due to the second orientation relationship tends to become smaller, so it is difficult to be determined as the guidance partner.

一方で、人物距離が長くなるほど、撮影範囲が広くなるから、撮影継続時間は長くなりやすい。本変形例では、上記のとおり撮影継続時間が長いほどポイントの合計値を大きくする補正を行っているので、撮影継続時間を用いない場合に比べて、案内ロボット１から離れた人物でも案内相手として決定されやすいようにすることができる。   On the other hand, the longer the person distance, the wider the shooting range, so the shooting duration time tends to be longer. In the present modification, correction is performed to increase the total value of points as the shooting duration is longer as described above. Therefore, even if a person away from the guidance robot 1 is used as a guide partner, compared to the case where the shooting duration is not used. It can be easy to be determined.

［２−５］乖離度
実施例では、乖離度は、２つの方向が成す角度の大きさによって表されたが、これに限らない。例えば２つの方向が乖離する度合いを表す「大」、「中」、「小」等の３段階の指標によって表されてもよいし、２段階又は４段階以上の指標によって表されてもよい。それらの場合、図１１に表す値の範囲を指標に置き換えることで、ポイントの合計値が算出されて、案内相手が決定される。 [2-5] Deviation degree In the embodiment, the deviation degree is represented by the magnitude of an angle formed by two directions, but is not limited thereto. For example, it may be represented by a three-stage index such as “large”, “medium”, and “small” indicating the degree of deviation between the two directions, or may be represented by two or four or more stages. In those cases, by replacing the range of values shown in FIG. 11 with an index, the total value of points is calculated and the guidance partner is determined.

［２−６］相関情報
案内相手決定部１０７は、実施例では、３つの相関情報（第１の向き関係、第２の向き関係及び人物距離）を全て用いて案内相手を決定したが、これに限らず、例えば画像情報が認識された人物が少ない場合や混雑しないと予め分かっている時間帯などは、第１の向き関係だけを用いてもよいし、第２の向き関係だけを用いてもよい。少なくとも、案内相手決定部１０７は、少なくとも１つの向き関係を用いて案内相手を決定すればよい。そうすることで、実施例と同様に、向き関係に関係なく案内相手の可否を決定する場合に比べて、案内を望んでいる可能性がより高い人物を案内相手として決定することができる。 [2-6] Correlation Information In the embodiment, the guidance partner determination unit 107 determines a guidance partner using all three pieces of correlation information (first orientation relationship, second orientation relationship, and person distance). For example, when the number of persons whose image information is recognized is small or when it is known in advance that the image information is not crowded, only the first orientation relationship may be used, or only the second orientation relationship may be used. Also good. At least the guidance partner determination unit 107 may determine a guidance partner using at least one orientation relationship. By doing so, as in the case of the embodiment, a person who is more likely to desire guidance can be determined as a guidance partner, as compared to the case where the availability of a guidance partner is determined regardless of the orientation relationship.

［２−７］案内動作
案内動作部１１０は、実施例とは異なる案内動作を行ってもよい。例えば、案内動作部１１０は、情報発信の際に、音声、映像及び動きのうちの１つ又は２つだけを用いてもよいし、向きの変更及び移動は行わなくてもよい。ただし、案内動作部１１０は、少なくとも何らかの情報を発信する動作を行うことが望ましい。その場合、案内相手決定部１０７は、人物の向き関係及び人物距離に基づいて、その人物を情報発信の相手とするか否かを決定する。 [2-7] Guide Operation The guide operation unit 110 may perform a guide operation different from the embodiment. For example, the guidance operation unit 110 may use only one or two of voice, video, and movement when transmitting information, or may not change or move the direction. However, it is desirable that the guidance operation unit 110 performs an operation of transmitting at least some information. In that case, the guidance partner determination unit 107 determines whether or not the person is the information transmission partner based on the orientation relation and the person distance of the person.

［２−８］案内ロボットの動作
案内ロボットは、実施例では、回転の動作と首振りの動作の両方を行ったが、これに限らない。例えば、案内ロボットは、座部５が移動せずに設置場所に固定される位置固定型であってもよい。その場合は頭部２及び胸部３による首振りの動きだけが行われる。また、案内ロボットは、頭部２及び胸部３が回転せずに固定されている向き固定型であってもよい。その場合は座部５による回転の動きだけが行われる。また、案内ロボットは、首振りの動きも回転の動きも行わない完全固定型であってもよい。いずれの場合も、案内ロボットの正面方向が周囲の人物から認識可能になっていて向き関係が特定できるようになっていればよい。 [2-8] Operation of Guide Robot In the embodiment, the guide robot performs both the rotation operation and the swing operation, but the present invention is not limited to this. For example, the guide robot may be a fixed position type in which the seat portion 5 is fixed to the installation place without moving. In that case, only the head swing movement by the head 2 and the chest 3 is performed. Further, the guidance robot may be a fixed orientation type in which the head 2 and the chest 3 are fixed without rotating. In that case, only the rotational movement by the seat 5 is performed. The guide robot may be a completely fixed type that does not swing or rotate. In either case, it is only necessary that the front direction of the guidance robot is recognizable from surrounding persons and the orientation relationship can be specified.

［２−９］発明の適用対象
本発明の適用対象は、案内ロボットに限らない。例えば、券売機、キオスク端末及びＡＴＭ（Automatic Teller Machine）等に適用されてもよい。これらの装置は、移動及び動作による案内は行わないが、自装置を利用する人物に対して情報発信（使い方の説明など）を行う。 [2-9] Application object of the invention The application object of the present invention is not limited to the guidance robot. For example, the present invention may be applied to ticket vending machines, kiosk terminals, ATMs (Automatic Teller Machines), and the like. These devices do not provide guidance by movement or operation, but send information (explains how to use) to a person who uses the device.

また、これらの装置の場合、例えば装置が有する画面の法線の水平方向成分が正面方向として認識される。このように、いずれの場合も、装置の正面方向が周囲の人物から認識可能になっていて向き関係が特定できるようになっていればよい。いずれの装置（案内ロボットを含む）も、撮影された画像を画像処理して人物の画像情報を認識し、情報発信の相手を決定する本発明の「画像処理装置」の一例である。   In the case of these devices, for example, the horizontal component of the normal line of the screen of the device is recognized as the front direction. As described above, in any case, it is only necessary that the front direction of the apparatus can be recognized from surrounding persons and the orientation relationship can be specified. Any device (including a guidance robot) is an example of the “image processing device” of the present invention that performs image processing on a captured image, recognizes image information of a person, and determines an information transmission partner.

１…案内ロボット、２…頭部、３…胸部、４…腹部、５…座部、６…Ｉ／Ｆ部、１１…制御装置、１２…記憶装置、１３…通信装置、１４…操作表示装置、１５…撮影装置、１６…距離センサ、１７…音処理装置、１８…発光装置、１９…走行装置、２０…回転装置、１０１…音出力部、１０２…光出力部、１０３…撮影部、１０４…人物画像認識部、１０５…向き関係特定部、１０６…距離特定部、１０７…案内相手決定部、１０８…案内済判定部、１１０…案内動作部、１１１…情報発信部、１１２…向き変更部、１１３…移動部、１２１…音収集部、１２２…音声認識部、１２３…案内終了判断部。 DESCRIPTION OF SYMBOLS 1 ... Guiding robot, 2 ... Head, 3 ... Chest, 4 ... Abdomen, 5 ... Sitting, 6 ... I / F part, 11 ... Control device, 12 ... Storage device, 13 ... Communication device, 14 ... Operation display device 15 ... Shooting device, 16 ... Distance sensor, 17 ... Sound processing device, 18 ... Light emitting device, 19 ... Running device, 20 ... Rotating device, 101 ... Sound output unit, 102 ... Light output unit, 103 ... Shooting unit, 104 ... person image recognition unit, 105 ... orientation relation specifying unit, 106 ... distance specifying unit, 107 ... guidance partner determining unit, 108 ... guidance completion determining unit, 110 ... guidance operation unit, 111 ... information sending unit, 112 ... direction changing unit , 113: moving unit, 121 ... sound collecting unit, 122 ... voice recognition unit, 123 ... guidance end determination unit.

Claims (10)

撮影した画像に含まれる人物の画像情報を認識し、認識した前記人物の画像情報に基づいて前記人物と自己との向きの関係を特定し、前記関係に基づいて前記人物を情報の発信相手とするか否かを決定する画像処理装置。   Recognizing the image information of the person included in the photographed image, specifying the relationship between the person and the self based on the recognized image information of the person, and based on the relationship, the person as the information transmission partner An image processing apparatus that determines whether or not to do so. 前記人物の向きと前記人物から自己に向かう方向との乖離度に基づいて前記人物を情報の発信相手とするか否か決定する
請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the image processing apparatus determines whether or not the person is the information transmission partner based on a degree of deviation between the direction of the person and the direction from the person toward the person. 自己の向きと自己から前記人物に向かう方向との乖離度に基づいて前記人物を情報の発信相手とするか否か決定する
請求項１又は２に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the image processing apparatus determines whether or not the person is an information transmission partner based on a degree of deviation between the direction of the person and the direction from the person toward the person. 自己は回転の動き又は首振りの動きが可能であり、前記撮影を継続して行い、前記動きをしつつ音及び光の少なくとも一方を出力し、当該出力の前後における前記画像から前記画像情報を認識した前記人物についての前記向きの関係の変化に基づいて前記人物を情報の発信相手とするか否か決定する
請求項１から３のいずれか１項に記載の画像処理装置。 The self is capable of rotating or swinging, continuously performing the shooting, outputting at least one of sound and light while performing the movement, and extracting the image information from the images before and after the output. The image processing apparatus according to any one of claims 1 to 3, wherein it is determined whether or not the person is an information transmission partner based on a change in the orientation relationship with respect to the recognized person. 発信相手とした人物の特徴情報を前記画像から取得し、過去に取得した特徴情報に基づき、新たに認識した人物が過去に発信相手とした人物であるか否かを判定し、当該判定の結果に基づいて当該人物を情報の発信相手とするか否か決定する
請求項１から４のいずれか１項に記載の画像処理装置。 The feature information of the person who is the call partner is acquired from the image, and based on the feature information acquired in the past, it is determined whether or not the newly recognized person is the person who was the call partner in the past, and the result of the determination The image processing apparatus according to any one of claims 1 to 4, wherein the image processing apparatus determines whether the person is an information transmission partner based on the information. 前記撮影を継続して行い、前記人物が前記画像に写っている時間に基づいて前記人物を情報の発信相手とするか否か決定する
請求項１から５のいずれか１項に記載の画像処理装置。 The image processing according to any one of claims 1 to 5, wherein the photographing is continuously performed and whether or not the person is an information transmission partner is determined based on a time during which the person is in the image. apparatus. 前記画像から認識した人物と自己との距離に基づいて前記人物を情報の発信相手とするか否か決定する
請求項１から６のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 1 to 6, wherein it is determined whether or not the person is an information transmission partner based on a distance between the person recognized from the image and self. 前記撮影を継続して行い、前記発信相手として決定した人物に前記情報の発信を開始した後、当該人物に関し新たに特定した前記向きの関係に基づき前記情報の発信を終了する
請求項１から７のいずれか１項に記載の画像処理装置。 The transmission of the information is terminated based on the newly specified relationship regarding the person after the photographing is continuously performed and the transmission of the information to the person determined as the transmission partner is started. The image processing apparatus according to any one of the above. 前記撮影を継続して行い、前記発信相手として決定した人物に前記情報の発信を開始した後、当該人物の画像情報が認識されなくなった場合に前記情報の発信を終了する
請求項１から８のいずれか１項に記載の画像処理装置。 9. The transmission of the information is terminated when the image information of the person is no longer recognized after the shooting is continuously performed and the transmission of the information to the person determined as the transmission partner is started. The image processing apparatus according to any one of the above. 前記発信相手として決定した人物に前記情報の発信を開始した後、収集した音から音声を認識し、認識した音声に基づき前記情報の発信を終了する
請求項１から９のいずれか１項に記載の画像処理装置。 The transmission of the information to a person determined as the transmission partner is started, and then the voice is recognized from the collected sound, and the transmission of the information is terminated based on the recognized voice. Image processing apparatus.
JP2017140636A 2017-07-20 2017-07-20 Image processing equipment Active JP6993802B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017140636A JP6993802B2 (en) 2017-07-20 2017-07-20 Image processing equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017140636A JP6993802B2 (en) 2017-07-20 2017-07-20 Image processing equipment

Publications (2)

Publication Number Publication Date
JP2019021166A true JP2019021166A (en) 2019-02-07
JP6993802B2 JP6993802B2 (en) 2022-02-04

Family

ID=65354469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017140636A Active JP6993802B2 (en) 2017-07-20 2017-07-20 Image processing equipment

Country Status (1)

Country Link
JP (1) JP6993802B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012161851A (en) * 2011-02-03 2012-08-30 Advanced Telecommunication Research Institute International Robot system and space formation recognizing device used in the same
JP2012213828A (en) * 2011-03-31 2012-11-08 Fujitsu Ltd Robot control device and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012161851A (en) * 2011-02-03 2012-08-30 Advanced Telecommunication Research Institute International Robot system and space formation recognizing device used in the same
JP2012213828A (en) * 2011-03-31 2012-11-08 Fujitsu Ltd Robot control device and program

Also Published As

Publication number Publication date
JP6993802B2 (en) 2022-02-04

Similar Documents

Publication Publication Date Title
US20220217491A1 (en) User Experience Localizing Binaural Sound During a Telephone Call
JP5456832B2 (en) Apparatus and method for determining relevance of an input utterance
TW201923737A (en) Interactive Method and Device
US10642569B2 (en) Methods and devices for identifying object in virtual reality communication, and virtual reality equipment
US9949056B2 (en) Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene
US9274744B2 (en) Relative position-inclusive device interfaces
CN109571499A (en) A kind of intelligent navigation leads robot and its implementation
TW202105331A (en) Human body key point detection method and device, electronic device and storage medium
TW201923759A (en) Sound processing method and interactive device
KR102463806B1 (en) Electronic device capable of moving and method for operating thereof
WO2019206186A1 (en) Lip motion recognition method and device therefor, and augmented reality device and storage medium
JP2007147762A (en) Speaker predicting device and speaker predicting method
CN108734083A (en) Control method, device, equipment and the storage medium of smart machine
JP2009166184A (en) Guide robot
CN106792341A (en) A kind of audio-frequency inputting method, device and terminal device
KR102415552B1 (en) Display device
CN110096251B (en) Interaction method and device
JP7279646B2 (en) Information processing device, information processing method and program
CN112995566A (en) Sound source positioning method based on display equipment, display equipment and storage medium
CN112286364A (en) Man-machine interaction method and device
US20130308829A1 (en) Still image extraction apparatus
WO2021230180A1 (en) Information processing device, display device, presentation method, and program
JP2018060322A (en) Voice interactive device and control method thereof
JP7334536B2 (en) Information processing device, information processing method, and program
CN108140124A (en) Prompt information determination method and device, electronic equipment and computer program product

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211210

R150 Certificate of patent or registration of utility model

Ref document number: 6993802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150