JP6671577B2 - 人を識別する自律行動型ロボット - Google Patents
人を識別する自律行動型ロボット Download PDFInfo
- Publication number
- JP6671577B2 JP6671577B2 JP2018549031A JP2018549031A JP6671577B2 JP 6671577 B2 JP6671577 B2 JP 6671577B2 JP 2018549031 A JP2018549031 A JP 2018549031A JP 2018549031 A JP2018549031 A JP 2018549031A JP 6671577 B2 JP6671577 B2 JP 6671577B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- user
- master
- moving object
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims description 254
- 230000033001 locomotion Effects 0.000 claims description 132
- 238000003384 imaging method Methods 0.000 claims description 33
- 230000007246 mechanism Effects 0.000 claims description 30
- 239000000284 extract Substances 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 7
- 230000001755 vocal effect Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 description 74
- 238000000034 method Methods 0.000 description 48
- 238000004891 communication Methods 0.000 description 37
- 230000008451 emotion Effects 0.000 description 35
- 230000006399 behavior Effects 0.000 description 29
- 238000012545 processing Methods 0.000 description 26
- 230000004044 response Effects 0.000 description 26
- 238000013500 data storage Methods 0.000 description 25
- 238000007689 inspection Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 238000007726 management method Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 210000003128 head Anatomy 0.000 description 15
- 238000012360 testing method Methods 0.000 description 15
- 235000019645 odor Nutrition 0.000 description 13
- 206010037180 Psychiatric symptoms Diseases 0.000 description 9
- 238000000605 extraction Methods 0.000 description 9
- 210000001508 eye Anatomy 0.000 description 9
- 230000003542 behavioural effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 6
- 230000002349 favourable effect Effects 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 230000036760 body temperature Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000004791 biological behavior Effects 0.000 description 3
- 229920005989 resin Polymers 0.000 description 3
- 239000011347 resin Substances 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 238000009423 ventilation Methods 0.000 description 3
- 206010041243 Social avoidant behaviour Diseases 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 230000035876 healing Effects 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 235000019615 sensations Nutrition 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 206010048909 Boredom Diseases 0.000 description 1
- 241000766023 Coregonus oxyrinchus Species 0.000 description 1
- JOYRKODLDBILNP-UHFFFAOYSA-N Ethyl urethane Chemical compound CCOC(N)=O JOYRKODLDBILNP-UHFFFAOYSA-N 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 229920006311 Urethane elastomer Polymers 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 229920001971 elastomer Polymers 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003724 hair brightness Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003989 repetitive behavior Effects 0.000 description 1
- 208000013406 repetitive behavior Diseases 0.000 description 1
- 239000005060 rubber Substances 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000007779 soft material Substances 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H11/00—Self-movable toy figures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Social Psychology (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Toys (AREA)
- Image Analysis (AREA)
Description
したがって、人間的・生物的な行動を表現できるロボットであれば、特に、相手に応じて行動を変化させるロボットであれば、ロボットへの共感を大きく高めることができると考えられる。
認識部は、移動物体にロボットが抱え上げられたときの撮像画像をマスタ画像として設定し、マスタ画像から抽出される特徴ベクトルに基づいて移動物体の判別基準を設定する。
認識部は、タッチが検出されたときの撮像画像をマスタ画像として設定し、マスタ画像から抽出される特徴ベクトルに基づいて移動物体の判別基準を設定する。
認識部は、移動物体がロボットに対して所定の相対地点に位置したことを契機として撮像した画像をマスタ画像として設定し、マスタ画像から抽出される特徴ベクトルに基づいて移動体の判別基準を設定する。
このプログラムは、移動物体にロボットが抱え上げられたときの移動物体の撮像画像をマスタ画像として設定する機能と、マスタ画像から抽出される特徴ベクトルに基づいて移動物体の判別基準を設定する機能と、移動物体の撮像画像から抽出される特徴ベクトルに基づいて移動物体を判別する機能と、をロボットに発揮させる。
移動物体にロボットがタッチされたときの移動物体の撮像画像をマスタ画像として設定する機能と、マスタ画像から抽出される特徴ベクトルに基づいて移動物体の判別基準を設定する機能と、移動物体の撮像画像から抽出される特徴ベクトルに基づいて移動物体を判別する機能と、をロボットに発揮させる。
本実施形態におけるロボット100は、外部環境および内部状態に基づいて行動や仕草(ジェスチャー)を決定する自律行動型のロボットである。外部環境は、カメラやサーモセンサなど各種のセンサにより認識される。内部状態はロボット100の感情を表現するさまざまなパラメータとして定量化される。これらについては後述する。
図2に示すように、ロボット100のボディ104は、ベースフレーム308、本体フレーム310、一対の樹脂製のホイールカバー312および外皮314を含む。ベースフレーム308は、金属からなり、ボディ104の軸芯を構成するとともに内部機構を支持する。ベースフレーム308は、アッパープレート332とロアプレート334とを複数のサイドプレート336により上下に連結して構成される。複数のサイドプレート336間には通気が可能となるよう、十分な間隔が設けられる。ベースフレーム308の内方には、バッテリー118、制御回路342および各種アクチュエータが収容されている。
ロボットシステム300は、ロボット100、サーバ200および複数の外部センサ114を含む。家屋内にはあらかじめ複数の外部センサ114(外部センサ114a、114b、・・・、114n)が設置される。外部センサ114は、家屋の壁面に固定されてもよいし、床に載置されてもよい。サーバ200には、外部センサ114の位置座標が登録される。位置座標は、ロボット100の行動範囲として想定される家屋内においてx,y座標として定義される。
外部センサ114はロボット100の感覚器を補強するためのものであり、サーバ200はロボット100の頭脳を補強するためのものである。
もちろん、ロボット100が自らの位置座標を定期的にサーバ200に送信する方式でもよい。
感情マップ116は、サーバ200に格納されるデータテーブルである。ロボット100は、感情マップ116にしたがって行動選択する。図4に示す感情マップ116は、ロボット100の場所に対する好悪感情の大きさを示す。感情マップ116のx軸とy軸は、二次元空間座標を示す。z軸は、好悪感情の大きさを示す。z値が正値のときにはその場所に対する好感が高く、z値が負値のときにはその場所を嫌悪していることを示す。
ロボット100がどのような場所を好むかという定義は任意であるが、一般的には、小さな子どもや犬や猫などの小動物が好む場所を好意地点として設定することが望ましい。
ロボット100がどのような場所を嫌うかという定義も任意であるが、一般的には、小さな子どもや犬や猫などの小動物が怖がる場所を嫌悪地点として設定することが望ましい。
図4に示す感情マップ116が与えられた場合、ロボット100は好意地点(座標P1)に引き寄せられる方向、嫌悪地点(座標P2)から離れる方向に移動する。
ロボット100は、内部センサ128、通信機126、記憶装置124、プロセッサ122、駆動機構120およびバッテリー118を含む。駆動機構120は、上述した車輪駆動機構370を含む。プロセッサ122と記憶装置124は、制御回路342に含まれる。各ユニットは電源線130および信号線132により互いに接続される。バッテリー118は、電源線130を介して各ユニットに電力を供給する。各ユニットは信号線132により制御信号を送受する。バッテリー118は、リチウムイオン二次電池であり、ロボット100の動力源である。
上述のように、ロボットシステム300は、ロボット100、サーバ200および複数の外部センサ114を含む。ロボット100およびサーバ200の各構成要素は、CPU(Central Processing Unit)および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
ロボット100の機能の一部はサーバ200により実現されてもよいし、サーバ200の機能の一部または全部はロボット100により実現されてもよい。
サーバ200は、通信部204、データ処理部202およびデータ格納部206を含む。
通信部204は、外部センサ114およびロボット100との通信処理を担当する。データ格納部206は各種データを格納する。データ処理部202は、通信部204により取得されたデータおよびデータ格納部206に格納されるデータに基づいて各種処理を実行する。データ処理部202は、通信部204およびデータ格納部206のインタフェースとしても機能する。
ロボット100は、複数の動作パターン(モーション)を有する。手106を震わせる、蛇行しながらオーナーに近づく、首をかしげたままオーナーを見つめる、などさまざまなモーションが定義される。
以下、いつ、どのモーションを選ぶか、モーションを実現する上での各アクチュエータの出力調整など、ロボット100の行動制御に関わる設定のことを「行動特性」と総称する。ロボット100の行動特性は、モーション選択アルゴリズム、モーションの選択確率、モーションファイル等により定義される。
本実施形態におけるロボットシステム300は、後述のマスタ画像により身体的特徴を示す複数のパラメータを抽出し、このマスタ画像に基づいてユーザを識別する。以下、マスタ画像に基づいてユーザを識別する処理のことを「ユーザ識別処理」とよぶ。ユーザ識別処理の詳細は後述する。
位置管理部208は、ロボット100の位置座標を、図3を用いて説明した方法にて特定する。位置管理部208はユーザの位置座標もリアルタイムで追跡してもよい。
行動マップAを行動マップBの5倍重視するときには、座標R1の合計z値は4×5−1=19、座標R2の合計z値は3×5+3=18であるから、ロボット100は座標R1の方向に向かう。
人物認識部214は、ロボット100の内蔵カメラによる撮像画像から抽出された特徴ベクトルと、個人データ格納部218にあらかじめ登録されているユーザの特徴ベクトルと比較することにより、撮像されたユーザがどの人物に該当するかを判定する(ユーザ識別処理)。人物認識部214は、表情認識部230を含む。表情認識部230は、ユーザの表情を画像認識することにより、ユーザの感情を推定する。
なお、人物認識部214は、人物以外の移動物体、たとえば、ペットである猫や犬についてもユーザ識別処理を行う。
快・不快行為は、ユーザの応対行為が、生物として心地よいものであるか不快なものであるかにより判別される。たとえば、抱っこされることはロボット100にとって快行為であり、蹴られることはロボット100にとって不快行為である。肯定・否定反応は、ユーザの応対行為が、ユーザの快感情を示すものか不快感情を示すものであるかにより判別される。たとえば、抱っこされることはユーザの快感情を示す肯定反応であり、蹴られることはユーザの不快感情を示す否定反応である。
行動マップに移動目標地点や移動ルートが決定され、後述の各種イベントによりモーションが選択される。
ロボット100は、通信部142、データ処理部136、データ格納部148、内部センサ128および駆動機構120を含む。
通信部142は、通信機126(図5参照)に該当し、外部センサ114、サーバ200および他のロボット100との通信処理を担当する。データ格納部148は各種データを格納する。データ格納部148は、記憶装置124(図5参照)に該当する。データ処理部136は、通信部142により取得されたデータおよびデータ格納部148に格納されているデータに基づいて各種処理を実行する。データ処理部136は、プロセッサ122およびプロセッサ122により実行されるコンピュータプログラムに該当する。データ処理部136は、通信部142、内部センサ128、駆動機構120およびデータ格納部148のインタフェースとしても機能する。
ロボット100のモーション格納部160には、サーバ200のモーション格納部232から各種モーションファイルがダウンロードされる。モーションは、モーションIDによって識別される。前輪102を収容して着座する、手106を持ち上げる、2つの前輪102を逆回転させることで、あるいは、片方の前輪102だけを回転させることでロボット100を回転行動させる、前輪102を収納した状態で前輪102を回転させることで震える、ユーザから離れるときにいったん停止して振り返る、などのさまざまなモーションを表現するために、各種アクチュエータ(駆動機構120)の動作タイミング、動作時間、動作方向などがモーションファイルにおいて時系列定義される。
ロボット100の動作制御部150は、サーバ200の動作制御部222と協働してロボット100のモーションを決める。一部のモーションについてはサーバ200で決定し、他のモーションについてはロボット100で決定してもよい。また、ロボット100がモーションを決定するが、ロボット100の処理負荷が高いときにはサーバ200がモーションを決定するとしてもよい。サーバ200においてベースとなるモーションを決定し、ロボット100において追加のモーションを決定してもよい。モーションの決定処理をサーバ200およびロボット100においてどのように分担するかはロボットシステム300の仕様に応じて設計すればよい。
認識部156は、内蔵の全天球カメラにより定期的に外界を撮像し、人やペットなどの移動物体を検出する。認識部156が移動物体の撮像画像から抽出した特徴ベクトルはサーバ200に送信され、サーバ200の人物認識部214はユーザを識別する。ロボット100の認識部156は、ユーザの匂いやユーザの声も検出する。匂いや音(声)は既知の方法にて複数種類に分類される。
まとめると、ロボット100は内部センサ128によりユーザの行為を物理的情報として取得し、動作検出部152は「抱え上げ」「抱え下ろし」等の行為を判定し、サーバ200の応対認識部228は快・不快を判定し、サーバ200の認識部212は特徴ベクトルに基づくユーザ識別処理を実行する。
(1)親密度が非常に高いユーザ
ロボット100は、ユーザに近づき(以下、「近接行動」とよぶ)、かつ、人に好意を示す仕草としてあらかじめ定義される愛情仕草を行うことで親愛の情を強く表現する。
(2)親密度が比較的高いユーザ
ロボット100は、近接行動のみを行う。
(3)親密度が比較的低いユーザ
ロボット100は特段のアクションを行わない。
(4)親密度が特に低いユーザ
ロボット100は、離脱行動を行う。
ロボット100は、丸く、やわらかく、手触りのよいボディ104と適度な重量を有し、かつ、タッチを快行為と認識するため、ロボット100を抱っこしたいという感情をユーザに抱かせやすい。ロボット100は、この関わりたいという気持ちを抱かせることをユーザ識別処理に応用している。
以下、撮像画像から特徴ベクトルを抽出する処理のことを「ベクトル抽出処理」とよぶ。
マスタ情報224は、応対認識部228に格納される。図8においては、ユーザID=01のユーザ(以下、「ユーザ(01)」のように表記する)に3つのマスタベクトルが対応づけられている。ユーザ(01)の正面だけでなく、右側面や左側面などの横顔からもマスタ画像が取得される。このため、複数角度、複数距離からユーザを撮像することにより、一人の登録ユーザに対して複数のマスタベクトルが対応づけられる。マスタベクトルは、マスタIDにより識別される。マスタベクトル(01)はユーザ(01)の顔を正面から撮像したときのマスタ画像から抽出され、マスタベクトル(02)はユーザ(01)の顔を右側から撮像したときのマスタ画像から抽出される。
動作検出部152は、未知ユーザAに抱っこされたときマスタ画像を取得する。人物認識部214は、未知ユーザAのマスタ画像から抽出されたマスタベクトル(01)にユーザID=01を対応づけてマスタ情報224に記録する。このとき、人物認識部214はマスタベクトル(01)の取得日時も記録する。以上の処理により、未知ユーザAは登録ユーザ(01)としてマスタ情報224に登録される。図8においては、マスタベクトル(01)は、2016年6月7日に取得されている。
人物認識部214は、マスタベクトルMXとマスタベクトル(01)のベクトル距離が所定距離以上であれば、未知ユーザXはユーザ(01)とは異なると判定する。特徴ベクトルの距離は、ユークリッド距離として計算してもよいし、チェビシェフ距離など他の定義に基づく距離計算であってもよい。人物認識部214は、未知ユーザXを新たな登録ユーザ(02)としてマスタ情報224に登録するとともに、ユーザXにユーザID=02を割り当て、マスタベクトルMXにマスタID=04を割り当てる。以上の処理により、マスタ情報224にはユーザ(01)およびユーザ(02)の二人が登録される。
マスタベクトルMXとマスタベクトル(01)の距離が所定距離未満であれば、人物認識部214は、未知ユーザXと登録ユーザ(01)は同一人物であると判定する。人物認識部214は、マスタベクトルMXにマスタID=02を設定して、ユーザ(01)に対応づける。ユーザ(01)のマスタベクトルは2つとなり、ユーザ(01)を識別するための情報が充実する。
図9および図10では、ユーザ識別処理の原理を図解するため、特徴ベクトルに含まれるベクトル成分のうち、2つのベクトル成分a,bを対象として説明する。3つ以上のベクトル成分を有するときにも処理方法は同じである。
図9においては、登録ユーザAおよび登録ユーザBそれぞれについて、マスタベクトルMAとマスタベクトルMBが1つずつ抽出されている。マスタベクトルMA=(a1,b1)、マスタベクトルMB=(a2,b2)である。このような状況において、ロボット100が正面から歩いてくる未知ユーザXの撮像画像(検査画像)を取得したとする。認識部156は、検査画像に映る未知ユーザXが登録ユーザA,Bのいずれであるかを判定する。抱っこされているわけではないので、未知ユーザXの検査画像から得られる特徴ベクトル(検査ベクトル)は、通常、マスタベクトルほどの精度を有さない。
図10においては、登録ユーザAおよび登録ユーザBそれぞれについて、複数のマスタベクトルが抽出されている。人物認識部214は、登録ユーザAの重心ベクトルMB(A)および登録ユーザBの重心ベクトルMB(B)を算出する。このような状況において、ロボット100が、正面から歩いてくる未知ユーザXの撮像画像(検査画像)を取得したとする。認識部156は、検査画像に映る未知ユーザXが登録ユーザA,Bのいずれであるかを判定する。
ロボット100の動作検出部152がロボット100の抱え上げを検出したとき、図11のベクトル抽出処理が実行される。動作制御部150は、抱え上げが検出されたとき、所定の誘導モーションを実行する(S10)。誘導モーションは、ユーザを注目させるためにあらかじめ定義されたモーションである。具体的には、手106を振る、ボディ104を揺らす、頭部フレーム316をユーザに向ける、頭部フレーム316を上下または左右に揺らすなどの非言語モーションが想定される。誘導モーションは機械的なモーションに限らない。動作制御部150は有機EL素子により目110に「瞳」を映像表示させる。動作制御部150は、瞳画像を大きくすることで瞳を見開く、瞳を揺らす、ウィンクさせるなどの画像制御を指示してもよい。
ロボット100が床面Fに降ろされたあとも、更に、撮像制御部154はカメラ134(全天球カメラ)によりユーザを追跡する。図12に示す天球撮像範囲418は、全天球カメラによる撮像範囲である。全天球カメラは、ロボット100の上方半球略全域を一度に撮像可能である。ロボット100の認識部156は、第1マスタベクトルを抽出したあともユーザを所定期間、たとえば、10秒程度は天球撮像範囲418において追跡する。撮像制御部154は、追跡中に、さまざまな角度、さまざまな距離からユーザのマスタ画像を撮像する。たとえば、髪の長さ、腰の細さなどはユーザから離れないと得られない情報である。認識部156は、追跡中に得られるマスタ画像からさまざまな第2マスタベクトルを抽出することにより、マスタベクトルを充実させる。これらの第2マスタベクトルは第1マスタベクトルと対応づけて管理される。天球撮像範囲418においてユーザを画像上で追跡するだけでなく、動作制御部150はユーザについていく、ユーザの周りを動き回るなどの追跡行動を実行させてもよい。そして、追跡行動中にも撮像制御部154はユーザを撮像することにより、マスタベクトルを充実させてもよい。追跡行動は、動作制御部150が指示してもよいし、サーバ200の動作制御部222が動作制御部150に指示してもよい。
撮像制御部154は、抱っこやタッチだけではなく、ユーザがロボット100に対して所定の相対地点に位置したときマスタ候補画像を撮像する。ここでいう相対地点とは、ユーザとロボット100の距離および相対角度の双方を含む。測距部158は、天球撮像範囲418において認識された1以上のユーザに対して定期的に測距する。図13においては、ロボット100は、ユーザの正面方向に対して水平角a、ユーザの顔の位置に対して仰角b、ユーザからの距離rの相対地点に位置している。ユーザの体の向きは認識部156が画像認識により判定する。撮像制御部154は、距離、水平角および仰角が所定範囲(以下、「マスタショット範囲」とよぶ)にあるとき、マスタ候補画像を撮像する。認識部156は、マスタ候補画像を品質検査し、合格であればマスタベクトルを抽出する。
顔認識技術では、「正面を向いてください」「カメラを見つめてください」などの言語指示をユーザに与えた上で、マスタ画像を取得することが多い。このような音声や文字などの言語指示は、ユーザの負担になりやすい。また、マスタ画像を取得するための言語指示は、ロボット100の非生物性をユーザに意識させてしまうという点でも望ましくない。本実施形態におけるロボット100は、ユーザがロボット100を抱っこしたタイミングで、さりげなくマスタ画像を取得できる。ロボット100は、小さい、柔らかい、軽い、丸い、といった人間が触りたくなる形状を有する。ユーザになんらかの行動を強いるのではなく、ユーザが自然に「抱っこ」したタイミングを捉えて、高品質のマスタ画像を取得できる。抱っこやタッチをしたくなる気持ちを刺激するというロボット100の特性を生かすことで、マスタ画像をさりげなく取得できる。
Claims (9)
- カメラを制御する撮像制御部と、
移動物体の撮像画像から抽出される特徴ベクトルに基づいて移動物体を判別する認識部と、
判別結果に応じて、ロボットのモーションを選択する動作選択部と、
前記動作選択部により選択されたモーションを実行する駆動機構と、
移動物体によるロボットの抱え上げを検出する動作検出部と、を備え、
前記認識部は、前記移動物体にロボットが抱え上げられたときの撮像画像をマスタ画像として設定し、前記マスタ画像から抽出される特徴ベクトルに基づいて移動物体の判別基準を設定することを特徴とする自律行動型ロボット。 - 前記認識部は、前記移動物体を複数の角度から撮像した複数の撮像画像をマスタ画像として設定することを特徴とする請求項1に記載の自律行動型ロボット。
- 前記動作選択部は、所定の誘導モーションを前記駆動機構に実行させ、
前記撮像制御部は、前記誘導モーションの実行を契機として前記移動物体のマスタ画像を撮像することを特徴とする請求項1または2に記載の自律行動型ロボット。 - 前記誘導モーションは、非言語モーションであることを特徴とする請求項3に記載の自律行動型ロボット。
- 前記認識部は、更に、前記移動物体にロボットが抱え下ろされるときの撮像画像もマスタ画像として設定することを特徴とする請求項1に記載の自律行動型ロボット。
- 前記動作選択部は、前記移動物体にロボットが抱え下ろされたあとに前記移動物体を追跡するモーションを選択させ、
前記撮像制御部は、追跡時に前記移動物体のマスタ画像を撮像することを特徴とする請求項1に記載の自律行動型ロボット。 - 前記撮像制御部は、前記移動物体にロボットが抱え下ろされたあとも前記移動物体を追跡し、所定のタイミングにて前記移動物体の第2のマスタ画像を撮像し、
前記認識部は、前記移動物体にロボットが抱え上げられたときに取得される第1のマスタ画像と前記第2のマスタ画像を対応づけて、前記移動物体に関する複数の特徴ベクトルを抽出することを特徴とする請求項1に記載の自律行動型ロボット。 - 前記認識部は、移動物体の撮像画像および音声情報の双方から抽出される特徴ベクトルに基づいて移動物体を判別し、前記マスタ画像の取得に際しては前記移動物体から音声情報も取得し、前記マスタ画像および前記音声情報から抽出される特徴ベクトルに基づいて移動物体の判別基準を設定することを特徴とする請求項1に記載の自律行動型ロボット。
- ロボットによる物体認識のためのコンピュータプログラムであって、
移動物体にロボットが抱え上げられたときの移動物体の撮像画像をマスタ画像として設定する機能と、
前記マスタ画像から抽出される特徴ベクトルに基づいて移動物体の判別基準を設定する機能と、
移動物体の撮像画像から抽出される特徴ベクトルに基づいて移動物体を判別する機能と、をロボットに発揮させることを特徴とする行動制御プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016216912 | 2016-11-07 | ||
JP2016216912 | 2016-11-07 | ||
PCT/JP2017/039505 WO2018084170A1 (ja) | 2016-11-07 | 2017-11-01 | 人を識別する自律行動型ロボット |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018084170A1 JPWO2018084170A1 (ja) | 2019-02-28 |
JP6671577B2 true JP6671577B2 (ja) | 2020-03-25 |
Family
ID=62075945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018549031A Active JP6671577B2 (ja) | 2016-11-07 | 2017-11-01 | 人を識別する自律行動型ロボット |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6671577B2 (ja) |
WO (1) | WO2018084170A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3077128A1 (en) * | 2017-09-26 | 2019-04-04 | Nissan Motor Co., Ltd. | Driving assistance method and driving assistance device |
CN108960841A (zh) | 2018-07-16 | 2018-12-07 | 阿里巴巴集团控股有限公司 | 支付方法、装置及*** |
JP7172321B2 (ja) * | 2018-09-12 | 2022-11-16 | トヨタ自動車株式会社 | 運転評価装置、運転評価システム、運転評価方法、及び運転評価用コンピュータプログラム |
JP7415956B2 (ja) | 2019-01-31 | 2024-01-17 | ソニーグループ株式会社 | ロボットの制御装置、ロボットの制御方法、及びプログラム |
JP7024754B2 (ja) * | 2019-03-25 | 2022-02-24 | カシオ計算機株式会社 | 制御装置、ロボット、制御方法およびプログラム |
CN112720527B (zh) * | 2020-12-25 | 2024-04-09 | 航天科工深圳(集团)有限公司 | 音乐舞蹈自编程机器人 |
WO2024014824A1 (ko) * | 2022-07-11 | 2024-01-18 | 한양대학교 에리카산학협력단 | 음성 인식을 이용한 신분 증명 기반의 펫 로봇 장치 및 그 동작 방법 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3823760B2 (ja) * | 2001-05-28 | 2006-09-20 | 日本電気株式会社 | ロボット装置 |
JP2003205179A (ja) * | 2002-01-10 | 2003-07-22 | Fuji Photo Film Co Ltd | ペット型ロボット |
JP3942586B2 (ja) * | 2003-12-02 | 2007-07-11 | 株式会社国際電気通信基礎技術研究所 | コミュニケーションロボット |
JP4303602B2 (ja) * | 2004-01-09 | 2009-07-29 | 本田技研工業株式会社 | 顔面像取得システム |
JP2007220004A (ja) * | 2006-02-20 | 2007-08-30 | Funai Electric Co Ltd | テレビおよび認証装置 |
US8909370B2 (en) * | 2007-05-08 | 2014-12-09 | Massachusetts Institute Of Technology | Interactive systems employing robotic companions |
JP6058978B2 (ja) * | 2012-11-19 | 2017-01-11 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラム |
-
2017
- 2017-11-01 WO PCT/JP2017/039505 patent/WO2018084170A1/ja active Application Filing
- 2017-11-01 JP JP2018549031A patent/JP6671577B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018084170A1 (ja) | 2018-05-11 |
JPWO2018084170A1 (ja) | 2019-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6671577B2 (ja) | 人を識別する自律行動型ロボット | |
JP6494062B2 (ja) | 音源の方向を認識する自律行動型ロボット | |
US11285614B2 (en) | Autonomously acting robot that understands physical contact | |
JP7068709B2 (ja) | 瞳を変化させる自律行動型ロボット | |
JP6402320B2 (ja) | 人見知りする自律行動型ロボット | |
JP6472113B2 (ja) | 自然な距離感を保つ自律行動型ロボットおよびプログラム | |
JP6884401B2 (ja) | 服を着る自律行動型ロボット | |
JP6409209B2 (ja) | 涼しさを求める自律行動型ロボット | |
JP7236142B2 (ja) | 自律行動型ロボット | |
JP7055402B2 (ja) | ゲストを受け入れる自律行動型ロボット | |
JP2019214119A (ja) | ロボットの関節に好適なジョイント構造 | |
JPWO2018207908A1 (ja) | ロボット、装身具及びロボット制御プログラム | |
JP2018192559A (ja) | 曲面形状のボディに対するタッチを検出する自律行動型ロボット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A527 Effective date: 20180905 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180925 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180925 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191015 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6671577 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
RG99 | Written request for provisional registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313G99 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |