JP2006192563A - 識別対象識別装置およびそれを備えたロボット - Google Patents

識別対象識別装置およびそれを備えたロボット Download PDF

Info

Publication number
JP2006192563A
JP2006192563A JP2005352879A JP2005352879A JP2006192563A JP 2006192563 A JP2006192563 A JP 2006192563A JP 2005352879 A JP2005352879 A JP 2005352879A JP 2005352879 A JP2005352879 A JP 2005352879A JP 2006192563 A JP2006192563 A JP 2006192563A
Authority
JP
Japan
Prior art keywords
identification
unit
information
data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005352879A
Other languages
English (en)
Other versions
JP4460528B2 (ja
Inventor
Takahiro Ohashi
孝裕 大橋
Naohide Ogawa
直秀 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2005352879A priority Critical patent/JP4460528B2/ja
Priority to US11/301,114 priority patent/US7769203B2/en
Priority to EP05027372A priority patent/EP1672456B1/en
Publication of JP2006192563A publication Critical patent/JP2006192563A/ja
Application granted granted Critical
Publication of JP4460528B2 publication Critical patent/JP4460528B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

【課題】識別対象を正確に識別することができる識別対象識別装置およびこの装置を備えたロボットを提供する。
【解決手段】少なくともカメラと外部に存在する識別対象に設けたRFIDタグとにより識別対象を識別する識別対象識別装置であって、RFIDタグに記憶された識別番号を読み取る対象検知部70と、カメラによって撮像された識別対象の顔画像情報を抽出する顔認識部11cと、顔認識部11cで認識された顔画像データと識別対象の固有の顔画像データとを比較照合することにより、撮像した識別対象を識別する顔識別部43と、少なくとも顔識別部43で識別された人物の識別番号と対象検知部70で読み取られた識別番号とに基づいて、識別対象の識別番号を決定するオブジェクトデータ統合部45とを備える。
【選択図】図6

Description

本発明は、識別対象を識別する識別対象識別装置に関するものである。より詳細には、識別対象である人物の顔データと、その人物が身に付けているRFIDタグのデータに基づいて対象人物を識別する識別対象識別装置およびこの識別対象識別装置を備えるロボットに関するものである。
従来、対象人物が身に付けているRFIDタグのデータに基づいて対象人物を認識するロボットが知られている(例えば、特許文献1参照)。この特許文献1に記載のロボットは、RFIDタグをリード可能な距離に近づいてきた人物を認識して、その人物に応じた行動をとる。この場合、RFIDタグには、識別番号と、「飼い主」や「他人」といった自己との関係性とがデータとして記録されている。そして、「飼い主」のデータを記録したRFIDタグを身に付けた人物がロボットに近づいてくると、ロボットは、この人物を「飼い主」と認識し、例えば「立ちあがる」行動を起こす。また、「他人」のデータを記録したRFIDタグを身に付けた人物が、このロボットに近づいてくると、ロボットは、この人物を「他人」と認識し、例えば「後ずさりする」行動を起こす。つまり、RFIDタグに、目的とする人物を探し当てたときの行動を規定する情報(関係性)が含まれており、異なる関係性のデータが記録されたRFIDは、異なる指令を実行するために供されている。
特開2004−160630号公報(段落0101〜0112、図19、20)
しかしながら、ロボットと人物との間でコミュニケーションがなされる場合のロボットと人物との間の距離(数cm〜数m)によっては、電波が微弱なために、このRFIDタグの送信データが誤検出されることがあり、このために人物を識別できないという問題がある。
そこで、本発明では、前記した従来の問題を解決し、識別対象を正確に識別することができる識別対象識別装置およびこの装置を備えたロボットを提供することを目的としている。
本発明は、前記目的を達成するために創案されたものであり、本発明のうち請求項1に記載の発明は、少なくともカメラと外部に存在する識別対象に設けた無線タグとにより識別対象を識別する識別対象識別装置であって、無線タグに記憶された識別情報を読み取る読取手段と、カメラによって撮像された識別対象の画像情報を抽出する画像処理手段と、画像処理手段で抽出された画像情報と識別対象の固有の画像情報とを比較照合することにより、撮像した識別対象を識別する画像対応識別手段と、少なくとも画像対応識別手段で識別された識別情報と読取手段で読み取られた識別情報とに基づいて、識別対象の識別情報を決定する識別対象決定手段と、を備えることを特徴とする。
ここで、識別対象は、例えば人物または物体であり、静止中または移動中であってもよい。また、画像情報は、例えば画像の比較対照に用いるために画像から抽出された特徴パラメータを含む。かかる構成によれば、識別対象識別装置は、画像対応識別手段によって、無線タグを設けていない識別対象も識別することができ、読取手段によって、カメラの視野にいない識別対象も識別することができる。したがって、識別対象決定手段は、画像対応識別手段と読取手段の一方でしか識別できない状況においても識別対象を決定することができる。また、識別対象識別装置は、識別対象決定手段によって、識別対象の外観と無線タグに記憶された識別情報とが一致しない場合には、例えば、画像対応識別手段で識別された識別情報と読取手段で読み取られた識別情報のいずれか一方を正しい識別情報であると予め決定しておくようにしてもよい。
請求項2に記載の発明は、請求項1に記載の識別対象識別装置であって、識別対象の発する音声から音源位置を抽出する音源定位抽出手段をさらに備え、識別対象決定手段は、画像対応識別手段で識別された識別情報と、読取手段で読み取られた識別情報と、音源定位抽出手段で抽出された音源位置とに基づいて、識別対象の識別情報を決定する、ことを特徴とする。
請求項2に記載の発明によれば、識別対象識別装置は、音源定位抽出手段によって、識別対象の発する音声から音源位置を抽出する。この音源位置を用いれば、例えば、識別対象が画像処理手段のカメラの視野内から視野外に移動した場合などにおいて、視野外における識別対象の位置を予測する際に位置の補正などに用いることができる。
請求項3に記載の発明は、請求項1または請求項2に記載の識別対象識別装置であって、読取手段で読み取られた識別情報の確度を算出する確度算出手段をさらに備え、画像対応識別手段は、識別した識別情報の確度を算出し、識別対象決定手段は、1つの識別対象に対して画像対応識別手段で識別された識別情報と、読取手段で読み取られた識別情報とが異なる場合に、画像対応識別手段で算出された確度と、確度算出手段で算出された確度とに基づいて、識別対象の識別情報を決定する、ことを特徴とする。
請求項3に記載の発明によれば、画像対応識別手段は、所定の確度を以って識別対象を識別する。この確度は、例えば、識別対象の固有の画像から抽出される特徴パラメータに基づいて算出される類似度またはこの類似度に基づいて算出されるものである。また、確度算出手段は、読取手段で読み取られた識別情報の確度を算出する場合、例えば、読取手段で識別情報を読み取ってからの経過時間に基づいて確度を算出する。そして、識別対象決定手段は、1つの識別対象に対して画像対応識別手段で識別された識別情報と、読取手段で読み取られた識別情報とが異なる場合に、確度の高い方を識別対象の識別情報として決定する。なお、この場合、確度が等しければいずれか一方を優先するように予め設定しておくことができる。
請求項4に記載の発明は、請求項1乃至請求項3のいずれか一項に記載の識別対象識別装置であって、前記画像処理手段で抽出した識別対象の位置情報と、識別対象決定手段で決定された識別情報とを、時刻別かつ識別対象別に記憶する識別対象情報記憶手段をさらに備える、ことを特徴とする。
請求項4に記載の発明によれば、識別対象情報記憶手段は、画像処理手段で抽出した識別対象の位置情報と、識別対象決定手段で決定された識別情報を時刻別かつ識別対象別に記憶するので、この識別対象情報記憶手段を参照することにより、複数の識別対象を追跡、管理することができる。例えば時々刻々と移動する識別対象の位置を予測することも可能となる。
請求項5に記載の発明は、請求項1乃至請求項3のいずれか一項に記載の識別対象識別装置であって、前記識別対象を特定する識別情報に対応付けられた画像情報を格納する1以上のデータベースをさらに備え、前記画像対応識別手段は、前記識別対象の固有の画像情報として、前記1以上のデータベースから画像情報を取得する画像情報取得手段と、この画像情報取得手段で取得された1以上の画像情報と、前記画像処理手段で抽出された画像情報とを比較照合し、この比較照合結果に基づいて、前記取得した1以上の画像情報に対応付けられた識別情報に順位付けをして、前記順位付けをした識別情報を前記撮像された識別対象の候補として識別する撮像画像候補識別手段とを備えることを特徴とする。
請求項5に記載の発明によれば、画像対応識別手段は、前記した比較照合結果に基づいて、画像情報取得手段で取得した画像情報に対応付けられた1以上の識別情報に順位付けをするので、画像処理手段で1以上の識別対象の画像情報が抽出された場合に、その1以上の識別対象の候補として、前記1以上の識別情報を割り当てることができる。その結果、画像情報が抽出された複数の識別対象を正確に識別することができる。
請求項6に記載の発明は、請求項5に記載の識別対象識別装置であって、前記無線タグの位置情報を検知する検知手段と、前記前記撮像画像候補識別手段で識別された識別対象
の位置情報と、前記画像対応識別手段で順位付けされた識別情報と、前記読取手段で読み取られた識別情報と、前記識別対象決定手段で決定された識別情報とを、時刻別かつ前記識別対象別に記憶する識別対象情報記憶手段とをさらに備え、前記画像対応識別手段は、前記画像処理手段で抽出された画像情報から特定される識別対象の位置情報に基づいて、前記識別対象情報記憶手段から、前記読取手段で読み取られた識別情報を1以上取得する読取識別情報取得手段をさらに備え、前記画像情報取得手段は、この読取識別情報取得手段で取得した識別情報に対応付けられた画像情報を、前記識別対象の固有の画像情報として取得することを特徴とする。
請求項6に記載の発明によれば、識別対象情報記憶手段が、1つの識別対象に対して、読取手段で読み取られた識別情報を複数記憶することができる、この場合には、画像対応識別手段は、読取識別情報取得手段によって、画像処理手段で抽出された1つの識別対象に対して、複数の識別情報を取得する。そして、画像対応識別手段は、画像情報取得手段によって、読取識別情報取得手段で取得した複数の識別情報にそれぞれ対応付けられた複数の画像情報を取得する。したがって、画像対応識別手段は、画像処理手段で抽出された画像情報と比較照合すべき適切な画像情報を効率よく取得できる。
請求項7に記載の発明は、請求項6に記載の識別対象識別装置であって、前記画像対応識別手段は、識別対象情報記憶手段から、前記読取手段で読み取られた識別情報をすべて取得し、取得した識別情報を、前記撮像された識別対象の識別情報から成る第1のグループと、前記撮像された識別対象の識別情報以外の識別情報から成る第2のグループとに分けるグループ作成手段をさらに備え、前記画像情報取得手段は、このグループ作成手段で分けられたグループに属する識別情報ごとに、前記グループに属する識別情報に対応付けられた画像情報を、前記識別対象の固有の画像情報として取得し、前記撮像画像候補識別手段は、前記画像情報取得手段で取得された画像情報と、前記画像処理手段で抽出された画像情報とを、前記グループ作成手段で分けられたグループごとに比較照合することを特徴とする。
請求項7に記載の発明によれば、識別対象情報記憶手段は、複数の識別対象に対して、読取手段で読み取られた識別情報をそれぞれ記憶することができる。この場合には、画像対応識別手段は、グループ作成手段によって、複数の識別対象を第1のグループと第2のグループとに分ける。そして、画像対応識別手段は、画像情報取得手段によって、各グループに属する識別情報ごとに、当該識別情報に対応付けられた画像情報を取得する。そして、画像対応識別手段は、撮像画像候補識別手段によって、画像情報取得手段で取得された画像情報と、画像処理手段で抽出された画像情報とをグループごとに比較照合する。ここで、第1のグループだけを用いても、撮像された識別対象の識別が可能な場合もある。ただし、識別対象情報記憶手段から取得された識別情報は、読取手段で読み取られた識別情報なので、読取誤差が含まれている可能性がある。しかしながら、グループ作成手段は、第2のグループも作成するので、たとえ第1のグループに読み取り誤差が含まれていたとしても、その影響を除去することが可能となる。
請求項8に記載の発明は、請求項1乃至請求項7のいずれか一項に記載の識別対象識別装置を備えたロボットであって、外部からの指令に基づいて所定の行動を行うと共に、識別対象識別装置で識別された識別情報で特定される識別対象に応じて、自律的に行動を制御可能であることを特徴とする。
請求項8に記載の発明によれば、ロボットは、近づいてくる識別対象を識別するだけではなく、例えば歩行により移動して識別対象に近づいて、識別対象が指令された対象かどうかを判定し、指令された対象であれば、指令内容を実行することができる。これによれば、指令の内容を変更することで、同一の識別対象に対して、場面に応じた様々な行動を実行することができる。
請求項9に記載の発明は、請求項8に記載のロボットであって、指令の内容は、物品の配達を依頼する依頼者の識別情報および位置情報と、配達先である目的者の識別情報および位置情報を含み、所定の行動は、依頼者を探索して識別し、識別した依頼者から物品を受け取り、目的者を探索して識別し、識別した目的者に受け取った物品を渡す行動であることを特徴とする。
請求項9に記載の発明によれば、ロボットは、指令に基づいて、依頼者がいると考えられる位置で、検出した人物が依頼者かどうか識別し、目的者がいると考えられる位置で、検出した人物が目的者かどうか識別する。したがって、検出した人物が依頼者または目的者とは異なる別人であればこの指令を実行せず、正しければこの指令を実行する。その結果、このロボットは、配達動作を正確に実行できる。
請求項10に記載の発明は、請求項9に記載のロボットであって、依頼者または目的者を識別したときに、依頼者および目的者にそれぞれ固有の会話用データに基づく音声を出力する音声合成手段と、人物の音声を認識する音声認識手段と、をさらに備えることを特徴とする。
請求項10に記載の発明によれば、ロボットは、指令に基づいて検出した人物が、依頼者の場合は、例えば「荷物を渡して下さい」などと依頼者用の音声を出力し、目的者の場合は、例えば「荷物をお受け取り下さい」などと目的者用の音声を出力する。さらに、検出した人物について、識別対象システムの画像対応識別手段で識別された識別情報と、読取手段で読み取られた識別情報とが一致しない場合に、いずれか一方の識別情報に相当する人物名を挙げて本人かどうかを確認する音声を出力するようにしてもよい。この場合、この人物の回答を音声認識手段で認識するので、本人確認を正確に行うことができる。
請求項1に記載の発明によれば、識別対象識別装置は、識別対象の外観と無線タグに記憶された識別情報の一方しか識別できない状況においても識別対象を識別することができる。また、識別対象識別装置は、画像処理による識別と無線タグによる識別を両方とも行うことにより識別精度を向上させることができる。
請求項2に記載の発明によれば、識別対象識別装置は、識別対象が音声を発する場合に、音源位置を抽出することにより、例えば、識別対象がカメラの視野内から視野外に移動した場合などにおいて、視野外における識別対象の位置を予測する際に位置の補正などに用いることができる。
請求項3に記載の発明によれば、画像対応識別手段は、所定の確度を以って識別対象を識別し、確度算出手段は、読取手段で読み取られた識別情報の確度を算出するので、識別対象決定手段は、定量的に識別対象を識別することができる。
請求項4に記載の発明によれば、識別対象情報記憶手段は、画像処理手段で抽出した識別対象の位置情報と、識別対象決定手段で決定された識別情報を時刻別かつ識別対象別に記憶するので、この識別対象情報記憶手段を参照することにより、複数の識別対象を追跡、管理することができる。
請求項5に記載の発明によれば、1つの識別対象に対して、順位付けされた複数の識別情報を考慮するので、画像処理手段で複数の識別対象の画像情報が抽出された場合に、それぞれの識別対象を正確に識別することができる。
請求項6に記載の発明によれば、1つの識別対象に対して、読取手段で読み取られた識別情報が複数記憶されているときに、各識別情報に対応する画像情報を取得するので、画像処理手段で抽出された画像情報と比較照合すべき適切な画像情報を効率よく取得できる。
請求項7に記載の発明によれば、読み取られたすべての識別情報をグループ化して識別情報に対応する画像情報をグループごとに比較照合するので、仮に、識別対象情報記憶手段から取得された情報に、読取誤差が含まれていたとしても、その影響を除去することができる。
請求項8に記載の発明によれば、ロボットは、指令の内容を変更することで、同一の識別対象にして、場面に応じた様々な行動を実行することができる。
請求項9に記載の発明によれば、ロボットは、指令に基づいて、検出した人物が依頼者または目的者かどうか識別するので、配達動作を正確に実行できる。
請求項10に記載の発明によれば、ロボットは、指令に基づいて識別した人物が、依頼者の場合は依頼者用の音声を出力し、目的者の場合は目的者用の音声を出力するので、コミュニケーションを図りながら配達することができる。
[第1の実施形態]
<識別対象識別システムAの構成>
はじめに、本発明の第1の実施形態に係る識別対象識別装置を備える識別対象識別システムAの全体構成について図1を参照して説明する。
図1は、本発明の第1の実施形態に係る識別対象識別システムAのシステム構成図である。この識別対象識別システムAは、ロボットR(識別対象識別装置)の周辺領域に存在する識別対象D、例えばRFIDタグT(無線タグ)を装着した人物を、ロボットRのカメラ(図2参照)で撮像した画像情報と、RFIDタグTに記憶された人物を識別する識別番号(識別情報)とに基づいて、識別対象Dを識別するものである。
図1に示すように、識別対象識別システムAは、ロボットRと、このロボットRと無線通信によって接続された基地局1と、この基地局1とロボット専用ネットワーク2を介して接続された管理用コンピュータ3と、この管理用コンピュータ3にネットワーク4を介して接続された端末5と、識別対象D(人物)に設けられたRFIDタグTとから構成される。
この識別対象識別システムAにおいて、ロボットRは、当該ロボットRの周辺領域に存在する識別対象D、例えばRFIDタグTを装着した人物が誰であるのかという個人識別を行うものである。なお、ロボットRは複数存在するものとする(図では1体)。
管理用コンピュータ3は、基地局1、ロボット専用ネットワーク2を介してロボットRの移動・発話などの各種制御を行うと共に、ロボットRに対して必要な情報を提供するものである。ここで、必要な情報とは、識別対象Dの氏名や顔画像データの特徴パラメータ、ロボットRの周辺の地図(ローカル地図データ)、会話用データなどがこれに相当し、これらの情報は、当該管理用コンピュータ3に設けられた記憶手段(図示せず)に記憶されている。
ロボット専用ネットワーク2は、基地局1と、管理用コンピュータ3と、ネットワーク4とを接続するものであり、LANなどにより実現されるものである。
端末5は、ネットワーク4を介して管理用コンピュータ3に接続し、当該管理用コンピュータ3の記憶手段(図示せず)に、RFIDタグTに関する情報及び当該RFIDタグTを装着した人物(識別対象D)に関する情報などを登録する、若しくは登録されたこれらの情報を修正するものである。
そしてRFIDタグTとは、例えばICタグがこれに相当するが、本実施形態で使用するRFIDタグTの詳細は後記する。
以下、ロボットRの構成について詳細に説明する。
[ロボットR]
ロボットRは、図1に示すように、頭部R1、腕部R2、脚部R3を有した自律移動型の2足歩行ロボットである。頭部R1、腕部R2、脚部R3は、それぞれアクチュエータにより駆動され、自律移動制御部50(図2参照)により2足歩行の制御がなされる。この2足歩行についての詳細は、例えば特開2001−62760号公報に開示されている。なお、ロボットRの腕部R2の掌には図示しない圧力センサが設けられており、ロボットRは、手を開いた状態で掌に所定の押圧力を検出したときに手指を所定の角度に曲げて軽く握った状態に保持し、この軽く握った状態で所定の引張力を検出したときに手を開いて手指を元の角度に復元する。
図2は、ロボットRのブロック構成図である。図2に示すように、ロボットRは、前記した頭部R1、腕部R2、脚部R3に加えて、カメラC,C、スピーカS、マイクMC、画像処理部10、音声処理部20、記憶部30、制御部40、自律移動制御部50、無線通信部60、及び対象検知部(読取手段、検知手段)70を有する。さらに、ロボットRの位置を検出するため、ジャイロセンサSR1や、GPS受信器SR2を有している。なお、本実施形態では、ロボットRの自律移動制御部50以外の構成要素で本発明の第1の実施形態に係る識別対象識別装置が構成されている。
[カメラ]
カメラC,Cは、映像をデジタルデータとして取り込むことができるものであり、例えばカラーCCD(Charge-Coupled Device)カメラが使用される。カメラC,Cは、左右に平行に並んで配置され、撮影した画像は画像処理部10に出力される。このカメラC,Cと、スピーカS及びマイクMCは、いずれも頭部R1の内部に配設される。
[画像処理部]
画像処理部10(画像処理手段)は、カメラC,Cが撮影した画像を処理して、撮影された画像からロボットRの周囲の状況を把握するため、周囲の障害物や人物の認識を行う部分である。この画像処理部10は、ステレオ処理部11a、移動体抽出部11b、及び顔認識部11cを含んで構成される。
ステレオ処理部11aは、左右のカメラC,Cが撮影した2枚の画像の一方を基準としてパターンマッチングを行い、左右の画像中の対応する各画素の視差を計算して視差画像を生成し、生成した視差画像及び元の画像を移動体抽出部11bに出力する。なお、この視差は、ロボットRから撮影された物体までの距離を表すものである。
移動体抽出部11bは、ステレオ処理部11aから出力されたデータに基づき、撮影した画像中の移動体を抽出するものである。移動する物体(移動体)を抽出するのは、移動する物体は人物であると推定して、人物の認識をするためである。
移動体の抽出をするために、移動体抽出部11bは、過去の数フレーム(コマ)の画像を記憶しており、最も新しいフレーム(画像)と、過去のフレーム(画像)を比較して、パターンマッチングを行い、各画素の移動量を計算し、移動量画像を生成する。そして、視差画像と、移動量画像とから、カメラC,Cから所定の距離範囲内で、移動量の多い画素がある場合に、その位置に人物がいると推定し、その所定距離範囲のみの視差画像として、移動体を抽出し、顔認識部11cへ移動体の画像を出力する。
顔認識部11cは、抽出した移動体から肌色の部分を抽出して、その大きさ、形状などからカメラ画面上での顔の位置を認識し、顔画像データから特徴パラメータを求めて制御部40に出力するものである。なお、ロボットRの認識する座標平面上でのこの人物の位置座標(ボディ位置)も認識される。認識されたカメラ画面上での顔の位置およびボディ位置は、ロボットRが移動するときの情報として、また、その人とのコミュニケーションを取るため、制御部40に出力されると共に、無線通信部60に出力されて、基地局1を介して、管理用コンピュータ3に送信される。
この顔認識部11cは、例えば、撮影された物体との距離データに基づいて顔推定領域を拡大して基準画像を生成し、この基準画像に基づいて円形エッジとなる画素から左右の瞳候補を検出して、検出した瞳候補画像に正規化処理を加えた正規化画像をベクトル(参照用ベクトル)で表し、この参照用ベクトルに基づいて、いわゆる固有顔手法を利用して、正しい左右の瞳を求めて好適な顔領域(顔画像データ)を決定する。
[音声処理部]
音声処理部20は、音声合成部(音声合成手段)21aと、音声認識部(音声認識手段)21bと、音源定位部(音源定位抽出手段)21cとを有する。
音声合成部(音声合成手段)21aは、制御部40が決定し、出力してきた発話行動の指令に基づき、文字情報から音声データを生成し、スピーカSに音声を出力する部分である。音声データの生成には、予め記憶している文字情報と音声データとの対応関係を利用する。
音声認識部(音声認識手段)21bは、マイクMCから音声データが入力され、予め記憶している音声データと文字情報との対応関係に基づき、音声データから文字情報を生成し、制御部40に出力するものである。
音源定位部(音源定位抽出手段)21cは、マイクMC,MC間の音圧差および音の到達時間差に基づいて音源位置(ロボットRが認識する平面状の位置)を特定し、制御部40に出力するものである。音源位置は、例えば、ロボットRの立っている方向(z軸方向)周りの回転角θzで表される。
[記憶部]
記憶部30は、管理用コンピュータ3から送信された必要な情報(識別対象Dの氏名およびあらかじめ撮像された固有顔画像データの特徴量、ローカル地図データ、会話用データなど)と、ロボットRが識別した識別対象Dの識別番号(識別情報)や位置情報とを記憶するものである。なお、記憶部30は、識別対象情報記憶手段に相当する。
[制御部]
制御部40は、画像処理部10、音声処理部20、記憶部30、自律移動制御部50、無線通信部60、及び対象検知部70を統括制御するものであり、詳細は後記するが、識別対象Dを識別するための制御を行う。
[自律移動制御部]
自律移動制御部50は、頭部制御部51a、腕部制御部51b、脚部制御部51cを有する。
頭部制御部51aは、制御部40の指示に従い頭部R1を駆動し、腕部制御部51bは、制御部40の指示に従い腕部R2を駆動し、脚部制御部51cは、制御部40の指示に従い脚部R3を駆動する。
また、ジャイロセンサSR1、及びGPS受信器SR2が検出したデータは、制御部40に出力され、ロボットRの行動を決定するために利用されると共に、制御部40から無線通信部60を介して管理用コンピュータ3に送信される。
[無線通信部]
無線通信部60は、管理用コンピュータ3とデータの送受信を行う通信装置である。無線通信部60は、公衆回線通信装置61a及び無線通信装置61bを有する。
公衆回線通信装置61aは、携帯電話回線やPHS(Personal Handyphone System)回線などの公衆回線を利用した無線通信手段である。一方、無線通信装置61bは、IEEE802.11b規格に準拠するワイヤレスLANなどの、近距離無線通信による無線通信手段である。
無線通信部60は、管理用コンピュータ3からの接続要求に従い、公衆回線通信装置61a又は無線通信装置61bを選択して管理用コンピュータ3とデータ通信を行う。
[対象検知部]
対象検知部(読取手段、検知手段)70は、ロボットRの周囲にRFIDタグTを設けた識別対象Dが存在するか否かを検知すると共に、識別対象D(RFIDタグT)の存在が検知された場合、識別対象D(RFIDタグT)が、ロボットRを基準として、どの方向に、そしてどの位離れた位置(タグ位置)に存在するのかを特定し、このタグ位置と後記するロボットRの姿勢データとに基づく位置(RFID位置)を特定すると共に、RFIDタグTに記憶された識別番号(識別情報)を読み取るものである。
具体的には、この対象検知部70は、タグ位置を求めるために、電波をロボットRの周辺領域に発信すると共に、ロボットRを基準として当該ロボットRの周囲において設定された探索域に向けて光を照射する。そして、ロボットRから発せられた電波と光の両方を受信した旨の信号(受信報告信号)が識別対象D(RFIDタグT)から返信された場合に、受信報告信号の電界強度から、ロボットRから識別対象D(RFIDタグT)までの距離を求めると共に、受信報告信号に予め含まれる情報から特定される方向を識別対象Dの存在する方向とみなすことで、タグ位置の特定を行うものである。そのために、この対象検知部70は、図3に示すように、制御手段80と、電波送受信手段90と、発光手段100と、記憶手段110とを含んで構成される。図3は対象検知部の詳細な構成を示すブロック図である。
(制御手段80)
制御手段80は、後記する電波送受信手段90から無線送信される検索信号と、後記する発光手段100から赤外光として出力される方向検査信号を生成すると共に、検索信号を受信したRFIDタグTから送信された受信報告信号を基に、タグ位置を特定するものである。ここで、検索信号とは、ロボットRの周囲に識別対象Dが存在するか否かを検知するための信号であり、方向検査信号とは、識別対象DがロボットRを基準としてどの方向に位置するのかを検知するための信号である。また、受信報告信号とは、RFIDタグTが、少なくとも検索信号を受信したことを示す信号である。
この制御手段80は、データ処理部81と、暗号化部82と、時分割部83と、復号化部84と、電界強度検出部85とを含んで構成される。
データ処理部81は、検索信号と方向検査信号を生成すると共に、タグ位置を特定するものであり、信号生成部81aと、位置特定部81bとを含んで構成される。
(信号生成部81a)
このデータ処理部81の信号生成部81aは、所定時間毎に、若しくはロボットRの制御部40から電波の発信を命令する信号(発信命令信号)が入力されるたびに、記憶手段110を参照して、対象検知部70が設けられたロボットRに固有の識別番号(以下、ロボットIDという)を取得する。
そして、信号生成部81aは、当該ロボットIDと、受信報告要求信号とを含んで構成される検索信号を生成する。
ここで、受信報告要求信号とは、検索信号を受信した識別対象D(RFIDタグT)に対して、当該検索信号を受信した旨を示す信号(受信報告信号)を生成するように要求する信号である。
さらに、信号生成部81aは、この検索信号を生成する際に、後記する発光手段100から赤外線信号として照射される方向検査信号もまた生成する。
方向検査信号は、発光手段100に設けられた発光部(LED1〜LED8)の総てについて、個別に生成されるものであり、前記したロボットIDと、発光部を特定する識別子(発光部ID)を含んで構成される。
なお、この方向検査信号は、後記する復号化部84から入力される受信報告信号に発光要求信号が含まれている場合にも生成される。
本実施の形態の場合、発光部が合計8つ設けられているので、データ処理部81は、ロボットIDと発光部IDとから構成される方向検査信号を、合計8つ生成する。
例えば、ロボットIDが「02」であり、発光部(LED1〜LED8)の発光部IDが「L1〜L8」である場合、発光部LED1について生成される方向検査信号は、ロボットID=「02」と、発光部ID=「L1」とを含み、発光部LED2について生成される方向検査信号は、ロボットID=「02」と、発光部ID=「L2」とを含むことになる。
そして、信号生成部81aは、方向検査信号と前記した検索信号とを、暗号化部82に出力する。
尚、このデータ処理部81の位置特定部81bは、検索信号を受信したRFIDタグTから送信された受信報告信号をもとに、タグ位置を特定するものであるが、その際にこの位置特定部81bで行われる処理は、制御手段80に含まれる復号化部84と電界強度検出部85における処理と共に、後記する。
(暗号化部82)
暗号化部82は、入力された信号を暗号化した後、出力するものである。そして、暗号化部82は、検索信号の暗号化により得られた検索信号(暗号化検索信号)を、後記する電波送受信手段90に出力する。
これにより、暗号化検索信号は、変調されたのち、電波送受信手段90から無線送信されることになる。
一方、暗号化部82は、データ処理部81から入力された方向検査信号を、同様にして暗号化する。そして、暗号化部82は、方向検査信号の暗号化により得られた方向検査信号(暗号化方向検査信号)を、後記する時分割部83に出力する。
本実施の形態の場合、方向検査信号は、前記したデータ処理部81において発光手段100の発光部ごとに一つずつ生成される。
よって、図3に示すように、発光手段100には合計8つの発光部が設けられているので、暗号化部82には、合計8つの方向検査信号がデータ処理部81から入力される。
その結果、合計8つの暗号化方向検査信号がこの暗号化部82において生成され、時分割部83に出力されることになる。
(時分割部83)
時分割部83は、発光手段100の各発光部(LED1〜LED8)の発光順序と、発光タイミングを設定するものである。
具体的には、暗号化部82から暗号化方向検査信号が入力されると、時分割部83は、各発光部(LED1〜LED8)の発光順序及び発光タイミングを決定し、決定した発光順序及び発光タイミングで、暗号化方向検査信号を発光手段100に出力する。
例えば、発光部LED1、発光部LED4、発光部LED7、発光部LED2、発光部LED5、発光部LED8、発光部LED3、そして発光部LED6の順番で、各発光部を0.5秒間隔で発光させる場合、時分割部83は、暗号化方向検査信号を0.5秒間隔で、発光部LED1の変調部、発光部LED4の変調部、発光部LED7の変調部、発光部LED2の変調部、発光部LED5の変調部、発光部LED8の変調部、発光部LED3の変調部、そして発光部LED6の変調部という順番で出力する。
本実施の形態の場合、合計8つの暗号化方向検査信号が時分割部83に入力される。そして、これら暗号化方向検査信号は、前記したデータ処理部81において、出力される発光部があらかじめ決められている。
したがって、時分割部83は、暗号化方向検査信号が入力されると、暗号化方向検査信号に含まれる発光部IDを確認し、発光部IDにより特定される発光部に隣接する変調部に向けて、決められた順序及びタイミングで、暗号化方向検査信号を出力する。
例えば、発光部(LED1〜LED8)の発光部IDが「L1〜L8」で規定される場合、時分割部83は、発光部IDが「L1」である暗号化方向検査信号を、発光部LED1に隣接する変調部に出力し、発光部IDが「L2」である暗号化方向検査信号を、発光部LED2に隣接する変調部に出力することになる。
(発光手段100)
発光手段100は、ロボットRを基準として当該ロボットRの周囲において予め設定された探索域に向けて光を照射するものである。
図3に示すように、この発光手段100は、複数の発光部(LED1〜LED8)と、各発光部に対応させて設けられた変調部とを含んで構成されている。
変調部は、時分割部83から入力された暗号化方向検査信号を、所定の変調方式で変調し、変調信号とするものである。
発光部は、変調信号を赤外線信号(赤外光)として、予め決められた探索域に向けて照射するものである。
本実施の形態では、識別対象Dの位置(タグ位置)を特定するために、ロボットRの周囲の領域が、図4に示すように、複数の探索域に区分されている。図4は、識別対象Dの位置を特定する方法を説明する説明図である。そして、この探索域に向けて赤外光を発光する発光部として、発光ダイオードが探索域毎に一つずつ用意されている。
具体的には、図4に示す例の場合、ロボットRを中心として、全周方向、すなわち360度方向に、合計8つの探索域(第1領域〜第8領域)が設定されている。
言い換えると、ロボットRを中心として、ほぼ扇形の探索域(第1領域〜第8領域)がロボットRを取り囲むように複数設定されており、ロボットRは、これら扇形の探索域で囲まれた領域のほぼ中心に位置している。
したがって、図4に示す例の場合、各探索域に向けて赤外光の照射が可能となるように、ロボットRの頭部R1には、図示はしないが、頭部R1の外周に沿って合計8つの発光部が、それぞれ対応する探索域に向けて設けられている。
また、図4から明らかなように、ロボットRの正面側の探索域(第1領域〜第3領域)は、他の探索域(第4領域〜第8領域)に比べて狭くなるように設定されている。このように探索域を設定するのは、ロボットRが識別対象Dを検知し、識別対象Dの方向に顔を向ける動作を行う時に、ロボットRの顔の正面(これを視線の方向という)と、識別対象Dの位置とのズレが生じると、ロボットRの視線が自分の方を向いていないと識別対象Dが感じる場合があるという問題を解決するためである。
ここで、この問題を解決する方法の一つとして、探索域の数を多くするという方法が考えられる。しかし、必ずしも全周の探索域の数を増やす必要はなく、前方のみの探索域を増やして、前方側の位置特定を細かくできるようにすることで、識別対象Dの位置する方向にロボットRの視線の方向を向けることができる。また、こうすることにより、発光部の数を少なく構築できる。
そのため、本実施の形態の場合、ロボットRの正面側の各領域(第1領域〜第3領域)の赤外光の照射範囲を狭くすることで、ロボットRの正面側にある各領域(第1領域〜第3領域)内におけるタグ位置をより正確に特定できるようにしているのである。
これにより、識別対象Dが人であり、かつロボットRのカメラC,Cで人の顔の撮像を行う場合に、ロボットRの正面側における識別対象Dの位置特定をより正確に行って、ロボットRの移動制御やカメラC,Cの画角の調整に反映させることができるので、ロボットRのカメラC,Cを、識別対象Dである人の顔の正面にきちんと位置させることが可能となる。
また、本実施の形態では、探索域に含まれない領域、すなわち探索域の死角を最小限にするために、隣接する探索域は、その幅方向の端部において互いに重なるように設定されているため、隣接する探索域に対して、同時若しくは連続して赤外光が照射されると、探索域の重なる部分において干渉が生じてしまうことがある。ただし、この図4では、説明の便宜上、探索域が重なっている部分は省略してある。
そこで、本実施の形態では、隣接する探索域に対して赤外光が連続して照射されることによる干渉が生じないように、前記した制御手段80の時分割部83において、暗号化方向検査信号を出力する順序とタイミングを調整しているのである。なお、赤外光が照射される高さ方向の範囲は、人と人とが向かい合って話をする場合の平均的な距離(対人距離)において、子供から大人までその存在を検知できる範囲に設定されている。
再び、図3を参照して、対象検知部70の構成の説明を続ける。
(電波送受信手段90)
電波送受信手段90は、ロボットRの周辺領域に向けて電波を発信すると共に、当該電波を受信したRFIDタグTから送信された受信報告信号を受信するものである。この電波送受信手段90は、変調部91と、復調部92と、送受信アンテナ93とから構成される。
変調部91は、データ処理部81から入力された検索信号(実際には、暗号化検索信号)を所定の変調方式で変調して変調信号とした後、これを、送受信アンテナ93を介して無線送信するものである。
復調部92は、RFIDタグTから無線送信された変調信号を、送受信アンテナ93を介して受信し、受信した変調信号の復調により、受信報告信号(実際には、暗号化受信報告信号)を取得するものである。この復調部92は、取得した受信報告信号を、制御手段80の復号化部84と電界強度検出部85に出力する。
(復号化部84)
復号化部84は、暗号化された受信報告信号である暗号化受信報告信号を復号化して、受信報告信号を取得し、取得した受信報告信号を、データ処理部81に出力するものである。本実施の形態の場合、受信報告信号には、発光部IDとロボットIDと識別番号(RFID識別番号)とが少なくとも含まれているので、復号化部84は、これらをデータ処理部81に出力することになる。なお、受信報告信号に発光要求信号が含まれていた場合、この発光要求信号もまたデータ処理部81に出力されることになる。
(電界強度検出部85)
電界強度検出部85は、RFIDタグTから送信された変調信号を電波送受信手段90が受信した際に、当該変調信号の強度を求めるものである。
具体的には、電界強度検出部85は、電波送受信手段90の復調部92から入力された、暗号化受信報告信号の電力を検波し、この検波された電力の平均値を電界強度として求め、この求めた電界強度をデータ処理部81に出力する。
(位置特定部81b)
データ処理部81の位置特定部81bは、タグ位置を特定すると共に、特定したタグ位置と、ロボットRの姿勢データとに基づいて、RFID位置を生成するものである。
具体的には、RFIDタグTから送信された変調信号を電波送受信手段90において受信した際の当該変調信号の電界強度から、ロボットRから識別対象D(RFIDタグT)までの距離を求める。さらに、位置特定部81bは、受信報告信号に含まれる発光部IDを参照して、識別対象D(RFIDタグT)が受信した光が、どの発光部から発光されたのかを特定し、特定された発光部の発光方向を、すなわち当該発光部に対応する探索域の方向を識別対象D(RFIDタグT)の存在する方向とみなし、タグ位置を特定するものである。
本実施の形態の場合、はじめに、位置特定部81bは、復号化部84から入力された受信報告信号の中からロボットIDを取得する。そして取得したロボットIDと記憶手段110に記憶されたロボットIDを比較し、両ロボットIDが一致した場合、位置特定部81bは、タグ位置の特定およびRFID識別番号の読み取りを開始する。
また、本実施の形態の場合、図4に示すように、ロボットRの周辺領域は、ロボットRからの距離に応じて4つのエリアに区分されている。すなわち、ロボットRからの距離が短い順に、エリア1、エリア2、エリア3、そしてエリア4と定義されている。この各エリアと電界強度とは、電界強度の大きさを基準として予め関連づけられており、この関連づけを示すテーブル(距離テーブル)が、記憶手段110に記憶されている。したがって、位置特定部81bは、電界強度検出部85から入力された電界強度をもとに、記憶手段110に記憶された距離テーブルを参照し、受信報告信号を発信したRFIDタグTがどのエリアにあるのかを示す情報(エリア情報)を取得する。例えば、電界強度検出部85から入力された電界強度αが、エリア3を規定するしきい値βとγ(βは下限、γは上限)との間の値である場合、位置特定部81bは、エリア3を示す情報(エリア情報)を取得する。
さらに、位置特定部81bは、復号化部84から入力された受信報告信号に含まれる発光部IDを参照して、受信報告信号を送信したRFIDタグTが、ロボットRの発光手段100のどの発光部から発光された光を受信したのかを特定し、特定された発光部の発光方向を示す情報(方向情報)を取得する。本実施の形態の場合、図4に示すように、ロボットRの周辺領域には、ロボットRを基準として合計8つの探索域(第1領域〜第8領域)が設定されている。そして、記憶手段110には、各発光部がどの探索域(第1領域から第8領域)に向けて設置されているのかを示すテーブル(方向テーブル)が記憶されている。したがって、データ処理部81は、発光部IDをもとに記憶手段110に記憶された方向テーブルを参照し、当該発光部IDを持つ発光部から発せられる赤外光が、予め設定された探索域(第1領域〜第8領域)のうち、どの領域に照射されるのかを確認する。そして、データ処理部81は、確認された探索域を示す情報を、識別対象D(RFIDタグT)が存在する方向を示す情報(方向情報)として取得する。
そして、位置特定部81bは、取得したエリア情報と方向情報とからタグ位置を特定する。このタグ位置について、図4を参照して説明する。ここで、エリア情報が「エリア3」を示し、方向情報が「第2領域」を示す場合、データ処理部81は、ロボットRの周囲において「エリア3」と「第2領域」とが重なる範囲(図中において、符号P1で示す範囲)をRFIDタグが存在する位置とみなす。
これにより、ロボットRが受信した受信報告信号の強度と、この受信報告信号に含まれる発光部IDとから、ロボットRと識別対象D(RFIDタグT)との位置関係が特定される。言い換えれば、識別対象D(RFIDタグT)が、ロボットRを基準としてどの方向に、どれだけ離れた位置に存在するのか、すなわち、タグ位置が特定される。
そして、位置特定部81bは、特定したタグ位置と、ロボットRの姿勢データとに基づいて、RFID位置を生成し、このRFID位置を、復号化部84から入力された受信報告信号に含まれるRFID識別番号と共に、ロボットRの制御部40に出力する。これにより、ロボットRの制御部40は、自律移動制御部50を制御して、ロボットRを識別対象Dの正面に移動させることや、識別対象Dが人である場合、カメラCの仰角や向きを修正して、当該識別対象Dの顔の撮像を行うことが可能となる。
なお、位置特定部81bは、制御部40から取得するロボットRの姿勢データの履歴を記憶する図示しない記憶手段を有し、これにより、タグ位置が特定されるまでのタイムラグによりロボットRの姿勢が変化した場合に、特定したタグ位置に含まれる時刻情報に基づいて、過去の姿勢データを検索して、現在のタグ位置と結びつけることにより、正確なRFID位置とすることができる。
また、受信報告信号に発光要求信号が含まれている場合、信号生成部81aは方向検査信号を生成し、暗号化部82に出力する。これにより、発光手段100の各発光部から赤外線信号が発光されることになる。
[RFIDタグ]
ここで、対象検知部70が検知するRFIDタグTについて図5を参照して説明する。図5は、RFIDタグの構成を示すブロック図である。
RFIDタグTは、ロボットRから送信された電波と、照射された光とを受信し、これらを受信したことを示す受信報告信号を、ロボットRに送信するものである。本実施の形態では、RFIDタグTが取り付けられた人が識別対象Dであるので、ロボットRから送信された電波と照射された光は、このRFIDタグTにおいて受信される。
図5に示すように、このRFIDタグTは、電波送受信手段140と、光受信手段150と、受信報告信号生成手段160と、記憶手段170とを備えて構成される。
(電波送受信手段140)
電波送受信手段140は、ロボットRから無線送信された変調信号を受信すると共に、後記する受信報告信号生成手段160において生成された受信報告信号を、変調した後、ロボットRに向けて無線送信するものである。この電波送受信手段140は、送受信アンテナ141と、復調部142と、変調部143とを含んで構成される。
復調部142は、ロボットRから発信されると共に、送受信アンテナ141を介して受信した変調信号を復調し、検索信号(実際には、暗号化検索信号)を取得し、取得した検索信号を後記する受信報告信号生成手段160に出力するものである。
変調部143は、後記する受信報告信号生成手段160の暗号化部163から入力された暗号化後の受信報告信号(暗号化受信報告信号)を変調して変調信号を生成すると共に、当該変調信号を、送受信アンテナ141を介して、無線送信するものである。
(光受信手段150)
光受信手段150は、ロボットRから照射された赤外光を受光するものである。この光受信手段150は、受光部151と、光復調部152とから構成される。
受光部151は、ロボットRから照射された赤外光(赤外線信号)を直接受光するものである。
光復調部152は、受光部151において受光した赤外線信号を復調して、方向検査信号(実際には、暗号化方向検査信号)を取得するものである。
具体的には、光受信手段150は、ロボットRから照射された赤外光を受光部151で受光すると、受光した赤外線信号を光復調部152において復調して、暗号化方向検査信号を取得する。そして、取得した暗号化方向検査信号を受信報告信号生成手段160に出力する。
(受信報告信号生成手段160)
受信報告信号生成手段160は、ロボットRから発信された検索信号を電波送受信手段140で受信した場合、この検索信号に含まれる受信報告要求信号に従って、ロボットRから発信された検索信号を受信したことを示す信号(受信報告信号)を生成するものである。図5に示すように、この受信報告信号生成手段160は、復号化部161と、データ処理部162と、暗号化部163とを含んで構成される。
復号化部161は、入力された暗号化信号を復号化して、信号を取得するものである。この復号化部161は、電波送受信手段140から入力された暗号化検索信号と、光受信手段150から入力された暗号化方向検査信号とを復号化して、検索信号と方向検査信号とを取得する。そして、復号化部161は、取得した検索信号と方向検査信号とを後段のデータ処理部162に出力する。
データ処理部162は、受信報告信号を生成するものである。
ここで、本実施の形態の場合、検索信号には、検索信号を発信したロボットRを特定する識別子であるロボットIDと、当該電波を受信したRFIDタグTに対し、所定の処理を命ずる受信報告要求信号とが含まれている。
また、方向検査信号には、方向検査信号を発信したロボットを特定する識別子であるロボットIDと、方向検査信号を発信した発光部を特定する発光部IDとが含まれている。
したがって、データ処理部162は、検索信号が入力されると、この検索信号に含まれる受信報告要求信号に従って、このRFIDタグTの光受信手段150を待機状態から起動状態にする。そして、光受信手段150を起動状態にした後、所定時間経過するまでの間に方向検査信号が入力された場合、データ処理部162は、方向検査信号に含まれるロボットIDと、検索信号に含まれるロボットIDとを比較する。
データ処理部162は、両ロボットIDが一致した場合、記憶手段170を参照し、RFIDタグTに記憶された識別番号(RFID識別番号)を取得する。続いて、データ処理部162は、RFID識別番号と、検索信号に含まれていたロボットIDと、そして方向検査信号に含まれていた発光部IDとを含んで構成される受信報告信号を生成し、生成した受信報告信号を暗号化部163に出力する。
一方、RFIDタグTの光受信手段150を起動状態にした後、所定時間経過しても方向検査信号が入力されない場合、又は検索信号に含まれていたロボットIDと方向検査信号に含まれていたロボットIDとが異なる場合、データ処理部162は、発光要求信号をさらに含む受信報告信号を生成し、生成した受信報告信号を、暗号化部163に出力する。ここで、発光要求信号とは、ロボットRに対して、赤外光を発光するように命令する信号である。
暗号化部163は、入力された受信報告信号を暗号化して、暗号化受信報告信号とした後、これを電波送受信手段140に出力する。これにより、暗号化受信報告信号は、前記した電波送受信手段140の変調部143において変調された後、送受信アンテナ141を介して、無線送信されることになる。
[制御部の構成]
次に、図2に示したロボットRの制御部40の詳細な構成を図6を参照して説明する。図6は、制御部の詳細を示すブロック図である。図6に示すように、制御部40は、姿勢データ生成部41と、人物識別部(画像対応識別手段)43と、オブジェクトデータ統合部45と、行動パターン部47と、タスク処理部49とを備えている。
(姿勢データ生成部41)
姿勢データ生成部41は、自律移動制御部50からロボットRの頭部R1および脚部R3の動きデータを入力し、この動きデータに基づいて、ロボットRの重心に対するカメラCの相対位置と、ステージ座標系(ロボットRの歩行するステージ上の座標系)でのロボットRの位置とを示す姿勢データを生成し、オブジェクトデータ統合部45に入力するものである。この姿勢データ生成部41は、ロボットRの体内時計としての制御カウント(以下、単にカウント)を生成し、画像処理部10、音声処理部20、対象検知部70、および制御部40内のオブジェクトデータ統合部45に供給する。
(人物識別部43)
人物識別部(画像対応識別手段)43は、顔認識部11cから、顔画像データから求められた特徴パラメータを入力し、この特徴パラメータと、無線通信部60を介して管理用コンピュータから取得して記憶部30に記憶した固有顔画像データの特徴パラメータとに基づいて、カメラCで撮像した人物を所定の確度で識別し、オブジェクトデータ統合部45に出力するものである。
この人物識別部43は、顔認識部11cから出力される特徴パラメータと、記憶部30に記憶された特徴パラメータとの差が、あるしきい値以下となるものを記憶部30において検索する。したがって、この条件を満たす特徴パラメータを有する固有顔画像データが、特徴パラメータが合致する顔画像データとして取り扱われる。さらに、人物識別部43は、顔認識部11cから出力される特徴パラメータと、合致するものと判定された特徴パラメータとから、この特徴パラメータ(固有顔画像データ)を有する人物の類似度を算出する。そして、この人物の識別番号(人物ID)とその確度(人物確度)(総称して人物データ)がオブジェクトデータ統合部45に出力される。
(オブジェクトデータ統合部45)
オブジェクトデータ統合部45は、詳細は後記するが、姿勢データ生成部41、人物識別部43、対象検知部70および音源定位部21cからの入力データに基づいて、識別対象D(オブジェクト)に関する識別データ(オブジェクトデータ)を統合した統合識別データを生成すると共に、この統合識別データを記憶部30に出力するものである。これにより、記憶部30には、後記するように、オブジェクトデータをオブジェクト別かつ時刻別に記録したデータであるオブジェクトマップ31が生成される。このオブジェクトマップ31は、時刻別(カウント別)の所定枚数の表(カード)の形式で記憶される。
(行動パターン部47)
行動パターン部47は、ロボットRの予め定められた行動(行動パターン)を実行するためのプログラムを格納すると共に、この行動パターンを実行するときに、記憶部30のオブジェクトマップ31を参照して、行動パターンに反映するものである。
行動パターンの例としては、歩行中に人物や障害物(オブジェクト)に遭遇したときにオブジェクトの1m手前で立ち止まる、立ち止まってから10秒後に腕部R2を所定位置まで上げる、腕部R2の図示しない圧力センサに入力があれば物を掴む動作をするなど場面や状況に応じたものが用意されている。なお、図では、この行動パターン部47は1つだけだが行動パターン別に複数設けられている。
(タスク処理部49)
タスク処理部49は、無線通信部60を介して管理用コンピュータ3から送られてくる指令(タスク)に基づいて、目的地までの経路を探索すると共に、行動パターン部47を制御して行動パターンを所定の順序に組み合わせるものである。なお、タスク処理部49は、無線通信部60を介して管理用コンピュータ3から送られてくる作業領域の地図情報であるローカル地図データ32を記憶部30に格納し、経路探索に利用する。
[オブジェクトデータ統合部45の構成]
次に、オブジェクトデータ統合部45の詳細な構成を図7を参照して説明する。図7は、オブジェクトデータ統合部の詳細を示すブロック図である。図7に示すように、オブジェクトデータ統合部45は、統合制御部200と、バッファ300とを備えている。統合制御部200は、記憶部30に記憶されるオブジェクトマップ31を生成するものであり、このオブジェクトマップ31の生成過程で生じるデータである仮マップを一時記憶領域であるバッファ300に蓄積管理するために、入力判定部201と、登録制御部202と、位置補正処理部203と、寿命処理部204と、統合処理部(識別対象決定手段)205と、書込制御部206とを備えている。
入力判定部201は、統合制御部200に入力するデータに応じて、この統合制御部200の制御を登録制御部202または位置補正処理部203に受け渡すものである。
登録制御部202は、統合制御部200にオブジェクトデータが入力したときに、入力データをバッファ300に記憶される仮マップに登録するものであり、人物データ登録制御部211と、RFID識別データ登録制御部212と、音源識別データ登録制御部213と、確度算出部(確度算出手段)214とを備えている。
人物データ登録制御部211は、統合制御部200に入力したオブジェクトデータが人物データ(人物ID、位置、速度など)のときに仮マップに登録する制御を行うものである。
RFID識別データ登録制御部212は、統合制御部200に入力したオブジェクトデータがRFID識別データ(RFID位置、RFID識別番号など)のときに仮マップに登録する制御を行うと共に、確度算出部214とデータの送受信を行うものである。
音源識別データ登録制御部213は、統合制御部200に入力したオブジェクトデータが音源識別データ(音源位置など)のときに仮マップに登録する制御を行うと共に、確度算出部214とデータの送受信を行うものである。なお、登録制御部202の各制御部211〜213が行うオブジェクトデータの登録制御の詳細は後記する。
確度算出部(確度算出手段)214は、RFID識別データ登録制御部212の出力するRFID識別データ(RFIDライフカウントLC)とあらかじめ定められたRFID識別データの寿命LT2とに基づいて、次式(1)で示されるRFID識別データ(RFID識別番号)の確度を示すRFID確度PR(%)を算出するものである。なお、このRFIDライフカウントLCは、RFID識別データのオブジェクトマップ31上での経過時間(カウント)である。
PR=100−(LC×100/LT2)…(1)
また、この確度算出部214は、音源識別データ登録制御部213の出力する音源識別データ(音源位置)と、顔認識部11cから出力される人物(オブジェクト)の重心座標とに基づいて、人物(オブジェクト)が発声源である確度を示す音源確度を算出する。例えば、音源確度は、顔認識部11cから出力される重心座標に基づくz軸方向の回転角θzに対する音源位置(z軸方向の回転角θz)の誤差率により算出される。
位置補正処理部203は、統合制御部200に入力した姿勢データに基づいて、バッファ300に記憶される仮マップにおけるオブジェクトデータの位置情報を補正するものである。
寿命処理部204は、バッファ300に記憶される仮マップにおけるオブジェクトデータの寿命を設定し、寿命の尽きたオブジェクトデータを仮マップから削除するものである。この寿命処理部204は、人物データ、RFID識別データおよび音源識別データのそれぞれに固有の寿命を設定する。なお、予め設定した寿命を基に仮マップからの削除を行うようにしてもよい。
統合処理部(識別対象決定手段)205は、人物データおよびRFID識別データに基づいて、1つのオブジェクトに対する唯一の識別データとして利用される統合識別データを生成するものである。この統合処理部205は、人物データおよびRFID識別データの示す識別番号が異なる場合、人物データおよびRFID識別データの確度に基づいて、TOTAL_ID(識別番号)を決定する。このとき、TOTAL_IDの確度であるTOTAL_確度も算出する。また、この統合処理部205は、仮マップにおいて、あるオブジェクトに関する統合識別データと、他のオブジェクトに関する統合識別データとが同一であると判別した場合には、両オブジェクトを1つのオブジェクトに統合する。
書込制御部206は、所定の書込タイミングとなったかどうかを判別し、所定の書込タイミングとなったときに、バッファ300に記憶される最新の仮マップを記憶部30のオブジェクトマップ31の最新のデータとして書き込むものである。なお、書込時には、オブジェクトマップ31が全体として所定枚数のカードとなるように、最古のカードから削除していく。また、所定の書込タイミングとしては、所定時間が経過したとき、いずれかの識別データが入力したとき、カメラCが撮像するフレーム毎などいずれを採用してもよい。
[オブジェクトマップの構成]
次に、図8を参照して、記憶部30に記憶されるオブジェクトマップ31の構成を説明する。図8は、オブジェクトマップを説明するための説明図である。
オブジェクトマップ31は、時刻別に分類された複数の時刻別データ801(以下、カード801という)を備えている。このカード801には、それぞれ、カウント(時刻情報)と、姿勢データおよびカメラ姿勢と、表803が付されている。姿勢データは、例えば顔の位置(x,y,z)と顔の向き(θx,θy,θz)で表され、カメラ姿勢は、例えばパン、チルト、ロールの各軸周りの回転角度(pan,tilt,role)で表される。また、この表803では、列に識別すべき対象(オブジェクト)が配され、行に、このオブジェクトを特徴付ける複数の項目が配されており、オブジェクト別に(列ごとに)レコードが蓄積されている。以下に、各項目の詳細を説明する。
オブジェクトナンバ804は、ロボットRがオブジェクトを検出した順番に最大M個まで付されるものであり、この表803では、「0」〜「10」の11個(M=11)のオブジェクトを管理できるようになっている。
ボディ位置805は、画像処理部10から出力される位置座標データであり、ロボットRが認識している座標平面における人物(オブジェクト)の重心位置座標(x,y)で表される。
速度806は、画像処理部10から出力される速度データであり、ロボットRが認識している座標平面における人物(オブジェクト)の移動速度(Vx,Vy)で表される。
人物ID807は、人物識別部43から出力されるデータであり、例えば「10032」のように、人物(オブジェクト)の識別番号で表される。
人物確度808は、人物ID807の確度を示すものであり、人物識別部43で算出される類似度に基づいて完全一致を100%として定められている。なお、人物確度808として類似度をそのまま用いてもよい。
人物ライフカウント809は、人物ID807に登録されたデータのオブジェクトマップ31上での経過時間(年齢)を表している。
RFID識別番号810は、例えば「10032」のように、タグに記録された人物(オブジェクト)の識別番号であり、対象検知部70から出力されたものである。
RFID位置811は、対象検知部70から出力される位置データであり、ロボットRの周囲におけるタグ(オブジェクト)までの距離および方向で定まる領域で表される。
RFID確度812は、RFID識別番号810のデータ(識別番号)の確度を示すものであり、確度算出部214で前記した(1)式により算出される。
RFIDライフカウント813は、RFID識別番号810に登録されたデータ(識別番号)のオブジェクトマップ31上での経過時間(年齢)を表している。
音源位置814は、音源定位部21cから出力されるデータであり、ロボットRが認識している座標平面における発声する人物(オブジェクト)の角度θで表される。
音源確度815は、音源位置814のデータの確度を示すものであり、確度算出部214で算出される。なお、音源位置814および音源確度815に代えて、人物(オブジェクト)が発声しているかどうかを示すフラグを立てるようにしてもよい。
音源ライフカウント816は、音源位置814に登録されたデータ(位置座標)のオブジェクトマップ31上での経過時間(年齢)を表している。
オブジェクトライフカウント817は、オブジェクトに対して、人物データ、RFID識別データ、音源識別データのいずれかが初めて入力されたときに開始されたカウントを表すものである。
TOTAL_ID818は、人物ID807とRFID識別番号810に基づいて統合処理部205で決定されたオブジェクトの識別番号である。
TOTAL_確度819は、人物確度808とRFID確度812とに基づいて統合処理部205で決定されたオブジェクトの識別番号の確度を示すものである。なお、統合処理部205は、音源確度815をも考慮してTOTAL_確度819を決定するようにしてもよい。
<識別対象識別システムAの動作>
次に、識別対象識別システムAにおいて行われる処理について説明する。
[対象検知部70の動作]
はじめに、ロボットRの対象検知部70で行われる処理について説明する(適宜図3および図5参照)。
対象検知部70の制御手段80は、所定時間間隔毎に、記憶手段110に記憶されたロボットIDと、受信報告要求信号とを含んで構成される検索信号を生成すると共に、ロボットIDと発光部IDとを含んで構成される方向検査信号(赤外線信号)を発光部毎に個別に生成する。そして、電波送受信手段90は、暗号化された検索信号を所定の変調方式で変調して変調信号とした後、無線送信する。また、発光手段100は、ロボットRの周囲に設けられた各探索域に対し、時分割部83で決定された順序かつタイミングで、赤外光(暗号化され変調された検索信号)を照射する。
RFIDタグTは、検索信号(無線通信)と方向検査信号(赤外光)を受信(受光)すると、それぞれの信号に含まれるロボットIDが一致する場合に、記憶手段170を参照し、当該RFIDタグTに割り当てられた固有の識別番号(RFID識別番号)を含む受信報告信号(変調信号)を生成し、これを無線送信する。
ロボットRの対象検知部70の電波送受信手段90は、RFIDタグTから無線送信された受信報告信号(変調信号)を受信して復調し、さらに、制御手段80は、復調した信号を復号化して受信報告信号を取得する。この制御手段80の電界強度検出部85は、暗号化受信報告信号の電力を検波し、この検波された平均電力を電界強度として求め、この求めた電界強度をデータ処理部81に出力する。
データ処理部81の位置特定部81bは、電界強度検出部85から入力された電界強度をもとに、記憶手段110に記憶された距離テーブルを参照し、受信報告信号を発信したRFIDタグTがどのエリアにいるのかを示す情報(エリア情報)を取得する。さらに、位置特定部81bは、受信報告信号に含まれる発光部IDをもとに、記憶手段110に記憶された方向テーブルを参照し、受信報告信号を発信したRFIDタグTが、ロボットRのどの発光部から発光された赤外光を受信したのかを示す情報(方向情報)を取得する。そして、位置特定部81bは、エリア情報と方向情報とから識別対象D(RFIDタグT)の位置(タグ位置)を特定し、特定したタグ位置と、制御部40から取得したロボットRの姿勢データとに基づいて、RFID位置を生成する。なお、対象検知部70は取得したRFID識別番号を制御部40に出力する。
[オブジェクトデータ統合部の動作]
次に、オブジェクトデータ統合部45の動作を図9(適宜図6および図7参照)を参照して説明する。図9は、オブジェクトデータ統合部の全体の動作を示すフローチャートである。
まず、オブジェクトデータ統合部45は、姿勢データ生成部41から姿勢データと制御カウントを取得する(ステップS1)。なお、姿勢データおよび制御カウントは後記する統合識別データ登録処理(ステップS5)で利用される。
オブジェクトデータ統合部45は、入力判定部201によって、人物識別部43から人物データが入力したかどうかを判定する(ステップS2)。
人物データが入力した場合(ステップS2:Yes)、入力判定部201は、人物データ登録制御部211に人物データを出力する。人物データ登録制御部211は、後記する人物データ登録処理(ステップS9)を実行し、入力した人物データをバッファ300上の仮マップに登録する。この処理(ステップS9)に続いて、または、人物データが入力していない場合(ステップS2:No)、オブジェクトデータ統合部45は、入力判定部201によって、対象検知部70からRFID識別データが入力したかどうかを判定する(ステップS3)。
RFID識別データが入力した場合(ステップS3:Yes)、入力判定部201は、RFID識別データ登録制御部212にRFID識別データを出力する。RFID識別データ登録制御部212は、後記するRFID識別データ登録処理(ステップS10)を実行し、入力したRFID識別データをバッファ300上の仮マップに登録する。この処理(ステップS10)に続いて、または、RFID識別データが入力していない場合(ステップS3:No)、オブジェクトデータ統合部45は、入力判定部201によって、確度算出部214から音源識別データが入力したかどうかを判定する(ステップS4)。
音源識別データが入力した場合(ステップS4:Yes)、入力判定部201は、音源識別データ登録制御部213に音源識別データを出力する。音源識別データ登録制御部213は、後記する音源識別データ登録処理(ステップS11)を実行し、入力した音源識別データをバッファ300上の仮マップに登録する。この処理(ステップS11)に続いて、または、音源識別データが入力していない場合(ステップS4:No)、オブジェクトデータ統合部45は、後記する統合識別データ登録処理を実行して、バッファ300に記録された仮マップを完成する(ステップS5)。なお、人物データ、RFID識別データおよび音源識別データは、通常、異なるタイミングでオブジェクトデータ統合部45に入力する。
オブジェクトデータ統合部45は、書込制御部206によって、記憶部30のオブジェクトマップ31の履歴書換条件が成立したかどうかを判定する(ステップS6)。書込制御部206は、履歴書換条件が成立したときに(ステップS6:Yes)、オブジェクトマップ31のカードが一定枚数になるように、最古のカードを削除して、最新のカードを準備する履歴書換を行う(ステップS7)。そして、オブジェクトデータ統合部45は、書込制御部206によって、バッファ300に記録された仮マップの最新データ(統合識別データ)をオブジェクトマップ31の最新のカードに格納するように、仮マップの所定枚数分のカードをオブジェクトマップ31に書き込み(ステップS8)、ステップS1に戻る。履歴書換条件が成立していないときに(ステップS6:No)、オブジェクトデータ統合部45はステップS8に進む。なお、このとき、オブジェクトマップ31の最新のカードだけが上書き保存される。
(人物データ登録処理)
次に、前記したステップS9の人物データ登録処理を図10(適宜図7および図8参照)を参照して説明する。図10は、人物データ登録処理の動作を示すフローチャートである。まず、人物データ登録制御部211は、制御変数iを0に設定すると共に、入力した人物データにおけるオブジェクト数nを設定する(ステップS21)。そして、人物データ登録制御部211は、iがn未満かどうかを判定し(ステップS22)、iがn以上ならば(ステップS22:No)、処理を終了する。一方、iがn未満の場合(ステップS22:Yes)には、入力した人物データに添付されたカウントに基づいて、バッファ300の仮マップの中から最もカウントが近いカードを選択する(ステップS23)。そして、人物データ登録制御部211は、このカードから、入力したi番目の人物データに対応するオブジェクトを検索する(ステップS24)。
人物データ登録制御部211は、対応するオブジェクトがあるかどうかを判定し(ステップS25)、対応するオブジェクトが有る場合(ステップS25:Yes)、バッファ300の仮マップにおいて、入力した人物データで更新登録する(ステップS26)。このとき、ボディ位置805、速度806、人物ID807および人物確度808の各データが更新される。そして、人物データ登録制御部211は、登録されたオブジェクトの人物ライフカウント809をリセット(0に設定)し(ステップS27)、登録した人物データを、選択したカードよりもカウントの大きなカードにおける、このオブジェクトに関するレコードに反映する(ステップS28)。さらに、制御変数iを+1歩進させて(ステップS29)、ステップS22に戻る。
人物データ登録制御部211は、入力した人物データに対応するオブジェクトが無い場合(ステップS25:No)、バッファ300の仮マップの表803の列数がM(最大列数)以下かどうか判定する(ステップS30)。表803の列数がM未満である場合(ステップS30:Yes)、人物データ登録制御部211は、表803に列を新規に作成し(ステップS31)、作成した列に、入力した人物データを新規に登録する(ステップS32)。このとき、ボディ位置805、速度806、人物ID807および人物確度808の各データが登録される。そして、人物データ登録制御部211は、このオブジェクトの人物ライフカウント809、RFIDライフカウントおよび音源ライフカウント816の値をリセット(0)に設定し(ステップS33)、ステップS28に進む。
一方、人物データ登録制御部211は、表803の列数がM(最大列数)である場合(ステップS30:No)、表803の中で、人物ライフカウント809の値が最も大きい(最古)のオブジェクトの列のレコード(オブジェクトデータ)を消去して(ステップS34)、ステップS32に進む。このとき、null(空欄)になった列に、入力した人物データが新規に登録される。
(RFID識別データ登録処理)
次に、前記したステップS10のRFID識別データ登録処理を図11を参照して説明する。図11は、RFID識別データ登録処理の動作を示すフローチャートである。まず、RFID識別データ登録制御部212は、入力したRFID識別データに添付されたカウントに基づいて、バッファ300の仮マップの中から最もカウントが近いカードを選択する(ステップS41)。そして、RFID識別データ登録制御部212は、このカードから、入力したRFID識別データに対応するオブジェクトを検索する(ステップS42)。
RFID識別データ登録制御部212は、対応するオブジェクトがあるかどうかを判定し(ステップS43)、対応するオブジェクトが有る場合(ステップS43:Yes)、
確度算出部214によって、前記した(1)式に基づいて、識別番号の確度を示すRFID確度を算出する(ステップS44)。そして、RFID識別データ登録制御部212は、選択したカードにおいて、入力したRFID識別データと算出したRFID確度とにより更新登録する(ステップS45)。このとき、RFID識別番号810、RFID位置811、RFID確度812の各データが更新される。そして、RFID識別データ登録制御部212は、登録されたオブジェクトのRFIDライフカウント813をリセット(0に設定)し(ステップS46)、登録したRFID識別データを、選択したカードよりもカウントの大きなカードにおける、このオブジェクトに関するレコードに反映する(ステップS47)。
RFID識別データ登録制御部212は、入力したRFID識別データに対応するオブジェクトが無い場合(ステップS43:No)、選択したカードの表803の列数がM(最大列数)以下かどうか判定する(ステップS48)。表803の列数がM未満である場合(ステップS48:Yes)、RFID識別データ登録制御部212は、表803に列を新規に作成する(ステップS49)。そして、RFID識別データ登録制御部212は、ステップS44と同様にして、確度算出部214によって、RFID確度を算出する(ステップS50)。そして、RFID識別データ登録制御部212は、ステップS49で作成した列に、入力したRFID識別データを新規に登録する(ステップS51)。このとき、RFID識別番号810、RFID位置811、RFID確度812の各データが登録される。そして、RFID識別データ登録制御部212は、このオブジェクトの人物ライフカウント809、RFIDライフカウントおよび音源ライフカウント816の値をリセット(0)に設定し(ステップS52)、ステップS47に進む。
一方、RFID識別データ登録制御部212は、表803の列数がM(最大列数)である場合(ステップS48:No)、表803の中で、RFIDライフカウント813の値が最も大きい(最古)のオブジェクトの列のレコード(オブジェクトデータ)を消去して(ステップS53)、ステップS50に進む。このとき、null(空欄)になった列に、入力したRFID識別データが新規に登録される。
(音源識別データ登録処理)
前記したステップS11の音源識別データ登録処理は、制御対象の主体と取り扱うデータの種類が異なる点を除いて、図11を参照して説明したステップS10のRFID識別データ登録処理と同様であるので、説明を省略する。なお、ステップS44およびS45に相当する音源確度の算出処理は、音源位置とボディ位置とに基づいて行われる。
(統合識別データ登録処理)
次に、前記したステップS5の統合識別データ登録処理を図12を参照して説明する。図12は、統合識別データ登録処理の動作を示すフローチャートである。
まず、オブジェクトデータ統合部45は、位置補正処理部203によって、制御変数iを0に設定すると共に、Mを最大オブジェクト数(オブジェクトマップ31の表の列数)に設定する(ステップS61)。そして、位置補正処理部203は、iがM未満かどうかを判定し(ステップS62)、iがM以上ならば(ステップS62:No)、処理を終了し、iがM未満の場合(ステップS62:Yes)には、さらにi番目のオブジェクトについて入力データがあるかどうかを判定する(ステップS63)。入力データが無い場合、後記するステップS73へ進み、入力データがある場合、入力した姿勢データに基づいて、バッファ300上の仮マップの最新のカードにおいて、i番目のオブジェクトのボディ位置805および速度806を補正する(ステップS64)。なお、このときRFID位置811、RFID確度812、音源位置814、音源確度815を補正するようにしてもよい。
次に、オブジェクトデータ統合部45は、寿命処理部204によって、i番目のオブジェクトがロボットRのカメラCの視野内に存在するかどうかを判定する(ステップS65)。図13は、ロボットのカメラの視野を説明するための説明図である。図13において、ロボット1301は、所定領域の中心に位置しており、カメラ正面(図中上方)にオブジェクト1302が、また、カメラから左方(図中左斜上方)にオブジェクト1303が存在している場合を想定している。この場合、オブジェクト1302は、カメラの視野1304に位置し、オブジェクト1303は、視野外1305に位置しているとする。ただし、視野外1305は、ロボット1301が左側に所定角度回転すれば視野内となる領域またはRFIDタグや音源位置で位置がわかる領域である。
図12に戻って説明を続ける。この寿命処理部204は、視野内に存在する場合(ステップS65:Yes)、人物データの寿命LT1を所定値aに設定し(ステップS66)、視野外に存在する場合(ステップS65:No)、人物データの寿命LT1を所定値b(b>a)に設定する(ステップS67)。このように、視野内での寿命LT1の値a(例えば1〜2秒)を視野外での寿命LT1の値b(例えば10秒)よりも小さくすることにより、例えば、視野内に存在していたオブジェクトが視野外に移動したときに、そのオブジェクトをオブジェクトマップ31上に長期間残しておくことができる。このとき、逆に、視野内ではオブジェクトは寿命が短いので、視野内にいたときの残像を比較的早く消去することができる。
ステップS66またはS67に続いて、オブジェクトデータ統合部45は、寿命処理部204によって、i番目のオブジェクトの人物データの人物ライフカウント809が人物データの寿命LT1よりも大きいかどうかを判定する(ステップS68)。そして、人物ライフカウント809が人物データの寿命LT1以下の場合(ステップS68:No)、オブジェクトデータ統合部45は、寿命処理部204によって、i番目のオブジェクトのRFID識別データのRFIDライフカウント813がRFID識別データの寿命LT2よりも大きいかどうかを判定する(ステップS69)。そして、RFIDライフカウント813がRFID識別データの寿命LT2以下の場合(ステップS69:No)、オブジェクトデータ統合部45は、寿命処理部204によって、i番目のオブジェクトの音源識別データの音源ライフカウント816が音源識別データの寿命LT3よりも大きいかどうかを判定する(ステップS70)。
そして、音源ライフカウント816が音源識別データの寿命LT3以下の場合(ステップS70:No)、オブジェクトデータ統合部45は、統合処理部205によって、i番目のオブジェクトの人物データとRFID識別データとに基づいて、統合識別データを生成する(ステップS71)。ここでは、人物ID807とRFID識別番号810とに基づいて、TOTAL_ID818を決定すると共に、人物確度808とRFID確度812とに基づいてTOTAL_確度819を決定する。これにより、ロボットRは、TOTAL_確度819の確からしさでi番目のオブジェクトの識別番号を認識する。
このステップS71において、人物データとRFID識別データのそれぞれの識別番号が異なる場合には、人物データとRFID識別データの確度の大きい方を優先する。このとき、TOTAL_確度は、例えば、それぞれの確度の平均値とする。
ここで、ステップS71の処理について、図8を参照して説明する。図8に示す例では、オブジェクトナンバ804が「1」であるオブジェクトは、人物ID807が「54」、人物確度808が「80(%)」、RFID識別番号810が「54」、RFID確度812が「80(%)」である。この場合、人物ID807とRFID識別番号810とが等しいので、TOTAL_ID818も、これに合わせて「54」とする。さらに、人物確度808とRFID確度812は双方とも80(%)であるので、総合的な確度は上昇し、TOTAL_確度819は、例えば「90(%)」となる。
一方、オブジェクトナンバ804が「0」であるオブジェクトは、人物ID807が「5」、人物確度808が「60(%)」、RFID識別番号810が「32」、RFID確度812が「40(%)」である。この場合、人物ID807と、RFID識別番号810とが異なっているが、人物確度808がRFID確度812よりも大きいので、人物ID807をTOTAL_ID818とする。すなわち、TOTAL_ID818は「5」となる。また、TOTAL_確度819は、人物確度808「60(%)」とRFID確度812「40(%)」との平均値である「50(%)」となる。
さらに、人物ID807と、RFID識別番号810とが異なり、かつ、これらの確度が同一の場合、例えば人物ID807を優先する。この場合、RFIDタグTの読み取り誤りや装着ミスによる誤りを除去できる。なお、RFID識別番号810を優先した場合、カメラCの視野外や夜間における画像データの誤りを除去できる。
再び、図12を参照して、統合識別データ登録処理の説明を続ける。
ステップS71に続いて、オブジェクトデータ統合部45は、統合処理部205によって、i番目のオブジェクトの統合識別データと、(i−k)番目(k=1,2,…,i−1)のオブジェクトの統合識別データとを比較し、同一ならば(i−k)番目のオブジェクトをi番目のオブジェクトに統合する(ステップS72)。これにより、例えば、実際には1つであるオブジェクトが人物識別(画像処理)によって2つのオブジェクトと認識されているような場合にオブジェクト識別の精度を向上させることができる。
ステップS72に続いて、オブジェクトデータ統合部45は、位置補正処理部203によって、制御変数iを+1歩進させて(ステップS73)、ステップS62に戻る。
また、この図12に示す統合識別データ登録処理において、人物ライフカウント809が人物データの寿命LT1よりも大きい場合(ステップS68:Yes)、オブジェクトデータ統合部45は、寿命処理部204によって、i番目のオブジェクトデータ(人物データ、RFID識別データ、音源識別データ)をバッファ300の仮マップから消去し(ステップS74)、ステップS71に進む。すなわち、図8に示した例では、表803からオブジェクトナンバ804が「i」の列のレコードが消去される。
また、RFIDライフカウント813がRFID識別データの寿命LT2よりも大きい場合(ステップS69:Yes)、オブジェクトデータ統合部45は、寿命処理部204によって、i番目のRFID識別データ(RFID識別番号810、RFID位置811、RFID確度812、RFIDライフカウント813)をバッファ300の仮マップから消去し(ステップS75)、ステップS70に進む。さらに、音源ライフカウント816が音源識別データの寿命LT3よりも大きい場合(ステップS70:Yes)、オブジェクトデータ統合部45は、寿命処理部204によって、i番目の音源識別データ(音源位置814、音源確度815、音源ライフカウント816)をバッファ300の仮マップから消去し(ステップS76)、ステップS71に進む。なお、RFID識別データの寿命LT2および音源識別データの寿命LT3は、予め定められている。
[指令に基づくロボットRの動作]
識別対象識別システムAが、例えばオフィス内の依頼者から、同じオフィス内の目的者への物品の配達に応用された場合を例に挙げて、ロボットRの動作について説明する。
この場合、RFIDタグTを装着する人物についての情報(氏名など)が端末5(図1参照)において入力され、端末5にネットワーク4を介して接続された管理用コンピュータ3の記憶手段(図示せず)に登録される。そして、依頼者(配達元)および目的者(配達先)は、端末5における入力が完了した後、RFIDタグTを身につけ、それぞれ所定の位置で待機する。
一方、端末5の操作者は、端末5から、依頼者および目的者の氏名と配達コマンドを入力すると、管理用コンピュータ3は、図示しない記憶手段から、依頼者の識別番号および位置情報(オフィス内での座席位置)と、目的者の識別番号および位置情報(オフィス内での座席位置)と、ローカル地図データ(オフィス内での地図)と、依頼者および目的者の顔画像データの特徴パラメータとを読み出して、ロボットRに送信する。
ロボットRの制御部40(図2参照)は、無線通信部60を介して管理用コンピュータ3から取得したデータを記憶部30に格納して利用すると共に、制御部40のタスク処理部49(図6参照)が管理用コンピュータ3からのコマンド(指令)に基づいて、配達タスクを実行する。このタスク処理部49は、移動すべき目的地までの経路を探索すると共に、行動パターン部47を制御して行動パターンを所定の順序に組み合わせる。これにより、ロボットRは、ロボットRの現在位置(ホームポジション)から依頼者の位置までの経路探索および移動、依頼者の識別、物品の受領、依頼者の位置から目的者の位置までの経路探索および移動、目的者の識別、物品の受け渡し、目的者の位置からホームポジションまでの経路探索および移動の各行動を順次実行する。
なお、タスク処理部49は、ロボットRの移動に際しては、ローカル地図データ32を参照し、障害物を回避する行動パターンを実行させることにより、ロボットRに最短距離での移動を可能とさせることができる。
タスク処理部49に制御される行動パターン部47は、記憶部30のオブジェクトマップ31を適宜参照し、目的地にいる人物が依頼者または目的者であるかを確認して物品の受領および受け渡しを行う。このとき、オブジェクトマップ31は、随時最新のものに更新され続けている。なお、物品の受領または受け渡しがなされると、ロボットRの腕部R2の図示しない圧力センサが所定の押圧力または引張力を検出し、ロボットRは、それぞれの場面で手を軽く握るか手を開く動作を行う。
また、ロボットRが依頼者のいるべき位置(依頼者の座席)で依頼者を識別したときに、音声出力を司る行動パターン部47が、記憶部30から依頼者に対応した会話用データを読み出して音声合成部21a(図2参照)に出力すると、例えば、「○○○を渡してください。」という音声が出力される。同様に、ロボットRが目的者のいるべき位置(目的者の座席)で目的者を識別したときに、音声出力を司る行動パターン部47が、記憶部30から目的者に対応した会話用データを読み出して音声合成部21a(図2参照)に出力すると、例えば、「○○○をお受け取り下さい。」という音声が出力される。
なお、この場合、統合処理部205(図7参照)の処理において、人物ID807とRFID識別番号810とが異なる場合に、一方の識別番号に対応する氏名を音声合成部21aから出力するようにしてもよい。例えば「あなたは×××さんですか?」と問いかけ、「はい、そうです。」との回答を音声認識部21b(図2参照)が認識したときに、統合処理部205(図7参照)は識別対象が「×××さん」であると認識する。また、「いいえ、ちがいます。」との回答を音声認識部21b(図2参照)が認識したときに、統合処理部205(図7参照)は、他方の識別番号に対応する氏名を音声合成部21aから出力するように制御する。例えば「あなたは△△△さんですか?」と問いかけたときに、「はい、そうです。」との回答を音声認識部21b(図2参照)が認識したときに、統合処理部205(図7参照)は識別対象が「△△△さん」であると認識することができる。
[第2の実施形態]
次に、図14乃至図19を参照して、本発明の第2の実施形態に係る識別対象識別装置について説明する。第2の実施形態に係る識別対象識別装置は、制御部40のオブジェクトデータ統合部45で作成したオブジェクトマップ31を利用して撮像された識別対象Dを識別するものである。参照する図面において、図14は、第2の実施形態に係る識別対象識別装置の人物識別部の構成を示すブロック図である。なお、第2の実施形態では、ロボットRの自律移動制御部50以外の構成要素で本発明の第2の実施形態に係る識別対象識別装置が構成されている。ロボットRにおいて、第1の実施形態と同一の構成には同一の参照番号を付与する。
[識別対象識別装置の構成]
記憶部(識別対象情報記憶手段)30は、オブジェクトマップ31Aと、ローカル地図データ32と、顔DB(顔データベース)33とを記憶している。
ここで、オブジェクトマップ31Aについて図15および図16を参照して説明する。図15は、第2の実施形態に係るロボットのカメラの視野を説明するための説明図であり、図16は、第2の実施形態に係るオブジェクトマップを説明するための説明図である。
図15に示すように、ロボットRは、所定領域の中心に位置しており、ロボットRのカメラCは、前方(図中上方)を視野1501としており、視野外1502(ハッチングの付された領域)のオブジェクトを撮像することができない。ロボットRの周囲には、図15に示すように、識別対象Dとして、4つのオブジェクト(例えば、人物)1503が存在している。このうち、IDが「3」のオブジェクト1503と、IDが「5」のオブジェクト1503とは、視野1501に位置しており、IDが「10」のオブジェクト1503と、IDが「12」のオブジェクト1503とは、視野外1502に位置している。また、以下では、説明を単純化するために、視野1501は、1つのRFID位置(例えばP1、図4参照)に対応するものとする。
(オブジェクトマップの構成例)
図16に示すように、オブジェクトマップ31Aは、図8に示したオブジェクトマップ31と同様なものであり、時刻別に分類された複数の時刻別データ1601(以下、カード1601という)を備えている。このカード1601には、カウント(時刻情報)と、姿勢データおよびカメラ姿勢と、RFIDデータ1602と、RFIDデータライフカウント1603と、表が付されている。
RFIDデータ1602は、ロボットRの周囲に存在するRFIDタグTに記録されたRFID識別番号(RFID識別データ)である。ロボットRの周囲に、図15に示すような4つのオブジェクト1503が存在する場合には、「3,5,10,12」が格納される。
RFIDデータライフカウント1603は、ロボットRの周囲に存在するRFIDタグTに記録されたRFID識別番号のオブジェクトマップ31A上での経過時間(カウント)である。このRFIDデータライフカウント1603は、オブジェクトマップ31Aにデータが入力される度にリセットされるものであり、一方、データが入力されなければ、カウントが増加する。そして、カウント値が所定値を超えると、オブジェクトマップ31Aから、RFIDデータ1602が消去されることとなる。図16に示すように、例えば、RFIDデータが「3」の場合には、RFIDデータライフカウントは「0」であり、
RFIDデータが「5」の場合には、RFIDデータライフカウントは「4」である。
これらは、それぞれ、ID(RFID識別番号)が「3」のRFIDタグTから、データが入力されたこと、および、IDが「5」のRFIDタグTからデータが入力されてから、カウントが「4」進んだことを示している。
カード1601の表には、オブジェクトを特徴付ける複数の項目が配されている。
顔位置1604,1605は、顔認識部11cから出力される位置座標データであり、カメラ画面上での顔の位置座標(x,y)で表される。
顔ID:顔確度1606は、人物識別部43Aから出力されるデータと、オブジェクトナンバに対するその確度とを示すものである。このうち、顔IDは、人物(オブジェクト)の顔の固有画像データを格納した顔DB33(図14参照)の識別番号で表される。また、顔確度は、人物識別部43Aで算出される類似度に基づいて完全一致を100%として定められている。なお、顔確度として、類似度をそのまま用いてもよい。また、顔確度として、DFFC(Distance From Face Class)値を用いてもよい。この場合には、DFFC値が小さいほど、当該オブジェクトナンバに対する顔IDの確からしさが高くなる。
顔ID:顔確度1606は、1つのオブジェクト(またはオブジェクトナンバ)に対して複数のレコードを候補として格納できるように構成されている。図16では、顔ID:顔確度1606に対して、3つの候補が格納できるように構成され、このうち2つの候補にレコードが記録されている。
RFID識別番号:RFID確度1607は、RFIDタグTに記録された人物(オブジェクト)の識別番号と、オブジェクトナンバに対するその確度とを示すものである。このうち、RFID識別番号は、対象検知部70から出力されたものである。また、RFID確度は、RFID識別番号のデータ(識別番号)の確度を示すものであり、確度算出部214で前記した(1)式により算出される。
RFID識別番号:RFID確度1607は、顔ID:顔確度1606と同様にして、1つのオブジェクト(またはオブジェクトナンバ)に対して複数のレコードを候補として格納できるように構成されている。
human ID1608は、顔IDとRFID識別番号に基づいて統合処理部205で決定された人物(オブジェクト)の識別番号である。なお、統合処理部205は、現在のカード1601だけではなく、過去の数フレーム分の履歴を用いて、human ID1608を決定してもよい。
human ID確度1609は、顔確度とRFID確度とに基づいて統合処理部205で決定されたオブジェクトの識別番号の確度を示すものである。
図14に示すように、顔DB33は、人物別に記憶部30に複数記憶されている。顔DB33は、予め撮像された人物の固有顔画像データであり、無線通信部60を介して管理用コンピュータ3から取得される。
(人物識別部の構成)
人物識別部(画像対応識別手段)43Aは、顔認識部11cから出力される顔位置に関する位置情報とオブジェクトマップ31Aとに基づいて、顔認識部11cから出力される画像データと比較すべき固有顔画像データを記憶部30において検索するものである。この人物識別部43Aは、図14に示すように、固有顔画像データ取得部(画像情報取得手段)431と、RFID識別番号取得部(読取識別情報取得手段)432と、グループ作成部(グループ作成手段)433と、撮影顔画像候補識別部(撮像画像候補識別手段)434とを備える。
固有顔画像データ取得部(画像情報取得手段)431は、記憶部30の顔DB33から、グループ作成部433で作成されるグループに属するRFID識別番号に対応する顔IDを有する固有顔画像データを取得するものである。
RFID識別番号取得部(読取識別情報取得手段)432は、撮影顔画像候補識別部434から、カメラCで撮像した識別対象Dの顔位置に関する位置情報を取得し、取得した顔位置に関する位置情報に基づいて、オブジェクトマップ31Aから、1以上のRFID識別番号の候補を取得し、撮影顔画像候補識別部434に出力するものである。
グループ作成部(グループ作成手段)433は、撮影顔画像候補識別部434の制御の下、オブジェクトマップ31Aに基づいて、識別対象Dの候補となる複数のオブジェクトに対応するRFID識別番号の候補をグループ化し、撮影顔画像候補識別部434に出力するものである。このグループ作成部433は、オブジェクトマップ31AのRFIDデータ1602に格納されているRFID識別番号(識別情報)をすべて読み込み2つのグループに分ける。本実施形態では、グループ作成部433は、顔識別部11cで対応する顔を識別したRFID識別番号から成る第1のグループと、当該RFID識別番号以外のRFID識別番号から成る第2のグループとに分ける。
撮影顔画像候補識別部(撮像画像候補識別手段)434は、前記した固有顔画像データ取得部431と、RFID識別番号取得部432と、グループ作成部433とを制御すると共に、顔認識部11cから出力される特徴パラメータと、固有顔画像データ取得部431で取得された固有顔画像データの特徴パラメータとの差が所定のしきい値以下であるかどうかを判定し、しきい値以下である場合に顔確度を算出するものである。
具体的には、撮影顔画像候補識別部434は、第1のグループについて、特徴パラメータどうしの差が第1のしきい値以下であるかどうかを判定し、第1のしきい値以下である場合には、当該特徴パラメータを有する固有顔画像データに対応する顔IDの顔確度を算出する。また、撮影顔画像候補識別部434は、特徴パラメータどうしの差が第1のしきい値よりも大きい場合には、第2のグループについて、特徴パラメータどうしの差が第2のしきい値以下であるかどうかを判定する。そして、撮影顔画像候補識別部434は、第2のしきい値以下である場合には、当該特徴パラメータを有する固有顔画像データに対応する顔IDの顔確度を算出する。本実施形態では、第2のしきい値は、第1のしきい値よりも小さく設定されている。なお、第2のしきい値を第1のしきい値と同一に設定してもよい。この場合には、撮影顔画像候補識別部434は、第2のグループについての特徴パラメータどうしの差が第2のしきい値以下である場合には、顔IDの顔確度を算出した後に、算出された顔確度に対して定数α(0<α<1)を乗じて最終的な顔確度とする。
[識別対象識別装置の動作]
次に、第2の実施形態に係る識別対象識別装置の動作を説明する。第2の実施形態に係る識別対象識別装置の動作は、人物識別部43Aの動作を除いて、第1の実施形態に係る識別対象識別装置の動作と同一である。以下、人物識別部43Aの動作について図17乃至図19を参照(適宜図14乃至図16参照)して説明する。図17は、図14に示した人物識別部の動作を示すフローチャートであり、図18は、人物識別部の動作の説明図であって、(a)は人物識別部の取得データ、(b)はグループの一例をそれぞれ示している。また、図19は、人物識別部の算出する顔確度の一例を示す説明図である。
まず、人物識別部43Aは、RFID識別番号取得部432によって、取得した顔位置に関する位置情報に基づいて、オブジェクトマップ31Aから、複数のRFID識別番号の候補を取得する(ステップS81)。具体的には、RFID識別番号取得部432は、図15に例示したIDが「3」のオブジェクト(人物)1503を第1の識別対象とした場合に、このオブジェクト1503の顔位置と、図16に例示したカード1601(オブジェクトマップ31A)とに基づいて、第1の識別対象のオブジェクトナンバが例えば「0」であると判定する。同様に、RFID識別番号取得部432は、図15に例示したIDが「5」のオブジェクト(人物)1503を第2の識別対象とした場合に、このオブジェクト1503の顔位置と、図16に例示したカード1601(オブジェクトマップ31A)とに基づいて、第2の識別対象のオブジェクトナンバが例えば「1」であると判定する。
図16に例示したカード1601(オブジェクトマップ31A)では、オブジェクトナンバが「0」の場合には、RFID識別番号:RFID確度1607の候補1の欄に、IDが「3」、かつ、確度が「50(%)」のデータが記録されていると共に、候補2の欄に、IDが「5」、かつ、確度が「50(%)」のデータが記録されている。同様に、オブジェクトナンバが「1」の場合には、RFID識別番号:RFID確度1607の候補1の欄に、IDが「3」、かつ、確度が「50(%)」のデータが記録されていると共に、候補2の欄に、IDが「5」、かつ、確度が「50(%)」のデータが記録されている。RFID識別番号取得部432は、これらのデータを取得し、図18の(a)に示すように、データベース1801として、図示しないバッファに格納する。
そして、人物識別部43Aは、グループ作成部433によって、取得したRFID識別番号の候補をグループ化する(ステップS82)。具体的には、グループ作成部433は、図示しないバッファに格納されたID「3」およびID「5」を第1のグループとする。ここで、図16に例示したカード1601のRFIDデータ1602の場合には、ID「3」およびID「5」以外に、当該ロボットRの周囲に、ID「10」およびID「12」のオブジェクトが存在している。そこで、グループ作成部433は、ID「10」およびID「12」を第2のグループとする。そして、グループ作成部433は、第1のグループの情報と第2のグループの情報とを格納したデータベース1811を図示しないバッファに格納する。
そして、人物識別部43Aは、固有顔画像データ取得部431によって、記憶部30の顔DB33から第1のグループに対応する固有顔画像データを取得する(ステップS83)。つまり、固有顔画像データ取得部431は、記憶部30から、第1のグループであるID「3」およびID「5」に対応付けられた固有顔画像データを取得する。そして、人物識別部43Aは、撮影顔画像候補識別部434によって、顔認識部11cから出力される特徴パラメータと、第1のグループに対応する固有顔画像データの特徴パラメータとの差が第1のしきい値以下であるかどうかを判定する(ステップS84)。特徴パラメータどうしの差が第1のしきい値以下である場合(ステップS84:Yes)、撮影顔画像候補識別部434は、当該特徴パラメータを有する固有顔画像データに対応する顔IDの顔確度を算出する(ステップS85)。具体的には、撮影顔画像候補識別部434は、図18の(a)に示したデータベース1801の顔ID:顔確度1606の候補1および候補2の欄に、顔IDおよび顔確度を書き込む。これにより、図19に示すように、データベース1901が作成される。そして、人物識別部43Aは、撮影顔画像候補識別部434によって、各候補の顔IDと顔確度をオブジェクトデータ統合部45に出力する(ステップS86)。
特徴パラメータどうしの差が第1のしきい値より大きい場合(ステップS84:No)、人物識別部43Aは、固有顔画像データ取得部431によって、記憶部30の顔DB33から第2のグループに対応する固有顔画像データを取得する(ステップS87)。つまり、この例では、固有顔画像データ取得部431は、記憶部30から、第2のグループであるID「10」およびID「12」に対応付けられた固有顔画像データを取得する。そして、人物識別部43Aは、撮影顔画像候補識別部434によって、顔認識部11cから出力される特徴パラメータと、第2のグループに対応する固有顔画像データの特徴パラメータとの差が第2のしきい値以下であるかどうかを判定する(ステップS88)。特徴パラメータどうしの差が第2のしきい値以下である場合(ステップS88:Yes)、人物識別部43Aは、ステップS85に進む。一方、特徴パラメータどうしの差が第2のしきい値より大きい場合(ステップS88:No)、人物識別部43Aは、処理を終了する。
なお、ステップS86に続いて、オブジェクトデータ統合部45は、顔ID(人物データ)およびRFID識別番号(RFID識別データ)に基づいて、human ID(統合識別データ)を生成する。この過程は第1の実施形態で説明したものと同様である。ただし、この例では、1つのオブジェクトに対して、RFID識別番号の候補が2つあると共に、顔IDの候補が2つある。したがって、第2の実施形態では、オブジェクトデータ統合部45の統合処理部205は、以下のような処理を行う。
例えば、図19に示すデータベース1901には、オブジェクトナンバが「0」の場合には、RFID識別番号:RFID確度1607の候補1の欄に、IDが「3」、かつ、確度が「50(%)」のデータが格納されていると共に、候補2の欄に、IDが「5」、かつ、確度が「50(%)」のデータが格納されている。オブジェクトナンバが「1」の場合も全く同様である。そこで、RFID識別番号:RFID確度1607の項目だけでは、2つのオブジェクトを区別することが困難である。しかしながら、図19に示すデータベース1901では、オブジェクトナンバが「0」の場合には、顔ID:顔確度1606の候補1の欄に、IDが「3」、かつ、確度が「60(%)」のデータが格納されていると共に、候補2の欄に、IDが「5」、かつ、確度が「40(%)」のデータが格納されている。同様に、オブジェクトナンバが「1」の場合には、顔ID:顔確度1606の候補1の欄に、IDが「3」、かつ、確度が「80(%)」のデータが格納されていると共に、候補2の欄に、IDが「5」、かつ、確度が「20(%)」のデータが格納されている。したがって、この場合には、オブジェクトナンバが「0」の候補1と、オブジェクトナンバが「1」の候補1とは、共に、IDが「3」のオブジェクト(人物)1503である。しかしながら、オブジェクトナンバが「1」の候補1の確度の方が、オブジェクトナンバが「0」の候補1の確度よりも大きい。
したがって、統合処理部205は、顔画像の観点によって、オブジェクトナンバが「1」の人物を、IDが「3」のオブジェクト(人物)1503であると識別し、図16に示すオブジェクトマップ31Aに対応した仮マップにおいて、human ID(統合識別データ)に「3」を割り当てると共に、その確度に、「80(%)」を割り当てる。同様に、オブジェクトナンバが「0」の人物を、候補2、すなわち、IDが「5」のオブジェクト(人物)1503であると識別し、human ID(統合識別データ)に「5」を割り当てると共に、その確度に「40(%)」を割り当てる。そして、オブジェクトデータ統合部45は、書込制御部206によって、この仮マップを所定のタイミングでオブジェクトマップ31Aに書き込むことにより、図16に示すカード1601を生成することとなる。また、統合処理部205は、最終的に過去のカード1601の履歴を利用することでhuman IDの確度を決定してもよい。
以上のように、第2の実施形態によれば、1つのオブジェクトに対して、RFID識別番号の候補や顔IDの候補が複数ある場合にも、顔ID(人物データ)およびRFID識別番号(RFID識別データ)に基づいて、human ID(統合識別データ)を生成することができる。したがって、オブジェクトの認識率(識別率)を向上させることが可能になる。なお、人物識別部43Aのグループ作成部433は必須の構成ではなく、省略することが可能である。この場合には、図17に示したフローチャートにおいて、ステップS82,S87,S88の各処理を省略できる。
しかしながら、以下に示すような場合には、グループ作成部433によって、識別対象Dの識別率を向上させることができるので、人物識別部43Aは、グループ作成部433を備えることが好ましい。例えば、1)ロボットRからRFIDタグTまでの距離、2)ロボットRとRFIDタグTとの間に介在する障害物、3)ロボットRに対するRFIDタグT(タグカード)の向き、によっては、RFIDタグTは、周囲の壁などで反射して向きが変わった赤外線(方向転換赤外線)を受光する場合がある。このような方向転換赤外線を受光したRFIDタグTが、受信報告信号をロボットR(対象検知部70)に返信すると、ロボットRの対象検知部70は、受信報告信号に含まれる方向検査信号(発光部ID)によって、実際とは異なる方向にRFIDタグTがあると誤認識してしまう。すなわち、読取誤差が生じる場合がある。たとえ、このような場合であっても、人物識別部43Aは、顔位置に基づいてオブジェクトマップ31Aから取得するRFID識別番号の候補だけに頼ることなく、ロボットRの周囲に存在する検知できるすべてのRFID識別番号を考慮する。その結果、識別対象Dの識別率が向上する。
以上、本発明の好ましい実施形態について説明したが、本発明は各実施形態に限定されるものではなく、その趣旨を変えない範囲でさまざまに実施することができる。例えば、識別対象の発する音声の周波数の相違から識別対象を識別する周波数識別手段を設けて、人物認識とRFIDタグとこの周波数識別手段とに基づいて識別対象を特定するようにしてもよい。
また、本発明に係る識別対象識別装置では、識別対象は人物(人間)のほかに、他のロボットや物体であってもよく、また、それらが移動可能であってもよい。
また、本発明に係る識別対象識別装置は、自律二足歩行ロボット以外にも、例えば自動車などの種々の移動体への応用も可能である。この場合には、例えば移動体に接近してきた人物が所有者(運転者)かどうか判別し、所有者の場合にドアを自動的に開けるようにしてもよい。
本発明の第1の実施形態に係る識別対象識別装置のシステム構成図である。 ロボットのブロック図である。 ロボットの対象検知部のブロック図である。 識別対象の位置を特定する方法を説明する説明図である。 RFIDタグの構成を示すブロック図である。 制御部の詳細を示すブロック図である。 オブジェクトデータ統合部の詳細を示すブロック図である。 オブジェクトマップを説明するための説明図である。 オブジェクトデータ統合部の全体の動作を示すフローチャートである。 人物データ登録処理の動作を示すフローチャートである。 RFID識別データ登録処理の動作を示すフローチャートである。 統合識別データ登録処理の動作を示すフローチャートである。 ロボットのカメラの視野を説明するための説明図である。 本発明の第2の実施形態に係る識別対象識別装置の人物識別部の構成を示すブロック図である。 第2の実施形態に係るロボットのカメラの視野を説明するための説明図である。 第2の実施形態に係るオブジェクトマップを説明するための説明図である。 図14に示した人物識別部の動作を示すフローチャートである。 人物識別部の動作の説明図であって、(a)は人物識別部の取得データ、(b)はグループの一例をそれぞれ示している。 人物識別部の算出する顔確度の一例を示す説明図である。
符号の説明
A 識別対象識別システム
C カメラ
D 識別対象
R ロボット(識別対象識別装置)
T RFIDタグ
1 基地局
2 ロボット専用ネットワーク
3 管理用コンピュータ
4 ネットワーク
5 端末
10 画像処理部
20 音声処理部
21c 音源定位部(音源定位抽出手段)
30 記憶部(識別対象情報記憶手段)
33 顔DB
40 制御部
41 姿勢データ生成部
43,43A 人物識別部(画像対応識別手段)
431 固有顔画像データ取得部(画像情報取得手段)
432 RFID識別番号取得部(読取識別情報取得手段)
433 グループ作成部(グループ作成手段)
434 撮影顔画像候補識別部(撮像画像候補識別手段)
45 オブジェクトデータ統合部
47 行動パターン部
49 タスク処理部
50 自律移動制御部
60 無線通信部
70 対象検知部
80 制御手段
90 電波送受信手段
100 発光手段
110 記憶手段
140 電波送受信手段
150 受光手段
160 受信報告信号生成手段
170 記憶手段
200 統合制御部
201 入力判定部
202 登録制御部
203 位置補正処理部
204 寿命処理部
205 統合処理部(識別対象決定手段)
206 書込制御部
211 人物データ登録制御部
212 RFID識別データ登録制御部
213 音源識別データ登録制御部
214 確度算出部(確度算出手段)
300 バッファ

Claims (10)

  1. 少なくともカメラと外部に存在する識別対象に設けた無線タグとにより識別対象を識別する識別対象識別装置であって、
    前記無線タグに記憶された識別情報を読み取る読取手段と、
    前記カメラによって撮像された前記識別対象の画像情報を抽出する画像処理手段と、
    前記画像処理手段で抽出された画像情報と前記識別対象の固有の画像情報とを比較照合することにより、撮像された識別対象を識別する画像対応識別手段と、
    少なくとも前記画像対応識別手段で識別された識別情報と前記読取手段で読み取られた識別情報とに基づいて、前記識別対象の識別情報を決定する識別対象決定手段と、
    を備えることを特徴とする識別対象識別装置。
  2. 前記識別対象の発する音声から音源位置を抽出する音源定位抽出手段をさらに備え、
    前記識別対象決定手段は、前記画像対応識別手段で識別された識別情報と、前記読取手段で読み取られた識別情報と、前記音源定位抽出手段で抽出された音源位置とに基づいて、前記識別対象の識別情報を決定する、
    ことを特徴とする請求項1に記載の識別対象識別装置。
  3. 前記読取手段で読み取られた識別情報の確度を算出する確度算出手段をさらに備え、
    前記画像対応識別手段は、識別した識別情報の確度を算出し、
    前記識別対象決定手段は、1つの識別対象に対して前記画像対応識別手段で識別された識別情報と、前記読取手段で読み取られた識別情報とが異なる場合に、前記画像対応識別手段で算出された確度と、前記確度算出手段で算出された確度とに基づいて、前記識別対象の識別情報を決定する、
    ことを特徴とする請求項1または請求項2に記載の識別対象識別装置。
  4. 前記画像処理手段で抽出された画像情報から特定される識別対象の位置情報と、前記識別対象決定手段で決定された識別情報とを、時刻別かつ前記識別対象別に記憶する識別対象情報記憶手段をさらに備えることを特徴とする請求項1乃至請求項3のいずれか一項に記載の識別対象識別装置。
  5. 前記識別対象を特定する識別情報に対応付けられた画像情報を格納する1以上のデータベースをさらに備え、
    前記画像対応識別手段は、
    前記識別対象の固有の画像情報として、前記1以上のデータベースから画像情報を取得する画像情報取得手段と、
    この画像情報取得手段で取得された1以上の画像情報と、前記画像処理手段で抽出された画像情報とを比較照合し、この比較照合結果に基づいて、前記取得した1以上の画像情報に対応付けられた識別情報に順位付けをして、前記順位付けをした識別情報を前記撮像された識別対象の候補として識別する撮像画像候補識別手段と、
    を備えることを特徴とする請求項1乃至請求項3のいずれか一項に記載の識別対象識別装置。
  6. 前記無線タグの位置情報を検知する検知手段と、
    前記撮像画像候補識別手段で識別された識別対象の位置情報と、前記画像対応識別手段で順位付けされた識別情報と、前記読取手段で読み取られた識別情報と、前記識別対象決定手段で決定された識別情報とを、時刻別かつ前記識別対象別に記憶する識別対象情報記憶手段と、をさらに備え、
    前記画像対応識別手段は、
    前記画像処理手段で抽出された画像情報から特定される識別対象の位置情報に基づいて、前記識別対象情報記憶手段から、前記読取手段で読み取られた識別情報を1以上取得する読取識別情報取得手段をさらに備え、
    前記画像情報取得手段は、この読取識別情報取得手段で取得した識別情報に対応付けられた画像情報を、前記識別対象の固有の画像情報として取得する、
    ことを特徴とする請求項5に記載の識別対象識別装置。
  7. 前記画像対応識別手段は、
    識別対象情報記憶手段から、前記読取手段で読み取られた識別情報をすべて取得し、取得した識別情報を、前記撮像された識別対象の識別情報から成る第1のグループと、前記撮像された識別対象の識別情報以外の識別情報から成る第2のグループとに分けるグループ作成手段をさらに備え、
    前記画像情報取得手段は、このグループ作成手段で分けられたグループに属する識別情報ごとに、前記グループに属する識別情報に対応付けられた画像情報を、前記識別対象の固有の画像情報として取得し、
    前記撮像画像候補識別手段は、前記画像情報取得手段で取得された画像情報と、前記画像処理手段で抽出された画像情報とを、前記グループ作成手段で分けられたグループごとに比較照合する、
    ことを特徴とする請求項6に記載の識別対象識別装置。
  8. 請求項1乃至請求項7のいずれか一項に記載の識別対象識別装置を備え、外部からの指令に基づいて所定の行動を行うと共に、前記識別対象識別装置で識別された識別情報で特定される識別対象に応じて、自律的に前記行動を制御可能であることを特徴とするロボット。
  9. 前記指令の内容は、物品の配達を依頼する依頼者の識別情報および位置情報と、配達先である目的者の識別情報および位置情報を含み、
    前記所定の行動は、前記依頼者を探索して識別し、識別した依頼者から前記物品を受け取り、前記目的者を探索して識別し、識別した目的者に受け取った物品を渡す行動であることを特徴とする請求項8に記載のロボット。
  10. 前記依頼者または前記目的者を識別したときに、前記依頼者および前記目的者にそれぞれ固有の会話用データに基づく音声を出力する音声合成手段と、
    人物の音声を認識する音声認識手段と、
    をさらに備えることを特徴とする請求項9に記載のロボット。
JP2005352879A 2004-12-14 2005-12-07 識別対象識別装置およびそれを備えたロボット Expired - Fee Related JP4460528B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005352879A JP4460528B2 (ja) 2004-12-14 2005-12-07 識別対象識別装置およびそれを備えたロボット
US11/301,114 US7769203B2 (en) 2004-12-14 2005-12-13 Target object detection apparatus and robot provided with the same
EP05027372A EP1672456B1 (en) 2004-12-14 2005-12-14 Target object detection apparatus and robot provided with the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004362064 2004-12-14
JP2005352879A JP4460528B2 (ja) 2004-12-14 2005-12-07 識別対象識別装置およびそれを備えたロボット

Publications (2)

Publication Number Publication Date
JP2006192563A true JP2006192563A (ja) 2006-07-27
JP4460528B2 JP4460528B2 (ja) 2010-05-12

Family

ID=36000860

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005352879A Expired - Fee Related JP4460528B2 (ja) 2004-12-14 2005-12-07 識別対象識別装置およびそれを備えたロボット

Country Status (3)

Country Link
US (1) US7769203B2 (ja)
EP (1) EP1672456B1 (ja)
JP (1) JP4460528B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037419A (ja) * 2007-08-01 2009-02-19 Toshiba Corp 画像処理装置およびプログラム
EP2068275A2 (en) 2007-12-06 2009-06-10 Honda Motor Co., Ltd. Communication robot
JP2011211687A (ja) * 2010-03-25 2011-10-20 Nec (China) Co Ltd データ関連付けのための方法と装置
US8090193B2 (en) 2007-12-06 2012-01-03 Honda Motor Co., Ltd. Mobile robot
CN103128736A (zh) * 2011-12-01 2013-06-05 索尼公司 机器人装置、其控制方法和计算机程序
KR20140053149A (ko) * 2011-08-02 2014-05-07 마이크로소프트 코포레이션 피호출자 검색 기법
JP2018005653A (ja) * 2016-07-05 2018-01-11 富士ゼロックス株式会社 移動ロボットおよび移動制御システム
JP2018501586A (ja) * 2015-01-12 2018-01-18 ユウトウ・テクノロジー(ハンジョウ)・カンパニー・リミテッド 影像識別システムと方法
CN109960264A (zh) * 2019-03-28 2019-07-02 潍柴动力股份有限公司 一种目标识别方法及***
WO2022124470A1 (ko) * 2020-12-11 2022-06-16 삼성전자주식회사 로봇 및 그 제어 방법
WO2023027312A1 (ko) * 2021-08-25 2023-03-02 삼성전자주식회사 로봇 및 그 제어 방법
KR102669060B1 (ko) * 2023-05-08 2024-05-29 (주)로보케어 추적 대상의 위치를 추정하는 방법 및 장치

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9769354B2 (en) 2005-03-24 2017-09-19 Kofax, Inc. Systems and methods of processing scanned data
US7668797B2 (en) * 2006-04-07 2010-02-23 Gary Kuvich Active semiotic system for image and video understanding by robots and unmanned vehicles, methods and apparatus
JP2007326307A (ja) * 2006-06-08 2007-12-20 Brother Ind Ltd タグラベル作成装置
US8180486B2 (en) 2006-10-02 2012-05-15 Honda Motor Co., Ltd. Mobile robot and controller for same
US7658694B2 (en) * 2007-04-30 2010-02-09 Nike, Inc. Adaptive training system
JP5010985B2 (ja) * 2007-05-30 2012-08-29 株式会社日立製作所 センサノード
JP4949134B2 (ja) * 2007-06-18 2012-06-06 富士フイルム株式会社 カメラ位置認識システム
JP2010539623A (ja) * 2007-09-19 2010-12-16 パナソニック株式会社 位置情報を使用して画像内のオブジェクトを識別するシステムおよび方法
KR100920457B1 (ko) * 2007-11-14 2009-10-08 한국생산기술연구원 로봇의 물체인식방법 및 물체인식시스템
US20100114372A1 (en) * 2008-10-30 2010-05-06 Intellibot Robotics Llc Method of cleaning a surface using an automatic cleaning device
KR101553522B1 (ko) * 2008-12-29 2015-09-16 삼성전자 주식회사 로봇 및 그 제어 방법
US9576272B2 (en) 2009-02-10 2017-02-21 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9767354B2 (en) 2009-02-10 2017-09-19 Kofax, Inc. Global geographic information retrieval, validation, and normalization
JP5319433B2 (ja) * 2009-07-16 2013-10-16 エンパイア テクノロジー ディベロップメント エルエルシー 撮影システム、移動体、撮影制御方法
ES2358139B1 (es) * 2009-10-21 2012-02-09 Thecorpora, S.L. Robot social.
US8635015B2 (en) * 2009-12-17 2014-01-21 Deere & Company Enhanced visual landmark for localization
US8224516B2 (en) 2009-12-17 2012-07-17 Deere & Company System and method for area coverage using sector decomposition
US20110153338A1 (en) * 2009-12-17 2011-06-23 Noel Wayne Anderson System and method for deploying portable landmarks
ITTO20110839A1 (it) * 2011-09-20 2013-03-21 Sisvel Technology Srl Metodo per la ricostruzione della pianta di un ambiente circostante un dispositivo wireless e dispositivo wireless che implementa tale metodo
US8549518B1 (en) 2011-08-10 2013-10-01 Nutanix, Inc. Method and system for implementing a maintenanece service for managing I/O and storage for virtualization environment
US9652265B1 (en) 2011-08-10 2017-05-16 Nutanix, Inc. Architecture for managing I/O and storage for a virtualization environment with multiple hypervisor types
US9009106B1 (en) 2011-08-10 2015-04-14 Nutanix, Inc. Method and system for implementing writable snapshots in a virtualized storage environment
US8850130B1 (en) 2011-08-10 2014-09-30 Nutanix, Inc. Metadata for managing I/O and storage for a virtualization
US9747287B1 (en) * 2011-08-10 2017-08-29 Nutanix, Inc. Method and system for managing metadata for a virtualization environment
US8863124B1 (en) 2011-08-10 2014-10-14 Nutanix, Inc. Architecture for managing I/O and storage for a virtualization environment
US8601473B1 (en) 2011-08-10 2013-12-03 Nutanix, Inc. Architecture for managing I/O and storage for a virtualization environment
US9649531B2 (en) * 2011-08-22 2017-05-16 Allied Power Products, Inc. Mobile practice dummy
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US9165188B2 (en) 2012-01-12 2015-10-20 Kofax, Inc. Systems and methods for mobile image capture and processing
KR20130096539A (ko) * 2012-02-22 2013-08-30 한국전자통신연구원 자율 이동장치 및 그 제어 방법
US8837788B2 (en) * 2012-06-04 2014-09-16 J. Stephen Hudgins Disruption of facial recognition system
JP5978027B2 (ja) * 2012-06-28 2016-08-24 本田技研工業株式会社 移動ロボットの制御装置
US9772866B1 (en) 2012-07-17 2017-09-26 Nutanix, Inc. Architecture for implementing a virtualization environment and appliance
EP2689650B1 (en) * 2012-07-27 2014-09-10 Honda Research Institute Europe GmbH Trainable autonomous lawn mower
US9208536B2 (en) * 2013-09-27 2015-12-08 Kofax, Inc. Systems and methods for three dimensional geometric reconstruction of captured image data
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
US20140327520A1 (en) * 2013-05-02 2014-11-06 Infineon Technologies Ag Radio identification arrangement and method for indicating the position of a physical object
JP2016518790A (ja) 2013-05-03 2016-06-23 コファックス, インコーポレイテッド モバイル装置を用いて取込まれたビデオにおけるオブジェクトを検出および分類するためのシステムおよび方法
US9310800B1 (en) * 2013-07-30 2016-04-12 The Boeing Company Robotic platform evaluation system
US9386235B2 (en) 2013-11-15 2016-07-05 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
JP6476831B2 (ja) * 2013-12-26 2019-03-06 株式会社リコー 視差演算システム、情報処理装置、情報処理方法及びプログラム
US10198758B2 (en) * 2014-03-28 2019-02-05 Ecovacs Robotics, Inc. Guide robot for shopping guiding system and method
US9342884B2 (en) * 2014-05-28 2016-05-17 Cox Enterprises, Inc. Systems and methods of monitoring waste
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
JP6068429B2 (ja) * 2014-12-25 2017-01-25 ファナック株式会社 ロボット識別システム
US9914218B2 (en) * 2015-01-30 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and apparatuses for responding to a detected event by a robot
US9934437B1 (en) * 2015-04-06 2018-04-03 Hrl Laboratories, Llc System and method for real-time collision detection
DE102015208445A1 (de) * 2015-05-06 2016-11-10 Deutsches Zentrum für Luft- und Raumfahrt e.V. System zur Abholung und Ablieferung von Objekten
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US10467465B2 (en) 2015-07-20 2019-11-05 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
US10592729B2 (en) * 2016-01-21 2020-03-17 Samsung Electronics Co., Ltd. Face detection method and apparatus
US10467103B1 (en) 2016-03-25 2019-11-05 Nutanix, Inc. Efficient change block training
US9779296B1 (en) 2016-04-01 2017-10-03 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US10011016B1 (en) 2016-05-11 2018-07-03 X Development Llc Surface markers and methods for use
GB2565315B (en) * 2017-08-09 2022-05-04 Emotech Ltd Robots, methods, computer programs, computer-readable media, arrays of microphones and controllers
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
JP2019139570A (ja) * 2018-02-13 2019-08-22 株式会社東芝 判別装置、判別方法およびプログラム
CN108406848A (zh) * 2018-03-14 2018-08-17 安徽果力智能科技有限公司 一种基于场景分析的智能机器人及其运动控制方法
KR102228866B1 (ko) * 2018-10-18 2021-03-17 엘지전자 주식회사 로봇 및 그의 제어 방법
US10909336B2 (en) * 2018-11-27 2021-02-02 Kindred Systems Inc. Systems and methods for singulation of an object immersed in a volume containing a plurality of objects
US11102572B2 (en) * 2019-03-29 2021-08-24 Asahi Kasei Kabushiki Kaisha Apparatus for drawing attention to an object, method for drawing attention to an object, and computer readable non-transitory storage medium
US11109586B2 (en) * 2019-11-13 2021-09-07 Bird Control Group, Bv System and methods for automated wildlife detection, monitoring and control
CN111174765B (zh) * 2020-02-24 2021-08-13 北京航天飞行控制中心 基于视觉引导的行星车目标探测控制方法及装置
US11801603B2 (en) * 2020-05-12 2023-10-31 Soremartec S.A. Operating device
CN114217617B (zh) * 2021-12-14 2024-04-19 北京云迹科技股份有限公司 机器人的控制方法及装置
CN114526724B (zh) * 2022-02-18 2023-11-24 山东新一代信息产业技术研究院有限公司 一种用于巡检机器人的定位方法及设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761538A (ja) * 1993-12-13 1995-03-07 Tokyo Electron Ltd 物品搬送及び処理方法
US5819008A (en) * 1995-10-18 1998-10-06 Rikagaku Kenkyusho Mobile robot sensor system
US6038333A (en) * 1998-03-16 2000-03-14 Hewlett-Packard Company Person identifier and management system
EP1244958A4 (en) * 1999-10-27 2008-11-12 Keba Ag INSTALLATION, SYSTEM AND METHOD FOR ASYNCHRONOUS TRANSFER OF ARTICLES
JP2001157985A (ja) 1999-11-30 2001-06-12 Sony Corp 使用者識別装置、使用者識別方法、及びロボット装置
US6608563B2 (en) * 2000-01-26 2003-08-19 Creative Kingdoms, Llc System for automated photo capture and retrieval
JP4694701B2 (ja) 2001-01-15 2011-06-08 繁 安藤 情報検索方法、情報検索装置およびロボットの動作制御装置
US7076441B2 (en) * 2001-05-03 2006-07-11 International Business Machines Corporation Identification and tracking of persons using RFID-tagged items in store environments
JP4396273B2 (ja) 2001-10-22 2010-01-13 ソニー株式会社 ロボット装置及びその制御方法
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
JP2003340762A (ja) 2002-05-24 2003-12-02 Mitsubishi Heavy Ind Ltd ロボットおよびロボットシステム
JP2004160630A (ja) 2002-09-27 2004-06-10 Sony Corp ロボット装置及びその制御方法
JP4024683B2 (ja) 2003-01-15 2007-12-19 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
US7362210B2 (en) * 2003-09-05 2008-04-22 Honeywell International Inc. System and method for gate access control
JP2005199373A (ja) * 2004-01-14 2005-07-28 Toshiba Corp コミュニケーション装置及びコミュニケーション方法
JP4477921B2 (ja) 2004-03-31 2010-06-09 本田技研工業株式会社 移動ロボット

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037419A (ja) * 2007-08-01 2009-02-19 Toshiba Corp 画像処理装置およびプログラム
US8035687B2 (en) 2007-08-01 2011-10-11 Kabushiki Kaisha Toshiba Image processing apparatus and program
EP2068275A2 (en) 2007-12-06 2009-06-10 Honda Motor Co., Ltd. Communication robot
US8010231B2 (en) 2007-12-06 2011-08-30 Honda Motor Co., Ltd. Communication robot
US8090193B2 (en) 2007-12-06 2012-01-03 Honda Motor Co., Ltd. Mobile robot
JP2011211687A (ja) * 2010-03-25 2011-10-20 Nec (China) Co Ltd データ関連付けのための方法と装置
KR102040340B1 (ko) * 2011-08-02 2019-11-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 피호출자 검색 기법
KR20140053149A (ko) * 2011-08-02 2014-05-07 마이크로소프트 코포레이션 피호출자 검색 기법
CN103128736B (zh) * 2011-12-01 2016-12-21 索尼公司 机器人装置、其控制方法和计算机程序
CN103128736A (zh) * 2011-12-01 2013-06-05 索尼公司 机器人装置、其控制方法和计算机程序
JP2018501586A (ja) * 2015-01-12 2018-01-18 ユウトウ・テクノロジー(ハンジョウ)・カンパニー・リミテッド 影像識別システムと方法
JP2018005653A (ja) * 2016-07-05 2018-01-11 富士ゼロックス株式会社 移動ロボットおよび移動制御システム
CN109960264A (zh) * 2019-03-28 2019-07-02 潍柴动力股份有限公司 一种目标识别方法及***
WO2022124470A1 (ko) * 2020-12-11 2022-06-16 삼성전자주식회사 로봇 및 그 제어 방법
WO2023027312A1 (ko) * 2021-08-25 2023-03-02 삼성전자주식회사 로봇 및 그 제어 방법
KR102669060B1 (ko) * 2023-05-08 2024-05-29 (주)로보케어 추적 대상의 위치를 추정하는 방법 및 장치

Also Published As

Publication number Publication date
EP1672456A3 (en) 2011-06-29
JP4460528B2 (ja) 2010-05-12
US7769203B2 (en) 2010-08-03
EP1672456B1 (en) 2012-04-18
US20060126918A1 (en) 2006-06-15
EP1672456A2 (en) 2006-06-21

Similar Documents

Publication Publication Date Title
JP4460528B2 (ja) 識別対象識別装置およびそれを備えたロボット
CN100369487C (zh) 物体检测装置、物体检测服务器以及物体检测方法
CN108665891B (zh) 声音检测装置、声音检测方法以及记录介质
US8090193B2 (en) Mobile robot
JP4630146B2 (ja) 位置管理システムおよび位置管理プログラム
EP1796079B1 (en) Mobile robot equipped with an interface apparatus for communicating with a wireless tag
JP3996015B2 (ja) 姿勢認識装置及び自律ロボット
KR20190078543A (ko) 이미지 획득 장치 및 그의 제어 방법
CN105979442B (zh) 噪声抑制方法、装置和可移动设备
JP4787813B2 (ja) 検知対象検知システム
EP2068275A2 (en) Communication robot
US20040190754A1 (en) Image transmission system for a mobile robot
EP3175630A1 (en) Wearable earpiece for providing social and environmental awareness
US20040190753A1 (en) Image transmission system for a mobile robot
JP2002048513A (ja) 位置検出装置、位置検出方法、及び位置検出プログラム
CN106292657A (zh) 可移动机器人及其巡逻路径设置方法
US20200376676A1 (en) Method of localization using multi sensor and robot implementing same
US10922998B2 (en) System and method for assisting and guiding a visually impaired person
JP6934709B2 (ja) 捜し物ロボット
CN108062098A (zh) 智能机器人的地图构建方法和***
JP2021144260A (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP2007280417A (ja) 姿勢認識装置及び自律ロボット
Manjari et al. CREATION: Computational constRained travEl aid for objecT detection in outdoor eNvironment
EP4040268A1 (en) Object sharing method and apparatus
CN112528699B (zh) 用于获得场景中的设备或其用户的标识信息的方法和***

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20091224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100212

R150 Certificate of patent or registration of utility model

Ref document number: 4460528

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140219

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees