JP2002056388A - ロボット装置 - Google Patents
ロボット装置Info
- Publication number
- JP2002056388A JP2002056388A JP2001158402A JP2001158402A JP2002056388A JP 2002056388 A JP2002056388 A JP 2002056388A JP 2001158402 A JP2001158402 A JP 2001158402A JP 2001158402 A JP2001158402 A JP 2001158402A JP 2002056388 A JP2002056388 A JP 2002056388A
- Authority
- JP
- Japan
- Prior art keywords
- image
- head
- person
- face
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims description 101
- 238000000034 method Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 66
- 238000004364 calculation method Methods 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 39
- 238000013523 data management Methods 0.000 claims description 30
- 238000013500 data storage Methods 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 173
- 238000010586 diagram Methods 0.000 description 43
- 238000007726 management method Methods 0.000 description 23
- 230000004044 response Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101001062854 Rattus norvegicus Fatty acid-binding protein 5 Proteins 0.000 description 1
- 241000207961 Sesamum Species 0.000 description 1
- 235000003434 Sesamum indicum Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Manipulator (AREA)
Abstract
も人物識別を可能とするロボット装置の提供。 【解決手段】画像を取得する映像取得手段と、画像中か
ら人間の頭部を検出する頭部検出追跡手段と、検出され
た頭部の部分画像中から正面顔画像を取得する正面顔位
置合わせ手段と、正面顔画像を特徴量に変換する顔特徴
抽出手段と、識別辞書を用いて特徴量から人物を識別す
る顔識別手段と、識別辞書を保存する識別辞書記憶手段
とを備え、を含む人物識別装置と、ロボットの動作を制
御する全体制御部と、前記全体制御部の指示で音声を発
話する音声出力手段と、前記全体制御部の指示でロボッ
トを移動する移動手段と、を備える。
Description
別する技術に関し、特に、正面顔による人物識別技術、
並びに人物を識別するロボット装置に関する。
は、従来よりいくつか提案されている。最近の顔検出、
識別技術の動向は、例えば文献(1)(赤松 茂、“コ
ンピュータによる顔の認識−サーベイ−”、電子情報通
信学会論文誌、Vol.J80-D-II,No.8,pp.2031-2046,Augus
t 1997)に記載されている。一般に、顔識別システム
は、画像中から顔を検出する処理と、顔パターンからの
特徴抽出処理と、特徴量を辞書データと比較する人物識
別処理と、を備えて構成されている。
(小杉 信、“個人識別のための多重ピラミッドを用い
たシーン中の顔の探索・位置決め”、電子情報通信学会
論文誌、Vol.J77-D-II,No.4,pp.672-681,April 1994)
に記載されているように濃淡パターンを用いたテンプレ
ートマッチングを行うものや、文献(3)(M.Turk, A.
Pentland, “Face Recognition on Using Eigenfac
es”, Proceedings ofIEEE,CVPR91)に記載されている
ような、顔画像の固有ベクトル投影距離方式が知られて
いる。
報には、目、鼻、口といった造作を検出し、その位置関
係から正面顔濃淡パターンを切り出す方法も提案されて
いる。
る固有ベクトル投影距離方式について説明する。
を用意する。それらの画素値を特徴ベクトルとして、固
有値と固有ベクトルを求める。固有値の大きい順にp個
の固有ベクトルVn(n=1,..p)を求める。
ると、p個の投影値が得られる。これらの投影値と、固
有ベクトルVn から、テスト画像を再構成することによ
り、再構成テスト画像t’が得られる。
テスト画像t’も顔パターンに近い画像が得られる。そ
こで次式(1)で与えられる距離尺度Dtによって、顔
であるかどうかを判断する。
った顔造作の幾何学的特徴を用いるものと、大局的な濃
淡パターンの照合によるものとの2種類があるが、シー
ン中の顔パターンは、顔の向きや表情が変化すると造作
の位置関係も変化するため、近時、後者の大局的な濃淡
パターンを用いる方法が現在主流となっている。
上記文献(2)(小杉 信、“個人識別のための多重ピ
ラミッドを用いたシーン中の顔の探索・位置決め”、電
子情報通信学会論文誌、Vol.J77-D-II,No.4,pp.672-68
1,April 1994)では、濃淡パターンを特徴ベクトルと考
え、特徴ベクトル間の内積が大きいカテゴリを識別結果
としている。 また、上記文献(3)(M.Turk, A.Pentl
and, “Face Recognition on Using Eigenfaces”, Pro
ceedings of IEEE,CVPR91)では、顔画像の固有ベクト
ルへの投影値を特徴ベクトルとし、それらのユークリッ
ド距離の小さいカテゴリを識別結果としている。
装置としては、例えば特願平10−151591号に記
載された装置がある。このロボット装置は、画像中から
色情報を抽出し、色パターンに応じて動作を変化させる
ことができる。しかしながら、人物を認識する機能手段
は具備していない。
ムは下記記載の問題点を有している。
件が一定でない環境では人物識別が出来ないということ
である。
困難であるためである。例えばテンプレートマッチング
法は、画像中の顔パターンと辞書パターンとがほとんど
濃度値でない限り、検出することは困難であり、照明方
向が少しでもずれていたり、あるいは辞書の人物と異な
る人物の場合には、ほとんど検出不可能である。一方、
固有ベクトル投影距離方式は、テンプレートマッチング
に比べると、検出性能は高いものの、照明方向が違って
いたり、また複雑な背景を持つ画像では、同様に、検出
は失敗する。
別が出来ないもう一つの理由は、従来の特徴抽出方式と
識別方式が、照明変動による特徴量の変動を吸収できな
いためである。
てなされたものであって、その目的は、家庭環境のよう
な一般環境において人物を識別できるロボット装置を提
供することにある。
境において安定して人物を識別できるロボット装置を提
供することにある。
明に係るロボット装置は、人物識別装置として、画像を
取得する映像取得手段と、画像中から人間の頭部を検出
する頭部検出追跡手段と、検出された頭部の部分画像中
から正面顔画像を取得する正面顔位置合わせ手段と、正
面顔画像を特徴量に変換する顔特徴抽出手段と、識別辞
書を用いて特徴量から人物を識別する顔識別手段と、識
別辞書を保存する識別辞書記憶手段とを備えたことを特
徴とする。そして頭部検出追跡手段において、1枚の画
像から頭部を検出する単眼視頭部矩形座標検出手段と、
対面距離値と頭部矩形座標値とから頭部の誤検出を取り
除く対面距離評価手段とを備え、ロボットの動作を制御
する全体制御部と、全体制御部の指示で音声を発話する
スピーカと、全体制御部の指示でロボットを移動する移
動手段と、前方の物体との距離を測定する対面距離セン
サと、タッチセンサと、マイクと、音声認識手段とを備
えたことを特徴とする。
識別結果が得られたときに、人物毎に異なる音声で発話
するよう制御する。
人物識別装置から前方物体との対面距離と方向を取得す
る手段と、人物識別結果を取得する手段と、前記対面距
離がしきい値以上の場合には、前記前方物体に近づくよ
うに移動する手段と、前記対面距離がしきい値以下のと
きは、人物識別結果を人物毎に異なる音声で発話するよ
うに制御する手段と、を備える。
て図面を参照して詳細に説明する。
られる人物識別装置の一実施の形態の構成を示す図であ
る。図1を参照すると、本発明の一実施の形態をなす人
物識別装置14は、映像取得手段2と、対面距離センサ
5と、人物検出識別手段1と、人物検出識別管理部13
と、辞書データ管理部12と、を備えている。映像取得
手段2は、右カメラ3と左カメラ4とを備え、それぞれ
のカメラ映像情報を取得する。対面距離センサ5は、カ
メラの光軸と同じ方向に設置されており、映像中の物体
との対面距離を計測する。対面距離センサ5の例とし
て、超音波センサ、赤外線センサなどがある。人物検出
識別管理部13は、人物検出識別手段1に対する動作開
始命令と動作終了命令の送信と、辞書データ管理部12
への特徴データ送信、辞書作成命令の送信を行なう。
カメラとしては、例えばビデオカメラ、デジタルCCD
カメラ等を含み、動きのある情景を、静止画像の連続と
して出力することのできる撮影デバイスを総称してい
る。
6と、正面顔位置合わせ手段7と、顔特徴抽出手段8
と、顔識別手段9と、識別辞書記憶手段10と、識別結
果補正手段11とを備えている。
部13から動作開始命令を受けると、辞書データ管理部
12から識別辞書記憶手段10に識別用辞書をロードし
た後、動作を開始する。
人物検出識別手段1の処理を説明するための流れ図であ
る。図1及び図18を参照して、人物検出識別手段1の
動作を説明する。
得手段2からの画像情報と、対面距離センサ5の読み取
り値をもとに、現在のフレームにおける人物の頭部の数
と、頭部矩形座標を出力する(ステップS1)。
プS2)。検出した頭部数が0の場合には、次のフレー
ムの映像を入力して頭部検出を行い、検出数が1以上に
なるまで、ステップS1は継続される。
せ手段7に検出結果が送信される。正面顔位置合わせ手
段7では、顔領域の探索処理を行い(ステップS3)、
正面顔領域が見つかったかどうかを判断する(ステップ
S4)。
である正面顔画像を出力する。ステップS3とステップ
S4の処理は、頭部の誤検出を排除し、さらに人物がカ
メラの正面を向いている映像のみを抽出して後段の処理
に送る事を目的としている。正面顔を発見できなかった
ときは、再びステップS1から処理を行う。
段8において、正面顔画像を特徴量データに変換する
(ステップS5)。
うに、正面顔画像を左から右へ1ライン毎にスキャン
し、上から下へ1ライン終われば次のラインをスキャン
して1次元データを生成し(「ラスタスキャン」とい
う)、それを特徴データとして用いるものである。その
他、1次微分フィルタや2次微分フィルタを用いてフィ
ルタリングし、エッジ情報を抽出したものを、ラスタス
キャンして特徴データとする方法を用いてもよい。
憶手段10の辞書データを参照して顔識別処理を行う
(ステップS6)。
去mフレーム分(mは2以上の整数)の識別結果との統
合処理を行い(ステップS7)、その結果を、人物検出
識別管理部13に出力する(ステップS8)。
1)において、複数の頭部矩形を検出し、それらを全て
処理していない時は(ステップS9のNo分岐)、もう
一度正面顔位置合わせ手段7による(ステップS3)か
ら処理を行なう。人物検出識別手段1は、人物識別管理
部13から終了指示を受けて終了する(ステップS1
0)。終了指示があるまでは再びステップS1から処理
を継続して行う。
施例をなす頭部検出追跡手段27の構成を示す図であ
る。図2を参照すると、頭部検出追跡手段27は、頭部
検出手段21と、頭部追跡手段22と、頭部矩形座標記
憶手段23とを備えている。頭部検出手段21は、頭部
矩形座標検出手段24と、左右画像照合手段25と、対
面距離統合手段31と、対面距離評価手段26とを備え
ている。
説明するための流れ図である。図2及び図19を参照し
て、本発明の一実施例をなす頭部検出追跡手段27の動
作を説明する。
距離センサの読み取り値が頭部検出手段21に入力され
る。頭部検出手段21は、入力された情報から人物頭部
の検出処理を行い、頭部矩形座標と頭部検出数を出力す
る(ステップS10)。
数と頭部矩形座標を、頭部矩形座標記憶手段23に保存
した後に、出力する(ステップS18)。
22において、前のフレームにおける頭部矩形情報を、
頭部矩形記憶手段23から取り出し、頭部追跡処理を行
う(ステップS19)。
した頭部数と頭部矩形座標を出力し、追跡に失敗した場
合には検出数0を出力する(ステップS20)。
段21の動作について詳細に説明する。頭部検出手段2
1では、まず左右どちらか一方の映像を頭部矩形座標検
出手段24に入力し、仮頭部検出数と仮頭部矩形座標を
得る(ステップS11)。
は右カメラ映像を用いている。次に、左右画像照合手段
25において、得られた頭部矩形座標と左右カメラの映
像を用いて、ステレオ視の原理をもとに対面距離値を算
出する(図19のステップS12)。
25の動作を説明する。右カメラ画像において検出され
た頭部矩形を、頭部検出矩形51とする。そして頭部検
出矩形51内の画像データを用いて、左カメラ画像の同
じ検出座標位置の近傍を探索する。探索方法の一例はテ
ンプレートマッチングである。右カメラ画像の濃淡値を
FR(x,y)、左カメラ画像の濃淡値をFL(x,y)、矩形の
横サイズをTw、縦サイズをThとすると、テンプレー
トの左上始点位置が、左カメラ画像の(sx,sy)にある時
のマッチング距離Dtmは、次式(2)で表される。
画像間のユークリッド距離を表している。Dtmが最も小
さい時の左カメラ画像上の座標を、探索結果52とす
る。探索結果52が求まると、次に左右の矩形座標値を
比較し、人物頭部への距離を算出する。
法の一例を示す。図32は、左右のカメラを使って、あ
る一つの対象物体403を撮影している状況を、上から
見た図である。右カメラ401と左カメラ402が、間
隔Cを空けて平行に設置されている。カメラの画角はθ
で左右共に同じとする。カメラの撮像面の横方向の長さ
をeとする。この状態で、右カメラ画像には、対象物4
03が座標 Xr に写っており、左カメラ画像には座標
Xlに写っている。なお画像の最大横サイズはW画素で
ある。この時、カメラ撮像面から、対称物403までの
対面距離Zは、次式(3)で算出することができる。
あることから、0として近似計算することもできる。以
上のようにして、左右カメラ画像から対面距離を算出す
る。
ステレオ視によって対面距離を算出した後、対面距離統
合手段31において、対面距離センサ30の出力値をも
とに、対面距離の統合処理を行う(図19のステップS
13)。実験的に、超音波センサ等の距離センサは、距
離が1m未満の場合には非常に精度が高い。一方、1m
以上の遠い距離では誤差が大きくなる傾向にある。
メラの画角にもよるが概ね3m程度まで有効であるが、
距離が近すぎると、かえって誤差が大きくなる傾向にあ
る。そこで、両者の距離値を統合する方法として、対面
距離センサ30の出力があるしきい値Tよりも小さい場
合には、対面距離センサの値を採用し、しきい値Tより
も大きい場合にはステレオ視による距離値を採用すると
いう方法が用いられる。
26において、対面距離値と画像中の頭部矩形座標値か
ら、頭部の実際のサイズを算出する(図19のステップ
S14)。
すれば、本当に頭部を検出したと判定する。算出結果が
実際の頭のサイズから著しくかけ離れる場合には、誤検
出であると判断する(図19ステップS15)。例え
ば、頭部の横サイズが12cmプラスマイナス2cm以
内で、かつ縦サイズが20cmプラスマイナス4cm以
内の場合は頭部と見做し、それ以外の場合は頭部ではな
い、と判断する。
数を1増やす(図19ステップS16)。
る時は(図19のステップS17のNo分岐)、再びス
テップS12から処理を行う。頭部検出手段21は仮頭
部矩形座標を全て評価し終わった時点で(図19のステ
ップS19のYes分岐)、頭部検出数と頭部矩形座標
を出力する。
24について説明する。図4は、頭部矩形座標検出手段
24の一実施例をなす頭部矩形座標検出手段41の構成
を示す図である。図4を参照すると、頭部矩形座標検出
手段41は、動き画素検出手段42と、ノイズ除去手段
47と、人物数評価手段43と、頭頂座標検出手段44
と、頭部下部座標検出手段45と、側頭座標検出手段4
6とを備えている。
理を説明するための流れ図である。図20、図4、及び
図5を参照して、頭部矩形座標検出手段41の動作につ
いて説明する。
内で動きのある画素群を検出する。入力画像データと、
それより1つ前に入力された画像データとの差分をと
り、差分画像gを生成する(ステップS21)。
数)の差分画像gを加算し平均をとる事によって、統合
差分画像Gを得る(ステップS22)。統合差分画像G
は、動きのない領域の画素値が0で、動きのある領域ほ
ど画素値が大きい値を取る。
むので、ノイズ除去手段47において、ノイズ除去処理
を行う(ステップS23)。ノイズ除去処理の例として
は、膨張収縮処理や、メジアンフィルタ処理などがあ
る。これらのノイズ除去処理は、画像処理の分野で一般
的であり、当業者にとってよく知られている処理が用い
られるので、その詳細な構成は省略する。
て、画面内に何人の人間がいるのかを評価する。人物数
評価手段43の動作について説明する。図5は、統合差
分画像Gの取得の例を説明するための図である。
ついて説明する。統合差分画像G48が得られたとする
と、まず動き領域があるかどうかを判定する(図20の
ステップS24)。ここで動き領域とは、動きのある画
素が占める領域を表わす。この動き領域がない、すなわ
ち統合差分画像Gが全て0の場合には、人物数は0と判
定する。それ以外の場合人物数は1とする。
明する。統合差分画像G49が得られたとすると、まず
動き領域の有無を調べる(図20のステップS24)。
動き領域がない場合は人物数0である。動き領域がある
場合、統合差分画像Gを参照して、何人いるのかを判定
する(図20のステップS25)。判定方法としては、
例えば統合差分画像上部領域50における動き領域幅の
最大値が、あるしきい値よりも小さいときは1人、大き
いときは2人、とする方法がある。人物数が2人のとき
は、人物が横に並んでいると仮定し、統合差分領域G
を、部分領域1と部分領域2に分割する。なお3人以上
検出の場合も、分割数を増やすことで対応できる。頭部
矩形を求める際には、部分領域1と部分領域2のそれぞ
れに対して、以下に述べる同じ処理(図20のステップ
S26からステップS29まで)を繰り返せばよい。
求める処理について説明する。各スキャンライン毎に動
き領域幅47を求める(図20のステップS26)。
いて動き領域のx座標最大値と最小値の差分を表してい
る。
Y座標を求める(図20のステップS27)。頭頂座標
の求め方としては、動き領域のY座標の最小値を頭頂と
する方法がある。
て、頭部矩形の底辺のY座標を求める(図20のステッ
プS28)。頭部矩形の底辺座標を求め方としては、頭
頂から下方向(Y方向)に探索し、動き領域幅47が動
き領域幅の平均値dmよりも小さいラインを求め、その
ラインの中でY座標が最も大きいところを、頭部矩形の
底辺とする方法を用いてもよい。
矩形の左右のx座標を求める(図20のステップS2
9)。左右のx座標の求め方としては、頭頂から頭部下
部までの範囲で最も動き領域幅47が大きなラインにお
ける動き領域の左右端の座標を求める方法を用いてもよ
い。
テップS26からステップS29までの処理を部分領域
毎に繰り返す。
いて、図7を参照して説明する。追跡処理は、頭部矩形
座標検出に用いたカメラ画像(図2では右カメラ画像)
に対して行なう。まず前フレームの頭部矩形座標53と
前フレームの頭部矩形画像55を、頭部矩形記憶手段2
3から読み出す。
頭部矩形座標53の近傍領域をテンプレートマッチング
によって探索し、最も距離値の小さい所を追跡結果とす
る。
実施例をなす頭部検出追跡手段32の構成を示す図であ
る。図3を参照すると、この頭部検出追跡手段32は、
頭部検出手段33と、頭部矩形記憶手段23と、頭部追
跡手段22とを備えている。図2に示した実施例との相
違点としては、頭部検出手段33が、頭部矩形座標検出
手段24と、対面距離評価手段26とを持ち、単眼のカ
メラ34と対面距離センサ30の出力を用いて検出を行
なっていることである。すなわち、左右のステレオ視に
よる対面距離は考慮せず、対面距離センサの読み取り値
のみを用いて頭部矩形の評価を行なうものである。
例として、対面距離センサを用いずに、左右カメラのみ
の情報から対面距離を求め、頭部矩形を評価するという
構成の頭部検出手段を用いてもよい。この構成の場合、
頭部検出手段21において、図2の対面距離統合手段3
1を除いた構成となる。
一実施例をなす正面顔位置合わせ手段61の構成を示す
図である。図9を参照すると、正面顔位置合わせ手段6
1は、頭部矩形切り取り手段62と、正面顔探索手段6
3と、正面顔らしさ判定手段65とを備えて構成されて
いる。
定手段66と、しきい値処理手段67とを備えている。
理を説明するための流れ図である。図9及び図21を参
照して、正面顔位置合わせ手段61の動作について説明
する。正面顔位置合わせ手段61は、画像データと頭部
矩形座標と対面距離が入力されると、正面顔有無フラグ
と正面顔画像データを出力する。入力された画像データ
は、頭部矩形切り取り手段62において、頭部矩形によ
る部分画像に切り取られる(ステップS41)。この部
分画像を「頭部矩形画像」と呼ぶ。
形画像の中から、正面顔領域を探索し、正面顔画像と標
準顔辞書とのパターン間距離又は類似度を出力する(ス
テップS42)。
て、正面顔画像が本当に正面顔であるかどうかを判断す
る(ステップS43)。ここで正面顔であると判断され
れば、正面顔有無フラグは「有り」となり、正面顔画像
を出力する。正面顔ではないと判断すれば、正面顔有無
フラグは「無し」となり、正面顔画像は出力しない。
定手段66と、しきい値処理手段67とを備えている。
タの濃淡値の分散を求め、あるしきい値以下の場合に
は、正面顔ではないと判断する(図21のステップS4
4)。
ようなパターンを排除することができる。
類似度をしきい値処理することによって正面顔らしさを
判断する(図21のステップS45)。
上のときに正面顔ではないと判断する。類似度の場合
は、しきい値以下のときに、正面顔でないと判断する。
作を模式的に示す説明図である。頭部矩形151が検出
されているとすると、図21のステップS41によっ
て、頭部矩形画像152が生成される。
索処理では、縮小頭部矩形画像153が生成された後に
正面顔画像155が得られる。
像155に示すような、顔の中心部分の画像であり、横
方向は、両目を完全に含む程度で、縦方向は、眉毛から
口全体を含む程度の領域の画像を意味する。
をなす正面顔探索手段71の構成を示す図である。図1
0を参照すると、この正面顔探索手段71は、頭部矩形
画像記憶手段89と、頭部中間サイズ算出手段88と、
画像縮小手段90と、中間サイズ記憶手段91と、正面
顔候補抽出手段72と、中間縮小画像記憶手段73と、
コントラスト補正手段74と、固有ベクトル投影距離算
出手段75と、標準顔辞書記憶手段76と、記憶手段7
7と、投影距離最小判定手段78と、探索範囲終了判定
手段79と、多重解像度処理終了判定手段92とを備え
て構成されている。
均差分手段82と、ベクトル投影値算出手段83と、再
構成演算手段84と、投影距離計算手段85とを備えて
構成されている。
ータ記憶手段80と、標準顔固有ベクトルデータ記憶手
段81とを備えて構成されている。
86と、正面顔濃淡値記憶手段87とを備えて構成され
ている。
明するための流れ図である。図10及び図22を参照し
て、正面顔探索手段71の動作について説明する。頭部
矩形画像データは、頭部矩形画像記憶手段89に保持さ
れている。はじめに頭部中間サイズ算出手段88におい
て、対面距離値と標準顔辞書データのサイズを参照し
て、頭部矩形画像の中間縮小サイズを計算する(ステッ
プS101)。
いて説明する。中間縮小サイズは、図12の縮小頭部矩
形画像153の縦横サイズとして示されている。頭部矩
形画像152の横サイズをHw、縦サイズをHhとす
る。中間縮小サイズの横サイズをMw、縦サイズをMh
とする。また正面顔画像の横サイズをFw、縦サイズを
Fhとする。Fw,Fhは正面顔探索形状154の縦横
サイズと同一であり、標準顔辞書に対して一意に決定さ
れる。なお、Hh,Hw,Mh,Mw、Fh,Fwはす
べて画素単位のピクセルサイズである。
に示す正面顔領域の濃淡値を特徴値として生成されたパ
ターン認識用の辞書である。正面顔領域とは、横方向は
両目を完全に含む程度で、縦方向は眉毛から口全体を含
む程度の領域を意味する。正面顔領域は必ずしも矩形で
ある必要はなく、楕円形など、両目、鼻、口を含む任意
の連続領域で実現可能である。ただし、形状が矩形であ
れば処理が単純化されて高速化することができるので、
実装形態として有効である。よって、以下では、正面顔
領域を矩形であるものとして説明する。
h、RFwとすると、男性の大人であれば、大体 RF
w=10cm、RFh=15cm程度で表わすことがで
きる。一方、頭部矩形画像の実際の縦横サイズRHh、
RHwは、対面距離Zが既知であるため、次式(4)に
よって、計算することができる。なお次式(4)の変数
は、図32に対応している。
計算しても問題ない。
るためには、頭部矩形画像を標準顔辞書と同じ解像度に
変換する必要がある。その変換後のサイズが中間縮小サ
イズMw、Mhである。Mh、Mwは、次式(5)の関
係式から求めることができる。
おいて、RFw、RFhを1組指定することによって中
間縮小サイズMw、Mhを1組算出することができる。
しかし人間の正面顔の大きさは大人から子供、女性と男
性で異なっている。そこで、RFw、RFhを複数組用
意し、それぞれに対応する中間縮小サイズを算出するこ
とも可能となっている。あらかじめ複数算出することに
より、後段の正面顔探索処理を複数の中間縮小サイズで
処理することができる。また複数の中間縮小サイズで探
索処理することは、頭部矩形を複数の解像度で探索処理
する行為と同じであると解釈できる。
サイズが算出されると、中間サイズ記憶手段91に中間
サイズの情報が記憶される。
得られるパターン間距離値に比べ十分大きな値に初期化
する(図22のステップS102)。
選択し、画像縮小手段90において、頭部矩形画像を選
択した中間縮小サイズに縮小し、縮小頭部矩形画像を得
る(図22のステップS103)。
化する(図22のステップS104)。
索位置SX,SYにおける正面顔候補画像を抽出する
(図22のステップS105)。
るため、コントラスト補正手段74によってコントラス
トを補正する(図22のステップS106)。
いて説明する。正面顔候補画像が、0からvmaxまでの
値をとるものとし、画素値の平均をμ、標準偏差をσと
すると、元画像Vからコントラスト補正画像V’への変
換式は、次式(6)で表わすことができる。
に、固有ベクトル投影距離算出手段75において、正面
顔候補画像と標準顔パターンとの固有ベクトル投影距離
Dを求める(ステップS107)。
て、DとDminとを比較する。このときDがDminよりも小さ
い値であれば、DminにDを代入して値を更新し、投影距
離最小値記憶手段86に記憶する。同時に正面顔候補画
像を、正面顔濃淡値記憶手段87に記憶する(ステップ
S108)。
て、探索位置SX、SYをインクリメントし(ステップ
S109)、頭部矩形を全て探索し終わったかどうかを
判断する(ステップS110)。まだ探索し終わってい
ないときは、再びステップ105より処理を繰り返す。
ら、多重解像度処理終了判定手段92において、すべて
の中間縮小サイズで探索したか否かを判断する(ステッ
プS111)。もし、探索していない中間縮小サイズが
あれば、異なる中間縮小サイズを用いて再びステップS
103から処理を開始する。すべての中間縮小サイズで
探索が終了した時点で正面顔探索手段71は終了する。
手段75の動作について説明する。
データと、標準顔固有ベクトルデータが記憶されてい
る。
ベクトル投影距離算出用辞書の一例を示す。固有ベクト
ル投影距離算出用辞書は、1からp番めまでのp次元の
固有ベクトルデータEと、p個の特徴量の平均値Aveと
からなる。特徴量がp個のとき、固有ベクトルはp番め
まで存在するが、投影距離算出時には1からm番めまで
を使用する。
うにラスタスキャンし、1次元の特徴データに変換す
る。このとき正面顔画像の縦横サイズの積Fw×Fh
は、辞書の特徴量と同じp個でなければならない。これ
をベクトルX:X1、X2,...Xpとする。
Xから平均ベクトルAveを差分する。これをベクトルY
とする。
て、ベクトルYをm個の固有ベクトルに投影し、その投
影値R1..Rmを求める。投影値算出方法を、次式
(8)に示す。
において、投影値R1...Rmと、m個の固有ベクト
ルとを用いて元の特徴量Yを再構成し、その再構成ベク
トルをY’とする。再構成の計算を次式(9)に示す。
式(10)に従い、YとY‘とのユークリッド距離値を
求める。これによって、固有ベクトルEへの投影距離D
が算出される。
の実施例をなす正面顔探索手段101の構成を示す図で
ある。図11を参照すると、この正面顔探索手段101
は、頭部矩形画像記憶手段89と、頭部中間サイズ算出
手段88と、画像縮小手段90と、中間サイズ記憶手段
91と、正面顔候補抽出手段72と、中間縮小画像記憶
手段73と、コントラスト補正手段74と、積和演算手
段102と、標準顔辞書データ記憶手段104と、記憶
手段105と、類似度最大判定手段103と、探索範囲
終了判定手段79と、多重解像度処理終了判定手段92
とを備えて構成されている。
106と、正面顔濃淡値記憶手段107とを備えてい
る。
説明するための流れ図である。図11及び図23を参照
して、正面顔探索手段101の動作について説明する。
頭部矩形画像データは、頭部矩形画像記憶手段89に保
持されている。はじめに頭部中間サイズ算出手段88に
おいて、対面距離値と標準顔辞書データのサイズを参照
して、頭部矩形画像の中間縮小サイズを計算し、中間サ
イズ記憶手段91に記憶する(ステップS121)。
段71と同一である。次に最大類似度Smaxを0に初期化
する(ステップS122)。
し、画像縮小手段90において、頭部矩形画像を選択し
た中間縮小サイズに縮小し、縮小頭部矩形画像を得る
(ステップS123)。
化する(ステップS124)。
索位置SX、SYにおける正面顔候補画像を抽出する
(ステップS125)。
るため、コントラスト補正手段74によってコントラス
トを補正する(ステップS126)。
候補画像と標準顔パターンとの類似度Sを求める(ステ
ップS127)。
て、SとSmaxとを比較する。このときSがSmaxよりも
大きい値であれば、SmaxにSを代入して値を更新し、
類似度最大値記憶手段106に記憶する。同時に正面顔
候補画像を正面顔濃淡値記憶手段107に記憶する(ス
テップS128)。
探索位置SX、SYをインクリメントし(ステップS1
29)、頭部矩形を全て探索し終わったかどうかを判断
する(ステップS130)。まだ探索し終わっていない
ときは、再びステップ125より処理を繰り返す。
ら、多重解像度処理終了判定手段92において、すべて
の中間縮小サイズで探索したかどうかを判断する。もし
探索していない中間縮小サイズがあれば、異なる中間縮
小サイズを用いて再びステップS123から処理を開始
する。
時点で正面顔探索手段101は終了する。
の類似度を算出する積和演算手段102の動作について
説明する。
かを判別する線形判別辞書を参照して類似度Sを算出す
る。図34に、線形判別辞書の一例を示す。図34に
は、q個のクラスを判別する辞書が示されているが、標
準顔辞書データ記憶手段104は、正面顔とそれ以外の
2つのクラスを判別する辞書であり、q=2の場合に相
当する。
うにラスタスキャンし、1次元の特徴データに変換す
る。このとき正面顔画像の縦横サイズの積Fw×Fh
は、辞書の特徴量と同じp個でなければならない。これ
をベクトルX:X1、X2,...Xpとする。
ラスが正面顔を、q=2のクラスがそれ以外を表わすも
のとして説明する。正面顔との類似度は、図34のq=
1の行、すなわちクラス1の識別係数422のみを用い
て、次式(11)によって計算することができる。
算することによって、類似度を算出する。
例をなす顔識別手段111と、図1の識別辞書記憶手段
10の一実施例をなす識別辞書記憶手段112と、図1
の識別結果補正手段11の一実施例をなす識別結果補正
手段113とが示されている。図13を参照すると、顔
識別手段111は、特徴データ記憶手段115と、積和
演算手段116と、最大類似度人物判定手段118と、
しきい値処理手段117とを備えて構成されている。識
別辞書記憶手段112は、登録人物識別用辞書記憶手段
119を有する。識別結果補正手段113は、識別結果
加重平均算出手段114を有する。
正手段113の処理を説明するための流れ図である。図
13及び図24を参照して、顔識別手段111と識別結
果補正手段113の動作について説明する。
段115に記憶される(ステップS51)。
のデータを参照し、積和演算手段116において、登録
された人物への類似度を、人物毎にそれぞれ算出する
(ステップS54)。
類似度を算出する積和演算手段102の動作と基本的に
同じである。ただし、識別するクラス数は登録されてい
る人物数となる。
る場合には、登録人物識別用辞書記憶手段119には、
図34に示す線形判別辞書と同じ数のデータが保持され
ることになる。そして積和演算手段116により、次式
(12)に示すように、q個の類似度Si:(i=
1,...q)が得られる。
よる積和演算処理で求められた類似度の大きさによって
パターンを識別する方法を、「線形判別辞書による類似
度識別」と呼ぶ。
に、最大類似度人物判定手段118において、算出され
たq個の類似度の中で最大値を求め、それに対応する人
物を求める(ステップS55)。すなわち、特徴データ
と最も似ていると判断される人物を求める。この時の類
似度を「最大類似度」と呼ぶ。
最大類似度をあらかじめ定められたしきい値と比較する
(ステップS56)。
値よりも高いときは、確かに人物を識別したと判断し、
そのID番号と最大類似度を出力する。最大類似度がし
きい値よりも低いときは、登録されている人物(本人)
ではない他人である可能性が高いので、「他人」という
情報を出力する。
け取った後、識別結果加重平均算出手段114によっ
て、過去Nフレームにおける識別結果を統合する(ステ
ップS57)。識別結果加重平均算出手段114の動作
の例として、過去Nフレームにおける識別人物IDと類
似度、あるいは他人判定結果を、以下のように加重平均
する方法がある。
定割合のフレーム数が「他人」の時は、「他人」とす
る。他人でないと判定された場合にはステップA2へ進
む。
物iという判定がNiフレームあるものとする(i=
1...q)。それぞれの人物の類似度加重平均値を次
式(13)で算出する。Siは人物iの類似度を表し、
SSiは人物iの類似度加重平均値を表す。SSiの最
も大きい人物IDを、識別結果として出力する。
して統合された識別結果を出力する。
例をなす顔識別手段131の構成、図1の識別辞書記憶
手段10の他の実施例をなす識別辞書記憶手段132の
構成を示す図である。図15を参照すると、顔識別手段
131は、特徴データ記憶手段115と、固有ベクトル
他人判別手段133と、積和演算手段116と、最大類
似度人物判定手段118と、しきい値処理手段117と
を備えている。
書記憶手段134と、登録人物識別用辞書記憶手段11
9とを備えている。
するための流れ図である。図15及び図24を参照し
て、顔識別手段131の動作について説明する。特徴デ
ータが入力され、特徴データ記憶手段115に記憶され
る(ステップS51)。
ータを参照しながら、固有ベクトル他人判別手段133
によって、登録されている人物群とのパターン間距離D
hを求め(ステップS52)、パターン間距離Dhがし
きい値よりも大きければ他人であると判定する(ステッ
プS53)。パターン間距離Dhは固有ベクトル投影距
離として算出する。すなわち、他人判別用辞書記憶手段
には、登録されている全員の特徴データによって作成さ
れた固有ベクトル辞書が記憶されている。
おり、また固有ベクトル投影距離の算出方法は、固有ベ
クトル投影距離算出手段75の動作の説明において述べ
られている。
人判別手段133において他人と判断されれば、顔識別
手段131は、積和演算手段116を経ることなく、直
ちに「他人」を出力する。
「他人」と判定されなかった場合には、次に、登録人物
識別用辞書記憶手段119のデータを参照し、積和演算
手段116において、登録された人物への類似度を、人
物毎にそれぞれ算出する(ステップS54)。q人の人
物が登録されていればq個の類似度Si:(i=
1,...q)を算出する。
いて、算出されたq個の類似度の中で最大値を求め、そ
れに対応する人物を求める(ステップS55)。すなわ
ち、特徴データと最も似ていると判断される人物を求め
る。この時の類似度を最大類似度と呼ぶ。次にしきい値
処理手段117において、最大類似度をあらかじめ定め
られたしきい値と比較する(ステップS56)。
値よりも高いときは、確かに人物を識別したと判断し、
そのID番号と最大類似度を出力する。最大類似度がし
きい値よりも低いときは、登録されている人物ではない
他人である可能性が高いので、「他人」という情報を出
力する。
一実施例をなす辞書データ管理部121の構成を示す図
である。図14を参照すると、辞書データ管理部121
は、個人特徴データ記憶手段122と、識別辞書生成手
段123と、セレクタ124とを備えて構成されてい
る。
作成手段126と固有ベクトル辞書作成手段127とを
備えて構成されている。個人特徴データ記憶手段122
内には、人物別特徴データ領域125が、登録された人
数分存在する。
人物ID番号とが入力されると、セレクタ124によっ
て人物ID毎に振り分けられ、個人特徴データ記憶手段
122内の人物ID番号に対応する領域に入力特徴デー
タを記憶する。また、新しい人物IDの追加命令があれ
ば、個人特徴データ記憶手段122内に、新しい人物別
特徴データ領域125を確保し、新しい人物ID番号を
割り当てる。また、既存の人物IDの削除命令があれ
ば、個人特徴データ記憶手段122内の該当するIDの
人物別特徴データ領域125を破棄する。
作成命令を受けると、識別辞書生成手段123は、個人
特徴データ記憶手段122のデータを用いて、線形判別
辞書である登録人物識別用識別辞書と固有ベクトル辞書
である他人判別用辞書を生成する。登録人物識別用識別
辞書は、線形判別辞書作成手段126において作成され
る。他人判別用辞書は、固有ベクトル辞書作成手段12
7で作成される。
した顔識別手段111の構成を持つ場合は、他人判別用
辞書は不要であるため、識別辞書生成手段123は固有
ベクトル辞書作成手段127を持たない構成としてもよ
い。
の登録処理を説明するための流れ図である。図1、図1
4及び図25を参照して、辞書データ管理部121がカ
メラの前にいる新しい人物を登録する時の動作について
説明する。
Dを指定して、辞書管理部121に新しい人物の登録を
指示する(ステップS61)。
タ記憶手段122内に、指定されたIDに対応する人物
別特徴データ領域125を確保する(ステップS6
2)。
手段1内の顔特徴抽出手段8から指定枚数分の特徴デー
タを取得し、辞書データ管理部121に送付する。
対応する人物別特徴データ領域125に、取得したデー
タを保存する(ステップS63)。
識別管理部13は、辞書データ管理部121に対して識
別辞書の作成を指示する(ステップS64)。
けると、識別辞書生成手段123の線形判別辞書作成手
段126によって、登録人物用識別辞書を作成する(ス
テップS65)。
よって、他人判別用辞書を作成する(ステップS6
6)。
の識別辞書記憶手段10に出力し記憶させる(ステップ
S67)。以上の処理により、新規人物の登録処理は終
了する。
126の一実施例をなす線形判別辞書作成手段311の
構成を示す図である。図29を参照すると、線形判別辞
書作成手段311は、特徴量X記憶手段312と、分散
共分散行列Cxx算出手段313と、逆行列変換手段3
14と、行列乗算手段315と、目的変数Y記憶手段3
17と、目的変数Y生成手段318と、共分散行列Cx
y算出手段319と、係数記憶手段320と、定数項算
出手段316とを備えて構成されている。
書の作成方法について説明する。図31には、1人あた
りn枚で、人物1から人物qまでq人分の個人特徴デー
タX341が示されている。また、個人特徴データX3
41の特徴数はp個である。図31の1行が、1枚分の
特徴データを示している。個人特徴データX341は、
図14において個人特徴データ記憶手段122に記憶さ
れており、1人分の個人特徴データがそれぞれ人物別特
徴データ領域125に記憶されている。
ついて1つ作成され、識別する人物数分の要素を持つベ
クトルである。すなわち、図31において、人物IDは
1からqまでの値をとるので、目的変数YはY1からY
qまで存在する。目的変数Y342の値は、0か1の2
値であり、特徴データが属する人物のベクトル要素が1
で、その他は0である。すなわち人物2の特徴データで
あれば、Y2要素だけが1で他は0となる。
す図である。線形判別辞書は、定数項421と、乗算項
425の2種類の係数からなる。乗算項からなるマトリ
クスをAij(i=1,...p、j=1,....
q)、定数項からなるベクトルをA0j(j=
1,....q)とすると、マトリクスAijは、次式
(14)から求められる。
データX341の全てのデータを用いたこの分散共分散
行列である。この分散共分散行列Cxxは、次式(1
5)で算出される。
=1....N、j=1,...p)で表わす。Nは全
データ数で、pは特徴数である。図31に示す例では、
1人につきn枚のデータがあることから、N=nqであ
る。x ̄は、xの平均値を表わす。
との共分散行列である。共分散行列Cxyは、次式(1
6)に従って算出される。x ̄、y ̄は、x、yの平均
値を表わす。
って算出される。
める。次にCxyを求める。最後にこれらの行列を乗算
して乗算項マトリクスAijを求め、最後に定数項A0
jを求める。
処理を説明するための図である。図29を参照して、線
形判別辞書作成手段311の動作を説明する。入力され
た個人特徴データ群は、特徴量X記憶手段312に記憶
される。
用いて、目的変数Y生成手段318によって目的変数Y
が生成される。生成した目的変数Yは、目的変数Y記憶
手段317に記憶される。
3において、分散共分散行列Cxxを算出する。
散共分散行列Cxxの逆行列を算出する。
おいて、共分散行列Cxyを算出する。
項Aijを算出し、係数記憶手段320に乗算項Aij
データを記憶する。
数項A0jを算出し、係数記憶手段320に記憶する。
力して終了する。
示したが、線形判別辞書作成手段311においては、0
と100等の他の2値データを用いることも可能であ
る。
手段127の一実施例をなす固有ベクトル辞書作成手段
331を示す図である。固有ベクトル辞書作成手段33
1は、特徴量記憶手段332と、特徴量平均算出手段3
33と、分散共分散行列算出手段334と、固有ベクト
ル算出手段335と、係数記憶手段336と備えて構成
されている。
ル辞書の作成方法について説明する。個人特徴データX
の要素を、xij:(i=1....N、j=
1,...p)で表わす。
る。次に、Xの分散共分散行列Cxxを、上式(15)
を用いて算出する。分散共分散行列Cxxの固有ベクト
ルを求める。固有ベクトルを求める方法は、当業者によ
って広く知られており、本発明とは直接関係しないこと
から、その詳細は省略する。
式の固有ベクトル辞書が得られる。固有ベクトルは特徴
量の数(p個)だけ得られる。図33では、1行分が1
つの固有ベクトルを表わしている。
1の構成及び処理を説明するための図である。図30を
参照して、固有ベクトル辞書作成手段331の動作につ
いて説明する。
憶手段332に記憶される。
て、特徴量の平均値を求め、係数記憶手段336に記憶
する。次に分散共分散行列算出手段334において、分
散共分散行列Cxxを算出する。
て、分散共分散行列Cxxの固有ベクトルを算出し、係
数記憶手段336に記憶する。最後に、係数記憶手段3
36のデータを出力して終了する。
実施の形態の構成を示す図である。図16を参照する
と、このロボット装置201は、CCDカメラ202
と、人物検出識別手段203と、辞書データ管理部20
4と、人物検出識別管理部205と、全体制御部206
と、スピーカ207と、ロボット移動手段208とを備
えている。ロボット移動手段208は、モータ209
と、車輪210とを備えている。
202からのステレオ映像を基に、人物検出と識別を行
なっている。人物検出識別管理部205は、人物検出識
別手段203との情報のやり取り、全体制御部206と
の情報のやり取り、辞書データ管理部204との情報の
やり取りを行なっている。スピーカ207は全体制御部
206に接続され、全体制御部206の指示で発話する
ことができる。また全体制御部206は、ロボット移動
手段208に移動指示を送る。ロボット移動手段208
はモータ209と複数の車輪210を持ち、ロボットを
自由な方向に移動させることができる。
実施の形態の処理を説明するための図である。図16及
び図26を参照して、本発明の一実施の形態のロボット
装置201の動作について説明する。ロボット装置20
1は、人物を検出すると、人物の方向に移動して近づい
ていき、予め定められた所定の距離以内に近づいたら人
物識別を行なう。
別手段203内の頭部検出追跡手段から、検出した頭部
の矩形情報と、対面距離値を取得し、全体制御部206
に送信する(ステップS71)。
し、対面距離がしきい値よりも近いかどうかを判定する
(ステップS73)。距離がしきい値よりも遠いとき
は、ロボット移動手段208に指令して、人物の方向に
前進する(ステップS72)。
頭部矩形座標から類推することができる。ステップS7
1からステップS73を繰り返し、対面距離がしきい値
よりも近くなったら、全体制御部206は、人物検出識
別管理部205から人物識別結果を取得する(ステップ
S74)。
発声し、人物識別したことを対話者に知らせる(ステッ
プS75)。
例の構成を示す図である。図17を参照すると、ロボッ
ト装置221は、CCDカメラ202と、対面距離セン
サ223と、タッチセンサ222と、人物検出識別手段
224と、辞書データ管理部204と、人物検出識別管
理部205と、全体制御部227と、マイク225と、
音声認識手段226と、スピーカ207と、ロボット移
動手段208とを備えて構成されている。ロボット移動
手段208は、モータ209と、車輪210とを備えて
いる。
202からのステレオ映像と、対面距離センサ223と
の情報を元に、人物検出と識別を行なっている。人物検
出識別管理部205は、人物検出識別手段224との情
報のやり取り、全体制御部227との情報のやり取り、
辞書データ管理部204との情報のやり取りを行なって
いる。スピーカ207は全体制御部227に接続され、
全体制御部227の指示で発話することができる。また
全体制御部227は、ロボット移動手段208に移動指
示を送る。ロボット移動手段208はモータ209と複
数の車輪210を持ち、ロボットを自由な方向に移動さ
せることができる。タッチセンサ222は、全体制御部
227に接続されており、外部から物体の接触の有無
と、接触の強さを検出する。マイク225は音声認識手
段226に接続され、音声認識手段226は全体制御部
227に接続されている。音声認識手段226は、マイ
ク225からの音声データから、人の言葉を自動認識
し、認識結果を、全体制御部に送信する。
置の処理を説明するための流れ図である。図17及び図
27を参照して、本発明の一実施例のロボット装置22
1の動作例について説明する。
の検出識別を行ない、対話者の反応によって識別辞書を
更新することによって、人物画像の逐次学習を行なう。
205から人物識別結果を取得する(ステップS8
1)。
(ステップS82)。特定の動作とは、人の名前を発声
したり、人によって車輪を特定方向に動かしたりする行
為全体を差す。
つ(ステップS83)。対話者の反応が得られたとき
は、次にその反応がポジティブなものかネガティブなも
のかを判定する(ステップS84)。ポジティブな反応
とは、「Yes」という意味であり、例えば音声認識
で,「はい」を認識した時などがある。
味であり、例えば音声認識で,「いいえ」を認識した時
などがある。
1度押下すると「はい」、2度押下すると「いいえ」と
いう規則を予め全体制御部で決めておくことで、タッチ
センサを用いて対話者の反応を取得することができる。
は、もう一度ステップS81から動作を繰り返す。ポジ
ティブな反応の場合には、識別に使用した顔特徴データ
を辞書データ管理部204に入力する(ステップS8
5)。
プS86)。
ステップS81から動作を繰り返す(ステップS8
7)。
施例の処理を説明するための流れ図である。図17及び
図28を参照して、本発明の他の実施例をなすロボット
装置221の動作の例について説明する。ロボット装置
221は、対面している人物の検出識別を行ない、対話
者の命令によって新しい人物の画像を取得し、新しい人
物辞書を登録する。
205から人物識別結果を取得する(ステップS9
1)。
(ステップS92)。特定の動作とは、人の名前を発声
したり、人によって車輪を特定方向に動かしたりする行
為全体を差す。
つ(ステップS93)。対話者の命令イベントが得られ
ると、次にその命令イベントが登録命令かどうかを判定
する(ステップS94)。登録命令イベントは、例えば
音声認識で「とうろく」を認識したというイベントがあ
る。また、あらかじめタッチセンサを1度たたくと登録
イベントである、という規則を予め全体制御部で決めて
おくことにより、タッチセンサを用いて登録命令イベン
トを発声させることができる。
新しい人物の登録を行なう(ステップS95)。登録処
理ステップS95の一例は、図25に示されており、既
に説明済みである。
1から処理を開始する。登録命令イベントが来なかった
場合は、終了判定を行なう(ステップS96)。
場合は、再びステップS91から処理を開始する。
出識別システムの一実施の形態の構成を示す図である。
図35を参照すると、本発明の関連発明に係る人物検出
識別システムは、映像取得手段2と、対面距離センサ5
と、人物検出識別手段501と、辞書データ管理部12
と、人物検出識別管理部502と、記録媒体503とを
備えている。記録媒体503には、人物検出識別処理プ
ログラムを記録しており、磁気ディスク、半導体メモ
リ、CD-ROMその他の記録媒体であってよい。
503から人物検出識別手段501と、人物検出識別管
理部502に読み込まれ、図1を参照して説明した前記
した実施の形態における人物検出識別手段6および人物
検出識別管理部13による処理と同一の処理を実行す
る。
次のような効果を奏する。
別装置は、例えば家庭環境のように、照明条件の変動が
激しい環境下においても、極めて高い識別率で人物を識
別することができる、という効果を奏する。
本発明においては、画像の濃淡値だけではなく、動きと
対面距離情報を用いて検出識別している、ためである。
また、本発明においては、顔位置合わせ手段により、精
度のよい正面顔を検出している、ためである。さらに、
本発明においては、顔識別手段において、線形判別辞書
による類似度識別を行なっている、ためである。
との対話を通じて、装置又はシステムが自ら学習するこ
とで、識別精度を上げる、ように構成したためである。
る場所で入力画像が不良で識別できなくても、その後、
装置自ら動作することにより、良好な画像を取得する、
ことができる。
置の一実施の形態の構成を示すブロック図である。
置における頭部検出追跡手段の一実施例の構成を示すブ
ロック図である。
置における頭部検出追跡手段の別の実施例の構成を示す
ブロック図である。
置における単眼視頭部矩形座標検出手段の一実施例の構
成を示すブロック図である。
置における頭部検出処理を説明するための図である。
置における左右画像照合処理を説明するための図であ
る。
置における頭部追跡処理を説明するための図である。
置における正面顔画像を特徴データに変換する際のラス
タスキャンの説明図である。
置における正面顔位置合わせ手段の一実施例の構成を示
すブロック図である。
装置における正面顔探索手段の一実施例の構成を示すブ
ロック図である。
装置における正面顔探索手段の他の実施例の構成を示す
ブロック図である。
装置における頭部検出処理と顔位置合わせ処理を説明す
るための図である。
装置における顔識別手段と識別辞書記憶手段と識別結果
補正手段の各実施例の構成を示すブロック図である。
装置における辞書データ管理部の一実施例の構成を示す
ブロック図である。
装置における顔識別手段と識別辞書記憶手段と識別結果
補正手段の各実施例の構成を示すブロック図である。
す図である。
示す図である。
装置における人物検出処理と識別処理を説明するための
流れ図である。
装置における頭部検出追跡処理を説明するための流れ図
である。
装置における頭部検出処理を説明するための流れ図であ
る。
装置における正面顔位置合わせ処理を説明するための流
れ図である。
装置における正面顔探索処理を説明するための流れ図で
ある。
装置における正面顔探索処理を説明するための流れ図で
ある。
装置における顔識別処理を説明するための流れ図であ
る。
装置における人物辞書登録処理を説明するための流れ図
である。
明するための流れ図である。
明するための流れ図である。
明するための流れ図である。
装置における線形判別辞書作成手段の一実施例の構成を
示すブロック図である。
装置における固有ベクトル辞書作成手段の一実施例の構
成を示すブロック図である。
処理に用いる線形判別辞書作成方法を説明するための図
である。
処理に用いるステレオ視による対面距離算出方法を説明
するための図である。
処理に用いる固有ベクトル投影距離辞書の説明図であ
る。
処理に用いる線形判別辞書の説明図である。
装置の他の実施例の構成を示すブロック図である。
Claims (27)
- 【請求項1】画像を取得する映像取得手段と、 前記取得された画像情報から人の頭部を検出する頭部検
出追跡手段と、 前記検出された頭部の部分画像中から正面顔画像を取得
する正面顔位置合わせ手段と、 正面顔画像を特徴量に変換する顔特徴抽出手段と、 識別辞書を用いて特徴量から人物を識別する顔識別手段
と、 識別辞書を保存する識別辞書記憶手段と、 を含む人物識別装置と、 ロボットの動作を制御する全体制御部と、 前記全体制御部の指示で音声を発話する音声出力手段
と、 前記全体制御部の指示でロボットを移動する移動手段
と、 を備えたことを特徴とするロボット装置。 - 【請求項2】前記全体制御部が、人物識別結果が得られ
たときに、人物毎に異なる音声で発話するよう制御す
る、ことを特徴とする請求項1記載のロボット装置。 - 【請求項3】前記全体制御部が、前記人物識別装置から
前方物体との対面距離と方向を取得する手段と、 人物識別結果を取得する手段と、 前記対面距離がしきい値以上の場合には、前記前方物体
に近づくように移動する手段と、 前記対面距離がしきい値以下のときは、人物識別結果を
人物毎に異なる音声で発話するように制御する手段と、 を備えたことを特徴とする請求項2記載のロボット装
置。 - 【請求項4】画像を取得する映像取得手段と、 前記取得された画像情報から人の頭部を検出する頭部検
出追跡手段と、 前記検出された頭部の部分画像中から正面顔画像を取得
する正面顔位置合わせ手段と、 正面顔画像を特徴量に変換する顔特徴抽出手段と、 識別辞書を用いて特徴量から人物を識別する顔識別手段
と、 識別辞書を保存する識別辞書記憶手段と、 を含む人物識別装置と、 前方の物体との距離を測定する対面距離センサと、 タッチセンサと、 音声入力手段と、 音声認識手段と、 を備えたことを特徴とするロボット装置。 - 【請求項5】請求項4記載のロボット装置において、音
声認識の認識結果と、前記タッチセンサの出力結果とを
基に、ネガティブかポジティブかを示す反応イベントを
発生する処理と、 ポジティブ反応イベントによって、人物の画像を取得
し、辞書データ管理部において辞書を作成する処理と、
を有することを特徴とするロボット装置。 - 【請求項6】請求項4記載のロボット装置において、音
声認識の認識結果と、前記タッチセンサの出力結果とを
基に、新規人物登録イベントを発生する手段と、 前記新規人物登録イベントによって、新しい人物の画像
を取得し、辞書データ管理部において辞書を作成する手
段と、を有することを特徴とするロボット装置。 - 【請求項7】請求項1乃至6のいずれか一に記載のロボ
ット装置において、 前記人物識別装置が、前記顔識別手段から出力される識
別結果を過去Nフレーム分(Nは2以上の整数)加重平
均する識別結果補正手段をさらに備えたことを特徴とす
るロボット装置。 - 【請求項8】請求項1乃至7のいずれか一に記載のロボ
ット装置において、 前記人物識別装置が、人物識別に使用する線形判別辞書
を生成する辞書データ管理部をさらに備えたことを特徴
とするロボット装置。 - 【請求項9】請求項1乃至8のいずれか一に記載のロボ
ット装置の前記人物識別装置において、 前記頭部検出追跡手段が、 1フレームの画像から頭部矩形領域を検出する頭部検出
手段と、 前フレームの頭部矩形画像と座標を記憶する頭部矩形記
憶手段と、 前フレームの頭部矩形画像を現フレームでマッチング処
理する頭部追跡手段と、 を備えたことを特徴とするロボット装置。 - 【請求項10】請求項9記載のロボット装置の前記人物
識別装置において、 前記映像取得手段が左右2つの撮像手段を備え、 1フレームの画像から頭部矩形領域を検出する前記頭部
検出手段が、 1枚の画像から頭部を検出する単眼視頭部矩形座標検出
手段と、 左右の画像を照合して対面距離値を算出する左右画像照
合手段と、 前記対面距離値と前記頭部矩形領域の座標値とから、頭
部の誤検出を取り除く対面距離評価手段と、 を備えたことを特徴とするロボット装置。 - 【請求項11】請求項9記載のロボット装置の前記人物
識別装置において、 対面距離センサを備え、 1フレームの画像から頭部矩形領域を検出する前記頭部
検出手段が、 1枚の画像から頭部を検出する単眼視頭部矩形座標検出
手段と、 前記対面距離センサの出力値である対面距離値と、前記
頭部矩形領域の座標値とから、頭部の誤検出を取り除く
対面距離評価手段と、 を備えたことを特徴とするロボット装置。 - 【請求項12】請求項9記載のロボット装置の前記人物
識別装置において、 前記映像取得手段が左右2つの撮像手段を備え、 さらに、対面距離センサを備え、 1フレームの画像から頭部矩形領域を検出する前記頭部
検出手段が、 1枚の画像から頭部を検出する単眼視頭部矩形座標検出
手段と、 左右の画像を照合して対面距離値を算出する左右画像照
合手段と、 左右の画像から計算された前記対面距離値と、前記対面
距離センサの出力とから統合対面距離を算出する対面距
離統合手段と、 前記統合対面距離値と、前記頭部矩形領域の座標値とか
ら、頭部の誤検出を取り除く対面距離評価手段と、 を備えたことを特徴とするロボット装置。 - 【請求項13】請求項10、11、12のいずれか一に
記載のロボット装置の前記人物識別装置において、 前記単眼視頭部矩形座標検出手段が、前フレームとの差
分画像gの生成処理と差分画像gを過去mフレーム(m
は2以上の整数)積分し統合差分画像Gを生成する処理
を行なう動き画素検出手段を備えたことを特徴とするロ
ボット装置。 - 【請求項14】請求項10、11、12のいずれか一に
記載のロボット装置の前記人物識別装置において、 前記単眼視頭部矩形座標検出手段が、 前フレームとの差分画像gの生成処理と差分画像gを過
去mフレーム(但し、mは2以上の整数)積分し、統合
差分画像Gを生成する処理を行なう動き画素検出手段
と、 統合差分画像Gから人物数を取得する人物数評価手段
と、 頭頂のY座標を取得する頭頂座標検出手段と、 頭部下部のY座標を検出する頭部下部座標検出手段と、 側頭部のX座標を検出する側頭座標検出手段と、 を備えたことを特徴とするロボット装置。 - 【請求項15】請求項1から14のいずれか一に記載の
ロボット装置の前記人物識別装置において、 前記正面顔位置合わせ手段が、前記対面距離値と前記頭
部矩形の画像を用いて、正面顔を探索する正面顔探索手
段を備えたことを特徴とするロボット装置。 - 【請求項16】請求項15に記載のロボット装置の前記
人物識別装置において、 前記正面顔位置合わせ手段が、 前記正面顔探索手段で得られた正面顔画像の濃度分散を
求め、濃度分散値によって正面顔の誤検出を排除する濃
度分散判定手段と、 前記正面顔探索手段で得られたパターン間距離または類
似度をあらかじめ定められたしきい値と比較処理するこ
とで、正面顔の誤検出を排除するしきい値処理手段と、 を備えたことを特徴とするロボット装置。 - 【請求項17】請求項15又は16記載のロボット装置
の前記人物識別装置において、 前記正面顔探索手段が、 前記対面距離値から中間縮小サイズを算出する頭部中間
サイズ算出手段と、 前記頭部の画像を頭部中間サイズに縮小する画像縮小手
段と、 濃度を正規化することでコントラストを補正する手段
と、 正面顔特徴量の固有ベクトルデータを記憶した標準顔固
有ベクトルデータ記憶手段と、 前記正面顔特徴量の平均値を記憶した標準顔平均データ
記憶手段と、 固有ベクトル投影距離を算出する固有ベクトル投影距離
算出手段と、 前記固有ベクトル投影距離の最小値を求める投影距離最
小判定手段と、 を備え、 前記固有ベクトル投影距離算出手段が、 平均差分手段と、 ベクトル投影値算出手段と、 再構成演算手段と、 投影距離計算手段と、 を備えたことを特徴とするロボット装置。 - 【請求項18】請求項15又は16記載のロボット装置
の前記人物識別装置において、 前記正面顔探索手段が、 前記対面距離値から中間縮小サイズを算出する頭部中間
サイズ算出手段と、 前記頭部の画像を頭部中間サイズに縮小する画像縮小手
段と、 濃度を正規化することでコントラストを補正する手段
と、 正面顔特徴量の線形判別辞書を記憶した標準顔辞書デー
タ記憶手段と、 前記線形判別辞書を用いて類似度を算出する積和演算手
段と、 前記算出された類似度の最大値を求める類似度最大判定
手段と、 を備えたことを特徴とするロボット装置。 - 【請求項19】請求項1から18のいずれか一に記載の
ロボット装置の前記人物識別装置において、 前記顔識別手段が、 線形判別辞書と特徴データから登録されている人物への
類似度を算出する積和演算手段と、 登録されている人物への類似度の最大値を求める最大類
似度人物判定手段と、 前記類似度の最大値をあらかじめ定められたしきいと比
較して、他人かどうかを判定するしきい値処理手段と、 を備えたことを特徴とするロボット装置。 - 【請求項20】請求項1から18のいずれか一に記載の
ロボット装置の前記人物識別装置において、 前記顔識別手段が、 他人を判別するための固有ベクトル辞書と特徴データか
ら固有ベクトル投影距離を算出して距離値を比較する固
有ベクトル他人判別手段と、 線形判別辞書と特徴データから登録されている人物への
類似度を算出する積和演算手段と、 登録されている人物への類似度の最大値を求める最大類
似度人物判定手段と、 前記類似度の最大値をあらかじめ定められたしきい値と
比較して、他人かどうかを判定するしきい値処理手段
と、 を備えたことを特徴とするロボット装置。 - 【請求項21】請求項8から20のいずれか一に記載の
ロボット装置の前記人物識別装置において、 前記辞書データ管理部が、 識別辞書のもとになる個人特徴データを記憶する個人特
徴データ記憶手段と、 人物ID(識別)番号によって、前記個人特徴データ記
憶手段の特定領域に特徴データを保存する選択手段と、 前記線形判別辞書を作成する線形判別辞書作成手段と、 を備えたことを特徴とするロボット装置。 - 【請求項22】請求項8から20のいずれか一に記載の
ロボット装置の前記人物識別装置において、 前記辞書データ管理部が、 識別辞書のもとになる個人特徴データを記憶する個人特
徴データ記憶手段と、 人物ID番号によって個人特徴データ記憶手段の特定領
域に特徴データを保存する選択手段と、 前記線形判別辞書を作成する線形判別辞書作成手段と、 固有ベクトル辞書を作成する固有ベクトル辞書作成手段
と、 を備えたことを特徴とするロボット装置。 - 【請求項23】請求項21又は22記載のロボット装置
の前記人物識別装置において、 前記線形判別辞書作成手段が、 前記個人特徴データ記憶手段に記憶された特徴量Xの分
散共分散行列Cxxを算出する分散共分散行列Cxx算
出手段と、 前記分散共分散行列Cxxの逆行列を算出する逆行列算
出手段と、 人物IDと特徴データから目的変数Yを生成する手段
と、 特徴量Xと目的変数Yの共分散行列Cxyを算出する分
散共分散行列Cxy算出手段と、 前記Cxxの逆行列と前記共分散行列Cxyを乗算し線
形判別辞書の乗算項マトリクスを算出する行列乗算手段
と、 前記線形判別辞書の定数項ベクトルを算出する定数項算
出手段と、 を備えたことを特徴とするロボット装置。 - 【請求項24】請求項22又は23記載のロボット装置
の前記人物識別装置において、 前記固有ベクトル辞書作成手段が、 特徴量Xの平均をとる特徴量平均算出手段と、 特徴量Xの分散共分散行列Cxxを算出する分散共分散
行列算出手段と、 前記分散共分散行列Cxxの固有ベクトルを算出する固
有ベクトル算出手段と、 を備えたことを特徴とするロボット装置。 - 【請求項25】請求項12から24のいずれか一に記載
のロボット装置において、 同一物体の左カメラ画像上の座標Xlと、右カメラ画像
上の座標Xrと、定数Kを用いて、Z=K/(Xl−X
r)なる計算によって対面距離Zを求める処理を含む左
右画像照合手段を備えたことを特徴とするロボット装
置。 - 【請求項26】請求項12から24のいずれか一に記載
のロボット装置の前記人物識別装置において、 前記頭部中間サイズ算出手段が、次式、 と、 (但し、Hw、Hhは頭部矩形画像の横サイズ、縦サイ
ズ、RHw、RHhは正面顔領域の横サイズ、縦サイ
ズ、Zは対面距離値、eは撮像面の幅、Wは画像サイ
ズ、θはカメラの画角である)を用いて、中間サイズM
w、Mhを求める手段を備えたことを特徴とするロボッ
ト装置。 - 【請求項27】請求項15から24のいずれか一に記載
のロボット装置の前記人物識別装置における前記正面顔
探索手段において、 (但し、Vは元画像、μは画素値の平均、σは標準偏
差、Vmaxは画素値の最大値)を用いてコントラスト
補正を行なうことを特徴とするロボット装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001158402A JP3823760B2 (ja) | 2001-05-28 | 2001-05-28 | ロボット装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001158402A JP3823760B2 (ja) | 2001-05-28 | 2001-05-28 | ロボット装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP02158399A Division JP3307354B2 (ja) | 1999-01-29 | 1999-01-29 | 人物識別方法及び装置と人物識別プログラムを記録した記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006034936A Division JP4860289B2 (ja) | 2006-02-13 | 2006-02-13 | ロボット装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002056388A true JP2002056388A (ja) | 2002-02-20 |
JP3823760B2 JP3823760B2 (ja) | 2006-09-20 |
Family
ID=19002134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001158402A Expired - Fee Related JP3823760B2 (ja) | 2001-05-28 | 2001-05-28 | ロボット装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3823760B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007115129A (ja) * | 2005-10-21 | 2007-05-10 | Sumitomo Electric Ind Ltd | 障害物検出システム、障害物検出方法及びコンピュータプログラム |
JP2009530930A (ja) * | 2006-03-22 | 2009-08-27 | ピルツ ゲーエムベーハー アンド コー.カーゲー | 対応を判別する、好ましくはシーンの三次元再構成をする方法および装置 |
JP2009233839A (ja) * | 2008-03-28 | 2009-10-15 | Sogo Keibi Hosho Co Ltd | 移動体、移動体方向制御方法および移動体方向制御プログラム |
US7684894B2 (en) | 2003-03-14 | 2010-03-23 | Panasonic Electric Works Co., Ltd. | Autonomously moving robot |
US7720685B2 (en) | 2002-09-24 | 2010-05-18 | Honda Giken Kogyo Kabushiki Kaisha | Receptionist robot system |
JP2010250730A (ja) * | 2009-04-20 | 2010-11-04 | Sanyo Electric Co Ltd | 画像処理装置及び撮像装置 |
EP2267697A2 (en) | 2003-12-12 | 2010-12-29 | Nec Corporation | Information processing system, method of processing information, and program for processing information |
WO2014033936A1 (ja) * | 2012-08-31 | 2014-03-06 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2018005881A (ja) * | 2016-07-08 | 2018-01-11 | 深セン市優必選科技有限公司 | 顔検出追跡方法、ロボットヘッドの回動制御方法、及びロボット |
JPWO2018084170A1 (ja) * | 2016-11-07 | 2019-02-28 | Groove X株式会社 | 人を識別する自律行動型ロボット |
JP2021152740A (ja) * | 2020-03-24 | 2021-09-30 | 株式会社フジタ | 発話制御装置 |
CN116564005A (zh) * | 2023-07-11 | 2023-08-08 | 深圳市瑞凯诺科技有限公司 | 智能充电桩的无线启动方法及*** |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5718973B2 (ja) * | 2013-05-21 | 2015-05-13 | 富士ソフト株式会社 | 顔認識装置、顔認識方法、およびコンピュータプログラム |
US11521460B2 (en) | 2018-07-25 | 2022-12-06 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
US10878657B2 (en) | 2018-07-25 | 2020-12-29 | Konami Gaming, Inc. | Casino management system with a patron facial recognition system and methods of operating same |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6385979A (ja) * | 1986-09-30 | 1988-04-16 | Toshiba Corp | ワークステーション |
JPH0351996A (ja) * | 1989-07-19 | 1991-03-06 | Mitsubishi Electric Corp | 監視装置 |
JPH04281688A (ja) * | 1990-09-07 | 1992-10-07 | Philips Gloeilampenfab:Nv | 3次元対象物のトラッキング方法及び装置 |
JPH0520442A (ja) * | 1991-07-17 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 顔画像照合装置 |
JPH0573663A (ja) * | 1991-09-17 | 1993-03-26 | Nippon Telegr & Teleph Corp <Ntt> | 3次元物体の画像認識法 |
JPH05166090A (ja) * | 1991-12-11 | 1993-07-02 | Ibaraki Keibi Hoshiyou Kk | 防犯監視システム |
JPH06119433A (ja) * | 1992-10-01 | 1994-04-28 | Toshiba Corp | 人物認証装置 |
JPH06259534A (ja) * | 1993-03-03 | 1994-09-16 | Toshiba Corp | 人物認証装置 |
JPH0723012A (ja) * | 1993-06-30 | 1995-01-24 | Takahashi Takeshi | 視聴率調査システム |
JPH07213753A (ja) * | 1994-02-02 | 1995-08-15 | Hitachi Ltd | パーソナルロボット装置 |
JPH07225841A (ja) * | 1993-12-13 | 1995-08-22 | Sharp Corp | 画像処理装置 |
JPH08161498A (ja) * | 1994-12-05 | 1996-06-21 | Minolta Co Ltd | 物体認識装置 |
JPH09270006A (ja) * | 1996-04-03 | 1997-10-14 | Toshiba Corp | 動画像処理方法 |
JPH09322155A (ja) * | 1996-05-31 | 1997-12-12 | Hitachi Denshi Ltd | 映像監視方法及び装置 |
JPH10105217A (ja) * | 1996-09-27 | 1998-04-24 | Mitsubishi Electric Corp | ロボットのトラッキング制御方法およびロボット制御システム |
JPH10228316A (ja) * | 1997-02-13 | 1998-08-25 | Honda Motor Co Ltd | デッドロック防止装置付自律走行ロボット |
-
2001
- 2001-05-28 JP JP2001158402A patent/JP3823760B2/ja not_active Expired - Fee Related
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6385979A (ja) * | 1986-09-30 | 1988-04-16 | Toshiba Corp | ワークステーション |
JPH0351996A (ja) * | 1989-07-19 | 1991-03-06 | Mitsubishi Electric Corp | 監視装置 |
JPH04281688A (ja) * | 1990-09-07 | 1992-10-07 | Philips Gloeilampenfab:Nv | 3次元対象物のトラッキング方法及び装置 |
JPH0520442A (ja) * | 1991-07-17 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 顔画像照合装置 |
JPH0573663A (ja) * | 1991-09-17 | 1993-03-26 | Nippon Telegr & Teleph Corp <Ntt> | 3次元物体の画像認識法 |
JPH05166090A (ja) * | 1991-12-11 | 1993-07-02 | Ibaraki Keibi Hoshiyou Kk | 防犯監視システム |
JPH06119433A (ja) * | 1992-10-01 | 1994-04-28 | Toshiba Corp | 人物認証装置 |
JPH06259534A (ja) * | 1993-03-03 | 1994-09-16 | Toshiba Corp | 人物認証装置 |
JPH0723012A (ja) * | 1993-06-30 | 1995-01-24 | Takahashi Takeshi | 視聴率調査システム |
JPH07225841A (ja) * | 1993-12-13 | 1995-08-22 | Sharp Corp | 画像処理装置 |
JPH07213753A (ja) * | 1994-02-02 | 1995-08-15 | Hitachi Ltd | パーソナルロボット装置 |
JPH08161498A (ja) * | 1994-12-05 | 1996-06-21 | Minolta Co Ltd | 物体認識装置 |
JPH09270006A (ja) * | 1996-04-03 | 1997-10-14 | Toshiba Corp | 動画像処理方法 |
JPH09322155A (ja) * | 1996-05-31 | 1997-12-12 | Hitachi Denshi Ltd | 映像監視方法及び装置 |
JPH10105217A (ja) * | 1996-09-27 | 1998-04-24 | Mitsubishi Electric Corp | ロボットのトラッキング制御方法およびロボット制御システム |
JPH10228316A (ja) * | 1997-02-13 | 1998-08-25 | Honda Motor Co Ltd | デッドロック防止装置付自律走行ロボット |
Non-Patent Citations (2)
Title |
---|
中山良一 外4名: "人に優しく,人と共存するロボット技術", 東芝レビュー, vol. 第52巻 第5号, CSNH199900185012, 1 May 1997 (1997-05-01), JP, pages 100 - 106, ISSN: 0000744942 * |
梅木直子 外3名: "3次元画像入力装置とその利用について", 情報処理学会研究報告, vol. 第98巻 第75号, CSNG199901053008, 21 August 1998 (1998-08-21), JP, pages 43 - 48, ISSN: 0000744943 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7720685B2 (en) | 2002-09-24 | 2010-05-18 | Honda Giken Kogyo Kabushiki Kaisha | Receptionist robot system |
US7684894B2 (en) | 2003-03-14 | 2010-03-23 | Panasonic Electric Works Co., Ltd. | Autonomously moving robot |
EP2267697A2 (en) | 2003-12-12 | 2010-12-29 | Nec Corporation | Information processing system, method of processing information, and program for processing information |
JP2007115129A (ja) * | 2005-10-21 | 2007-05-10 | Sumitomo Electric Ind Ltd | 障害物検出システム、障害物検出方法及びコンピュータプログラム |
JP2009530930A (ja) * | 2006-03-22 | 2009-08-27 | ピルツ ゲーエムベーハー アンド コー.カーゲー | 対応を判別する、好ましくはシーンの三次元再構成をする方法および装置 |
US8135211B2 (en) | 2006-03-22 | 2012-03-13 | Pilz Gmbh & Co. Kg | Method and device for three-dimensional reconstruction of a scene |
JP2009233839A (ja) * | 2008-03-28 | 2009-10-15 | Sogo Keibi Hosho Co Ltd | 移動体、移動体方向制御方法および移動体方向制御プログラム |
JP2010250730A (ja) * | 2009-04-20 | 2010-11-04 | Sanyo Electric Co Ltd | 画像処理装置及び撮像装置 |
WO2014033936A1 (ja) * | 2012-08-31 | 2014-03-06 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US9454704B2 (en) | 2012-08-31 | 2016-09-27 | Fujitsu Limited | Apparatus and method for determining monitoring object region in image |
JP2018005881A (ja) * | 2016-07-08 | 2018-01-11 | 深セン市優必選科技有限公司 | 顔検出追跡方法、ロボットヘッドの回動制御方法、及びロボット |
JPWO2018084170A1 (ja) * | 2016-11-07 | 2019-02-28 | Groove X株式会社 | 人を識別する自律行動型ロボット |
JP2021152740A (ja) * | 2020-03-24 | 2021-09-30 | 株式会社フジタ | 発話制御装置 |
JP7402721B2 (ja) | 2020-03-24 | 2023-12-21 | 株式会社フジタ | 発話制御装置 |
CN116564005A (zh) * | 2023-07-11 | 2023-08-08 | 深圳市瑞凯诺科技有限公司 | 智能充电桩的无线启动方法及*** |
CN116564005B (zh) * | 2023-07-11 | 2023-09-08 | 深圳市瑞凯诺科技有限公司 | 智能充电桩的无线启动方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP3823760B2 (ja) | 2006-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3307354B2 (ja) | 人物識別方法及び装置と人物識別プログラムを記録した記録媒体 | |
JP4860289B2 (ja) | ロボット装置 | |
JP5629803B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
US8942436B2 (en) | Image processing device, imaging device, image processing method | |
Reinders et al. | Locating facial features in image sequences using neural networks | |
JP4743823B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
US7266225B2 (en) | Face direction estimation using a single gray-level image | |
US5642431A (en) | Network-based system and method for detection of faces and the like | |
Pantic et al. | Automatic analysis of facial expressions: The state of the art | |
Zhou et al. | Integrating face and gait for human recognition at a distance in video | |
CN108268838B (zh) | 人脸表情识别方法及人脸表情识别*** | |
JP3823760B2 (ja) | ロボット装置 | |
US7308112B2 (en) | Sign based human-machine interaction | |
JP2004133889A (ja) | 画像のオブジェクトを認識する方法及びシステム | |
JP2007213378A (ja) | 特定表情顔検出方法、撮像制御方法および装置並びにプログラム | |
Baltzakis et al. | Visual tracking of hands, faces and facial features of multiple persons | |
Ratan et al. | Object detection and localization by dynamic template warping | |
JPH10307923A (ja) | 顔部品抽出装置および顔の向き検出装置 | |
Youssef | Hull convexity defect features for human action recognition | |
Göcke et al. | Automatic extraction of lip feature points | |
Pramadihanto et al. | Integrated person identification and expression recognition from facial images | |
JP2007025899A (ja) | 画像処理装置、画像処理方法 | |
JP2003228702A (ja) | 撮影条件検出装置および撮影条件検出プログラム | |
Rathee et al. | Analysis of human lip features: a review | |
Mariani | A face location and recognition system based on tangent distance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060213 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060404 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060404 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060619 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100707 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130707 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |