JP2002342758A

JP2002342758A - 視覚認識システム

Info

Publication number: JP2002342758A
Application number: JP2001145362A
Authority: JP
Inventors: Osamu Hasegawa; 修長谷川
Original assignee: Individual
Current assignee: Individual
Priority date: 2001-05-15
Filing date: 2001-05-15
Publication date: 2002-11-29

Abstract

(57)【要約】【課題】カメラと認識対象の間の距離や対象の向きが
任意に変動するような状況下でも、良好に機能する視覚
認識システムを提供すること。【解決手段】画像取り込み手段１と、画像を１つまた
は複数の基準距離に合わせた正規化画像を生成する正規
化手段２と、記憶手段６と、認識手段７とを備え、学習
プロセスでは、上記画像取り込み手段によって学習対象
をその距離データとともに取り込み、上記正規化手段に
よって取り込んだ学習対象の正規化画像を生成し、この
正規化画像に名称、意味などの概念を対応づけて上記記
憶部に記憶させ、認識プロセスでは、画像取り込み手段
によって認識対象をその距離データとともに取り込み、
上記正規化手段によって取り込んだ認識対象の正規化画
像を生成し、上記認識手段が上記認識対象の正規化画像
と、上記記憶部に記憶された学習対象の正規化画像とを
対比させることにより、上記認識対象の概念を認識す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ロボットやコン
ピュータに、物体を視覚認識させるシステムに関する。

【０００２】

【従来の技術】従来から、カメラなどを利用してコンピ
ュータが物体を視覚的に認識するシステムはあった。こ
のような視覚認識システムは、例えば、工場の生産ライ
ンで、つぎつぎ搬送される部品の種類に応じた処理を行
う必要がある場合、搬送ライン上の部品を認識するため
に利用される。上記のような認識の原理を簡単に説明す
る。まず、生産ラインに搬送される部品の外観を画像情
報としてあらかじめ登録しておくとともに、それら予め
登録した画像情報に部品コードを対応させておく。

【０００３】そして、生産ラインには、そこに搬送され
る部品の外観を取り込むＣＣＤカメラなどの装置を備え
ておき、このカメラで撮影した搬送部品と、上記あらか
じめ登録した画像情報とをマッチングさせる。このマッ
チングの段階で、最も近い部品すなわち最も近い画像情
報が見つかったとき、その画像情報に対応した部品コー
ドを上記搬送部品として認識する。

【０００４】上記のように、一定の搬送ライン上を搬送
される部品の場合には、同じ部品なら、いつも同じ大き
さで読み込むことができる。言い換えると、カメラの位
置さえ特定しておけば、搬送される部品の画像と、登録
された部品の画像とを、常に同一の大きさで対応させる
ことができる。このように両者を同一の大きさで対応さ
せることができるので、部品の種類を認識することがで
きる。

【０００５】

【発明が解決しようとする課題】このようにした従来の
システムでは、認識時に読み込まれる部品の大きさと、
あらかじめ登録した部品の画像との大きさが一致しなく
なると、部品の種類を正確に認識することができなくな
る。そのために、認識すべき部品とカメラとの距離が一
定していない環境ではこのシステムが良好に機能しない
という問題があった。

【０００６】さらに、表面に模様が描かれている部品の
場合には、その部品から遠く離れてしまえば、表面の模
様がはっきり見えなくなってしまうことがある。例え
ば、白黒の縞模様でも、遠くになれば、全体に灰色に見
えることがある。このようなことは、カメラを通しても
同じで、カメラから遠くのものは、表面の模様が見えに
くくなったりする。つまり、取り込んだ画像も、その対
象とカメラとの距離によって違うものになってしまう。

【０００７】そのため、あらかじめ登録した画像と、認
識時に取り込んだ画像の距離が異なれば、その物体の認
識は難しくなる。さらにまた、カメラに対する部品の向
きが異なれば、その部品と登録した画像とが一致しなく
なってしまう。そのため、同一部品であっても、向きが
変わってしまえば、その部品を認識できなくなる。

【０００８】上記のような問題を解決するために、あら
かじめ各部品ごとに、あらゆる距離とあらゆる向きにお
ける画像を読み込んで登録しておく方法が考えられる。
しかし、このような方法では、あらかじめ登録すべき画
像の数が天文学的な数字になってしまう。

【０００９】つまり、従来技術では、カメラと認識対象
の間の距離や対象の向きが任意に変動するような状況下
で、多数の物体を精度良く認識することはきわめて困難
であった。この発明の目的は、そうした状況下でも良好
に機能する視覚認識システムを提供することにある。

【００１０】

【課題を解決するための手段】第１の発明は、画像取り
込み手段と、画像を１つまたは複数の基準距離に合わせ
た正規化画像を生成する正規化手段と、記憶手段と、認
識手段とを備え、学習プロセスでは、上記画像取り込み
手段によって学習対象をその距離データとともに取り込
み、上記正規化手段によって取り込んだ学習対象の正規
化画像を生成し、この正規化画像に名称、意味などの概
念を対応づけて上記記憶部に記憶させ、認識プロセスで
は、画像取り込み手段によって認識対象をその距離デー
タとともに取り込み、上記正規化手段によって取り込ん
だ認識対象の正規化画像を生成し、上記認識手段が上記
認識対象の正規化画像と、上記記憶部に記憶された学習
対象の正規化画像とを対比させることにより、上記認識
対象の概念を認識する点に特徴を有する。

【００１１】第２の発明は、画像の特徴を局所的に基底
関数展開する画像解析手段と、局所的な基底関数の係数
を基底関数ごとに足し合わせて特徴ベクトルを生成する
特徴ベクトル生成手段を備え、学習プロセスでは、上記
特徴ベクトル生成手段によって学習対象の正規化画像か
ら特徴ベクトルを生成し、この特徴ベクトルに学習対象
の概念を対応づけて記憶手段に記憶させ、認識プロセス
では、上記特徴ベクトル生成手段によって認識対象の正
規化画像から特徴ベクトルを生成し、認識手段が上記認
識対象の特徴ベクトルと上記記憶手段に記憶された特徴
ベクトルとを対比させることにより、上記認識対象の概
念を認識する点に特徴を有する。

【００１２】第３の発明は、複数の特徴ベクトルの特徴
をより判別し易い判別空間に特徴ベクトルを投影して判
別ベクトルとする判別ベクトル生成手段を備え、学習プ
ロセスでは、上記判別ベクトル生成手段が、学習対象の
特徴ベクトルから学習対象の判別ベクトルを生成し、記
憶手段が、学習対象の判別ベクトルと学習対象の概念と
を対応づけて記憶し、認識プロセスでは、上記判別ベク
トル生成手段が、認識対象の特徴ベクトルから、判別ベ
クトルを生成し、認識手段が、上記認識対象の判別ベク
トルと記憶手段に記憶された判別ベクトルとを対比する
ことにより、上記認識対象の概念を認識する点に特徴を
有する。

【００１３】第４の発明は、画像取り込み手段と、記憶
手段と、認識手段とを備え、学習プロセスでは、上記画
像取り込み手段によって学習対象をその距離データとと
もに取り込み、上記学習対象物体の画像に学習対象の概
念を対応づけて上記記憶部に記憶させ、認識プロセスで
は、上記画像取り込み手段が、対象をその距離データと
ともに取り込み、取り込んだ画像の中から上記距離デー
タに基づいて認識対象を特定し、上記認識手段が、上記
特定した認識対象の画像と上記記憶手段に記憶された画
像とを対比することにより、上記認識対象の概念を認識
する点に特徴を有する。

【００１４】第５の発明は、学習プロセスでは、画像取
り込み手段が、対象をその距離データとともに取り込
み、取り込んだ画像の中から距離データに基づいて学習
対象を特定し、この特定した学習対象の画像に概念を対
応させて記憶部に記憶させる点に特徴を有する。なお、
上記第４、第５の発明における認識対象の特定とは、取
り込んだ画像の中から認識すべき対象の画像を背景から
切り出したり、切り出したもの以外の画像を削除したり
することである。

【００１５】第６の発明は、正規化手段を備え、学習プ
ロセスでは、上記正規化手段によって学習対象の画像を
１つまたは複数の基準距離で正規化した正規化画像を生
成し、この正規化画像に概念を対応づけて記憶手段に記
憶し、認識プロセスでは、上記正規化手段によって認識
対象の画像を１つまたは複数の基準距離で正規化した正
規化画像を生成し、認識手段は、上記認識対象の正規化
画像と上記記憶手段に記憶された正規化画像とを対比す
るとともに、上記認識対象の概念を認識する点に特徴を
有する。

【００１６】第７の発明は、画像の特徴を局所的に基底
関数展開する画像解析手段と、局所的な基底関数の係数
を基底関数ごとに足し合わせて特徴ベクトルを生成する
特徴ベクトル生成手段を備え、学習プロセスでは、上記
特徴ベクトル生成手段によって学習対象の画像から特徴
ベクトルを生成し、この特徴ベクトルに学習対象の概念
を対応づけて記憶手段に記憶させ、認識プロセスでは、
上記特徴ベクトル生成手段によって認識対象の画像から
特徴ベクトルを生成し、認識手段が上記認識対象の特徴
ベクトルと上記記憶手段に記憶された特徴ベクトルとを
対比させるとともに、上記認識対象の概念を認識する点
に特徴を有する。

【００１７】第８の発明は、正規化手段が、画像中の認
識対象の向きを画像処理により基準角度に合わせる機能
を有する点に特徴を有する。第９の発明は、画像解析手
段が、画像を複数の部分に分けて分析し、特徴ベクトル
生成手段が、複数の部分特徴ベクトルを作成し、それら
に基づき認識を行う点に特徴を有する。

【００１８】なお、上記学習プロセスにおける、画像読
み取り手段、正規化手段、画像解析手段、特徴ベクトル
生成手段、判別ベクトル生成手段、記憶手段は、認識プ
ロセスにおける各手段と同一のものであってもかまわな
いし、個別に設けたものであってもかまわない。すなわ
ち、学習手段と認識手段を別システムとし、あらかじめ
学習した内容を複数の認識システムに移植（コピー）し
て利用するといったことも可能である。

【００１９】

【発明の実施の形態】図１〜図１０に、この発明の第１
実施例を示す。物体を認識するためには、学習プロセス
と、認識プロセスとが必要である。図１には、上記両プ
ロセスを実行するためのシステムを同時に表している。
図１のように、この第１実施例の視覚認識システムは、
学習対象や認識対象の画像を取り込む画像取り込み手段
１と、取り込んだ画像を正規化する正規化手段２と、画
像解析手段３と、特徴ベクトル生成手段４と、判別ベク
トル生成手段５と、記憶手段６と、認識手段７とを備え
ている。また、外部から物体の概念を入力する入力部８
と、この視覚認識システムで認識した結果を外部へ出力
する出力部９とを備えている。

【００２０】上記画像取り込み手段１は、物体のテクス
チャー画像データと、その物体までの距離データとを取
り込むことができる手段である。この第１実施例では、
ステレオカメラと、このカメラから入力されたデータを
処理するデータ処理部とによって、画像取り込み手段１
が構成されている。上記画像取り込み手段１は、ステレ
オカメラを用いて画像を取り込むので、テクスチャー
（物体表面の模様）と同時に、距離データを得ることが
できる。また、上記画像取り込み手段１は、上記距離デ
ータから、上記カメラから上記物体までの代表距離を算
出するようにしている。

【００２１】上記代表距離とは、上記ステレオカメラか
ら、画像を取り込む対象物体の代表点までの距離であ
る。物体は、大きさを持っているので、その中心点と
か、カメラから最も近い点とかを予め代表点と決めてお
き、ステレオカメラからその代表点までの距離を代表距
離とする。あるいは、上記カメラから、物体表面の複数
の点までの距離を求めて、それらの平均距離を上記代表
距離としても良い。

【００２２】上記正規化手段２は、取り込んだ画像を、
正規化するところである。上記正規化とは、実際には、
いろいろな距離にある物体の画像を読み込んだ時に、そ
れらの距離を基準距離に合わせたり、傾きを揃えたりす
るために行う処理のことであるが、図２、図３を用いて
さらにくわしく説明する。図２では、ステレオカメラ１
０から物体１１までの代表距離をＳとしている。そし
て、この第１実施例では、２つの基準距離Ｓ１、Ｓ２を
設定している。

【００２３】まず、画像取り込み手段１によって物体１
１の画像を取り込む。上記画像取り込み手段１によって
代表距離Ｓを算出し、この代表距離Ｓを画像データとと
もに、正規化手段２へ入力する。正規化手段２は、入力
された画像データを、基準距離Ｓ１、Ｓ２で正規化す
る。すなわち、物体１１が、実際よりステレオカメラ１
０に近い距離である基準距離Ｓ１に置かれた場合の画像
として、実際に取り込んだ画像を、基準距離Ｓ１／代表
距離Ｓの比率で拡大し、これを第１の正規化画像１１ａ
とする。また、基準距離Ｓ２／代表距離Ｓの割合で、縮
小した画像データ１１ｂを第２の正規化画像１１ｂとす
る。

【００２４】この正規化の手順は、学習システムにおい
ても、認識システムにおいても同様である。また、この
第１実施例では、２つの基準距離Ｓ１，Ｓ２を設定し
て、第１，第２の正規化画像を作成するようにしている
が、この数は２つに限らない。後で説明するが、上記基
準距離を適当に設定することによって、物体の認識率を
上げることができる。この基準距離の設定数は、認識す
べき対象の大きさや数などに応じて設定する。

【００２５】また、上記正規化手段２では、認識対象物
体の向きに関する正規化も行う。画像を取り込む際に、
カメラ１０に対する物体の向きが異なると、同じ物体で
も違うものに見えてしまうことがある。そこで見え方を
揃えるために、向きを揃える正規化処理が必要である。
この第１実施例では、物体表面がカメラ１０の光軸に対
して直交するように例えばアフィン変換などの画像処理
によって取り込んだ画像を回転する。つまり、カメラの
撮像面に平行な面を、この第１実施例における基準面と
する。

【００２６】具体的な処理方法としては、物体表面の複
数の点における距離が一定になるように、複数点の距離
を測定しながら、面の向き（傾き）を調整したり、表面
の局所的な面の法線ベクトルの和が、光軸と平行になる
ように、物体の画像を回転させながらその向きを調整
し、正規化画像を生成する。たとえば、壁を斜めから見
た画像は、壁を真正面から見た画像へと変換する。立方
体などの複数の面のある物体は、各面ごとに基準面が定
まる。ジュース缶のような円筒は缶を真横から見た画像
へと変換される。より複雑な形状の物体に対しては、同
様に上記の基準に基づき、複数の基準面が定まるのが一
般的である。ただし、カメラの光軸まわりの回転は行わ
ない。以下では簡単のため、図３（ａ）、（ｂ）の平板
状の物体１２、１３を例に説明する。まず、取り込んだ
画像中の物体１２が、カメラ１０の撮像面に対して傾い
ている場合の処理の仕方を説明する。

【００２７】図３（ａ）、（ｂ）において、カメラ１０
の撮像面と平行な面をｘ−ｙ平面とする。図３（ａ）
は、取り込んだ画像内の物体１２が、ｘ−ｙ平面に対
し、ｘ軸周りに角度αだけ傾いている場合である。この
ような画像１２を取り込んだ場合、上記正規化手段２で
は、物体１２を矢印方向に角度αだけ回転させて、正
規化画像１２ａを生成する。また、図３（ｂ）は、取り
込んだ画像内の物体１３が、ｘ−ｙ平面に対し、ｙ軸周
りに角度βだけ傾いている場合である。このような物体
１３を取り込んだ場合、上記正規化手段２では、物体１
３を矢印方向に角度βだけ回転させて、正規化画像１
３ａを生成する。

【００２８】もしも、取り込んだ画像が、ｘ軸、ｙ軸の
両方に対して傾いていた場合には、ｘ軸周りの回転と、
ｙ軸周りの回転の両方を行うことによって、上記撮像面
であるｘ−ｙ平面に平行な正規化画像を生成することが
できる。このように、上記正規化手段２では、物体の距
離と傾きについて正規化を行って、正規化画像を生成す
る。距離についての処理と、傾きについての処理は、ど
ちらを先に行ってもかまわない。

【００２９】ただし、必ずしも、正規化手段２におい
て、距離を揃える処理と、傾きを揃える処理の両方を行
わなくてもよい。距離についての正規化だけを行うよう
にするだけでも、従来と比べて、圧倒的に認識の正確性
が増す。なお、正規化処理として距離に関する処理だけ
を行う場合には、代表距離として、物体上の１点までの
距離を用いるようにしてもかまわないが、傾きを調整す
るためには、複数点における距離データが必要である。
つまり、上記画像取り込み手段１において、複数点の距
離データを取り込むことが必要になる。

【００３０】図１の画像解析手段３は、上記のようにし
て生成した正規化画像を解析する手段である。ここで
は、正規化画像を解析する方法を、図４を用いて説明す
る。図４には、バッグの正規化画像１４を示す。この正
規化画像１４は、ディスプレイ表示されたものである。
ここでは、説明を簡単にするため、線画とする。このデ
ィスプレイ上に、マスクパターンをスキャンしながら重
ねて、画像を解析する。

【００３１】上記マスクパターンとは、上記正規化画像
の局所的な特徴を抽出するために設定したもので、例え
ば、図５に示すようなパターンである。図５には、２５
のマスクパターンのセットを示しているが、個々のマス
クパターンは、これに限らないし、１セットのマスクパ
ターンの種類も、２５個に限らない。デジタル画像を基
底関数展開するマスクパターンのセットであればよい。

【００３２】図５の、個々のマスクパターンｍ１〜ｍ２
５は、正方形で、それぞれ異なるパターンを持ってい
る。上記画像１４上を移動させながら、各位置で２５個
のマスクパターンｍ１〜ｍ２５を重ねる。具体的には、
ある位置において、マスクパターンｍ１〜ｍ２５を順番
に重ね、その下に位置する画像が、上記マスクパターン
ｍ１〜ｍ２５のどの要素をどれだけ持っているかという
値を、マスクパターンの要素量として算出する。例え
ば、マスクパターンｍ２４については、Ｌ字を形成する
３つの灰色正方形に対応する画像部分の濃淡値データ三
つを掛け合わせたものが、その位置におけるマスクパタ
ーンｍ２４の要素量とする。このようにして、すべての
マスクパターンｍ１〜ｍ２５の要素量を計算する。この
処理は、上記マスクパターンを移動させながら、各位置
で行う。このときの移動ピッチは通常は１ピクセルとす
るが、このピッチ幅を大きくするにつれ、ゆるやかに認
識精度が低下する反面、処理速度は向上する。

【００３３】図５に示すマスクパターンは、説明のた
め、大きく表しているが、この実施例では、３×３ピク
セルのマスクパターンのセットを用いている。ただし、
マスクパターンの大きさは、取りたい特徴の種類に応じ
て、任意に設定することができる。例えば、小さいマス
クパターンのセットを用いた場合には、細かな（高周
波）特徴を抽出することができ、大きなマスクパターン
を用いた場合には、大きな（低周波）特徴を抽出するこ
とができる。例えば、バッグを、バッグであるかどうか
を認識させようとする場合と比べて、そのバッグがワニ
皮製であることを認識させようとする場合の方が、小さ
なマスクパターンを用いることになる。

【００３４】また、大きさの違うマスクパターンのセッ
トを上記画像解析手段３に複数記憶させておいて、すべ
てのマスクパターンのセットによって解析を行うように
すれば、大きな特徴から、小さな特徴まで、あらゆる特
徴を取ることができるようになる。このように特徴が多
くなれば、対象の判別がより容易となる。いかなる大き
さマスクパターンのセットをいくつ設けるかについて
は、認識すべき対象のもつ特徴や数に応じて定める。た
とえば、上記画像解析手段３が特定のマスクパターンの
セットを用いて認識のシミュレーションを行った結果を
人間が評価し、その評価に応じて、最適なセットを上記
画像解析手段３が自動的に選択する、といったアプロー
チが考えられる。

【００３５】また、図１の特徴ベクトル生成手段４は、
上記画像解析手段３で行った正規化画像１１ａの分析結
果を、全てのマスクパターンごとに集計する。つまり、
上記正規化画像１１ａは、個々のマスクパターンの特徴
を、どれだけ備えた画像であるかということを集計する
ことになる。その集計結果は、図６のように表される。
この図は、横軸にマスクパターンの種類を示し、縦軸
に、各パターンの要素量を示している。各マスクパター
ンを各次元として生成した２５次元の特徴ベクトルＡを
生成する。この第１実施例では、各マスクパターンがこ
の発明の基底関数にあたる。そして、上記特徴ベクトル
Ａ１、正規化画像１１ａの特徴を定量化したものであ
る。

【００３６】上記判別ベクトル生成手段５は、上記特徴
ベクトル生成手段４によって生成された特徴ベクトルＡ
１、判別ベクトルに変換するものである。判別ベクトル
とは、上記特徴ベクトルの次元のうち、物体の判定に有
効な次元に重み付けをして、新しい軸を判別軸として設
定し、次元数を減らしたベクトルである。

【００３７】例えば、異なる２つの物体の正規化画像を
区別しなければならない場合を考える。まず、物体の画
像を微妙な光源の変化などに応じてｎ枚取り込み、第１
の物体の特徴ベクトルのセットをＡ、第２の物体の特徴
ベクトルのセットをＢとする。これらの特徴ベクトル群
ＡとＢは、上記特徴ベクトル生成手段４によって生成さ
れた２５次元ベクトルであるが、判別ベクトルの考え方
の説明を簡単にするために２次元ベクトルとし、ＡとＢ
のクラス内分散は十分小さいとする。このとき、図７に
示すように、上記特徴ベクトルＡとＢは、２次元（ｘ−
ｙ）平面上に表される。ここで、Ａ、Ｂベクトル群の終
点群ａ、ｂを良好に分離する判別軸Ｌを判別分析法など
により算出する。このようにして、ＡとＢをより良好に
分離する軸（空間）を得る。

【００３８】上記の判別軸で定義される空間を判別空間
と言うことにする。なお、こうした判別のための空間
は、ほかにも主成分分析、カーネル主成分分析といった
教師なしデータ解析手法や、カーネル判別分析、サポー
トベクターマシン、ニューラルネットワークなどの教師
あり手法によっても構成することができる。上記判別ベ
クトル生成手段５は、上記特徴ベクトルを上記判別空間
上の判別ベクトルに変換するための計算式、例えば変換
マトリックスなどを記憶しておく。

【００３９】図１の記憶手段６は、学習プロセスにおい
て、上記判別ベクトル手段５で生成された判別ベクトル
に、物体の概念を対応づけて記憶する。物体の概念は、
キーボードやマウス、音声によって外部から入力する。
また、この記憶手段６には、物体の概念と対応する学習
用のラベルつき特徴ベクトル群も一緒に記憶させてお
く。上記認識手段７は、認識時に、認識対象物体の判別
ベクトルと上記記憶手段６に記憶された判別ベクトルと
を比較して、物体の認識を行うところである。ここで、
認識した物体の情報は、出力部９を介して、外部に出力
される。例えば、外部の図示しない制御手段に出力し、
上記認識結果に応じて、他の装置を制御することもでき
る。

【００４０】以下に、図１の視覚認識システムを用い
て、物体を認識する手順を説明する。初めに、学習プロ
セスについて、図８のフローチャートにしたがって、説
明する。この学習プロセスは、このシステムに、初め
て、様々な物体を覚えさせるプロセスである。まず、ス
テップ１では、図１の画像取り込み手段１によって、学
習対象物体のテクスチャー画像と距離データとを取り込
む。このステップ１では、覚えさせたい複数の物体の画
像に対し、光源などの条件を少しずつ変えながらそれぞ
れ複数枚ずつ読み込ませる。

【００４１】ステップ２では、上記正規化手段２によっ
て、個々のテクスチャーを基準距離と、基準角度によっ
て正規化し、正規化画像を作成する。正規化のための基
準距離が複数設定されている場合には、このステップを
繰り返して、各物体の画像群に対して複数の正規化画像
を生成する。ステップ３で、上記画像解析手段３によっ
て、個々の正規化画像をマスクパターンを用いて展開す
る。ステップ４では、特徴ベクトル生成手段４が、上記
画像解析結果に基づいて特徴ベクトルを生成する。上記
ステップ１〜ステップ４は、それぞれ、複数の物体に対
する処理を行うようにしているが、各ステップでは、１
つの物体に対する処理だけを行うようにして、ステップ
１〜ステップ４を、学習対象の数分、繰り返すようにし
てもかまわない。

【００４２】ステップ５では、判別ベクトル生成手段５
が、ステップ４までに、生成した複数の特徴ベクトルに
基づき判別空間を生成する。そして、上記特徴ベクトル
を、上記判別空間上に投影する計算式である変換マトリ
ックスを算出し、それを記憶しておく。なお、上記ステ
ップ２において、１つの物体に対して、複数の正規化画
像を生成した場合には、このステップ５で生成する判別
空間も、正規化の基準距離ごとに生成することになる。
さらに、ステップ６で、上記判別ベクトル生成手段５
は、全ての特徴ベクトルに上記計算式をかけて、判別ベ
クトルを生成する。ステップ７で、個々の判別ベクトル
に、外部から入力された物体の概念を対応づけて、上記
記憶手段６に記憶する。以上で、初期の学習プロセスは
終了する。

【００４３】次に、新しい物体を学習する、追加学習の
プロセスを図９のフローチャートにしたがって説明す
る。ステップ１１〜ステップ１４までは、図８のステッ
プ１〜ステップ４とほぼ同じなので、詳細な説明は省略
する。要するに、ステップ１１〜ステップ１４で、画像
取り込み手段１が取り込んだ、学習対象物体のテクスチ
ャー画像と距離データとから、学習対象の画像の特徴ベ
クトルを生成する。

【００４４】ステップ１５で、上記判別ベクトル生成手
段５が、上記記憶手段６に記憶されている学習済みの特
徴ベクトルを呼び出して、これにステップ１４で生成し
た特徴ベクトルを合わせて、これら全ての特徴ベクトル
から、新しい判別空間を特定し、新しい変換マトリック
スを生成する。ステップ１６では、判別空間ベクトル生
成手段５に、上記変換マトリックスを記憶する。この計
算式は、学習するたびに更新されることになる。

【００４５】ステップ１７で、上記判別ベクトル生成手
段５は、生成した変換マトリックスによって、上記特徴
ベクトルを判別ベクトルに変換する。ステップ１８で
は、外部から入力された学習対象物体の概念と、ステッ
プ１６で生成した判別ベクトルおよびステップ１４で生
成した特徴ベクトルとを対応づけて記憶手段６に記憶さ
せる。以上、ステップ１１〜ステップ１７を追加学習の
たびに、行うようにする。

【００４６】なお、図８のステップ７と図９のステップ
１８で、特徴ベクトルを記憶手段６に記憶させたのは、
上記判別ベクトル生成手段５が、新たな計算式を生成す
る際に、学習済みの特徴ベクトルが必要になるからであ
る。以上で、学習プロセスは終了する。なお、この第１
実施例では、図１の画像取り込み手段１、正規化手段
２、画像解析手段３、特徴ベクトル生成手段４、判別ベ
クトル生成手段５、記憶手段６，入力部８が、学習シス
テムを構成している。

【００４７】次に、認識プロセスを図１０のフローチャ
ートにしたがって説明する。ステップ２１で、画像取り
込み手段１によって、認識対象のテクスチャーと距離デ
ータとを読み込む。ステップ２２で、上記正規化手段２
が、上記テクスチャーを正規化する。このステップ２で
は、複数の基準距離が設定されていても、まず１つの基
準距離における正規化画像を生成することにする。ステ
ップ２３で、画像解析手段３が、上記正規化画像を展開
する。ステップ２４で、特徴ベクトル生成手段４が、特
徴ベクトルを生成する。

【００４８】ステップ２５で、判別ベクトル生成手段５
が、判別ベクトルを生成する。ここでは、上記ステップ
２４で生成した特徴ベクトルを、図８のステップ１６で
生成した計算式を用いて変換することによって、判別ベ
クトルを生成する。ステップ２６では、認識手段７が、
ステップ２５で生成した認識対象の判別ベクトルを、上
記記憶手段６に記憶されている学習済み判別ベクトルと
対比して、個々の学習済み判別ベクトルと、認識対象の
判別ベクトルとの距離を算出する。ここで算出する距離
とは、各ベクトルの終点間の距離である。

【００４９】ステップ２７で、上記判別ベクトル生成手
段５は、判別ベクトル間の距離の算出結果に基づいて、
上記認識対象の判別ベクトルに最も近い学習済み判別ベ
クトルを特定する。そして、ステップ２８で、上記距離
が設定値以下かどうかを判定する。設定値とは、認識対
象の判別ベクトルと、学習対象の判別ベクトルとの差
が、どのくらいのとき、すなわち、どのくらい近いとき
に、同じものと認識するかという基準値である。ここ
で、上記距離が設定値以下の場合には、ステップ２９に
進み、特定した判別ベクトルと、距離とを記憶する。一
方、ステップ２８で、上記距離が設定値を越えていた場
合には、ステップ３０へ進む。

【００５０】ステップ３０では、別の基準距離があるか
どうか、つまり、設定されている複数の基準距離のう
ち、まだ、正規化に利用していない基準距離があるかど
うかということを判断する。ステップ３０で、別の基準
距離があった場合には、ステップ２２に進み、その基準
距離で正規化画像を作成する。そして、ステップ２２か
ら、以下のステップを繰り返す。ただし、ステップ２７
で、認識対象の判別ベクトルに最も近い学習済みの判別
ベクトルを特定する際には、ステップ２９で記憶してい
る判別ベクトルまでの距離も含めて、最も近い判別ベク
トルを選択するようにしている。これにより、ステップ
２９までに、認識対象の判別ベクトルに最も近い判別ベ
クトルであって、しかも、その距離が設定値以下のもの
だけが、選別されるようにしている。

【００５１】ステップ３０で、別の基準距離がなかった
場合には、ステップ３１に進む。ステップ３１では、特
定した判別ベクトルがあるかどうかを判断し、なけれ
ば、ステップ３３へ進み、認識不能とし、その結果を出
力する（ステップ３４）。ステップ３１で、特定ベクト
ルがあった場合には、ステップ３２へ進む。このステッ
プ３２では、記憶手段６で、上記特定された判別ベクト
ルに対応付けられている概念を認識対象物体の概念とし
て出力する（ステップ３４）。以上で、認識プロセスが
終了する。

【００５２】この第１実施例においては、図１の画像取
り込み手段１と、正規化手段２、画像解析手段３、特徴
ベクトル生成手段４、判別ベクトル生成手段５、認識手
段７、出力部９が、この発明の認識システムを構成して
いる。そして、図１中、学習システムにおけるデータの
流れを実線の矢印で示し、認識システムにおけるデータ
の流れを破線の矢印で示している。

【００５３】上記第１実施例のシステムによれば、学習
プロセスにおいて、学習対象の画像を正規化しているの
で、認識プロセスにおいても、取り込んだ画像を正規化
することによって、判別ベクトルの正確な対比ができ
る。すなわち、実際の物体の位置が、学習時に読み込ん
だ画像の位置と違っていても、正確な認識ができる。そ
のため、従来のように、学習時にあらゆる距離における
画像を取り込んでおくようなことをする必要がない。

【００５４】なお、取り込む画像がカラー画像の場合、
画像解析手段３において、画像を色分解してから、それ
ぞれの画像にマスクをかけて分解を行うようにする。こ
こでいう色分解とは、例えば、カラー画像を、光の三原
色である青・緑・赤の３つの画像に分解することであ
る。ただし、色分解の要素としては、上記三原色にかぎ
らない。例えば、色相・彩度・明度（輝度）など、様々
な表色法における要素に分解するようにしてもかまわな
い。例えば、彩度は、画像の取り込み環境の明るさの影
響を受けにくいので、そうした特性を活用することが考
えられる。

【００５５】また、この第１実施例では、上記画像取り
込み手段１は、画像データと、距離データとを取り込め
るものであればどのようなものでもかまわない。上記第
１実施例においては、ステレオカメラを用いることによ
って、テクスチャー画像と、距離データとを同時に取り
込めるようにしているが、距離データの取り込みを他の
距離測定方法を用いて行えば、画像の取り込みにはステ
レオカメラを用いなくても良い。他の物体までの距離の
測定方法には、例えば、３台以上のカメラを用いる方法
のほか、レンジファインダーを用いる方法、超音波ソナ
ーを利用する方法などがある。

【００５６】さらに、上記第１実施例では、テクスチャ
ー画像の学習と認識のプロセスについて、説明したが、
画像取り込み手段１により物体の距離画像を取り込める
ようにしておけば、距離画像についても、上記テクスチ
ャーと全く同様にして、学習および認識を行うことがで
きる。距離画像とは、物体や情景の凹凸／奥行きの変化
を色の変化や、輝度の変化として表したもので、上記テ
クスチャーを解析するのに用いたマスクパターンをその
まま利用することもできる。距離画像の例として、画像
中の対象物までの距離を濃淡で表現した画像１３を図１
１に示す。ここでは、カメラからの距離が近いものを薄
く（白っぽく）表し、遠く離れるほど、濃く（黒っぽ
く）表している。

【００５７】また、テクスチャーについての判別ベクト
ルと、距離画像に付いての判別ベクトルとの両方を学習
させておけば、認識時には、どちらか一方の画像データ
から、物体の認識をおこなうことができる。例えば、認
識対象物体が古くなってしまって、画像の取り込み時
に、表面の模様が見えなくなっていた場合には、テクス
チャーの判別ベクトルにその特徴が表れないので、認識
ができない可能性がある。このように、テクスチャーの
判別ベクトルからは、物体の認識ができない場合であっ
ても、距離画像の判別ベクトルを学習時に記憶させてお
けば、距離画像の判別ベクトルから、物体の認識ができ
る。すなわち、双方の判別ベクトルを用いた認識を行う
ことにより、認識の信頼性を向上させることが可能とな
る。

【００５８】さらに、上記第１実施例では、学習プロセ
スと認識プロセスの両プロセスにおいて、複数の基準距
離について、それぞれ、正規化を行うようにしている。
しかし、基準距離を複数設けなくてもかまわないし、複
数設けた場合でも、常に、全ての基準距離で正規化しな
くてもかまわない。例えば、学習時には、複数の基準距
離で正規化を行って、その基準距離ごとに判別空間を作
成しておき、認識時には、実際の距離に近い基準距離の
みで正規化を行って、その基準距離の判別空間での判別
だけを行うようにしてもよい。

【００５９】反対に、学習プロセスでは、物体の大きさ
によって、複数の基準距離から適した基準距離を選択し
て、その基準距離のみで正規化を行い、その基準距離の
判別空間を作成し、認識時に、複数の基準距離で正規化
を行って、最も近い判別ベクトルを探すという方法でも
かまわない。要するに、学習時に取り込んだ物体の距離
と、認識時の物体の位置とを揃えて、比較できるように
すれば、正確な認識ができる。

【００６０】なお、学習プロセスにおいて、学習対象の
画像を取り込む時には、その物体の特徴が見えやすい位
置に物体をおいて、周囲の不要な物をどけてから、学習
対象だけを取り込むことができる。もしも、学習対象以
外の物体、例えば背景にある山などを実際に動かすこと
ができない場合には、取り込んだ画像から、背景を消す
などの処理をオペレータが行うことができる。つまり、
学習プロセスでは、学習対象を正確に覚えさせるため
に、学習対象物体の周囲に置かれたものを排除した環境
を意図的に作り出すことができる。

【００６１】一方、認識プロセスでは、認識対象物体
が、真っ黒な背景の中に独立して置かれている場合の方
が少ない。このような状況で、認識対象と背景とを同時
に取り込んだ画像から、両者を一体にして解析した場合
には、認識対象物体の認識が正確にできないことが多
い。例えば、同じ対象であっても、その背景が全く異な
った場合には、その背景の特徴の違いによって、異なる
物体と認識してしまうことがある。そのために、背景か
ら認識対象物体を切り出して、その切り出した物体の画
像を解析して認識する方法がある。

【００６２】図１２を用いて説明する第２実施例は、図
１に示す第１実施例の画像取り込み手段１に、取り込ん
だ画像から、背景部分を削除して、認識対象を特定する
機能が付加されたものである。それ以外の構成や、各構
成要素の作用は上記第１実施例と同じである。そこで、
この第２実施例の説明にも図１を用いる。この第２実施
例の視覚認識システムにおける学習プロセスは、上記第
１実施例と同じなので、ここではその説明を省略する。
以下には、必要な学習が終了した後、物体を認識する認
識プロセスについて説明する。ただし、上記学習プロセ
スにおいては、学習対象であるバッグを模様のない黒い
壁の前に置いて、学習したものとする。

【００６３】一方、認識プロセスにおいて、認識対象の
バッグが、床に置かれているとする。まず、上記バッグ
の画像を上記画像取り込み手段１によって取り込む。図
１２に示すように、ここで取り込んだ画像１５には、バ
ッグ１５ａの背景に床１５ｂの模様も含まれている。こ
の画面１５全体を認識対象として、解析を行ったので
は、上記バッグと床とが一体化した物体を解析すること
になってしまう。上記画面１５の中から、バッグだけを
切り取ることが必要である。

【００６４】そこで、上記画像取り込み手段１は、画像
データとともに取り込んだ距離データを基にして、認識
対象物体の切り取りを行う。すなわち、上記画像取り込
み手段１は、ステレオカメラと、データ処理部とからな
っているが、このデータ処理部が、上記ステレオカメラ
によって取り込んだ距離データによって、上記バッグと
床面との距離の差を検出することができる。上記床面１
５ｂまでの距離は、上記バッグ１５ａまでの距離と比べ
て、カメラから遠い。しかも、上記バッグ１５ａの境界
において、上記床面１４ｂまでの距離との差は、ほぼ一
定である。このことから、床面とバッグとを別の物体と
認識し、バッグを認識対象として、床面から切り取るこ
とができる。

【００６５】実際には、背景である床面部分の画像を排
除して真っ黒に処理してしまう。このようにして、対象
物体だけを切り取れば、図１２は、図４のように、背景
には、何もない画像１１ａと同じになる。このようにし
て、背景を排除した画像を、上記正規化手段２が正規化
し、その正規化画像を解析処理して認識するステップ
は、図１０のステップ２２以降のステップであり、上記
第１実施例と同じである。すなわち、上記第１実施例と
同様に、マスクパターンｍを利用した解析、特徴ベクト
ルの生成、判別ベクトルの生成を行って、認識手段７が
バッグを認識する。

【００６６】なお、この第２実施例の認識プロセスのよ
うに、取り込んだ画像から、背景を排除することができ
れば、実際には、認識対象物体がどのような背景の中に
存在していても、その背景の模様などに依らないで、正
確な認識をすることができるので、必ずしも、上記正規
化手段２における正規化処理を行わなくてもかまわな
い。正規化処理を行わなかったとしても、従来のよう
に、背景と対象物体とを一体化して認識してしまう場合
と比べれば、格段に認識精度が高くなる。ただし、この
第２実施例のように、背景を排除する処理を行った上
に、正規化画像を作成するようにすれば、さらに、正確
な認識ができることは当然である。

【００６７】以上のように、背景から、対象物体を切り
取ることは、上記画像取り込み手段１で、自動的に行う
ことができる。これにより、必要な部分だけを解析し
て、正確な認識ができるようになる。ただし、異なる物
体との境界における奥行きがなだらかに連続しているよ
うな場合には、異なる物体のなかから、目的の物体だけ
を切り取ることは、難しい。その場合には、オペレータ
が、手動で、画像処理を行って背景を削除するようにし
ても良い。

【００６８】また、予め、認識対象物体の距離がわかっ
ていれば、その範囲内にある物体だけを認識対象として
解析するように、プログラムしておくことができる。そ
のようにすれば、物体の切り出しが、効率良く、正確に
できる。さらに、ここで説明した、背景の排除の処理
は、学習プロセスに置いても全く同様に行うことができ
る。すなわち、学習プロセスに置いても、画像取り込み
手段１が取り込んだ画像の中から、背景との距離の差に
基づいて、学習対象物体を自動的に特定して、背景を削
除することができる。

【００６９】図１３、図１４に示す第３実施例は、認識
対象物体の前に他の物体がある場合にも、正しい認識が
できるようにした例である。この第３実施例では、画像
取り込み手段１で、認識対象物体を特定して切り出す機
能を備えるとともに、画像解析手段３が、画像解析を部
分的に行う機能を備えたものである。その他は、上記実
施例と同様である。また、この第３実施例においても、
システムの全体構成は、上記第１実施例と同様なので、
図１を用いて説明する。

【００７０】図１３は、学習プロセスにおける正規化画
像１６である。この正規化画像１６は、取り込んだ画像
から、上記第２実施例と同様にして、背景を削除し、さ
らに、図１の正規化手段２によって作成したものであ
る。このような正規化画像１６が作成されたら、上記画
像解析手段３は、画像解析を行うが、この第３実施例で
は、上記画像１６を、複数のウインドウＷに分割して処
理を行う。ここでは、ウインドウＷ１〜Ｗｎで分割する
が、これらのウインドウＷ１〜Ｗｎは、上下左右方向に
互いに、少しづつずらして配置されたものである。言い
換えれば、１つのウインドウを図中、横方向および縦方
向に移動したものである。

【００７１】上記画像解析手段３は、上記ウインドウＷ
１〜Ｗｎごとに、マスクパターンｍによる分析を行う。
すなわち、各ウインドウＷ１〜Ｗｎ内で、図５に示すマ
スクパターンｍ１〜ｍ２５を移動させながら重ね、各要
素量を集計する。上記要素量は、ウインドウごとに集計
され、ウインドウごとに特徴ベクトルが生成される。こ
のウインドウごとに生成された特徴ベクトルを部分特徴
ベクトルａ１〜ａｎとする。

【００７２】この第３実施例では、ｎ個のウインドウＷ
が、上記画面１７上で、互いに重なり合っているので、
同一部分を複数回解析して部分特徴ベクトルを生成して
いることになる。

【００７３】そして、判別ベクトル生成手段５では、上
記部分特徴ベクトルａ１〜ａｎごとに、部分判別ベクト
ルｃ１〜ｃｎを生成する。画像全体の判別ベクトルＣも
生成し、それらを記憶手段６に記憶させる。この記憶手
段６に記憶させる際には、個々の部分判別ベクトルｃ１
〜ｃｎに対し、それぞれ「バッグ」という概念を対応づ
ける。ただし、概念の付け方としては、全ての部分判別
ベクトルｃ１〜ｃ１２に同じ概念を付けなければならな
いというものではない。個々の部分判別ベクトルに、例
えば、「バッグの部分」とか、「バッグの留め金」とい
うように、別々の概念を付けるようにしてもかまわな
い。これにより、よりキメ細かな認識が可能になる。

【００７４】このように、部分特徴ベクトルを生成し
て、部分判別ベクトルと概念とを対応づけて記憶させる
という学習方法をとれば、認識プロセスにおいて、認識
対象が、部分的にしか見えないような場合にも、その物
体を認識することができる。例えば、図１４に示す画像
１７のように、バッグの前に他のものがあった場合で
も、バッグを認識することができるので、その方法を以
下に説明する。なお、この画像１７は、認識プロセスに
おいて、上記画像取り込み手段１から取り込んだ画像で
ある。そして、この画像１７中のバッグ１７ａは、図１
３の画像１６のバッグと同じものとする。つまり、この
システムにおいて、すでに学習済みのバッグである。し
かし、認識プロセスでは、上記バッグ１７ａの前に、テ
ープカッター１７ｂと、本１７ｃが、置かれている。

【００７５】ここで、上記画像取り込み手段１のデータ
処理部は、画像とともに取り込んだ距離データから、認
識対象であるバッグ１７ａと他の物体である、テープカ
ッター１７ｂ、本１７ｃとを、カメラからの距離が異な
ることから分離することができる。そして、ここでは、
上記バッグ１７ａを認識対象として特定し、他の部分を
背景とともに削除する。上記画像取り込み手段１が、取
り込んだ画像１７から、バッグ１７ａの部分だけを残す
ようにするためには、予め、特定の距離付近にある物体
だけを認識対象とするということを設定しておくことに
よっても実現できる。あるいは、上記画像１７を取り込
んだ段階で、オペレータがバッグ１７ａの部分を指定す
ることによって、それが対象であることを画像取り込み
手段１のデータ処理部に指示することもできる。

【００７６】上記のようにして、画像１７からバッグ１
７ａを認識対象として特定し、他の部分を削除すると、
図１５に示すように、図１４のバッグ１７ａの一部が欠
けた対象物体１８ａを含んだ画像１８になる。そして、
このような画像１８を上記正規化手段２で正規化する。
次に、画像解析手段３が、上記正規化画像の画像解析を
行う。なお、ここでは、図１５に示す画像１８を正規化
画像として、画像解析を説明する。この画像解析手段３
は、学習プロセスと同様に、上記画像１８を複数のウイ
ンドウＷ１〜Ｗｎに分割する。そして、各ウインドウＷ
１〜Ｗｎにおいて、マスクパターンｍ１〜ｍ２５による
分析を行い、図１の特徴ベクトル生成手段４で、部分特
徴ベクトルｄ１〜ｄｎを生成する。さらに、判別ベクト
ル生成手段５によって、ウインドウＷ１〜Ｗｎごとの、
部分判別ベクトルｅ１〜ｅｎを生成する。

【００７７】上記認識手段７は、上記部分判別ベクトル
ｅ１〜ｅｎと、記憶手段７の部分判別ベクトルｃ１〜ｃ
ｎとを対比して、同じベクトルあるいは近いベクトルが
あれば、認識対象が「バッグ」であると認識する。例え
ば、図１５では、ウインドウＷ２〜Ｗ４は、画像が欠け
た部分である。そのため、上記ウインドウＷ２〜Ｗ４に
おける部分判別ベクトルｅ２〜ｅ４からは、バッグの特
徴を見いだすことはできない。

【００７８】しかし、他のウインドウＷに対応する部分
判別ベクトルには、バッグの部分判別ベクトルｃ１〜ｃ
ｎのいずれかに近いベクトルが含まれているはずであ
る。したがって、いくつかの部分判別ベクトルの対比に
よって、認識対象が「バッグ」であることを認識するこ
とができる。すなわち、この第３実施例のように、解析
対象画像を、複数のウインドウに分割して、部分判別ベ
クトルを生成するようにすれば、物体の全体を画像とし
て取り込めないような状況下でも、見える部分から、そ
の物体を認識することができる。また、全体が見える場
合であっても、部分ベクトルと、全体ベクトルの双方が
マッチングすれば、より高い確信度で認識できることに
なる。

【００７９】上記のように、この第３実施例の画像取り
込み手段１は、距離データに基づいて、図１４のように
同一画像１７内に複数の物体が存在した場合には、それ
ぞれを区別することができる。例えば、テープカッター
１７ｂを対象物体と特定する場合には、テープカッター
１７ｂと距離の異なるバッグ１７ａや本１７ｃを背景と
ともに削除することができるし、本１７ｃを対象物体と
する場合も同様である。そのため、上記バッグ１７ａだ
けでなく、テープカッター１７ｂや、本１７ｃをそれぞ
れ、別の認識対象物体として特定することができる。も
しも、上記テープカッター１７ｂと本１７ｃが、同じ距
離にあった場合には、バッグ１７ａが削除されて、上記
テープカッター１７ｂと本１７ｃの両方が残ってしま
う。その場合にも、個々の物体について、その部分に対
応するウインドウ内の部分特徴ベクトルや判別ベクトル
から、個々の物体を認識することができる。

【００８０】図１６に、第４実施例を示す。この第４実
施例は、同一の学習対象を繰り返し読み込んで、複数の
判別ベクトルを生成し、これらを基に物体の認識を行う
例である。なお、この第４実施例においても、システム
の全体構造は、上記第１実施例と同様なので、以下の説
明にも図１を用いる。

【００８１】上記第１〜第３実施例でも説明したよう
に、図１の認識手段７は、認識対象画像から生成した判
別ベクトルと、学習プロセスで生成した判別ベクトルと
を対比する際に、両ベクトルの近さを、各ベクトルの終
点の距離を算出している。そして、その距離が最も近く
て、しかも、ある設定値以内の時に、学習済みの概念と
して認識するようにしている。ただし、実際には、同じ
物体でも、画像取り込み時の角度や、明るさによって、
全く同じ判別ベクトルが生成されない場合がある。その
ため、この第４実施例では、学習時にも、同一の物体に
対して、複数回、画像の取り込みを行い、複数の判別ベ
クトルを生成するようにしている。

【００８２】第４実施例の学習プロセスでは、図８、図
９で説明したような第１実施例の学習プロセスを、同一
の物体について繰り返し、同一の概念に対する複数の判
別ベクトルを生成する。例えば、第１の物体Ｐについて
の複数の判別ベクトルＰ１、Ｐ２、…、Ｐｎと、第１の
物体とは異なる第２の物体Ｑについての判別ベクトルＱ
１、Ｑ２、…、Ｑｎとが生成される。図１５には、上記
判別ベクトルＰ１、Ｐ２、…、Ｐｎの終点を複数の□印
で示し、上記判別ベクトルＱ１、Ｑ２、…、Ｑｎの終点
を複数の○印で示している。Ｒ１は認識対象である物体
Ｒの判別ベクトルである。

【００８３】さらに、図中、点ｐｏは、上記物体Ｐにつ
いての判別ベクトルＰ１、Ｐ２、…、Ｐｎの代表ベクト
ルＰｏの終点であり、この点ｐｏを中心とする破線で表
した円Ｐｃの半径が、設定距離である。同様に、点ｑｏ
は、上記物体Ｑについての判別ベクトルＱ１、Ｑ２、
…、Ｑｎの代表ベクトルＱｏの終点であり、この点Ｑｏ
を中心とする破線の円Ｑｃの半径が、設定距離である。
そして、この第４実施例の認識プロセスでは、図１の判
別ベクトル生成手段５が生成した認識対象物体の判別ベ
クトルを、判別空間中の代表ベクトルと対比し、最も近
い代表ベクトルであって、距離が設定距離以内の場合
に、その代表ベクトルに対応づけられた概念を上記認識
対象物体の概念とするようにしている。

【００８４】例えば、物体Ｒを認識する認識プロセスに
おいて、生成した判別ベクトルＲ１に最も近い代表ベク
トルが上記代表ベクトルＰｏであって、さらに、上記判
別ベクトルＲ１が、上記円Ｐｃ内にあるときには、上記
認識手段７は物体ＲをＰと認識するようにしている。こ
の第４実施例のように、同一の物体についても、繰り返
し読み込んで、複数の判別ベクトルを生成しておくよう
にすれば、学習対象物体の特徴をより的確に捉えること
ができる。その結果、物体の判別や認識が、画像取り込
みの際の様々な条件による影響を受けにくくすることが
できる。

【００８５】また、上記物体Ｐと物体Ｑの特徴が非常に
似ていたり、どちらも特徴が曖昧な場合には、両者の判
別ベクトルＰ１、Ｐ２、…Ｐｎと、判別ベクトルＱ１、
Ｑ２、…、Ｑｎとが、混在してしまうことがある。この
ような場合には、次のような方法で、物体の認識を行う
ことができる。

【００８６】まず、認識対象物体Ｒの判別ベクトルＲ１
から個々の判別ベクトルＰ１、Ｐ２、…、Ｐｎ、Ｑ１、
Ｑ２、…、Ｑｎまでの距離を算出する。そして、全ての
距離の中で、最も近い距離から、予め設定した数、例え
ばｋ個の判別ベクトルを特定する。そして、このｋ個の
判別ベクトル中に、物体Ｐの判別ベクトルと、物体Ｑの
判別ベクトルのどちらが多く含まれているかということ
によって、物体Ｒの概念を特定する。上記ｋ個の判別ベ
クトルの中に、物体Ｐの判別ベクトルの方が多く含まれ
ていた場合には、「上記物体ＲはＰである」と判断し、
上記ｋ個の中に、物体Ｑの判別ベクトルの方が多く含ま
れていた場合には、「物体ＲはＱである」と判断する。

【００８７】また、上記のようにして特定したｋ個の判
別ベクトルについて、それぞれの距離によって重み付け
をして、物体ＰであるかＱであるかを判定するようにし
ても良い。例えば、上記ｋ個の中に、物体Ｐについての
判別ベクトルと、物体Ｑについての判別ベクトルとの両
方が、同数個ずつ含まれていたとしても、上記判別ベク
トルＲ１により近い判別ベクトルが、物体Ｑの判別ベク
トルの方が多い場合には、物体ＲはＱであると判断する
ことになる。なお、このような判定基準は、上記の方法
に限らず、様々な方法が考えられる。また上記のＰ１…
ＰｎやＱ１…Ｑｎには各々部分特徴ベクトルが設定でき
るが、その場合も、データ量が増えるのみで同様の処理
を行う。

【００８８】

【発明の効果】第１〜第３の発明によれば、画像取り込
み時に、どのような距離にあるかとかということに関係
なく、認識対象物体を従来技術に比べ、より正確に認識
することができる。第２の発明は、画像の特徴を特徴ベ
クトルにすることによって、より抽象化することができ
る。これにより、物体の表現に関する頑健性を増すこと
ができる。第３の発明によれば、より判別に適した空間
を構成するので、認識率を向上させることができる。

【００８９】第４の〜第６の発明によれば、認識プロセ
スに置いて、取り込んだ画像の中から、距離データに基
づいて認識対象を特定することができる。例えば、対象
物体と背景とを区別して、背景を削除して、認識対象だ
けを残すこともできる。また、同一画像内の複数の物体
を距離情報を手がかりに順次切り出して、それぞれの物
体の認識を行うこともできる。

【００９０】第５の発明によれば、学習プロセスにおい
ても、取り込んだ画像の中から、学習対象を自動的に特
定することができる。第６の発明によれば、画像取り込
み時に、認識対象物体がどのような距離にあったかとい
うことに関係なく、良好に認識することができる。第７
の発明によれば、上記第４〜第６の発明の効果に加え
て、画像の特徴を特徴ベクトルにすることによって、よ
り抽象化することができる。これにより、物体の表現の
頑健性が向上し、認識率の改善が図れる。

【００９１】第８の発明によれば、画像取り込み時の、
カメラに対する認識対象物体の間の向きの違いに対する
頑健性／適応性が増し、より良好に認識することができ
るようになる。第９の発明によれば、部分ベクトルによ
る判別ができるので、認識対象が、部分的に隠れている
ような場合でも、その物体を認識することができる。ま
た、１つの画像内に、複数の認識対象が存在する場合に
も、別々の部分特徴ベクトルから、物体を個別に認識す
ることができる。

【図面の簡単な説明】

【図１】第１実施例の構成を示す図である。

【図２】基準距離による正規化を説明する図である。

【図３】角度による正規化を説明する図であって、
（ａ）はｘ軸周りの回転、（ｂ）はｙ軸周りの回転を行
う場合の図である。

【図４】第１実施例の画像解析を行う画面の図である。

【図５】第１実施例のマスクパターンを示した図であ
る。

【図６】第１実施例の特徴ベクトルの要素量を示したグ
ラフである。

【図７】判別ベクトルの原理を説明するための図であ
る。

【図８】第１実施例の初回の学習手順を示すフローチャ
ートである。

【図９】第１実施例の追加学習の手順を示すフローチャ
ートである。

【図１０】第１実施例の認識手順を示すフローチャート
である。

【図１１】距離画像の例である。

【図１２】第２実施例の画像解析を行う画面の図であ
る。

【図１３】第３実施例の学習プロセスにおける画面の図
である。

【図１４】第３実施例の認識プロセスにおいて、画像取
り込み手段によって取り込んだ画像の図である。

【図１５】第３実施例の認識プロセスにおける画面の図
である。

【図１６】第４実施例の判別ベクトルを示した図であ
る。

【符号の説明】

１画像取り込み手段２正規化手段３画像解析手段４特徴ベクトル生成手段５判別ベクトル生成手段６記憶手段７認識手段Ｓ１，Ｓ２基準距離Ｌ判別軸

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 AA02 AA05 BA02 CA13 CA16 CD03 DA11 DB03 DC08 DC34 DC36 DC40 5L096 AA09 BA05 CA05 EA03 EA16 EA23 FA02 FA25 FA34 FA59 FA66 GA12 GA19 HA09 JA11 KA04

Claims

【特許請求の範囲】

【請求項１】画像取り込み手段と、画像を１つまたは
複数の基準距離に合わせた正規化画像を生成する正規化
手段と、記憶手段と、認識手段とを備え、学習プロセス
では、上記画像取り込み手段によって学習対象をその距
離データとともに取り込み、上記正規化手段によって取
り込んだ学習対象の正規化画像を生成し、この正規化画
像に名称、意味などの概念を対応づけて上記記憶部に記
憶させ、認識プロセスでは、画像取り込み手段によって
認識対象をその距離データとともに取り込み、上記正規
化手段によって取り込んだ認識対象の正規化画像を生成
し、上記認識手段が上記認識対象の正規化画像と、上記
記憶部に記憶された学習対象の正規化画像とを対比させ
ることにより、上記認識対象の概念を認識する視覚認識
システム。
【請求項２】画像の特徴を局所的に基底関数展開する
画像解析手段と、局所的な基底関数の係数を基底関数ご
とに足し合わせて特徴ベクトルを生成する特徴ベクトル
生成手段を備え、学習プロセスでは、上記特徴ベクトル
生成手段によって学習対象の正規化画像から特徴ベクト
ルを生成し、この特徴ベクトルに学習対象の概念を対応
づけて記憶手段に記憶させ、認識プロセスでは、上記特
徴ベクトル生成手段によって認識対象の正規化画像から
特徴ベクトルを生成し、認識手段が上記認識対象の特徴
ベクトルと上記記憶手段に記憶された特徴ベクトルとを
対比させることにより、上記認識対象の概念を認識する
請求項１に記載の視覚認識システム。
【請求項３】複数の特徴ベクトルの特徴をより判別し
易い判別空間に投影して判別ベクトルとする判別ベクト
ル生成手段を備え、学習プロセスでは、上記判別ベクト
ル生成手段が、学習対象の特徴ベクトルから学習対象の
判別ベクトルを生成し、記憶手段が、学習対象の判別ベ
クトルと学習対象の概念とを対応づけて記憶し、認識プ
ロセスでは、上記判別ベクトル生成手段が、認識対象の
特徴ベクトルから、判別ベクトルを生成し、認識手段
が、上記認識対象の判別ベクトルと記憶手段に記憶され
た判別ベクトルとを対比することにより、上記認識対象
の概念を認識する請求項２に記載の視覚認識システム。
【請求項４】画像取り込み手段と、記憶手段と、認識
手段とを備え、学習プロセスでは、上記画像取り込み手
段によって学習対象をその距離データとともに取り込
み、上記学習対象物体の画像に学習対象の概念を対応づ
けて上記記憶部に記憶させ、認識プロセスでは、上記画
像取り込み手段が、対象をその距離データとともに取り
込み、取り込んだ画像の中から上記距離データに基づい
て認識対象を特定し、上記認識手段が、上記特定した認
識対象の画像と上記記憶手段に記憶された画像とを対比
することにより、上記認識対象の概念を認識する視覚認
識システム。
【請求項５】学習プロセスでは、画像取り込み手段
が、対象をその距離データとともに取り込み、取り込ん
だ画像の中から距離データに基づいて学習対象を特定
し、この特定した学習対象の画像に概念を対応させて記
憶部に記憶させることを特徴とする請求項４に記載の視
覚認識システム。
【請求項６】正規化手段を備え、学習プロセスでは、
上記正規化手段によって学習対象の画像を１つまたは複
数の基準距離で正規化した正規化画像を生成し、この正
規化画像に概念を対応づけて記憶手段に記憶し、認識プ
ロセスでは、上記正規化手段によって認識対象の画像を
１つまたは複数の基準距離で正規化した正規化画像を生
成し、認識手段は、上記認識対象の正規化画像と上記記
憶手段に記憶された正規化画像とを対比することによ
り、上記認識対象の概念を認識することを特徴とする請
求項４または５に記載の視覚認識システム。
【請求項７】画像の特徴を局所的に基底関数展開する
画像解析手段と、局所的な基底関数の係数を基底関数ご
とに足し合わせて特徴ベクトルを生成する特徴ベクトル
生成手段を備え、学習プロセスでは、上記特徴ベクトル
生成手段によって学習対象の画像から特徴ベクトルを生
成し、この特徴ベクトルに学習対象の概念を対応づけて
記憶手段に記憶させ、認識プロセスでは、上記特徴ベク
トル生成手段によって認識対象の画像から特徴ベクトル
を生成し、認識手段が上記認識対象の特徴ベクトルと上
記記憶手段に記憶された特徴ベクトルとを対比させるこ
とにより、上記認識対象の概念を認識する請求項４〜６
のいずれか１に記載の視覚認識システム。
【請求項８】正規化手段は、認識対象の画像の向きを
画像処理により基準角度に合わせる機能を有する請求項
１〜３、６、７のいずれか１に記載の視覚認識システ
ム。
【請求項９】画像解析手段が、画像を複数の部分に分
けて分析し、特徴ベクトル生成手段が、複数の部分特徴
ベクトルを作成することを特徴とする請求項２〜４、
７，８のいずれか１に記載の視覚認識システム。