JPH09229646A - 物体認識方法 - Google Patents
物体認識方法Info
- Publication number
- JPH09229646A JPH09229646A JP8038573A JP3857396A JPH09229646A JP H09229646 A JPH09229646 A JP H09229646A JP 8038573 A JP8038573 A JP 8038573A JP 3857396 A JP3857396 A JP 3857396A JP H09229646 A JPH09229646 A JP H09229646A
- Authority
- JP
- Japan
- Prior art keywords
- point
- recognition target
- edge
- recognition
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】画像内の認識対象の中点を求めるに際して認識
対象と背景とのエッジを再現性よく検出し代表点の位置
を精度よく求める 【解決手段】TVカメラ1は、着目する境界線の形状が
点対称または少なくとも二組の向かい合う辺が平行であ
る多角形となる物体を撮像し、フレームメモリ3に濃淡
画像を格納する。微分処理部4は濃淡画像の各画素に関
する微分値の変化点を認識対象のエッジとして検出し、
エッジ上の各点に関してエッジの方向を規定することが
できるエッジ方向を求める。点対抽出部5はエッジ上で
エッジ方向が等しくなる2点を点対とし、中点検出部7
は点対の中点を求め、中心座標検出部8は点対の中点の
座標値に関するヒストグラムを作成するとともに、ヒス
トグラムにおいて最大度数が得られる座標値を認識対象
の代表点の座標として採用する。
対象と背景とのエッジを再現性よく検出し代表点の位置
を精度よく求める 【解決手段】TVカメラ1は、着目する境界線の形状が
点対称または少なくとも二組の向かい合う辺が平行であ
る多角形となる物体を撮像し、フレームメモリ3に濃淡
画像を格納する。微分処理部4は濃淡画像の各画素に関
する微分値の変化点を認識対象のエッジとして検出し、
エッジ上の各点に関してエッジの方向を規定することが
できるエッジ方向を求める。点対抽出部5はエッジ上で
エッジ方向が等しくなる2点を点対とし、中点検出部7
は点対の中点を求め、中心座標検出部8は点対の中点の
座標値に関するヒストグラムを作成するとともに、ヒス
トグラムにおいて最大度数が得られる座標値を認識対象
の代表点の座標として採用する。
Description
【0001】
【発明の属する技術分野】本発明は、物体を撮像した画
像に基づいて物体の位置や形状を測定する物体認識方法
に関するものである。
像に基づいて物体の位置や形状を測定する物体認識方法
に関するものである。
【0002】
【従来の技術】従来より、物体を撮像した画像に基づい
て物体の位置や形状を測定する物体認識の技術が種々知
られている。この種の物体認識の技術において、画像内
で円、楕円、十字形、偶数個の辺を持つとともに向かい
合う辺同士が等しい長さを有するような多角形(長方
形、正方形、正六角形など)となるような認識対象(プ
リント基板の位置決め用マークが例示されている)の中
心位置を求める方法が、特開平5−107030号公報
に提案されている。
て物体の位置や形状を測定する物体認識の技術が種々知
られている。この種の物体認識の技術において、画像内
で円、楕円、十字形、偶数個の辺を持つとともに向かい
合う辺同士が等しい長さを有するような多角形(長方
形、正方形、正六角形など)となるような認識対象(プ
リント基板の位置決め用マークが例示されている)の中
心位置を求める方法が、特開平5−107030号公報
に提案されている。
【0003】上記公報に記載された技術では、認識対象
を撮像して得られた濃淡画像を2値化することにより認
識対象と背景とを分離している。その後、図25に示す
ように、水平方向と垂直方向とにそれぞれ走査すること
によって、水平走査線Lhおよび垂直走査線Lvと認識
対象Obの境界との交点をそれぞれ求めている。交点は
各水平走査線Lhおよび各垂直走査線Lvについてそれ
ぞれ2個ずつ求められるから、各水平走査線Lhおよび
各垂直走査線Lvの上の2点間の中点Rをそれぞれ求め
る。このようにして求めた中点Rのヒストグラムを水平
方向と垂直方向とについてそれぞれ求めると、度数が極
大になる点(モード)をそれぞれ水平方向と垂直方向と
の中点の位置とみなすことができるのである。つまり、
認識対象Obのエッジ(境界線)に欠けなどの多少の変
形が存在していても大部分のエッジが正常な形状であれ
ば、上述のようにして認識対象Obの中心位置を求める
ことができる。
を撮像して得られた濃淡画像を2値化することにより認
識対象と背景とを分離している。その後、図25に示す
ように、水平方向と垂直方向とにそれぞれ走査すること
によって、水平走査線Lhおよび垂直走査線Lvと認識
対象Obの境界との交点をそれぞれ求めている。交点は
各水平走査線Lhおよび各垂直走査線Lvについてそれ
ぞれ2個ずつ求められるから、各水平走査線Lhおよび
各垂直走査線Lvの上の2点間の中点Rをそれぞれ求め
る。このようにして求めた中点Rのヒストグラムを水平
方向と垂直方向とについてそれぞれ求めると、度数が極
大になる点(モード)をそれぞれ水平方向と垂直方向と
の中点の位置とみなすことができるのである。つまり、
認識対象Obのエッジ(境界線)に欠けなどの多少の変
形が存在していても大部分のエッジが正常な形状であれ
ば、上述のようにして認識対象Obの中心位置を求める
ことができる。
【0004】
【発明が解決しようとする課題】しかしながら、上述の
方法では、認識対象Obと背景とを分離する際に、画素
の濃度値を適宜のしきい値で2値化しているものである
から、認識対象Obと背景との間で明るさが緩やかに変
化するような場合(たとえば図26に濃度値の変化を例
示するような場合)には、設定するしきい値Ta,Tb
に応じて認識対象Obのエッジの位置が変化することに
なる。図示例では、しきい値を大きい値に設定すると図
27(a)のように2値化後の2値画像では認識対象O
bが小さくなり、しきい値を小さい値に設定すると図2
7(b)に示すように2値化後の2値画像では認識対象
Obが大きくなるのである(適正なエッジの位置を破線
で示す)。したがって、濃度値をしきい値で2値化する
方法では認識対象Obによっては、しきい値の設定の仕
方によってエッジの位置が変化することになり、上述の
方法により求めた中心位置と実際の中心位置とのずれが
大きくなることがある。
方法では、認識対象Obと背景とを分離する際に、画素
の濃度値を適宜のしきい値で2値化しているものである
から、認識対象Obと背景との間で明るさが緩やかに変
化するような場合(たとえば図26に濃度値の変化を例
示するような場合)には、設定するしきい値Ta,Tb
に応じて認識対象Obのエッジの位置が変化することに
なる。図示例では、しきい値を大きい値に設定すると図
27(a)のように2値化後の2値画像では認識対象O
bが小さくなり、しきい値を小さい値に設定すると図2
7(b)に示すように2値化後の2値画像では認識対象
Obが大きくなるのである(適正なエッジの位置を破線
で示す)。したがって、濃度値をしきい値で2値化する
方法では認識対象Obによっては、しきい値の設定の仕
方によってエッジの位置が変化することになり、上述の
方法により求めた中心位置と実際の中心位置とのずれが
大きくなることがある。
【0005】また、図28(a)のように、認識対象O
bの中心線が画像の水平方向と垂直方向とのいずれにも
一致しない場合には、図28(b)のように中点のヒス
トグラムに度数が極大になる点が生じないから認識対象
Obの中心位置を検出することができないことになる。
さらに、上記公報に記載の方法では、水平走査線Lhお
よび垂直走査線Lvのそれぞれにおける認識対象Obの
エッジとの交点のうちの両端の点の中点を用いるから、
図29(a)に示すように、1本の走査線(水平走査線
Lhまたは垂直走査線Lv)が複数個の認識対象O
b1 ,Ob2 を通るとすると、走査線の両端に位置する
認識対象Ob1 ,Ob2 からそれぞれ交点を求めること
になる。つまり、上記公報に記載の方法では、複数個の
認識対象Ob1 ,Ob2 が存在するときに図29(b)
のように認識対象Ob1 ,Ob2 の中間位置で度数が最
大になり、個々の認識対象Ob1 ,Ob2 の中心位置を
求めることができないことになる。また、上記公報に記
載の方法では認識対象Obの中心位置を求めることはで
きても認識対象Obの形状を認識することはできない。
bの中心線が画像の水平方向と垂直方向とのいずれにも
一致しない場合には、図28(b)のように中点のヒス
トグラムに度数が極大になる点が生じないから認識対象
Obの中心位置を検出することができないことになる。
さらに、上記公報に記載の方法では、水平走査線Lhお
よび垂直走査線Lvのそれぞれにおける認識対象Obの
エッジとの交点のうちの両端の点の中点を用いるから、
図29(a)に示すように、1本の走査線(水平走査線
Lhまたは垂直走査線Lv)が複数個の認識対象O
b1 ,Ob2 を通るとすると、走査線の両端に位置する
認識対象Ob1 ,Ob2 からそれぞれ交点を求めること
になる。つまり、上記公報に記載の方法では、複数個の
認識対象Ob1 ,Ob2 が存在するときに図29(b)
のように認識対象Ob1 ,Ob2 の中間位置で度数が最
大になり、個々の認識対象Ob1 ,Ob2 の中心位置を
求めることができないことになる。また、上記公報に記
載の方法では認識対象Obの中心位置を求めることはで
きても認識対象Obの形状を認識することはできない。
【0006】本発明は、上記事由に鑑みて為されたもの
であり、その目的は、画像内の認識対象の中点を求める
に際して認識対象と背景とのエッジを再現性よく検出
し、しかも認識対象の向きや個数にかかわりなく個々の
認識対象の代表点の位置を精度よく求めることができる
ようにし、さらには、認識対象の形状も認識可能な物体
認識方法を提供することにある。
であり、その目的は、画像内の認識対象の中点を求める
に際して認識対象と背景とのエッジを再現性よく検出
し、しかも認識対象の向きや個数にかかわりなく個々の
認識対象の代表点の位置を精度よく求めることができる
ようにし、さらには、認識対象の形状も認識可能な物体
認識方法を提供することにある。
【0007】
【課題を解決するための手段】請求項1の発明は、着目
する境界線の形状が点対称または少なくとも二組の向か
い合う辺が平行である多角形となる物体を撮像して得た
濃淡画像の各画素に関する微分値の変化点を認識対象の
エッジとして検出し、エッジ上の各点に関してエッジの
方向を規定することができるエッジ方向を求め、エッジ
上でエッジ方向が等しくなる2点を点対として点対間の
中点の座標値に関するヒストグラムを作成し、ヒストグ
ラムにおいて最大度数が得られる座標値を認識対象の代
表点の座標として採用することを特徴とする。
する境界線の形状が点対称または少なくとも二組の向か
い合う辺が平行である多角形となる物体を撮像して得た
濃淡画像の各画素に関する微分値の変化点を認識対象の
エッジとして検出し、エッジ上の各点に関してエッジの
方向を規定することができるエッジ方向を求め、エッジ
上でエッジ方向が等しくなる2点を点対として点対間の
中点の座標値に関するヒストグラムを作成し、ヒストグ
ラムにおいて最大度数が得られる座標値を認識対象の代
表点の座標として採用することを特徴とする。
【0008】この方法では、物体を含む濃淡画像を濃度
のしきい値により2値化するのではなく、濃淡画像を微
分し微分値の変化点を認識対象のエッジとして検出する
から、濃度の変化が比較的緩やかに変化する箇所を含む
場合でも再現性よくエッジを抽出することができる。ま
た、エッジ上でエッジ方向が等しい点対間の中点の座標
値に関するヒストグラムを作成して最大度数が得られる
座標値を認識対象の代表点の座標として採用するから、
多数個の点に基づいて認識対象の代表点を統計的に求め
ることになり、認識対象の代表点の位置を精度よく求め
ることが可能になる。ここに、エッジ方向はエッジの向
きを規定することができる方向であるから、通常は接線
方向または法線方向を意味する。
のしきい値により2値化するのではなく、濃淡画像を微
分し微分値の変化点を認識対象のエッジとして検出する
から、濃度の変化が比較的緩やかに変化する箇所を含む
場合でも再現性よくエッジを抽出することができる。ま
た、エッジ上でエッジ方向が等しい点対間の中点の座標
値に関するヒストグラムを作成して最大度数が得られる
座標値を認識対象の代表点の座標として採用するから、
多数個の点に基づいて認識対象の代表点を統計的に求め
ることになり、認識対象の代表点の位置を精度よく求め
ることが可能になる。ここに、エッジ方向はエッジの向
きを規定することができる方向であるから、通常は接線
方向または法線方向を意味する。
【0009】請求項2の発明は、請求項1の発明におい
て、エッジ上でエッジ方向が等しくなる点対について、
点対間の中点が認識対象の代表点付近に位置する点対の
みを選択して中点を求めるように制限条件を設定したこ
とを特徴とする。この方法では、制限条件を設けること
によって多数の点対のうち認識対象の代表点を求めるの
に不要な点対を除去することができるから、比較的少な
い処理量で認識対象の代表点を精度よく求めることがで
きる。
て、エッジ上でエッジ方向が等しくなる点対について、
点対間の中点が認識対象の代表点付近に位置する点対の
みを選択して中点を求めるように制限条件を設定したこ
とを特徴とする。この方法では、制限条件を設けること
によって多数の点対のうち認識対象の代表点を求めるの
に不要な点対を除去することができるから、比較的少な
い処理量で認識対象の代表点を精度よく求めることがで
きる。
【0010】請求項3の発明は、請求項1または請求項
2の発明において、ヒストグラムにおいて最大度数が得
られた座標値を中点の座標とする点対により形成される
点列が並ぶエッジの特徴量に基づいて認識対象の図形的
特徴を抽出することを特徴とする。この方法は、認識対
象の代表点を決めるのに用いた点対のみからなる点列を
エッジ上の点として用いるから、認識対象の形状をよく
反映していると考えられる点列を抽出することになり、
このような点列を用いることによって認識対象の図形的
特徴を正確に認識することが可能になる。
2の発明において、ヒストグラムにおいて最大度数が得
られた座標値を中点の座標とする点対により形成される
点列が並ぶエッジの特徴量に基づいて認識対象の図形的
特徴を抽出することを特徴とする。この方法は、認識対
象の代表点を決めるのに用いた点対のみからなる点列を
エッジ上の点として用いるから、認識対象の形状をよく
反映していると考えられる点列を抽出することになり、
このような点列を用いることによって認識対象の図形的
特徴を正確に認識することが可能になる。
【0011】請求項4の発明は、請求項2の発明におい
て、上記点対のうち濃度勾配の差が所定範囲内である点
対のみを選択して中点を求めるように上記制限条件を設
定したことを特徴とする。請求項5の発明は、請求項2
の発明において、上記点対の一方の点に関する濃度勾配
の方向を中心線に持ち、中心線から所定の角度範囲内に
他方の点が存在する点対のみを選択して中点を求めるよ
うに上記制限条件を設定したことを特徴とする。
て、上記点対のうち濃度勾配の差が所定範囲内である点
対のみを選択して中点を求めるように上記制限条件を設
定したことを特徴とする。請求項5の発明は、請求項2
の発明において、上記点対の一方の点に関する濃度勾配
の方向を中心線に持ち、中心線から所定の角度範囲内に
他方の点が存在する点対のみを選択して中点を求めるよ
うに上記制限条件を設定したことを特徴とする。
【0012】請求項6の発明は、請求項2の発明におい
て、上記点対間の距離が所定範囲内である点対のみを選
択して中点を求めるように上記制限条件を設定したこと
を特徴とする。請求項4ないし請求項6の発明は、制限
条件の具体的な実施態様であって、点対の濃度勾配の
差、点対の位置関係などに基づいて認識対象の代表点の
位置を求める際に明らかに不要と考えられる点対を除外
して認識対象の代表点の位置を求めるから、処理が簡単
になるとともに求めた代表点の位置の精度が高くなる。
て、上記点対間の距離が所定範囲内である点対のみを選
択して中点を求めるように上記制限条件を設定したこと
を特徴とする。請求項4ないし請求項6の発明は、制限
条件の具体的な実施態様であって、点対の濃度勾配の
差、点対の位置関係などに基づいて認識対象の代表点の
位置を求める際に明らかに不要と考えられる点対を除外
して認識対象の代表点の位置を求めるから、処理が簡単
になるとともに求めた代表点の位置の精度が高くなる。
【0013】請求項7の発明は、請求項1ないし請求項
6の発明において、濃淡画像はカラー画像であって、特
定の色範囲の領域に存在する認識対象について中点を求
めることを特徴とする。このように色範囲を制限するこ
とにより、たとえば複数個の異なる色の物体について個
別に代表点の位置を求める必要がある場合に、各物体を
色により個別に識別することが可能になる。
6の発明において、濃淡画像はカラー画像であって、特
定の色範囲の領域に存在する認識対象について中点を求
めることを特徴とする。このように色範囲を制限するこ
とにより、たとえば複数個の異なる色の物体について個
別に代表点の位置を求める必要がある場合に、各物体を
色により個別に識別することが可能になる。
【0014】請求項8の発明は、請求項1ないし請求項
6の発明において、上記エッジの一部を削除した残りの
エッジについて上記ヒストグラムを作成することを特徴
とする。この方法ではエッジの一部を削除した残りのエ
ッジについてヒストグラムを作成するから、複数個の物
体が存在するのであれば、不要な物体のエッジをあらか
じめ削除した上でヒストグラムを作成することにより、
無意味な情報が発生しにくくなり、認識対象の代表点の
位置を精度よく求めることが可能になる。
6の発明において、上記エッジの一部を削除した残りの
エッジについて上記ヒストグラムを作成することを特徴
とする。この方法ではエッジの一部を削除した残りのエ
ッジについてヒストグラムを作成するから、複数個の物
体が存在するのであれば、不要な物体のエッジをあらか
じめ削除した上でヒストグラムを作成することにより、
無意味な情報が発生しにくくなり、認識対象の代表点の
位置を精度よく求めることが可能になる。
【0015】請求項9の発明は、請求項3の発明におい
て、上記点列の各点に関する濃度勾配の分布を求め、濃
度勾配の分布パターンを既知の分布パターンと比較する
ことにより認識対象の形状を認識することを特徴とす
る。この方法では、点列の各点に関する濃度勾配の分布
パターンを求めるから、濃度勾配の分布パターンのパタ
ーンマッチングによって認識対象の形状を認識すること
が可能になる。しかも、濃度勾配の分布パターンを求め
る点列は認識対象の中点を求める際に用いた点列である
から、認識対象の形状をよく反映していると考えられ、
このような点列から認識対象の形状を求めることにより
認識対象の形状を正確に把握することができる。
て、上記点列の各点に関する濃度勾配の分布を求め、濃
度勾配の分布パターンを既知の分布パターンと比較する
ことにより認識対象の形状を認識することを特徴とす
る。この方法では、点列の各点に関する濃度勾配の分布
パターンを求めるから、濃度勾配の分布パターンのパタ
ーンマッチングによって認識対象の形状を認識すること
が可能になる。しかも、濃度勾配の分布パターンを求め
る点列は認識対象の中点を求める際に用いた点列である
から、認識対象の形状をよく反映していると考えられ、
このような点列から認識対象の形状を求めることにより
認識対象の形状を正確に把握することができる。
【0016】請求項10の発明は、請求項3の発明にお
いて、上記点列の各点に関する濃度勾配の分布を求め、
濃度勾配の分布パターンに基づいて認識対象の向きを検
出することを特徴とする。この方法では、点列の各点に
関する濃度勾配の分布を求めることにより、濃度勾配の
分布パターンに基づいて認識対象の向きを求めることが
できる。しかも、濃度勾配の分布パターンを求める点列
は認識対象の代表点の座標を求める際に用いた点列であ
るから、認識対象の図形的特性をよく反映していると考
えられ、このような点列から認識対象の向きを求めるこ
とにより認識対象の向きを正確に把握することができ
る。
いて、上記点列の各点に関する濃度勾配の分布を求め、
濃度勾配の分布パターンに基づいて認識対象の向きを検
出することを特徴とする。この方法では、点列の各点に
関する濃度勾配の分布を求めることにより、濃度勾配の
分布パターンに基づいて認識対象の向きを求めることが
できる。しかも、濃度勾配の分布パターンを求める点列
は認識対象の代表点の座標を求める際に用いた点列であ
るから、認識対象の図形的特性をよく反映していると考
えられ、このような点列から認識対象の向きを求めるこ
とにより認識対象の向きを正確に把握することができ
る。
【0017】請求項11の発明は、請求項3の発明にお
いて、上記点列の個数を求め、点列の個数に基づいて認
識対象の大きさを検出することを特徴とする。この方法
では、点列の個数に基づいて認識対象の大きさを求める
ことができる。しかも、個数を求める点列は認識対象の
中点を求める際に用いた点列であるから、認識対象の図
形的特性をよく反映していると考えられ、このような点
列の個数を求めることにより認識対象の大きさを再現性
よく求めることができる。
いて、上記点列の個数を求め、点列の個数に基づいて認
識対象の大きさを検出することを特徴とする。この方法
では、点列の個数に基づいて認識対象の大きさを求める
ことができる。しかも、個数を求める点列は認識対象の
中点を求める際に用いた点列であるから、認識対象の図
形的特性をよく反映していると考えられ、このような点
列の個数を求めることにより認識対象の大きさを再現性
よく求めることができる。
【0018】請求項12の発明は、請求項1の発明にお
いて、上記ヒストグラムにおいて最大度数が得られる座
標値を代表点の座標に持つ認識対象のエッジを削除する
第1過程と、第1過程後に残ったエッジについて上記ヒ
ストグラムを再度作成する第2過程とを繰り返すことに
より、複数個の認識対象の代表点の座標を個別に求める
ことを特徴とする。
いて、上記ヒストグラムにおいて最大度数が得られる座
標値を代表点の座標に持つ認識対象のエッジを削除する
第1過程と、第1過程後に残ったエッジについて上記ヒ
ストグラムを再度作成する第2過程とを繰り返すことに
より、複数個の認識対象の代表点の座標を個別に求める
ことを特徴とする。
【0019】この方法によれば、大きさの異なる複数個
の認識対象が存在する場合に、大きい認識対象から順に
代表点の位置を求めるとともに、代表点の位置を求めた
認識対象のエッジを除外してヒストグラムを作成するか
ら、各認識対象の代表点の位置を個別に求めることが可
能になる。請求項13の発明は、請求項1の発明におい
て、複数個の認識対象を持つ物体について各認識対象の
代表点の座標を求め、求めた代表点の座標の位置関係に
基づいて物体の位置および向きを認識することを特徴と
する。
の認識対象が存在する場合に、大きい認識対象から順に
代表点の位置を求めるとともに、代表点の位置を求めた
認識対象のエッジを除外してヒストグラムを作成するか
ら、各認識対象の代表点の位置を個別に求めることが可
能になる。請求項13の発明は、請求項1の発明におい
て、複数個の認識対象を持つ物体について各認識対象の
代表点の座標を求め、求めた代表点の座標の位置関係に
基づいて物体の位置および向きを認識することを特徴と
する。
【0020】この方法によれば、複数個の認識対象を持
つ物体から各認識対象の代表点の位置関係を求めるか
ら、物体の位置や向きを認識することが可能になる。請
求項14の発明は、請求項1の発明において、物体を複
数の異なる位置から撮像することにより得た複数の濃淡
画像について、それぞれ認識対象の代表点の座標を求
め、求めた認識対象の代表点の座標を対応付けした後、
三角測量法を適用することにより物体までの距離を求め
ることを特徴とする。
つ物体から各認識対象の代表点の位置関係を求めるか
ら、物体の位置や向きを認識することが可能になる。請
求項14の発明は、請求項1の発明において、物体を複
数の異なる位置から撮像することにより得た複数の濃淡
画像について、それぞれ認識対象の代表点の座標を求
め、求めた認識対象の代表点の座標を対応付けした後、
三角測量法を適用することにより物体までの距離を求め
ることを特徴とする。
【0021】この方法によれば、ステレオ画像を用いて
認識対象までの距離を求めるに際して、複数の画像を対
応付けるために請求項1の方法により求めた認識対象の
代表点の位置を用いるから、高い精度で対応付けを行な
うことができる。その結果、認識対象までの距離を精度
よく求めることができるのである。請求項15の発明
は、請求項3の発明において、物体を複数の異なる位置
から撮像することにより得た複数の濃淡画像について、
それぞれ認識対象の代表点の座標を求め、代表点の座標
を求めた点対により形成される点列が並ぶエッジの特徴
量に基づいて認識対象の図形的特徴を抽出し、各画像内
で同一の図形的特徴を有する領域を対応付けした後、三
角測量法を適用することにより物体までの距離を求める
ことを特徴とする。
認識対象までの距離を求めるに際して、複数の画像を対
応付けるために請求項1の方法により求めた認識対象の
代表点の位置を用いるから、高い精度で対応付けを行な
うことができる。その結果、認識対象までの距離を精度
よく求めることができるのである。請求項15の発明
は、請求項3の発明において、物体を複数の異なる位置
から撮像することにより得た複数の濃淡画像について、
それぞれ認識対象の代表点の座標を求め、代表点の座標
を求めた点対により形成される点列が並ぶエッジの特徴
量に基づいて認識対象の図形的特徴を抽出し、各画像内
で同一の図形的特徴を有する領域を対応付けした後、三
角測量法を適用することにより物体までの距離を求める
ことを特徴とする。
【0022】この方法によれば、ステレオ画像を用いて
認識対象までの距離を求めるに際して、複数の画像を対
応付けるために請求項3の方法により求めた認識対象の
図形的特徴を用いるから、高い精度で対応付けを行なう
ことができる。その結果、認識対象までの距離を精度よ
く求めることができる。請求項16の発明は、請求項1
の発明において、複数個の認識対象を持つ物体を複数の
異なる位置から撮像することにより得た複数の濃淡画像
について、各認識対象の代表点の座標をそれぞれの画像
から求め、各画像内で求めた代表点の座標を対応付けし
た後に、三角測量法を適用することにより各認識対象の
代表点の座標の3次元空間での位置を求め、代表点の座
標の位置関係に基づいて3次元空間内での物体の位置お
よび向きを認識することを特徴とする。
認識対象までの距離を求めるに際して、複数の画像を対
応付けるために請求項3の方法により求めた認識対象の
図形的特徴を用いるから、高い精度で対応付けを行なう
ことができる。その結果、認識対象までの距離を精度よ
く求めることができる。請求項16の発明は、請求項1
の発明において、複数個の認識対象を持つ物体を複数の
異なる位置から撮像することにより得た複数の濃淡画像
について、各認識対象の代表点の座標をそれぞれの画像
から求め、各画像内で求めた代表点の座標を対応付けし
た後に、三角測量法を適用することにより各認識対象の
代表点の座標の3次元空間での位置を求め、代表点の座
標の位置関係に基づいて3次元空間内での物体の位置お
よび向きを認識することを特徴とする。
【0023】この方法によれば、ステレオ画像を用いて
3次元情報を得るに際して、物体の複数箇所の位置を求
め、これらの位置関係に基づいて物体の位置や向きを認
識するのであって、複数の画像の対応付けには請求項1
の方法により求めた認識対象の代表点の位置を用いるか
ら、高い精度でかつ再現性よく物体の3次元情報を得る
ことができる。
3次元情報を得るに際して、物体の複数箇所の位置を求
め、これらの位置関係に基づいて物体の位置や向きを認
識するのであって、複数の画像の対応付けには請求項1
の方法により求めた認識対象の代表点の位置を用いるか
ら、高い精度でかつ再現性よく物体の3次元情報を得る
ことができる。
【0024】
(実施形態1)本実施形態の装置の概略構成を図1にブ
ロック図として示す。この装置は基本的にはコンピュー
タ装置を用いて実現されるものである。以下で説明する
認識対象は点対称な形状とし、代表点が中心である場合
について説明するが、必ずしもこれに限定されるもので
はなく、認識対象としては少なくとも二組の向かい合う
辺が平行である多角形も含むものである。この場合、代
表点の位置は中心にはならないが、代表点として規定で
きる位置を求めることができる。また、エッジ方向とし
て以下では基本的に接線方向を用いているが、接線方向
と法線方向とのどちらを用いてもよい場合には、法線方
向をエッジ方向として用いてもよい。
ロック図として示す。この装置は基本的にはコンピュー
タ装置を用いて実現されるものである。以下で説明する
認識対象は点対称な形状とし、代表点が中心である場合
について説明するが、必ずしもこれに限定されるもので
はなく、認識対象としては少なくとも二組の向かい合う
辺が平行である多角形も含むものである。この場合、代
表点の位置は中心にはならないが、代表点として規定で
きる位置を求めることができる。また、エッジ方向とし
て以下では基本的に接線方向を用いているが、接線方向
と法線方向とのどちらを用いてもよい場合には、法線方
向をエッジ方向として用いてもよい。
【0025】TVカメラ1は対象となる物体を含む空間
領域を撮像するものであって、物体を照明する光源(図
示せず)とTVカメラ1とは、TVカメラ1に入射する
物体からの光量と背景からの光量とに十分な差が生じる
ように位置関係を設定してある。また、TVカメラ1に
は入射光量に応じた出力の得られるものが用いられ、T
Vカメラ1の出力はA/D変換器2によりデジタル信号
に変換された後に、フレームメモリ3に格納される。す
なわち、フレームメモリ3には濃淡画像が格納される。
フレームメモリ3に格納された濃淡画像は微分処理部4
において空間微分が施される。
領域を撮像するものであって、物体を照明する光源(図
示せず)とTVカメラ1とは、TVカメラ1に入射する
物体からの光量と背景からの光量とに十分な差が生じる
ように位置関係を設定してある。また、TVカメラ1に
は入射光量に応じた出力の得られるものが用いられ、T
Vカメラ1の出力はA/D変換器2によりデジタル信号
に変換された後に、フレームメモリ3に格納される。す
なわち、フレームメモリ3には濃淡画像が格納される。
フレームメモリ3に格納された濃淡画像は微分処理部4
において空間微分が施される。
【0026】微分処理部4では、上述のようにして認識
対象ObのエッジEを求めるとともに、エッジE上の各
点(画素)に対してそれぞれ濃度勾配がもっとも大きい
方向をその点の法線方向(エッジEにほぼ直交する方向
という意味である)として求める。ここに、認識対象O
bは楕円状であって、微分処理部4で求めたエッジEは
図2のような形状になるものとする。法線方向は図では
矢印nで示してある。微分値の絶対値|G|を求めると
ともに、濃度勾配が最大になる方向(法線方向にほぼ一
致:以下、微分方向値という)|θ|を求める方法には
各種の方法が考えられているが、ここでは、ソーベル法
を用いている。すなわち、ソーベルオペレータとして周
知の演算子を用いて、次式のような演算を行なうのであ
る。いま、着目する画素(点)の座標が(x,y)であ
って(xは水平方向、yは垂直方向の座標値であって、
ここでは右方向が水平方向の正向き、上方向が垂直方向
の正向きであるものとする)、その濃度がIx,y である
とすると、各方向の1次微分値Gx ,Gy は、次式によ
り表される。 Gx =(Ix+1,y-1 +2Ix+1,y +Ix+1,y+1 )−(I
x-1,y-1 +2Ix-1,y +Ix-1,y+1 ) Gy =(Ix-1,y-1 +2Ix,y-1 +Ix+1,y-1 )−(I
x-1,y+1 +2Ix,y+1 +Ix+1,y+1 ) これらの1次微分値Gx ,Gy を用いて、微分値の絶対
値|G|および微分方向値|θ|を次式で表すことがで
きる。 |G|=(Gx 2 +Gy 2 )1/2 |θ|= tan-1(Gy /Gx ) 微分処理部4において、微分値の絶対値|G|が求まる
と、適宜のしきい値によって微分値をスライスするとと
もに、しきい値以上の領域内で絶対値|G|が極大にな
る尾根線をエッジEとして抽出することができる。この
ようにして求めたエッジEは不連続になることがある
が、後述の方法では統計的手法を用いて認識対象Obの
中心の座標を求めるから、エッジEが不連続であっても
とくに問題は生じない。
対象ObのエッジEを求めるとともに、エッジE上の各
点(画素)に対してそれぞれ濃度勾配がもっとも大きい
方向をその点の法線方向(エッジEにほぼ直交する方向
という意味である)として求める。ここに、認識対象O
bは楕円状であって、微分処理部4で求めたエッジEは
図2のような形状になるものとする。法線方向は図では
矢印nで示してある。微分値の絶対値|G|を求めると
ともに、濃度勾配が最大になる方向(法線方向にほぼ一
致:以下、微分方向値という)|θ|を求める方法には
各種の方法が考えられているが、ここでは、ソーベル法
を用いている。すなわち、ソーベルオペレータとして周
知の演算子を用いて、次式のような演算を行なうのであ
る。いま、着目する画素(点)の座標が(x,y)であ
って(xは水平方向、yは垂直方向の座標値であって、
ここでは右方向が水平方向の正向き、上方向が垂直方向
の正向きであるものとする)、その濃度がIx,y である
とすると、各方向の1次微分値Gx ,Gy は、次式によ
り表される。 Gx =(Ix+1,y-1 +2Ix+1,y +Ix+1,y+1 )−(I
x-1,y-1 +2Ix-1,y +Ix-1,y+1 ) Gy =(Ix-1,y-1 +2Ix,y-1 +Ix+1,y-1 )−(I
x-1,y+1 +2Ix,y+1 +Ix+1,y+1 ) これらの1次微分値Gx ,Gy を用いて、微分値の絶対
値|G|および微分方向値|θ|を次式で表すことがで
きる。 |G|=(Gx 2 +Gy 2 )1/2 |θ|= tan-1(Gy /Gx ) 微分処理部4において、微分値の絶対値|G|が求まる
と、適宜のしきい値によって微分値をスライスするとと
もに、しきい値以上の領域内で絶対値|G|が極大にな
る尾根線をエッジEとして抽出することができる。この
ようにして求めたエッジEは不連続になることがある
が、後述の方法では統計的手法を用いて認識対象Obの
中心の座標を求めるから、エッジEが不連続であっても
とくに問題は生じない。
【0027】法線方向nは画像内の水平方向ないし垂直
方向を基準として量子化される。たとえば、水平方向右
向きを基準線として左回りに角度を設定するとともに等
角度間隔で区間を定め、上述のようにして求めた法線方
向nが各区間内に含まれるときに、その区間を代表する
角度を割り当てるのである。あるいはまた、方向コード
として知られているように、量子化した角度に整数値を
割り当てるようにしてもよい。このようにして法線方向
nが決定されると、法線方向nに対して直交する方向を
エッジ方向(エッジEを規定することができる方向とい
う意味である)として定める。ここに、エッジ方向は0
〜180°の範囲で定めるものとする。つまり、法線方
向nが180°異なる場合にはエッジ方向は等しくな
る。エッジ方向は図では直線tで示してある。
方向を基準として量子化される。たとえば、水平方向右
向きを基準線として左回りに角度を設定するとともに等
角度間隔で区間を定め、上述のようにして求めた法線方
向nが各区間内に含まれるときに、その区間を代表する
角度を割り当てるのである。あるいはまた、方向コード
として知られているように、量子化した角度に整数値を
割り当てるようにしてもよい。このようにして法線方向
nが決定されると、法線方向nに対して直交する方向を
エッジ方向(エッジEを規定することができる方向とい
う意味である)として定める。ここに、エッジ方向は0
〜180°の範囲で定めるものとする。つまり、法線方
向nが180°異なる場合にはエッジ方向は等しくな
る。エッジ方向は図では直線tで示してある。
【0028】点対抽出部5では、微分処理部4で求めた
エッジ方向tに基づいて、エッジ方向tごとに点を分類
して抽出する。また、エッジ方向tが等しい点を2つず
つ組み合わせて対にする。ところで、認識対象Obが図
2(a)に示すような楕円ないし円のときには、対にな
る点間を結ぶ線分の中点Cは認識対象Obの中心付近を
通ると予想される。つまり、画像上での座標と同じ座標
空間を有するとともに各座標値に度数値が与えられる図
2(b)のような空間を設定し、楕円ないし円の認識対
象Obについて対になる各点間の中点Cの座標を求め、
上記空間におけるその座標値の度数に1を加算するとい
う操作を繰り返してヒストグラムを作成すると、対にな
る点間の中点Cの座標は認識対象Obの中心(xc,y
c)付近でもっとも大きくなる。
エッジ方向tに基づいて、エッジ方向tごとに点を分類
して抽出する。また、エッジ方向tが等しい点を2つず
つ組み合わせて対にする。ところで、認識対象Obが図
2(a)に示すような楕円ないし円のときには、対にな
る点間を結ぶ線分の中点Cは認識対象Obの中心付近を
通ると予想される。つまり、画像上での座標と同じ座標
空間を有するとともに各座標値に度数値が与えられる図
2(b)のような空間を設定し、楕円ないし円の認識対
象Obについて対になる各点間の中点Cの座標を求め、
上記空間におけるその座標値の度数に1を加算するとい
う操作を繰り返してヒストグラムを作成すると、対にな
る点間の中点Cの座標は認識対象Obの中心(xc,y
c)付近でもっとも大きくなる。
【0029】また、認識対象Obが点対称となる多角形
のとき、たとえば図3(a)のような平行四辺形である
ときには、エッジ方向tの等しい点が多数個存在するこ
とになるが、エッジ方向tが等しいすべての点の対の中
点Cを求めたとすると、それらの中点Cの存在確率は認
識対象Obの中心(xc,yc)付近でもっとも高くな
ると予想される。つまり、対になる点間の中点Cの座標
の度数を求めれば、図3(b)に示すように、対になる
点間の中点Cの座標は認識対象Obの中心(xc,y
c)付近でもっとも大きくなるようなヒストグラムが得
られる。
のとき、たとえば図3(a)のような平行四辺形である
ときには、エッジ方向tの等しい点が多数個存在するこ
とになるが、エッジ方向tが等しいすべての点の対の中
点Cを求めたとすると、それらの中点Cの存在確率は認
識対象Obの中心(xc,yc)付近でもっとも高くな
ると予想される。つまり、対になる点間の中点Cの座標
の度数を求めれば、図3(b)に示すように、対になる
点間の中点Cの座標は認識対象Obの中心(xc,y
c)付近でもっとも大きくなるようなヒストグラムが得
られる。
【0030】ここに、上の議論は認識対象Obのエッジ
Eに欠けや脹らみがない場合を想定しているが、エッジ
Eに多少の欠けや脹らみが存在していたとしても上述の
ようにして求めた対になる点の中点Cの存在確率は認識
対象Obの中心付近でもっとも高くなり、認識対象Ob
の中心の位置を求めることができる。ただし、認識対象
Obの中心位置を求めるに際して、対になる点のすべて
の組み合わせについて中点Cを求めることは無駄な組み
合わせが多く発生することになるから処理効率が悪い。
そこで、条件検証部6において以下に示すような特定条
件を満たす点の対を抽出することにより無駄な組み合わ
せの発生を制限する。要するに条件検証部6では、点対
抽出部5で抽出した点の対のうち、それらの点間の中点
が認識対象Obの中心にほぼ一致する確率の高い点の対
のみを選択するのである。
Eに欠けや脹らみがない場合を想定しているが、エッジ
Eに多少の欠けや脹らみが存在していたとしても上述の
ようにして求めた対になる点の中点Cの存在確率は認識
対象Obの中心付近でもっとも高くなり、認識対象Ob
の中心の位置を求めることができる。ただし、認識対象
Obの中心位置を求めるに際して、対になる点のすべて
の組み合わせについて中点Cを求めることは無駄な組み
合わせが多く発生することになるから処理効率が悪い。
そこで、条件検証部6において以下に示すような特定条
件を満たす点の対を抽出することにより無駄な組み合わ
せの発生を制限する。要するに条件検証部6では、点対
抽出部5で抽出した点の対のうち、それらの点間の中点
が認識対象Obの中心にほぼ一致する確率の高い点の対
のみを選択するのである。
【0031】無駄な組み合わせを制限する第1の方法
は、対として抽出した各点の法線方向nの差を用いる方
法である。すなわち、認識対象Obが円、楕円、点対称
な多角形であれば、対になる点の中点が認識対象Obの
中心に一致するときには、両点の法線方向nは180°
異なるから、法線方向nが180°前後異なる点の対の
みを選択すれば認識対象Obの中心を求めることができ
ると考えられる。そこで、点対抽出部5において抽出さ
れた対になる点の法線方向nの差を求め、その差が所定
の範囲内(たとえば、180°±5°)である点の対の
みを採用する。たとえば、図4のように平行四辺形であ
れば、同じ辺上の点の対(図ではP1 ,P 2 )と対向す
る辺上の点の対(図では点P1 ,P3 )とのエッジ方向
tは等しいが、上述した法線方向nに関する制限条件を
用いると、点P1 ,P2 の対は除去され、点P1 ,P3
の対についてのみ中点を求めることになる。つまり、こ
の制限条件を用いるだけで処理量がほぼ半減するのであ
る。
は、対として抽出した各点の法線方向nの差を用いる方
法である。すなわち、認識対象Obが円、楕円、点対称
な多角形であれば、対になる点の中点が認識対象Obの
中心に一致するときには、両点の法線方向nは180°
異なるから、法線方向nが180°前後異なる点の対の
みを選択すれば認識対象Obの中心を求めることができ
ると考えられる。そこで、点対抽出部5において抽出さ
れた対になる点の法線方向nの差を求め、その差が所定
の範囲内(たとえば、180°±5°)である点の対の
みを採用する。たとえば、図4のように平行四辺形であ
れば、同じ辺上の点の対(図ではP1 ,P 2 )と対向す
る辺上の点の対(図では点P1 ,P3 )とのエッジ方向
tは等しいが、上述した法線方向nに関する制限条件を
用いると、点P1 ,P2 の対は除去され、点P1 ,P3
の対についてのみ中点を求めることになる。つまり、こ
の制限条件を用いるだけで処理量がほぼ半減するのであ
る。
【0032】無駄な組み合わせを制限する第2の方法
は、対として抽出した点の一方の法線方向nによって他
方の存在する領域を制限し、他方の点がその領域に存在
する対のみを抽出する方法である。ここに、各点は認識
対象Obのほうが背景よりも高い濃度を有するものとし
ている。すなわち、点対抽出部5において対になる点と
して抽出された一方の点を中心とし、その法線方向を中
心線とする適宜の角度範囲の領域を設定するのである。
いま、図5に示すように、2個の楕円状の認識対象Ob
1 ,Ob2 が画像内で離れて存在するものとすれば、エ
ッジ方向tの等しくなる点は画像内に4個あるから点の
対は6種類になる。たとえば、図5に示す点P4 ,
P5 ,P6 のエッジ方向tが等しいものとすれば、点P
4 ,P5 の対は認識対象Ob1 の中心を決める際に用い
ることができるが、点P4 ,P6 の対や点P5 ,P6 の
対の中点はどちらの認識対象Ob1 ,Ob2 の中心にも
無関係である。そこで、たとえば点P4 に着目し、点P
4 を中心として点P4 に関する法線方向nを中心線とす
る適宜の角度範囲(たとえば、±5°)の領域D1 を設
定すれば、この領域D1 内に含まれるのは点P5 のみで
あるから、エッジ方向tの等しい他の点(P6 など)を
考慮することなく点対の中点を求めることができるので
ある。
は、対として抽出した点の一方の法線方向nによって他
方の存在する領域を制限し、他方の点がその領域に存在
する対のみを抽出する方法である。ここに、各点は認識
対象Obのほうが背景よりも高い濃度を有するものとし
ている。すなわち、点対抽出部5において対になる点と
して抽出された一方の点を中心とし、その法線方向を中
心線とする適宜の角度範囲の領域を設定するのである。
いま、図5に示すように、2個の楕円状の認識対象Ob
1 ,Ob2 が画像内で離れて存在するものとすれば、エ
ッジ方向tの等しくなる点は画像内に4個あるから点の
対は6種類になる。たとえば、図5に示す点P4 ,
P5 ,P6 のエッジ方向tが等しいものとすれば、点P
4 ,P5 の対は認識対象Ob1 の中心を決める際に用い
ることができるが、点P4 ,P6 の対や点P5 ,P6 の
対の中点はどちらの認識対象Ob1 ,Ob2 の中心にも
無関係である。そこで、たとえば点P4 に着目し、点P
4 を中心として点P4 に関する法線方向nを中心線とす
る適宜の角度範囲(たとえば、±5°)の領域D1 を設
定すれば、この領域D1 内に含まれるのは点P5 のみで
あるから、エッジ方向tの等しい他の点(P6 など)を
考慮することなく点対の中点を求めることができるので
ある。
【0033】無駄な組み合わせを制限する第3の方法
は、対として抽出した点間の距離を用いる方法である。
すなわち、図6に示すように、2個の楕円状の認識対象
Ob1,Ob2 が画像内で離れて存在する場合を想定す
ると、接線方向tの等しい点は4個存在することになる
が、対として抽出された各点間の距離範囲を制限すれ
ば、図に示されている点P7 ,P8 ,P9 については、
点P7 ,P8 のみを選択し、点P7 ,P9 の対や点
P8 ,P9 の対は中点を求める対の対象としないように
することが可能である。
は、対として抽出した点間の距離を用いる方法である。
すなわち、図6に示すように、2個の楕円状の認識対象
Ob1,Ob2 が画像内で離れて存在する場合を想定す
ると、接線方向tの等しい点は4個存在することになる
が、対として抽出された各点間の距離範囲を制限すれ
ば、図に示されている点P7 ,P8 ,P9 については、
点P7 ,P8 のみを選択し、点P7 ,P9 の対や点
P8 ,P9 の対は中点を求める対の対象としないように
することが可能である。
【0034】無駄な組み合わせを制限する第4の方法
は、認識対象ObのエッジEのうちの特定の成分を無視
し、エッジEの一部のみを用いて中心位置を求める方法
である。たとえば、図7に示すように、認識対象Obが
楕円状であってかつ両側縁が直線となるような形状であ
る場合に、直線部分Eaから対になる点を抽出すると対
になる点の組み合わせが非常に多くなる。これに対し
て、この認識対象Obでは曲線部分Ebのみを用いて中
心位置を求めることが可能であるから、認識対象Obの
中心を求める上では直線部分Eaを無視しても差し支え
ない。そこで、点の対から曲線部分Ebに存在する点の
対のみを選択するのである。この方法を採用すれば、認
識対象Obの中心位置を求めるにあたり、無駄な点の対
を用いることなく迅速な処理が可能になる。
は、認識対象ObのエッジEのうちの特定の成分を無視
し、エッジEの一部のみを用いて中心位置を求める方法
である。たとえば、図7に示すように、認識対象Obが
楕円状であってかつ両側縁が直線となるような形状であ
る場合に、直線部分Eaから対になる点を抽出すると対
になる点の組み合わせが非常に多くなる。これに対し
て、この認識対象Obでは曲線部分Ebのみを用いて中
心位置を求めることが可能であるから、認識対象Obの
中心を求める上では直線部分Eaを無視しても差し支え
ない。そこで、点の対から曲線部分Ebに存在する点の
対のみを選択するのである。この方法を採用すれば、認
識対象Obの中心位置を求めるにあたり、無駄な点の対
を用いることなく迅速な処理が可能になる。
【0035】上述のように直線部分Eaと局線部分Eb
とを分離するには、次の方法を用いることができる。つ
まり、エッジEの上に適宜に設定した始点からエッジE
を追跡し、着目している点の前後の点の方向の関係を求
める。たとえば、追跡している前後の点の方向が所定角
度(たとえば、10度)以内であるときには、直線部分
Eaとみなし、上記所定角度を越えるときには曲線部分
Ebと判断するのである。
とを分離するには、次の方法を用いることができる。つ
まり、エッジEの上に適宜に設定した始点からエッジE
を追跡し、着目している点の前後の点の方向の関係を求
める。たとえば、追跡している前後の点の方向が所定角
度(たとえば、10度)以内であるときには、直線部分
Eaとみなし、上記所定角度を越えるときには曲線部分
Ebと判断するのである。
【0036】第1ないし第4の方法は単独で用いること
ができるが、これらを適宜に組み合わせて用いるように
すれば、認識対象Obの中心位置を求める際に不要な点
の対をより確実に除去することができる。たとえば、第
2の方法では領域D1 が設定される位置によっては一方
の認識対象Ob1 で設定した領域D1 の中に他方の認識
対象Ob2 において接線方向が同じになる点が含まれる
ことがあるが、第3の方法を併せて採用すれば、このよ
うな点を除去できる可能性がある。
ができるが、これらを適宜に組み合わせて用いるように
すれば、認識対象Obの中心位置を求める際に不要な点
の対をより確実に除去することができる。たとえば、第
2の方法では領域D1 が設定される位置によっては一方
の認識対象Ob1 で設定した領域D1 の中に他方の認識
対象Ob2 において接線方向が同じになる点が含まれる
ことがあるが、第3の方法を併せて採用すれば、このよ
うな点を除去できる可能性がある。
【0037】条件検証部6において選択された点の対に
ついて、中点検出部7では両点の中点の座標を求める。
中点検出部7では、求めた中点の座標値について図2
(b)、図3(b)を用いて説明したようなヒストグラ
ムが作成される。ここにおいて、条件検証部6での制限
条件を適用しているから、図2(b)、図3(b)に示
したヒストグラムに比較すると、認識対象Obの中心付
近の座標の度数に対する他の座標値の度数が大幅に少な
い度数分布が得られることになる。つまり、認識対象O
bの中心座標を求めるに際して不要な情報を大幅に減少
させることができ、中心座標を少ない処理で正確に求め
ることができるようになる。
ついて、中点検出部7では両点の中点の座標を求める。
中点検出部7では、求めた中点の座標値について図2
(b)、図3(b)を用いて説明したようなヒストグラ
ムが作成される。ここにおいて、条件検証部6での制限
条件を適用しているから、図2(b)、図3(b)に示
したヒストグラムに比較すると、認識対象Obの中心付
近の座標の度数に対する他の座標値の度数が大幅に少な
い度数分布が得られることになる。つまり、認識対象O
bの中心座標を求めるに際して不要な情報を大幅に減少
させることができ、中心座標を少ない処理で正確に求め
ることができるようになる。
【0038】上述したようなヒストグラムでは認識対象
Obの中点の座標に対応する座標付近の度数が最大にな
るから、中心座標検出部8ではヒストグラムにおいて度
数が最大となる座標値(xc,yc)を求め、これを認
識対象Obの中心位置の座標として用いる。ここに、度
数計数空間の座標値は量子化されているからたいていの
場合には1つの座標値の度数が最大になるが、最大度数
となる座標値の周囲で同じかほぼ同じになる度数を持つ
座標値が発生することがある。このようなときには、度
数が所定範囲内である座標値の平均の座標値を中心位置
の座標として用いるようにしてもよい。
Obの中点の座標に対応する座標付近の度数が最大にな
るから、中心座標検出部8ではヒストグラムにおいて度
数が最大となる座標値(xc,yc)を求め、これを認
識対象Obの中心位置の座標として用いる。ここに、度
数計数空間の座標値は量子化されているからたいていの
場合には1つの座標値の度数が最大になるが、最大度数
となる座標値の周囲で同じかほぼ同じになる度数を持つ
座標値が発生することがある。このようなときには、度
数が所定範囲内である座標値の平均の座標値を中心位置
の座標として用いるようにしてもよい。
【0039】しかして、図2(a)に示すように認識対
象Obが楕円であるとすれば、楕円の中心Cにほぼ一致
する座標を(xc,yc)として求めることができ、ま
た図3(a)に示すように認識対象Obが平行四辺形で
あるとすれば、対角線の交点Dにほぼ一致する座標を
(xc,yc)として求めることができるのである。以
上の処理をまとめると、図8に示すようになる。すなわ
ち、物体を撮像して濃淡画像をフレームメモリ3に格納
し(S1)、微分処理部4における微分処理によってエ
ッジEを抽出するとともに、エッジEの上の各点の法線
方向n(濃度勾配)を求める(S2)。次に、エッジE
の上で接線方向の等しい点対を求め(S3)、各点対が
制限条件を満たしているか否かを判定する(S4)。制
限条件を満たすすべての点対について、点対の間の中点
の座標を求め、この座標値のヒストグラムを作成する
(S5)。このようにして他に点対がなくなれば(S
6)、作成されたヒストグラムから最大度数の座標値を
求めてこれを認識対象Obの中心の位置とするのである
(S7)。
象Obが楕円であるとすれば、楕円の中心Cにほぼ一致
する座標を(xc,yc)として求めることができ、ま
た図3(a)に示すように認識対象Obが平行四辺形で
あるとすれば、対角線の交点Dにほぼ一致する座標を
(xc,yc)として求めることができるのである。以
上の処理をまとめると、図8に示すようになる。すなわ
ち、物体を撮像して濃淡画像をフレームメモリ3に格納
し(S1)、微分処理部4における微分処理によってエ
ッジEを抽出するとともに、エッジEの上の各点の法線
方向n(濃度勾配)を求める(S2)。次に、エッジE
の上で接線方向の等しい点対を求め(S3)、各点対が
制限条件を満たしているか否かを判定する(S4)。制
限条件を満たすすべての点対について、点対の間の中点
の座標を求め、この座標値のヒストグラムを作成する
(S5)。このようにして他に点対がなくなれば(S
6)、作成されたヒストグラムから最大度数の座標値を
求めてこれを認識対象Obの中心の位置とするのである
(S7)。
【0040】以上説明したように、濃淡画像を微分する
ことによって認識対象ObのエッジEを抽出するととも
にエッジ方向を求めるから、濃度変化が比較的緩やかな
物体であっても濃度勾配の変化点を抽出することによっ
て、再現性よく物体の境界線を抽出することが可能にな
る。つまり、従来のように濃度をしきい値によって2値
化するのではなく微分値をしきい値によって2値化する
から、物体の境界線を再現正よく抽出することができ
る。また、上述のような条件を満たす点の対のみを抽出
するから、認識対象Obを求めるのに際して不必要な点
の対を減少させることができ、また複数個の認識対象O
b1 ,Ob2 が存在するような場合でも、個々に分離し
て中心位置を求めることが可能になる。
ことによって認識対象ObのエッジEを抽出するととも
にエッジ方向を求めるから、濃度変化が比較的緩やかな
物体であっても濃度勾配の変化点を抽出することによっ
て、再現性よく物体の境界線を抽出することが可能にな
る。つまり、従来のように濃度をしきい値によって2値
化するのではなく微分値をしきい値によって2値化する
から、物体の境界線を再現正よく抽出することができ
る。また、上述のような条件を満たす点の対のみを抽出
するから、認識対象Obを求めるのに際して不必要な点
の対を減少させることができ、また複数個の認識対象O
b1 ,Ob2 が存在するような場合でも、個々に分離し
て中心位置を求めることが可能になる。
【0041】本実施形態においては、エッジEの各点に
関する法線方向として、求める処理が簡単であることか
ら濃度変化の勾配方向を便宜的に採用しているが、実際
の法線方向nはエッジの形状に基づいて幾何学的に決定
されるものであるから、幾何学的に法線方向ないし接線
方向を求める処理を行なうようにしてもよい。 (実施形態2)本実施形態は、TVカメラ1の視野内に
複数の物体が存在し、かつ各物体の色が異なる場合に適
用可能な例であって、図9のように特定色抽出部9を設
けている点を除いては実施形態1とほぼ同様の構成にな
る。TVカメラ1にはカラー画像を撮像することができ
るものを用い、また、フレームメモリ3にはR(赤)G
(緑)B(青)などの基本色の組み合わせの形で濃淡画
像が格納される。特定色抽出部9では、フレームメモリ
3に格納された画像から、所望の色範囲(色相、彩度、
明度の少なくとも1つの範囲)を有する領域が抽出され
る。つまり、複数個の物体を撮像したような場合でも、
物体の色によって認識対象Obを個別に抽出することが
できるのである。
関する法線方向として、求める処理が簡単であることか
ら濃度変化の勾配方向を便宜的に採用しているが、実際
の法線方向nはエッジの形状に基づいて幾何学的に決定
されるものであるから、幾何学的に法線方向ないし接線
方向を求める処理を行なうようにしてもよい。 (実施形態2)本実施形態は、TVカメラ1の視野内に
複数の物体が存在し、かつ各物体の色が異なる場合に適
用可能な例であって、図9のように特定色抽出部9を設
けている点を除いては実施形態1とほぼ同様の構成にな
る。TVカメラ1にはカラー画像を撮像することができ
るものを用い、また、フレームメモリ3にはR(赤)G
(緑)B(青)などの基本色の組み合わせの形で濃淡画
像が格納される。特定色抽出部9では、フレームメモリ
3に格納された画像から、所望の色範囲(色相、彩度、
明度の少なくとも1つの範囲)を有する領域が抽出され
る。つまり、複数個の物体を撮像したような場合でも、
物体の色によって認識対象Obを個別に抽出することが
できるのである。
【0042】以後の処理は実施形態1と同様であり、接
線方向が同じである点の対を点対抽出部5で求め、条件
検証部6で制限条件を満たす点の対のみを選択し、中点
検出部7において対になる点の中点を求めて度数計数空
間に度数を与える。このようにして度数を求めた後に、
中心座標検出部8において認識対象Obの中心座標を求
めるのである。点対抽出部5、条件検証部6、中点検出
部7、中心座標検出部8については、実施形態1と同様
の機能であるから説明を省略する。
線方向が同じである点の対を点対抽出部5で求め、条件
検証部6で制限条件を満たす点の対のみを選択し、中点
検出部7において対になる点の中点を求めて度数計数空
間に度数を与える。このようにして度数を求めた後に、
中心座標検出部8において認識対象Obの中心座標を求
めるのである。点対抽出部5、条件検証部6、中点検出
部7、中心座標検出部8については、実施形態1と同様
の機能であるから説明を省略する。
【0043】ここに、フィルタを通してモノクロのTV
カメラ1で空間領域を撮像することによっても、特定の
色範囲を抽出することができる。この場合は特定色抽出
部9は設けなくてもよい。 (実施形態3)実施形態1は認識対象Obの中心位置を
求める技術について説明したが、本実施形態は認識対象
Obの中心位置だけではなく形状も併せて求める技術に
ついて説明する。本実施形態の装置の概略構成を図10
にブロック図として示す。
カメラ1で空間領域を撮像することによっても、特定の
色範囲を抽出することができる。この場合は特定色抽出
部9は設けなくてもよい。 (実施形態3)実施形態1は認識対象Obの中心位置を
求める技術について説明したが、本実施形態は認識対象
Obの中心位置だけではなく形状も併せて求める技術に
ついて説明する。本実施形態の装置の概略構成を図10
にブロック図として示す。
【0044】図10において図1と同符号を付した構成
は同機能を有するが、本実施形態では条件検証部6を設
けずに認識対象Obの中心位置を求めている。また、認
識対象Obの形状を求めるために、中心位置を求める際
に用いたエッジEを抽出するエッジ抽出部10と、エッ
ジ抽出部10で求めたエッジEに基づいて認識対象Ob
の形状を認識する形状認識部11とを付加してある。す
なわち、エッジ抽出部10では認識対象Obの中心位置
を求めるときに用いた中点を有する線分の両端の点列の
並びからエッジEを求める。また、複数個の座標値を平
均することによって認識対象Obの中心位置を求めたと
きには、各座標値についてそれぞれ認識対象Obの中心
位置を求めるときに用いた中点を有する線分の両端の点
列の並びによりエッジEを求める。
は同機能を有するが、本実施形態では条件検証部6を設
けずに認識対象Obの中心位置を求めている。また、認
識対象Obの形状を求めるために、中心位置を求める際
に用いたエッジEを抽出するエッジ抽出部10と、エッ
ジ抽出部10で求めたエッジEに基づいて認識対象Ob
の形状を認識する形状認識部11とを付加してある。す
なわち、エッジ抽出部10では認識対象Obの中心位置
を求めるときに用いた中点を有する線分の両端の点列の
並びからエッジEを求める。また、複数個の座標値を平
均することによって認識対象Obの中心位置を求めたと
きには、各座標値についてそれぞれ認識対象Obの中心
位置を求めるときに用いた中点を有する線分の両端の点
列の並びによりエッジEを求める。
【0045】すなわち、認識対象Obの中心位置を求め
る処理と同様に、エッジEの上の点対の中点を求める処
理を行ない、この中点の位置がすでに求められている認
識対象Obの中心から所定の距離範囲内であるときに、
その点対を認識対象Obの中心位置を求める際に用いた
エッジEとするのである。ところで、形状認識部11に
おいては、以下に説明する方法によってエッジEの特徴
量を求め、その特徴量に基づいて認識対象Obの形状を
認識する。
る処理と同様に、エッジEの上の点対の中点を求める処
理を行ない、この中点の位置がすでに求められている認
識対象Obの中心から所定の距離範囲内であるときに、
その点対を認識対象Obの中心位置を求める際に用いた
エッジEとするのである。ところで、形状認識部11に
おいては、以下に説明する方法によってエッジEの特徴
量を求め、その特徴量に基づいて認識対象Obの形状を
認識する。
【0046】認識対象Obの形状を認識する第1の方法
では、エッジ抽出部10においてエッジEを抽出する際
に用いた点列に含まれる各点の濃度勾配が最大になる方
向の分布を用いる。つまり、実施形態1において法線方
向nに用いた値の分布を求めるのである。たとえば、図
11(a)に示すように認識対象Obが楕円形である場
合には、法線方向nの度数分布が図11(b)のように
なる。図では法線方向nを連続値として表しているが実
際には0〜360°を18分割あるいは36分割などし
た離散値になる。したがって、法線方向nの度数分布は
正弦波形に近い形になる。また、認識対象Obが図12
(a)のように平行四辺形であるとすれば、一つの辺の
上の点はすべて同じ法線方向nになるから、図12
(b)のように度数の大きい角度は4つの角度であり、
また各角度の比率は各辺の長さに比例することになる。
したがって、法線方向nの度数分布のパターンにより円
(度数分布が直線状)か楕円(度数分布が正弦波状)か
多角形(度数のピークが離散して現れる)かを識別する
ことができる。
では、エッジ抽出部10においてエッジEを抽出する際
に用いた点列に含まれる各点の濃度勾配が最大になる方
向の分布を用いる。つまり、実施形態1において法線方
向nに用いた値の分布を求めるのである。たとえば、図
11(a)に示すように認識対象Obが楕円形である場
合には、法線方向nの度数分布が図11(b)のように
なる。図では法線方向nを連続値として表しているが実
際には0〜360°を18分割あるいは36分割などし
た離散値になる。したがって、法線方向nの度数分布は
正弦波形に近い形になる。また、認識対象Obが図12
(a)のように平行四辺形であるとすれば、一つの辺の
上の点はすべて同じ法線方向nになるから、図12
(b)のように度数の大きい角度は4つの角度であり、
また各角度の比率は各辺の長さに比例することになる。
したがって、法線方向nの度数分布のパターンにより円
(度数分布が直線状)か楕円(度数分布が正弦波状)か
多角形(度数のピークが離散して現れる)かを識別する
ことができる。
【0047】形状認識部11では認識対象Obの向きを
併せて検出してもよい。認識対象Obの向きを検出する
には、0°〜360°の範囲の法線方向nの度数を順次
求め、度数が最初の極大値となる角度を求める。たとえ
ば、認識対象Obが楕円であれば度数の極大値は0°〜
360°の範囲で2回現れ、上述のように0°から始め
て度数を順次求めると最初の極大値は0°〜180°の
範囲で出現する。この角度は楕円の長軸に平行な接線方
向にほぼ直交するから楕円の長軸の方向を求めることが
できる。また、認識対象Obが平行四辺形であれば度数
の極大値は0°〜360°の範囲で4回現れ、0°〜9
0°の範囲で最初の極大値が出現する。この角度は平行
四辺形(長方形を含む)の短辺または長辺の方向にほぼ
一致する。そこで、これらの極大値のうちの最大値を求
め、最大値が2個あれば角度の小さいほうを平行四辺形
の向きとして定義する。なお、法線方向nの度数分布の
極大値を求めるには、まず角度軸に沿って1次元平滑化
して雑音成分を除去した後、1次元微分フィルタをかけ
ることによって微分曲線を求め、次に、角度軸に沿って
微分値の符号が正から負に変化する点を求め、この点で
の度数が所定のしきい値以上であるときに、その点を度
数の極大値として採用するのである。
併せて検出してもよい。認識対象Obの向きを検出する
には、0°〜360°の範囲の法線方向nの度数を順次
求め、度数が最初の極大値となる角度を求める。たとえ
ば、認識対象Obが楕円であれば度数の極大値は0°〜
360°の範囲で2回現れ、上述のように0°から始め
て度数を順次求めると最初の極大値は0°〜180°の
範囲で出現する。この角度は楕円の長軸に平行な接線方
向にほぼ直交するから楕円の長軸の方向を求めることが
できる。また、認識対象Obが平行四辺形であれば度数
の極大値は0°〜360°の範囲で4回現れ、0°〜9
0°の範囲で最初の極大値が出現する。この角度は平行
四辺形(長方形を含む)の短辺または長辺の方向にほぼ
一致する。そこで、これらの極大値のうちの最大値を求
め、最大値が2個あれば角度の小さいほうを平行四辺形
の向きとして定義する。なお、法線方向nの度数分布の
極大値を求めるには、まず角度軸に沿って1次元平滑化
して雑音成分を除去した後、1次元微分フィルタをかけ
ることによって微分曲線を求め、次に、角度軸に沿って
微分値の符号が正から負に変化する点を求め、この点で
の度数が所定のしきい値以上であるときに、その点を度
数の極大値として採用するのである。
【0048】さらに、形状認識部11では認識対象Ob
の大きさを併せて検出してもよい。認識対象Obの中心
位置を求める際に寄与したエッジEの上の点の個数、す
なわち、ヒストグラムにおいてピーク値となる度数は、
認識対象Obの周長にほぼ比例していると考えられるか
ら、相似な認識対象Obではヒストグラムでの度数によ
って認識対象Obの大きさの目安を得ることができる。
たとえば、TVカメラ1の視野内に大きさの異なる2個
の物体が存在する場合には、画像内には図13(a)に
示すような大小2個の認識対象Ob1 ,Ob2 が存在す
ることになる。そこで、各認識対象Ob1 ,Ob2 を実
施形態1に説明した方法で個別に認識した上で、それぞ
れエッジEの上で接線方向が同じになる2点間の中点を
とり、ヒストグラムに中点の座標の出現度数をとると、
図13(b)のように2個のピークを持つ度数分布が得
られることになる。ここに、認識対象Ob1 ,Ob2 が
相似であれば、上述のように、度数の大きさが各認識対
象Ob1 ,Ob2 の面積を反映するから、度数値に基づ
いて認識対象Ob1 ,Ob2 の大きさを知ることが可能
になる。この方法は、物体が2個の場合に限らず3個以
上であっても適用可能である。
の大きさを併せて検出してもよい。認識対象Obの中心
位置を求める際に寄与したエッジEの上の点の個数、す
なわち、ヒストグラムにおいてピーク値となる度数は、
認識対象Obの周長にほぼ比例していると考えられるか
ら、相似な認識対象Obではヒストグラムでの度数によ
って認識対象Obの大きさの目安を得ることができる。
たとえば、TVカメラ1の視野内に大きさの異なる2個
の物体が存在する場合には、画像内には図13(a)に
示すような大小2個の認識対象Ob1 ,Ob2 が存在す
ることになる。そこで、各認識対象Ob1 ,Ob2 を実
施形態1に説明した方法で個別に認識した上で、それぞ
れエッジEの上で接線方向が同じになる2点間の中点を
とり、ヒストグラムに中点の座標の出現度数をとると、
図13(b)のように2個のピークを持つ度数分布が得
られることになる。ここに、認識対象Ob1 ,Ob2 が
相似であれば、上述のように、度数の大きさが各認識対
象Ob1 ,Ob2 の面積を反映するから、度数値に基づ
いて認識対象Ob1 ,Ob2 の大きさを知ることが可能
になる。この方法は、物体が2個の場合に限らず3個以
上であっても適用可能である。
【0049】(実施形態4)本実施形態は、図14に示
すように、図1に示した実施形態1の構成に対して条件
検証部6を省略するとともにエッジ消去部12を付加し
たものであって、図15(a)に示すように画像内に複
数個の認識対象Ob1 ,Ob2 ,Ob3 が存在し、かつ
一部の認識対象Ob1 ,Ob2 ,Ob3 が重なっている
場合において、各認識対象Ob1 ,Ob2 ,Ob3 の中
心位置を個別に抽出することを可能にするものである。
すように、図1に示した実施形態1の構成に対して条件
検証部6を省略するとともにエッジ消去部12を付加し
たものであって、図15(a)に示すように画像内に複
数個の認識対象Ob1 ,Ob2 ,Ob3 が存在し、かつ
一部の認識対象Ob1 ,Ob2 ,Ob3 が重なっている
場合において、各認識対象Ob1 ,Ob2 ,Ob3 の中
心位置を個別に抽出することを可能にするものである。
【0050】すなわち、点対抽出部5において実施形態
1と同様の方法で選択した点の対について中点を求め、
すべての点の対について中点検出部7で中点の座標の度
数を求めると、ヒストグラムには図15(b)のように
複数のピークが生じる。ピークとなる各座標には図15
(c)に示すように認識対象Ob1 ,Ob2 ,Ob3の
中心位置C1 ,C2 ,C3 とは無関係なピークも含まれ
ているから、認識対象Ob1 ,Ob2 ,Ob3 の中心位
置C1 ,C2 ,C3 を求めるには、何らかの方法で無関
係なピークを除去しなければならない。無関係なピーク
は度数が比較的小さいから、度数の大きいピークについ
ては認識対象Ob1 の中心として抽出するのが容易であ
るが、度数の小さいピークは認識対象Ob2 ,Ob3 の
中心か否かを識別するのが難しい。
1と同様の方法で選択した点の対について中点を求め、
すべての点の対について中点検出部7で中点の座標の度
数を求めると、ヒストグラムには図15(b)のように
複数のピークが生じる。ピークとなる各座標には図15
(c)に示すように認識対象Ob1 ,Ob2 ,Ob3の
中心位置C1 ,C2 ,C3 とは無関係なピークも含まれ
ているから、認識対象Ob1 ,Ob2 ,Ob3 の中心位
置C1 ,C2 ,C3 を求めるには、何らかの方法で無関
係なピークを除去しなければならない。無関係なピーク
は度数が比較的小さいから、度数の大きいピークについ
ては認識対象Ob1 の中心として抽出するのが容易であ
るが、度数の小さいピークは認識対象Ob2 ,Ob3 の
中心か否かを識別するのが難しい。
【0051】そこで、本実施形態では、エッジ消去部1
2を用いて、度数が最大である座標を中心に持つ認識対
象Ob1 について、その中心座標を求めるのに寄与した
点を含むエッジEを除去する。その後、残りのエッジE
に対して、点対抽出部5で対になる点を再び抽出し、対
になる点の中点の座標を求めてヒストグラムを求める。
度数が最大の座標を中心に持つ認識対象Ob1 のエッジ
Eを消去した状態では、図15(d)のようになるか
ら、ヒストグラムには図15(e)のように2つ程度の
ピークしか現れなくなる。この状態で、度数が高いほう
の認識対象Ob2についてエッジEを消去し、残ったエ
ッジEについて再び中点の度数を求め中点の座標を決定
する。このような処理をエッジEがなくなるまで繰り返
せば、すべての認識対象Ob1 ,Ob2 ,Ob3 の中心
C1 ,C2 ,C3 を個別に求めることができる。他の構
成および動作は実施形態1と同様である。
2を用いて、度数が最大である座標を中心に持つ認識対
象Ob1 について、その中心座標を求めるのに寄与した
点を含むエッジEを除去する。その後、残りのエッジE
に対して、点対抽出部5で対になる点を再び抽出し、対
になる点の中点の座標を求めてヒストグラムを求める。
度数が最大の座標を中心に持つ認識対象Ob1 のエッジ
Eを消去した状態では、図15(d)のようになるか
ら、ヒストグラムには図15(e)のように2つ程度の
ピークしか現れなくなる。この状態で、度数が高いほう
の認識対象Ob2についてエッジEを消去し、残ったエ
ッジEについて再び中点の度数を求め中点の座標を決定
する。このような処理をエッジEがなくなるまで繰り返
せば、すべての認識対象Ob1 ,Ob2 ,Ob3 の中心
C1 ,C2 ,C3 を個別に求めることができる。他の構
成および動作は実施形態1と同様である。
【0052】(実施形態5)本実施形態は実施形態1の
ように対になる点のうち所定の条件を満たすものから認
識対象Obの中心を求め、さらに実施形態3と同様に認
識対象Obの形状、向き、大きさなどを求めることがで
きるようにしたものである。したがって、図16に示す
ように、図1に示した実施形態1の構成に実施形態3と
同様にエッジ抽出部10および形状認識部11を付加し
てある。
ように対になる点のうち所定の条件を満たすものから認
識対象Obの中心を求め、さらに実施形態3と同様に認
識対象Obの形状、向き、大きさなどを求めることがで
きるようにしたものである。したがって、図16に示す
ように、図1に示した実施形態1の構成に実施形態3と
同様にエッジ抽出部10および形状認識部11を付加し
てある。
【0053】本実施形態によれば、認識対象Obの中心
位置を求める際に中心位置を求めるために用いる点の対
を制限することによって無駄な処理を低減することがで
き、しかもヒストグラムにおける不要なピーク値の発生
を抑制することができる。さらに、認識対象Obの中心
の位置だけではなく形状、向き、大きさなども求めるこ
とが可能になる。図16において図1、図10と同符号
を付した箇所は同様に機能する。
位置を求める際に中心位置を求めるために用いる点の対
を制限することによって無駄な処理を低減することがで
き、しかもヒストグラムにおける不要なピーク値の発生
を抑制することができる。さらに、認識対象Obの中心
の位置だけではなく形状、向き、大きさなども求めるこ
とが可能になる。図16において図1、図10と同符号
を付した箇所は同様に機能する。
【0054】(実施形態6)本実施形態は認識対象Ob
の形状や向き認識することができるようにしたものであ
って、物体が比較的複雑な形状を有している場合につい
て適用可能な方法である。すなわち、図18(a)に示
すように、一つの認識対象ObについてエッジEが円形
になる部分Q1 ,Q2 ,Q3 が存在する場合などを対象
にしている。このような画像が得られる物体は、たとえ
ば円形に開口する孔が3個設けられているような物体で
ある。
の形状や向き認識することができるようにしたものであ
って、物体が比較的複雑な形状を有している場合につい
て適用可能な方法である。すなわち、図18(a)に示
すように、一つの認識対象ObについてエッジEが円形
になる部分Q1 ,Q2 ,Q3 が存在する場合などを対象
にしている。このような画像が得られる物体は、たとえ
ば円形に開口する孔が3個設けられているような物体で
ある。
【0055】本実施形態では図17に示すように、図1
に示した実施形態1の構成に形状認識部11を付加した
構成を有し、この形状認識部11の動作に特徴を有する
ものである。すなわち、条件検証部6では実施形態1に
説明した各方法を適用することによって上記部分Q1 ,
Q2 ,Q3 の中心を求めるための対になる点を選択し、
中点検出部7および中心座標検出部8において各部分Q
1 ,Q2 ,Q3 の中心C11,C12,C13を求める。形状
認識部11では、求めた中心C11,C12,C13の位置関
係を、あらかじめ登録してある位置関係と照合すること
によって、認識対象Obがあらかじめ登録されているも
のか否かを識別するのである。また、登録されている物
体であれば、登録されている物体の位置を基準位置とし
て認識対象Obの向きを知ることができる。この種の技
術はパターンマッチング技術として周知のものを適用す
ることができる。図17において図1に示したものと同
符号を付した部分は同機能を有する。
に示した実施形態1の構成に形状認識部11を付加した
構成を有し、この形状認識部11の動作に特徴を有する
ものである。すなわち、条件検証部6では実施形態1に
説明した各方法を適用することによって上記部分Q1 ,
Q2 ,Q3 の中心を求めるための対になる点を選択し、
中点検出部7および中心座標検出部8において各部分Q
1 ,Q2 ,Q3 の中心C11,C12,C13を求める。形状
認識部11では、求めた中心C11,C12,C13の位置関
係を、あらかじめ登録してある位置関係と照合すること
によって、認識対象Obがあらかじめ登録されているも
のか否かを識別するのである。また、登録されている物
体であれば、登録されている物体の位置を基準位置とし
て認識対象Obの向きを知ることができる。この種の技
術はパターンマッチング技術として周知のものを適用す
ることができる。図17において図1に示したものと同
符号を付した部分は同機能を有する。
【0056】(実施形態7)本実施形態は実施形態1な
いし実施形態6の技術を応用することによって、ステレ
オ画像の位置合わせを行なうようにし、ステレオ画像に
基づく3次元計測の精度を向上させようとするものであ
る。すなわち、3次元計測には各種の技術が知られてい
るが、図19のように2台のTVカメラ1a,1bを用
いて同じ空間領域を撮像することにより、両TVカメラ
1a,1bの視差を利用して空間領域の3次元情報を得
る技術がある。
いし実施形態6の技術を応用することによって、ステレ
オ画像の位置合わせを行なうようにし、ステレオ画像に
基づく3次元計測の精度を向上させようとするものであ
る。すなわち、3次元計測には各種の技術が知られてい
るが、図19のように2台のTVカメラ1a,1bを用
いて同じ空間領域を撮像することにより、両TVカメラ
1a,1bの視差を利用して空間領域の3次元情報を得
る技術がある。
【0057】この種のステレオ画像を用いた3次元計測
について簡単に説明する。ステレオ画像を得るには、図
20(a)に示すように、1個の物体Nを2台のTVカ
メラ1a,1bにより撮像し、得られた濃淡画像に平行
ステレオ変換を施す。ここにおいて、平行ステレオ変換
とは、2台のTVカメラ1a,1bを光軸および画像内
の水平方向がそれぞれ平行になるように配置するととも
に焦点距離を一致させた状態で、両TVカメラ1a,1
bにより得られた画像の中で空間領域の同じ箇所に位置
する特定点の垂直方向の座標を一致させるように各画像
に変換を施すことである。平行ステレオ変換が施された
画像は、図20(b)のようになるから、画像内での特
定点の水平方向の位置x1,x2を求めると、各TVカ
メラ1a,1bに用いたレンズの焦点距離F、両TVカ
メラ1a,1bのレンズの中心間の距離Bを用いて物体
Nまでの距離Zを三角測量法の原理によって、次式で求
めることができる。 Z=B・F/(x1−x2) しかして、物体Nの特定点として各TVカメラ1a,1
bで得た画像内での認識対象Oba,Obbの中心C
a,Cbを用いるものとすれば、中心Ca,Cbを求め
るために実施形態1ないし実施形態6で説明した技術を
適用することができるのであり、中心Ca,Cbを精度
よく求めることができるから、結果的に中心Ca,Cb
の3次元的な位置(TVカメラ1a,1bから物体Nま
での距離)を精度よく求めることができる。
について簡単に説明する。ステレオ画像を得るには、図
20(a)に示すように、1個の物体Nを2台のTVカ
メラ1a,1bにより撮像し、得られた濃淡画像に平行
ステレオ変換を施す。ここにおいて、平行ステレオ変換
とは、2台のTVカメラ1a,1bを光軸および画像内
の水平方向がそれぞれ平行になるように配置するととも
に焦点距離を一致させた状態で、両TVカメラ1a,1
bにより得られた画像の中で空間領域の同じ箇所に位置
する特定点の垂直方向の座標を一致させるように各画像
に変換を施すことである。平行ステレオ変換が施された
画像は、図20(b)のようになるから、画像内での特
定点の水平方向の位置x1,x2を求めると、各TVカ
メラ1a,1bに用いたレンズの焦点距離F、両TVカ
メラ1a,1bのレンズの中心間の距離Bを用いて物体
Nまでの距離Zを三角測量法の原理によって、次式で求
めることができる。 Z=B・F/(x1−x2) しかして、物体Nの特定点として各TVカメラ1a,1
bで得た画像内での認識対象Oba,Obbの中心C
a,Cbを用いるものとすれば、中心Ca,Cbを求め
るために実施形態1ないし実施形態6で説明した技術を
適用することができるのであり、中心Ca,Cbを精度
よく求めることができるから、結果的に中心Ca,Cb
の3次元的な位置(TVカメラ1a,1bから物体Nま
での距離)を精度よく求めることができる。
【0058】すなわち、各TVカメラ1a,1bで撮像
された画像は、実施形態1ないし実施形態6で説明した
A/D変換器2を入力段に持ち中心座標検出部8を出力
段に持つ画像処理装置Aa,Abにより処理され、認識
対象Oba,Obbの中心Ca,Cbの位置を求めるこ
とができるのである。中心Ca,Cbの位置を求めた後
の処理は従来周知であって、3次元位置測定部15では
上式を適用することによって物体Nまでの距離Zを求め
るのである。
された画像は、実施形態1ないし実施形態6で説明した
A/D変換器2を入力段に持ち中心座標検出部8を出力
段に持つ画像処理装置Aa,Abにより処理され、認識
対象Oba,Obbの中心Ca,Cbの位置を求めるこ
とができるのである。中心Ca,Cbの位置を求めた後
の処理は従来周知であって、3次元位置測定部15では
上式を適用することによって物体Nまでの距離Zを求め
るのである。
【0059】(実施形態8)実施形態7において、図2
2(a)のように複数個の物体N1 ,N2 が存在する場
合には、各TVカメラ1a,1bで得られた画像内に複
数個ずつの認識対象Oba1 ,Oba2 ,Obb1 ,O
bb2 が存在することになる。このような場合に、各画
像ごとに複数個の中心位置が得られるから、どちらの物
体N1 ,N2について求めた中心位置かを識別すること
が必要である。そこで、本実施形態では、実施形態3と
同様の処理を行なって認識対象Oba1 ,Oba2 ,O
bb1,Obb2 の形状を認識し、形状別に中心を求め
ることによって複数の物体N1,N2 を分離して認識す
ることを可能にしている。
2(a)のように複数個の物体N1 ,N2 が存在する場
合には、各TVカメラ1a,1bで得られた画像内に複
数個ずつの認識対象Oba1 ,Oba2 ,Obb1 ,O
bb2 が存在することになる。このような場合に、各画
像ごとに複数個の中心位置が得られるから、どちらの物
体N1 ,N2について求めた中心位置かを識別すること
が必要である。そこで、本実施形態では、実施形態3と
同様の処理を行なって認識対象Oba1 ,Oba2 ,O
bb1,Obb2 の形状を認識し、形状別に中心を求め
ることによって複数の物体N1,N2 を分離して認識す
ることを可能にしている。
【0060】図22に示す例では認識対象Oba1 ,O
ba2 ,Obb1 ,Obb2 には楕円と長方形とがある
から、実施形態3の技術によって各認識対象Oba1 ,
Oba2 ,Obb1 ,Obb2 の形状を認識することが
できる。そこで、図21に示すように、画像処理装置A
a,Abで求めた各認識対象Oba1 ,Oba2 ,Ob
b1 ,Obb2 ごとの中心位置を、対応付け処理部16
において認識対象Oba1 ,Oba2 ,Obb1 ,Ob
b2 の形状ごとに対応付ける。すなわち、両TVカメラ
1a,1bで得られた画像は水平ステレオ変換により垂
直方向の位置合わせが行なわれているから、対応付け処
理部16では両画像を通る1本の走査線Lsの上で同形
状の認識対象Oba1 ,Oba2 ,Obb1 ,Obb2
の中心位置を対応付けるのであり、この対応付けにより
各物体N1 ,N2 を個別に認識することができ、3次元
位置測定部15において各物体N1 ,N2 までの距離を
個別に求めることができるのである。他の構成および動
作は実施形態7と同様である。
ba2 ,Obb1 ,Obb2 には楕円と長方形とがある
から、実施形態3の技術によって各認識対象Oba1 ,
Oba2 ,Obb1 ,Obb2 の形状を認識することが
できる。そこで、図21に示すように、画像処理装置A
a,Abで求めた各認識対象Oba1 ,Oba2 ,Ob
b1 ,Obb2 ごとの中心位置を、対応付け処理部16
において認識対象Oba1 ,Oba2 ,Obb1 ,Ob
b2 の形状ごとに対応付ける。すなわち、両TVカメラ
1a,1bで得られた画像は水平ステレオ変換により垂
直方向の位置合わせが行なわれているから、対応付け処
理部16では両画像を通る1本の走査線Lsの上で同形
状の認識対象Oba1 ,Oba2 ,Obb1 ,Obb2
の中心位置を対応付けるのであり、この対応付けにより
各物体N1 ,N2 を個別に認識することができ、3次元
位置測定部15において各物体N1 ,N2 までの距離を
個別に求めることができるのである。他の構成および動
作は実施形態7と同様である。
【0061】(実施形態9)実施形態8では複数個の物
体が存在する場合についての例を示したが、本実施形態
では図24(a)に示すように比較的複雑な形状の物体
Nについて3次元的な位置だけではなく、物体Nの向き
も検出するようにした例を示す。いま、物体Nは六角形
状であって円形に開口する3個の穴M1 ,M2 ,M3 が
形成されているものとする。この物体Nを2台のTVカ
メラ1a,1bにより撮像し、平行ステレオ変換を施す
とともに微分処理によってエッジを求めると図24
(b)に示すような画像が得られる。画像処理装置A
a,Abでは各TVカメラ1a,1bにより得られた画
像内での認識対象Oba,Obbについて穴M1 ,
M2 ,M3に対応する部分Qa1 ,Qa2 ,Qa3 ,Q
b1 ,Qb2 ,Qb3 の中心位置を求める。この処理に
は実施形態6と同様の処理を適用することができる。
体が存在する場合についての例を示したが、本実施形態
では図24(a)に示すように比較的複雑な形状の物体
Nについて3次元的な位置だけではなく、物体Nの向き
も検出するようにした例を示す。いま、物体Nは六角形
状であって円形に開口する3個の穴M1 ,M2 ,M3 が
形成されているものとする。この物体Nを2台のTVカ
メラ1a,1bにより撮像し、平行ステレオ変換を施す
とともに微分処理によってエッジを求めると図24
(b)に示すような画像が得られる。画像処理装置A
a,Abでは各TVカメラ1a,1bにより得られた画
像内での認識対象Oba,Obbについて穴M1 ,
M2 ,M3に対応する部分Qa1 ,Qa2 ,Qa3 ,Q
b1 ,Qb2 ,Qb3 の中心位置を求める。この処理に
は実施形態6と同様の処理を適用することができる。
【0062】上述のようにして各部分Qa1 ,Qa2 ,
Qa3 ,Qb1 ,Qb2 ,Qb3 の中心位置が求まれ
ば、図23に示すように、3次元位置測定部15におい
て実施形態7の方法を用いることにより、穴M1 ,
M2 ,M3 の3次元的な位置を決定することができるの
である。このようにして穴M1 ,M2 ,M3 の中心の3
次元的な位置を決定されると、3次元姿勢測定部17で
はこれらの中心の位置を用いて物体Nの3次元的な向き
を検出するのである。他の構成および動作は実施形態7
と同様である。
Qa3 ,Qb1 ,Qb2 ,Qb3 の中心位置が求まれ
ば、図23に示すように、3次元位置測定部15におい
て実施形態7の方法を用いることにより、穴M1 ,
M2 ,M3 の3次元的な位置を決定することができるの
である。このようにして穴M1 ,M2 ,M3 の中心の3
次元的な位置を決定されると、3次元姿勢測定部17で
はこれらの中心の位置を用いて物体Nの3次元的な向き
を検出するのである。他の構成および動作は実施形態7
と同様である。
【0063】
【発明の効果】請求項1の発明は、着目する境界線の形
状が点対称または少なくとも二組の向かい合う辺が平行
である多角形となる物体を撮像して得た濃淡画像の各画
素に関する微分値の変化点を認識対象のエッジとして検
出し、エッジ上の各点に関してエッジの方向を規定する
ことができるエッジ方向を求め、エッジ上でエッジ方向
が等しくなる2点を点対として点対間の中点の座標値に
関するヒストグラムを作成し、ヒストグラムにおいて最
大度数が得られる座標値を認識対象の代表点の座標とし
て採用するものであり、物体を含む濃淡画像を濃度のし
きい値により2値化するのではなく、濃淡画像を微分し
微分値の変化点を認識対象のエッジとして検出するか
ら、濃度の変化が比較的緩やかに変化する箇所を含む場
合でも再現性よくエッジを抽出することができるという
利点がある。また、エッジ上でエッジ方向が等しい点対
間の中点の座標値に関するヒストグラムを作成して最大
度数が得られる座標値を認識対象の代表点の座標として
採用するから、多数個の点に基づいて認識対象の代表点
を統計的に求めることになり、認識対象の代表点の位置
を精度よく求めることが可能になるという効果がある。
状が点対称または少なくとも二組の向かい合う辺が平行
である多角形となる物体を撮像して得た濃淡画像の各画
素に関する微分値の変化点を認識対象のエッジとして検
出し、エッジ上の各点に関してエッジの方向を規定する
ことができるエッジ方向を求め、エッジ上でエッジ方向
が等しくなる2点を点対として点対間の中点の座標値に
関するヒストグラムを作成し、ヒストグラムにおいて最
大度数が得られる座標値を認識対象の代表点の座標とし
て採用するものであり、物体を含む濃淡画像を濃度のし
きい値により2値化するのではなく、濃淡画像を微分し
微分値の変化点を認識対象のエッジとして検出するか
ら、濃度の変化が比較的緩やかに変化する箇所を含む場
合でも再現性よくエッジを抽出することができるという
利点がある。また、エッジ上でエッジ方向が等しい点対
間の中点の座標値に関するヒストグラムを作成して最大
度数が得られる座標値を認識対象の代表点の座標として
採用するから、多数個の点に基づいて認識対象の代表点
を統計的に求めることになり、認識対象の代表点の位置
を精度よく求めることが可能になるという効果がある。
【0064】請求項2の発明は、エッジ上でエッジ方向
が等しくなる点対について、点対間の中点が認識対象の
代表点付近に位置する点対のみを選択して中点を求める
ように制限条件を設定するものであり、制限条件を設け
ることによって多数の点対のうち認識対象の代表点を求
めるのに不要な点対を除去することができるから、比較
的少ない処理量で認識対象の代表点を精度よく求めるこ
とができるという利点を有するのである。
が等しくなる点対について、点対間の中点が認識対象の
代表点付近に位置する点対のみを選択して中点を求める
ように制限条件を設定するものであり、制限条件を設け
ることによって多数の点対のうち認識対象の代表点を求
めるのに不要な点対を除去することができるから、比較
的少ない処理量で認識対象の代表点を精度よく求めるこ
とができるという利点を有するのである。
【0065】請求項3の発明は、ヒストグラムにおいて
最大度数が得られた座標値を中点の座標とする点対によ
り形成される点列が並ぶエッジの特徴量に基づいて認識
対象の図形的特徴を抽出するものであり、認識対象の代
表点を決めるのに用いた点対のみからなる点列をエッジ
上の点として用いるから、認識対象の形状をよく反映し
ていると考えられる点列を抽出することになり、このよ
うな点列を用いることによって認識対象の図形的特徴を
正確に認識することが可能になるという利点がある。
最大度数が得られた座標値を中点の座標とする点対によ
り形成される点列が並ぶエッジの特徴量に基づいて認識
対象の図形的特徴を抽出するものであり、認識対象の代
表点を決めるのに用いた点対のみからなる点列をエッジ
上の点として用いるから、認識対象の形状をよく反映し
ていると考えられる点列を抽出することになり、このよ
うな点列を用いることによって認識対象の図形的特徴を
正確に認識することが可能になるという利点がある。
【0066】請求項4の発明は、上記点対のうち濃度勾
配の差が所定範囲内である点対のみを選択して中点を求
めるように上記制限条件を設定したものであり、請求項
5の発明は、上記点対の一方の点に関する濃度勾配の方
向を中心線に持ち、中心線から所定の角度範囲内に他方
の点が存在する点対のみを選択して中点を求めるように
上記制限条件を設定したものであり、請求項6の発明
は、上記点対間の距離が所定範囲内である点対のみを選
択して中点を求めるように上記制限条件を設定したもの
であって、点対の濃度勾配の差、点対の位置関係などに
基づいて認識対象の代表点の位置を求める際に明らかに
不要と考えられる点対を除外して認識対象の代表点の位
置を求めるから、処理が簡単になるとともに求めた代表
点の位置の精度が高くなるという利点がある。
配の差が所定範囲内である点対のみを選択して中点を求
めるように上記制限条件を設定したものであり、請求項
5の発明は、上記点対の一方の点に関する濃度勾配の方
向を中心線に持ち、中心線から所定の角度範囲内に他方
の点が存在する点対のみを選択して中点を求めるように
上記制限条件を設定したものであり、請求項6の発明
は、上記点対間の距離が所定範囲内である点対のみを選
択して中点を求めるように上記制限条件を設定したもの
であって、点対の濃度勾配の差、点対の位置関係などに
基づいて認識対象の代表点の位置を求める際に明らかに
不要と考えられる点対を除外して認識対象の代表点の位
置を求めるから、処理が簡単になるとともに求めた代表
点の位置の精度が高くなるという利点がある。
【0067】請求項7の発明は、濃淡画像がカラー画像
であって、特定の色範囲の領域に存在する認識対象につ
いて中点を求めるので、色範囲を制限することにより、
たとえば複数個の異なる色の物体について個別に代表点
の位置を求める必要がある場合に、各物体を色により個
別に識別することが可能になるという利点がある。請求
項8の発明は、上記エッジの一部を削除した残りのエッ
ジについて上記ヒストグラムを作成するから、複数個の
物体が存在するのであれば、不要な物体のエッジをあら
かじめ削除した上でヒストグラムを作成することによ
り、無意味な情報が発生しにくくなり、認識対象の代表
点の位置を精度よく求めることが可能になるという利点
がある。
であって、特定の色範囲の領域に存在する認識対象につ
いて中点を求めるので、色範囲を制限することにより、
たとえば複数個の異なる色の物体について個別に代表点
の位置を求める必要がある場合に、各物体を色により個
別に識別することが可能になるという利点がある。請求
項8の発明は、上記エッジの一部を削除した残りのエッ
ジについて上記ヒストグラムを作成するから、複数個の
物体が存在するのであれば、不要な物体のエッジをあら
かじめ削除した上でヒストグラムを作成することによ
り、無意味な情報が発生しにくくなり、認識対象の代表
点の位置を精度よく求めることが可能になるという利点
がある。
【0068】請求項9の発明は、上記点列の各点に関す
る濃度勾配の分布を求め、濃度勾配の分布パターンを既
知の分布パターンと比較することにより認識対象の形状
を認識するのであり、点列の各点に関する濃度勾配の分
布パターンを求めるから、濃度勾配の分布パターンのパ
ターンマッチングによって認識対象の形状を認識するこ
とが可能になる。しかも、濃度勾配の分布パターンを求
める点列は認識対象の中点を求める際に用いた点列であ
るから、認識対象の形状をよく反映していると考えら
れ、このような点列から認識対象の形状を求めることに
より認識対象の形状を正確に把握することができるとい
う利点がある。
る濃度勾配の分布を求め、濃度勾配の分布パターンを既
知の分布パターンと比較することにより認識対象の形状
を認識するのであり、点列の各点に関する濃度勾配の分
布パターンを求めるから、濃度勾配の分布パターンのパ
ターンマッチングによって認識対象の形状を認識するこ
とが可能になる。しかも、濃度勾配の分布パターンを求
める点列は認識対象の中点を求める際に用いた点列であ
るから、認識対象の形状をよく反映していると考えら
れ、このような点列から認識対象の形状を求めることに
より認識対象の形状を正確に把握することができるとい
う利点がある。
【0069】請求項10の発明は、上記点列の各点に関
する濃度勾配の分布を求め、濃度勾配の分布パターンに
基づいて認識対象の向きを検出するのであり、点列の各
点に関する濃度勾配の分布を求めることにより、濃度勾
配の分布パターンに基づいて認識対象の向きを求めるこ
とができる。しかも、濃度勾配の分布パターンを求める
点列は認識対象の中点を求める際に用いた点列であるか
ら、認識対象の図形的特性をよく反映していると考えら
れ、このような点列から認識対象の向きを求めることに
より認識対象の向きを正確に把握することができるとい
う利点を有するのである。
する濃度勾配の分布を求め、濃度勾配の分布パターンに
基づいて認識対象の向きを検出するのであり、点列の各
点に関する濃度勾配の分布を求めることにより、濃度勾
配の分布パターンに基づいて認識対象の向きを求めるこ
とができる。しかも、濃度勾配の分布パターンを求める
点列は認識対象の中点を求める際に用いた点列であるか
ら、認識対象の図形的特性をよく反映していると考えら
れ、このような点列から認識対象の向きを求めることに
より認識対象の向きを正確に把握することができるとい
う利点を有するのである。
【0070】請求項11の発明は、上記点列の個数を求
め、点列の個数に基づいて認識対象の大きさを検出する
のであり、点列の個数に基づいて認識対象の大きさを求
めることができる。しかも、個数を求める点列は認識対
象の中点を求める際に用いた点列であるから、認識対象
の図形的特性をよく反映していると考えられ、このよう
な点列の個数を求めることにより認識対象の大きさを再
現性よく求めることができるという利点がある。
め、点列の個数に基づいて認識対象の大きさを検出する
のであり、点列の個数に基づいて認識対象の大きさを求
めることができる。しかも、個数を求める点列は認識対
象の中点を求める際に用いた点列であるから、認識対象
の図形的特性をよく反映していると考えられ、このよう
な点列の個数を求めることにより認識対象の大きさを再
現性よく求めることができるという利点がある。
【0071】請求項12の発明は、上記ヒストグラムに
おいて最大度数が得られる座標値を代表点の座標に持つ
認識対象のエッジを削除する第1過程と、第1過程後に
残ったエッジについて上記ヒストグラムを再度作成する
第2過程とを繰り返すことにより、複数個の認識対象の
代表点の座標を個別に求めるのであり、大きさの異なる
複数個の認識対象が存在する場合に、大きい認識対象か
ら順に代表点の位置を求めるとともに、代表点の位置を
求めた認識対象のエッジを除外してヒストグラムを作成
するから、各認識対象の代表点の位置を個別に求めるこ
とが可能になるという利点を有する。
おいて最大度数が得られる座標値を代表点の座標に持つ
認識対象のエッジを削除する第1過程と、第1過程後に
残ったエッジについて上記ヒストグラムを再度作成する
第2過程とを繰り返すことにより、複数個の認識対象の
代表点の座標を個別に求めるのであり、大きさの異なる
複数個の認識対象が存在する場合に、大きい認識対象か
ら順に代表点の位置を求めるとともに、代表点の位置を
求めた認識対象のエッジを除外してヒストグラムを作成
するから、各認識対象の代表点の位置を個別に求めるこ
とが可能になるという利点を有する。
【0072】請求項13の発明は、複数個の認識対象を
持つ物体について各認識対象の代表点の座標を求め、求
めた代表点の座標の位置関係に基づいて物体の位置およ
び向きを認識するのであり、複数個の認識対象を持つ物
体から各認識対象の代表点の位置関係を求めるから、物
体の位置や向きを認識することが可能になるという利点
がある。
持つ物体について各認識対象の代表点の座標を求め、求
めた代表点の座標の位置関係に基づいて物体の位置およ
び向きを認識するのであり、複数個の認識対象を持つ物
体から各認識対象の代表点の位置関係を求めるから、物
体の位置や向きを認識することが可能になるという利点
がある。
【0073】請求項14の発明は、物体を複数の異なる
位置から撮像することにより得た複数の濃淡画像につい
て、それぞれ認識対象の代表点の座標を求め、求めた認
識対象の代表点の座標を対応付けした後、三角測量法を
適用することにより物体までの距離を求めるのであり、
ステレオ画像を用いて認識対象までの距離を求めるに際
して、複数の画像を対応付けるために請求項1の方法に
より求めた認識対象の代表点の位置を用いるから、高い
精度で対応付けを行なうことができる。その結果、認識
対象までの距離を精度よく求めることができるという利
点を有する。
位置から撮像することにより得た複数の濃淡画像につい
て、それぞれ認識対象の代表点の座標を求め、求めた認
識対象の代表点の座標を対応付けした後、三角測量法を
適用することにより物体までの距離を求めるのであり、
ステレオ画像を用いて認識対象までの距離を求めるに際
して、複数の画像を対応付けるために請求項1の方法に
より求めた認識対象の代表点の位置を用いるから、高い
精度で対応付けを行なうことができる。その結果、認識
対象までの距離を精度よく求めることができるという利
点を有する。
【0074】請求項15の発明は、物体を複数の異なる
位置から撮像することにより得た複数の濃淡画像につい
て、それぞれ認識対象の代表点の座標を求め、代表点の
座標を求めた点対により形成される点列が並ぶエッジの
特徴量に基づいて認識対象の図形的特徴を抽出し、各画
像内で同一の図形的特徴を有する領域を対応付けした
後、三角測量法を適用することにより物体までの距離を
求めるのであり、ステレオ画像を用いて認識対象までの
距離を求めるに際して、複数の画像を対応付けるために
請求項3の方法により求めた認識対象の図形的特徴を用
いるから、高い精度で対応付けを行なうことができると
いう利点がある。その結果、認識対象までの距離を精度
よく求めることができる。
位置から撮像することにより得た複数の濃淡画像につい
て、それぞれ認識対象の代表点の座標を求め、代表点の
座標を求めた点対により形成される点列が並ぶエッジの
特徴量に基づいて認識対象の図形的特徴を抽出し、各画
像内で同一の図形的特徴を有する領域を対応付けした
後、三角測量法を適用することにより物体までの距離を
求めるのであり、ステレオ画像を用いて認識対象までの
距離を求めるに際して、複数の画像を対応付けるために
請求項3の方法により求めた認識対象の図形的特徴を用
いるから、高い精度で対応付けを行なうことができると
いう利点がある。その結果、認識対象までの距離を精度
よく求めることができる。
【0075】請求項16の発明は、複数個の認識対象を
持つ物体を複数の異なる位置から撮像することにより得
た複数の濃淡画像について、各認識対象の代表点の座標
をそれぞれの画像から求め、各画像内で求めた代表点の
座標を対応付けした後に、三角測量法を適用することに
より各認識対象の代表点の座標の3次元空間での位置を
求め、代表点の座標の位置関係に基づいて3次元空間内
での物体の位置および向きを認識するものであり、ステ
レオ画像を用いて3次元情報を得るに際して、物体の複
数箇所の位置を求め、これらの位置関係に基づいて物体
の位置や向きを認識するのであって、複数の画像の対応
付けには請求項1の方法により求めた認識対象の代表点
の位置を用いるから、高い精度でかつ再現性よく物体の
3次元情報を得ることができるという利点を有する。
持つ物体を複数の異なる位置から撮像することにより得
た複数の濃淡画像について、各認識対象の代表点の座標
をそれぞれの画像から求め、各画像内で求めた代表点の
座標を対応付けした後に、三角測量法を適用することに
より各認識対象の代表点の座標の3次元空間での位置を
求め、代表点の座標の位置関係に基づいて3次元空間内
での物体の位置および向きを認識するものであり、ステ
レオ画像を用いて3次元情報を得るに際して、物体の複
数箇所の位置を求め、これらの位置関係に基づいて物体
の位置や向きを認識するのであって、複数の画像の対応
付けには請求項1の方法により求めた認識対象の代表点
の位置を用いるから、高い精度でかつ再現性よく物体の
3次元情報を得ることができるという利点を有する。
【図1】実施形態1を示すブロック図である。
【図2】実施形態1の原理説明図である。
【図3】実施形態1の原理説明図である。
【図4】実施形態1における制限条件の例を示す図であ
る。
る。
【図5】実施形態1における制限条件の例を示す図であ
る。
る。
【図6】実施形態1における制限条件の例を示す図であ
る。
る。
【図7】実施形態1における制限条件の例を示す図であ
る。
る。
【図8】実施形態1の動作説明図である。
【図9】実施形態2を示すブロック図である。
【図10】実施形態3を示すブロック図である。
【図11】実施形態3の原理説明図である。
【図12】実施形態3の原理説明図である。
【図13】実施形態3の原理説明図である。
【図14】実施形態4を示すブロック図である。
【図15】実施形態4の動作説明図である。
【図16】実施形態5を示すブロック図である。
【図17】実施形態6を示すブロック図である。
【図18】実施形態6の原理説明図である。
【図19】実施形態7を示すブロック図である。
【図20】実施形態7の原理説明図である。
【図21】実施形態8を示すブロック図である。
【図22】実施形態8の原理説明図である。
【図23】実施形態9を示すブロック図である。
【図24】実施形態8の原理説明図である。
【図25】従来例の動作説明図である。
【図26】従来例の問題点を説明する図である。
【図27】従来例の問題点を説明する図である。
【図28】従来例の問題点を説明する図である。
【図29】従来例の問題点を説明する図である。
1 TVカメラ 2 A/D変換器 3 フレームメモリ 4 微分処理部 5 点対抽出部 6 条件検証部 7 中点検出部 8 中心座標検出部
Claims (16)
- 【請求項1】 着目する境界線の形状が点対称または少
なくとも二組の向かい合う辺が平行である多角形となる
物体を撮像して得た濃淡画像の各画素に関する微分値の
変化点を認識対象のエッジとして検出し、エッジ上の各
点に関してエッジの方向を規定することができるエッジ
方向を求め、エッジ上でエッジ方向が等しくなる2点を
点対として点対間の中点の座標値に関するヒストグラム
を作成し、ヒストグラムにおいて最大度数が得られる座
標値を認識対象の代表点の座標として採用することを特
徴とする物体認識方法。 - 【請求項2】 エッジ上でエッジ方向が等しくなる点対
について、点対間の中点が認識対象の代表点付近に位置
する点対のみを選択して中点を求めるように制限条件を
設定したことを特徴とする請求項1記載の物体認識方
法。 - 【請求項3】 ヒストグラムにおいて最大度数が得られ
た座標値を中点の座標とする点対により形成される点列
が並ぶエッジの特徴量に基づいて認識対象の図形的特徴
を抽出することを特徴とする請求項1または請求項2記
載の物体認識方法。 - 【請求項4】 上記点対のうち濃度勾配の差が所定範囲
内である点対のみを選択して中点を求めるように上記制
限条件を設定したことを特徴とする請求項2記載の物体
認識方法。 - 【請求項5】 上記点対の一方の点に関する濃度勾配の
方向を中心線に持ち、中心線から所定の角度範囲内に他
方の点が存在する点対のみを選択して中点を求めるよう
に上記制限条件を設定したことを特徴とする請求項2記
載の物体認識方法。 - 【請求項6】 上記点対間の距離が所定範囲内である点
対のみを選択して中点を求めるように上記制限条件を設
定したことを特徴とする請求項2記載の物体認識方法。 - 【請求項7】 濃淡画像はカラー画像であって、特定の
色範囲の領域に存在する認識対象について中点を求める
ことを特徴とする請求項1ないし請求項6記載の物体認
識方法。 - 【請求項8】 上記エッジの一部を削除した残りのエッ
ジについて上記ヒストグラムを作成することを特徴とす
る請求項1ないし請求項6記載の物体認識方法。 - 【請求項9】 上記点列の各点に関する濃度勾配の分布
を求め、濃度勾配の分布パターンを既知の分布パターン
と比較することにより認識対象の形状を認識することを
特徴とする請求項3記載の物体認識方法。 - 【請求項10】 上記点列の各点に関する濃度勾配の分
布を求め、濃度勾配の分布パターンに基づいて認識対象
の向きを検出することを特徴とする請求項3記載の物体
認識方法。 - 【請求項11】 上記点列の個数を求め、点列の個数に
基づいて認識対象の大きさを検出することを特徴とする
請求項3記載の物体認識方法。 - 【請求項12】 上記ヒストグラムにおいて最大度数が
得られる座標値を代表点の座標に持つ認識対象のエッジ
を削除する第1過程と、第1過程後に残ったエッジにつ
いて上記ヒストグラムを再度作成する第2過程とを繰り
返すことにより、複数個の認識対象の代表点の座標を個
別に求めることを特徴とする請求項1記載の物体認識方
法。 - 【請求項13】 複数個の認識対象を持つ物体について
各認識対象の代表点の座標を求め、求めた代表点の座標
の位置関係に基づいて物体の位置および向きを認識する
ことを特徴とする請求項1記載の物体認識方法。 - 【請求項14】 物体を複数の異なる位置から撮像する
ことにより得た複数の濃淡画像について、それぞれ認識
対象の代表点の座標を求め、求めた認識対象の代表点の
座標を対応付けした後、三角測量法を適用することによ
り物体までの距離を求めることを特徴とする請求項1記
載の物体認識方法。 - 【請求項15】 物体を複数の異なる位置から撮像する
ことにより得た複数の濃淡画像について、それぞれ認識
対象の代表点の座標を求め、代表点の座標を求めた点対
により形成される点列が並ぶエッジの特徴量に基づいて
認識対象の図形的特徴を抽出し、各画像内で同一の図形
的特徴を有する領域を対応付けした後、三角測量法を適
用することにより物体までの距離を求めることを特徴と
する請求項3記載の物体認識方法。 - 【請求項16】 複数個の認識対象を持つ物体を複数の
異なる位置から撮像することにより得た複数の濃淡画像
について、各認識対象の代表点の座標をそれぞれの画像
から求め、各画像内で求めた代表点の座標を対応付けし
た後に、三角測量法を適用することにより各認識対象の
代表点の座標の3次元空間での位置を求め、代表点の座
標の位置関係に基づいて3次元空間内での物体の位置お
よび向きを認識することを特徴とする請求項1記載の物
体認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03857396A JP3372419B2 (ja) | 1996-02-26 | 1996-02-26 | 物体認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03857396A JP3372419B2 (ja) | 1996-02-26 | 1996-02-26 | 物体認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09229646A true JPH09229646A (ja) | 1997-09-05 |
JP3372419B2 JP3372419B2 (ja) | 2003-02-04 |
Family
ID=12529043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03857396A Expired - Fee Related JP3372419B2 (ja) | 1996-02-26 | 1996-02-26 | 物体認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3372419B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999052072A1 (fr) | 1998-04-07 | 1999-10-14 | Omron Corporation | Dispositif et procede de traitement d'images, support de stockage de programme pour traitement d'images, et dispositif d'inspection |
US6804103B1 (en) | 1999-09-28 | 2004-10-12 | Matsushita Electric Industrial Co., Ltd. | Electronic component and method for manufacturing the same |
JP2005078375A (ja) * | 2003-08-29 | 2005-03-24 | Sony Corp | 方向認識装置、方向認識方法、方向認識システム及びロボット装置 |
JP2005270534A (ja) * | 2004-03-26 | 2005-10-06 | Sumitomo Rubber Ind Ltd | ゴルフスウィング計測方法 |
JP2005270480A (ja) * | 2004-03-26 | 2005-10-06 | Sumitomo Rubber Ind Ltd | ゴルフスウィング計測システム |
JP2007164517A (ja) * | 2005-12-14 | 2007-06-28 | Denso Corp | 図形中心検出方法、楕円検出方法、画像認識装置、制御装置 |
JP2007164518A (ja) * | 2005-12-14 | 2007-06-28 | Denso Corp | 楕円検出方法、画像認識装置、制御装置 |
JP2007213565A (ja) * | 2006-01-13 | 2007-08-23 | Toshiba Corp | 画像処理装置、方法、プログラム |
JP2008305256A (ja) * | 2007-06-08 | 2008-12-18 | Anoto Ab | 電子印鑑及び電子印鑑システム |
WO2011065069A1 (ja) * | 2009-11-24 | 2011-06-03 | シャープ株式会社 | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、及び画像処理装置の制御方法 |
JP2014006803A (ja) * | 2012-06-26 | 2014-01-16 | Seiko Precision Inc | 穴開け位置決定装置、穴開け位置決定方法、及び、プログラム |
-
1996
- 1996-02-26 JP JP03857396A patent/JP3372419B2/ja not_active Expired - Fee Related
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7239740B1 (en) | 1998-04-07 | 2007-07-03 | Omron Corporation | Image processing apparatus and method, medium storing program for image processing, and inspection apparatus |
EP2264671A1 (en) | 1998-04-07 | 2010-12-22 | Omron Co., Ltd. | Image processing apparatus and method, medium storing program for image processing, and inspection apparatus |
WO1999052072A1 (fr) | 1998-04-07 | 1999-10-14 | Omron Corporation | Dispositif et procede de traitement d'images, support de stockage de programme pour traitement d'images, et dispositif d'inspection |
US6804103B1 (en) | 1999-09-28 | 2004-10-12 | Matsushita Electric Industrial Co., Ltd. | Electronic component and method for manufacturing the same |
US7345362B2 (en) | 1999-09-28 | 2008-03-18 | Matsushita Electric Industrial Co., Ltd. | Electronic component and method for manufacturing the same |
JP2005078375A (ja) * | 2003-08-29 | 2005-03-24 | Sony Corp | 方向認識装置、方向認識方法、方向認識システム及びロボット装置 |
US7672503B2 (en) | 2003-08-29 | 2010-03-02 | Sony Corporation | Direction-recognizing apparatus, direction-recognizing method, direction-recognizing system, and robot apparatus |
JP2005270480A (ja) * | 2004-03-26 | 2005-10-06 | Sumitomo Rubber Ind Ltd | ゴルフスウィング計測システム |
JP2005270534A (ja) * | 2004-03-26 | 2005-10-06 | Sumitomo Rubber Ind Ltd | ゴルフスウィング計測方法 |
JP2007164518A (ja) * | 2005-12-14 | 2007-06-28 | Denso Corp | 楕円検出方法、画像認識装置、制御装置 |
JP2007164517A (ja) * | 2005-12-14 | 2007-06-28 | Denso Corp | 図形中心検出方法、楕円検出方法、画像認識装置、制御装置 |
JP4635857B2 (ja) * | 2005-12-14 | 2011-02-23 | 株式会社デンソー | 楕円検出方法、画像認識装置、制御装置 |
JP4645433B2 (ja) * | 2005-12-14 | 2011-03-09 | 株式会社デンソー | 図形中心検出方法、楕円検出方法、画像認識装置、制御装置 |
JP2007213565A (ja) * | 2006-01-13 | 2007-08-23 | Toshiba Corp | 画像処理装置、方法、プログラム |
JP2008305256A (ja) * | 2007-06-08 | 2008-12-18 | Anoto Ab | 電子印鑑及び電子印鑑システム |
WO2011065069A1 (ja) * | 2009-11-24 | 2011-06-03 | シャープ株式会社 | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、及び画像処理装置の制御方法 |
JP2011113133A (ja) * | 2009-11-24 | 2011-06-09 | Sharp Corp | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体及び画像処理装置の制御方法 |
JP2014006803A (ja) * | 2012-06-26 | 2014-01-16 | Seiko Precision Inc | 穴開け位置決定装置、穴開け位置決定方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3372419B2 (ja) | 2003-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102426649B (zh) | 一种简单的高准确率的钢印数字自动识别方法 | |
JP4970195B2 (ja) | 人物追跡システム、人物追跡装置および人物追跡プログラム | |
US8121400B2 (en) | Method of comparing similarity of 3D visual objects | |
JP4868530B2 (ja) | 画像認識装置 | |
CN103093274B (zh) | 基于视频的行人计数的方法 | |
CN106295491B (zh) | 车道直线检测方法及装置 | |
CN106407924A (zh) | 基于路面特征的双目道路识别检测方法 | |
US8744189B2 (en) | Character region extracting apparatus and method using character stroke width calculation | |
JP3372419B2 (ja) | 物体認識方法 | |
KR101742115B1 (ko) | 건물 인식을 위한 멀티뷰 영상에서의 인라이어 선택 및 잉여 제거 방법 | |
KR101295092B1 (ko) | 차량용 색상검출기 | |
US20190349572A1 (en) | Image processing apparatus, image processing method, and program | |
CN109344758B (zh) | 基于改进局部二值模式的人脸识别方法 | |
CN109523594A (zh) | 一种视觉托盒特征点坐标定位方法及*** | |
Le et al. | Pedestrian lane detection in unstructured environments for assistive navigation | |
CN112800797B (zh) | 一种dm码的区域定位方法及*** | |
JPH03192474A (ja) | 3次元形状計測方式 | |
CN105139428B (zh) | 一种基于四元数的彩色图像surf特征描述方法和*** | |
US7346193B2 (en) | Method for detecting object traveling direction | |
Fujita et al. | Floor fingerprint verification using a gravity-aware smartphone | |
Campadelli et al. | A color based method for face detection | |
JP3358997B2 (ja) | 刻印マーク識別装置 | |
Jin et al. | A novel coarse-to-fine method for registration of multispectral images | |
JPH10162139A (ja) | 画像処理装置、および画像処理プログラムを記録した媒体 | |
CN110084841A (zh) | 一种基于log算子的加权引导图滤波立体匹配算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021029 |
|
LAPS | Cancellation because of no payment of annual fees |