JPH077445B2 - 画像認識装置 - Google Patents
画像認識装置Info
- Publication number
- JPH077445B2 JPH077445B2 JP61219538A JP21953886A JPH077445B2 JP H077445 B2 JPH077445 B2 JP H077445B2 JP 61219538 A JP61219538 A JP 61219538A JP 21953886 A JP21953886 A JP 21953886A JP H077445 B2 JPH077445 B2 JP H077445B2
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- feature
- data
- characteristic
- extracting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、撮影画像と、予測画像との変化を認識する画
像認識装置に係り、さらに、ロボツト等の移動体のため
の誘導装置に付加することにより、環境の変化に対し
て、移動体を目的地まで移動させるに好適な画像認識装
置に関する。
像認識装置に係り、さらに、ロボツト等の移動体のため
の誘導装置に付加することにより、環境の変化に対し
て、移動体を目的地まで移動させるに好適な画像認識装
置に関する。
従来、移動体の誘導のための画像認識装置は、例えば、
特開昭59−200315号公報及び、特開昭59−201114号公報
に記載のように、予測パターンと検出パターンとの画素
単位の比較を行い、車両を自動走行させている。予測パ
ターンは、あらかじめ走行計画に基づき、３次元幾何学
データから、現在地のデータをもとに透視透影変換によ
り得られる。
特開昭59−200315号公報及び、特開昭59−201114号公報
に記載のように、予測パターンと検出パターンとの画素
単位の比較を行い、車両を自動走行させている。予測パ
ターンは、あらかじめ走行計画に基づき、３次元幾何学
データから、現在地のデータをもとに透視透影変換によ
り得られる。
上記従来技術は、予め記憶したデータから、走行距離に
応じて、予測パターンを抽出し、現在撮影した映像から
得た検出パターンとの比較を行うため、比較対象が、各
々のパターンに含まれることが前提となつている。従つ
て、対象パターンが、予測画像及び検出画像内に含まれ
なければならない。また、走行距離より得た予測パター
ンは、何ら誤差を含んではいけない。さらに記憶した環
境と、現在採取している環境とに何ら変化が生じてはい
けないなどの問題があつた。
応じて、予測パターンを抽出し、現在撮影した映像から
得た検出パターンとの比較を行うため、比較対象が、各
々のパターンに含まれることが前提となつている。従つ
て、対象パターンが、予測画像及び検出画像内に含まれ
なければならない。また、走行距離より得た予測パター
ンは、何ら誤差を含んではいけない。さらに記憶した環
境と、現在採取している環境とに何ら変化が生じてはい
けないなどの問題があつた。
本発明の目的は、地図に記述された目標物の幾何学的変
化を用いて、環境の変化を認識することができる画像認
識装置を提供することにある。
化を用いて、環境の変化を認識することができる画像認
識装置を提供することにある。
本発明の上記の目的は、撮影画像からその特徴エツジパ
ターンの変化を抽出する画像認識装置において、エツジ
の予測特徴データを記憶する手段と、予測特徴データを
特徴パラメータに変換する手段と、撮影画像から観測特
徴データを抽出する手段と、この手段の観測特徴データ
を特徴パラメータに変換する手段と、２つのパラメータ
の整合性を判断する手段と、この判断結果から画像の変
化を決定する手段とを備えることにより、達成される。
ターンの変化を抽出する画像認識装置において、エツジ
の予測特徴データを記憶する手段と、予測特徴データを
特徴パラメータに変換する手段と、撮影画像から観測特
徴データを抽出する手段と、この手段の観測特徴データ
を特徴パラメータに変換する手段と、２つのパラメータ
の整合性を判断する手段と、この判断結果から画像の変
化を決定する手段とを備えることにより、達成される。
パラメータの整合性判断手段は、直線の組合せで表現し
た予測特徴データの特徴パラメータと観測特徴データの
特徴パラメータとを比較し、決定手段はその比街結果に
より対象物の状態を判断し、その結果をロボツト行動部
に与える。これにより、ロボツト行動部はロボツトに対
し行動計画の変更、確認を指示する。
た予測特徴データの特徴パラメータと観測特徴データの
特徴パラメータとを比較し、決定手段はその比街結果に
より対象物の状態を判断し、その結果をロボツト行動部
に与える。これにより、ロボツト行動部はロボツトに対
し行動計画の変更、確認を指示する。
以下図面を参照して本発明の実施例を説明する。
第１図は本発明の装置の一実施例を示すもので、この図
において、１は移動体となるロボツト、２はロボツト１
に搭載したカメラ、３は環境を３次元データとして記述
している地図データベース、４は検出パタン抽出部で、
この検出パタン抽出部４は、カメラ２により撮りこまれ
た多値画像に、微分を施し２値化し、エツジ画像を抽出
する。５は特徴パラメータ抽出部で、この特徴パラメー
タ抽出部５は、エツジ画像に直線をあてはめ、直線を表
す検出特徴パラメータを抽出する。６は予測パタン抽出
部で、この予測パタン抽出部６は、地図データベース３
に記述されている３次元データに透視投影変換を施し、
２次元予測パタンを生成する。７は特徴パラメータ抽出
部で、この特徴パラメータ抽出部７は２次元データの端
点情報から、直線を表す予測特徴データを抽出する。８
はパラメータ整合性判断部で、この判断部８は、検出特
徴パラメータと予測特徴パラメータに、リストマツチン
グを施し、整合結果を出力する。９は状況判断部で、こ
の状況判断部９は、整合結果の組み合わせから、状況を
判断し、状況結果を出力する。10はロボツト行動部で、
この行動部10は状況結果をもとに、ロボツト１に対して
行動計画を必要とあれば、変更する。
において、１は移動体となるロボツト、２はロボツト１
に搭載したカメラ、３は環境を３次元データとして記述
している地図データベース、４は検出パタン抽出部で、
この検出パタン抽出部４は、カメラ２により撮りこまれ
た多値画像に、微分を施し２値化し、エツジ画像を抽出
する。５は特徴パラメータ抽出部で、この特徴パラメー
タ抽出部５は、エツジ画像に直線をあてはめ、直線を表
す検出特徴パラメータを抽出する。６は予測パタン抽出
部で、この予測パタン抽出部６は、地図データベース３
に記述されている３次元データに透視投影変換を施し、
２次元予測パタンを生成する。７は特徴パラメータ抽出
部で、この特徴パラメータ抽出部７は２次元データの端
点情報から、直線を表す予測特徴データを抽出する。８
はパラメータ整合性判断部で、この判断部８は、検出特
徴パラメータと予測特徴パラメータに、リストマツチン
グを施し、整合結果を出力する。９は状況判断部で、こ
の状況判断部９は、整合結果の組み合わせから、状況を
判断し、状況結果を出力する。10はロボツト行動部で、
この行動部10は状況結果をもとに、ロボツト１に対して
行動計画を必要とあれば、変更する。
次に上述した本発明の装置の一実施例の動作を説明す
る。
る。
ロボツト１が地図上にもうけられた環境理解のチエツク
ポイントへ到達した時、状況判断開始命令が、カメラ２
及び地図データベース３へ伝えられる。
ポイントへ到達した時、状況判断開始命令が、カメラ２
及び地図データベース３へ伝えられる。
まず、カメラ２は環境を撮影し、多値画像を得る。検出
パタン抽出部４は撮影した多値画像にラプラシアン微分
を施し、２値化して、エツジ画像を得る。このエツジ画
像は特徴パラメータ抽出部５にて、ハフ（Hough）変換
を施され、特徴パラメータが抽出される。
パタン抽出部４は撮影した多値画像にラプラシアン微分
を施し、２値化して、エツジ画像を得る。このエツジ画
像は特徴パラメータ抽出部５にて、ハフ（Hough）変換
を施され、特徴パラメータが抽出される。
上述したハフ（Hough）変換による直線あてはめの原理
を第２図を用いて説明する。画面内に得られた画像デー
タＤは、対象物を構成する線分をなす画素データＤ
ａと、照明や、絞りの条件によつて生じるノイズとなる
画素データＤｂとから成る。いま、画像データＤの左下
を原点とし、横軸をｘ、縦軸をｙとすると、対象物を構
成する線分は、直線の方程式ｘ＝a1,x＝a2,y＝b1,y＝b2
の４本で示される。ノイズデータのうち線を構成できる
場合、ノイズとしての線分、ｘ＝a3が抽出される。特徴
パラメータは、a1,a2,b1,b2,a3となる。
を第２図を用いて説明する。画面内に得られた画像デー
タＤは、対象物を構成する線分をなす画素データＤ
ａと、照明や、絞りの条件によつて生じるノイズとなる
画素データＤｂとから成る。いま、画像データＤの左下
を原点とし、横軸をｘ、縦軸をｙとすると、対象物を構
成する線分は、直線の方程式ｘ＝a1,x＝a2,y＝b1,y＝b2
の４本で示される。ノイズデータのうち線を構成できる
場合、ノイズとしての線分、ｘ＝a3が抽出される。特徴
パラメータは、a1,a2,b1,b2,a3となる。
一方、地図データベース７に格納されているデータは、
予め状況判断地点において、予測パターン抽出部６によ
り特徴パラメータが抽出されている。
予め状況判断地点において、予測パターン抽出部６によ
り特徴パラメータが抽出されている。
検出画像から抽出した第２図に示す特徴パラメータは、
パラメータ整合判断部８において、予測される特徴パラ
メータにリストマツチングを施される。
パラメータ整合判断部８において、予測される特徴パラ
メータにリストマツチングを施される。
このリストマツチングの原理を第３図を用いて説明す
る。この図において、αは水平成分パラメータを、βは
垂直成分パラメータを示す。検出特徴パラメータおよび
予測特徴パラメータを、あるルールに従って一次元的な
リストに並びかえる。そのルールを一例として垂直方向
の線分および水平方向の線分の場合を例に具体的に述べ
ると、ｙ＝ｑ（ｑは定数）で表わされる垂直線分パラメ
ータに、例えば1000の重み付けを与えて、ｑ′＝ｑ＋10
00と変換し、ｘ＝ｐ（ｐは定数）で表わされる水平線分
パラメータと共に、大きさの順に並べる。このように垂
直線分のパラメータ値をバイアス（1000）分大きくする
ことにより、例えば画面サイズが水平，垂直とも512画
素の場合には、必ず水平線分（ｐの順）から垂直線分
（ｑの順）に一次元的にリスト化される。この並び替え
ルールは任意方向（θ，θ＝０゜：水平，θ＝90゜：垂
直）の場合にも適用できる。この任意方向の線分を含む
場合には、線分の原点からの距離を表わすパラメータφ
（θ）をφ′（θ）＝φ（θ）＋1000×θと変換すれば
良い。前述した重み付けは、検出特徴パターンと予測特
徴パターンとの照合回数を削減するための役割を果たす
ものである。検出リストは、存在する線分を全部抽出す
るため、図中のパラメータβ3,β4,β５といつたノイズ
をも含む。そして検出リストＬＤが例えば（α1,α2,β
1,β5,β2,β3,β４）となり、予測リストＬＲが
（α１′，α２′，β１′，β２′）である場合に、こ
れらの検出リストＬＤを予測リストＬＲのリストの要素
の先頭から順に比較し、例えばα１′＝α1,α２′＝α
2,β１′＝β1,β２′＝β２のように予測リストＬＲと
同じ要素が同じ順番に検出リストＬＤに存在する場合、
整合性があると判断する。実際には、整合性に幅を持た
せ、各要素の数％のずれは、誤差範囲とみなしている。
る。この図において、αは水平成分パラメータを、βは
垂直成分パラメータを示す。検出特徴パラメータおよび
予測特徴パラメータを、あるルールに従って一次元的な
リストに並びかえる。そのルールを一例として垂直方向
の線分および水平方向の線分の場合を例に具体的に述べ
ると、ｙ＝ｑ（ｑは定数）で表わされる垂直線分パラメ
ータに、例えば1000の重み付けを与えて、ｑ′＝ｑ＋10
00と変換し、ｘ＝ｐ（ｐは定数）で表わされる水平線分
パラメータと共に、大きさの順に並べる。このように垂
直線分のパラメータ値をバイアス（1000）分大きくする
ことにより、例えば画面サイズが水平，垂直とも512画
素の場合には、必ず水平線分（ｐの順）から垂直線分
（ｑの順）に一次元的にリスト化される。この並び替え
ルールは任意方向（θ，θ＝０゜：水平，θ＝90゜：垂
直）の場合にも適用できる。この任意方向の線分を含む
場合には、線分の原点からの距離を表わすパラメータφ
（θ）をφ′（θ）＝φ（θ）＋1000×θと変換すれば
良い。前述した重み付けは、検出特徴パターンと予測特
徴パターンとの照合回数を削減するための役割を果たす
ものである。検出リストは、存在する線分を全部抽出す
るため、図中のパラメータβ3,β4,β５といつたノイズ
をも含む。そして検出リストＬＤが例えば（α1,α2,β
1,β5,β2,β3,β４）となり、予測リストＬＲが
（α１′，α２′，β１′，β２′）である場合に、こ
れらの検出リストＬＤを予測リストＬＲのリストの要素
の先頭から順に比較し、例えばα１′＝α1,α２′＝α
2,β１′＝β1,β２′＝β２のように予測リストＬＲと
同じ要素が同じ順番に検出リストＬＤに存在する場合、
整合性があると判断する。実際には、整合性に幅を持た
せ、各要素の数％のずれは、誤差範囲とみなしている。
次に、状況判断部９の動作を第４図を用いて説明する。
ここでは、環境内にしばしば存在するドアを対象とし、
ドアの開閉状況を判断する。ケースA,Bは、予測画像の
パタンで、ケースＡはドアが開いている場合、ケースＢ
は閉じた場合を示す。ケースI,II,IIIはそれぞれ検出画
像例を示すもので、ケースＩは閉じたドア，ケースIIは
開いたドア、そしてケースIIIは何かの障害でドアを構
成する線分が検出されない場合、あるいは、存在するは
ずのない線分が検出された場合のパタンを示している。
パタン整合性判断部の判断結果を、整合性有りの場合、
“成功”無しの場合、“失敗”で表示している。状況判
断部９では、整合結果の組みあわせから、ドアの状況、
“ドアは閉じている”“ドアは開いている”“判断不能
（？）”のいずれかの状況判断結果を出力する。判断結
果は、ロボツト行動部10に渡され、必要とあれば、ロボ
ツトの行動計画を変更する。
ここでは、環境内にしばしば存在するドアを対象とし、
ドアの開閉状況を判断する。ケースA,Bは、予測画像の
パタンで、ケースＡはドアが開いている場合、ケースＢ
は閉じた場合を示す。ケースI,II,IIIはそれぞれ検出画
像例を示すもので、ケースＩは閉じたドア，ケースIIは
開いたドア、そしてケースIIIは何かの障害でドアを構
成する線分が検出されない場合、あるいは、存在するは
ずのない線分が検出された場合のパタンを示している。
パタン整合性判断部の判断結果を、整合性有りの場合、
“成功”無しの場合、“失敗”で表示している。状況判
断部９では、整合結果の組みあわせから、ドアの状況、
“ドアは閉じている”“ドアは開いている”“判断不能
（？）”のいずれかの状況判断結果を出力する。判断結
果は、ロボツト行動部10に渡され、必要とあれば、ロボ
ツトの行動計画を変更する。
上述した本発明の実施例によれば、予測パタンを、幾何
学データで表わす場合と比べ、パラメータで表現するこ
とにより、予測データベースのサイズが、縮小される。
具体的にドアを用いた場合について説明する。ドアを構
成する線分は、２次元では、一線分の端点は、１データ
を1byteとすれば、4byte必要である。これに対し、縦又
は横の直線のパラメータは1byte、斜めの場合も2byteと
なり、全体のデータサイズは1/2以下になる。これによ
り、データ検索の速度も増大する。したがつて、多様な
パタンの判断が可能となる。
学データで表わす場合と比べ、パラメータで表現するこ
とにより、予測データベースのサイズが、縮小される。
具体的にドアを用いた場合について説明する。ドアを構
成する線分は、２次元では、一線分の端点は、１データ
を1byteとすれば、4byte必要である。これに対し、縦又
は横の直線のパラメータは1byte、斜めの場合も2byteと
なり、全体のデータサイズは1/2以下になる。これによ
り、データ検索の速度も増大する。したがつて、多様な
パタンの判断が可能となる。
なお、上述の実施例における検出パタン抽出部４を第１
の計算機で構成し、特徴パラメータ抽出部５およびパラ
メータ整合判断部８を第２の計算機で構成し、これらの
計算機をパイプラインに接続して構成することもでき
る。
の計算機で構成し、特徴パラメータ抽出部５およびパラ
メータ整合判断部８を第２の計算機で構成し、これらの
計算機をパイプラインに接続して構成することもでき
る。
この構成によれば、２台の計算機をパイプラインに接続
して、実行できるアルゴリズムを構成しているので、認
識速度を２倍に向上させることができる。
して、実行できるアルゴリズムを構成しているので、認
識速度を２倍に向上させることができる。
以上述べたように、本発明は直線の組合せで表現した予
測特徴パラメータと観測特徴データの特徴パラメータと
を比較し、その比較結果の組合せによって観測対象物の
状況を判断し得るようにしたので、この判断結果にもと
づいて移動体の前方に位置する目標対象の状態を確認す
ることができる。その結果、移動体の行動計画の変更，
確認を行うことができる。
測特徴パラメータと観測特徴データの特徴パラメータと
を比較し、その比較結果の組合せによって観測対象物の
状況を判断し得るようにしたので、この判断結果にもと
づいて移動体の前方に位置する目標対象の状態を確認す
ることができる。その結果、移動体の行動計画の変更，
確認を行うことができる。
第１図は本発明の装置の一実施例の構成を示す図、第２
図は本発明に用いられる特徴パタン抽出動作を示す説明
図、第３図は本発明に用いられるリストマツチング動作
を示す説明図、第４図は本発明の装置を構成する状況判
断部での判断例を示す図である。 １……ロボツト、２……カメラ、３……地図データベー
ス、４……検出パタン抽出部、５……特徴パタン抽出
部、６……予測パタン抽出部、７……特徴パタン抽出
部、８……パラメータ整合性判断部、９……状況判断
部、10……ロボツト行動部。
図は本発明に用いられる特徴パタン抽出動作を示す説明
図、第３図は本発明に用いられるリストマツチング動作
を示す説明図、第４図は本発明の装置を構成する状況判
断部での判断例を示す図である。 １……ロボツト、２……カメラ、３……地図データベー
ス、４……検出パタン抽出部、５……特徴パタン抽出
部、６……予測パタン抽出部、７……特徴パタン抽出
部、８……パラメータ整合性判断部、９……状況判断
部、10……ロボツト行動部。
Claims (3)
- 【請求項１】撮影画像から直線成分によって特徴付けら
れる観測特徴データとその予測特徴データとにもとづい
て、移動体の誘導のためのデータを抽出する画像処理装
置において、前記観測特徴の２値化データをハフ変換に
よって線分の原点からの距離として表現される特徴パラ
メータとして抽出する第１の特徴パラメータ抽出手段
と、前記予測特徴データより、線分の原点からの距離と
して表現される特徴パラメータを抽出する第２の特徴パ
ラメータ抽出手段と、前記第１の特徴パラメータ抽出手
段からの特徴パラメータに、ハフ変換が生成する他の１
つの情報である線分の方向として表現される方向パラメ
ータによる重み付けを与えてリスト化し、これらのパラ
メータと第２の特徴パラメータ抽出手段からの特徴パラ
メータとを比較して、整合性を判別するパラメータ整合
性判別手段と、前記パラメータ整合性判別手段からの整
合性の有無の結果の組み合わせによって、撮影した対象
物の状況を判別し出力する状況判断手段とを備えたこと
を特徴とする画像処理装置。 - 【請求項２】観測特徴データから特徴パラメータを抽出
する手段はエッジ画像から、直線の方程式を求めパラメ
ータを出力する演算器で構成し、前記判別手段は特徴パ
ラメータと、前記演算器から出力されるパラメータとを
比較し整合性を判別する整合器で構成したことを特徴と
する特許請求の範囲第１項記載の画像認識装置。 - 【請求項３】撮影画像から観測特徴データを求める手段
を第１の計算機で構成し、観測特徴データを特徴パラメ
ータに変換する手段およびこの手段で求めた特徴パラメ
ータと予測特徴データの特徴パラメータとの整合性を判
別する手段を第２の計算機で構成し、これらの計算機を
パイプラインで接続し、並列に稼働したことを特徴とす
る特許請求の範囲第１項記載の画像認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP61219538A JPH077445B2 (ja) | 1986-09-19 | 1986-09-19 | 画像認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP61219538A JPH077445B2 (ja) | 1986-09-19 | 1986-09-19 | 画像認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS6375984A JPS6375984A (ja) | 1988-04-06 |
| JPH077445B2 true JPH077445B2 (ja) | 1995-01-30 |
Family
ID=16737057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP61219538A Expired - Lifetime JPH077445B2 (ja) | 1986-09-19 | 1986-09-19 | 画像認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH077445B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3426002B2 (ja) * | 1993-09-20 | 2003-07-14 | 三菱電機株式会社 | 物体認識装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61877A (ja) * | 1984-06-14 | 1986-01-06 | Amada Co Ltd | 形状認識装置 |
-
1986
- 1986-09-19 JP JP61219538A patent/JPH077445B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPS6375984A (ja) | 1988-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shao et al. | Real-time and accurate UAV pedestrian detection for social distancing monitoring in COVID-19 pandemic | |
| US5757287A (en) | Object recognition system and abnormality detection system using image processing | |
| Dedeoğlu | Moving object detection, tracking and classification for smart video surveillance | |
| EP1113388B1 (en) | Visual device | |
| Memon et al. | A video based vehicle detection, counting and classification system | |
| JP2001266123A (ja) | 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体 | |
| CN113508420A (zh) | 物体追踪装置以及物体追踪方法 | |
| CN101383005A (zh) | 一种利用辅助规则纹理的乘客目标图像和背景分离方法 | |
| JP4729188B2 (ja) | 視線検出装置 | |
| JP2023539865A (ja) | リアルタイムなクロススペクトルオブジェクトの関連付け及び深度推定 | |
| Alam et al. | Decision support system for real-time people counting in a crowded environment | |
| JP7188067B2 (ja) | 人検出装置および人検出方法 | |
| Duan et al. | Real time road edges detection and road signs recognition | |
| Aguirre et al. | Using a deep learning model on images to obtain a 2d laser people detector for a mobile robot | |
| Zhang et al. | Insulator profile detection of transmission line based on traditional edge detection algorithm | |
| JPH077445B2 (ja) | 画像認識装置 | |
| JP2615055B2 (ja) | ハフ変換装置 | |
| CN113642490A (zh) | 一种目标检测跟踪一体化方法及装置 | |
| JP2001074444A (ja) | 撮像装置の設置姿勢パラメータ自動抽出方法及び撮像装置を用いた監視システム | |
| Su | Vanishing points in road recognition: A review | |
| KR101169340B1 (ko) | 영상 처리 시스템에서의 객체 인식 방법 및 시스템 | |
| Mapurisa et al. | Improved edge detection for satellite images | |
| Deshpande et al. | Pedestrian detection | |
| EP4131176A1 (en) | Method and apparatus for detecting object in image | |
| Habib et al. | Automatic extraction of road signs from terrestrial color imagery |