JPH0566830A - 移動車の環境認識装置 - Google Patents
移動車の環境認識装置Info
- Publication number
- JPH0566830A JPH0566830A JP3254620A JP25462091A JPH0566830A JP H0566830 A JPH0566830 A JP H0566830A JP 3254620 A JP3254620 A JP 3254620A JP 25462091 A JP25462091 A JP 25462091A JP H0566830 A JPH0566830 A JP H0566830A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image pickup
- focus
- obstacle
- moving vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 27
- 238000003384 imaging method Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 238000000605 extraction Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 2
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 障害物の認識をより迅速に行うことのできる
移動車の環境認識装置を提供する。 【構成】 走行路面100を走行中の移動車には、撮像
手段10が搭載される。撮像手段10は、走行路面10
0上の所定領域110の画像を光学系20を介して撮像
する。所定領域110内のすべての点が、撮像手段10
の撮像面11に鮮明に結像するように、この撮像系の焦
点調節がなされる。所定領域110内に障害物がなけれ
ば、撮像面11には焦点が合った鮮明な像が得られる。
障害物200が存在すると、焦点が合わなくなるため、
撮像面11上にピンボケ像が得られる。撮像面11に得
られた像について、エッジ抽出を行い、抽出したエッジ
について焦点合致度の低い部分を抽出することにより、
障害物200の認識ができる。
移動車の環境認識装置を提供する。 【構成】 走行路面100を走行中の移動車には、撮像
手段10が搭載される。撮像手段10は、走行路面10
0上の所定領域110の画像を光学系20を介して撮像
する。所定領域110内のすべての点が、撮像手段10
の撮像面11に鮮明に結像するように、この撮像系の焦
点調節がなされる。所定領域110内に障害物がなけれ
ば、撮像面11には焦点が合った鮮明な像が得られる。
障害物200が存在すると、焦点が合わなくなるため、
撮像面11上にピンボケ像が得られる。撮像面11に得
られた像について、エッジ抽出を行い、抽出したエッジ
について焦点合致度の低い部分を抽出することにより、
障害物200の認識ができる。
Description
【0001】
【産業上の利用分野】本発明は移動車の環境認識装置、
特に、CCDカメラなどの画像入力手段を用いた移動車
の環境認識装置に関する。
特に、CCDカメラなどの画像入力手段を用いた移動車
の環境認識装置に関する。
【0002】
【従来の技術】自律走行車などでは、路上前方の障害物
を迅速に認識することが必要になる。このような障害物
を認識するための環境認識装置は、通常、CCDカメラ
などの撮像装置と、この撮像装置で入力した画像から障
害物を認識する処理を行う演算処理装置と、によって構
成されている。たとえば、特開昭64−26913号公
報には、障害物を走行路の縁に沿った領域帯として認識
し、障害物への衝突を回避する技術が開示されている。
を迅速に認識することが必要になる。このような障害物
を認識するための環境認識装置は、通常、CCDカメラ
などの撮像装置と、この撮像装置で入力した画像から障
害物を認識する処理を行う演算処理装置と、によって構
成されている。たとえば、特開昭64−26913号公
報には、障害物を走行路の縁に沿った領域帯として認識
し、障害物への衝突を回避する技術が開示されている。
【0003】
【発明が解決しようとする課題】一般に、撮像装置によ
って入力した二次元画像に基づいて、立体障害物の存在
を認識する手法は、複雑なアルゴリズムに基づく演算が
必要となる。このため、演算処理量は膨大なものとな
り、演算処理時間も長くかかることになる。ところが、
移動車は常に走行を続けており、障害物の認識に時間が
かかると、障害物への衝突を回避することが困難にな
る。
って入力した二次元画像に基づいて、立体障害物の存在
を認識する手法は、複雑なアルゴリズムに基づく演算が
必要となる。このため、演算処理量は膨大なものとな
り、演算処理時間も長くかかることになる。ところが、
移動車は常に走行を続けており、障害物の認識に時間が
かかると、障害物への衝突を回避することが困難にな
る。
【0004】そこで本発明は、障害物の認識をより迅速
に行うことのできる移動車の環境認識装置を提供するこ
とを目的とする。
に行うことのできる移動車の環境認識装置を提供するこ
とを目的とする。
【0005】
【課題を解決するための手段】本発明は、移動車の環境
認識装置において、移動車の走行路面の所定領域の画像
を入力するための撮像手段を、この所定領域内の各部に
対して焦点が合うように設置し、撮像手段で入力した画
像のエッジを抽出するエッジ抽出手段と、検出したエッ
ジのうち焦点合致度の低い部分を抽出する部分抽出手段
と、を設け、部分抽出手段によって抽出された部分によ
り、立体障害物の存在を認識できるようにしたものであ
る。
認識装置において、移動車の走行路面の所定領域の画像
を入力するための撮像手段を、この所定領域内の各部に
対して焦点が合うように設置し、撮像手段で入力した画
像のエッジを抽出するエッジ抽出手段と、検出したエッ
ジのうち焦点合致度の低い部分を抽出する部分抽出手段
と、を設け、部分抽出手段によって抽出された部分によ
り、立体障害物の存在を認識できるようにしたものであ
る。
【0006】
【作 用】本発明による移動車の環境認識装置では、撮
像手段は走行路面の所定領域内の各部に対して焦点が合
うように設置される。したがって、走行路面上の所定領
域内に、何ら立体障害物が存在しない場合には、撮像手
段で入力した画像は各部において焦点が合った画像とな
る。ところが、所定領域内に立体障害物が存在すると、
撮像手段の焦点は走行路面に合わせてあるため、この立
体障害物の画像については焦点が合わなくなり、エッジ
部分がピンボケになる。そこで、撮像手段が入力した画
像について、エッジを検出し、このエッジについての焦
点合致度を調べれば、立体障害物の認識を行うことがで
きる。すなわち、焦点合致度の低いエッジで囲まれた部
分が立体障害物であると認識することができる。上述の
エッジ抽出処理や焦点合致判定処理は、比較的単純な演
算によって行うことができるため、障害物の認識処理を
迅速に行うことができる。
像手段は走行路面の所定領域内の各部に対して焦点が合
うように設置される。したがって、走行路面上の所定領
域内に、何ら立体障害物が存在しない場合には、撮像手
段で入力した画像は各部において焦点が合った画像とな
る。ところが、所定領域内に立体障害物が存在すると、
撮像手段の焦点は走行路面に合わせてあるため、この立
体障害物の画像については焦点が合わなくなり、エッジ
部分がピンボケになる。そこで、撮像手段が入力した画
像について、エッジを検出し、このエッジについての焦
点合致度を調べれば、立体障害物の認識を行うことがで
きる。すなわち、焦点合致度の低いエッジで囲まれた部
分が立体障害物であると認識することができる。上述の
エッジ抽出処理や焦点合致判定処理は、比較的単純な演
算によって行うことができるため、障害物の認識処理を
迅速に行うことができる。
【0007】
【実施例】以下、本発明を図示する実施例に基づいて説
明する。図1は、本発明に係る移動車の環境認識装置の
基本原理を示す図である。いま、走行路面100上を走
行中の移動車に、撮像手段10(たとえば、CCDカメ
ラ)を搭載し、走行路前方の所定領域110(太線で示
した部分)の画像を入力する場合を考える。すなわち、
光学系20によって所定領域110の画像を撮像手段1
0の撮像面11に投影する。このとき、所定領域110
の全領域にわたって存在するすべての微小部分につい
て、撮像面11上に焦点が合うような理想的な光学系2
0を用意したとする。すなわち、走行路面100の平面
内の所定領域110内に存在するすべての点は、撮像面
11上に鮮明に像を結ぶことになる。より具体的に説明
すると、走行路面100上の点R1は、撮像面11上の
点Q1に鮮明な像を結び、走行路面100上の点R2
は、撮像面11上の点Q2に鮮明な像を結ぶことにな
り、走行路面100上の点R1〜R2の間の各点は、撮
像面11上の点Q1〜Q2の間に鮮明な像を結ぶことに
なる。
明する。図1は、本発明に係る移動車の環境認識装置の
基本原理を示す図である。いま、走行路面100上を走
行中の移動車に、撮像手段10(たとえば、CCDカメ
ラ)を搭載し、走行路前方の所定領域110(太線で示
した部分)の画像を入力する場合を考える。すなわち、
光学系20によって所定領域110の画像を撮像手段1
0の撮像面11に投影する。このとき、所定領域110
の全領域にわたって存在するすべての微小部分につい
て、撮像面11上に焦点が合うような理想的な光学系2
0を用意したとする。すなわち、走行路面100の平面
内の所定領域110内に存在するすべての点は、撮像面
11上に鮮明に像を結ぶことになる。より具体的に説明
すると、走行路面100上の点R1は、撮像面11上の
点Q1に鮮明な像を結び、走行路面100上の点R2
は、撮像面11上の点Q2に鮮明な像を結ぶことにな
り、走行路面100上の点R1〜R2の間の各点は、撮
像面11上の点Q1〜Q2の間に鮮明な像を結ぶことに
なる。
【0008】ここで、走行路面100上に立体的な障害
物200(図に破線で示す)が存在する場合を考えてみ
よう。前述のように、光学系20の焦点は、走行路面1
00の平面内の対象物を撮像面11上に結像させるよう
に調節されている。したがって、走行路面100より近
くにある障害物200の像は、焦点が合わないため撮像
面11上ではピンボケの画像となる。そこで、撮像面1
1に得られた画像について、ピンボケの部分を検出すれ
ば、この部分に立体障害物が存在することが認識でき
る。ピンボケの部分の検出は、撮像面11上に得られた
画像について、エッジを抽出する処理を行い、このエッ
ジ部分における画素値の変化率を求めることによって行
うことができる。画素値の変化が急峻であれば鮮明な画
像が得られているが、緩慢であればピンボケの画像が得
られていることが認識できる。
物200(図に破線で示す)が存在する場合を考えてみ
よう。前述のように、光学系20の焦点は、走行路面1
00の平面内の対象物を撮像面11上に結像させるよう
に調節されている。したがって、走行路面100より近
くにある障害物200の像は、焦点が合わないため撮像
面11上ではピンボケの画像となる。そこで、撮像面1
1に得られた画像について、ピンボケの部分を検出すれ
ば、この部分に立体障害物が存在することが認識でき
る。ピンボケの部分の検出は、撮像面11上に得られた
画像について、エッジを抽出する処理を行い、このエッ
ジ部分における画素値の変化率を求めることによって行
うことができる。画素値の変化が急峻であれば鮮明な画
像が得られているが、緩慢であればピンボケの画像が得
られていることが認識できる。
【0009】以上が本発明の基本原理である。このよう
な原理に基づく障害物認識を行うためには、所定領域1
10内の各点について、撮像面11上に鮮明な像が得ら
れるように、光学系20の焦点調節を行うことが重要で
ある。なお、本明細書において、「所定領域110内の
各点について鮮明な像が得られる」という意味は、「所
定領域110内のすべての点について鮮明な像が得られ
る」という意味だけでなく、「所定領域110内のすべ
ての点について、鮮明な像もしくは近似的に鮮明な像が
得られる」という意味も含むものである。理論的には、
「所定領域110内のすべての点について鮮明な像が得
られる」という条件を満たすような焦点調節を行うのが
理想であるが、後述するように、このような焦点調節を
行うことは現実的には困難であり、近似的に鮮明な像が
得られるような焦点調節を行った場合でも大きな支障は
生じない。以下、このような焦点調節の条件を、「本発
明による焦点条件」と呼ぶことにする。
な原理に基づく障害物認識を行うためには、所定領域1
10内の各点について、撮像面11上に鮮明な像が得ら
れるように、光学系20の焦点調節を行うことが重要で
ある。なお、本明細書において、「所定領域110内の
各点について鮮明な像が得られる」という意味は、「所
定領域110内のすべての点について鮮明な像が得られ
る」という意味だけでなく、「所定領域110内のすべ
ての点について、鮮明な像もしくは近似的に鮮明な像が
得られる」という意味も含むものである。理論的には、
「所定領域110内のすべての点について鮮明な像が得
られる」という条件を満たすような焦点調節を行うのが
理想であるが、後述するように、このような焦点調節を
行うことは現実的には困難であり、近似的に鮮明な像が
得られるような焦点調節を行った場合でも大きな支障は
生じない。以下、このような焦点調節の条件を、「本発
明による焦点条件」と呼ぶことにする。
【0010】現実的には、このような「本発明による焦
点条件」を満たす光学系20は、やや特殊な光学要素に
よって実現する必要がある。たとえば、光学系20から
点R1までの距離L1と、光学系20から点R2までの
距離L2とは、図示のように異なる。すなわち、移動車
に搭載された撮像手段10が、斜め前方の視野をとらえ
るため、L2>L1なる関係が得られることになる。そ
こで、焦点距離が一律である通常の凸レンズを1枚用い
ただけでは、上述のような焦点条件を実現することはで
きない。このような焦点条件を実現するための光学系2
0の実施例を図2に示す。図2(a) は、光学系20を複
数の凸レンズ20a,20b,20c,…で構成した例
である。ここで、各凸レンズの焦点距離を少しずつ変え
るようにしておけば、上述の焦点条件に近い光学系20
が実現できる。具体的には、レンズ20aを最も厚いレ
ンズとし、以下、レンズ20b,20c,…の厚みを徐
々に薄くしてゆけばよい。図2(b) は、くさび型のレン
ズにより光学系20を実現した実施例である。このクサ
ビ型レンズは、上部ほど厚く、下部ほど薄くなってお
り、焦点距離を連続的に変化させることができる。
点条件」を満たす光学系20は、やや特殊な光学要素に
よって実現する必要がある。たとえば、光学系20から
点R1までの距離L1と、光学系20から点R2までの
距離L2とは、図示のように異なる。すなわち、移動車
に搭載された撮像手段10が、斜め前方の視野をとらえ
るため、L2>L1なる関係が得られることになる。そ
こで、焦点距離が一律である通常の凸レンズを1枚用い
ただけでは、上述のような焦点条件を実現することはで
きない。このような焦点条件を実現するための光学系2
0の実施例を図2に示す。図2(a) は、光学系20を複
数の凸レンズ20a,20b,20c,…で構成した例
である。ここで、各凸レンズの焦点距離を少しずつ変え
るようにしておけば、上述の焦点条件に近い光学系20
が実現できる。具体的には、レンズ20aを最も厚いレ
ンズとし、以下、レンズ20b,20c,…の厚みを徐
々に薄くしてゆけばよい。図2(b) は、くさび型のレン
ズにより光学系20を実現した実施例である。このクサ
ビ型レンズは、上部ほど厚く、下部ほど薄くなってお
り、焦点距離を連続的に変化させることができる。
【0011】光学系20を工夫して「本発明による焦点
条件」を実現する代わりに、撮像手段10内の撮像面1
1を傾斜させても、同様の効果を得ることができる。特
殊な光学系を用意するよりも、この方法を用いた方が簡
便で低コストになる。図3は、この方法の原理を示す図
である。この方法では、光学系20(図では単に点で示
してある)としてごく普通の凸レンズ21を用いればよ
い。いま、この凸レンズ21の光軸22と走行路面10
0との交点をR、光軸22と撮像面11との交点をQと
し、点Qを通り光軸22に垂直な平面を基準面Sと定義
する。そして、撮像面11をこの基準面Sに対して図の
ように傾斜させて設置する。ここで、走行路面100上
の点R,R1,R2と凸レンズ21との距離をそれぞれ
L,L1,L2とし、撮像面11上の結像点Q,Q1,
Q2と凸レンズ21との距離をそれぞれM,M1,M2
とし、凸レンズ21の焦点距離をfとし、 1/L1 + 1/M1 = 1/f (1) 1/L2 + 1/M2 = 1/f (2) の両式を満足させるようなM1,M2が得られるよう
に、撮像面11を傾斜させれば、点R1は点Q1に鮮明
に結像し、点R2は点Q2に鮮明に結像する。また、点
R1〜R2の間の点については、撮像面11が平面であ
るため厳密には鮮明な結像ということはできないが、近
似的に点Q1〜Q2の間の点に鮮明な結像が得られると
考えてよい(点R1〜R2へ向かう程、凸レンズ21か
らの距離はL1〜L2と長くなるが、これに対応して、
結像点も点Q1〜Q2へ向かう程、凸レンズ21からの
距離がM1〜M2と短くなるため、全体的にほぼ焦点が
合致した状態となる)。したがって、撮像面11を基準
面Sに対して所定角度だけ傾斜させるだけで、「本発明
による焦点条件」が近似的に満たされることになる。
条件」を実現する代わりに、撮像手段10内の撮像面1
1を傾斜させても、同様の効果を得ることができる。特
殊な光学系を用意するよりも、この方法を用いた方が簡
便で低コストになる。図3は、この方法の原理を示す図
である。この方法では、光学系20(図では単に点で示
してある)としてごく普通の凸レンズ21を用いればよ
い。いま、この凸レンズ21の光軸22と走行路面10
0との交点をR、光軸22と撮像面11との交点をQと
し、点Qを通り光軸22に垂直な平面を基準面Sと定義
する。そして、撮像面11をこの基準面Sに対して図の
ように傾斜させて設置する。ここで、走行路面100上
の点R,R1,R2と凸レンズ21との距離をそれぞれ
L,L1,L2とし、撮像面11上の結像点Q,Q1,
Q2と凸レンズ21との距離をそれぞれM,M1,M2
とし、凸レンズ21の焦点距離をfとし、 1/L1 + 1/M1 = 1/f (1) 1/L2 + 1/M2 = 1/f (2) の両式を満足させるようなM1,M2が得られるよう
に、撮像面11を傾斜させれば、点R1は点Q1に鮮明
に結像し、点R2は点Q2に鮮明に結像する。また、点
R1〜R2の間の点については、撮像面11が平面であ
るため厳密には鮮明な結像ということはできないが、近
似的に点Q1〜Q2の間の点に鮮明な結像が得られると
考えてよい(点R1〜R2へ向かう程、凸レンズ21か
らの距離はL1〜L2と長くなるが、これに対応して、
結像点も点Q1〜Q2へ向かう程、凸レンズ21からの
距離がM1〜M2と短くなるため、全体的にほぼ焦点が
合致した状態となる)。したがって、撮像面11を基準
面Sに対して所定角度だけ傾斜させるだけで、「本発明
による焦点条件」が近似的に満たされることになる。
【0012】上述の説明では、走行路面100上の点R
1とR2との二点について、焦点を完全に合致させ、こ
れらの間の点については近似的に焦点を合致させた場合
を例にとったが、現実的には、走行路面100上の点R
とR1との二点について、焦点を完全に合致させ、その
他の点については近似的に焦点を合致させる方が好まし
い。その理由は次のとおりである。いま、走行路面10
0上の点R1〜Rまでを領域A1、点R〜R2までを領
域A2とすると、領域A2よりも領域A1についての焦
点調節の方がはるかに重要である。なぜなら、領域A2
は移動車からみて遠方にあるため、焦点が多少ずれてい
ても鮮明な結像が得られる。これに対して領域A1は移
動車からみて近傍の領域であるため、より厳密な焦点調
節が要求されるためである。そこで、この実施例では、
走行路面100上の点RとR1との二点について焦点が
完全に合致するように、撮像面11の傾斜角度を設定し
ている。
1とR2との二点について、焦点を完全に合致させ、こ
れらの間の点については近似的に焦点を合致させた場合
を例にとったが、現実的には、走行路面100上の点R
とR1との二点について、焦点を完全に合致させ、その
他の点については近似的に焦点を合致させる方が好まし
い。その理由は次のとおりである。いま、走行路面10
0上の点R1〜Rまでを領域A1、点R〜R2までを領
域A2とすると、領域A2よりも領域A1についての焦
点調節の方がはるかに重要である。なぜなら、領域A2
は移動車からみて遠方にあるため、焦点が多少ずれてい
ても鮮明な結像が得られる。これに対して領域A1は移
動車からみて近傍の領域であるため、より厳密な焦点調
節が要求されるためである。そこで、この実施例では、
走行路面100上の点RとR1との二点について焦点が
完全に合致するように、撮像面11の傾斜角度を設定し
ている。
【0013】いま、点RとR1との二点について焦点が
完全に合致した場合を考えると、 1/L1 + 1/M1 = 1/f (1) (前述
の式) 1/L + 1/M = 1/f (3) の2つの式が成り立つことになる。ここで、図4に示す
ように、走行路面100上を走行中の移動車の位置をR
0、凸レンズ21の走行路面100からの高さをh、2
点R0,R1間の距離をx1、2点R1,R間の距離を
x2、とする。高さhは撮像手段10の取り付け位置に
基づいて決まる量であり、距離x1,x2は光軸22の
走行路面100に対する角度θおよび撮像手段10の視
野角αに基づいて決まる量であり、いずれも既知の量と
なる。そこで、L,L1は、この既知の量h,x1,x
2を用い、 L12 = h2 + x12 (4) L2 = h2 + (x1+x2)2 (5) なる式から求まる。また、凸レンズ21の焦点距離fも
既知の量であるから、求まったL,L1に式(1) および
(3) を適用すれば、MおよびM1を求めることができ
る。一方、図5に示すように、撮像面11の上下方向の
幅を2aとし、撮像面11の基準面Sに対する傾斜角φ
を幾何学的に求めると、 a・sin φ = M1・cos α − M (6) であるから、 φ= sin-1((M1・cos α − M)/a) (7) なる式(7) によって求めることができる。かくして、移
動車の走行中に、撮像手段10の光軸22を上下に動か
したとしても、その時点における角度θおよびαを測定
することができれば、上述の式に基づいて、「本発明に
よる焦点条件」を満足させるための撮像面11の傾斜角
φを演算による求めることができる。
完全に合致した場合を考えると、 1/L1 + 1/M1 = 1/f (1) (前述
の式) 1/L + 1/M = 1/f (3) の2つの式が成り立つことになる。ここで、図4に示す
ように、走行路面100上を走行中の移動車の位置をR
0、凸レンズ21の走行路面100からの高さをh、2
点R0,R1間の距離をx1、2点R1,R間の距離を
x2、とする。高さhは撮像手段10の取り付け位置に
基づいて決まる量であり、距離x1,x2は光軸22の
走行路面100に対する角度θおよび撮像手段10の視
野角αに基づいて決まる量であり、いずれも既知の量と
なる。そこで、L,L1は、この既知の量h,x1,x
2を用い、 L12 = h2 + x12 (4) L2 = h2 + (x1+x2)2 (5) なる式から求まる。また、凸レンズ21の焦点距離fも
既知の量であるから、求まったL,L1に式(1) および
(3) を適用すれば、MおよびM1を求めることができ
る。一方、図5に示すように、撮像面11の上下方向の
幅を2aとし、撮像面11の基準面Sに対する傾斜角φ
を幾何学的に求めると、 a・sin φ = M1・cos α − M (6) であるから、 φ= sin-1((M1・cos α − M)/a) (7) なる式(7) によって求めることができる。かくして、移
動車の走行中に、撮像手段10の光軸22を上下に動か
したとしても、その時点における角度θおよびαを測定
することができれば、上述の式に基づいて、「本発明に
よる焦点条件」を満足させるための撮像面11の傾斜角
φを演算による求めることができる。
【0014】図6は、本発明に係る移動車の環境認識装
置の基本構成を示すブロック図である。撮像手段10と
してのCCDカメラ30は、移動車に搭載される。CC
Dカメラ30の撮像面11(図示されていない)に形成
された画像のデータは、フレームメモリ41に保存され
る。エッジ抽出装置42は、このフレームメモリ41内
の画像データについてエッジ抽出処理を行う。演算制御
装置43は、この装置を統括制御する機能を有し、抽出
されたエッジについての焦点合致度を求める。前述した
ように、エッジについての焦点合致度が低い部分、別言
すれば、ピンボケを生じたエッジ部分が存在すれば、こ
のピンボケを生じたエッジに囲まれた領域に、立体障害
物が存在するものと認識することができる。
置の基本構成を示すブロック図である。撮像手段10と
してのCCDカメラ30は、移動車に搭載される。CC
Dカメラ30の撮像面11(図示されていない)に形成
された画像のデータは、フレームメモリ41に保存され
る。エッジ抽出装置42は、このフレームメモリ41内
の画像データについてエッジ抽出処理を行う。演算制御
装置43は、この装置を統括制御する機能を有し、抽出
されたエッジについての焦点合致度を求める。前述した
ように、エッジについての焦点合致度が低い部分、別言
すれば、ピンボケを生じたエッジ部分が存在すれば、こ
のピンボケを生じたエッジに囲まれた領域に、立体障害
物が存在するものと認識することができる。
【0015】なお、CCDカメラ30には、傾斜角セン
サ50が取り付けられており、この傾斜角センサ50の
出力信号は、傾斜角検出部51に与えられる。この傾斜
角検出部51は、傾斜角センサ50の出力信号に基づい
て、CCDカメラ30の傾斜角を認識することができ、
CCDカメラ30の光軸22の走行路面100に対する
角度θを求めることができ、また、CCDカメラ30の
視野角αを求めることができる。演算制御装置43は、
こうして求められた角度θおよびαに基づいて、前述の
式(7) により、撮像面11の傾斜角φを演算し、演算結
果をCCDコントローラ44に与える。CCDコントロ
ーラ44は、CCDカメラ30に対して、撮像面11が
基準面Sに対して傾斜角φだけ傾くような制御を行う。
こうして、移動車の走行中に、撮像面11を動かして傾
斜角φを補正するようにしたため、「本発明による焦点
条件」が常に満足されるようになる。
サ50が取り付けられており、この傾斜角センサ50の
出力信号は、傾斜角検出部51に与えられる。この傾斜
角検出部51は、傾斜角センサ50の出力信号に基づい
て、CCDカメラ30の傾斜角を認識することができ、
CCDカメラ30の光軸22の走行路面100に対する
角度θを求めることができ、また、CCDカメラ30の
視野角αを求めることができる。演算制御装置43は、
こうして求められた角度θおよびαに基づいて、前述の
式(7) により、撮像面11の傾斜角φを演算し、演算結
果をCCDコントローラ44に与える。CCDコントロ
ーラ44は、CCDカメラ30に対して、撮像面11が
基準面Sに対して傾斜角φだけ傾くような制御を行う。
こうして、移動車の走行中に、撮像面11を動かして傾
斜角φを補正するようにしたため、「本発明による焦点
条件」が常に満足されるようになる。
【0016】上述のエッジ抽出装置42および演算制御
装置43は、実際には、エッジ抽出処理および焦点合致
度演算処理を行うソフトウエアを含むコンピュータによ
って実現される。この実施例では、まず、図7に示すよ
うに、撮像面11に得られた画像を複数の部分画像に分
割し、各部分画像(たとえば、図にハッチングを施した
部分画像11a)ごとに、以下の処理を行う。はじめ
に、各部分画像内でのエッジ抽出を行う。これは、画素
の濃度値に急峻な変化が生じている箇所をエッジとして
認識し抽出すればよい。このようなエッジ抽出処理とし
ては、種々の方法が公知であるため、ここでは詳しい説
明は省略する。こうして、エッジが抽出されたら、この
エッジ部分における各画素の濃度値の変化率を求める。
このような変化率を求める方法としては、ソルベのフィ
ルタを用いる方法などが公知である。たとえば、図8
(a) に示すような濃度値の変化率が得られた場合、エッ
ジはシャープであり、鮮明な像が得られているものと判
断できる。これに対して、図8(b) に示すような濃度値
の変化率が得られた場合、エッジはなだらかであり、ぼ
やけた像が得られているものと判断できる。像が鮮明か
ぼやけているかを示すパラメータ、すなわち、焦点合致
度は、図に示すように、変化率のピーク値Hと分布幅W
とによって、H/Wとして数量的に表現することができ
る。したがって、所定の設定値を予め決めておき、得ら
れたH/Wの値が設定値より大きければ鮮明な像が得ら
れており、設定値より小さければピンボケの像が得られ
ているという客観的な判断を行うことができる。図7に
示すように分割した各部分画像について、このような判
断を行えば、ピンボケの像が得られていると判断された
部分画像の位置に障害物が存在するという大まかな認識
をすることができる。もちろん、ピンボケのエッジによ
って囲まれた部分として、障害物の輪郭を把握すること
も可能である。
装置43は、実際には、エッジ抽出処理および焦点合致
度演算処理を行うソフトウエアを含むコンピュータによ
って実現される。この実施例では、まず、図7に示すよ
うに、撮像面11に得られた画像を複数の部分画像に分
割し、各部分画像(たとえば、図にハッチングを施した
部分画像11a)ごとに、以下の処理を行う。はじめ
に、各部分画像内でのエッジ抽出を行う。これは、画素
の濃度値に急峻な変化が生じている箇所をエッジとして
認識し抽出すればよい。このようなエッジ抽出処理とし
ては、種々の方法が公知であるため、ここでは詳しい説
明は省略する。こうして、エッジが抽出されたら、この
エッジ部分における各画素の濃度値の変化率を求める。
このような変化率を求める方法としては、ソルベのフィ
ルタを用いる方法などが公知である。たとえば、図8
(a) に示すような濃度値の変化率が得られた場合、エッ
ジはシャープであり、鮮明な像が得られているものと判
断できる。これに対して、図8(b) に示すような濃度値
の変化率が得られた場合、エッジはなだらかであり、ぼ
やけた像が得られているものと判断できる。像が鮮明か
ぼやけているかを示すパラメータ、すなわち、焦点合致
度は、図に示すように、変化率のピーク値Hと分布幅W
とによって、H/Wとして数量的に表現することができ
る。したがって、所定の設定値を予め決めておき、得ら
れたH/Wの値が設定値より大きければ鮮明な像が得ら
れており、設定値より小さければピンボケの像が得られ
ているという客観的な判断を行うことができる。図7に
示すように分割した各部分画像について、このような判
断を行えば、ピンボケの像が得られていると判断された
部分画像の位置に障害物が存在するという大まかな認識
をすることができる。もちろん、ピンボケのエッジによ
って囲まれた部分として、障害物の輪郭を把握すること
も可能である。
【0017】最後に、移動車の振動による影響を回避す
るための付加的な処理について述べる。通常、移動車の
走行中は、振動が発生する。このような振動は、CCD
カメラ30にも及び、撮像面11に形成される画像に影
響を与える。このような振動の影響により、環境認識の
結果に誤りが生じると好ましくない。図9は、このよう
な振動の影響を回避する機能を備えた実施例の基本構成
を示すブロック図である。ここで、図6に示す実施例の
装置と同一の構成要素については同一符号を付し、説明
を省略する。図9に示す実施例において付加された新た
な構成要素は、振動補正部45、雲台60、雲台コント
ローラ61、振動センサ70、振動検出部71である。
振動センサ70は、ジャイロスコープや加速度計などを
利用したセンサであり、CCDカメラ30に生じる振動
を電気信号として出力する。振動検出部71は、この電
気信号に基づいて振動を検出する機能を有し、振動のデ
ータを演算制御装置43および振動補正部45に与え
る。
るための付加的な処理について述べる。通常、移動車の
走行中は、振動が発生する。このような振動は、CCD
カメラ30にも及び、撮像面11に形成される画像に影
響を与える。このような振動の影響により、環境認識の
結果に誤りが生じると好ましくない。図9は、このよう
な振動の影響を回避する機能を備えた実施例の基本構成
を示すブロック図である。ここで、図6に示す実施例の
装置と同一の構成要素については同一符号を付し、説明
を省略する。図9に示す実施例において付加された新た
な構成要素は、振動補正部45、雲台60、雲台コント
ローラ61、振動センサ70、振動検出部71である。
振動センサ70は、ジャイロスコープや加速度計などを
利用したセンサであり、CCDカメラ30に生じる振動
を電気信号として出力する。振動検出部71は、この電
気信号に基づいて振動を検出する機能を有し、振動のデ
ータを演算制御装置43および振動補正部45に与え
る。
【0018】この実施例では、振動の影響を回避するた
めに2とおりの方法が用意されている。第1の方法は、
振動補正部45による振動補正である。この原理を図1
0に示す。いま、撮像面11上に、この撮像面11より
ひとまわり小さいフレームFを定義する。そして、撮像
面11に得られた全画像を環境認識に利用する代わり
に、このフレームF内の画像を環境認識に利用するよう
にする。この場合、環境認識に利用できる画像情報は若
干減るというデメリットはあるが、次のような処理を行
うことにより振動補正を行うことができる。たとえば、
振動により、CCDカメラ30の視野が横方向にdx、
縦方向にdyだけ動いたものとする。この場合、図のよ
うに、横方向にdx、縦方向にdyだけフレームFを動
かし、破線で示すフレームF1内の画像を環境認識に利
用するようにすれば、振動の影響を相殺することができ
る。振動補正部45は、振動検出部71から与えられる
振幅dx,dyとその周期に基づいて、フレームFの位
置を振動周期に同期させて決定し、フレームメモリ41
内の全画像の中からフレームF内の画像だけを抽出して
エッジ抽出装置42に与える機能を果たす。こうして、
振幅dx,dyが、図10に示す限度幅Δ以下であれ
ば、振動の影響を相殺した環境認識処理を行うことがで
きる。
めに2とおりの方法が用意されている。第1の方法は、
振動補正部45による振動補正である。この原理を図1
0に示す。いま、撮像面11上に、この撮像面11より
ひとまわり小さいフレームFを定義する。そして、撮像
面11に得られた全画像を環境認識に利用する代わり
に、このフレームF内の画像を環境認識に利用するよう
にする。この場合、環境認識に利用できる画像情報は若
干減るというデメリットはあるが、次のような処理を行
うことにより振動補正を行うことができる。たとえば、
振動により、CCDカメラ30の視野が横方向にdx、
縦方向にdyだけ動いたものとする。この場合、図のよ
うに、横方向にdx、縦方向にdyだけフレームFを動
かし、破線で示すフレームF1内の画像を環境認識に利
用するようにすれば、振動の影響を相殺することができ
る。振動補正部45は、振動検出部71から与えられる
振幅dx,dyとその周期に基づいて、フレームFの位
置を振動周期に同期させて決定し、フレームメモリ41
内の全画像の中からフレームF内の画像だけを抽出して
エッジ抽出装置42に与える機能を果たす。こうして、
振幅dx,dyが、図10に示す限度幅Δ以下であれ
ば、振動の影響を相殺した環境認識処理を行うことがで
きる。
【0019】第2の方法は、雲台60による振動補正で
ある。上述した第1の方法では、限度幅Δを越えた振幅
dX,dYに対する補正は行うことができない。そこ
で、このような大きな振幅が振動検出部71から与えら
れた場合、演算制御装置43は雲台コントローラ61に
対して、この振幅dX,dYを相殺する補正を行うよう
な指示を与える。雲台コントローラ61は、この指示を
受け、雲台60を振動周期に同期させて−dX,−dY
の方向に移動するような制御を行う。
ある。上述した第1の方法では、限度幅Δを越えた振幅
dX,dYに対する補正は行うことができない。そこ
で、このような大きな振幅が振動検出部71から与えら
れた場合、演算制御装置43は雲台コントローラ61に
対して、この振幅dX,dYを相殺する補正を行うよう
な指示を与える。雲台コントローラ61は、この指示を
受け、雲台60を振動周期に同期させて−dX,−dY
の方向に移動するような制御を行う。
【0020】この実施例の特徴は、上述の第1の方法に
よる振動補正と、第2の方法による振動補正との双方を
行うようにした点にある。すなわち、図11(a) に示す
ような波形で表されるような振動が生じた場合、この波
形を、フィルタを用いて図11(b) に示すような振幅の
大きな低周波成分の波形と、図11(c) に示すような振
幅の小さな高周波成分の波形とに分離する。そして、図
11(b) に示す低周波成分の振動については、雲台コン
トローラ61によって雲台60を動かして振動補正を行
い、図11(c) に示す高周波成分の振動については、振
動補正部45によってフレームFを動かして振動補正を
行う。このように、2とおりの方法による振動補正を行
うことにより、振動の影響を有効に除去することができ
る。
よる振動補正と、第2の方法による振動補正との双方を
行うようにした点にある。すなわち、図11(a) に示す
ような波形で表されるような振動が生じた場合、この波
形を、フィルタを用いて図11(b) に示すような振幅の
大きな低周波成分の波形と、図11(c) に示すような振
幅の小さな高周波成分の波形とに分離する。そして、図
11(b) に示す低周波成分の振動については、雲台コン
トローラ61によって雲台60を動かして振動補正を行
い、図11(c) に示す高周波成分の振動については、振
動補正部45によってフレームFを動かして振動補正を
行う。このように、2とおりの方法による振動補正を行
うことにより、振動の影響を有効に除去することができ
る。
【0021】以上、本発明を図示する実施例に基づいて
説明したが、本発明はこれらの実施例に限定されるもの
ではなく、この他にも種々の態様で実施可能である。た
とえば、CCDカメラ30の撮像面11として、平面で
はなく曲面のものを用いれば、「本発明による焦点条
件」をより完全に満足させることができる。また、前述
した振動補正方法は、本発明による環境認識装置だけで
なく、移動車に搭載された撮像手段についての振動を補
正する技術として広く適用しうるものである。
説明したが、本発明はこれらの実施例に限定されるもの
ではなく、この他にも種々の態様で実施可能である。た
とえば、CCDカメラ30の撮像面11として、平面で
はなく曲面のものを用いれば、「本発明による焦点条
件」をより完全に満足させることができる。また、前述
した振動補正方法は、本発明による環境認識装置だけで
なく、移動車に搭載された撮像手段についての振動を補
正する技術として広く適用しうるものである。
【0022】
【発明の効果】以上のとおり、本発明による移動車の環
境認識装置では、走行路面の所定領域内の各部に対して
焦点が合うような撮像手段を用意し、この撮像手段によ
って得た画像についてのピンボケの部分を立体障害物と
して認識するようにしたため、障害物の認識処理を迅速
に行うことができるようになる。
境認識装置では、走行路面の所定領域内の各部に対して
焦点が合うような撮像手段を用意し、この撮像手段によ
って得た画像についてのピンボケの部分を立体障害物と
して認識するようにしたため、障害物の認識処理を迅速
に行うことができるようになる。
【図1】本発明に係る移動車の環境認識装置の基本原理
を示す図である。
を示す図である。
【図2】図1に示す装置に用いる光学系20の一例を示
す図である。
す図である。
【図3】図1に示す装置における撮像面11を傾斜させ
る意味を説明する図である。
る意味を説明する図である。
【図4】図3に示す図の部分抽出図である。
【図5】図3に示す図の部分抽出図である。
【図6】本発明の一実施例に係る移動車の環境認識装置
の基本構成を示すブロック図である。
の基本構成を示すブロック図である。
【図7】図6に示す装置におけるフレームメモリ41内
の画像を部分画像に分割して処理する方法を示す図であ
る。
の画像を部分画像に分割して処理する方法を示す図であ
る。
【図8】図6に示す装置における焦点合致度の判定方法
を示す図である。
を示す図である。
【図9】図6に示す装置に、更に振動補正機能を付加し
た実施例の基本構成を示すブロック図である。
た実施例の基本構成を示すブロック図である。
【図10】図9に示す装置における第1の振動補正機能
の原理図である。
の原理図である。
【図11】図9に示す装置における2つの振動補正機能
の役割分担を示す図である。
の役割分担を示す図である。
10…撮像手段 11…撮像面 11a…部分画像 20…光学系 20a,20b,20c…凸レンズ 21…凸レンズ 22…光軸 30…CCDカメラ 41…フレームメモリ 42…エッジ抽出装置 43…演算制御装置 44…CCDコントローラ 45…振動補正部 50…傾斜角センサ 51…傾斜角検出部 60…雲台 61…雲台コントローラ 70…振動センサ 71…振動検出部 100…走行路面 110…所定領域 200…障害物 F…フレーム S…基準面
Claims (2)
- 【請求項1】 移動車の走行路面の所定領域の画像を入
力するための撮像手段を、前記所定領域内の各部に対し
て焦点が合うように設置し、 前記撮像手段で入力した画像のエッジを抽出するエッジ
抽出手段と、 検出したエッジのうち焦点合致度の低い部分を抽出する
部分抽出手段と、 を設け、前記部分抽出手段によって抽出された部分によ
り、立体障害物の存在を認識できるようにしたことを特
徴とする移動車の環境認識装置。 - 【請求項2】 請求項1に記載の装置において、 画像入力手段の光軸に対して垂直な平面として基準面を
定義し、撮像手段の撮像面をこの基準面に対して傾斜さ
せることにより、走行路面の所定領域内の各部に対して
焦点を合わせるようにしたことを特徴とする移動車の環
境認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3254620A JPH0566830A (ja) | 1991-09-05 | 1991-09-05 | 移動車の環境認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3254620A JPH0566830A (ja) | 1991-09-05 | 1991-09-05 | 移動車の環境認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0566830A true JPH0566830A (ja) | 1993-03-19 |
Family
ID=17267566
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3254620A Pending JPH0566830A (ja) | 1991-09-05 | 1991-09-05 | 移動車の環境認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0566830A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0764632A (ja) * | 1993-08-31 | 1995-03-10 | Meidensha Corp | 無人搬送車 |
JP2001350168A (ja) * | 2000-06-05 | 2001-12-21 | Toyota Central Res & Dev Lab Inc | 車載撮像装置 |
JP2007278951A (ja) * | 2006-04-10 | 2007-10-25 | Alpine Electronics Inc | 車体挙動測定装置 |
JP2012020663A (ja) * | 2010-07-15 | 2012-02-02 | Koito Mfg Co Ltd | 車両検出装置 |
CN104197940A (zh) * | 2014-06-04 | 2014-12-10 | 中国人民解放军理工大学 | 一种无人机有效飞行路径障碍点提取方法 |
-
1991
- 1991-09-05 JP JP3254620A patent/JPH0566830A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0764632A (ja) * | 1993-08-31 | 1995-03-10 | Meidensha Corp | 無人搬送車 |
JP2001350168A (ja) * | 2000-06-05 | 2001-12-21 | Toyota Central Res & Dev Lab Inc | 車載撮像装置 |
JP2007278951A (ja) * | 2006-04-10 | 2007-10-25 | Alpine Electronics Inc | 車体挙動測定装置 |
JP2012020663A (ja) * | 2010-07-15 | 2012-02-02 | Koito Mfg Co Ltd | 車両検出装置 |
CN104197940A (zh) * | 2014-06-04 | 2014-12-10 | 中国人民解放军理工大学 | 一种无人机有效飞行路径障碍点提取方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6546118B1 (en) | Image processing apparatus for vehicle | |
US7324134B2 (en) | Apparatus for correction based upon detecting a camera shaking | |
US6992700B1 (en) | Apparatus for correction based upon detecting a camera shaking | |
JPH1166488A (ja) | 白線認識装置 | |
WO2004106856A9 (ja) | ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム | |
JP3765862B2 (ja) | 車両用環境認識装置 | |
JPH0843055A (ja) | 3次元物体形状認識方法及び装置 | |
JP3393427B2 (ja) | カーブ半径推定装置及びカーブ半径推定装置付き自動操舵制御システム | |
JP3562250B2 (ja) | 先行車両検出装置 | |
JP6895371B2 (ja) | 情報処理装置及びサスペンション制御方法 | |
JP2011175572A (ja) | 車線認識装置 | |
JPH0566830A (ja) | 移動車の環境認識装置 | |
JP2004246641A (ja) | 道路白線認識装置 | |
KR20190093301A (ko) | 차량용 레이더의 오차 보정 방법 및 시스템 | |
JP3516118B2 (ja) | 物体認識方法および物体認識装置 | |
JP2000353300A (ja) | 物体認識装置 | |
JP2004185425A (ja) | レーンマーク識別方法及び装置 | |
JP4221917B2 (ja) | 結晶形状測定装置および結晶形状測定方法およびプログラムおよび記録媒体 | |
WO2022118513A1 (ja) | 位置姿勢算出装置、位置姿勢算出方法及び測量装置 | |
JP2020020657A (ja) | ステレオカメラ装置、ステレオカメラシステム、及び移動体 | |
JP3122777B2 (ja) | 無人走行車の測距装置 | |
JP3296208B2 (ja) | カーブ曲率推定装置 | |
JP3104645B2 (ja) | 道路白線検出方法及び道路白線検出装置 | |
JP2006327495A (ja) | 無限遠点決定装置 | |
JP5699806B2 (ja) | 撮像装置 |