JPH01274214A - 移動車の画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、外界を認識するための画像入力手段を備えた
自動車やロボット等の移動車の画像処理装置に関する。

（従来の技術） 例えば特開昭６１−２４０３０７号公報には、所定地点
に設置された画像入力手段たるカメラによって移動車を
撮像し、該カメラに入力された画像を処理して移動車の
位置や方向を算出し、その算出結果によって移動車の走
行を制御するようにした技術が開示されている。

また、上記の場合と異なり、画像入力手段を移動車に設
置し、この画像入力手段によって移動車の外界（実走行
環境）を撮像し、該画像入力手段に入力された画像を移
動車の走行に利用する、例えばその画像を処理して外界
の状態を認識し、その認識結果に基づいて移動車の走行
を制御する技術も従来から考えられている。

（発明が解決しようとする課題） ところで、画像入力手段が移動車に設置されている場合
であって、例えばその移動車が屋内を走行するものであ
る場合、上記画像入力手段によって撮像される撮像領域
（通常は移動車前方の外界領域）の屋内照明装置等によ
る照明状態は常に良好であるとは限らず、例えば照明が
不十分で撮像領域が全体的に暗くなっていたり、撮像領
域の一部が何らかの物体の影によって部分的に暗くなっ
ていたり、あるいは撮像領域の色に対して照明が不適切
であったりする場合等が生じ得る。

しかるに、上記の如く画像入力手段によって撮像された
画像を処理して外界認識を行なう場合等においては、そ
の撮像領域の照明状態が良好であるか否かは非常に重要
な事であり、もし照明状態が良好でない場合には入力画
像の画像処理に支障が生じて正確な外界認識が困難とな
り、またこの問題に対して画像処理により対処しようと
しても、画像処理が複雑化し、処理時間が長くなり、ま
たそのようにしても必ずしも良好な処理結果が得られる
とは限らないという問題がある。

また、上記の如き撮像領域の照明状態に関する問題は屋
外を走行する一般の自動車等の移動車の場合にも生じ得
る。

本発明の目的は、上記事情に鑑み、常に撮像領域を適当
な照明状態にして必要な外界認識を容易に行ない得る良
質な画像を得ることのできる移動車の画像処理装置を提
供することにある。

（課題を解決するための手段） 本発明に係る移動車の画像処理装置は、上記目的を達成
するため、 外界認識のための画像入力手段を伺えた移動車の画像処
理装置であって、 上記画像入力手段の撮像領域を光照射する投光手段と、
上記撮像領域の照明状態を検出する検出手段と、該検出
手段によって検出された上記撮像領域の照明状態に基づ
いて上記投光手段の光照射状態を可変制御する制御手段
とを備えて成ることを特徴とする。

上記投光手段は、例えば撮像領域を全体的に光照射する
広域投光装置であっても良いし、撮像領域の一部を光照
射するスポット投光装置であっても良いし、その様な投
光装置を複数組み合せて成るものであっても良い。

上記撮像領域の照明状態とは、画像に影響を及ぼす撮像
領域の光に関する状態であり、具体的には例えば撮像領
域の全体的な明暗、撮像領域内の部分的な明暗例えば影
の存否あるいは撮像領域の色に対する照明光の適否等を
挙げることができる。

上記検出手段は、上記撮像領域の照明状態を検出するこ
とができるものであればどの様なものでも良いが、例え
ば画像入力手段によって入力された画像を適宜処理して
撮像領域の照明状態を検出する画像処理手段であっても
良いし、光センサであっても良いし、それらを両方備え
ていても良い。

上記可変制御対象となる光照射状態とは、画像に影響を
及ぼす光照射状態であって、具体的には例えば光照射の
オン・オフ、照射光量、照射光の色、スポット投光の場
合の照射場所、広域投光を行なうかスポット投光を行な
うかもしくはその双方を行なうか等の投光の種類等を挙
げることができる。

（作　　用） 上記の如き投光手段、検出手段および制御手段を備える
ことによって、撮像領域の照明状態例えば撮像領域が暗
かったり撮像領域内に部分的に影が存在していたりある
いは撮像領域の色に対して照明が適切でなかったりした
場合そのことを上記検出手段によって検出し、その検出
結果に基づいて上記制御手段により上記投光手段を制御
して例えば適当な光量もしくは適当な色の広域光照射を
行なったりもしくはスポット光照射を行なうことができ
、そうすることによって常に撮像領域を適当な照明状態
、即ち必要な外界認識を容易に行ない得る画像が得られ
る状態にすることができる。

（実　施　例） 以下、図面を参照しながら本発明の実施例について説明
する。

第１図は本発明に係る装置の一例の概要を示すブロック
図であり、画像入力手段２の撮像領域４を光照射する投
光手段６が設けられ、該投光手段６は、撮影領域４を適
宜光照射して該撮像領域４を良好に外界認識し得る画像
が得られる照明状態にすべく制御手段８によってその光
照射状態を制御（投光制御）され、該投光制御は撮像領
域の照明状態を検出する検出手段１０からの出力に基づ
いて行なわれ、この検出手段１０における撮像領域の照
明状態検出は例えば画像入力手段２から出力される画像
を適宜処理することによって行なわれる。

第２図は本発明に係る画像処理装置の一実施例を具体的
に示すブロック図であり、以下この実施例について詳細
に説明する。

本実施例は、画像入力手段としてＣＯＤを用いたイメー
ジセンサ２を使用して成り、かつ室内の走行路を自動操
縦によって走行する移動車の画像処理装置に本発明を適
用したものである。

本実施例は、投光手段６として撮像領域全体を光照射す
る広域投光装置６ａと撮像領域の一部を光照射するスポ
ット投光装置６ｂとを備え、また撮像領域の照明状態を
検出する検出手段１０として照明状態検出用画像処理手
段１０ａと光センサｌＯｂとを備えて成る。

第３図は上記イメージセンサ２、両投光装置Ｏａ。

６ｂおよび光センサ１０ｂを備えた移動車１２を概略的
に示す側面図であり、該移動車１２は室内の走行路１４
を矢印Ａ方向に走行し、イメージセンサ２および両投光
装置８ａ、’　６ｂはそれぞれ撮像領域４や投光領域を
可変に構成されている。なお、広域投光装置６ａは撮像
領域４の全体を光照射するものであってイメージセンサ
２が動いて撮像領域が変化するとそれに伴なって光照射
領域を変化させるべく駆動されるものであり、従って例
えば該広域投光装置６ａはイメージセンサ２に固設して
該イメージセンサ２と一緒に動くようにしても良い。さ
らに、上記両投光装置６ａ、　６ｂは投光領域のみでな
く照射光量や照射光の色（波長）も変更制御可能に構成
されている。

上記イメージセンサ２から出力された画像（画像信号）
は、第２図に示す様に、外界認識用画像処理手段１６に
入力される。該処理手段１Ｂにおいては、イメージセン
サ２から入力された画像信号が各種画像処理アルゴリズ
ムによって処理され、走行路を示すエツジ・領域等の抽
出が行なわれる。

上記抽出されたエツジ・領域等の情報はローカルマツプ
生成手段１８に入力され、そこで上記エツジ・領域等の
情報に基づいてローカルマツプ、即ち自動車のごく近傍
の外界の状態がどうなっているかを示すマツプが作成さ
れる。このローカルマツプ情報は最適経路生成手段２０
に入力され、そこで上記ローカルマツプ情報および予め
入力されている目的地等の情報を基に目的地に向かう最
適経路が決定され、さらにその最適経路を走行するため
の走行方向および走行速度が決定される。これらの走行
方向および走行速度に関する情報はコントローラ２２に
入力され、該コントローラ２２によって自動車のステア
リングおよび速度が上記走行方向および走行速度情報に
基づいて制御される。

一方、上記イメージセンサ２から出力された画像は照明
状態検出用画像処理手段１０ａに入力され、該手段ＬＯ
ａによる処理結果と光センサｌｏｂからの出力とに基づ
いて投光装置［ｔａ、　８ｂの投光制御が行なわれる。

この制御について、第４図に示すフローチャートを参照
しながら説明する。

まず、Ｓｌにおいて撮像領域の照明状態検出が行なわれ
る。本実施例においては、この照明状態検出は、イメー
ジセンサ２から出力された画像を照明状態検出用画像処
理手段１０ａによって適当に処理して撮像領域全体の明
るさ、例えば画像の全画素の平均輝度を検出すると共に
撮像領域中の各部の色に対して照明が適切に行なわれて
いるか否かを検出することによって行なわれる。なお、
本実施例においては検出手段として光センサｔｏｂも備
えているが、これは補助的に備えているものであり、例
えば走行中移動車が暗い所に入って来た場合にはこの先
センサｔｏｂによってそのことを検出し、上記画像処理
手段１０ａによる平均輝度の算出を省略することが考え
られる。

この様にして撮像領域の照明状態検出を行なったら、そ
の検出結果に基づきＳ２において広域投光装置６ａの投
光制御が制御手段８によって行なわれる。即ち上記検出
結果に基づき撮像領域が暗い場合にはその暗さに応じた
光量の光を撮像領域に照射し、また撮像領域の各部の色
に対して照明が適当でない場合には適当となる様な色の
光を照射する様に投光制御が行なわれる。

そして、上記制御によって広域投光装置６ａにより撮像
領域に広域投光した後、その広域投光状態におけるイメ
ージセンサ２から出力された画像を再度照明状態検出用
画像処理手段１０ａによって画像処理し、Ｓ３において
画像中の一部に外乱があるか否か、即ち影の部分がある
か否かが判断され、影がない場合にはＳ４において上記
外界認識用画像処理手段１６で外界認識用の画像処理が
行なわれる。

また、影がある場合には、Ｓ５においてスポット投光装
置６ｂの投光制御が制御手段８により行なわれる。この
投光制御においては、例えば走行路上における影のある
部分とない部分の境界部にスポット投光が行なわれる。

そして、このスポット投光状態におけるイメージセンサ
２から出力された画像が８４において上記と同様に外界
認識用の画像処理に供される。

上記撮像領域の照明状態検出と外界認識とは基本的に同
質のものであるので上記照明状態検出用の画像処理の一
部と外界認識用の画像処理の一部との共通化を図ること
が可能であり、その場合には両画像処理手段１０ａ、Ｌ
［ｉを１つの兼用画像処理手段とし、例えば第５図に示
すフローチャートに従って投光制御を行なっても良い。

この場合には、まずＳ６において前記第４図の５１と同
様にして撮像領域の照明状態検出を上記兼用画像処理手
段により行ない、次に８７において前記第４図の８２と
同様にして制御手段８により広域投光装置制御が行なわ
れ、その後Ｓ８において外界認識用の画像処理が行なわ
れる。この画像処理は、イメージセンサ２から出力され
る上記Ｓ７の制御によって広域投光された撮像領域の画
像を上記兼用画像処理手段に入力し、該兼用画像処理手
段によって行なわれる。続いて、Ｓ９においてその外界
認識用の画像処理の結果画像の一部に外乱、即ち影があ
るか否かを判断し、影がなければＳ６に戻り、影がある
ときはＳｌＯに進んでそこで前記第４図の８５と同様の
スポット投光装置制御が行なわれ、そのスポット投光が
行なわれた状態の画像が再度Ｓ８において兼用画像処理
手段により外界認識用画像処理される。この画像処理は
例えばそのスポット投光した部分についてのみ行なわれ
、それ以外の部分については既に行なわれている結果が
利用される。

なお、上記第４図の８３における影があるか否かもＳｌ
において行ない、Ｓ２においては広域投光装置６ａとス
ポット投光装置６ｂの双方の投光制御を行なうようにし
ても良く、この点については第５図に示すフローチャー
トの場合も同様である。

次に、上記広域投光装置６ａの照射量制御と照射色制御
およびスポット投光装置６ｂの投光制御について、具体
例を示しながらさらに詳しく説明する。

まず広域投光装置６ａの照射量制御について説明する。

第６図（ａ）はイメージセンサ２によって出力された画
像３０を示す図であり、読図において領域Ｉは壁、領域
■は走行路、線Ｂは壁と走行路の境界であり、矢印Ａは
移動車の走行方向を示す。

今、この画像対象となっている撮像領域の明るさが適切
である場合には、例えば画像３０のｘ−Ｘ線上の各画素
の輝度は第６図（ｂ）の実線で示す様になり、壁領域Ｉ
と走行路領域■との間の輝度差ΔＬは十分に大きく、よ
ってその大きな輝度差△Ｌにより両領域１．　　ＩＩを
確実に区分することができる。しかしながら、撮像領域
の照明が適切でなく暗過ぎる場合には上記ｘ−Ｘ線上の
各画素の輝度は第６図（ｂ）中の破線で示す如く全体的
に低くなり、その結果側領域Ｉ、　　ＩＩの間の輝度差
ΔＬは極めて小さくなり、両領域Ｉ、■をその輝度差に
よって区分することが困難となり、外界認識が正確に行
なえなくなる。よってその様に撮像領域の照明が暗過ぎ
る場合には、良好な明るさになるように照射光量を選択
して広域投光するように制御される。

次に、スポット投光装置６ｂの投光制御について説明す
る。第７図（ａ）はイメージセンサ２によって出力され
た画像３０を示す図であり、読図において領域Ｉ、　　
ｎ、線Ｂ１矢印Ａは第６図（ａ）の場合と同様であり、
ハツチングを施した部分りは影の領域である。この様な
画像の一部に影が存在するときは、通常の画像処理によ
ってはその影の部分りが影であって走行には支障のない
ものであるかあるいは壁等の走行に支障を来すものであ
るかの判別が困難である。かかる場合にはその走行路頭
域■の暗くなっている影部分りと明るい部分との境界部
分にスポット投光を＝行ない、そのスポット投光領域Ｃ
を含むｘ−Ｘ線上の各画素の輝度を調べる。すると、ス
ポット投光を行なう前の各画素の輝度は第７図（ｂ）中
の実線で示す様に影の部分りとそうでない部分との間に
大きな輝度差△Ｌが存在し影の部分は何であるのか判別
が困難であるが、スポット投光を行なうことによりその
スポット投光領域Ｃ部分の輝度は第７図（ｂ）中破線で
示す様になり、この破線と実線とを比較すれば影の部分
もスポット投光後はスポット投光を行なっていない走行
路領域Ｈの輝度と略同様であり従ってこの暗くなってい
る部分は走行路■と連続した部分であって走行路の一部
である、つまり暗くなっている部分は影であると判断す
ることができる。

上記スポット投光制御においてはスポット投光のオン・
オフ制御および光量制御と共に影部分の境界部分に投光
しなければならないので投光場所の制御も行なう必要が
ある。

なお、上記の如く照射量および照射色が撮像領域全体に
ついてはほぼ適当であるがその撮像領域の一部に影等の
外乱がある場合には、その部分にのみ上記の如くスポッ
ト投光を行なうのが望ましい。なぜならばその様な場合
はスポット投光のみで十分であり、広域投光を行なうの
はエネルギの無駄であり、またその様に全体的にはほぼ
照射量等が適当なときにさらに広域投光を行なうとそれ
まで適当であった部分における照射量が大き過ぎて不適
当になることもあるからであり、さらに影分部とその他
の部分との間の明暗の差が大きいときは広域投光しても
その明暗の差はあまり小さくならないｉ合も多いからで
ある。

次に、広域投光装置６ａの照射光の色制御について説明
する。

例えば今イメージセンサ２から出力された画像３０が第
８図に示す状態のものであるとする。この画像３０中領
域１．　ｎ、線Ｂおよび矢印Ａは第６図（ａ）の場合と
同様であり、その走行路領域Ｈの一部に異なる色を塗ら
れた異色領域■が存在する。

そして、この走行路領域■中に異色領域■が存在するこ
とおよびその異色領域■はそれを検出した場合には走行
路領域の一部、つまり走行可能な領域として判断して良
いという情報が外界認識用画像処理手段■６に予め入力
されているものとする。

そうであれば、該画像処理手段１６においては上記領域
Ｉ、　　ｎ、　Ｉ［［を確実に区分することができれば
良く、例えばその区分が画像のＲ次元信号とＧ次元信号
のヒストグラムによって行なわれる場合を考える。

この場合において、もし照明状態がＲ次元においてもＧ
次元においても良好であれば全画素のＲ次元信号のヒス
トグラムは９Ａ図に示す様に、全画素のＧ次元信号のヒ
ストグラムは第９Ｂ図に示す様になり、従っていずれの
ヒストグラムにおいても谷の方で閾値を決めればその閾
値によりＲ次元ヒストグラムからは領域Ｉと領域■、■
とを区分でき、Ｇ次元ヒストグラムからは領域Ｉ、■と
領域■とを区分でき、よって両ヒストグラムから領域１
．　　ｎ、　ＩＩＩを正確に区分することができる。

しかしながら、例えば照明状態が適切でなくてＲ次元の
光は十分であるがＧ次元の光が不十分な場合がある。こ
の場合、Ｒ次元のヒストグラムは第１０Ａ図に示す様に
特に問題はないがＧ次元のヒストグラムは第１０Ｂ図に
示す様にＧ次元の光が不十分な関係で各領域Ｉ、　　ｎ
、　ＩＩＩの濃度が全て小さくなりそれらの間にヒスト
グラム上の大きな谷が存在せず、従って両ヒストグラム
を併せても領域■、■の区分が不可能となる。かかる場
合には、例えばすべての波長成分を含む一般的な白色光
照射を行なっても問題は解決されない。なぜならば、そ
の様な白色光照射を行なうとＧ次元の光は適当であるが
Ｒ°次元の光は強過ぎることとなり、よってＧ次元のヒ
ストグラムは第１１Ｂ図に示す様に領域Ｉ、■と領域■
とを区分可能な形になるがＲ次元のヒストグラムは第１
１Ａ図に示す様に領域Ｉ。

■、■とも高濃度側にシフトして領域１．　１１．　Ｈ
の区分が不可能になるからである。よって、その様な場
合にはＧ次元の光のみを適量照射すべく投光制御し、そ
うすればＲ次元およびＧ次元のヒストグラムは第１２Ａ
図および第１２Ｂ図の如くなり、これは上記第９Ａ図お
よび第９Ｂ図に示す照明状態が良好な場合と同一であり
、従って両ヒストグラムから正確に各領域１．　　ｎ、
　ｍを区分することができる。

なお、一般にカラー画像の場合Ｒ，Ｇ、Ｂの３成分に分
解して取り込まれるので、画像中の区分すべき部分がさ
らに多い場合にはＲ，Ｇ、Ｂ次元の３つのヒストグラム
を用いて区分すれば良く、この場合の照射色制御はこの
３つの次元の照射光が適当となるように制御すれば良い
。また照射色の制御は結局撮像領域の色に基づいて、例
えば最初の撮像領域状態検出用の画像のＲ，Ｇもしくは
Ｂ次元のヒストグラムを参考にして行なえば良い。

本発明における投光手段の光照射は必要時のみ、即ち、
撮像領域の照明状態が不適当であってかつ画像入力手段
による画像の取り込み時のみ行なえば良いものである。

また、本発明における投光手段の光照射状態の制御は要
するに撮像領域に対して該領域の状態に基づいて良好な
外界認識が可能な画像が得られるように光照射すべく行
なえば良いものであり、その具体的方法は実施例に記載
のものに限定されず、また必ずしも実施例に記載された
全ての光照射状態制御を行なう必要はなく一部の制御の
み、例えば広域投光装置における照射量制御のみであっ
ても良い。

本発明における上記画像入力手段から出力された画像は
外界認識のために利用されるものであれば良く、その利
用態様は特に限定されるものではない。つまり、上記実
施例で画像から外界を認識して自動操縦を行なうもので
あったが、例えば前方に障害物を検出した場合にのみ強
制的に操舵や制動を行なう部分的自動操縦を行なうもの
であったりあるいはその場合にワーニング（警報）を行
なうものであっても良く、さらには画像を必要に応じて
適宜処理して移動車に記載したＣＲＴ等に表示して運転
者等に外界を認識させるものであっても良い。

（発明の効果） 上記の様に、本発明に係る移動車の画像処理装置は、画
像入力手段の撮像領域を投光する投光手段を備え、検出
手段によって上記撮像領域の状態を検出し、その検出結
果に基づいて制御手段により上記投光手段で撮像領域を
適宜光照射させる様に構成されているので、常に撮像領
域を良好な照明状態にすることができ、よって外界認識
用の画像処理の複雑化、長時間化を回避でき、また常に
入力画像に基づく正確な外界認識が可能となる。

【図面の簡単な説明】

第１図は本発明の一例の概要を示すブロック図、第２図
は本発明の一実施例を示すブロック図、第３図は第２図
に示す実施例を塔載した自動車の側面概念図、 第４図は第２図に示す実施例の投光制御手順を示すフロ
ーチャート、 第５図は他の投光制御手順を示すフローチャート、 第６図（ａ）、第７図（ａ）はそれぞれ画像を示す図、 第６図（ｂ）、第７図（ｂ）はそれぞれ第６図（ａ）、
第７図（ａ）の画像のｘ−Ｘ線上の各画素の輝度を示す
図、 第８図は他の種類の画像を示す図、 第９Ａ図、第９Ｂ図は照明状態が適切である場合のＲ次
元信号とＧ次元信号のヒストグラム、第１０Ａ図、−第
１０Ｂ図は照明状態が不適切である場合のＲ次元信号と
Ｇ次元信号のヒストグラム、第１１Ａ図、第１１Ｂ図は
白色光を投光した場合のＲ次元信号とＧ次元信号のヒス
トグラム、第１２Ａ図、第１２Ｂ図は適切な色の光を投
光した場合のＲ次元信号とＧ次元信号のヒストグラムで
ある。 ２・・・画像入力手段 ４・・・撮像領域 ６・・・投光手段 ８・・・制御手段 １０・・・検出手段 第１図 第２図 第３図 第４図 第５図 第６属　　　第７図

Claims (1)

1. 【特許請求の範囲】 　外界認識のための画像入力手段を備えた移動車の画像
   処理装置であって、 上記画像入力手段の撮像領域を光照射する投光手段と、
   上記撮像領域の照明状態を検出する検出手段と、該検出
   手段によって検出された上記撮像領域の照明状態に基づ
   いて上記投光手段の光照射状態を可変制御する制御手段
   とを備えて成ることを特徴とする移動車の画像処理装置
   。