JPH10222679A

JPH10222679A - 車両用画像処理装置

Info

Publication number: JPH10222679A
Application number: JP9021746A
Authority: JP
Inventors: Tomoyuki Doi; 智之土井; Toshihiko Suzuki; 敏彦鈴木; Koji Taguchi; 康治田口
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1997-02-04
Filing date: 1997-02-04
Publication date: 1998-08-21

Abstract

(57)【要約】【課題】ＣＣＤカメラで得られた道路上の物体が平面
物か立体物かを識別する。【解決手段】車載のＣＣＤカメラ１０で異なる時刻Ｔ
0、Ｔ1の前方画像を取得し、画像認識装置１６に供給す
る。また、車両挙動測定装置１４で車速やヨーレートを
検出し、画像認識装置１６に供給する。画像認識装置１
６は、時刻Ｔ0で得られた画像と車両の走行状態から、
画像内の物体が道路上の平面物（道路のプリント等）で
あると仮定した場合に時刻Ｔ1で得られるであろう位置
を算出し、実際に時刻Ｔ1で得られた画像と比較する。
両者が一致すれば物体は平面物であると判定し、一致し
ない場合には物体は立体物であると判定する。また、両
者のずれ量から立体物の高さを算出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は車両用画像処理装
置、特に撮影された物体が道路上の平面物体か否かを識
別する装置に関する。

【０００２】

【従来の技術】従来より、車両にＣＣＤカメラ等を搭載
して車両進行方向を撮影し、道路上の障害物を検出する
技術が開発されている。

【０００３】例えば、特開平５−２３３８１３号公報に
は、車載カメラで撮影した画像のオプティカルフロー
（移動ベクトル）を用いて車両前方の移動物体を検出す
る技術が開示されている。

【０００４】

【発明が解決しようとする課題】オプティカルフロー
は、確かに道路上の移動物体を検出する方法として有効
ではあるが、ある時刻Ｔ0に得られた画像と次の時刻Ｔ1
で得られた画像とのパターンマッチング（全画像につい
て）を行わなければならず、処理量が多く最終的に障害
物となる物体を抽出するまでに時間を要する問題があっ
た。また、パターンマッチングを行ってオプティカルフ
ローを算出しても、そのオプティカルフローがある移動
物体を示しているか否かを判定するためにグルーピング
処理（同一物体に属するオプティカルフローか否か）が
必要となるため、グルーピング処理の精度を確保するた
めに検出できる物体の大きさがある一定値以上に限られ
てしまう問題もある。もちろん、オプティカルフロー自
体を例えば画素単位で抽出することにより小さい物体を
検出することも考えられるが、処理時間が著しく増大し
てしまう。

【０００５】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、オプティカルフローを用いるこ
となく道路上の物体が立体物か平面物か、すなわち車両
にとって障害物となり得るか否かを迅速に識別すること
ができる車両用画像処理装置を提供することにある。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、第１の発明は、車両前方を撮影する撮像手段と、車
両の走行状態を検出する検出手段と、前記撮像手段で得
られた画像を道路面内の平面画像に変換する変換手段
と、ある時刻Ｔ0の平面画像と次の時刻Ｔ1の平面画像を
取得し、時刻Ｔ0の平面画像と時間Ｔ1−Ｔ0における前
記走行状態に基づいて算出される次の時刻Ｔ1における
予測平面画像と、実際に時刻Ｔ1で得られた平面画像と
を比較することにより画像内の物体が道路上の平面物体
か否かを識別する処理手段とを有することを特徴とす
る。

【０００７】また、第２の発明は、第１の発明におい
て、前記処理手段で画像内の物体が道路上の平面物体で
ないと識別された場合に、前記予測平面画像と時刻Ｔ1
で得られた平面画像との相違量に基づき前記物体の道路
面からの高さを算出する演算手段を有することを特徴と
する。

【０００８】また、第３の発明は、第２の発明におい
て、前記演算手段は、前記高さが負の場合には前記物体
は道路上の虚像であると判定することを特徴とする。

【０００９】

【発明の実施の形態】以下、図面に基づき本発明の実施
形態について説明する。

【００１０】＜第１実施形態＞図１には、本実施形態の
構成ブロック図が示されている。車両前方を撮影する撮
像手段としてＣＣＤカメラ１０が車両前部に設けられて
おり、所定の撮影タイミングで車両前方を撮影する。Ｃ
ＣＤカメラ１０で得られた画像は順次車載の画像キャプ
チャボード１２に供給される。画像キャプチャボード１
２は、Ａ／Ｄコンバータ及びＶＲＡＭを有しており、Ｃ
ＣＤカメラ１０からの画像を順次ＶＲＡＭに記憶し、所
定のタイミングで画像認識装置１６に供給する。また、
車両挙動測定装置１４は、車速センサやヨーレートセン
サ等で構成され、車両の走行状態（速度や進行方向）を
検出して画像認識装置１６に供給する。画像認識装置１
６は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びデータバス等を有し
ており、画像キャプチャボード１２から供給された画像
に所定の座標変換を施して道路上の平面座標に変換する
とともに、車両挙動測定装置１４から供給された走行状
態データに基づいて予測平面座標を算出し、実際の平面
画像と比較する機能を有する。なお、平面画像への変換
及び走行状態データに基づく予測平面座標の算出は、全
て所定の計算式に基づいて行われ、具体的には予めＲＯ
Ｍに格納された計算プログラムを実行することで遂行さ
れる。計算プログラムの内容については後述する。ま
た、画像認識装置１６で認識された結果、つまり画像内
の物体が平面物か立体物かは、例えば車両制御ＥＣＵ
（電子制御装置）等に供給され、ブレーキの制御や運転
者への警報等に用いられる。

【００１１】図２〜図５には、本実施形態において画像
認識装置１６がＣＣＤカメラ１０で得られた画像内の物
体を識別する、つまり道路上の平面物（プリントされた
標示物等）であるか立体物であるかを識別するための基
本原理が示されている。

【００１２】まず、図２は道路上の平面物１００（例え
ば菱形状の標示物）を撮影する場合であり、時刻Ｔ0で
撮影し、さらに時刻Ｔ1で撮影した状況を示している。
車両が走行している場合、時刻Ｔ0と時刻Ｔ1における車
両位置、すなわち撮影位置は異なるため両時刻で得られ
た画像は当然異なる。図３には、時刻Ｔ0でＣＣＤカメ
ラ１０で得られる画像（Ａ）及び時刻Ｔ1で得られる画
像（Ｂ）が模式的に示されている。ここで、ＣＣＤカメ
ラ１０の高さとその視線方向、撮影タイミングが既知で
あり、車両の走行状態（速度と進行方向）が分かるなら
ば、時刻Ｔ0で得られた画像内の平面物１００が時刻Ｔ1
ではどのように変化するかは予測可能であり、予測して
得られた画像内の平面物１００の位置と実際に時刻Ｔ1
で得られた画像内の平面物１００の位置は一致すること
になる。

【００１３】一方、図４には道路上に存在する立体物２
００を時刻Ｔ0と時刻Ｔ1で撮影する場合が示されてい
る。ＣＣＤカメラ１０の高さと視線方向は固定であり、
車両の走行状態は図２と同様であるとしても、被撮影物
が平面物か立体物かで画像内の単位時間当たりの移動距
離が異なるため、時刻Ｔ0で得られた画像内の物体が時
刻Ｔ1でどの位置に存在するかを平面物体の場合と同様
に予測した場合、予測して得られた位置と実際の位置と
は一致しないことになる。逆に、被撮影物が平面物体で
あると仮定して予測して得られた位置と実際に得られた
位置とが一致しない場合には、被撮影物は道路上の平面
物ではないことになる。

【００１４】このことを、図５を用いてより詳細に説明
する。図５（Ａ）は時刻Ｔ0で得られた立体物２００の
画像であり、これを平面物体として処理すべく道路を真
上から見た座標系、つまり実空間の３次元座標系（Ｘ−
Ｙ−Ｚ座標系）において道路面内に設定された平面座標
系（Ｙ＝一定）に変換する。図５（Ｂ）には変換して得
られた平面画像が模式的に示されている。そして、画像
を座標変換して得られた画像（平面座標）に対し、時間
（Ｔ1−Ｔ0）における車両の走行状態を用いて時刻Ｔ1
における平面座標系内の物体の位置を予測する。図５
（Ｃ）には、予測して得られた物体の位置が模式的に示
されている。図中黒四角は、物体固有の特徴部（好まし
くは角部）であり、比較の対象となる領域である。図で
は、平面座標系をＸ−Ｚ系とし、黒四角の位置を（Ｘ0
´、Ｚ0´）としている。なお、添字は時刻Ｔ0に得られ
た画像であることを意味し、ダッシュ（´）は予測画像
であることを意味している。また、図５（Ｄ）は時刻Ｔ
1にＣＣＤカメラ１０で得られた実際のカメラ画像であ
り、図５（Ａ）に対応するものである。そして、この画
像に対して道路を真上から見た座標系に変換して平面画
像を算出する。図（Ｅ）には変換して得られた平面画像
が模式的に示されている。図中黒四角の位置を（Ｘ1、
Ｚ1）とする。添え字は、時刻Ｔ1で得られた画像である
ことを意味する。ここで、画像内の物体が平面物１００
である場合には、図５（Ｃ）内の物***置と図５（Ｅ）
内の物***置とは一致する、つまりＸ0′＝Ｘ1、Ｚ0′
＝Ｚ1となるが、物体は立体物２００であるため、図５
（Ｅ）の黒四角位置と図５（Ｃ）の黒四角位置、特にそ
のＺ座標は一致せず、ずれることになる。従って、Ｘ
0′とＸ1の値、及びＺ0′とＺ1の値を比較することで、
物体が道路上の平面物か立体物かを容易に識別すること
ができる。

【００１５】図６には、以上述べた基本原理に従って画
像認識装置１６が行う処理のフローチャートが示されて
いる。まず、画像認識装置１６は、時刻Ｔ0で得られた
画像（便宜上これを画像１と称する）を画像キャプチャ
ボード１２から入力し（Ｓ１０１）、この画像１を道路
面内の平面画像に変換する（Ｓ１０２）。この変換は、
具体的には、図７に示されるようにＣＣＤカメラの撮影
面座標系をｘ−ｙ系、ＣＣＤカメラ中心を原点とする実
空間の３次元空間Ｘ−Ｙ−Ｚ系における道路面のＹ座標
をＹ＝−Ｈ（ＨはＣＣＤカメラ１０の道路面からの高
さ）とした場合、道路面内の平面座標（Ｘ、Ｚ）は、

【数１】

【数２】で計算される。なお、ＦはＣＣＤカメラ１０の焦点距離
である。このようにして変換された平面画像、つまりカ
メラ中心を原点とする実３次元空間において道路を真上
から見た場合の画像を便宜上模様１と称する。一方、画
像認識装置１６は、画像１取得時点、つまり時刻Ｔ0か
らの車両挙動を記録する（Ｓ１０３）。車両挙動とは、
具体的には車速及び移動方向（例えばヨーレート）を意
味する。そして、記録した挙動履歴から現在、つまり時
刻Ｔ1における車両の位置と姿勢を計算する（Ｓ１０
４）。図８には、位置と姿勢の一例が示されており、時
刻Ｔ0における位置（図中の原点）から（ｄＸ、ｄＺ）
だけ移動し、姿勢角（ヨー角）がθになったものとす
る。そして、現在時刻Ｔ1での車両の位置（ｄＸ、ｄ
Ｚ）と姿勢角θを用いて時刻Ｔ0の模様１から現在の時
刻Ｔ1における模様（便宜上これを模様１′と称する）
を予測する（Ｓ１０５）。具体的には、模様１の座標を
（Ｘ0、Ｚ0）、模様１′の座標を（Ｘ0′、Ｚ0′）とし
た場合、

【数３】を用いて変換する。得られた平面画像は画像認識装置１
６内のＲＡＭに記憶される。この処理が終了した後、現
在時刻Ｔ1における画像（便宜上画像２と称する）を画
像キャプチャボード１２から入力し（Ｓ１０６）、Ｓ１
０２と同様に平面画像に変換する（Ｓ１０７）。平面画
像を便宜上模様２と称する。この模様２は、現在時刻Ｔ
1において実際に得られた平面画像であり、模様１′に
対応するものである。そこで、模様１′と模様２とを比
較し（Ｓ１０８）、その形状が一致するか否かを判定す
る（Ｓ１０９）。なお、実際の比較処理は、図５の説明
でも述べたように模様１′及び模様２の対応する特徴点
Ｐの座標同士を比較すればよい。そして、形状が一致す
る、つまり両模様の対応する特徴点Ｐの座標が一致する
場合には、画像内の物体は道路上の平面物であり障害に
ならないと判定し（Ｓ１１０）、一致しない場合には平
面物ではなく立体物であるとして障害になり得ると判定
する（Ｓ１１１）。なお、一致しているか否かは、具体
的には両特徴点Ｐの座標が所定量（例えば２画素）以上
ずれていないか否かで判定すればよい。

【００１６】このように、本実施形態では、時刻Ｔ0に
おいて取得したカメラ画像から車両の走行状態に基づい
て時刻Ｔ1における平面画像を予測し、この予測平面画
像と実際に時刻Ｔ1で得られた平面画像とを比較するこ
とにより、画像内の物体が平面物であるか立体物である
かを容易に識別することができる。また、両平面画像を
比較する際に、平面画像の特徴点Ｐの座標が一致するか
否かを判定すれば良いので、処理の迅速化を図ることも
できる。なお、特徴点は１つである必要はなく、必要に
応じて複数の特徴点を抽出し、これら複数の特徴点に対
応関係を総合的に判断して立体物か平面物かを判定して
も良い。すなわち、立体物であっても道路に接する点を
特徴点として抽出してしまうと予測平面画像と実際の画
像との間に相違が生じないことになるので、特徴点（特
に物体の角部）を複数抽出し、これら複数の特徴点のう
ち少なくとも一つが両画像でずれている場合には、立体
物と判定するのが好適である。もちろん、画像認識装置
の処理速度に余裕がある場合には、予測平面画像と実際
の平面画像とのパターンマッチングを行って両形状が一
致するか否かを判定してもよい。

【００１７】また、本実施形態において、時刻Ｔ0にお
ける平面画像から車両の走行状態に基づいて時刻Ｔ1に
おける予測平面画像を算出するステップを省略し、単に
時刻Ｔ0における平面画像の特徴点と実際に得られた時
刻Ｔ1における平面画像の特徴点が（３）式の関係を満
たすか否かを判定しても良い。もちろん、このような処
理においても（３）式を用いた時点で実質的に予測平面
画像を算出していることになるので、本実施形態の処理
と等価であることは言うまでもない。

【００１８】＜第２実施形態＞上記第１実施形態では、
画像内の物体が平面物か立体物かを識別したが、本実施
形態では、さらに立体物の高さも検出する場合を示す。
本実施形態の構成は図１と同様であり、相違点は画像認
識装置１６内のＣＰＵがＲＯＭに格納された高さ算出プ
ログラムを実行することで物体の道路面からの高さを算
出する点である。図９には、本実施形態の処理フロー
チャートを示す。Ｓ２０１〜Ｓ２０９までの処理は、図
６に示すＳ１０１〜Ｓ１０９までの処理と同様であるの
で説明を省略する。そして、模様１´と模様２とを比較
した結果、形状が一致しないと判定した場合には（Ｓ２
０９でＮＯ）、さらに模様１´と模様２の対応点を探索
する（Ｓ２１０）。この対応点は、形状の一致を判定し
た場合の特徴点Ｐを用いればよく、必要な場合には他の
対応点（ずれが検出された特徴点）を探索しても良い。
そして、模様１´の特徴点Ｐの座標を（Ｘ0´、Ｚ0
´）、模様２の特徴点Ｐの座標を（Ｘ1、Ｚ1）とした場
合、Ｚ軸（図７参照）方向のずれ量に基づいて物体の高
さを算出する（Ｓ２１１）。

【００１９】図１０には、物体の高さを算出する基本原
理が示されている。時刻Ｔ0において路面からの高さＨc
arの車載ＣＣＤカメラ１０で物体を撮影し、物体の特徴
点Ｐの見かけの距離がＬ1（図中Ｑ点）であったとす
る。次に、時刻Ｔ1までに車両がＬmoveだけ移動し、特
徴点Ｐまでの見かけの距離がＬ2（図中Ｒ点）になった
とする。このとき、時刻Ｔ1において物体が平面物（道
路のプリント等）であったとした場合の視線は図中点線
で示されるように点Ｑであり、このＱ点は、時刻Ｔ0に
おいて得られた物体が平面物であったとした場合に時刻
Ｔ1で得られるであろう点に相当する。従って、Ｑ点と
Ｒ点のずれは、模様１´の特徴点ＰのＺ座標Ｚ0´と模
様２の特徴点ＰのＺ1とのずれΔＺ（＝Ｚ1−Ｚ0´）に
等しく、物体の高さＨは、図より

【数４】で求められる。但し、

【数５】であり、ΔＺは通常は負となる（車両から見てＲ点はＱ
点より手前にくる）。このように、時刻Ｔ0から算出さ
れた予測平面画像である模様１´と時刻Ｔ1で実際に得
られた平面画像である模様２とのずれ量ΔＺから物体の
高さを算出することができる（Ｌmoveは車両挙動測定装
置１４からの車速データに基づき算出できる）。

【００２０】Ｓ２１１で物体の高さを算出した後、得ら
れた高さＨが正であるか否かを判定する（Ｓ２１２）。
この判定は、物体が実像（ΔＺが負）か虚像（ΔＺが
正）かを判定するためのものである。

【００２１】図１１には、ΔＺが正となる場合、つまり
道路上の水たまり等に物体が映っている場合の原理図が
示されている。道路上の水たまりには実際の物体（図で
は例として木を示している）の虚像が見えており、時刻
Ｔ0でこの虚像の特徴点Ｐまでの見かけの距離がＬ1（図
中Ｑ点）であったとすると、時刻Ｔ1には見かけの距離
がＬ2（図中Ｒ点）となり、点Ｒは点Ｑよりも車両から
みて遠ざかる位置になる。このとき、ΔＺ＝Ｚ1−Ｚ0´
は正となり、（４）式において正味のＨも負となる。そ
こで、得られたＨが負である場合には、画像内の物体は
実像ではなく虚像であると判定でき（Ｓ２１３）、Ｈが
正である場合には実像で障害物となり得る立体物である
と判定できる（Ｓ２１４）。なお、虚像の場合には、形
状が一致する場合（平面物）と同様に非障害物と判定で
き（Ｓ２１５）、警報処理等を実行しない。

【００２２】このように、本実施形態では、単に平面物
か立体物かを識別するのではなく、立体物の場合にはそ
の高さも算出することができるので、運転者にその高さ
を報知する、あるいは高さに応じて走行制御を変化させ
る（例えば高さが０．５ｍより小さい場合にはそのまま
通過する）等、より細かい処理が可能となる。

【００２３】なお、本実施形態のように、予測平面画像
と実際の平面画像との相違量に基づいて物体の高さを算
出する場合、ＣＣＤカメラ１０のサンプリングタイミン
グが重要となる。その理由は、例えば障害物となり得る
高さ（例えば０．５ｍ以上）の物体を確実に検出するた
めに、ずれ量を検知できるだけのサンプリング間隔を車
速によらず常に確保する必要があるからである（ずれ量
を確実に検出するという観点では上記の第１実施形態も
同様である）。

【００２４】図１２には、ＣＣＤカメラ１０の画素数を
５１２×５１２画素、焦点距離Ｆ＝７．５ｍｍ、障害物
発見距離（時刻Ｔ0における車両と障害物との距離）＝
３０ｍ、ＣＣＤカメラ高さＨcar＝１．４ｍ、「ずれ」
ありと判定する最小の相違量を２画素とした場合の、障
害物高さＨ（ｃｍ）とサンプリング間隔における車両の
移動距離Ｌmove（ｍ）との関係を示したものである。こ
の図から、高さＨ＝０．５ｍ以上のものを障害物として
検知しようとする場合、車両が７．２ｍ移動する間に比
較すべき２画像をサンプリングすれば良いことがわか
る。

【００２５】図１３には、車両が７．２ｍ移動する間に
ＣＣＤカメラ１０で２つの画像を撮影するために必要な
サンプリング時間（ｓｅｃ）と車速（ｋｍ／ｈ）との関
係が示されている。この図から、例えば時速４０ｋｍ／
ｈで走行する場合には、ＣＣＤカメラ１０のサンプリン
グ時間は約６５０ｍｓｅｃとすれば、高さ０．５ｍ以上
の障害物を確実に検出することができる。

【００２６】

【発明の効果】以上説明したように、本発明によれば、
道路上の物体が立体物か平面物か、すなわち車両にとっ
て障害物となり得るか否かを迅速に識別することができ
る。

【００２７】また、本発明によれば、道路上の物体が立
体物の場合にはその高さを検出することができ、さらに
画像内の物体が実像か虚像かを識別することができるの
で、画像処理の結果を用いてより適当な走行制御を実行
することができる。

【図面の簡単な説明】

【図１】本発明の実施形態の構成図である。

【図２】平面物１００と車両との位置関係を示す平面
図である。

【図３】時刻Ｔ0とＴ1で得られる平面物１００の画像
説明図である。

【図４】時刻Ｔ0とＴ1で得られる立体物２００の画像
説明図である。

【図５】実施形態の処理の基本原理説明図である。

【図６】実施形態の処理フローチャートである。

【図７】座標変換に用いられる座標系説明図である。

【図８】時刻Ｔ0からＴ１における車両の移動を示す
説明図である。

【図９】他の実施形態の処理フローチャートである。

【図１０】実像の場合の車両と像位置の関係を示す説
明図である。

【図１１】虚像の場合の車両と像位置の関係を示す説
明図である。

【図１２】障害物高さと移動距離の関係を示すグラフ
図である。

【図１３】車速とサンプリング時間の関係を示すグラ
フ図である。

【符号の説明】

１０ＣＣＤカメラ、１２画像キャプチャボード、１
４車両挙動測定装置、１６画像認識装置。

Claims

【特許請求の範囲】

【請求項１】車両前方を撮影する撮像手段と、車両の走行状態を検出する検出手段と、前記撮像手段で得られた画像を道路面内の平面画像に変
換する変換手段と、ある時刻Ｔ0の平面画像と次の時刻Ｔ1の平面画像を取得
し、時刻Ｔ0の平面画像と時間Ｔ1−Ｔ0における前記走
行状態に基づいて算出される次の時刻Ｔ1における予測
平面画像と、実際に時刻Ｔ1で得られた平面画像とを比
較することにより画像内の物体が道路上の平面物体か否
かを識別する処理手段と、を有することを特徴とする車両用画像処理装置。
【請求項２】前記処理手段で画像内の物体が道路上の
平面物体でないと識別された場合に、前記予測平面画像
と時刻Ｔ1で得られた平面画像との相違量に基づき前記
物体の道路面からの高さを算出する演算手段を有するこ
とを特徴とする請求項１記載の車両用画像処理装置。
【請求項３】前記演算手段は、前記高さが負の場合に
は前記物体は道路上の虚像であると判定することを特徴
とする請求項２記載の車両用画像処理装置。