JPH08122062A - 車両周辺監視装置 - Google Patents
車両周辺監視装置Info
- Publication number
- JPH08122062A JPH08122062A JP6263506A JP26350694A JPH08122062A JP H08122062 A JPH08122062 A JP H08122062A JP 6263506 A JP6263506 A JP 6263506A JP 26350694 A JP26350694 A JP 26350694A JP H08122062 A JPH08122062 A JP H08122062A
- Authority
- JP
- Japan
- Prior art keywords
- scanning line
- line number
- vehicle
- inspection scanning
- recorded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 本発明は短時間で、かつ確実に物体を検出で
きるようにした車両周辺監視装置を提供することを目的
とする。 【構成】 車両に所定距離だけ離して設置された2台の
撮像手段より得られた画像データに基づいて物***置を
算出し、車両の周辺を監視する車両周辺監視装置におい
て、前記2台の撮像手段より出力された画像信号を記録
するフレームメモリ1と、前記フレームメモリの自車両
より近方は密に遠方は粗となるようにした検査走査線番
号記録手段2と、前記検査走査線番号記録手段2に記録
されている走査線番号の画像データを前記フレームメモ
リより読出して物***置を算出する物***置算出手段3
と、を備える。
きるようにした車両周辺監視装置を提供することを目的
とする。 【構成】 車両に所定距離だけ離して設置された2台の
撮像手段より得られた画像データに基づいて物***置を
算出し、車両の周辺を監視する車両周辺監視装置におい
て、前記2台の撮像手段より出力された画像信号を記録
するフレームメモリ1と、前記フレームメモリの自車両
より近方は密に遠方は粗となるようにした検査走査線番
号記録手段2と、前記検査走査線番号記録手段2に記録
されている走査線番号の画像データを前記フレームメモ
リより読出して物***置を算出する物***置算出手段3
と、を備える。
Description
【0001】
【産業上の利用分野】本発明は車両に設置された2台の
カメラより撮像された信号に基づいて危険と判定された
とき警報を発する車両周辺監視装置に関する。
カメラより撮像された信号に基づいて危険と判定された
とき警報を発する車両周辺監視装置に関する。
【0002】
【従来の技術】この種の装置としては、例えば特開平4
−26100号公報およご特開平4−301513号公
報で示されるように、2台のカメラで撮像した画像信号
より物体の位置を算出する方法が記載されている。
−26100号公報およご特開平4−301513号公
報で示されるように、2台のカメラで撮像した画像信号
より物体の位置を算出する方法が記載されている。
【0003】これらの車両周辺監視装置においては、一
方のカメラで撮像された画像信号の隣接する画素の輝度
差を調べて物体のエッジ点Pa を検出し、検出したエッ
ジ点に対応する他方のカメラで撮像された画像信号の対
応点Pb を相関法で検出して、Pa およびPb の画像信
号座標より物体の位置Pを算出している。
方のカメラで撮像された画像信号の隣接する画素の輝度
差を調べて物体のエッジ点Pa を検出し、検出したエッ
ジ点に対応する他方のカメラで撮像された画像信号の対
応点Pb を相関法で検出して、Pa およびPb の画像信
号座標より物体の位置Pを算出している。
【0004】いま2台のカメラを、例えば、図7に示す
ように、車両後部に路面よりHなる高さに設置されて、
車両後方を撮像する。そこで、以後の説明を容易にする
ため、図8に示すように、カメラ設置点での座標を
X′,Y′およびZ′で表わし、路面での座標をX,Y
およびYで表わすものとする。したがって、カメラの設
置俯角θs =90のときは、 X=X′,Y=Y′+H,Z=Z …(1) となる。
ように、車両後部に路面よりHなる高さに設置されて、
車両後方を撮像する。そこで、以後の説明を容易にする
ため、図8に示すように、カメラ設置点での座標を
X′,Y′およびZ′で表わし、路面での座標をX,Y
およびYで表わすものとする。したがって、カメラの設
置俯角θs =90のときは、 X=X′,Y=Y′+H,Z=Z …(1) となる。
【0005】両カメラのレンズの光軸は、図9に示すよ
うに、両光軸ともZ′軸と一致させ、距離Lだけ離れて
設置される。図9において、X′軸は両カメラのレンズ
の中心点を結ぶ方向にとり、X′軸は路面と平行になる
ようにカメラ11および12を設置する。
うに、両光軸ともZ′軸と一致させ、距離Lだけ離れて
設置される。図9において、X′軸は両カメラのレンズ
の中心点を結ぶ方向にとり、X′軸は路面と平行になる
ようにカメラ11および12を設置する。
【0006】Y′軸は、Z′軸とX′軸とに垂直となる
軸で、路面の垂直な軸である。以後の説明を容易にする
ため、X′,Y′およびZ′軸のO点はカメラ(左)の
レンズの中心にとる。このように設置された両カメラに
よって撮像され、メモリに記録されている点P
(Xp ′,Yp ′,Zp ′)の記録を、それぞれP
L (xLP,yLP)および(xRP,yRP)とすると、点P
までの距離Zp ′は Zp ′=Lf/(xLP−xRP) …(2) ただし、Lは両レンズの間隔 fはレンズの焦点距離 で表わされる。
軸で、路面の垂直な軸である。以後の説明を容易にする
ため、X′,Y′およびZ′軸のO点はカメラ(左)の
レンズの中心にとる。このように設置された両カメラに
よって撮像され、メモリに記録されている点P
(Xp ′,Yp ′,Zp ′)の記録を、それぞれP
L (xLP,yLP)および(xRP,yRP)とすると、点P
までの距離Zp ′は Zp ′=Lf/(xLP−xRP) …(2) ただし、Lは両レンズの間隔 fはレンズの焦点距離 で表わされる。
【0007】また、点P(Xp ′,Yp ′,Zp ′)の
Yp ′は、図9より、 Yp ′=Atan ΦL =Zp ′tan ΦL /sin θL =Zp ′yLP/f …(3) =LyLP/(xLP−xRP) …(4) で表わされる。
Yp ′は、図9より、 Yp ′=Atan ΦL =Zp ′tan ΦL /sin θL =Zp ′yLP/f …(3) =LyLP/(xLP−xRP) …(4) で表わされる。
【0008】また、点P(Xp ′,Yp ′,Zp ′)の
Xp ′は、図9より、 Xp ′=Acos θL =Zp ′cos θL /sin θL =Zp ′xLP/f …(5) =LxLP/(xLP−xRP) …(6) で表わされる。
Xp ′は、図9より、 Xp ′=Acos θL =Zp ′cos θL /sin θL =Zp ′xLP/f …(5) =LxLP/(xLP−xRP) …(6) で表わされる。
【0009】なお、物体のX軸方向の位置を両カメラの
中央よりの距離としたい場合は、X軸距離Xp ′は Xp ′=Xp ′−L/2 …(7) なる演算を行なえば良い。
中央よりの距離としたい場合は、X軸距離Xp ′は Xp ′=Xp ′−L/2 …(7) なる演算を行なえば良い。
【0010】カメラが図7で示すように、垂直方向より
θS 下方向に向けられている場合は補正が必要となる。
カメラの俯角がθS である場合、図8に示すようにな
る。X′,Y′およびZ′座標で表わした点Pの位置X
p ′,Yp ′およびZp ′は路面座標X,YおよびZで
表わすと図8で示すようになる。
θS 下方向に向けられている場合は補正が必要となる。
カメラの俯角がθS である場合、図8に示すようにな
る。X′,Y′およびZ′座標で表わした点Pの位置X
p ′,Yp ′およびZp ′は路面座標X,YおよびZで
表わすと図8で示すようになる。
【0011】したがって、式(2),(4)および
(6)で算出したZp ′,Yp ′およびXp ′を用いて
X,YおよびZ座標で表わした点Pの値をXp ,Yp お
よびZpとすると、 Xp =Xp ′ …(8) Yp =H−Zp ′cos θS +Yp ′sin θS …(9) Zp =Zp ′sin θS +Yp ′cos θS …(10) となる。
(6)で算出したZp ′,Yp ′およびXp ′を用いて
X,YおよびZ座標で表わした点Pの値をXp ,Yp お
よびZpとすると、 Xp =Xp ′ …(8) Yp =H−Zp ′cos θS +Yp ′sin θS …(9) Zp =Zp ′sin θS +Yp ′cos θS …(10) となる。
【0012】図10(A)および(B)は、左および右
のカメラで撮像した画像信号を示しており、この画像信
号の水平方向(走査線)の隣接する画素間の輝度差よ
り、図10(F)に示すように、物体のエッジを検出
し、図(A)(B)の左右画像より対応点の座標xLP,
yLPおよびxRP,yRPを読出して式(2),(4)およ
び(6)に代入してZp ′,Yp ′およびXp ′を求
め、式(8),(9)および(10)に代入して物***
置Xp ,Yp およびZp を求めていた。
のカメラで撮像した画像信号を示しており、この画像信
号の水平方向(走査線)の隣接する画素間の輝度差よ
り、図10(F)に示すように、物体のエッジを検出
し、図(A)(B)の左右画像より対応点の座標xLP,
yLPおよびxRP,yRPを読出して式(2),(4)およ
び(6)に代入してZp ′,Yp ′およびXp ′を求
め、式(8),(9)および(10)に代入して物***
置Xp ,Yp およびZp を求めていた。
【0013】
【発明が解決しようとする課題】前述したように、従来
の車両周辺監視装置においては、カメラで撮像された画
像信号の全てに対して処理を行ない物***置を算出する
ようにしていたため、処理に長時間を要していた。
の車両周辺監視装置においては、カメラで撮像された画
像信号の全てに対して処理を行ない物***置を算出する
ようにしていたため、処理に長時間を要していた。
【0014】処理時間を短縮するには、例えば、等間隔
で配置された特定の走査線に対してのみ処理を行なって
物***置を算出させる方法が考えられている。すなわ
ち、図10で示したポール31を検出するには、例えば
10走査線毎に検出されるエッジ点の位置を算出し、算
出されたエッジ点位置間を補間することに物体全体を認
識することができる。
で配置された特定の走査線に対してのみ処理を行なって
物***置を算出させる方法が考えられている。すなわ
ち、図10で示したポール31を検出するには、例えば
10走査線毎に検出されるエッジ点の位置を算出し、算
出されたエッジ点位置間を補間することに物体全体を認
識することができる。
【0015】しかし、このような方法をとった場合は次
のような問題が発生する。すなわち、カメラで撮像した
物体のエッジは最大1画素のズレが発生することがあ
る。このため、式(2),(4)および(6)のxLP−
xRPの値が変化し、式(10)で算出される車両より物
体までの距離Zp が大きく変化する。またZ p の誤差は
車両より遠方になるに従って大きくなる。
のような問題が発生する。すなわち、カメラで撮像した
物体のエッジは最大1画素のズレが発生することがあ
る。このため、式(2),(4)および(6)のxLP−
xRPの値が変化し、式(10)で算出される車両より物
体までの距離Zp が大きく変化する。またZ p の誤差は
車両より遠方になるに従って大きくなる。
【0016】このため、図13に示すように、車両の近
方に対応する走査線4で算出された物体bの位置が、車
両の遠方に対応する走査線5で算出された物体aより遠
方にあると算出されることが発生し、物体を確実に認識
することができなくなる。本発明は短時間で、かつ確実
に物体を検出できるようにした車両周辺監視装置を提供
することを目的とする。
方に対応する走査線4で算出された物体bの位置が、車
両の遠方に対応する走査線5で算出された物体aより遠
方にあると算出されることが発生し、物体を確実に認識
することができなくなる。本発明は短時間で、かつ確実
に物体を検出できるようにした車両周辺監視装置を提供
することを目的とする。
【0017】
【課題を解決するための手段】前述した課題を解決する
ために本発明が採用した手段を図1を参照して説明す
る。図1は本発明の基本構成図である。車両に所定距離
だけ離して設置された2台の撮像手段より得られた画像
データに基づいて物***置を算出し、車両の周辺を監視
する車両周辺監視装置において、前記2台の撮像手段よ
り出力された画像信号を記録するフレームメモリ1と、
前記フレームメモリの自車両より近方は密に遠方は粗と
なるようにした検査走査線番号記録手段2と、前記検査
走査線番号記録手段2に記録されている走査線番号の画
像データを前記フレームメモリより読出して物***置を
算出する物***置算出手段3と、を備える。
ために本発明が採用した手段を図1を参照して説明す
る。図1は本発明の基本構成図である。車両に所定距離
だけ離して設置された2台の撮像手段より得られた画像
データに基づいて物***置を算出し、車両の周辺を監視
する車両周辺監視装置において、前記2台の撮像手段よ
り出力された画像信号を記録するフレームメモリ1と、
前記フレームメモリの自車両より近方は密に遠方は粗と
なるようにした検査走査線番号記録手段2と、前記検査
走査線番号記録手段2に記録されている走査線番号の画
像データを前記フレームメモリより読出して物***置を
算出する物***置算出手段3と、を備える。
【0018】また、前記検査走査線番号記録手段2に記
録する検査走査線の番号を、前記フレームメモリに記録
されている物体に対する両画像間の水平方向の画素数を
1画素変化しても隣接する検査走査線より算出された自
車両より物体までの距離が重複しないように選定するよ
うにする。
録する検査走査線の番号を、前記フレームメモリに記録
されている物体に対する両画像間の水平方向の画素数を
1画素変化しても隣接する検査走査線より算出された自
車両より物体までの距離が重複しないように選定するよ
うにする。
【0019】また、前記検査走査線番号を、前記2台の
撮像手段の設置距離、レンズの焦点距離、路面上よりの
設置距離および路面に対する設置俯角より算出して記録
検査走査線番号記録手段2に記録する検査走査線番号算
出手段4を備える。
撮像手段の設置距離、レンズの焦点距離、路面上よりの
設置距離および路面に対する設置俯角より算出して記録
検査走査線番号記録手段2に記録する検査走査線番号算
出手段4を備える。
【0020】
【作用】検査走査線番号記録手段2には予め自車両より
近方は走査線間隔を小に、また遠方は走査線間隔を大に
した特定の複数の検査走査線番号を記録する。物***置
算出手段3は、2台の操作手段で撮像されてフレームメ
モリ1に記録されている検査走査線番号記録手段2に記
録されている検査走査線番号に対応する画像信号の信号
を読出して物***置を算出する。
近方は走査線間隔を小に、また遠方は走査線間隔を大に
した特定の複数の検査走査線番号を記録する。物***置
算出手段3は、2台の操作手段で撮像されてフレームメ
モリ1に記録されている検査走査線番号記録手段2に記
録されている検査走査線番号に対応する画像信号の信号
を読出して物***置を算出する。
【0021】また、検査走査線の番号をフレームメモリ
に記録されている物体に対する両画像間の水平方向の画
素数を1画素変化させても隣接する検査走査線より算出
した自車両より物体までの距離が重複しないように選定
して検査走査線番号記録手段2に記録する。
に記録されている物体に対する両画像間の水平方向の画
素数を1画素変化させても隣接する検査走査線より算出
した自車両より物体までの距離が重複しないように選定
して検査走査線番号記録手段2に記録する。
【0022】また、検査走査線番号算出手段4は、2台
の撮像手段の設置距離、レンズの焦点距離、路面上より
の設置距離および路面に対する設置俯角より検査走査線
番号を算出して検査走査線番号記録手段2に記録する。
以上のように、検査走査線を自車両より近方は密に遠方
は粗となるような走査線番号の画像データより物体の位
置を算出するようにしたので、撮像された両画像の水平
方向の視差値に誤差が発生しても隣接する検査走査線で
算出された物***置が前後することなく、短時間で近方
ほど精度の良い物体の認識を行なわせることができる。
の撮像手段の設置距離、レンズの焦点距離、路面上より
の設置距離および路面に対する設置俯角より検査走査線
番号を算出して検査走査線番号記録手段2に記録する。
以上のように、検査走査線を自車両より近方は密に遠方
は粗となるような走査線番号の画像データより物体の位
置を算出するようにしたので、撮像された両画像の水平
方向の視差値に誤差が発生しても隣接する検査走査線で
算出された物***置が前後することなく、短時間で近方
ほど精度の良い物体の認識を行なわせることができる。
【0023】また、撮像され両画像の水平方向の視差値
に1画素分の誤差が発生しても隣接する検査走査線で算
出された物体までの距離が重複しないように検査走査線
番号を選定するようにしたので、確実に精度の良い物体
の認識を行なわせることができる。
に1画素分の誤差が発生しても隣接する検査走査線で算
出された物体までの距離が重複しないように検査走査線
番号を選定するようにしたので、確実に精度の良い物体
の認識を行なわせることができる。
【0024】また、検査走査線番号を2台の撮像手段の
設置距離、レンズの焦点距離、路面上より設置距離、お
よび路面に対する俯角より算出して記録させるようにし
たので、カメラの設置条件が変更になっても直ちに対処
することができる。
設置距離、レンズの焦点距離、路面上より設置距離、お
よび路面に対する俯角より算出して記録させるようにし
たので、カメラの設置条件が変更になっても直ちに対処
することができる。
【0025】
【実施例】本発明の一実施例を図2〜図5を参照して説
明する。図2は本発明の実施例の構成図、図3〜図5は
同実施例の動作フローチャートである。図2において、
11および12は車両の周辺を撮像するカメラ、13お
よび14はカメラ11および12で撮像された画像信号
を一時記録するフレームメモリ、15はフレームメモリ
13および14に記録されている画像データに対して、
それぞれカメラ11および12のレンズの歪曲収差を補
正して、それぞれメモリ(右)18およびメモリ(左)
19に記録する歪曲収差補正部、17は物体のエッジを
検出する物体エッジ検出部である。
明する。図2は本発明の実施例の構成図、図3〜図5は
同実施例の動作フローチャートである。図2において、
11および12は車両の周辺を撮像するカメラ、13お
よび14はカメラ11および12で撮像された画像信号
を一時記録するフレームメモリ、15はフレームメモリ
13および14に記録されている画像データに対して、
それぞれカメラ11および12のレンズの歪曲収差を補
正して、それぞれメモリ(右)18およびメモリ(左)
19に記録する歪曲収差補正部、17は物体のエッジを
検出する物体エッジ検出部である。
【0026】また、20は物体の位置を算出する物***
置算出部、21は挿込軌跡推定部、22は表示警報部、
23はその他の処理を行なう処理部、24は検査走査線
番号記録部、25は検査走査線番号算出部、26は車両
の舵角信号を読込むインタフェース(I/O)、27は
処理を実行するプロセッサ(CPU)である。
置算出部、21は挿込軌跡推定部、22は表示警報部、
23はその他の処理を行なう処理部、24は検査走査線
番号記録部、25は検査走査線番号算出部、26は車両
の舵角信号を読込むインタフェース(I/O)、27は
処理を実行するプロセッサ(CPU)である。
【0027】まず、図3を参照して、検査走査線番号算
出部25の動作を説明する。図3の動作の開始は、カメ
ラの設置条件が変更になった場合等において、検査走査
線番号算出部25の図示しないスイッチをオンにすると
動作が開始する。処理S20では、図示しない入力キー
より、図7〜図9に示すように、カメラ11および12
が設置されている距離L、カメラ11および12のレン
ズの焦点距離f、カメラが設置されている路面高H、お
よびカメラの設置俯角θS を入力する。
出部25の動作を説明する。図3の動作の開始は、カメ
ラの設置条件が変更になった場合等において、検査走査
線番号算出部25の図示しないスイッチをオンにすると
動作が開始する。処理S20では、図示しない入力キー
より、図7〜図9に示すように、カメラ11および12
が設置されている距離L、カメラ11および12のレン
ズの焦点距離f、カメラが設置されている路面高H、お
よびカメラの設置俯角θS を入力する。
【0028】処理S21では、まず車両の最近方が撮像
された走査線番号である第1番の走査線に対して、高さ
Oの物体が存在した場合のカメラ11および12で撮像
された画像データの視差値S(=xLP−xRP)を算出す
る。xLP−xRPの算出は、式(9)のYp を0とした式
に式(2)および(4)を代入すると、 S=xLP−xRP =L(fcos θS −yLPsin θS )/H …(11) が得られる。
された走査線番号である第1番の走査線に対して、高さ
Oの物体が存在した場合のカメラ11および12で撮像
された画像データの視差値S(=xLP−xRP)を算出す
る。xLP−xRPの算出は、式(9)のYp を0とした式
に式(2)および(4)を代入すると、 S=xLP−xRP =L(fcos θS −yLPsin θS )/H …(11) が得られる。
【0029】したがって、式(11)のyLPに走査線番
号である1を、また、L,f,HおよびθS は処理S2
0で入力された値を代入して視差値Sを算出する。処理
S22では、処理S21で算出されたSに+1したS+
1、また−1したS−1をxLP−xRPとして式(2),
(4)および(6)に代入してXp ′,Y p ′およびZ
p ′を算出し、算出された値を式(8)〜(10)に代
入してXp,Yp およびZp を算出して記録する。
号である1を、また、L,f,HおよびθS は処理S2
0で入力された値を代入して視差値Sを算出する。処理
S22では、処理S21で算出されたSに+1したS+
1、また−1したS−1をxLP−xRPとして式(2),
(4)および(6)に代入してXp ′,Y p ′およびZ
p ′を算出し、算出された値を式(8)〜(10)に代
入してXp,Yp およびZp を算出して記録する。
【0030】処理S23では、後の処理S25で説明す
る検査走査線番号記録部25に記録されている前回記録
された走査線番号に対するZPS+1およびZPS-1と今回算
出したZPS+1およびZPS-1が重複するか否かを判定し、
重複されると判定された場合は処理S24に移って走査
線番号を+1して処理S21〜S23を繰返し、判定が
重複しないと判定された場合は処理S25に移って走査
線番号iを検査走査線番号記録部24に記録する。
る検査走査線番号記録部25に記録されている前回記録
された走査線番号に対するZPS+1およびZPS-1と今回算
出したZPS+1およびZPS-1が重複するか否かを判定し、
重複されると判定された場合は処理S24に移って走査
線番号を+1して処理S21〜S23を繰返し、判定が
重複しないと判定された場合は処理S25に移って走査
線番号iを検査走査線番号記録部24に記録する。
【0031】処理S26では、残りの走査線が有る場合
は処理S24に移って、処理S25で記録した走査線番
号iに+1し、処理S21〜S26が最終走査線まで繰
返えされる。すなわち、処理S22では、図11に示す
ように、視差値をS,S+1およびS−1として物体ま
での距離を算出すると、それぞれ、ZPS,ZPS+1および
ZPS -1が算出され、ZPS+1およびZPS-1を記録する。
は処理S24に移って、処理S25で記録した走査線番
号iに+1し、処理S21〜S26が最終走査線まで繰
返えされる。すなわち、処理S22では、図11に示す
ように、視差値をS,S+1およびS−1として物体ま
での距離を算出すると、それぞれ、ZPS,ZPS+1および
ZPS -1が算出され、ZPS+1およびZPS-1を記録する。
【0032】処理S23では、図12(A)に示すよう
に、走査線番号4は前回処理S25で検査走査線番号と
して記録した走査線であり、走査線番号5は処理S21
でi=5として処理S22で算出されたZP の誤差範囲
を示している。図12(A)で示すように誤差範囲が重
複する場合(処理S23の判定がYES)の場合は処理
S24に移ってiを+1したi=6として処理S21に
移って処理S21〜S23が繰返えされる。
に、走査線番号4は前回処理S25で検査走査線番号と
して記録した走査線であり、走査線番号5は処理S21
でi=5として処理S22で算出されたZP の誤差範囲
を示している。図12(A)で示すように誤差範囲が重
複する場合(処理S23の判定がYES)の場合は処理
S24に移ってiを+1したi=6として処理S21に
移って処理S21〜S23が繰返えされる。
【0033】したがって、検査走査線番号記録部24に
記録されている検査走査線番号は、図12(B)に示す
ように、誤差範囲が重複しないようになった走査線番号
が記録される。なお実施例では検査走査線番号算出部2
5を備えるようにしたが、カメラの設置条件が変更とな
った時は別の計算機で検査走査線番号を算出し、検査走
査線番号記録部24に記録させるようにしても良い。し
かし、検査走査線番号算出部25を備えることによって
カメラの設置条件が変更になったときは直ちに対処する
ことができる。
記録されている検査走査線番号は、図12(B)に示す
ように、誤差範囲が重複しないようになった走査線番号
が記録される。なお実施例では検査走査線番号算出部2
5を備えるようにしたが、カメラの設置条件が変更とな
った時は別の計算機で検査走査線番号を算出し、検査走
査線番号記録部24に記録させるようにしても良い。し
かし、検査走査線番号算出部25を備えることによって
カメラの設置条件が変更になったときは直ちに対処する
ことができる。
【0034】つぎに物***置算出について説明する。ま
ず歪曲収差補正部15について説明する。カメラ11お
よび12で撮像された画像信号は、カメラ11および1
2のレンズに歪曲収差が有る場合は、以後説明する物体
エッジ検出部17、物***置算出部20の処理結果に誤
差を発生する。
ず歪曲収差補正部15について説明する。カメラ11お
よび12で撮像された画像信号は、カメラ11および1
2のレンズに歪曲収差が有る場合は、以後説明する物体
エッジ検出部17、物***置算出部20の処理結果に誤
差を発生する。
【0035】すなわち、カメラのレンズに収差が無い場
合、格子状の模様を撮像した場合は図6(A)に示すよ
うに格子状の画像データがフレームメモリに記録され
る。しかし、レンズに収差が有る場合は、図6(B)ま
たは(C)に示すように歪んだ格子状画像が記録され
る。
合、格子状の模様を撮像した場合は図6(A)に示すよ
うに格子状の画像データがフレームメモリに記録され
る。しかし、レンズに収差が有る場合は、図6(B)ま
たは(C)に示すように歪んだ格子状画像が記録され
る。
【0036】収差量は光軸の中心より点Pの距離の3乗
に比例して大きくなる。すなわち、図6(D)に示すよ
うに、収差が無い時の点P(x0 ,y0 )が収差によっ
て点P′(x.y)に結像したものとすると、収差量D
は D=[(x0 −x)2 +(y0 −y)2 ]0.5 …(12) となり、このDはレンズの中心点より点Pまでの距離の
3乗に比例する。すなわち、 [(x0 −x)2 +(y0 −y)2 ]0.5 =k[(x0 2 −y0 2 )0.5 ]2 …(13) ただし、kは比例定数 となる。
に比例して大きくなる。すなわち、図6(D)に示すよ
うに、収差が無い時の点P(x0 ,y0 )が収差によっ
て点P′(x.y)に結像したものとすると、収差量D
は D=[(x0 −x)2 +(y0 −y)2 ]0.5 …(12) となり、このDはレンズの中心点より点Pまでの距離の
3乗に比例する。すなわち、 [(x0 −x)2 +(y0 −y)2 ]0.5 =k[(x0 2 −y0 2 )0.5 ]2 …(13) ただし、kは比例定数 となる。
【0037】したがって、レンズに収差が存在する場合
は、例えば x0 ≒x(1−k(x2 +y2 )) y0 ≒y(1−k(x2 +y2 )) …(14) なる演算を行って歪曲収差を補正する。
は、例えば x0 ≒x(1−k(x2 +y2 )) y0 ≒y(1−k(x2 +y2 )) …(14) なる演算を行って歪曲収差を補正する。
【0038】歪曲収差補正部15は、フレームメモリ1
3および14に記録されている画素データについて式
(14)の演算を行ってレンズ収差の補正を行なって、
それぞれ、メモリ18および19に記録する。また式
(14)の演算を行ってフレームメモリの画素の補正を
行なった場合、補正後のメモリ18および19にデータ
ぬけが生ずる。このようなデータぬけの画素に対しては
隣接する画素のデータを基にして補間を行なう。
3および14に記録されている画素データについて式
(14)の演算を行ってレンズ収差の補正を行なって、
それぞれ、メモリ18および19に記録する。また式
(14)の演算を行ってフレームメモリの画素の補正を
行なった場合、補正後のメモリ18および19にデータ
ぬけが生ずる。このようなデータぬけの画素に対しては
隣接する画素のデータを基にして補間を行なう。
【0039】つぎに物体エッジ検出部17について説明
する。図10(A)および(B)は、それぞれメモリ1
9および18に記録されている画像信号を示している。
物体エッジで検出部17は、第m走査線に対して図10
(A)〜(F)に示す処理を行うと、図10(F)に示
すようにエッジ部分が1となって表われる。
する。図10(A)および(B)は、それぞれメモリ1
9および18に記録されている画像信号を示している。
物体エッジで検出部17は、第m走査線に対して図10
(A)〜(F)に示す処理を行うと、図10(F)に示
すようにエッジ部分が1となって表われる。
【0040】このようにして検出されたエッジ部分につ
いて物体の3次元位置を算出させる。つぎに、図3およ
び図4を参照して実施例の動作を説明する。処理S1で
は、処理部23は、カメラ11および12で撮像した画
像データを、それぞれフレームメモリ13および14に
記録する。
いて物体の3次元位置を算出させる。つぎに、図3およ
び図4を参照して実施例の動作を説明する。処理S1で
は、処理部23は、カメラ11および12で撮像した画
像データを、それぞれフレームメモリ13および14に
記録する。
【0041】処理S2では、歪曲収差補正部15は、フ
レームメモリ13および14に記録されているデータに
対して、カメラ11および12のレンズの収差に対応す
る補正を行なって、それぞれ、メモリ18および19に
記録する。処理S3では、物体エッジ検出部17は、検
査走査線番号記録部24に記録されている最初の検査走
査線番号を読出し、処理S4に移って読出した走査線番
号のメモリ18および19に記録されている画像信号に
対して図10で説明した処理を行なって物体のエッジを
検出する。
レームメモリ13および14に記録されているデータに
対して、カメラ11および12のレンズの収差に対応す
る補正を行なって、それぞれ、メモリ18および19に
記録する。処理S3では、物体エッジ検出部17は、検
査走査線番号記録部24に記録されている最初の検査走
査線番号を読出し、処理S4に移って読出した走査線番
号のメモリ18および19に記録されている画像信号に
対して図10で説明した処理を行なって物体のエッジを
検出する。
【0042】処理S5では、物***置算出部20は、処
理S4で物体のエッジが検出されたか否かを判定し、判
定がYESの場合は処理S6に移り、NOの場合は処理
S6をスキップして処理S7に移る。処理S6では、物
***置算出部20は、左画像のエッジ点(xLP,yLP)
と、これに対応する右画像のエッジ点(xRP,yRP)を
読出して、式(2),(4),(6),(8)〜(1
0)に代入して物体の位置Xp ,Yp およびZp を算出
して記録する。
理S4で物体のエッジが検出されたか否かを判定し、判
定がYESの場合は処理S6に移り、NOの場合は処理
S6をスキップして処理S7に移る。処理S6では、物
***置算出部20は、左画像のエッジ点(xLP,yLP)
と、これに対応する右画像のエッジ点(xRP,yRP)を
読出して、式(2),(4),(6),(8)〜(1
0)に代入して物体の位置Xp ,Yp およびZp を算出
して記録する。
【0043】処理S7では、検査走査線番号記録部24
に処理S3〜S6が実行されていない検査走査線番号が
有る場合は処理S3〜S6を実行させ、無い場合には処
理S8に移る。処理S8では、処理S6で物体の位置が
算出されて記録されている場合は処理S9に移り、記録
が無い場合は処理S1に移って処理S1〜S8が繰返え
されている。
に処理S3〜S6が実行されていない検査走査線番号が
有る場合は処理S3〜S6を実行させ、無い場合には処
理S8に移る。処理S8では、処理S6で物体の位置が
算出されて記録されている場合は処理S9に移り、記録
が無い場合は処理S1に移って処理S1〜S8が繰返え
されている。
【0044】処理S9では、走行軌跡推定部21は、I
/O26を介して舵角信号を読込む。処理S10では、
走行軌跡推定部21は、処理S10で読込んだ舵角より
車両が走行する軌跡を推定する。
/O26を介して舵角信号を読込む。処理S10では、
走行軌跡推定部21は、処理S10で読込んだ舵角より
車両が走行する軌跡を推定する。
【0045】処理S11では、表示警報部22は、処理
S6の記録結果より障害物が有か否かの判定を行ない、
判定がNOの場合は処理S1に移り、YESの場合は処
理S12に移る。処理S12では、表示警報部22は、
検出された障害物に対して車両が衝突の可能性が有るか
否かを処理S10の走行軌跡と比較して判定し、判定が
YESの場合は処理S13に移って図示しないブザーよ
り警報を発すると共に衝突予想位置を表示する。また、
衝突の可能性が無い場合は処理S14に移って障害物の
位置を表示して処理S1に移る。
S6の記録結果より障害物が有か否かの判定を行ない、
判定がNOの場合は処理S1に移り、YESの場合は処
理S12に移る。処理S12では、表示警報部22は、
検出された障害物に対して車両が衝突の可能性が有るか
否かを処理S10の走行軌跡と比較して判定し、判定が
YESの場合は処理S13に移って図示しないブザーよ
り警報を発すると共に衝突予想位置を表示する。また、
衝突の可能性が無い場合は処理S14に移って障害物の
位置を表示して処理S1に移る。
【0046】
【発明の効果】以上説明したように本発明によれば次の
効果が得られる。検査走査線を自車両より近方は密に遠
方は粗となるような走査線番号の画像データより物体の
位置を算出するようにしたので、撮像された両画像の水
平方向の視差値に誤差が発生しても隣接する検査走査線
で算出された物***置が前後することなく、短時間で近
方ほど精度の良い物体の認識を行なわせることができ
る。
効果が得られる。検査走査線を自車両より近方は密に遠
方は粗となるような走査線番号の画像データより物体の
位置を算出するようにしたので、撮像された両画像の水
平方向の視差値に誤差が発生しても隣接する検査走査線
で算出された物***置が前後することなく、短時間で近
方ほど精度の良い物体の認識を行なわせることができ
る。
【0047】また、撮像され両画像の水平方向の視差値
に1画素分の誤差が発生しても隣接する検査走査線で算
出された物体までの距離が重複しないように検査走査線
番号を選定するようにしたので、確実に精度の良い物体
の認識を行なわせることができる。
に1画素分の誤差が発生しても隣接する検査走査線で算
出された物体までの距離が重複しないように検査走査線
番号を選定するようにしたので、確実に精度の良い物体
の認識を行なわせることができる。
【0048】また、検査走査線番号を2台の撮像手段の
設置距離、レンズの焦点距離、路面上より設置距離、お
よび路面に対する俯角より算出して記録させるようにし
たので、カメラの設置条件が変更になっても直ちに対処
することができる。
設置距離、レンズの焦点距離、路面上より設置距離、お
よび路面に対する俯角より算出して記録させるようにし
たので、カメラの設置条件が変更になっても直ちに対処
することができる。
【図1】本発明の基本構成図である。
【図2】本発明の実施例の構成図である。
【図3】同実施例の動作フローチャートである。
【図4】同実施例の動作フローチャートである。
【図5】同実施例の動作フローチャートである。
【図6】同実施例のレンズ収差補正の説明図である。
【図7】カメラ設置側説明図である。
【図8】カメラ俯角補正の説明図である。
【図9】同実施例の3次元位置測定説明図である。
【図10】同実施例の物体エッジ検出の説明図である。
【図11】同実施例の検査走査線番号算出部の動作を説
明するための図である。
明するための図である。
【図12】同実施例の検査走査線番号算出部の動作を説
明するための図である。
明するための図である。
【図13】誤差範囲が重複した場合の問題点の説明図で
ある。
ある。
1,13,14 フレームメモリ 2 検査走査線番号記録手段 3 物***置算出手段 4 検査走査線番号算出手段 11,12 カメラ 15 歪曲収差補正部 17 物体エッジ検出部 18,19 メモリ 20 物***置算出部 21 走行軌跡推定部 22 表示警報部 23 処理部 24 検査走査線番号記録部 25 検査走査線番号算出部 26 インタフェース(I/O) 27 プロセッサ(CPU)
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成7年9月8日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0004
【補正方法】変更
【補正内容】
【0004】いま2台のカメラを、例えば、図7に示す
ように、車両後部に路面よりHなる高さに設置されて、
車両後方を撮像する。そこで、以後の説明を容易にする
ため、図8に示すように、カメラ設置点での座標を
X′,Y′およびZ′で表わし、路面での座標をX,Y
およびZで表わすものとする。したがって、カメラの設
置俯角θs=90のときは、 X=X′,Y=Y′+H,Z=Z′ …(1) となる。
ように、車両後部に路面よりHなる高さに設置されて、
車両後方を撮像する。そこで、以後の説明を容易にする
ため、図8に示すように、カメラ設置点での座標を
X′,Y′およびZ′で表わし、路面での座標をX,Y
およびZで表わすものとする。したがって、カメラの設
置俯角θs=90のときは、 X=X′,Y=Y′+H,Z=Z′ …(1) となる。
【手続補正2】
【補正対象書類名】図面
【補正対象項目名】図10
【補正方法】変更
【補正内容】
【図10】
Claims (3)
- 【請求項1】 車両に所定距離だけ離して設置された2
台の撮像手段より得られた画像データに基づいて物***
置を算出し、車両の周辺を監視する車両周辺監視装置に
おいて、 前記2台の撮像手段より出力された画像信号を記録する
フレームメモリと、 前記フレームメモリの自車両より近方は密に遠方は粗と
なるようにした検査走査線番号記録手段と、 前記検査走査線番号記録手段に記録されている走査線番
号の画像データを前記フレームメモリより読出して物体
位置を算出する物***置算出手段と、を有することを特
徴とする車両周辺監視装置。 - 【請求項2】 前記検査走査線番号記録手段に記録する
検査走査線の番号を、前記フレームメモリに記録されて
いる物体に対する両画像間の水平方向の画素数を1画素
変化しても隣接する検査走査線より算出された自車両よ
り物体までの距離が重複しないように選定するようにし
たことを特徴とする請求項1記載の車両周辺監視装置。 - 【請求項3】 前記検査走査線番号を、前記2台の撮像
手段の設置距離、レンズの焦点距離、路面上よりの設置
距離および路面に対する設置俯角より算出して記録検査
走査線番号記録手段に記録する検査走査線番号算出手段
を備えたことを特徴とする請求項1または2記載の車両
周辺監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06263506A JP3125836B2 (ja) | 1994-10-27 | 1994-10-27 | 車両周辺監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP06263506A JP3125836B2 (ja) | 1994-10-27 | 1994-10-27 | 車両周辺監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08122062A true JPH08122062A (ja) | 1996-05-17 |
JP3125836B2 JP3125836B2 (ja) | 2001-01-22 |
Family
ID=17390480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP06263506A Expired - Fee Related JP3125836B2 (ja) | 1994-10-27 | 1994-10-27 | 車両周辺監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3125836B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013156672A (ja) * | 2012-01-26 | 2013-08-15 | Nippon Soken Inc | 車両周辺監視装置 |
JP2014064193A (ja) * | 2012-09-21 | 2014-04-10 | Komatsu Ltd | 作業車両用周辺監視システム及び作業車両 |
US11314971B2 (en) | 2017-09-27 | 2022-04-26 | 3M Innovative Properties Company | Personal protective equipment management system using optical patterns for equipment and safety monitoring |
US11373076B2 (en) | 2017-02-20 | 2022-06-28 | 3M Innovative Properties Company | Optical articles and systems interacting with the same |
-
1994
- 1994-10-27 JP JP06263506A patent/JP3125836B2/ja not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013156672A (ja) * | 2012-01-26 | 2013-08-15 | Nippon Soken Inc | 車両周辺監視装置 |
JP2014064193A (ja) * | 2012-09-21 | 2014-04-10 | Komatsu Ltd | 作業車両用周辺監視システム及び作業車両 |
US10183632B2 (en) | 2012-09-21 | 2019-01-22 | Komatsu Ltd. | Work vehicle periphery monitoring system and work vehicle |
US11373076B2 (en) | 2017-02-20 | 2022-06-28 | 3M Innovative Properties Company | Optical articles and systems interacting with the same |
US11651179B2 (en) | 2017-02-20 | 2023-05-16 | 3M Innovative Properties Company | Optical articles and systems interacting with the same |
US11314971B2 (en) | 2017-09-27 | 2022-04-26 | 3M Innovative Properties Company | Personal protective equipment management system using optical patterns for equipment and safety monitoring |
US11682185B2 (en) | 2017-09-27 | 2023-06-20 | 3M Innovative Properties Company | Personal protective equipment management system using optical patterns for equipment and safety monitoring |
Also Published As
Publication number | Publication date |
---|---|
JP3125836B2 (ja) | 2001-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3156817B2 (ja) | 車両周辺監視装置 | |
US7139424B2 (en) | Stereoscopic image characteristics examination system | |
JP3261115B2 (ja) | ステレオ画像処理装置 | |
US6184781B1 (en) | Rear looking vision system | |
JP5083841B2 (ja) | 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 | |
JP3280001B2 (ja) | ステレオ画像の位置ずれ調整装置 | |
JP3994217B2 (ja) | 画像処理による異常点位置検出システム | |
JP2001091247A (ja) | 距離データの検査方法およびその検査装置 | |
US6697146B2 (en) | Range finder for finding range by image realization | |
EP0488392B1 (en) | Distance measuring apparatus | |
JP4397573B2 (ja) | 画像処理装置 | |
JP3599255B2 (ja) | 車両用環境認識装置 | |
JPH07250268A (ja) | 車両周辺監視装置 | |
JPH08122062A (ja) | 車両周辺監視装置 | |
JPH1141521A (ja) | 撮像装置および車間距離計測装置ならびに車間距離計測方法 | |
JPH11190611A (ja) | 3次元計測方法およびその方法を用いた3次元計測処理装置 | |
JP2635232B2 (ja) | 車間距離検出装置 | |
JP3373331B2 (ja) | 車間距離検出装置 | |
JP4435525B2 (ja) | ステレオ画像処理装置 | |
JPH0894353A (ja) | 車両周辺監視装置 | |
JP3575178B2 (ja) | 映像による対象の存在範囲の検出方法 | |
JP2560147B2 (ja) | 車間距離検出装置 | |
EP0529558B1 (en) | Inter-car distance detecting device | |
JP3446471B2 (ja) | ステレオ画像処理装置 | |
JPH07306038A (ja) | 距離測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000919 |
|
LAPS | Cancellation because of no payment of annual fees |