JP2000207695A - 車外監視装置 - Google Patents
車外監視装置Info
- Publication number
- JP2000207695A JP2000207695A JP11006880A JP688099A JP2000207695A JP 2000207695 A JP2000207695 A JP 2000207695A JP 11006880 A JP11006880 A JP 11006880A JP 688099 A JP688099 A JP 688099A JP 2000207695 A JP2000207695 A JP 2000207695A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- dimensional object
- solid
- vehicle
- detection circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims description 6
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000012806 monitoring device Methods 0.000 claims description 5
- 239000007787 solid Substances 0.000 abstract 12
- 238000000034 method Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 102100028780 AP-1 complex subunit sigma-2 Human genes 0.000 description 1
- 101100055680 Homo sapiens AP1S2 gene Proteins 0.000 description 1
- 101000680262 Homo sapiens Transmembrane protein 60 Proteins 0.000 description 1
- 102100022076 Transmembrane protein 60 Human genes 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
を越えた至近距離内にある立体物に対しても距離を検出
する。 【解決手段】 今回の立体物の検出結果と前回の立体物
の検出結果とを照合して至近距離の立体物を確認し、そ
の確認結果から至近距離に立体物が存在するか否かを調
べる。そして、至近距離に立体物が存在しないときに
は、今回の立体物の検出結果を出力し、至近距離に立体
物が存在するときには、基準側の元画像の中で輝度変化
の大きい部分を囲む領域を数カ所設定し、比較側の元画
像に設定した視差検出範囲をサーベイして各領域と一致
する部分を検出して距離を算出するソフトマッチングに
よる距離検出を行う。これにより、遠距離から至近距離
まで広範囲に存在する立体物を検出することができる。
Description
レオ撮像した2枚の画像から得られる距離情報に基づい
て車外の状況を認識する車外監視装置に関する。
の車両や障害物を検知し、それらに衝突する危険度を判
定して運転者に警報を発したり、自動的にブレーキを作
動させて停止させる、あるいは、先行車との車間距離を
安全に保つよう自動的に走行速度を増減する等の技術が
積極的に開発されており、その有力な手段の一つとし
て、車載のカメラで撮像した画像による画像認識技術が
ある。
して、本出願人は、先に、特開平5−265547号公
報において、車両に搭載したステレオカメラで撮像した
2枚の画像を処理して道路形状、先行車両、障害物等の
三次元位置を計測し、先行車や障害物との衝突・接触可
能性を判断して警報を発する等の運転支援を行う技術を
提案しており、この技術では、2枚の画像間のシティブ
ロック距離を計算して距離情報を出力するハードウエア
回路によって高速処理を実現している。
オ法では、2台のカメラの基線長(カメラ光軸間の距
離)をr、視差をxとした場合、レンズから目標物体ま
での距離Dは、以下の(1)式によって算出することがで
きる。 D=rf/x …(1)
に示される2枚の画像間の対応する領域のシティブロッ
ク距離Hが最小値となる画素ズレ量として求めることが
でき、上記(1)式から明らかなように、対応点の探索範
囲は距離が近くなるほど大きくなり、距離が近くなれば
処理時間も増大することになる。 C=Σ|Ai−Bi| …(2) 但し、Ai:一方の画像の領域におけるi番目画素の輝
度 Bi:他方の画像の領域におけるi番目画素の輝度 Σ :i=0〜n(領域内の画素数)の総和
ク距離を計算して対応点の画素ズレ量を求める場合に
は、実用的な装置サイズや重量、コスト、回路部品の動
作速度等を考慮すると、高速走行で必要とされる比較的
遠距離の立体物に対する処理が可能なように対応点の探
索範囲を固定せざるを得ず、自車両直前の至近距離は検
出可能範囲外となってしまう。
で、ハードウエア回路による距離検出の実用限界を越え
た至近距離内にある立体物に対しても、距離を検出する
ことのできる車外監視装置を提供することを目的として
いる。
車外の対象をステレオ撮像した2枚の画像間のシティブ
ロック距離を計算して距離情報を出力する距離検出回路
を備え、この距離検出回路からの距離情報に基づいて車
外の状況を認識する車外監視装置において、上記距離検
出回路からの距離情報に基づく今回の立体物の検出結果
と前回の立体物の検出結果とを照合し、上記距離検出回
路の検出可能限界距離より近くに立体物が存在するか否
かを判定する手段と、上記距離検出回路の検出可能限界
距離より近くに立体物が存在すると判定されたとき、一
方の撮像画像に設定した領域に対応する部分を他方の撮
像画像から探索して視差を求め、この視差から上記距離
検出回路の検出可能限界距離より近くに存在する立体物
までの距離を算出する至近距離算出プログラムを実行す
る手段とを備えたことを特徴とする。
明において、上記領域を、輝度変化の大きい部分を囲む
領域とすることを特徴とする。
明において、上記視差を求める範囲を、自車両のバンパ
ー先端までの距離に相当する視差の得られる範囲とする
ことを特徴とする。
の距離情報に基づく今回の立体物の検出結果と前回の立
体物の検出結果とを照合して距離検出回路の検出可能限
界距離より近くに立体物が存在するか否かを判定し、距
離検出回路の検出可能限界距離より近くに立体物が存在
すると判定されたときには、至近距離算出プログラムを
実行して、一方の撮像画像に設定した領域に対応する部
分を他方の撮像画像から探索して視差を求め、この視差
から上記距離検出回路の検出可能限界距離より近くに存
在する立体物までの距離を算出する。
分を探索するために一方の撮像画像に設定する領域は、
輝度変化の大きい部分を囲む領域とすることが望まし
く、他方の撮像画像において視差を求める範囲は、自車
両のバンパー先端までの距離に相当する視差の得られる
範囲とすることが望ましい。
施の形態を説明する。図1〜図3は本発明の実施の一形
態に係わり、図1は至近距離算出に係わる処理のフロー
チャート、図2は車外監視装置の構成図、図3は自車両
直前の先行車の元画像を示す説明図である。
に搭載される2台のCCDカメラ2,3からなるカメラ
アセンブリであり、このカメラアセンブリ1に、撮像画
像を処理して車外の対象までの距離を求め、求めた距離
の情報に基づいて道路形状の認識や立体物の認識等を行
なうステレオ画像処理ユニット10が接続され、3次元
画像認識による車外監視装置が構成される。
Dカメラ2,3は、互いに、同期が取れ、且つ、シャッ
タースピード可変のカメラであり、一方のCCDカメラ
2をステレオ画像処理の際の基準画像を撮像するメイン
カメラ、他方のCCDカメラ3をステレオ画像処理の際
の比較画像を撮像するサブカメラとして、所定の基線長
で互いの撮像面垂直軸が平行となるよう配置されてステ
レオカメラを構成している。
各CCDカメラ2,3からの2系統の画像信号を処理す
るため、各系統毎に、アナログ撮像信号を増幅して後段
の入力レンジに合わせるためのゲインコントロールアン
プ等を有するアナログI/F11,12に、アナログ画
像データをデジタル画像データに変換するA/Dコンバ
ータ13,14が接続されている。
に、CCDカメラ2,3の特性の相違を補正するための
ルックアップテーブル(LUT)15,16が接続され
ており、各LUT15,16の出力は、カメラへの入射
角の違いによる感度の違いを補正するためのシェーディ
ング補正や画像の明暗部に対して対数変換を行って低輝
度部分のコントラストを改善するためのLOG補正等を
行う補正回路17,18を経て、一旦、ビデオRAM
(VRAM)21,22にストアされる。
て各VRAM21,22にストアされた基準画像データ
及び比較画像データからは、シティブロック距離計算回
路23及び最小値・画素ズレ検出回路24を中心とし、
輝度変化有効判定回路25、距離情報有効判定回路26
等を付加して構成される距離検出回路によって高速に距
離が検出される。
が絶対値演算器と加算器とをピラミッド状に接続したパ
イプライン構造のシティブロック距離計算回路23に読
み込まれ、さらに、最小値・画素ズレ検出回路24を通
って2枚の画像の小領域(例えば4×4画素の小領域)
毎に、2つの画像の一致度を評価するステレオマッチン
グが行われる。
チングでは、シティブロック距離計算回路23で、基準
画像の一つの小領域に対し、対応する比較画像の小領域
との間のシティブロック距離を計算する処理を水平方向
に1画素ずつすらしながら所定画素分ずれるまで繰り返
し、最小値・画素ズレ検出回路24で、シティブロック
距離の最小値及び最大値等を評価してシティブロック距
離の最小値が本当に2つの画像の小領域の一致を示して
いるものかどうかをチェックする。そして、チェック条
件を満足する場合、シティブロック距離が最小になる画
素ズレ量を基準画像の小領域に対応する距離情報として
出力する。
4の後段には、2つの画像の一致度を評価するのに適正
な輝度差があるか否かを、VRAM21の画像データの
水平方向の輝度変化量が有効値に達したか否かによって
判定する輝度変化有効判定回路25の判定結果に基づい
て、距離情報(画素ズレ量)の有効性を判定する距離情
報有効判定回路26が接続され、この距離情報有効判定
回路26で有効と判断された距離情報が距離画像メモリ
27にストアされる。
離情報は、画像のような形態をしており(距離画像)、
基準側の元画像(シティブロック距離を算出する元とな
る画像)をストアする元画像メモリ28や比較側の元画
像をストアする元画像メモリ29にストアされた元画像
データとともに認識処理用CPU30に読み込まれ、走
行環境を認識する処理が行われる。そして、認識結果が
図示しない制御装置に出力され、例えば、前方の車両や
障害物を検知し、それらに衝突する危険度を判定して運
転者に警報を発したり、自動的にブレーキを作動させて
停止させる、あるいは、先行車との車間距離を安全に保
つよう自動的に走行速度を増減する等の制御が行われ
る。
においては、ハードウエア回路によって立体物までの距
離を高速に検出しているが、市街地における渋滞走行時
等では、自車両直前に接近した先行車に対する距離を検
出できない場合がある。
離画像メモリ27からの距離データを用いた前回の立体
物検出結果と今回の立体物検出結果とからハードウエア
の限界距離より近くの距離に立体物が存在するか否かを
調べ、限界距離を超えた至近距離に立体物が存在する場
合には、ソフトウエア処理によって立体物までの距離を
算出するようにしており、ハードウエア回路による距離
検出の実用限界を越えた至近距離内にある立体物に対し
ても距離を検出することができる。
近距離算出に係わる処理について、図1のフローチャー
トに従って説明する。
ロック距離計算回路23を初めとするハードウエア回路
でステレオマッチングされて出力された今回の距離画像
データを距離画像メモリ27から読み込むと、ステップ
S102で距離画像を所定の画素間隔で格子状の領域に区分
して各区分毎に今回の立体物データを抽出し、立体物を
検出する処理を行う。尚、ハードウエア回路によるステ
レオマッチング、及び、このステレオマッチング結果を
用いて立体物を検出する処理については、本出願人によ
る特開平5−265547号公報に詳述されている。
の検出結果を読み込むと、ステップS104で今回の立体物
の検出結果と前回の立体物の検出結果とを照合して至近
距離の立体物を確認し、ステップS105で、その確認結果
から至近距離に立体物が存在するか否かを調べる。そし
て、至近距離に立体物が存在しないときには、ステップ
S105からステップS106へ進んで今回の立体物の検出結果
を出力し、至近距離に立体物が存在するときには、ステ
ップS105からステップS107へ進んでソフトマッチングに
よる距離算出を行う。
ッチングした距離データから前回の処理で先行車等の立
体物が検出され、その検出結果から、今回の処理では自
車両の近傍に立体物が存在するはずであるにも拘わら
ず、今回の処理で妥当な距離に立体物が検出されない場
合、ハードウエア回路の限界距離より近くに立体物が接
近している可能性が高いと判断し、ソフトウエアにより
距離を算出する。
準側の元画像データ、比較側の元画像データを、それぞ
れ、元画像メモリ28,29から読み込み、基準側の元
画像の中で輝度変化の大きい部分を検出し、この輝度変
化の大きい部分を囲む領域を数カ所設定し、比較側の元
画像に設定した視差検出範囲をサーベイして各領域と一
致する部分を検出する。
車の場合、左右のテールランプのコーナー部やリヤトラ
ンクのキー部等を輝度変化の大きい部分として検出した
場合、それぞれを囲む領域R1,R2,R3を20×2
0画素程度の大きさで設定し、比較側の元画像における
水平走査方向の視差検出範囲を自車両のバンパー先端ま
での距離に相当する視差値を検出可能な範囲として一致
部分を検出する。
領域毎に、互いの画素の輝度の差から先に説明した(2)
式で示すシティブロック距離Hを計算することで行わ
れ、シティブロック距離Hが最小となる比較側の元画像
の領域を基準側の元画像の領域に対応する場所として決
定し、互いに対応する領域で対象物までの距離に応じて
生じる画素のズレを求める。
領域毎の画素ズレ量から、先に説明した(1)式に基づい
て距離を算出すると、この距離を平均した値あるいは推
定値に最も近い値を今回の処理における至近距離の算出
結果として採用し、上記ステップS107からステップS108
へ進んで至近距離の算出結果を出力し、ルーチンを抜け
る。
バーするために距離検出回路の動作速度を不要に速くし
て装置の大型化や重量増、コストアップを招くことがな
く、ハードウエア回路による距離検出の実用限界を越え
た至近距離内にある立体物に対しても、距離を検出する
ことができる。
ードウエア回路による距離検出の実用限界を越えた至近
距離内にある立体物に対しても距離を検出することがで
きるため、遠距離から至近距離までをカバーするために
ハードウエア回路の動作速度を不要に速くして装置の大
型化や重量増、コストアップを招くことがなく、高速走
行時に自車両前方に存在する立体物から市街地の渋滞走
行時等の自車両直前の立体物まで広範囲に存在する立体
物を検出することができ、車外状況の認識信頼性を向上
することができる等優れた効果が得られる。
Claims (3)
- 【請求項1】 車外の対象をステレオ撮像した2枚の画
像間のシティブロック距離を計算して距離情報を出力す
る距離検出回路を備え、この距離検出回路からの距離情
報に基づいて車外の状況を認識する車外監視装置におい
て、 上記距離検出回路からの距離情報に基づく今回の立体物
の検出結果と前回の立体物の検出結果とを照合し、上記
距離検出回路の検出可能限界距離より近くに立体物が存
在するか否かを判定する手段と、 上記距離検出回路の検出可能限界距離より近くに立体物
が存在すると判定されたとき、一方の撮像画像に設定し
た領域に対応する部分を他方の撮像画像から探索して視
差を求め、この視差から上記距離検出回路の検出可能限
界距離より近くに存在する立体物までの距離を算出する
至近距離算出プログラムを実行する手段とを備えたこと
を特徴とする車外監視装置。 - 【請求項2】 上記領域を、輝度変化の大きい部分を囲
む領域とすることを特徴とする請求項1記載の車外監視
装置。 - 【請求項3】 上記視差を求める範囲を、自車両のバン
パー先端までの距離に相当する視差の得られる範囲とす
ることを特徴とする請求項1記載の車外監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00688099A JP4316710B2 (ja) | 1999-01-13 | 1999-01-13 | 車外監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP00688099A JP4316710B2 (ja) | 1999-01-13 | 1999-01-13 | 車外監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000207695A true JP2000207695A (ja) | 2000-07-28 |
JP4316710B2 JP4316710B2 (ja) | 2009-08-19 |
Family
ID=11650554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP00688099A Expired - Lifetime JP4316710B2 (ja) | 1999-01-13 | 1999-01-13 | 車外監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4316710B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008151659A (ja) * | 2006-12-18 | 2008-07-03 | Fuji Heavy Ind Ltd | 物体検出装置 |
US10614585B2 (en) | 2015-07-29 | 2020-04-07 | Kyocera Corporation | Parallax calculation apparatus, stereo camera apparatus, vehicle, and parallax calculation method |
CN111435251A (zh) * | 2019-01-10 | 2020-07-21 | 株式会社大福 | 物品输送装置 |
WO2022024793A1 (ja) | 2020-07-28 | 2022-02-03 | 京セラ株式会社 | 画像処理装置、ステレオカメラ装置、移動体、視差算出方法、及び、画像処理方法 |
-
1999
- 1999-01-13 JP JP00688099A patent/JP4316710B2/ja not_active Expired - Lifetime
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008151659A (ja) * | 2006-12-18 | 2008-07-03 | Fuji Heavy Ind Ltd | 物体検出装置 |
US10614585B2 (en) | 2015-07-29 | 2020-04-07 | Kyocera Corporation | Parallax calculation apparatus, stereo camera apparatus, vehicle, and parallax calculation method |
CN111435251A (zh) * | 2019-01-10 | 2020-07-21 | 株式会社大福 | 物品输送装置 |
JP2020112959A (ja) * | 2019-01-10 | 2020-07-27 | 株式会社ダイフク | 物品搬送装置 |
WO2022024793A1 (ja) | 2020-07-28 | 2022-02-03 | 京セラ株式会社 | 画像処理装置、ステレオカメラ装置、移動体、視差算出方法、及び、画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4316710B2 (ja) | 2009-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6795027B2 (ja) | 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム | |
EP2889641B1 (en) | Image processing apparatus, image processing method, program and image processing system | |
US8971578B2 (en) | Driving support apparatus | |
CN109891262B (zh) | 物体探测装置 | |
US20200057897A1 (en) | Obstacle sensing device | |
US20140160252A1 (en) | Redundant object detection for driver assistance systems | |
JP3230642B2 (ja) | 先行車検出装置 | |
JPH09142236A (ja) | 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置 | |
JP2005300315A (ja) | 物体検出装置 | |
JP2008186342A (ja) | 車外監視装置 | |
JP2010019589A (ja) | 車間距離検出装置、ドライブレコーダ装置 | |
CN102713988A (zh) | 车辆周围监测装置 | |
JP4807733B2 (ja) | 車外環境認識装置 | |
JP5027710B2 (ja) | 車両用環境認識装置および先行車追従制御システム | |
JP2007293672A (ja) | 車両用撮影装置、車両用撮影装置の汚れ検出方法 | |
JP4316710B2 (ja) | 車外監視装置 | |
US20230169776A1 (en) | Driver assistance apparatus, a vehicle, and a method of controlling the same | |
JP2006072757A (ja) | 物体検出装置 | |
US11813986B2 (en) | Driver assistance apparatus, a vehicle, and a method of controlling a vehicle | |
JP6891082B2 (ja) | 物体距離検出装置 | |
JPH09272414A (ja) | 車両制御装置 | |
JP4539400B2 (ja) | ステレオカメラの補正方法、ステレオカメラ補正装置 | |
JP2006318061A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP5717416B2 (ja) | 運転支援制御装置 | |
JP4187853B2 (ja) | 車両用距離検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080624 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090519 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090521 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120529 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130529 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140529 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |