JPH09326032A - 車両周辺立体物認識装置 - Google Patents
車両周辺立体物認識装置Info
- Publication number
- JPH09326032A JPH09326032A JP8144438A JP14443896A JPH09326032A JP H09326032 A JPH09326032 A JP H09326032A JP 8144438 A JP8144438 A JP 8144438A JP 14443896 A JP14443896 A JP 14443896A JP H09326032 A JPH09326032 A JP H09326032A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- dimensional object
- position information
- dimensional
- movement amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002093 peripheral effect Effects 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 239000007787 solid Substances 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 19
- 238000004140 cleaning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/932—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9323—Alternative operation using light waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93273—Sensor installation details on the top of the vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0077—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0096—Synchronisation or controlling aspects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Navigation (AREA)
Abstract
ことができる車両周辺立体物認識装置を提供する。 【解決手段】ステレオ光学系3によって撮像したステレ
オ画像対から画像全体に渡る3次元の距離分布をステレ
オ画像処理部11で算出して、立体物認識部12で距離
分布情報から立体物を認識し車両との相対位置を演算す
る。また、舵角センサ4と後輪回転数センサ5で車両の
移動量を検出する。立体物位置情報認識部13は、相対
位置情報と、車両の移動量を基に、記憶部14に前回記
憶しておいた車両周辺の立体物位置情報を更新して新た
な車両周辺の立体物位置情報を演算して接触判定出力部
20に出力し、接触判定出力部20は、この車両周辺の
立体物位置情報を基に予め記憶してある自車両の外形形
状から立体物と車両との接触の可能性を判定して結果を
表示部7に出力させる。
Description
装置や自律走行車の自律走行制御装置に用いる車両周辺
立体物認識装置に関する。
ガードレール、電柱、駐車車両等が多数存在する狭路を
通過する際の運転者の感覚を補うものとして、例えば、
コーナーポールや、棒状の部材が障害物に触れるとスイ
ッチがオンする接触式スイッチからなる触覚センサ等を
車体に取り付ける場合があり、これにより、車幅や左右
障害物との間の隙間を確認することができる。
取り付け、超音波を発射して障害物からの反射波を受信
することにより距離を計測し、計測した距離を運転者に
知らせる技術等が開発されている。
害物までの距離を検出する装置として、先に本出願人に
よって提出された特開平5−114099号公報に示す
ような、複数のCCDカメラによるステレオ画像認識装
置を用いた車両周辺の立体物認識装置があり、その検出
結果を運転者に報知する運転支援装置が開発されてい
る。このステレオ画像認識装置を用いた車両周辺の立体
物認識装置では、障害物の方向や形状が細かく認識でき
る上、障害物までの距離も正確に求められる。
の衝突や接触を避けるために、赤外線センサや超音波セ
ンサを利用して障害物の有無を検出し、走行方向に障害
物が有る場合には車両を停止させるなどの走行制御を行
なうものがある。
辺の立体物認識装置として上述のステレオ画像認識装置
を用い、同時に多数の障害物の有無や方向、形状を認識
し、車両が障害物と接触の可能性がある場合に、車両を
停止させたり、障害物の無い方向へ車両を走行制御する
技術が開発されている。
レオ画像認識装置を用いた車両周辺の立体物認識装置で
は、立体物の認識は、カメラ視野に入っている範囲のも
ののみが認識可能なため、例えば車両前方に向けてカメ
ラが取り付けられている場合、車両前方のカメラ視野に
入っている範囲の立体物の認識は行なえるが、車両側方
に存在する立体物等、カメラ視野から外れた部分の立体
物の認識は行なえないといった問題がある。
両側方等の立体物を認識する必要がある際には、運転者
に対する運転支援を有効に行なうことができない。これ
に対処するため、車両側方を視野とするカメラあるいは
立体物認識装置を付加して車両側方等にある立体物を認
識できるようにすることが考えられるが、カメラ、装置
の取り付け場所を新たに確保する必要が発生したり、ま
た、大幅なコストアップを生じてしまう。
う走行の場合には、前方のみならず側方の立体物の有無
や距離を把握すれば、より質の高い走行制御を行なうこ
とができる。特に自律走行車は、例えば、床面掃除のよ
うな作業を行ないながら走行するものがあり、立体物位
置の把握範囲が狭いと立体物きわの作業ができない等の
影響がでる場合がある。そして、車両周辺の広い範囲で
立体物の認識を行なおうとすると、それだけ多くのカメ
ラ、立体物認識装置を取り付けなければならず、取り付
け場所の問題、コストアップの問題が生じる。
で、カメラあるいは立体物認識装置を特別に付加するこ
となく、車両周辺の広い範囲で立体物の認識を行なうこ
とができる車両周辺立体物認識装置を提供することを目
的とする。
請求項1記載の本発明による車両周辺立体物認識装置
は、車両周辺の物体を検出し、その物体の方向、物体ま
での距離分布を検出する物体検出手段と、上記物体検出
手段で検出した物体までの距離分布から立体物を認識
し、車両との相対位置を演算する立体物認識手段と、車
両の旋回および前後方向の移動量を検出する車両移動量
検出手段と、車両周辺の立体物位置情報を記憶する位置
情報記憶手段と、上記車両移動量検出手段からの車両移
動量と上記立体物認識手段からの相対位置とを基に上記
位置情報記憶手段に記憶していた車両周辺の立体物位置
情報を更新して新たな車両周辺の立体物位置情報を演算
する立体物位置情報演算手段とを備えたものである。
辺立体物認識装置は、請求項1記載の車両周辺立体物認
識装置において、上記物体検出手段は、車外の対象を異
なる視点から撮像したステレオ画像対を処理して画像全
体に渡る三次元の距離分布を算出するものである。
周辺立体物認識装置は、請求項1記載の車両周辺立体物
認識装置において、上記物体検出手段は、撮像方向を変
化させてステレオ画像を撮像し、撮像したステレオ画像
対を撮像方向の変化量に応じて補正処理して画像全体に
渡る三次元の距離分布を算出するものである。
辺立体物認識装置は、請求項1,2,3のいずれか一に
記載の車両周辺立体物認識装置において、上記車両移動
量検出手段は、車両の舵角と車輪回転数とを検出して車
両の旋回角および前後方向の移動量を算出するものであ
る。
周辺立体物認識装置は、請求項1,2,3のいずれか一
に記載の車両周辺立体物認識装置において、上記車両移
動量検出手段は、車両に設けられた左右一対の車輪の回
転数を検出して車両の旋回角および前後方向の移動量を
算出するものである。
辺立体物認識装置は、請求項1、2、3、4、5のいず
れか一に記載の車両周辺立体物認識装置において、上記
立体物位置情報演算手段は、上記位置情報記憶手段に記
憶していた車両周辺の立体物位置情報を、上記車両移動
量検出手段で検出した車両の旋回および前後方向の移動
量で移動させるとともに、上記立体物認識手段からの車
両と立体物との相対位置の情報を加え更新して新たな車
両周辺の立体物位置情報を演算するものである。
両周辺立体物認識装置は、物体検出手段で、車両周辺の
物体を検出し、その物体の方向、物体までの距離分布を
検出し、立体物認識手段で、上記物体検出手段で検出し
た物体までの距離分布から立体物を認識し、車両との相
対位置を演算し、車両移動量検出手段で、車両の旋回お
よび前後方向の移動量を検出する。そして、立体物位置
情報演算手段は、上記車両移動量検出手段からの車両移
動量と上記立体物認識手段からの相対位置とを基に位置
情報記憶手段に記憶していた車両周辺の立体物位置情報
を更新して新たな車両周辺の立体物位置情報を演算す
る。
辺立体物認識装置は、請求項1記載の車両周辺立体物認
識装置において、上記物体検出手段は、車外の対象を異
なる視点から撮像したステレオ画像対を処理して画像全
体に渡る三次元の距離分布を算出する。
周辺立体物認識装置は、請求項1記載の車両周辺立体物
認識装置において、上記物体検出手段は、撮像方向を変
化させてステレオ画像を撮像し、撮像したステレオ画像
対を撮像方向の変化量に応じて補正処理して画像全体に
渡る三次元の距離分布を算出する。
辺立体物認識装置は、請求項1,2,3のいずれか一に
記載の車両周辺立体物認識装置において、上記車両移動
量検出手段は、車両の舵角と車輪回転数とを検出して車
両の旋回角および前後方向の移動量を算出する。
周辺立体物認識装置は、請求項1,2,3のいずれか一
に記載の車両周辺立体物認識装置において、上記車両移
動量検出手段は、車両に設けられた左右一対の車輪の回
転数を検出して車両の旋回角および前後方向の移動量を
算出する。
辺立体物認識装置は、請求項1、2、3、4、5のいず
れか一に記載の車両周辺立体物認識装置において、上記
立体物位置情報演算手段は、上記位置情報記憶手段に記
憶していた車両周辺の立体物位置情報を、上記車両移動
量検出手段で検出した車両の旋回および前後方向の移動
量で移動させるとともに、上記立体物認識手段からの車
両と立体物との相対位置の情報を加え更新して新たな車
両周辺の立体物位置情報を演算する。
施の形態を説明する。図1〜図7は本発明の実施の形態
1に係り、図1は運転支援装置の機能ブロック図、図2
は車両側面からみた運転支援装置の全体構成図、図3は
車両上面からみた運転支援装置の全体構成図、図4は車
両周辺の立体物位置情報の説明図、図5は前回の立体物
位置情報を移動させる際の説明図、図6は運転支援制御
での各接触危険度判定設定線の説明図、図7は運転支援
制御のフローチャートである。尚、本発明の実施の形態
1は、車両としての自動車に搭載された運転支援装置
が、本発明の車両周辺立体物認識装置で求めた車両周辺
の立体物位置情報を基に、運転支援制御の一例としての
障害物との接触防止を図るものであり、特に車両周辺立
体物認識装置について以下詳述する。
しての自動車を示し、この自動車1に、塀、ガードレー
ル、電柱、駐車車両等の障害物が存在する狭路での障害
物との接触可能性を判断し、その判断結果を表示するこ
とにより、運転者の負担を軽減して安全を確保する運転
支援装置2が搭載されている。
の対象を撮像する撮像系としてのステレオ光学系3で撮
像した自車両の走行方向(車両前方)の画像と、車両移
動量検出手段としての舵角センサ4で検出した舵角と、
同じく車両移動量検出手段としての後輪回転数センサ5
で検出した後輪回転数(後輪移動量;車両の前後方向移
動量を後輪移動量で代表させる。従って、車両の前後方
向移動量を正確に求められるのであれば、前輪移動量で
あっても良い。)を制御装置6に入力して、この制御装
置6が、狭路侵入の可否の判定や、車両周辺の障害物と
の接触防止を図る機能を達成すべく表示部7に出力する
ように構成されている。
素子(CCD)等の固体撮像素子を用いた1組のCCD
カメラからなり、左右のCCDカメラ3L,3Rが、そ
れぞれ車室内の天井前方に一定の間隔をもって取り付け
られ、車外の対象を異なる視点からステレオ撮像するよ
うになっている。
10と接触判定出力部20とで主要に構成され、上記ス
テレオ光学系3で撮像した画像と、上記舵角センサ4で
検出した舵角と、上記後輪回転数センサ5で検出した後
輪回転数(後輪移動量)が上記車両周辺立体物認識部1
0に入力され、この車両周辺立体物認識部10で車両周
辺の立体物位置情報を演算し、上記接触判定出力部20
が、上記車両周辺立体物認識部10からの立体物位置情
報を基に自車両と障害物との接触の可能性を判定して必
要に応じて上記表示部7に出力するように構成されてい
る。
等からなる複数の発光物で形成され車体の左右フェンダ
上端に配設される表示部7FL,7FRと、インストル
メントパネル内に設けられて表示する表示部7IL,7
IRと、運転席側に比較して車***置を把握し難い助手
席側のサイドミラー近傍に配設される表示部7Sとから
なり、上記制御装置6の上記接触判定出力部20からの
出力信号を受けて所定に動作されるようになっている。
例えば、上記各表示部7FL,7FR,7IL,7I
R,7Sは、それぞれ赤、黄、緑色を発光できるように
形成され、接触すると判断した場合には赤色、運転者の
ハンドル操作によっては接触の虞があると判断した場合
には黄色、立体物と自車両との間隔が十分にあり接触の
虞がないと判断した場合には緑色が、該当する表示部に
より点滅あるいは点灯表示されるようになっている。こ
のように表示することにより、狭路走行に際し、自車両
と障害物との接触可能性に係わる情報を、視認性良く且
つ安価な構成で表示することができ、運転者の負担を軽
減して接触事故等を未然に回避することができるばかり
でなく、車両位置感覚の学習を補助して安全運転の促進
を図ることができる。
0は、さらに、ステレオ画像処理部11、立体物認識部
12、立体物位置情報演算部13および記憶部14で主
に構成されている。
レオ光学系3で撮像した1組のステレオ画像対に対し、
対応する位置のずれ量から三角測量の原理によって画像
全体に渡る距離情報を求める処理を行なって、三次元の
距離分布を表す距離画像を生成し上記立体物認識部12
に出力するもので、上記ステレオ光学系3と上記ステレ
オ画像処理部11で物体検出手段を構成している。
例えば、画像を小領域に分割し、それぞれの小領域内の
輝度あるいは色のパターンを左右画像で比較して一致す
る領域を見つけ出すことにより、小領域毎の距離分布を
全画面に渡って求めるようになっており、左右画像の一
致度評価すなわちステレオマッチングは、右画像、左画
像のi番目画素の輝度(色を用いても良い)を、それぞ
れ、Ai、Biとすると、以下の(1)式に示すシティ
ブロック距離Hに基づいて行われ、左右画像の各小領域
間のシティブロック距離Hの最小値が所定の条件を満た
すとき、互いの小領域が対応すると判断することができ
る。 H=Σ|Ai−Bi| …(1) 上記ステレオ画像処理部11から出力される画像のよう
な形態をした距離分布情報、すなわち、距離画像は、所
定の画像サイズ(例えば横400画素×縦200画素)
を有し、以下、距離画像の座標系は、左上隅を原点とし
て横方向をi座標軸,縦方向をj座標軸とし、単位は画
素として定める。
として形成されており、距離画像から前方に存在する他
の車両や障害物等の複数の物体を検出して、その位置と
大きさを算出し、検出した物体の輪郭像を抽出するよう
になっている。
体の3次元的な位置情報を利用し、道路と物体の区別は
道路表面からの高さによって行い、物体と背景の区別は
距離の値によって行う。そのため、上記立体物認識部1
2では、まず、上記ステレオ画像処理部11からの距離
画像の座標系を、自車(車両1)を取り巻く実空間の座
標系に変換し、検出した立体物に対し、位置や大きさを
計算するようになっている。
車両1を中心(原点を車両中央の真下の道路面)とした
直交座標系とし、X軸を車両1の左右方向の軸、Y軸を
車両1の前後方向の軸、Z軸を車両1の上下方向の軸と
すると、XY平面(Z=0)は、道路が平坦な場合、道
路面と一致することになり、画像中の距離情報(i,
j)から被写体の3次元位置(X,Y,Z)を算出する
には、以下の(2),(3)式により座標変換を行う。 Z=CH−Y×PW×(j−JV) …(2) X=r/2−ρ+Y×PW×(i−IV) …(3) ここで、CH :CCDカメラの取付け高さ PW :1画素当たりの視野角 JV,IV:車両1の真正面の無限遠点の画像上の座標 r:2台のCCDカメラの取付間隔 ρ:2台のCCDカメラの取付間隔の中心と車両中心と
のずれ また、実空間の3次元座標(X,Y,Z)から画像上の
位置(i,j)を算出する式も、上記(2),(3)式
を変形し、次のようになる。 j=(CH−Z)/(Y×PW)+JV …(4) i=(X−r/2+ρ)/(Y×PW)+IV …(5) また、上記立体物認識部12では、立体物認識を、駐車
車両等の障害物の物体認識と側壁検出とで別々に行なう
ようになっており、物体認識では、上記ステレオ画像処
理部11からの距離画像を、格子状に所定の間隔(例え
ば、8〜20画素間隔)で区分し、各領域毎に、走行の
障害となる可能性のある立体物のデータのみを選別し、
その検出距離を算出する。すなわち、画像を多数の領域
に分割して物体を探すことにより、複数の物体を同時に
検出することができるようになっている。
(i,j)と距離データYから、前述の(2),(3)
式を使って実空間の3次元位置(X,Y,Z)が算出さ
れ、さらに、距離Yに於ける被写体の道路表面からの高
さHは、道路表面の高さをZrとすると、次の(6)式
で計算することができるが、前述したように実空間の座
標系が設定されているため、車両1に特別な傾きや上下
移動が無い限り、Zr=0.0mと設定することができ
る。 H=Z−Zr …(6) 高さHが0.1m程度以下の被写体は、道路上の白線や
汚れ、影などであり、走行の障害になる物体ではないと
考えられるため、この被写体のデータは棄却する。ま
た、車両の高さより上にある被写体も、歩道橋や標識な
どと考えられるので棄却し、走行上の障害となる立体物
のデータのみを選別する。これにより、2次元の画像上
で物体が道路などと重なり合っていても、道路表面から
の高さによってデータを区別し、障害となる物体のみを
検出できる。
データに対して、予め設定された距離Yの区間に含まれ
るデータの個数を数え、距離Yを横軸とするヒストグラ
ムを作成する。検出物体に対するヒストグラムで設定す
る距離Yの区間の長さや区間の個数は、距離Yの検出限
界や精度および検出対象の物体の形状などを考慮して決
定する。
距離画像中の距離データには、誤って検出された値も存
在するので、実際には物体の存在しない位置にも多少の
データが現れる。しかし、ある程度の大きさの物体があ
ると、その位置の度数は大きな値を示し、一方、物体が
何も存在しない場合には、誤った距離データのみによっ
て発生する度数は小さな値となる。
が、予め設定した判定値以上かつ最大値をとる区間があ
れば、その区間に物体が存在すると判断し、度数の最大
値が判定値以下の場合は、物体が存在しないと判断する
ことにより、画像のデータに多少のノイズが含まれてい
る場合においても、ノイズの影響を最小限にして物体を
検出できる。
た区間と、その前後に隣接する区間に含まれている立体
物のデータの距離Yの平均値を計算し、この値を物体ま
での距離と見なす。このような物体までの距離検出の処
理を全領域について行った後、各領域の物体の検出距離
を調べ、隣接する領域において物体までの検出距離の差
異が設定値以下の場合は同一の物体と見なし、一方、設
定値以上の場合は別々の物体と見なす。このようにデー
タを区別することにより、複数の物体とその距離、存在
領域を背景と区別して検出することができ、さらに、2
次元の画像上で複数の物体が重なり合って写っている場
合においても、各々の物体の距離の違いによって、それ
らを区別して検出できる。
体について、3次元空間で、検出物体を包含する直方体
状の3次元空間領域すなわち3次元ウインドウを設定
し、この設定した3次元ウインドウが2次元の画像上で
どのように見えるかを計算し、ウインドウ輪郭線の内側
を2次元ウインドウとして、この中のデータのみを検出
対象とする。
サーベイし、3次元ウインドウに含まれるデータのみを
選別し、検出した物体の輪郭像を抽出する処理を行い、
検出物体の自車両1との位置関係を検出するのである。
ンドウを求めるには、3次元ウィンドウの8個の頂点の
各座標(Xn,Yn,Zn)から、前述の(4),
(5)式を用いて画像上の座標(in,jn)を計算
し、これらの点を包絡する多角形を計算して行なわれ
る。
は、側壁と道路との区別を道路表面からの高さによって
行い、側壁と遠方の背景との区別を、前後方向と横方向
の距離によって行うことにより、側壁が存在すると推定
される周辺のデータのみを抽出し、続いて側壁のデータ
は水平方向に直線的に並んでいる特徴に注目してこれを
ハフ変換によって検出し、位置を求めることにより行な
われる。
め設定された道路表面より上にあるデータのみを抽出
し、抽出した立体物データの中から、予め設定された側
壁の探索領域内のデータのみを抽出し、これをハフ変換
で処理して側壁の有無と側壁の位置を示す直線式とを検
出する。また、側壁の位置を示す直線式に基づいて、側
壁が存在すると推定される側壁候補領域を設定し、この
側壁候補領域内の立体物データの分布状態から側壁の前
後端の位置を検出する。
ら、まず、道路表面より上にある立体物のデータを距離
画像の中から抽出する。この際、高さHが0.1m程度
以下の立体物は、前述したように、道路上の白線や汚
れ、影等と考えられるため、この立体物のデータは棄却
する。また、車両の高さより上にある立体物も、歩道橋
や標識等と考えられるので棄却し、道路上の立体物のデ
ータのみを選別する。
データが抽出されるが、これら全てを処理することは合
理的でないため、側壁を探索する領域に制限を設ける。
は、側壁は車両1の左側と右側に、車両1と概ね平行に
存在する。一方、遠くの側壁は、距離データの精度の面
から検出が困難になり、且つ、検出の必要性も小さい。
そこで、これらを考慮し、左側と右側の2つの探索領域
を設定し、左側と右側の側壁を別々に検出して行く。
するには、抽出された各データの被写体の3次元位置
(X,Y座標)を計算し、この3次元位置(X,Y座
標)と各探索領域とを、それぞれ比較して判定する。
の他に様々な立体物が存在する。さらに、距離画像には
ノイズ状の偽データも含まれており、実際には物体が存
在しない空間にデータのみが分散して存在する。この中
で側壁は、そのデータが直線状に並んでいる特徴があ
る。そこで、ハフ変換を使用してデータの列の直線式を
検出することによって側壁の検出を行う。
説明すると、まず、立体物データPi (座標Xi ,Yi
)に対し、このデータPi の点を通る直線Fi を想定
する。この直線の式は、以下の(7)式で示される。 X=afi ×Y+bfi …(7) 次に、縦軸が上記(7)式の傾きaf、横軸が切片bf
のパラメータ空間を設定し、上記(7)式のパラメータ
afi ,bfi に相当する位置に投票を行う。
に側壁は車両1と概ね平行と考えられるため、一般道路
では、例えば±20゜( afi :±0.36)程度の範
囲で変化させれば実用上十分である。また、切片bfi
の値は、左側の側壁を検出する場合、車両1の左脇であ
る例えばX=−1mから−10m程度の範囲、右側の側
壁を検出する場合には、例えばX=+1mから+10m
程度の範囲に制限する。このように、制限範囲を例えば
±10m程度にするのは、あまり遠く離れた側壁の検出
は実用面の必要性が小さいためである。
で投票が行われる範囲は矩形領域となり、この矩形領域
はさらに格子状に分割されて各格子毎に投票される。上
記(7)式の傾きafi は、所定の変化範囲内(例えば
±10゜〜±20゜)であり、格子間隔Δaf毎に順次
変化させて設定する。切片bfi は、設定された傾きa
fi と立体物データPi の座標(Xi ,Yi )を上記
(7)式に代入して算出され、これが上記制限範囲内で
あればパラメータ空間の該当する格子に投票される。
傾きと切片の検出精度は、格子間隔Δaf,Δbfによ
って決定され、格子間隔Δaf,Δbfの設定は、側壁
の情報を利用する外部装置側の要求に基づいて行われ
る。
ータに対してパラメータ空間への投票を行う際、直線的
に並んだデータが存在すると、このデータの列と一致す
るように設定した直線のパラメータafi,bfi に相当
するパラメータ空間の格子は多くの得票を得て、左右の
投票領域毎に局所極大値が現れる。
あるとパラメータ空間の局所極大値は大きな値を示し、
一方、側壁が無く、複数の物体が分散して存在する状態
では局所極大値は小さい値を示す。従って、パラメータ
空間の左右の投票領域毎に局所極大値を検出し、検出し
た局所極大値が判定値以上であれば側壁が存在すると判
定することができる。判定値は設定する探索領域の大き
さや格子の間隔等を考慮して設定する。
壁の前後端の位置を検出する。これは、側壁の存在が推
定される直線を中心として、幅0.3m〜1.0m程度
の領域を側壁候補領域として定め、この領域を、さらに
Y方向に区分して、上記探索領域内の立体物データを順
次サーベイし、側壁候補領域内にあるデータのみを抽出
した後、区分毎に立体物データの個数をカウントし、ヒ
ストグラムを作成することにより行なう。そして、この
ヒストグラムは側壁が存在する部分では大きな度数を示
すため、度数が判定値以上の区分を検出することによっ
て、この範囲に側壁が存在すると判断することができ、
その両端の3次元位置を計算して側壁の前後端位置とす
るのである。
各物体の位置、形状等のパラメータが求められるように
なっており、前記立体物位置情報演算部13にそのパラ
メータが読み込まれる。
位置情報演算手段として形成され、前記舵角センサ4で
検出した舵角と、前記後輪回転数センサ5で検出した後
輪回転数(後輪移動量)と、上記立体物認識部12から
の情報を基に、位置情報記憶手段としての記憶部14に
前回記憶しておいた車両周辺の立体物位置情報を更新し
て新たな車両周辺の立体物位置情報を演算するようにな
っている。
示すように、XY平面上に予め設定した自車両を中心と
する領域QRST内の立体物の位置情報であり、今回演
算して得た上記立体物認識部12からの情報(領域PQ
R内の情報)と、前回までに得た上記立体物認識部12
からの情報とで形成されている。
記憶しておいた立体物位置情報の領域Q' R' S' T'
から、今回、車両が移動して(移動量M)、新たに上記
立体物認識部12から領域PQRの相対位置情報を得る
と、前回の立体物位置情報の領域Q' R' S' T' の情
報を上記移動量Mだけ移動し、今回の車両位置に対する
情報になるように更新するとともに、この更新した前回
の立体物位置情報の領域Q' R' S' T' の情報から、
記憶領域外に出たもののデータ(領域TSS'T' のデ
ータ)と、新たに得た領域PQRの相対位置情報に重複
する領域PEFのデータとを消去し、上記領域PQRの
相対位置情報を追加して今回の立体物位置情報の領域Q
RSTを形成するようになっている。この今回の立体物
位置情報のデータは再び上記記憶部14に記憶されると
ともに、前記接触判定出力部20に出力される。尚、図
4では、解りやすくするため、車両が前進移動する場合
で示しているが、車両が旋回移動する場合等でも同様に
して今回の立体物位置情報が求められる。
周辺立体物認識部10によれば、従来のような車両前方
での立体物の位置が認識できることはもちろん、一旦車
両前方で認識された立体物は車両の移動に伴って車両側
方になってしまった場合でもその位置を把握することが
でき、他にカメラあるいは立体物認識装置を特別に付加
することなく、車両周辺の広い範囲で立体物の認識を行
なうことができるようになっている。
回の立体物位置情報を移動させるには、例えば、以下の
算出式によって行なう。
(xa ,ya )にある物体はB点(xb ,yb )に相対
的に移動する(xa =xb )。ここで、舵角をδとする
と、直進走行時はδ=0であり、後輪移動量をΔMとし
て、yb =ya −ΔMとなる。すなわち、直進走行時で
は、座標(xold ,yold )で示す前回の立体物位置情
報は、座標(xnew ,ynew )で示す今回の新たな立体
物位置情報に以下の2式により移動される。 xnew =xold …(8) ynew =yold −ΔM …(9) 尚、上記舵角δは、厳密に0でなくとも、予め設定して
おいた範囲内の値であれば直進走行とみなすようになっ
ている。この設定範囲は、車速等のパラメータにより可
変設定されるものであっても良い。
合)、B点(xb ,yb )にある物体はC点(xC ,y
C )に相対的に移動する。この旋回の中心座標PC (X
CE,YCE)は、XCEを舵角δによる車両諸元に基づいて
予め設定しておいたテーブルの参照により求める(f
(δ)で示す)ものとして、 XCE=f(δ) …(10) YCE=(車輪軸までのオフセット)=0 …(11) となる。
から左後輪までのX方向のオフセットをXW として、 θc =ΔM/(XCE−XW ) …(12) で算出される。
θc を用いて、旋回走行時では、座標(xold ,yold
)で示す前回の立体物位置情報は、座標(xnew ,yn
ew )で示す今回の新たな立体物位置情報に以下のよう
に移動される。 r=((xold −XCE)2 +(yold −YCE)2 )1/2 a=arctan((yold −YCE)/(xold −XCE)) とすると、 xnew =r×cos (a+θc )+XCE …(13) ynew =r×sin (a+θc )+YCE …(14) 上記接触判定出力部20は、上記立体物位置情報演算部
13からの車両周辺の立体物位置情報を基に、予め記憶
してある自車両の外形形状から、立体物と車両との接触
の可能性を判定して、結果を前記表示部7に出力させる
ようになっている。
右両側部に、左側接触危険度判定設定線LA,右側接触
危険度判定設定線RAを設定し、この判定設定線LAと
判定設定線RAより内側に立体物が存在する際には、立
体物は障害物であり接触すると判定して各表示部7F
L,7FR,7IL,7IRの中から該当するものを選
択して、赤色光を点滅あるいは点灯させる。例えば、車
両中心線より左側に障害物がある際には、車体の左フェ
ンダ上端の表示部7FLとインストルメントパネル内の
表示部7ILを選択して、赤色光を点滅あるいは点灯さ
せる。逆に、車両中心線より右側に障害物がある際に
は、車体の右フェンダ上端の表示部7FRとインストル
メントパネル内の表示部7IRを選択して、赤色光を点
滅あるいは点灯させる。
A,右側接触危険度判定設定線RAの外側には左側接触
危険度判定設定線LB,右側接触危険度判定設定線RB
が設定され、上記判定設定線LAと上記判定設定線LB
の間に障害物が存在する際には、運転者のハンドル操作
によっては接触の虞があると判定して、車体の左フェン
ダ上端の表示部7FLとインストルメントパネル内の表
示部7ILを選択して、黄色光を点滅あるいは点灯させ
る。また、上記判定設定線RAと上記判定設定線RBの
間に障害物が存在する際には、運転者のハンドル操作に
よっては接触の虞があると判定して、車体の右フェンダ
上端の表示部7FRとインストルメントパネル内の表示
部7IRを選択して、黄色光を点滅あるいは点灯させ
る。
B,右側接触危険度判定設定線RBの外側にのみ障害物
が存在する場合は、障害物と自車両との間隔が十分にあ
り接触のおそれがないと判定して緑色光を表示するよう
になっている。
LB,RBは、図6では直線に設定する例を示している
が、直線に限ることなく曲線(例えば、車両前方に進む
につれて次第に広がるような曲線)等であってもよく、
現在の車両速度、舵角により可変可能に設定できるよう
にしても良い。
運転支援制御を、図7のフローチャートで説明する。こ
のプログラムは、一定時間毎あるいは車両の一定移動量
毎に実行されるもので、まず、ステップ(以下「S」と
略称)101で、舵角センサ4から舵角δを読み込み、
後輪回転数センサ5から後輪回転数を後輪移動量ΔMに
変換して読み込み、また、車両周辺立体物認識部10の
記憶部14から前回の立体物位置情報を読み込む。
旋回状態か直進状態かを判定し、直進状態の場合にはS
103に進み、旋回状態の場合にはS104に進む。
3に進むと、前回の立体物位置情報に後輪移動量ΔMを
加算して(前記(8)式,(9)式に基づく処理を行な
って)、S106に進む。
S104に進むと、舵角δ、後輪移動量ΔMから旋回中
心PC 、旋回角θc を算出し(前記(10)式,(1
1)式,(12)式に基づく算出)、S105に進んで
前回の立体物位置情報を上記旋回中心PC を中心に旋回
角θc 回転させ(前記(13)式,(14)式に基づく
処理を行なって)、S106に進む。
106に進むと、前回の立体物位置情報の中で、上記S
103あるいは上記S105の処理により記憶領域外に
出たもののデータの消去を行なう。
置情報の中で、上記S103あるいは上記S105の処
理により立体物の新たな相対位置情報と重複するデータ
を消去する。
で撮像した画像を車両周辺立体物認識部10のステレオ
画像処理部11、立体物認識部12で処理して立体物の
新たな相対位置情報として読み込み、S109に進ん
で、上記S107で形成した前回の立体物位置情報に上
記新たな相対位置情報を加え記憶する。この立体物位置
情報が今回更新された新たな車両周辺の立体物位置情報
である。すなわち、上記S102〜上記S108で行な
われる処理は立体物位置情報演算部13と記憶部14と
で行なう処理になっている。
処理により最終的に設定した今回の新たな車両周辺の立
体物位置情報を基に、予め記憶してある自車両の外形形
状から、立体物と車両との接触の可能性を判定し、S1
11に進んで、上記S110の判定結果に応じて表示部
7に信号出力する。すなわち、上記S110および上記
S111が接触判定出力部20で行なわれる処理であ
る。
体物位置情報は、次回制御プログラムが実行される際に
は、前回の立体物位置情報として読み込まれ処理され
る。
辺立体物認識部10によれば、従来のような車両前方で
の立体物の位置が認識できることはもちろん、一旦車両
前方で認識された立体物が車両の移動に伴って車両側方
になってしまった場合でもその位置を把握することがで
きるため、車両前方に存在する障害物に対する運転支援
はもちろん、車両側方に存在する障害物に対する運転支
援も容易に行なうことが可能である。
2に係り、図8は運転支援装置の機能ブロック図、図9
は車両側面からみた運転支援装置の全体構成図、図10
は車両上面からみた運転支援装置の全体構成図、図11
は運転支援制御のフローチャートである。尚、本発明の
実施の形態2は、車両移動量検出手段として左後輪回転
数センサと右後輪回転数センサを用いて舵角センサを用
いずに形成したことが前記発明の実施の形態1と異な
る。
後輪には左後輪回転数センサ5が、右後輪には右後輪回
転数センサ25が設けられ、制御装置6に、それぞれ左
後輪回転数(左後輪移動量)と右後輪回転数(右後輪移
動量)とが入力されるようになっている。そして、上記
制御装置6の車両周辺立体物認識部10の立体物位置情
報演算手段としての立体物位置情報演算部26に、上記
左右後輪移動量が入力され、これら左右後輪移動量と、
立体物認識部12からの情報を基に、記憶部14に前回
記憶しておいた車両周辺の立体物位置情報を更新して新
たな車両周辺の立体物位置情報を演算し出力するように
なっている。
明の実施の形態1での立体物位置情報演算部13と略同
様の機能を有するものであるが、左右後輪移動量が入力
されるようになっているため、前回の立体物位置情報を
移動させる際は、以下のように行なうものである。
(xa ,ya )にある物体はB点(xb ,yb )に相対
的に移動する(xa =xb )。ここで、左後輪移動量
(変化量)をΔML,右後輪移動量(変化量)をΔMR
とすると、直進時では、ΔML=ΔMRであり、yb =
ya −ΔMRとなる。すなわち、直進走行時では、座標
(xold ,yold )で示す前回の立体物位置情報は、座
標(xnew ,ynew )で示す今回の新たな立体物位置情
報に以下の2式により移動される。 xnew =xold …(15) ynew =yold −ΔMR …(16) また、車両が旋回する場合、B点(xb ,yb )にある
物体はC点(xC ,yC )に相対的に移動する。この旋
回の中心座標PC (XCE,YCE)は、 XCE=(ΔMR+ΔML)/(ΔMR−ΔML)×(車輪トレッド)/2 …(17) YCE=(車輪軸までのオフセット)=0 …(18) となる。
θc を用いて、旋回走行時では、座標(xold ,yold
)で示す前回の立体物位置情報は、座標(xnew ,yn
ew )で示す今回の新たな立体物位置情報に、前記(1
3)式,(14)式で移動される。
援装置2による運転支援制御を、図11のフローチャー
トで説明する。まず、S201で、左後輪回転数センサ
5から左後輪回転数を左後輪移動量ΔMLに変換して読
み込み、右後輪回転数センサ25から右後輪回転数を右
後輪移動量ΔMRに変換して読み込み、また、車両周辺
立体物認識部10の記憶部14から前回の立体物位置情
報を読み込む。
ΔML,ΔMRから旋回状態か直進状態かを判定し、直
進状態の場合にはS203に進み、旋回状態の場合には
S204に進む。
3に進むと、前回の立体物位置情報に後輪移動量ΔML
を加算して(前記(15)式,(16)式に基づく処理
を行なって)、S106に進む。一方、上記S202で
旋回状態と判定してS204に進むと、左右後輪移動量
ΔML,ΔMRから旋回中心PC 、旋回角θc を算出し
(前記(17)式,(18)式,(19)式に基づく算
出)、S105に進んで前回の立体物位置情報を上記旋
回中心PC を中心に旋回角θc 回転させ(前記(13)
式,(14)式に基づく処理を行なって)、S106に
進む。以下S106以降、前記発明の実施の形態1と同
様の処理ルーチンとなる。
ば、前記発明の実施の形態1の効果に加え、舵角センサ
を用いずとも車両周辺立体物認識部が形成でき、さらに
コストダウンを図ることができる。
態3に係り、図12は自律走行制御装置の機能ブロック
図、図13は車両側面からみた自律走行制御装置の全体
構成図、図14は車両上面からみた自律走行制御装置の
全体構成図、図15は車両周辺の立体物位置情報の説明
図、図16は自律走行制御のフローチャートである。
の自律走行車に前記発明の実施の形態2で説明した車両
周辺立体物認識部10を搭載し、この車両周辺立体物認
識部10からの立体物位置情報を基に、車両停止、障害
物回避等の走行制御を行なわせるようにしたものであ
る。
行車を示し、この自律走行車30には、例えば、車両後
部下側にモーア等の作業装置31が設けられている。ま
た、車両前部下側にキャスタ等の小車輪32が設けら
れ、車両の略中央の左右両脇には駆動輪33(左側駆動
輪33L、右側駆動輪33R)が設けられており、この
駆動輪が、車両に搭載された自律走行制御装置35によ
り制御される駆動モータ34(左側駆動モータ34L,
右側駆動モータ34R)により駆動され、上記作業装置
31により、走行しながら芝刈り等の作業ができるよう
に構成されている。
明の実施の形態2の如く、前方を撮像するステレオ光学
系3(左側CCDカメラ3L,右側CCDカメラ3R)
が配設されるとともに、左駆動輪には左駆動輪回転数セ
ンサ5が、右駆動輪には右駆動輪回転数センサ25が設
けられており、これらステレオ光学系3、左駆動輪回転
数センサ5、右駆動輪回転数センサ25は、上記自律走
行制御装置35に接続されている。
体物認識部10と、この車両周辺立体物認識部10から
の立体物位置情報を基に、車両停止、障害物回避等の走
行制御を行なわせる走行制御部38とから主に構成され
ている。
明の実施の形態2で説明したものと同様のもので、立体
物位置情報演算部26に、左右駆動輪移動量が入力さ
れ、これら左右駆動輪移動量と、立体物認識部12から
の情報(相対位置情報)を基に、記憶部14に前回記憶
しておいた車両周辺の立体物位置情報を更新して新たな
車両周辺の立体物位置情報を演算し出力するようになっ
ている。
る車両周辺の立体物位置情報は、図15に示すように、
XY平面上に予め設定した自車両を中心とする領域QR
ST(前記発明の実施の形態1に対応して示す)内の立
体物の位置情報で、物体の車両との相対位置が、A点
(xa ,ya )からB点(xb ,yb )に移動するよう
な直進走行時は、前記(15)式,(16)式に基づき
前回の位置情報を移動させ、また、B点(xb ,yb )
からC点(xC ,yC )に移動するような旋回走行時
は、前記(13)式,(14)式に基づき前回の位置情
報を移動させ、その後、記憶領域外に出たもののデータ
と、新たに得たデータ(カメラ視野)に重複するデータ
とを消去し、新たに得たカメラ視野の相対位置情報を追
加して今回の新たな立体物位置情報を形成するようにな
っている。
報演算部26からの車両周辺の立体物位置情報を基に、
予め記憶してある自車両の外形形状から、自車両が停止
すべき状態か否か判定して、自車両が停止すべき状態と
判定した際には上記駆動モータ34を停止制御して車両
を停止させる一方、自車両は停止すべき状態ではないが
障害物を回避しなければならない状態であると判定した
際には上記駆動モータ34を障害物回避制御して障害物
を回避させる。この障害物回避制御は、例えば、障害物
とは左右反対側の駆動モータ(左側駆動モータ34Lあ
るいは右側駆動モータ34R)を演算した速度に減速さ
せることにより行なう。
装置35による自律走行制御を、図16のフローチャー
トで説明する。尚、この図からも明らかなように、S2
01〜S109までの処理は前記発明の実施の形態2と
同様であるので、それ以降、S301以降の走行制御部
38で行なわれる処理を説明する。また、前記発明の実
施の形態2に於けるS201,S203,S204の
“後輪”は、“駆動輪”に読み替える。
からの車両周辺の立体物位置情報を基に、予め記憶して
ある自車両の外形形状から、自車両が停止すべき状態か
否かの判定を行なう。
に接近して停止する必要があると判定するとS302に
進み、上記駆動モータ34を停止制御して(車両停止制
御ONして)車両を停止させる。
いと判定するとS303に進み、車両停止制御OFFと
して、S304に進み、立体物位置情報演算部26から
の車両周辺の立体物位置情報を基に、予め記憶してある
自車両の外形形状から、自車両が障害物を回避すべきか
否かの判定を行なう。
ると判定すると、S305に進み、障害物とは左右反対
側の駆動モータ(左側駆動モータ34Lあるいは右側駆
動モータ34R)の速度(減速した速度)を演算し、こ
の速度になるように、上記左右反対側の駆動モータを減
速制御(障害物回避制御ON)して、プログラムを終了
する。
要がないと判定すると、そのまま走行制御を続け、この
プログラムを終了する。
周辺立体物認識部10を用いることにより、他にカメラ
あるいは立体物認識装置を特別に付加することなく、車
両周辺の広い範囲で立体物の認識を行なうことができる
ため、車両前方の立体物による停止や回避等の自律走行
制御を有効に行なうことが可能である。
を行なう機能を有している場合であっても、その機能に
使用できることはいうまでもない。
車、例えば、床面清掃作業ロボット車両等で広く応用で
き、床面清掃作業ロボット車両に応用した場合、壁際に
沿った掃除等が容易にできる。
態4に係り、図17は自律走行制御装置の機能ブロック
図、図18は車両側面からみた自律走行制御装置の全体
構成図、図19は車両上面からみた自律走行制御装置の
全体構成図、図20は車両周辺の立体物位置情報の説明
図、図21は自律走行制御のフローチャートである。
の自律走行車に、設定角度範囲で回動自在なCCDカメ
ラを設け、車両進行方向以外の画像も得られるように
し、この車両進行方向以外の画像を処理して得た立体物
との相対位置情報を基に、立体物位置情報を得ることが
できるようにしたことが、前記発明の実施の形態3とは
異なるので、以下、この異なる部分のみ説明する。
行車を示し、この自律走行車40の前側上部に、水平に
回動自在な回転台41が設けられ、この回転台41の上
にステレオ光学系3が固定されている。
結され、この回転台モータ42は、自律走行制御装置4
5の走行制御部46により制御され回動されるようにな
っている。
準0°とした角度)は、回転台角度センサ43により検
出され、上記自律走行制御装置45の車両周辺立体物認
識部47を構成する立体物認識部48に入力されるよう
に形成されている。
立体物認識部47は、前記発明の実施の形態3の車両周
辺立体物認識部10に対応するもので、上記立体物認識
部48が異なっており、他の部分は同様のものである。
の形態3の立体物認識部12と同様にステレオ画像処理
部11から出力された距離画像から道路上の各物体の位
置、形状等のパラメータを求めるとともに、上記回転台
角度センサ43からの上記回転台41の回転角αを加味
して、車両から見た立体物の相対位置座標を計算し、こ
の相対位置情報を立体物位置情報演算部26に出力する
ようになっている。
レオ光学系3を通じて得られる画像は、車両正面に対し
て可変に撮像されるため、この可変にされた量(上記回
転台41の回転角)を検出して補正することで、上記立
体物位置情報演算部26において、自車両を中心とする
立体物の位置情報に追加できるようにするのである。
実施の形態3の走行制御部38と同様に上記立体物位置
情報演算部26からの車両周辺の立体物位置情報を基
に、予め記憶してある自車両の外形形状から、車両の停
止、あるいは、車両の障害物回避を制御するとともに、
上記回転台モータ42を駆動制御して上記ステレオ光学
系3を一定の速度で左右に回動運動させるようになって
いる。尚、上記回転台モータ42の駆動制御は、右に旋
回する場合は右に、左に旋回する場合は左にカメラ視野
を向けるようにするものであっても良い。
装置45による自律走行制御を、図21のフローチャー
トで説明する。尚、この図からも明らかなように、上記
自律走行制御装置45による自律走行制御は、前記発明
の実施の形態3の自律走行制御のS108の処理を、S
401に変更したものである。
報の中で、新たな相対位置情報と重複するデータを消去
した後、S401に進み、車両周辺立体物認識部47の
立体物位置情報演算部26では、回転台41の回転角α
で補正(立体物認識部48での処理)された新たな相対
位置情報を読み込む。そして、S109以降に進む。
前記発明の実施の形態3で得られる効果に加え、カメラ
視野が左右に回動されるため、さらに広いカメラ視野が
得られ、より確実な立体物の把握ができる。
カメラで得られる画像を基に車両周辺の立体物を認識す
るものであるが、画像ではなく、例えばスキャン式レー
ザレーダや超音波センサから得られる立体物の位置情報
を基に車両周辺立体物認識装置を構成してもよい。
に直交座標を用いているが、極座標であってもよい。
旦検出された車両周辺の立体物の位置情報は記憶され、
車両の移動に応じて逐次更新されて保持されるので、カ
メラ、センサ等の検出手段あるいは立体物認識装置を特
別に付加することなく、車両周辺の広い範囲で立体物の
認識を行なうことができる。
能ブロック図
運転支援装置の全体構成図
運転支援装置の全体構成図
位置情報の説明図
情報を移動させる際の説明図
各接触危険度判定設定線の説明図
ローチャート
能ブロック図
運転支援装置の全体構成図
た運転支援装置の全体構成図
フローチャート
置の機能ブロック図
た自律走行制御装置の全体構成図
た自律走行制御装置の全体構成図
物位置情報の説明図
フローチャート
置の機能ブロック図
た自律走行制御装置の全体構成図
た自律走行制御装置の全体構成図
物位置情報の説明図
フローチャート
段) 14 記憶部(位置情報記憶手段) 20 接触判定出力部
Claims (6)
- 【請求項1】 車両周辺の物体を検出し、その物体の方
向、物体までの距離分布を検出する物体検出手段と、上
記物体検出手段で検出した物体までの距離分布から立体
物を認識し、車両との相対位置を演算する立体物認識手
段と、車両の旋回および前後方向の移動量を検出する車
両移動量検出手段と、車両周辺の立体物位置情報を記憶
する位置情報記憶手段と、上記車両移動量検出手段から
の車両移動量と上記立体物認識手段からの相対位置とを
基に上記位置情報記憶手段に記憶していた車両周辺の立
体物位置情報を更新して新たな車両周辺の立体物位置情
報を演算する立体物位置情報演算手段とを備えたことを
特徴とする車両周辺立体物認識装置。 - 【請求項2】 上記物体検出手段は、車外の対象を異な
る視点から撮像したステレオ画像対を処理して画像全体
に渡る三次元の距離分布を算出することを特徴とする請
求項1記載の車両周辺立体物認識装置。 - 【請求項3】 上記物体検出手段は、撮像方向を変化さ
せてステレオ画像を撮像し、撮像したステレオ画像対を
撮像方向の変化量に応じて補正処理して画像全体に渡る
三次元の距離分布を算出することを特徴とする請求項1
記載の車両周辺立体物認識装置。 - 【請求項4】 上記車両移動量検出手段は、車両の舵角
と車輪回転数とを検出して車両の旋回角および前後方向
の移動量を算出することを特徴とする請求項1,2,3
のいずれか一に記載の車両周辺立体物認識装置。 - 【請求項5】 上記車両移動量検出手段は、車両に設け
られた左右一対の車輪の回転数を検出して車両の旋回角
および前後方向の移動量を算出することを特徴とする請
求項1,2,3のいずれか一に記載の車両周辺立体物認
識装置。 - 【請求項6】 上記立体物位置情報演算手段は、上記位
置情報記憶手段に記憶していた車両周辺の立体物位置情
報を、上記車両移動量検出手段で検出した車両の旋回お
よび前後方向の移動量で移動させるとともに、上記立体
物認識手段からの車両と立体物との相対位置の情報を加
え更新して新たな車両周辺の立体物位置情報を演算する
ことを特徴とする請求項1、2、3、4、5のいずれか
一に記載の車両周辺立体物認識装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14443896A JP3866328B2 (ja) | 1996-06-06 | 1996-06-06 | 車両周辺立体物認識装置 |
US08/856,805 US6169572B1 (en) | 1996-06-06 | 1997-05-15 | Object recognizing apparatus for vehicle and the method thereof |
GB9711530A GB2313971B (en) | 1996-06-06 | 1997-06-05 | Object locating apparatus and method for a vehicle |
DE19723963A DE19723963C2 (de) | 1996-06-06 | 1997-06-06 | Objekterkennungsvorrichtung und -verfahren für Fahrzeuge |
US09/648,740 US6661449B1 (en) | 1996-06-06 | 2000-08-28 | Object recognizing apparatus for vehicle and the method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14443896A JP3866328B2 (ja) | 1996-06-06 | 1996-06-06 | 車両周辺立体物認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09326032A true JPH09326032A (ja) | 1997-12-16 |
JP3866328B2 JP3866328B2 (ja) | 2007-01-10 |
Family
ID=15362220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14443896A Expired - Fee Related JP3866328B2 (ja) | 1996-06-06 | 1996-06-06 | 車両周辺立体物認識装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US6169572B1 (ja) |
JP (1) | JP3866328B2 (ja) |
DE (1) | DE19723963C2 (ja) |
GB (1) | GB2313971B (ja) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11316122A (ja) * | 1998-05-06 | 1999-11-16 | Fujitsu Ten Ltd | 画像測距装置 |
JP2001023091A (ja) * | 1999-07-07 | 2001-01-26 | Honda Motor Co Ltd | 車両の画像表示装置 |
JP2004103018A (ja) * | 2003-09-02 | 2004-04-02 | Honda Motor Co Ltd | 車両の周辺監視装置 |
KR100446636B1 (ko) * | 2002-11-21 | 2004-09-04 | 삼성전자주식회사 | 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 |
JP2007112317A (ja) * | 2005-10-21 | 2007-05-10 | Fujitsu Ten Ltd | 接触回避支援装置 |
JP2007199965A (ja) * | 2006-01-25 | 2007-08-09 | Matsushita Electric Works Ltd | 自律移動装置 |
JP2008242795A (ja) * | 2007-03-27 | 2008-10-09 | Honda Motor Co Ltd | 障害物検知装置 |
US7571026B2 (en) | 2006-12-20 | 2009-08-04 | Honda Motor Co., Ltd. | Mobile apparatus, and control method thereof, control program and supervisory system therefor |
US8019475B2 (en) | 2007-04-06 | 2011-09-13 | Honda Motor Co., Ltd. | Routing apparatus for autonomous mobile unit |
JP2014102743A (ja) * | 2012-11-21 | 2014-06-05 | Fujitsu Ltd | 報知制御方法、報知制御装置および報知制御プログラム |
US8793069B2 (en) | 2008-04-03 | 2014-07-29 | Honda Motor Co., Ltd. | Object recognition system for autonomous mobile body |
JP2016513804A (ja) * | 2013-03-15 | 2016-05-16 | ウーバー テクノロジーズ,インコーポレイテッド | ロボット用多重知覚ステレオ視のための方法、システム、および装置 |
US9952317B2 (en) | 2016-05-27 | 2018-04-24 | Uber Technologies, Inc. | Vehicle sensor calibration system |
US10281923B2 (en) | 2016-03-03 | 2019-05-07 | Uber Technologies, Inc. | Planar-beam, light detection and ranging system |
US10338225B2 (en) | 2015-12-15 | 2019-07-02 | Uber Technologies, Inc. | Dynamic LIDAR sensor controller |
US10479376B2 (en) | 2017-03-23 | 2019-11-19 | Uatc, Llc | Dynamic sensor selection for self-driving vehicles |
WO2020110248A1 (ja) * | 2018-11-29 | 2020-06-04 | 本田技研工業株式会社 | 作業機、作業機の制御方法及びプログラム |
US10746858B2 (en) | 2017-08-17 | 2020-08-18 | Uatc, Llc | Calibration for an autonomous vehicle LIDAR module |
US10775488B2 (en) | 2017-08-17 | 2020-09-15 | Uatc, Llc | Calibration for an autonomous vehicle LIDAR module |
US10914820B2 (en) | 2018-01-31 | 2021-02-09 | Uatc, Llc | Sensor assembly for vehicles |
Families Citing this family (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3516856B2 (ja) * | 1998-01-30 | 2004-04-05 | 富士重工業株式会社 | 車外監視装置 |
JPH11296229A (ja) * | 1998-02-13 | 1999-10-29 | Komatsu Ltd | 車両の誘導装置 |
EP1115250B1 (en) * | 1998-07-31 | 2012-06-06 | Panasonic Corporation | Method and apparatus for displaying image |
US7277123B1 (en) | 1998-10-08 | 2007-10-02 | Matsushita Electric Industrial Co., Ltd. | Driving-operation assist and recording medium |
GB2344884A (en) * | 1998-12-18 | 2000-06-21 | Notetry Ltd | Light Detection Apparatus - eg for a robotic cleaning device |
DE19926559A1 (de) * | 1999-06-11 | 2000-12-21 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung |
JP3349121B2 (ja) * | 1999-09-22 | 2002-11-20 | 富士重工業株式会社 | ステレオカメラの取付構造 |
DE19949409A1 (de) * | 1999-10-13 | 2001-04-19 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Objektdetektierung |
JP2001195699A (ja) * | 2000-01-14 | 2001-07-19 | Yazaki Corp | 車両用周辺監視装置及び、車両用衝突危険判断処理プログラムを記録した記録媒体 |
US6515597B1 (en) * | 2000-01-31 | 2003-02-04 | Matsushita Electric Industrial Co. Ltd. | Vicinity display for car |
US6801244B2 (en) * | 2000-02-29 | 2004-10-05 | Kabushiki Kaisha Toshiba | Obstacle detection apparatus and method |
DE10103870B4 (de) * | 2001-01-30 | 2004-02-05 | Daimlerchrysler Ag | Verfahren zur Bilderkennung bei Kraftfahrzeugen |
US6733950B2 (en) * | 2001-03-14 | 2004-05-11 | General Electric Company | Limited play data storage media and method for limiting access to data thereon |
GB2375251B (en) * | 2001-04-30 | 2003-03-05 | Infrared Integrated Syst Ltd | The location of events in a three dimensional space under surveillance |
DE10133761A1 (de) * | 2001-07-11 | 2003-01-30 | Vitronic Dr Ing Stein Bildvera | Verfahren und Vorrichtung zur virtuellen Lagebestimmung eines Fahrzeugaufbaus |
JP3764086B2 (ja) * | 2001-10-29 | 2006-04-05 | 本田技研工業株式会社 | 車両用情報提供装置 |
JP3880837B2 (ja) * | 2001-11-02 | 2007-02-14 | 富士重工業株式会社 | 車外監視装置 |
JP2003150936A (ja) * | 2001-11-08 | 2003-05-23 | Fuji Heavy Ind Ltd | 画像処理装置および画像処理方法 |
US7607509B2 (en) * | 2002-04-19 | 2009-10-27 | Iee International Electronics & Engineering S.A. | Safety device for a vehicle |
JP4023228B2 (ja) * | 2002-06-19 | 2007-12-19 | 日産自動車株式会社 | 車載用障害物検知装置 |
DE10240018B4 (de) * | 2002-08-27 | 2016-09-15 | Volkswagen Ag | Verfahren und Vorrichtung zur Erzeugung eines Warnsignals vor einer Notmaßnahme eines Fahrerassistenzsystems eines Fahrzeugs |
DE10246652B4 (de) * | 2002-10-07 | 2012-06-06 | Donnelly Hohe Gmbh & Co. Kg | Verfahren zum Betrieb eines Darstellungssystems in einem Fahrzeug |
DE10258287A1 (de) * | 2002-12-13 | 2004-06-24 | Robert Bosch Gmbh | Verfahren und Einrichtung zur Objektdetekrierung |
US7437226B2 (en) * | 2003-08-20 | 2008-10-14 | Samsung Electronics Co., Ltd. | Method of constructing artificial mark for autonomous driving, apparatus and method of determining position of intelligent system using artificial mark and intelligent system employing the same |
US20050259240A1 (en) * | 2003-09-18 | 2005-11-24 | Goren David P | Optical navigation of vehicles |
JP3941770B2 (ja) * | 2003-10-28 | 2007-07-04 | 株式会社デンソー | 衝突可能性判定装置 |
US7486803B2 (en) * | 2003-12-15 | 2009-02-03 | Sarnoff Corporation | Method and apparatus for object tracking prior to imminent collision detection |
EP2765533A1 (en) | 2004-07-26 | 2014-08-13 | Automotive Systems Laboratory, Inc. | Vulnerable road user protection system |
DE102004042281A1 (de) * | 2004-09-01 | 2006-03-02 | Daimlerchrysler Ag | Hilfsvorrichtung für das Handhaben eines Fahrzeugs |
US7248968B2 (en) * | 2004-10-29 | 2007-07-24 | Deere & Company | Obstacle detection using stereo vision |
WO2006065563A2 (en) * | 2004-12-14 | 2006-06-22 | Sky-Trax Incorporated | Method and apparatus for determining position and rotational orientation of an object |
EA011777B1 (ru) * | 2005-02-04 | 2009-06-30 | Дональдсон Компани, Инк. | Фильтр и система вентиляции картера |
US7231288B2 (en) * | 2005-03-15 | 2007-06-12 | Visteon Global Technologies, Inc. | System to determine distance to a lead vehicle |
FR2893173B1 (fr) * | 2005-11-10 | 2008-01-18 | Valeo Vision Sa | Procede d'evaluation, par un vehicule automobile, des caracteristiques d'un element frontal. |
US8381982B2 (en) * | 2005-12-03 | 2013-02-26 | Sky-Trax, Inc. | Method and apparatus for managing and controlling manned and automated utility vehicles |
US20070170315A1 (en) * | 2006-01-20 | 2007-07-26 | Gedalyahu Manor | Method of detecting obstacles on railways and preventing train accidents |
JP4724043B2 (ja) * | 2006-05-17 | 2011-07-13 | トヨタ自動車株式会社 | 対象物認識装置 |
US8210435B2 (en) * | 2008-01-14 | 2012-07-03 | Sky-Trax, Inc. | Optical position marker apparatus |
US8565913B2 (en) * | 2008-02-01 | 2013-10-22 | Sky-Trax, Inc. | Apparatus and method for asset tracking |
JP4377439B1 (ja) * | 2008-06-12 | 2009-12-02 | 本田技研工業株式会社 | 車両周辺監視装置 |
US8346468B2 (en) * | 2008-07-08 | 2013-01-01 | Sky-Trax Incorporated | Method and apparatus for collision avoidance |
JP5089545B2 (ja) * | 2008-09-17 | 2012-12-05 | 日立オートモティブシステムズ株式会社 | 道路境界検出判断装置 |
JP5299513B2 (ja) * | 2009-08-12 | 2013-09-25 | 日本電気株式会社 | 障害物検知装置及び方法並びに障害物検知システム |
DE102011118161B3 (de) | 2011-11-10 | 2013-03-28 | Audi Ag | Verfahren zur Positionsbestimmung |
WO2013086249A2 (en) | 2011-12-09 | 2013-06-13 | Magna Electronics, Inc. | Vehicle vision system with customized display |
US8824733B2 (en) | 2012-03-26 | 2014-09-02 | Tk Holdings Inc. | Range-cued object segmentation system and method |
US8768007B2 (en) | 2012-03-26 | 2014-07-01 | Tk Holdings Inc. | Method of filtering an image |
US8781721B2 (en) | 2012-06-06 | 2014-07-15 | Google Inc. | Obstacle evaluation technique |
JP5829980B2 (ja) * | 2012-06-19 | 2015-12-09 | トヨタ自動車株式会社 | 路側物検出装置 |
US9135798B2 (en) * | 2012-09-01 | 2015-09-15 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device |
US9349058B2 (en) | 2012-10-31 | 2016-05-24 | Tk Holdings, Inc. | Vehicular path sensing system and method |
WO2014152470A2 (en) | 2013-03-15 | 2014-09-25 | Tk Holdings, Inc. | Path sensing using structured lighting |
US9099004B2 (en) | 2013-09-12 | 2015-08-04 | Robert Bosch Gmbh | Object differentiation warning system |
US9604642B2 (en) * | 2014-04-29 | 2017-03-28 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Positioning autonomous vehicles based on field of view |
JP6292097B2 (ja) * | 2014-10-22 | 2018-03-14 | 株式会社デンソー | 側方測距センサ診断装置 |
BE1023147B1 (nl) * | 2015-07-03 | 2016-12-01 | Cnh Industrial Belgium Nv | Controller voor een werkvoertuig |
JP6950170B2 (ja) * | 2016-11-30 | 2021-10-13 | 株式会社リコー | 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム |
US10740627B2 (en) | 2017-05-10 | 2020-08-11 | Fotonation Limited | Multi-camera vision system and method of monitoring |
US11615566B2 (en) | 2017-05-10 | 2023-03-28 | Fotonation Limited | Multi-camera vehicle vision system and method |
US10331960B2 (en) | 2017-05-10 | 2019-06-25 | Fotonation Limited | Methods for detecting, identifying and displaying object information with a multi-camera vision system |
US10386856B2 (en) * | 2017-06-29 | 2019-08-20 | Uber Technologies, Inc. | Autonomous vehicle collision mitigation systems and methods |
US10065638B1 (en) | 2017-08-03 | 2018-09-04 | Uber Technologies, Inc. | Multi-model switching on a collision mitigation system |
CN107985200B (zh) * | 2017-11-13 | 2020-11-13 | 西南交通大学 | 一种载重货车右转弯安全预警方法 |
AU2018368776B2 (en) | 2017-11-17 | 2021-02-04 | Divine Logic, Inc. | Systems and methods for tracking items |
CN112204486A (zh) | 2018-04-03 | 2021-01-08 | 尚科宁家运营有限公司 | 机器人导航的飞行时间传感器布置及用其定位的方法 |
US11565698B2 (en) * | 2018-04-16 | 2023-01-31 | Mitsubishi Electric Cornoration | Obstacle detection apparatus, automatic braking apparatus using obstacle detection apparatus, obstacle detection method, and automatic braking method using obstacle detection method |
JP2022044155A (ja) * | 2020-09-07 | 2022-03-17 | 株式会社Subaru | 画像処理装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1605315A (en) * | 1959-07-12 | 1989-07-19 | Ferranti Ltd | Improvements relating to targetlocating apparatus for aircraft |
US4590569A (en) * | 1983-10-14 | 1986-05-20 | Navigation Sciences Inc. | Navigation system including an integrated electronic chart display |
FR2725031B1 (fr) * | 1984-12-10 | 1996-11-15 | Dassault Electronique | Dispositif pour recreer une image dynamique, a partir d'un radar |
US4833475A (en) * | 1986-01-27 | 1989-05-23 | Raytheon Company | Raster scan radar with true motion memory |
JP2646146B2 (ja) * | 1990-03-28 | 1997-08-25 | 三菱電機株式会社 | 車間距離制御装置 |
JP3167752B2 (ja) * | 1991-10-22 | 2001-05-21 | 富士重工業株式会社 | 車輌用距離検出装置 |
JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
US5638116A (en) * | 1993-09-08 | 1997-06-10 | Sumitomo Electric Industries, Ltd. | Object recognition apparatus and method |
JP3431962B2 (ja) * | 1993-09-17 | 2003-07-28 | 本田技研工業株式会社 | 走行区分線認識装置を備えた自動走行車両 |
JP3522317B2 (ja) * | 1993-12-27 | 2004-04-26 | 富士重工業株式会社 | 車輌用走行案内装置 |
ATE219165T1 (de) * | 1995-12-14 | 2002-06-15 | Imperial College | Film- oder schicht-abscheidung und pulver herstellung |
-
1996
- 1996-06-06 JP JP14443896A patent/JP3866328B2/ja not_active Expired - Fee Related
-
1997
- 1997-05-15 US US08/856,805 patent/US6169572B1/en not_active Expired - Fee Related
- 1997-06-05 GB GB9711530A patent/GB2313971B/en not_active Expired - Fee Related
- 1997-06-06 DE DE19723963A patent/DE19723963C2/de not_active Expired - Fee Related
-
2000
- 2000-08-28 US US09/648,740 patent/US6661449B1/en not_active Expired - Lifetime
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11316122A (ja) * | 1998-05-06 | 1999-11-16 | Fujitsu Ten Ltd | 画像測距装置 |
JP2001023091A (ja) * | 1999-07-07 | 2001-01-26 | Honda Motor Co Ltd | 車両の画像表示装置 |
KR100446636B1 (ko) * | 2002-11-21 | 2004-09-04 | 삼성전자주식회사 | 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 |
JP2004103018A (ja) * | 2003-09-02 | 2004-04-02 | Honda Motor Co Ltd | 車両の周辺監視装置 |
JP2007112317A (ja) * | 2005-10-21 | 2007-05-10 | Fujitsu Ten Ltd | 接触回避支援装置 |
JP2007199965A (ja) * | 2006-01-25 | 2007-08-09 | Matsushita Electric Works Ltd | 自律移動装置 |
US7571026B2 (en) | 2006-12-20 | 2009-08-04 | Honda Motor Co., Ltd. | Mobile apparatus, and control method thereof, control program and supervisory system therefor |
JP2008242795A (ja) * | 2007-03-27 | 2008-10-09 | Honda Motor Co Ltd | 障害物検知装置 |
US8019475B2 (en) | 2007-04-06 | 2011-09-13 | Honda Motor Co., Ltd. | Routing apparatus for autonomous mobile unit |
US8793069B2 (en) | 2008-04-03 | 2014-07-29 | Honda Motor Co., Ltd. | Object recognition system for autonomous mobile body |
JP2014102743A (ja) * | 2012-11-21 | 2014-06-05 | Fujitsu Ltd | 報知制御方法、報知制御装置および報知制御プログラム |
US9524644B2 (en) | 2012-11-21 | 2016-12-20 | Fujitsu Limited | Notification control method and notification control device |
JP2016513804A (ja) * | 2013-03-15 | 2016-05-16 | ウーバー テクノロジーズ,インコーポレイテッド | ロボット用多重知覚ステレオ視のための方法、システム、および装置 |
US10412368B2 (en) | 2013-03-15 | 2019-09-10 | Uber Technologies, Inc. | Methods, systems, and apparatus for multi-sensory stereo vision for robotics |
US11740355B2 (en) | 2015-12-15 | 2023-08-29 | Uatc, Llc | Adjustable beam pattern for LIDAR sensor |
US10677925B2 (en) | 2015-12-15 | 2020-06-09 | Uatc, Llc | Adjustable beam pattern for lidar sensor |
US10338225B2 (en) | 2015-12-15 | 2019-07-02 | Uber Technologies, Inc. | Dynamic LIDAR sensor controller |
US10281923B2 (en) | 2016-03-03 | 2019-05-07 | Uber Technologies, Inc. | Planar-beam, light detection and ranging system |
US10942524B2 (en) | 2016-03-03 | 2021-03-09 | Uatc, Llc | Planar-beam, light detection and ranging system |
US11604475B2 (en) | 2016-03-03 | 2023-03-14 | Uatc, Llc | Planar-beam, light detection and ranging system |
US10718856B2 (en) | 2016-05-27 | 2020-07-21 | Uatc, Llc | Vehicle sensor calibration system |
US11009594B2 (en) | 2016-05-27 | 2021-05-18 | Uatc, Llc | Vehicle sensor calibration system |
US9952317B2 (en) | 2016-05-27 | 2018-04-24 | Uber Technologies, Inc. | Vehicle sensor calibration system |
US10479376B2 (en) | 2017-03-23 | 2019-11-19 | Uatc, Llc | Dynamic sensor selection for self-driving vehicles |
US10746858B2 (en) | 2017-08-17 | 2020-08-18 | Uatc, Llc | Calibration for an autonomous vehicle LIDAR module |
US10775488B2 (en) | 2017-08-17 | 2020-09-15 | Uatc, Llc | Calibration for an autonomous vehicle LIDAR module |
US10914820B2 (en) | 2018-01-31 | 2021-02-09 | Uatc, Llc | Sensor assembly for vehicles |
US11747448B2 (en) | 2018-01-31 | 2023-09-05 | Uatc, Llc | Sensor assembly for vehicles |
WO2020110248A1 (ja) * | 2018-11-29 | 2020-06-04 | 本田技研工業株式会社 | 作業機、作業機の制御方法及びプログラム |
JPWO2020110248A1 (ja) * | 2018-11-29 | 2021-12-23 | 本田技研工業株式会社 | 作業機、作業機の制御方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3866328B2 (ja) | 2007-01-10 |
US6169572B1 (en) | 2001-01-02 |
DE19723963C2 (de) | 2001-09-06 |
GB9711530D0 (en) | 1997-07-30 |
DE19723963A1 (de) | 1997-12-11 |
GB2313971A (en) | 1997-12-10 |
GB2313971B (en) | 1998-08-05 |
US6661449B1 (en) | 2003-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3866328B2 (ja) | 車両周辺立体物認識装置 | |
JP3349060B2 (ja) | 車外監視装置 | |
US10977504B2 (en) | Vehicle-mounted image target objection recognition device | |
JP3516856B2 (ja) | 車外監視装置 | |
JP3951465B2 (ja) | 駐車補助装置 | |
JP3337197B2 (ja) | 車外監視装置 | |
JP3895238B2 (ja) | 障害物検出装置及びその方法 | |
JPH1139596A (ja) | 車外監視装置 | |
CN112327878B (zh) | 一种基于tof摄像头的障碍物分类避障控制方法 | |
US9121717B1 (en) | Collision avoidance for vehicle control | |
US20060192660A1 (en) | Vehicle surrounding monitoring device | |
EP3226207B1 (en) | Automatic operation vehicle | |
JPH07192199A (ja) | 車輌用走行案内装置 | |
JP2002352397A (ja) | 車両用運転支援装置 | |
JP2000136905A (ja) | 物体端の位置計測装置および移動体の通行判断装置 | |
CN105830131A (zh) | 用于检测行人相对于车辆轨迹的侧向位置的装置 | |
JPH10283462A (ja) | 車外監視装置 | |
JP3372190B2 (ja) | 車両の衝突防止装置 | |
JP3245363B2 (ja) | 車両の衝突防止装置 | |
CN111862108A (zh) | 图像处理装置及图像处理方法 | |
JPH09106500A (ja) | 車輌の運転支援装置 | |
JP3440956B2 (ja) | 車両用走行路検出装置 | |
US20170269603A1 (en) | Automatic operation vehicle | |
WO2022004494A1 (ja) | 産業車両 | |
JP2019089636A (ja) | 安全装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040510 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040616 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040716 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061005 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111013 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121013 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121013 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131013 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |