JP3762406B2 - Vehicle travel guidance device - Google Patents
Vehicle travel guidance device Download PDFInfo
- Publication number
- JP3762406B2 JP3762406B2 JP2003420060A JP2003420060A JP3762406B2 JP 3762406 B2 JP3762406 B2 JP 3762406B2 JP 2003420060 A JP2003420060 A JP 2003420060A JP 2003420060 A JP2003420060 A JP 2003420060A JP 3762406 B2 JP3762406 B2 JP 3762406B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- dimensional
- vehicle
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は、峡路通過時の運転者の負担を軽減し、安全を確保する車輌用走行案内装置に関する。 The present invention relates to a vehicle travel guide device that reduces the burden on a driver when passing through a strait and ensures safety.
従来、自動車等の車輌においては、塀、ガードレール、電柱、駐車車輌等が多数存在する狭路を通過する際の運転者の感覚を補うものとして、例えば、実開平５−６８７４２号公報に開示されているようなコーナーポールや、棒状の部材が障害物に触れるとスイッチがオンする接触式スイッチからなる触覚センサ等を車体に取り付ける場合があり、これにより、車幅や左右障害物との間の隙間を確認することができる。 Conventionally, in a vehicle such as an automobile, it is disclosed in, for example, Japanese Utility Model Laid-Open No. 5-68742 as a supplement to the driver's feeling when passing through a narrow road where a large number of eaves, guardrails, utility poles, parked vehicles, etc. exist. A tactile sensor such as a corner pole or a contact type switch that turns on when a bar-shaped member touches an obstacle may be attached to the vehicle body. A gap can be confirmed.
また、最近では、車輌の側面や四隅に超音波センサを取り付け、超音波を発射して障害物からの反射波を受信することにより距離を計測し、計測した距離を運転者に知らせて狭路を通過する際の負担を軽減しようとする技術が開発されている。
しかしながら、前述のコーナーポールのように車体外部に目印となるようなものを取り付ける場合には、運転者の慣れを必要とするため、運転者の負担軽減効果が少ない。また、触覚センサのような接触式のものでは、物体に接触するまで位置の確認ができず、障害物に接触してからではハンドル操作が間に合わないといった事態が生じる。 However, in the case of attaching a mark such as the aforementioned corner pole outside the vehicle body, the driver's habituation is required, so the driver's burden reduction effect is small. Further, in the case of a contact type sensor such as a tactile sensor, the position cannot be confirmed until it comes into contact with an object, and there is a situation in which the handle operation cannot be performed in time after touching an obstacle.
さらに、超音波を用いる技術では、空間分解能が劣るため障害物の位置関係を知ることができないばかりでなく、歩行者の衣服や滑らかな壁等からは発射した超音波が戻ってこないという物体依存性があり、道路上に存在する様々な立体物に対処することは困難である。 Furthermore, in the technology using ultrasonic waves, the spatial resolution is inferior, so it is not only possible to know the positional relationship of obstacles, but also the object dependence that the emitted ultrasonic waves do not return from pedestrian clothes or smooth walls. It is difficult to deal with various three-dimensional objects existing on the road.
本発明は上記事情に鑑みてなされたもので、車輌が狭路を通過する前に進行方向に存在する様々な立体物を確実に検出し、検出した立体物と自車輌との間の隙間を運転者に知らせることにより、運転者の負担を軽減して安全を確保することのできる車輌用走行案内装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and reliably detects various three-dimensional objects existing in the traveling direction before the vehicle passes through a narrow road, and detects the gap between the detected three-dimensional object and the vehicle. It is an object of the present invention to provide a vehicle travel guide device that can reduce the burden on the driver and ensure safety by notifying the driver.
上記目的を達成するため、本発明による車輌用走行案内装置は、車輌に搭載した撮像系で撮像した車外の対象のステレオ画像対を処理し、このステレオ画像対の対応位置のずれ量から三角測量の原理によって画像全体に渡る距離分布を求めるステレオ画像処理手段と、前記ステレオ画像処理手段からの距離分布の情報に対応する被写体の各部分の３次元位置を計算し、計算した３次元位置の情報を用いて複数の立体物を検出する立体物検出手段と、前記立体物検出手段で検出した複数の立体物の位置情報に基づき、複数の立体物の自車輌側の縁と自車輌側部の延長線との間の最近接距離を隙間距離として左右それぞれに算出する隙間距離算出手段と、前記隙間距離算出手段で算出した隙間距離に係わる情報を表示するディスプレイ装置とを備えたことを特徴とする。
また、本発明による車輌用走行案内装置は、車輌に搭載した撮像系で撮像した車外の対象のステレオ画像対を処理し、このステレオ画像対の対応位置のずれ量から三角測量の原理によって距離分布を求めるステレオ画像処理手段と、前記ステレオ画像処理手段からの距離分布の情報に対応する被写体の３次元位置を計算し、複数の立体物の位置情報を検出する立体物検出手段と、前記立体物検出手段で検出した複数の立体物の位置情報に基づき、複数の立体物の自車輌側の縁と自車輌側部の延長線との間の最近接距離を隙間距離として左右それぞれに算出する隙間距離算出手段と、前記隙間距離算出手段で算出した隙間距離に係わる情報を表示するディスプレイ装置とを備えたことを特徴とする。
In order to achieve the above object, a vehicle travel guidance apparatus according to the present invention processes a stereo image pair of an object outside the vehicle imaged by an imaging system mounted on the vehicle, and performs triangulation from the shift amount of the corresponding position of the stereo image pair. The stereo image processing means for obtaining the distance distribution over the entire image according to the principle of the above, the three-dimensional position of each part of the subject corresponding to the distance distribution information from the stereo image processing means is calculated, and the calculated three-dimensional position information Based on the position information of the three-dimensional object detected by the three-dimensional object detection means and the edge of the vehicle side of the three-dimensional object and the side of the vehicle side Bei a gap distance calculating means for calculating the left and right, and a display device for displaying information relating to the clearance distance calculated by the gap distance calculation means closest distance as the gap distance between the extension line Characterized in that was.
Further, the vehicle travel guidance apparatus according to the present invention processes a stereo image pair of a target outside the vehicle imaged by an imaging system mounted on the vehicle, and the distance distribution by the principle of triangulation from the shift amount of the corresponding position of the stereo image pair. A three-dimensional object detection means for calculating a three-dimensional position of a subject corresponding to distance distribution information from the stereo image processing means and detecting position information of a plurality of three-dimensional objects; Based on position information of a plurality of three-dimensional objects detected by the detecting means, a gap that calculates the closest distance between the vehicle-side edge of the plurality of three-dimensional objects and the extension line of the own vehicle side as a gap distance to the left and right respectively A distance calculating means and a display device for displaying information related to the gap distance calculated by the gap distance calculating means are provided.
本発明の車輌用走行案内装置は、車輌が狭路を通過する前に進行方向に存在する様々な立体物を確実に検出して自車輌との隙間距離を運転者に知らせることができ、運転者の負担を軽減して安全を確保することができる等優れた効果が得られる。 The vehicle travel guide device of the present invention can reliably detect various three-dimensional objects existing in the traveling direction before the vehicle passes through a narrow road, and can inform the driver of the clearance distance from the vehicle. It is possible to obtain excellent effects such as reducing the burden on the user and ensuring safety.
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の一実施例に係り、図１は走行案内装置の全体構成図、図２は走行案内装置の回路ブロック図、図３はディスプレイの画面を示す説明図、図４は車輌の正面図、図５はカメラと被写体との関係を示す説明図、図６はイメージプロセッサの詳細回路図、図７はシティブロック距離計算回路の説明図、図８は最小値検出回路のブロック図、図９は車載のＣＣＤカメラで撮像した画像の例を示す説明図、図１０は距離画像の例を示す説明図、図１１は車輌の上面図、図１２は車輌の側面図、図１３は距離画像処理用コンピュータの機能ブロック図、図１４は画像の区分方法を示す説明図、図１５は検出物体とヒストグラムの関係を示す説明図、図１６は物体の存在領域の検出結果と検出距離の例を示す説明図、図１７は物体検出用の３次元ウインドウの形状を示す説明図、図１８は物体検出用の２次元ウインドウの形状を示す説明図、図１９は物体の輪郭を構成するデータの例を示す説明図、図２０は物体の輪郭像と検出された外形寸法の例を示す説明図、図２１は側壁検出における探索領域の形状を示す説明図、図２２は画像上の側壁探索領域を示す説明図、図２３は立体物データの分布状況を示す説明図、図２４はハフ変換での直線の想定を示す説明図、図２５はパラメータ空間の投票領域を示す説明図、図２６は側壁候補領域を示す説明図、図２７はヒストグラムと側壁の存在範囲の関係を示す説明図、図２８は側壁の検出結果を示す説明図、図２９は隙間距離算出の説明図、図３０はイメージプロセッサの動作を示すフローチャート、図３１はシフトレジスタ内の保存順序を示す説明図、図３２はシティブロック距離計算回路の動作を示すタイミングチャート、図３３はずれ量決定部の動作を示すタイミングチャート、図３４はイメージプロセッサの全体の動作を示すタイミングチャート、図３５及び図３６は物体検出処理のフローチャート、図３７及び図３８は側壁検出処理のフローチャート、図３９は隙間距離算出処理のフローチャートである。 Embodiments of the present invention will be described below with reference to the drawings. The drawings relate to an embodiment of the present invention, FIG. 1 is an overall configuration diagram of a travel guide device, FIG. 2 is a circuit block diagram of the travel guide device, FIG. 3 is an explanatory view showing a display screen, and FIG. FIG. 5 is an explanatory diagram showing the relationship between the camera and the subject, FIG. 6 is a detailed circuit diagram of the image processor, FIG. 7 is an explanatory diagram of the city block distance calculation circuit, and FIG. 8 is a block diagram of the minimum value detection circuit. 9 is an explanatory view showing an example of an image taken by an in-vehicle CCD camera, FIG. 10 is an explanatory view showing an example of a distance image, FIG. 11 is a top view of the vehicle, FIG. 12 is a side view of the vehicle, and FIG. FIG. 14 is an explanatory diagram showing the image segmentation method, FIG. 15 is an explanatory diagram showing the relationship between the detected object and the histogram, and FIG. 16 is an example of the detection result of the existence region of the object and the detection distance. FIG. 17 shows 3 for object detection. 18 is an explanatory diagram showing the shape of the original window, FIG. 18 is an explanatory diagram showing the shape of a two-dimensional window for object detection, FIG. 19 is an explanatory diagram showing an example of data constituting the contour of the object, and FIG. 20 is an outline image of the object FIG. 21 is an explanatory diagram showing the shape of the search area in the side wall detection, FIG. 22 is an explanatory diagram showing the side wall search area on the image, and FIG. 23 is the distribution of the three-dimensional object data. FIG. 24 is an explanatory diagram showing the assumption of a straight line in the Hough transform, FIG. 25 is an explanatory diagram showing a voting region in the parameter space, FIG. 26 is an explanatory diagram showing a sidewall candidate region, and FIG. FIG. 28 is an explanatory diagram showing the detection result of the side wall, FIG. 29 is an explanatory diagram of calculating the gap distance, FIG. 30 is a flowchart showing the operation of the image processor, and FIG. 31 is in the shift register. Maintenance FIG. 32 is a timing chart showing the operation of the city block distance calculating circuit, FIG. 33 is a timing chart showing the operation of the shift amount determining unit, FIG. 34 is a timing chart showing the overall operation of the image processor, and FIG. 36 and 36 are flowcharts of the object detection process, FIGS. 37 and 38 are flowcharts of the side wall detection process, and FIG. 39 is a flowchart of the gap distance calculation process.
図１において、符号１は自動車等の車輌であり、この車輌１に、運転者に対する高度な支援制御を行なうアクティブドライブアシスト（ＡＤＡ）システムの一機能を担う走行案内装置２が搭載されており、塀、ガードレール、電柱、駐車車輌等が存在する狭路を通過する際の運転者の負担を軽減し、安全を確保するようになっている。
In FIG. 1,
前記走行案内装置２は、車外の対象を撮像する撮像系としての左右１組のカメラからなるステレオ光学系１０と、このステレオ光学系１０によって撮像した左右１組のステレオ画像対を処理して画像全体に渡る３次元の距離分布を算出するステレオ画像処理手段１５と、このステレオ画像処理手段１５からの距離分布情報を入力し、その距離分布情報から、塀、ガードレール等の道路の境界となる連続した立体物としての側壁や、他の車輌、歩行者、建築物等の道路上の立体物の３次元位置を高速で検出する立体物検出手段１００と、この立体物検出手段１００で検出した前方の側壁や立体物の縁と自車輌１側部の延長線との間の左右の最近接距離を隙間距離として算出する隙間距離算出手段１１０と、この隙間距離算出手段１１０で算出した左右の隙間距離に係わる情報を運転者に知らせる報知手段１１５とを備えている。
The
図２は前記走行案内装置２のハードウエア構成を示す回路ブロック図であり、前記ステレオ光学系１０を、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いたＣＣＤカメラを用い、後述するように、近距離用としての左右１組のＣＣＤカメラ１１ａ，１１ｂ、及び、遠距離用としての左右１組のＣＣＤカメラ１２ａ，１２ｂにより構成し、このステレオ光学系１０に前記ステレオ画像処理手段１５としての機能を実現するイメージプロセッサ２０が接続されている。
FIG. 2 is a circuit block diagram showing a hardware configuration of the
さらに、前記イメージプロセッサ２０に、前記立体物検出手段１００及び前記隙間距離算出手段１１０としての機能を実現するための距離画像処理用コンピュータ１２０が接続され、この距離画像処理用コンピュータ１２０に前記報知手段１１５としてのディスプレイ３が接続されている。
Further, a distance
前記イメージプロセッサ２０は、前記ステレオ光学系１０で撮像した２枚のステレオ画像対に対して微小領域毎に同一の物体が写っている部分を探索し、対応する位置のずれ量を求めて物体までの距離を算出する距離検出回路２０ａと、この距離検出回路２０ａの出力である距離情報を記憶する距離画像メモリ２０ｂとから構成されている。
The
また、前記距離画像処理用コンピュータ１２０は、主として個々の物体を検出する処理を行なうためのマイクロプロセッサ１２０ａ、主として側壁を検出する処理を行なうためのマイクロプロセッサ１２０ｂ、主として隙間距離を算出する処理を行なうためのマイクロプロセッサ１２０ｃがシステムバス１２１を介して並列に接続されたマルチマイクロプロセッサのシステム構成となっている。
Further, the distance
そして、前記システムバス１２１には、前記距離画像メモリ２０ｂに接続されるインターフェース回路１２２と、制御プログラムを格納するＲＯＭ１２３と、計算処理途中の各種パラメータを記憶するＲＡＭ１２４と、処理結果のパラメータを記憶する出力用メモリ１２５と、ディスプレイ（ＤＩＳＰ）３を制御するためのディスプレイコントローラ（ＤＩＳＰ．ＣＯＮＴ．）１２６と、車速センサ４、ステアリングの操舵角を検出する舵角センサ５、運転者に対するＡＤＡの支援モードを選択するためのモード設定スイッチ６等の車輌１に備えられたセンサ・スイッチ類からの信号を入力するインターフェース回路１２７とが接続されている。
The
前記距離画像処理用コンピュータ１２０においては、各マイクロプロセッサ１２０ａ，１２０ｂ，１２０ｃが使用するメモリの領域が分けられており、前記イメージプロセッサ２０からの距離情報に基づいて物体検出処理と側壁検出処理とを並列に実行し、運転者によって前記モード設定スイッチ６が操作されて規定の信号が入力されると、検出した立体物のデータから隙間距離算出処理を行なってディスプレイ３に表示する。
In the distance
図３に示すように、前記ディスプレイ３の画面には、車輌前方の風景を、後述する距離画像の状態で表示するモニタ部３ａが中央部に設けられており、このモニタ部３ａの側部に、ＡＤＡの各モード（クルーズ、ガイド、アシスト、チェック）を表示するモード表示部３ｂが設けられ、前記モード設定スイッチ６の操作入力に応じて前記モニタ部３ａの該当する表示が点灯するようになっている。
As shown in FIG. 3, the screen of the
また、前記モニタ部３ａの上部には、データ表示部３ｃと、楕円を４分割した形状で車輌の前後左右を表わす位置表示部３ｄとが設けられ、前記モニタ部３ａ下部には、ＡＤＡの各モードに応じて、車間距離、速度、左隙間距離、右隙間距離等の文字とともに、算出した数値を表示するモードデータ表示部３ｅが設けられている。
In addition, a data display unit 3c and a
本発明においては、多数の立体物が存在する狭路を通過しなければならないような状況になったとき、運転者が前記モード設定スイッチ６を操作してガイドモードを選択すると、前記モード表示部３ｂの”ガイド”の表示部分が点灯し、前記ステレオ光学系１０で撮像したステレオ画像対を処理した距離画像に基づいて、側壁、電柱、駐車車輌等の道路周辺の立体物の縁と自車輌１側部の延長線との間の左右の距離が算出され、その最小値が最近接距離すなわち隙間距離として求められるようになっている。
In the present invention, when the driver selects the guide mode by operating the
そして、図３に示すように、モードデータ表示部３ｅの左隙間距離、右隙間距離の文字の下に、隙間距離の数値が表示され、前記位置表示部３ｄの左右部分が点灯する。この位置表示部３ｄは、算出した隙間距離が０以下の場合には、そのまま進行すると接触することを警告するため、該当する側が赤色で点灯され、隙間距離が０よりも大きく２０ｃｍ程度以下の場合には、運転者の不用意なハンドル操作によって接触が起こる危険性があるので該当する側が黄色で点灯され、隙間距離が２０ｃｍ程度よりも大きい場合は、そのまま進行しても接触のおそれが十分に少ないことを示すため、該当する側が緑色で点灯される。
As shown in FIG. 3, a numerical value of the gap distance is displayed below the characters of the left gap distance and the right gap distance on the mode data display portion 3e, and the left and right portions of the
すなわち、側壁、電柱、駐車車輌等が存在する狭路を通過する前にモード設定スイッチ６を操作することにより、運転者はディスプレイ３の画面で安全に通過できるか否かを確認することができ、運転者の負担を軽減して接触事故等を未然に回避することができるのである。さらには、隙間距離を運転者が定量的に把握できるため、車輌位置感覚の学習が容易となり、安全運転の促進を図ることができる。
That is, by operating the
尚、簡易的には、前記ディスプレイ３に代えて、例えば隙間距離の値に応じて点灯部分が変化するバーグラフ等による表示器を採用しても良く、また、隙間距離に係わる情報を運転者に知らせる報知手段１１５として、視覚的な表示に代えて、音、音声等によるものを採用しても良い。
For simplicity, instead of the
以下、イメージプロセッサ２０による画像処理に係わる機能、距離画像処理用コンピュータ１２０による立体物検出に係わる機能、及び、モード設定スイッチ６によりガイドモードが選択された場合の隙間距離算出に係わる機能について説明する。尚、画像処理用コンピュータ１２０における隙間距離算出は、検出した立体物が自車輌１の進行方向に障害物として立ちふさがっていない場合に実行される。
Hereinafter, functions related to image processing by the
前記ステレオ光学系１０を構成する左右１組のカメラは、図４に示すように、近距離の左右画像用としての２台のＣＣＤカメラ１１ａ，１１ｂ（代表してＣＣＤカメラ１１と表記する場合もある）が、それぞれ車室内の天井前方に一定の間隔をもって取り付けられるとともに、遠距離の左右画像用としての２台のＣＣＤカメラ１２ａ，１２ｂ（代表してＣＣＤカメラ１２と表記する場合もある）が、それぞれ、近距離用のＣＣＤカメラ１１ａ，１１ｂの外側に一定の間隔をもって取り付けられている。
As shown in FIG. 4, one set of left and right cameras constituting the stereo
前記ステレオ光学系１０として、直近から例えば１００ｍ遠方までの距離計測を行なう場合、車室内のＣＣＤカメラ１１、１２の取付位置を、例えば、車輌１のボンネット先端から２ｍとすると、実際には前方２ｍから１００ｍまでの位置を計測できれば良い。
When the stereo
そこで、近距離用のＣＣＤカメラ１１ａ，１１ｂでは、前方２ｍから２０ｍまでの位置を計測し、遠距離用のＣＣＤカメラ１２ａ，１２ｂでは、前方１０ｍから１００ｍまでの位置を計測すれば、近距離用ＣＣＤカメラ１１と遠距離用ＣＣＤカメラ１２とで前方１０ｍから２０ｍの間にオーバーラップを有して信頼性を確保しつつ、全ての範囲を計測することができる。
Therefore, if the
以下に、イメージプロセッサ２０による距離の算出方法を、近距離用ＣＣＤカメラ１１を例に説明するが、遠距離用ＣＣＤカメラ１２に対しても同様の処理により距離の算出が行われる。尚、本実施例による走行案内装置２では、直前の立体物を検出する為に、近距離用ＣＣＤカメラ１１を用いる。
Hereinafter, the distance calculation method by the
すなわち、図５に示すように、近距離用の２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとして、２台のカメラ１１ａ，１１ｂの設置面から距離Ｄにある点Ｐを撮影する場合、２台のカメラ１１ａ，１１ｂの焦点距離を共にｆとすると、点Ｐの像は、それぞれのカメラについて焦点位置からｆだけ離れた投影面に写る。
That is, as shown in FIG. 5, when shooting a point P at a distance D from the installation surface of the two
このとき、右のＣＣＤカメラ１１ｂにおける像の位置から左のＣＣＤカメラ１１ａにおける像の位置までの距離は、ｒ＋ｘとなり、このｘをずれ量とすると、点Ｐまでの距離Ｄは、ずれ量ｘから以下の式で求めることができる。
Ｄ＝ｒ×ｆ／ｘ （１）
At this time, the distance from the position of the image in the
D = r × f / x (1)
この左右画像のずれ量ｘは、エッジ、線分、特殊な形等、何らかの特徴を抽出し、それらの特徴が一致する部分を見つけ出すことによっても検出できるが、情報量の低下を避けるため、前記イメージプロセッサ２０では、左右画像における同一物体の像を見つけ出す際に画像を小領域に分割し、それぞれの小領域内の輝度あるいは色のパターンを左右画像で比較して対応する領域を見つけ出すことにより、小領域毎の距離分布を全画面に渡って求める。
This left-right image shift amount x can be detected by extracting some features such as edges, line segments, special shapes, etc., and finding a portion where those features match, but in order to avoid a decrease in the amount of information, The
左右画像の一致度の評価すなわちステレオマッチングは、右画像、左画像のｉ番目画素の輝度（色を用いても良い）を、それぞれ、Ａi、Ｂiとすると、例えば、以下の（２）式に示すシティブロック距離Ｈによって行なうことができ、左右画像の各小領域間のシティブロック距離Ｈの最小値が所定の条件を満たすとき、互いの小領域が対応すると判断することができる。
Ｈ＝Σ｜Ａi−Ｂi｜ （２）
In the evaluation of the degree of coincidence of the left and right images, that is, stereo matching, assuming that the luminance (color may be used) of the i-th pixel of the right image and the left image is Ai and Bi, respectively, When the minimum value of the city block distance H between the small areas of the left and right images satisfies a predetermined condition, it can be determined that the small areas correspond to each other.
H = Σ | Ai−Bi | (2)
このシティブロック距離Ｈによるステレオマッチングでは、平均値を減算することによる情報量の低下もなく、乗算がないことから演算速度を向上させることができるが、分割すべき小領域の大きさが大き過ぎると、その領域内に遠方物体と近くの物体が混在する可能性が高くなり、検出される距離が曖昧になる。従って、画像の距離分布を得るためにも領域は小さい方が良いが、小さ過ぎると逆に一致度を調べるための情報量が不足する。このため、例えば、１００ｍ先にある幅１．７ｍの車輌が、隣の車線の車輌と同じ領域内に含まれないように、４つに分割される画素数を領域横幅の最大値とすると、前記ステレオ光学系１０に対して４画素となる。この値を基準に最適な画素数を実際の画像で試行した結果、縦横共に４画素となる。
In the stereo matching based on the city block distance H, the amount of information is not reduced by subtracting the average value, and there is no multiplication, so that the calculation speed can be improved. However, the size of the small area to be divided is too large. Then, there is a high possibility that a distant object and a nearby object are mixed in the area, and the detected distance becomes ambiguous. Therefore, the region should be small in order to obtain the distance distribution of the image, but if it is too small, the amount of information for checking the degree of coincidence is conversely insufficient. For this reason, for example, when the number of pixels divided into four is set to the maximum value of the region width so that a vehicle having a width of 1.7 m that is 100 m ahead is not included in the same region as the vehicle in the adjacent lane, Four pixels are provided for the stereo
以下の説明では、画像を４×４の小領域で分割して左右画像の一致度を調べるものとし、ステレオ光学系１０は、近距離用のＣＣＤカメラ１１ａ，１１ｂで代表するものとする。
In the following description, it is assumed that the image is divided into 4 × 4 small areas to check the degree of coincidence of the left and right images, and the stereo
前記イメージプロセッサ２０の回路詳細は、図６に示され、この回路では、距離検出回路２０ａに、前記ステレオ光学系１０で撮像したアナログ画像をデジタル画像に変換する画像変換部３０、この画像変換部３０からの画像データに対し、左右画像のずれ量ｘを決定するためのシティブロック距離Ｈを画素を一つずつずらしながら次々と計算するシティブロック距離計算部４０、シティブロック距離Ｈの最小値ＨMIN及び最大値ＨMAXを検出する最小・最大値検出部５０、この最小・最大値検出部５０で得られた最小値ＨMINが左右小領域の一致を示すものであるか否かをチェックしてずれ量ｘを決定するずれ量決定部６０が備えられており、また、距離画像メモリ２０ｂとしてデュアルポートメモリ９０が採用されている。
Details of the circuit of the
前記画像変換部３０では、左右画像用のＣＣＤカメラ１１ａ，１１ｂに対応してＡ／Ｄコンバータ３１ａ，３１ｂが備えられ、各Ａ／Ｄコンバータ３１ａ，３１ｂに、データテーブルとしてのルックアップテーブル（ＬＵＴ）３２ａ，３２ｂ、前記ＣＣＤカメラ１１ａ，１１ｂで撮像した画像を記憶する画像メモリ３３ａ，３３ｂが、それぞれ接続されている。尚、前記画像メモリ３３ａ，３３ｂは、後述するように、シティブロック距離計算部４０で画像の一部を繰り返し取り出して処理するため、比較的低速のメモリから構成することができ、コスト低減を図ることができる。
The
各Ａ／Ｄコンバータ３１ａ，３１ｂは、例えば８ビットの分解能を有し、左右のＣＣＤカメラ１１ａ，１１ｂからのアナログ画像を、所定の輝度階調を有するデジタル画像に変換する。すなわち、処理の高速化のため画像の二値化を行なうと、左右画像の一致度を計算するための情報が著しく失われるため、例えば２５６階調のグレースケールに変換するのである。
Each A /
また、ＬＵＴ３２ａ，３２ｂはＲＯＭ上に構成され、前記Ａ／Ｄコンバータ３１ａ，３１ｂでデジタル量に変換された画像に対し、低輝度部分のコントラストを上げたり、左右のＣＣＤカメラ１１ａ，１１ｂの特性の違いを補正する。そして、ＬＵＴ３２ａ，３２ｂで変換された信号は、一旦、画像メモリ３３ａ，３３ｂに記憶される。
Further, the
前記シティブロック距離計算部４０では、前記画像変換部３０の左画像用の画像メモリ３３ａに、共通バス８０を介して２組の入力バッファメモリ４１ａ，４１ｂが接続されるとともに、右画像用の画像メモリ３３ｂに、共通バス８０を介して２組の入力バッファメモリ４２ａ，４２ｂが接続されている。
In the city block distance calculation unit 40, two sets of
前記左画像用の各入力バッファメモリ４１ａ，４１ｂには、２組の例えば８段構成のシフトレジスタ４３ａ，４３ｂが接続され、右画像用の各入力バッファメモリ４２ａ，４２ｂには、同様に、２組の例えば８段構成のシフトレジスタ４４ａ，４４ｂが接続されている。さらに、これら４組のシフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、シティブロック距離を計算するシティブロック距離計算回路４５が接続されている。
Two sets of
また、前記右画像用のシフトレジスタ４４ａ、４４ｂには、後述するずれ量決定部６０の２組の１０段構成のシフトレジスタ６４ａ，６４ｂが接続されており、次の小領域のデータ転送が始まると、シティブロック距離Ｈの計算の終わった古いデータはこれらのシフトレジスタ６４ａ，６４ｂに送られ、ずれ量ｘの決定の際に用いられる。
Further, two sets of 10-
また、シティブロック距離計算回路４５は、加減算器に入出力ラッチをつなげてワンチップ化した高速ＣＭＯＳ型演算器４６を組み合わせており、図７に詳細が示されるように、演算器４６を１６個ピラミッド状に接続したパイプライン構造で、例えば８画素分を同時に入力して計算するようになっている。このピラミッド型構造の初段は、絶対値演算器、２段〜４段は、それぞれ、第１加算器、第２加算器、第３加算器を構成し、最終段は総和加算器となっている。尚、図７においては、絶対値計算と１，２段目の加算器は半分のみ表示している。
The city block
また、前記各入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂは、シティブロック距離計算の速度に応じた比較的小容量の高速タイプであり、入出力が分離し、クロック発生回路８５から供給されるクロックに従って、＃１アドレスコントローラ８６によって発生されるアドレスが共通に与えられる。また、４組のシフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂとの転送は、＃２アドレスコントローラ８７によって制御される。
Each of the
前記最小・最大値検出部５０は、シティブロック距離Ｈの最小値ＨMINを検出する最小値検出回路５１とシティブロック距離Ｈの最大値ＨMAXを検出する最大値検出回路５２とを備えており、前記シティブロック距離計算回路４５と同様の高速ＣＭＯＳ型演算器を最小値、最大値検出用として２個使用した構成となっており、シティブロック距離Ｈの出力と同期が取られるようになっている。
The minimum / maximum value detection unit 50 includes a minimum
図８に示すように、最小値検出回路５１は、具体的には、Ａレジスタ４６ａ、Ｂレジスタ４６ｂ、及び、算術論理演算ユニット（ＡＬＵ）４６ｃからなる演算器４６に、Ｃラッチ５３，ラッチ５４，Ｄラッチ５５を接続して構成され、シティブロック距離計算回路４５からの出力が、Ａレジスタ４６ａと、Ｃラッチ５３を介してＢレジスタ４６ｂとに入力され、ＡＬＵ４６の出力の最上位ビット（ＭＳＢ）がラッチ５４に出力される。このラッチ５４の出力は、Ｂレジスタ４６ｂ及びＤラッチ５５に出力され、演算器４６での最小値計算の途中の値が、Ｂレジスタ４６ｂに保存されるとともに、そのときのずれ量δがＤラッチ５５に保存されるようになっている。尚、最大値検出回路５２については、論理が逆になることと、ずれ量δを保存しないこと以外は、最小値検出回路５１と同様の構成である。
As shown in FIG. 8, specifically, the minimum
前述したようにシティブロック距離Ｈは、一つの右画像小領域に対し、左画像小領域を１画素ずつずらしながら順次計算されていく。そこで、シティブロック距離Ｈの値が出力される毎に、これまでの値の最大値ＨMAX、最小値ＨMINと比較、更新することによって、最後のシティブロック距離Ｈの出力とほぼ同時に、その小領域におけるシティブロック距離Ｈの最大値ＨMAX、最小値ＨMINが求まるようになっている。 As described above, the city block distance H is sequentially calculated while shifting the left image small area one pixel at a time with respect to one right image small area. Therefore, each time the value of the city block distance H is output, the small area is almost simultaneously with the output of the last city block distance H by comparing and updating the maximum value HMAX and the minimum value HMIN of the previous values. The maximum value HMAX and the minimum value HMIN of the city block distance H at are obtained.
前記ずれ量決定部６０は、比較的小規模のＲＩＳＣプロセッサとして構成され、演算器６１を中心として、２本の１６ビット幅データバス６２ａ，６２ｂ、ずれ量ｘを保持するラッチ６３ａ、第１の規定値としてのしきい値ＨAを保持するラッチ６３ｂ、第２の規定値としてのしきい値ＨBを保持するラッチ６３ｃ、第３の規定値としてのしきい値ＨCを保持するラッチ６３ｄ、右画像の輝度データを保持する２組のシフトレジスタ６４ａ，６４ｂ、演算器６１の出力を受けてずれ量ｘまたは”０”を出力するスイッチ回路６５、そして出力された結果を一時保存する出力バッファメモリ６６ａ，６６ｂ、回路の動作タイミングや演算器６１の機能の制御プログラムが書き込まれた１６ビット幅のＲＯＭ６７が備えられている。
The shift amount determination unit 60 is configured as a relatively small RISC processor, with the arithmetic unit 61 as a center, two 16-bit width data buses 62a and 62b, a
前記演算器６１は、ＡＬＵ７０を中心として、Ａレジスタ７１、Ｂレジスタ７２、Ｆレジスタ７３、及び、セレクタ７４からなり、前記データバス６２ａ（以下、Ａバス６２ａとする）にＡレジスタ７１が接続されるとともに、前記データバス６２ｂ（以下、Ｂバス６２ｂとする）にＢレジスタ７２が接続され、ＡＬＵ７０の演算結果で前記スイッチ回路６５を作動し、ずれ量ｘまたは“０”が前記出力バッファメモリ６６ａ，６６ｂに格納されるようになっている。
The arithmetic unit 61 includes an A register 71, a B register 72, an F register 73, and a
前記Ａバス６２ａには、各しきい値ＨA、ＨB、ＨCを保持するラッチ６３ｂ，６３ｃ，６３ｄ、前記最大値検出回路５２が接続され、前記Ｂバス６２ｂには、前記最小値検出回路５１が接続されている。さらに、前記Ａバス６２ａ及びＢバス６２ｂには、前記各シフトレジスタ６４ａ，６４ｂが接続されている。
The A bus 62a is connected to latches 63b, 63c and 63d for holding the threshold values HA, HB and HC, and the maximum
また、前記スイッチ回路６５には、前記演算器６１が接続されるとともに、前記ラッチ６３ａを介して前記最小値検出回路５１が接続され、後述する３つのチェック条件が演算器６１で判定され、その判定結果に応じて前記出力バッファメモリ６６ａ，６６ｂへの出力が切り換えられる。
Further, the calculator 61 is connected to the
このずれ量決定部６０では、得られたシティブロック距離Ｈの最小値ＨMINが本当に左右小領域の一致を示しているものかどうかチェックを行い、条件を満たしたもののみ、出力バッファメモリ６６ａ，６６ｂの対応する画素の位置にずれ量ｘを出力する。 The shift amount determination unit 60 checks whether or not the obtained minimum value HMIN of the city block distance H really indicates the coincidence of the left and right small areas, and only the output buffer memories 66a and 66b satisfying the condition. The shift amount x is output to the corresponding pixel position.
すなわち、シティブロック距離Ｈが最小となるずれ量が求めるずれ量ｘとなる訳であるが、以下の３つのチェック条件を満足した場合にずれ量ｘを出力し、満足しない場合には、データを採用せずに“０”を出力する。
（１）ＨMIN≦ＨA（ＨMIN＞ＨAのときには距離を検出できず。）
（２）ＨMAX −ＨMIN ≧ＨB （得られた最小値ＨMINがノイズによる揺らぎより明らかに低くなっていることをチェックするための条件であり、最小値ＨMIN の近傍の値との差でなく、最大値ＨMAX との差をチェック対象とすることにより、曲面等の緩やかに輝度の変わる物体に対しても距離検出が行なえる。）
（３）右画像の小領域内の横方向の隣接画素間の輝度差＞ＨC （しきい値ＨC を大きくするとエッジ検出となるが、輝度が緩やかに変化している場合にも対応可能なように、しきい値ＨC は通常のエッジ検出レベルよりはずっと低くしてある。この条件は、輝度変化のない部分では、距離検出が行なえないという基本的な原理に基づいており、小領域中の画素毎に行なわれるため、小領域の中でも実際に距離の検出された画素のみが採用されることになり、自然な結果が得られる。）
このずれ量決定部６０から出力される最終結果である距離分布情報は、距離画像メモリ２０ｂとしてのデュアルポートメモリ９０へ共通バス８０を介して書き込まれる。
In other words, the amount of deviation that minimizes the city block distance H is the amount of deviation x to be obtained. When the following three check conditions are satisfied, the amount of deviation x is output. Outputs “0” without adopting.
(1) HMIN ≦ HA (Distance cannot be detected when HMIN> HA.)
(2) HMAX -HMIN ≥ HB (This is a condition for checking that the obtained minimum value HMIN is clearly lower than the fluctuation due to noise. It is not the difference with the value near the minimum value HMIN but the maximum value. (By using the difference from the value HMAX as a check target, distance detection can be performed even on objects such as curved surfaces whose luminance changes slowly.)
(3) Luminance difference between adjacent pixels in the horizontal direction in the small area of the right image> HC (When the threshold value HC is increased, edge detection is performed, but it is possible to cope with a case where the luminance changes slowly. The threshold value HC is much lower than the normal edge detection level, which is based on the basic principle that distance detection cannot be performed in a portion where there is no change in luminance. Since this is performed for each pixel, only the pixels in which the distance is actually detected are adopted in the small area, and a natural result is obtained.)
The distance distribution information which is the final result output from the deviation amount determination unit 60 is written to the
以上のイメージプロセッサ２０から出力される距離分布情報は、画像のような形態をしており（距離画像）、ＣＣＤカメラ１１で撮影した画像、例えば図９に示すように、駐車車輌２００，３００やガードレール４００等の立体物を撮像した画像（図９は片方のカメラで撮像した画像を示す）を前記イメージプロセッサ２０で処理すると、図１０のような画像となる。
The distance distribution information output from the
図１０に示す距離画像の例では、画像サイズは横４００画素×縦２００画素であり、距離データを持っているのは黒点の部分で、これは図９の画像の各画素のうち、左右方向に隣合う画素間で明暗変化が大きい部分である。画像上の座標系は、図１０に示すように、左上隅を原点として横方向をｉ座標軸，縦方向をｊ座標軸とし、単位は画素である。 In the example of the distance image shown in FIG. 10, the image size is 400 pixels wide × 200 pixels long, and the distance data has a black dot portion. This is the left-right direction among the pixels of the image in FIG. This is a portion where the change in brightness between pixels adjacent to each other is large. As shown in FIG. 10, the coordinate system on the image has the upper left corner as the origin, the horizontal direction as the i coordinate axis, and the vertical direction as the j coordinate axis, and the unit is a pixel.
この距離画像は、距離画像処理用コンピュータ１２０に読み込まれ、前方に存在する他の車輌や障害物等の複数の物体が検出され、その位置と大きさが算出され、検出した物体の輪郭像が抽出される。さらには、位置の時間変化による自車との相対速度等も算出することができる。
This distance image is read into the distance
この場合、前記距離画像処理用コンピュータ１２０では、物体の３次元的な位置情報を利用し、道路と物体の区別は道路表面からの高さによって行い、物体と背景の区別は距離の値によって行なう。そのため、前記距離画像処理用コンピュータ１２０では、まず、前記イメージプロセッサ２０からの距離画像の座標系を、自車（車輌１）を取り巻く実空間の座標系に変換し、検出した立体物に対し、位置や大きさを計算する。
In this case, the distance
すなわち、図１１及び図１２に示すように、実空間の座標系を車輌１固定の座標系とし、Ｘ軸を車輌１の右側側方、Ｙ軸を車輌１の上方、Ｚ軸を車輌１の前方、原点を２台のＣＣＤカメラ１１ａ（１２ｂ），１１ｂ（１２ｂ）の中央の真下の道路面とすると、ＸＺ平面（Ｙ＝０）は、道路が平坦な場合、道路面と一致することになり、画像中の距離情報（ｉ，ｊ，Ｚ）から被写体の３次元位置（Ｘ，Ｙ，Ｚ）を算出するには、以下の（３），（４）式により一種の座標変換を行なう。
Ｙ＝ＣＨ−Ｚ×ＰＷ×（ｊ−ＪＶ） （３）
Ｘ＝ｒ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） （４）
ここで、 ＣＨ ：ＣＣＤカメラ１１（ＣＣＤカメラ１２）
の取付け高さ、
ＰＷ ：１画素当たりの視野角、
ＪＶ，ＩＶ：車輌１の真正面の無限遠点の画像上の
座標である。
That is, as shown in FIGS. 11 and 12, the coordinate system in the real space is a coordinate system fixed to the
Y = CH-Z * PW * (j-JV) (3)
X = r / 2 + Z × PW × (i-IV) (4)
Here, CH: CCD camera 11 (CCD camera 12)
Installation height,
PW: viewing angle per pixel,
JV, IV: On the image of the infinity point directly in front of
Coordinates.
また、実空間の３次元座標（Ｘ，Ｙ，Ｚ）から画像上の位置（ｉ，ｊ）を算出する式も、前記（３），（４）式を変形し、次のようになる。
ｊ＝（ＣＨ−Ｙ）／（Ｚ×ＰＷ）＋ＪＶ （５）
ｉ＝（Ｘ−ｒ／２）／（Ｚ×ＰＷ）＋ＩＶ （６）
尚、ＣＣＤカメラ１１の取り付け位置を、前記実空間のＸＹＺ座標系で示すと、例えば、右側のＣＣＤカメラ１１ｂは、Ｘ＝０．２０ｍ，Ｙ＝１．２４ｍ，Ｚ＝０．０ｍであり、左側のＣＣＤカメラ１１ａは、Ｘ＝−０．２０ｍ，Ｙ＝１．２４ｍ，Ｚ＝０．０ｍとなる。
Also, the formula for calculating the position (i, j) on the image from the three-dimensional coordinates (X, Y, Z) in the real space is modified from the formulas (3) and (4) as follows.
j = (CH−Y) / (Z × PW) + JV (5)
i = (X−r / 2) / (Z × PW) + IV (6)
When the mounting position of the
図１３は、前記距離画像処理用コンピュータ１２０の機能構成を示すものであり、主として、マイクロプロセッサ１２０ａによる物体認識部１３０、マイクロプロセッサ１２０ｂによる側壁検出部１４０、マイクロプロセッサ１２０ｃによる隙間距離算出部１６０に大別され、物体認識部１３０及び側壁検出部１４０の処理結果が、出力用メモリ１２５からなる立体物パラメータ記憶部１５０に記憶され、マイクロプロセッサ１２０ｃ（隙間距離算出部１６０）、及び、ＡＤＡのための図示しない他の装置に読み込まれる。
FIG. 13 shows a functional configuration of the distance
さらに、前記物体認識部１３０の機能は、物体検出部１３１、３次元ウインドウ発生部１３２、及び、物体輪郭像抽出部１３３に細分され、物体検出部１３１では、イメージプロセッサ２０からの距離画像を格子状に所定の間隔（例えば、８〜２０画素間隔）で区分し、各領域毎に、走行の障害となる可能性のある立体物のデータのみを選別し、その検出距離を算出する。
Further, the function of the
図１４は、車輌１から前方風景を撮像した明暗画像の上に、格子状の領域を設定した説明図であり、実際には、図１０の距離画像を、このように区分する。本実施例では、１２画素間隔で３３個の小領域ＡＲ1〜ＡＲ33に区分する。すなわち、画像を多数の領域に分割して物体を探すことにより、複数の物体を同時に検出することができるようになっている。
FIG. 14 is an explanatory diagram in which a grid-like region is set on a light and dark image obtained by capturing a forward landscape from the
各領域における被写体は、画像上の座標（ｉ，ｊ）と距離データＺから、前述の（３），（４）式を使って実空間の３次元位置（Ｘ，Ｙ，Ｚ）が算出され、さらに、距離Ｚに於ける被写体の道路表面からの高さＨは、道路表面の高さをＹｒとすると、次の（７）式で計算することができるが、図１１，１２に示すように座標系が設定されているため、車輌１に特別な傾きや上下移動が無い限り、Ｙｒ＝０．０ｍと設定することができる。
Ｈ＝Ｙ−Ｙｒ （７）
For the subject in each area, the three-dimensional position (X, Y, Z) in the real space is calculated from the coordinates (i, j) on the image and the distance data Z using the above-described equations (3) and (4). Further, the height H of the subject from the road surface at the distance Z can be calculated by the following equation (7), where Yr is the height of the road surface, as shown in FIGS. Since the coordinate system is set to Yr = 0.0 m unless the
H = Y-Yr (7)
高さＨが０．１ｍ程度以下の被写体は、道路上の白線や汚れ、影などであり、走行の障害になる物体ではないと考えられるため、この被写体のデータは棄却する。また、車輌の高さより上にある被写体も、歩道橋や標識などと考えられるので棄却し、道路上の障害となる立体物のデータのみを選別する。これにより、２次元の画像上で物体が道路などと重なり合っていても、道路表面からの高さによってデータを区別し、物体のみを検出できる。 A subject whose height H is about 0.1 m or less is white lines, dirt, shadows, etc. on the road, and is considered not to be an obstacle to travel, so this subject data is rejected. An object above the height of the vehicle is also considered as a pedestrian bridge or a sign, so it is rejected and only the data of the three-dimensional object that becomes an obstacle on the road is selected. As a result, even if an object overlaps a road or the like on a two-dimensional image, data can be distinguished based on the height from the road surface, and only the object can be detected.
次に、このようにして抽出された立体物のデータに対して、予め設定された距離Ｚの区間に含まれるデータの個数を数え、距離Ｚを横軸とするヒストグラムを作成する。図１５は、例えば図９の画像例における前方右側の駐車車輌３００を検出物体とするヒストグラムであり、設定する距離Ｚの区間の長さや区間の個数は、距離Ｚの検出限界や精度および検出対象の物体の形状などを考慮して決定する。
Next, for the three-dimensional object data extracted in this way, the number of data included in the section of the preset distance Z is counted, and a histogram with the distance Z as the horizontal axis is created. FIG. 15 is a histogram using, for example, the front right parked
前記ヒストグラムにおいては、入力される距離画像中の距離データには、誤って検出された値も存在するので、実際には物体の存在しない位置にも多少のデータが現れる。しかし、ある程度の大きさの物体があると、その位置の度数は大きな値を示し、一方、物体が何も存在しない場合には、誤った距離データのみによって発生する度数は小さな値となる。 In the histogram, since the distance data in the input distance image includes a value detected in error, some data appears at a position where no object actually exists. However, when there is an object of a certain size, the frequency at that position shows a large value, whereas when there is no object, the frequency generated only by erroneous distance data becomes a small value.
従って、作成されたヒストグラムの度数が、予め設定した判定値以上かつ最大値をとる区間があれば、その区間に物体が存在すると判断し、度数の最大値が判定値以下の場合は、物体が存在しないと判断することにより、画像のデータに多少のノイズが含まれている場合においても、ノイズの影響を最小限にして物体を検出できる。 Therefore, if there is a section in which the frequency of the created histogram is greater than or equal to a preset determination value and has a maximum value, it is determined that an object exists in the section, and if the maximum value of the frequency is equal to or less than the determination value, the object is By determining that it does not exist, even when some noise is included in the image data, it is possible to detect the object while minimizing the influence of the noise.
物体が存在すると判断されると、検出された区間と、その前後に隣接する区間に含まれている立体物のデータの距離Ｚの平均値を計算し、この値を物体までの距離と見なす。このような物体までの距離検出の処理を全領域について行なった後、各領域の物体の検出距離を調べ、隣接する領域において物体までの検出距離の差異が設定値以下の場合は同一の物体と見なし、一方、設定値以上の場合は別々の物体と見なす。 If it is determined that an object exists, the average value of the distance Z between the detected section and the data of the three-dimensional object included in the sections adjacent to the front and rear is calculated, and this value is regarded as the distance to the object. After performing the distance detection process to the object for all areas, check the detection distance of the object in each area, and if the difference in the detection distance to the object in the adjacent area is less than the set value, On the other hand, if it exceeds the set value, it is considered as a separate object.
具体的には、まず、左端の領域ＡＲ1を調べ、物体が検出されている場合には、それを物体Ｓ1、距離をＺ1とする。次に右隣の領域ＡＲ2を調べ、物体が検出されていない場合には、物体Ｓ1は領域ＡＲ1の内部とその近辺に存在し、その距離はＺ1と判定し、物体が検出され、その検出距離がＺ2である場合には、距離Ｚ1とＺ2の差を調べる。 Specifically, first, the left end area AR1 is examined, and if an object is detected, it is set as the object S1 and the distance is Z1. Next, the area AR2 on the right is examined, and if no object is detected, the object S1 exists in and near the area AR1, the distance is determined to be Z1, the object is detected, and the detected distance Is Z2, the difference between the distances Z1 and Z2 is examined.
そして、距離Ｚ1とＺ2の差が設定値以上の場合、領域ＡＲ2で検出された物体は、先に検出された物体Ｓ1とは異なると判定し、新たに物体Ｓ2、距離Ｚ2とし、さらに右隣の領域を調べて行く。 If the difference between the distances Z1 and Z2 is equal to or larger than the set value, the object detected in the area AR2 is determined to be different from the previously detected object S1, and is newly set as the object S2, distance Z2, and further to the right Go check the area.
一方、距離Ｚ1とＺ2の差が設定値以下の場合には、領域ＡＲ2で検出された物体は、先に検出された物体Ｓ1であると判定し、その距離はＺ1とＺ2の平均値とし、さらに右隣の領域を順次調べて行き、連続して物体Ｓ1があると判定されれば、距離と存在領域を更新してゆく。 On the other hand, when the difference between the distances Z1 and Z2 is equal to or smaller than the set value, it is determined that the object detected in the area AR2 is the object S1 detected earlier, and the distance is an average value of Z1 and Z2. Further, the area on the right is sequentially examined, and if it is determined that the object S1 is continuously present, the distance and the existing area are updated.
従来、２次元の画像上で物体の周囲に遠方の背景が写っている場合には物体のデータだけを抽出することは困難であったが、以上のような処理を左端の領域ＡＲ1から右端の領域ＡＲ33まで行なって距離の値によってデータを区別することにより、複数の物体とその距離、存在領域を背景と区別して検出することができ、さらに、２次元の画像上で複数の物体が重なり合って写っている場合においても、各々の物体の距離の違いによって、それらを区別して検出できる。 Conventionally, it has been difficult to extract only the object data when a distant background appears around the object on the two-dimensional image. However, the above processing is performed from the left end area AR1 to the right end. By performing the process up to the area AR33 and distinguishing the data according to the distance value, it is possible to detect a plurality of objects and their distances and existing areas separately from the background, and the plurality of objects overlap each other on a two-dimensional image. Even in the case of being photographed, they can be distinguished and detected by the difference in distance between the objects.
尚、前記設定値は、自動車を検出する場合には４ｍ〜６ｍ程度、歩行者を検出する場合には１ｍ〜２ｍ程度にすると良いことが実験的に得られている。 It has been experimentally obtained that the set value is preferably about 4 m to 6 m when detecting a car and about 1 m to 2 m when detecting a pedestrian.
図１６は、以上の処理で検出した物体の存在領域を枠線で示したものであり、、この例では左側の車輌２００及び右側の車輌３００の２個の物体が検出されている。図の下側に示される数値は各物体の検出距離である。
FIG. 16 shows the existence area of the object detected by the above processing by a frame line. In this example, two objects of the
３次元ウインドウ発生部１３２では、前記物体検出部１３１で検出された各々の物体について、図１７に示すような３次元空間で、検出物体（駐車車輌３００）を包含する直方体状の３次元空間領域すなわち３次元ウインドウＷＤ3を設定し、この設定した３次元ウインドウＷＤ3が２次元の画像上でどのように見えるかを計算し、ウインドウ輪郭線の内側を２次元ウインドウＷＤ2として、この中のデータのみを検出対象とする。
In the three-dimensional
前記３次元ウインドウＷＤ3の横幅は、物体の存在領域より左右に１領域分だけ拡張した範囲とする。これは、ある領域に物体の左右端の一部分のみが掛かっている場合には、その物体はヒストグラム上で大きな値とならず、別の物体が検出される可能性があるため、このような場合を考慮してウインドウの範囲を拡大しておくものである。 The horizontal width of the three-dimensional window WD3 is set to a range expanded by one area to the left and right from the area where the object exists. This is because, when only a part of the left and right edges of an object is applied to a certain area, the object does not have a large value on the histogram, and another object may be detected. The window range is expanded in consideration of the above.
また、３次元ウインドウＷＤ3の距離Ｚ方向の長さは、その物体の検出距離におけるヒストグラムの区間長さを、その検出距離の前後に加えた範囲とする。３次元ウインドウＷＤ3の下端は、道路表面の高さに約０．１ｍを加えた位置とし、上端は物体検出のために区分した各領域の上端とする。 The length in the distance Z direction of the three-dimensional window WD3 is a range obtained by adding the section length of the histogram at the detection distance of the object before and after the detection distance. The lower end of the three-dimensional window WD3 is a position obtained by adding about 0.1 m to the height of the road surface, and the upper end is the upper end of each area divided for object detection.
前記３次元ウインドウＷＤ3から前記２次元ウインドウＷＤ2を求めるには、３次元ウィンドウＷＤ3の８個の頂点の各座標（Ｘｎ，Ｙｎ，Ｚｎ）から、前述の（５），（６）式を用いて画像上の座標（ｉｎ，ｊｎ）を計算し、これらの点を包絡する多角形を計算する。図１８は、先に図１６で示した検出物体の内の１個（駐車車輌３００）について、２次元ウインドウＷＤ2を設定した例を示したものである。 In order to obtain the two-dimensional window WD2 from the three-dimensional window WD3, from the coordinates (Xn, Yn, Zn) of the eight vertices of the three-dimensional window WD3, the above-described equations (5) and (6) are used. The coordinates (in, jn) on the image are calculated, and the polygon enclosing these points is calculated. FIG. 18 shows an example in which a two-dimensional window WD2 is set for one of the detected objects (parked vehicle 300) shown in FIG.
物体輪郭像抽出部１３３では、前記２次元ウインドウＷＤ2内の各データを順次サーベイし、３次元ウインドウＷＤ3に含まれるデータのみを選別し、検出した物体の輪郭像を抽出する処理を行ない、検出物体の自車輌１との位置関係を検出する。
The object contour
すなわち、まず、物体毎に２次元ウインドウＷＤ2内の各データを順次サーベイし、距離データを持っている画素について、前述の（３），（４）式を用いて３次元位置（Ｘ，Ｙ，Ｚ）を計算した後、距離や高さの値が３次元ウインドウＷＤ3の範囲内にあるデータのみを抽出し、他は棄却する。 That is, first, each data in the two-dimensional window WD2 is sequentially surveyed for each object, and the three-dimensional position (X, Y, After calculating Z), only data whose distance and height values are within the range of the three-dimensional window WD3 are extracted, and the others are rejected.
このようにして抽出したデータを、２次元の画像上に投影して表示すると図１９のようになる。さらに、これらのデータの外形を線分で連結すると、図２０に示すような物体の輪郭像が得られる。この輪郭像の左右端および上端の画像上での座標（ｉ，ｊ）を検出し、続いて、その物体の検出距離Ｚと（３），（４）式を用いて、３次元空間での物体の左右端と上端の位置を算出すると、左右端の位置から物体の横幅が求まり、上端の位置から物体の高さが求まる。図２０においては、幅１．７ｍ、高さ１．３ｍの物体と判別できる。 When the data extracted in this way is projected and displayed on a two-dimensional image, it is as shown in FIG. Furthermore, when the outlines of these data are connected by line segments, a contour image of the object as shown in FIG. 20 is obtained. The coordinates (i, j) on the left and right end and top end images of this contour image are detected, and then the detected distance Z of the object and the equations (3) and (4) are used to determine the three-dimensional space. When the positions of the left and right ends and the upper end of the object are calculated, the horizontal width of the object is obtained from the positions of the left and right ends, and the height of the object is obtained from the position of the upper end. In FIG. 20, it can be identified as an object having a width of 1.7 m and a height of 1.3 m.
一方、マイクロプロセッサ１２０ｂによる側壁検出部１４０の機能は、立体物データ抽出部１４１、側壁直線検出部１４２、及び、側壁範囲検出部１４３に細分され、側壁と道路との区別を道路表面からの高さによって行ない、側壁と遠方の背景との区別を、前後方向と横方向の距離によって行なうことにより、側壁が存在すると推定される周辺のデータのみを抽出し、続いて側壁のデータは水平方向に直線的に並んでいる特徴に注目してこれをハフ変換によって検出し、位置を求める。
On the other hand, the function of the side
すなわち、前記立体物データ抽出部１４１は、前記距離分布の情報の中から予め設定された道路表面より上にあるデータのみを抽出し、前記側壁直線検出部１４２は、抽出した立体物データの中から、予め設定された側壁の探索領域内のデータのみを抽出し、これをハフ変換で処理して側壁の有無と側壁の位置を示す直線式とを検出する。また、前記側壁範囲検出部１４３は、側壁の位置を示す直線式に基づいて、側壁が存在すると推定される側壁候補領域を設定し、この側壁候補領域内の立体物データの分布状態から側壁の前後端の位置を検出する。
That is, the three-dimensional object data extraction unit 141 extracts only the data above the preset road surface from the distance distribution information, and the side wall straight
詳細には、側壁は立体物の一種であるから、まず、立体物データ抽出部１４１で、道路表面より上にある立体物のデータを距離画像の中から抽出する。この際、高さＨが０．１ｍ程度以下の立体物は、前述したように、道路上の白線や汚れ、影等と考えられるため、この立体物のデータは棄却する。また、車輌の高さより上にある立体物も、歩道橋や標識等と考えられるので棄却し、道路上の立体物のデータのみを選別する。 Specifically, since the side wall is a kind of three-dimensional object, first, the three-dimensional object data extraction unit 141 extracts the data of the three-dimensional object above the road surface from the distance image. At this time, a solid object having a height H of about 0.1 m or less is considered to be a white line, a dirt, a shadow, or the like on the road as described above, and therefore the data of this solid object is rejected. In addition, solid objects above the height of the vehicle are also considered as pedestrian bridges, signs, etc., so they are rejected, and only the solid objects on the road are selected.
また、前記立体物データ抽出部１４１では画面に写っている広範囲の立体物のデータが抽出されるが、これら全てを処理することは合理的でないため、側壁直線検出部１４２では側壁を探索する領域に制限を設ける。
The solid object data extraction unit 141 extracts a wide range of three-dimensional object data on the screen. However, since it is not reasonable to process all of these, the side wall straight
この場合、距離画像が計測される範囲を上から見ると、ＣＣＤカメラ１１の視野に制限されて図２１のようになっており、道路を通常走行している場合には、側壁は車輌１の左側と右側に、車輌１と概ね平行に存在する。一方、遠くの側壁は、距離データの精度の面から検出が困難になり、且つ、検出の必要性も小さい。そこで、これらを考慮し、図示したような左側と右側の２つの探索領域ＳＬ，ＳＲを設定し、左側と右側の側壁を別々に検出して行く。
In this case, when the range in which the distance image is measured is viewed from above, it is limited to the field of view of the
すなわち、左右両側の側壁を検出するには、まず、側壁直線検出部１４２で左側の探索領域ＳＬを設定して側壁直線検出処理及び側壁範囲検出処理を行なって左側の側壁を検出した後、再び側壁直線検出部１４２で右側の探索領域ＳＲを設定し、同様の処理を繰り返して右側の側壁を検出するのである。
That is, in order to detect the left and right side walls, first, the side wall straight
各探索領域ＳＬ，ＳＲに含まれる立体物データを抽出するには、前記立体物データ抽出部１４１で抽出された各データの被写体の３次元位置（Ｘ，Ｚ座標）を計算し、この３次元位置（Ｘ，Ｚ）と各探索領域ＳＬ，ＳＲとを、それぞれ比較して判定する。 In order to extract the three-dimensional object data included in the search areas SL and SR, the three-dimensional position (X, Z coordinates) of the subject of each data extracted by the three-dimensional object data extraction unit 141 is calculated, and this three-dimensional The position (X, Z) and each search area SL, SR are compared and determined.
例えば図２２に示すような状況では、画像上に前記各探索領域ＳＬ，ＳＲを図示すると破線のようになり、これらの探索領域内にも、目的とする側壁の他に様々な立体物が存在する。さらに、距離画像にはノイズ状の偽データも含まれており、実際には物体が存在しない空間にデータのみが分散して存在する。これらのデータを模式的に示すと図２３のようになり、この中で側壁は、そのデータが直線状に並んでいる特徴がある。そこで、ハフ変換を使用してデータの列の直線式を検出することによって側壁の検出を行なう。 For example, in the situation shown in FIG. 22, when the search areas SL and SR are illustrated on the image, they appear as broken lines, and various three-dimensional objects exist in these search areas in addition to the target side wall. To do. Further, the distance image includes noise-like fake data, and only the data exists in a space where no object actually exists. When these data are schematically shown in FIG. 23, the side walls are characterized in that the data are arranged in a straight line. Therefore, the side wall is detected by detecting the linear expression of the data string using the Hough transform.
このハフ変換による直線式の検出について説明すると、まず、図２４の立体物データＰi（座標Ｘi，Ｚi）に対し、このデータＰiの点を通る直線Ｆiを想定する。この直線の式は、以下の（８）式で示される。
Ｘ＝ａｆi×Ｚ＋ｂｆi （８）
The detection of the linear expression by the Hough transform will be described. First, a straight line Fi passing through the point of the data Pi is assumed with respect to the three-dimensional object data Pi (coordinates Xi, Zi) in FIG. The equation of this straight line is shown by the following equation (8).
X = afi * Z + bfi (8)
次に図２５に示すように、縦軸が式（８）の傾きａｆ、横軸が切片ｂｆのパラメータ空間を設定し、式（８）のパラメータａｆi，ｂｆiに相当する位置に投票を行う。 Next, as shown in FIG. 25, a parameter space is set such that the vertical axis represents the slope af of equation (8) and the horizontal axis represents the intercept bf, and voting is performed at positions corresponding to the parameters afi and bfi of equation (8).
ここで、傾きａｆiの値は、前述したように側壁は車輌１と概ね平行と考えられるため、一般道路では、例えば±２０゜(ａｆi：±０．３６）程度の範囲で変化させれば実用上十分である。また、切片ｂｆi の値は、左側の側壁を検出する場合、車輌１の左脇である例えばＸ＝−１ｍから−１０ｍ程度の範囲、右側の側壁を検出する場合には、例えばＸ＝＋１ｍから＋１０ｍ程度の範囲に制限する。このように、制限範囲を例えば±１０ｍ程度にするのは、あまり遠く離れた側壁の検出は実用面の必要性が小さいためである。
Here, since the side wall of the slope afi is considered to be substantially parallel to the
このような制限により、パラメータ空間上で投票が行われる範囲は、図２５に示すような矩形領域となり、この矩形領域はさらに格子状に分割されて各格子毎に投票される。式（８）の傾きａｆiは、所定の変化範囲内（例えば±１０゜〜±２０゜）であり、格子間隔Δａｆ毎に順次変化させて設定する。切片ｂｆiは、設定された傾きａｆiと立体物データＰiの座標（Ｘi，Ｚi）を式（８）に代入して算出され、これが前記制限範囲内であればパラメータ空間の該当する格子に投票される。 Due to such a restriction, the range in which voting is performed in the parameter space is a rectangular area as shown in FIG. 25, and this rectangular area is further divided into a grid and voted for each grid. The slope afi of the equation (8) is within a predetermined change range (for example, ± 10 ° to ± 20 °), and is set by sequentially changing every lattice interval Δaf. The intercept bfi is calculated by substituting the set inclination afi and the coordinates (Xi, Zi) of the three-dimensional object data Pi into the equation (8), and if this is within the limit range, it is voted for the corresponding lattice in the parameter space. The
検出される側壁の位置、すなわち直線式の傾きと切片の検出精度は、格子間隔Δａｆ，Δｂｆによって決定され、格子間隔Δａｆ，Δｂｆの設定は、側壁の情報を利用する外部装置側の要求に基づいて行なわれる。例えば、道路を通常走行する場合の衝突等の危険の検知として利用する場合には、格子間隔Δａｆは１〜２゜程度、格子間隔Δｂｆは０．３〜０．６ｍ程度が良い。 The position of the detected side wall, that is, the linear inclination and the intercept detection accuracy are determined by the lattice spacings Δaf and Δbf, and the setting of the lattice spacings Δaf and Δbf is based on a request on the external device side using the side wall information. It is done. For example, when used for detecting a danger such as a collision in normal driving on a road, the lattice interval Δaf is preferably about 1 to 2 ° and the lattice interval Δbf is preferably about 0.3 to 0.6 m.
以上のようにして探索領域内の全立体物データに対してパラメータ空間への投票を行なう際、図２４に示すように、直線的に並んだデータが存在すると、このデータの列と一致するように設定した直線のパラメータａｆi,ｂｆiに相当するパラメータ空間の格子は多くの得票を得て、左右の投票領域ＳＬ，ＳＲ毎に局所極大値が現れる。 When voting to the parameter space for all three-dimensional object data in the search area as described above, if there is linearly arranged data, as shown in FIG. The grid in the parameter space corresponding to the straight line parameters afi and bfi set to obtain a large number of votes, and local maximum values appear for the left and right voting areas SL and SR.
側壁が存在し、明確な立体物データの列があるとパラメータ空間の局所極大値は大きな値を示し、一方、側壁が無く、複数の物体が分散して存在する状態では局所極大値は小さい値を示す。従って、パラメータ空間の左右の投票領域ＳＬ，ＳＲ毎に局所極大値を検出し、検出した局所極大値が判定値以上であれば側壁が存在すると判定することができる。判定値は設定する探索領域の大きさや格子の間隔等を考慮して設定する。 When there is a side wall and there is a clear three-dimensional object data row, the local maximum value in the parameter space shows a large value, while in the state where there are no side walls and multiple objects are present, the local maximum value is a small value. Indicates. Therefore, the local maximum value is detected for each of the left and right voting areas SL and SR in the parameter space, and if the detected local maximum value is greater than or equal to the determination value, it can be determined that a side wall exists. The determination value is set in consideration of the size of the search area to be set, the lattice interval, and the like.
次に、前記側壁直線検出部１４２で側壁有りと判定された場合には、側壁範囲検出部１４３で側壁の前後端の位置を検出する。局所極大値の格子に相当するパラメータａｆ，ｂｆを読み出すと、側壁は、次の直線式（９）に沿って存在すると推定され、図２４の例で検出された直線式を図示すると図２６に示す直線Ｆfとなる。
Ｘ＝ａｆ×Ｚ＋ｂｆ （９）
Next, when the side wall straight
X = af × Z + bf (9)
まず、直線Ｆｆを中心として幅０．３ｍ〜１．０ｍ程度の領域を側壁候補領域Ｔｆとすると、この領域は、さらに図２６のようにＺ方向に区分される。側壁候補領域Ｔｆの幅は、前記パラメータ空間の格子の間隔Δｂｆにデータの誤差等を考慮して設定する。 First, if a region having a width of about 0.3 m to 1.0 m around the straight line Ff is defined as a sidewall candidate region Tf, this region is further divided in the Z direction as shown in FIG. The width of the sidewall candidate region Tf is set in consideration of a data error or the like in the lattice space Δbf of the parameter space.
次に、前記探索領域内の立体物データを順次サーベイし、側壁候補領域Ｔｆ内にあるデータのみを抽出した後、区分毎に立体物データの個数をカウントし、ヒストグラムを作成する。これを模式的に示すと図２７のようになり、側壁が存在する部分では大きな度数を示す。従って、度数が判定値以上の区分を検出することによって、この範囲に側壁が存在すると判断することができ、その両端の３次元位置を計算して側壁の前後端位置とする。図２４の例では、探索領域ＳＲの上端が側壁（ガードレール４００）の後端位置とみなされる。図２８は以上の処理で検出した側壁を枠線で示したものであり、この例では、右側のガードレール４００が検出される。
Next, the three-dimensional object data in the search area is sequentially surveyed, and only the data in the sidewall candidate area Tf is extracted. Then, the number of the three-dimensional object data is counted for each section, and a histogram is created. This is schematically shown in FIG. 27, and shows a large frequency in the portion where the side wall exists. Therefore, it is possible to determine that a side wall exists in this range by detecting a segment whose frequency is equal to or greater than the determination value, and calculate the three-dimensional positions of both ends thereof as the front and rear end positions of the side wall. In the example of FIG. 24, the upper end of the search region SR is regarded as the rear end position of the side wall (guardrail 400). FIG. 28 shows the side wall detected by the above processing with a frame line. In this example, the
以上のようにして、距離画像から道路上の各物体の位置、形状等のパラメータが求められ、立体物パラメータ記憶部１５０に書き込まれると、マイクロプロセッサ１２０ｃからなる隙間距離算出部１６０では、自車輌１と検出した物体との間の左右の隙間距離を算出する。
As described above, when the parameters such as the position and shape of each object on the road are obtained from the distance image and written to the three-dimensional object
例えば前述した図９の画像例では、駐車車輌２００，３００の自車輌１側の前方の縁のＸ座標をＸL，ＸR、ガードレール４００の前方の端のＸ座標をＸWRとすると、図２９に示すように、自車輌１の左側の延長線と左側の駐車車輌２００の縁との間の距離ＤLは、自車輌１の車幅をＷとして以下の（１０）式で算出され、また、自車輌１の右側の延長線と右側の駐車車輌３００との間の距離ＤRは（１１）式で算出され、さらに、自車輌１の右側の延長線と右側のガードレール４００との間の距離ＤWRは（１２）式で算出される。
ＤL ＝｜ＸL ｜−Ｗ／２ （１０）
ＤR ＝｜ＸR ｜−Ｗ／２ （１１）
ＤWR＝｜ＸWR｜−Ｗ／２ （１２）
For example, in the image example of FIG. 9 described above, when the X coordinates of the front edge of the parked
DL = | XL | -W / 2 (10)
DR = | XR | -W / 2 (11)
DWR = | XWR | −W / 2 (12)
そして、（１０），（１１），（１２）式による計算を各縁について行う。そして、左右それぞれの最小値を求めると、この最小値が最近接距離すなわち隙間距離となり、この隙間距離に若干の余裕、例えば相手車のバックミラー等のための余裕を加えてディスプレイ３に出力し、前述の図３のようにディスプレイ３に表示させる。
Then, the calculation according to the equations (10), (11), and (12) is performed for each edge. When the left and right minimum values are obtained, the minimum value becomes the closest distance, that is, the gap distance, and this gap distance is output to the
尚、図９の画像例では、ガードレール４００との距離ＤWRより駐車車輌３００との距離ＤRの方が小さいので、右側隙間距離として駐車車輌３００との距離ＤRを採用し、ディスプレイ３に出力する。
In the image example of FIG. 9, since the distance DR to the parked
また、ディスプレイ３に表示する隙間距離の数値には、例えば１ｍといったしきい値を設け、このしきい値以上の数値は表示しないようになっている。これは、隙間が十分大きい場合には、数値を表示する意味が少ないからである。
Further, the numerical value of the gap distance displayed on the
次に、イメージプロセッサ２０及び距離画像処理用コンピュータ１２０の動作について説明する。
Next, operations of the
図３０は、イメージプロセッサ２０の動作の流れを示すフローチャートであり、まず、ステップS101で左右のＣＣＤカメラ１１ａ，１１ｂによって撮像した画像を入力すると、ステップS102で、入力したアナログ画像をＡ／Ｄコンバータ３１ａ，３１ｂで所定の輝度階調を有するデジタル画像にＡ／Ｄ変換した後、ＬＵＴ３２ａ，３２ｂで、低輝度部分のコントラスト増強、左右のＣＣＤカメラ１１ａ，１１ｂの特性補償等を行ない、画像メモリ３３ａ，３３ｂに記憶する。
FIG. 30 is a flowchart showing the operation flow of the
これらの画像メモリ３３ａ，３３ｂに記憶される画像は、ＣＣＤカメラ１１ａ，１１ｂのＣＣＤ素子の全ラインのうち、その後の処理に必要なラインのみであり、例えば０．１秒に１回の割合（テレビ画像で３枚に１枚の割合）で書き換えられる。
The images stored in these
次に、ステップS103へ進むと、左右画像用の画像メモリ３３ａ，３３ｂから入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂへ、共通バス８０を介して、例えば４ラインずつ左右画像データが読み込まれ、読み込んだ左右画像のマッチング、すなわち一致度の評価が行なわれる。
Next, in step S103, left and right image data is read, for example, by four lines from the
その際、左右の画像毎に、前記画像メモリ３３ａ，３３ｂから前記入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂへの読み込み動作と、シフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂに対する書き込み動作とが交互に行なわれる。例えば、左画像では、画像メモリ３３ａから一方の入力バッファメモリ４１ａに画像データが読み込まれている間に、他方の入力バッファメモリ４１ｂからシフトレジスタ４３ｂへ読み込んだ画像データの書き出しが行なわれ、右画像では、画像メモリ３３ｂから一方の入力バッファメモリ４２ａに画像データが読み込まれている間に、他方の入力バッファメモリ４２ｂからシフトレジスタ４４ｂへ読み込んだ画像データの書き出しが行なわれる。
At this time, for each of the left and right images, a read operation from the
図３１に示すように、前記シフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂには、左右の４×４画素の小領域の画像データ（１，１）…（４，４）が保存され、一方のシフトレジスタ４３ａ（４４ａ）には１、２ラインのデータが、もう一方のシフトレジスタ４３ｂ（４４ｂ）には３、４ラインのデータが、それぞれ１画素毎に奇数ライン、偶数ラインの順序で入る。前記各シフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂは、それぞれが独立した転送ラインを持ち、４×４画素のデータは例えば８クロックで転送される。
As shown in FIG. 31, the
そして、これらのシフトレジスタ４３ａ，４３ｂ，４４ａ，４４ｂから８段のうちの偶数段の内容が同時にシティブロック距離計算回路４５に出力され、シティブロック距離Ｈの計算が始まると、右画像のデータはシフトレジスタ４４ａ，４４ｂ内に保持されて、クロック毎に奇数ライン、偶数ラインのデータが交互に出力され、一方、左画像のデータはシフトレジスタ４３ａ，４３ｂに転送され続け、奇数ライン、偶数ラインのデータが交互に出力されつつ、２クロック毎に１画素分右のほうにずれたデータに置き換わっていく。この動作を、例えば１００画素分ずれるまで（２００クロック）繰り返す。
Then, the contents of the even number of the eight stages are simultaneously output from the
その後、一つの小領域に対する転送が終了すると、＃２アドレスコントローラ８７内の左画像用アドレスカウンタに右画像用アドレスカウンタの内容（次の４×４画素の小領域の先頭アドレス）がセットされ、次の小領域の処理が始まる。
Thereafter, when the transfer to one small area is completed, the contents of the right image address counter (the start address of the next small area of 4 × 4 pixels) are set in the left image address counter in the # 2
シティブロック距離計算回路４５では、図３２のタイミングチャートに示すように、まず、ピラミッド型構造初段の絶対値演算器に８画素分のデータを入力し、左右画像の輝度差の絶対値を計算する。すなわち、右画素の輝度から対応する左画素の輝度を引き算し、結果が負になった場合、演算命令を変えることにより、引く方と引かれる方を逆にして再び引き算を行なうことにより、絶対値の計算を行なう。従って、初段では引き算を２回行なう場合がある。
In the city block
次いで、初段を通過すると、２段目から４段目までの第１ないし第３加算器で二つの同時入力データを加算して出力する。そして、最終段の総和加算器で二つの連続するデータを加え合わせて総和を計算し、必要とする１６画素分のシティブロック距離Ｈを２クロック毎に最小・最大値検出部５０へ出力する。 Next, when the first stage is passed, two simultaneous input data are added and output by the first to third adders from the second stage to the fourth stage. Then, the summation adder at the final stage adds two consecutive data to calculate the sum, and outputs the required city block distance H for 16 pixels to the minimum / maximum value detection unit 50 every two clocks.
次に、ステップS104へ進み、前記ステップS103で算出したシティブロック距離Ｈの最大値ＨMAX、最小値ＨMINを検出する。前述したように、この最大値ＨMAXの検出と最小値ＨMINの検出とは、互いに論理が逆になることと、ずれ量を保存しないこと以外は、全く同じであるため、以下、代表して最小値ＨMINの検出について説明する。 In step S104, the maximum value HMAX and the minimum value HMIN of the city block distance H calculated in step S103 are detected. As described above, the detection of the maximum value HMAX and the detection of the minimum value HMIN are exactly the same except that the logics are opposite to each other and the deviation amount is not stored. The detection of the value HMIN will be described.
まず、最初に出力されてきたシティブロック距離Ｈ（ずれ量ｘ＝０）が、図８に示す最小値検出回路５１のＣラッチ５３を介して、演算器４６のＢレジスタ４６ｂに入力される。次のクロックで出力されてきたシティブロック距離Ｈ（ずれ量δ＝１）は、Ｃラッチ５３と演算器４６のＡレジスタ４６ａとに入れられ、演算器４６では、同時に、Ｂレジスタ４６ｂとの比較演算が始まる。
First, the city block distance H (shift amount x = 0) output first is input to the
前記演算器４６での比較演算の結果、Ｂレジスタ４６ｂの内容よりもＡレジスタ４６ａの内容の方が小さければ、次のクロックのときに、Ｃラッチ５３の内容（すなわちＡレジスタ４６ａの内容）がＢレジスタ４６ｂに送られ、このときのずれ量δがＤラッチ５５に保存される。このクロックで同時に、次のシティブロック距離Ｈ（ずれ量δ＝２）がＡレジスタ４６ａとＣラッチ５３に入れられ、再び比較演算が始まる。
If the content of the A register 46a is smaller than the content of the
このようにして、計算途中での最小値が常にＢレジスタ４６ｂに、そのときのずれ量δがＤラッチ５５に保存されながら、ずれ量δが１００になるまで計算が続けられる。計算が終了すると（最後のシティブロック距離Ｈが出力されてから１クロック後）、Ｂレジスタ４６ｂとＤラッチ５５の内容はずれ量決定部６０に読み込まれる。
In this way, the calculation is continued until the shift amount δ reaches 100 while the minimum value during the calculation is always stored in the
この間に、前述したシティブロック距離計算回路４５では次の小領域の初期値が読み込まれ、時間の無駄を生じないようになっており、一つのシティブロック距離Ｈを計算するのに、例えば４クロックかかるが、パイプライン構造をとっているため、２クロック毎に新たな計算結果が得られる。
During this time, the city block
そして、前記ステップ104でシティブロック距離Ｈの最小値ＨMIN、最大値ＨMAXが確定すると、ステップS105では、ずれ量決定部６０にて、前述した３つの条件がチェックされ、ずれ量ｘが決定される。
When the minimum value HMIN and the maximum value HMAX of the city block distance H are determined in
すなわち、図３３のタイミングチャートに示すように、Ｂバス６２ｂを介して最小値ＨMINが演算器６１のＢレジスタ７２にラッチされるとともに、このＢレジスタ７２の値と比較されるしきい値ＨAがＡバス６２ａを介してＡレジスタ７１にラッチされる。そしてＡＬＵ７０で両者が比較され、しきい値ＨAよりも最小値ＨMINの方が大きければ、スイッチ回路６５がリセットされ、以後のチェックの如何に係わらず常に０が出力されるようになる。
That is, as shown in the timing chart of FIG. 33, the minimum value HMIN is latched in the B register 72 of the arithmetic unit 61 via the B bus 62b, and the threshold value HA to be compared with the value of the B register 72 is Latched into the A register 71 via the A bus 62a. Then, the two are compared by the
次に、Ａレジスタ７１に最大値ＨMAXがラッチされ、このＡレジスタ７１にラッチされた最大値ＨMAXとＢレジスタ７２に保存されている最小値ＨMINとの差が計算されて、その結果がＦレジスタ７３に出力される。次のクロックでＡレジスタ７１にしきい値ＨBがラッチされ、Ｆレジスタ７３の値と比較される。Ａレジスタ７１にラッチされたしきい値ＨBよりもＦレジスタ７３の内容の方が小さければ同様にスイッチ回路６５がリセットされる。
Next, the maximum value HMAX is latched in the A register 71, and the difference between the maximum value HMAX latched in the A register 71 and the minimum value HMIN stored in the B register 72 is calculated. 73 is output. At the next clock, the threshold value HB is latched in the A register 71 and compared with the value of the F register 73. If the content of the F register 73 is smaller than the threshold value HB latched in the A register 71, the
次のクロックからは、隣接画素間の輝度差の計算が始まる。輝度データが保存されている２組のシフトレジスタ６４ａ，６４ｂは１０段構成であり、それぞれ、シティブロック距離計算部４０の１，２ライン用のシフトレジスタ４４ａと、３，４ライン用のシフトレジスタ４４ｂの後段に接続されている。前記シフトレジスタ６４ａ，６４ｂの出力は最後の段とその２つ手前の段から取り出され、それぞれが、Ａバス６２ａとＢバス６２ｂとに出力される。
From the next clock, calculation of the luminance difference between adjacent pixels begins. The two sets of
輝度差の計算が始まるとき、前記シフトレジスタ６４ａ，６４ｂの各段には小領域中の各場所の輝度データが保持されており、初めに前回の小領域の第４行第１列の輝度データと、今回の小領域の第１行第１列の輝度データとが、演算器６１のＡレジスタ７１とＢレジスタ７２とにラッチされる。
When the calculation of the luminance difference starts, the luminance data of each location in the small area is held in each stage of the
そして、Ａレジスタ７１の内容とＢレジスタ７２の内容の差の絶対値が計算され、結果がＦレジスタ７３に保存される。次のクロックでＡレジスタ７１にしきい値ＨCがラッチされ、Ｆレジスタ７３の値と比較される。 Then, the absolute value of the difference between the contents of the A register 71 and the B register 72 is calculated, and the result is stored in the F register 73. At the next clock, the threshold value HC is latched in the A register 71 and compared with the value of the F register 73.
前記演算器６１での比較結果、Ａレジスタの内容（しきい値ＨC）よりもＦレジスタ７３の内容（輝度差の絶対値）のほうが大きければ、前記スイッチ回路６５からずれ量ｘあるいは”０”が出力され、、Ａレジスタの内容よりもＦレジスタ７３の内容のほうが小さければ”０”が出力されて、出力バッファメモリ６６ａ，６６ｂの該当する小領域の第１行第１列に当たる位置に書き込まれる。
If the content of the F register 73 (absolute value of the luminance difference) is larger than the content of the A register (threshold value HC) as a result of the comparison in the arithmetic unit 61, the shift amount x or "0" from the
前記演算器６１で隣接画素間の輝度差としきい値ＨCとの比較が行なわれている間に、シフトレジスタ６４ａ，６４ｂは１段シフトする。そして今度は、前回の小領域の第４行第２列と、今回の小領域の第１行第２列の輝度データに対して計算を始める。このようにして小領域の第１列、第２列に対し交互に計算を行なった後、第３列、第４列に対して同様に計算を進める。
While the arithmetic unit 61 compares the luminance difference between adjacent pixels with the threshold value HC, the
計算中は、シフトレジスタ６４ａ，６４ｂの最終段と最初の段がつながってリングレジスタになっており、小領域全体を計算した後にシフトクロックが２回追加されるとレジスタの内容が計算前の状態に戻り、次の小領域の輝度データが転送され終わったときに、最終段とその前の段に今回の小領域の第４行のデータが留められる。
During the calculation, the last stage and the first stage of the
このように、ずれ量決定のための計算中に次のデータをＡバス６２ａ，Ｂバス６２ｂに用意したり、結果の書き込みを行なうため、計算に必要な２クロックのみで一つのデータが処理される。この結果、初めに行なう最小値ＨMIN、最大値ＨMAXのチェックを含めても、例えば４３クロックで全ての計算が終了し、一つの小領域に対して、シティブロック距離Ｈの最小値ＨMIN、最大値ＨMAXを求めるのに要する時間は充分に余裕があり、さらに機能を追加することも可能となっている。 Thus, during the calculation for determining the deviation amount, the next data is prepared in the A bus 62a and the B bus 62b and the result is written, so that one data is processed with only two clocks necessary for the calculation. The As a result, even if the check of the minimum value HMIN and the maximum value HMAX to be performed first is included, for example, all calculations are completed in 43 clocks, and the minimum value HMIN and the maximum value of the city block distance H for one small area. The time required to obtain HMAX is sufficient, and it is possible to add more functions.
そして、ずれ量ｘが決定されると、ステップS106で、出力バッファメモリ６６ａ，６６ｂからデュアルポートメモリ９０へ、ずれ量ｘを距離分布情報として出力し、イメージプロセッサ２０における処理が終了する。
When the deviation amount x is determined, in step S106, the deviation amount x is output as distance distribution information from the output buffer memories 66a and 66b to the
この出力バッファメモリ６６ａ，６６ｂは、前述した入力バッファメモリ４１ａ，４１ｂ，４２ａ，４２ｂと同様、例えば４ライン分の容量があり、２組の一方に書き込んでいる間にもう一方から前記デュアルポートメモリ９０へ距離分布情報を送り出す。
The output buffer memories 66a and 66b have a capacity of, for example, four lines as in the case of the
前記デュアルポートメモリ９０へ書き込まれた距離分布情報からは、ＣＣＤカメラ１１，１２の取付け位置と焦点距離等のレンズパラメータとから、各画素に対応する物体のＸＹＺ空間における３次元位置を算出することができ、情報量の低下なく車外の対象物までの距離を正確に検出することができる。
From the distance distribution information written in the
ここで、イメージプロセッサ２０の全体のタイミングについて、図３４に示すタイミングチャートに従って説明する。
Here, the overall timing of the
まず初めに、同期を取っている左右のＣＣＤカメラ１１ａ，１１ｂからのフィールド信号を０．１秒毎（３画面に１画面の割合）に、画像メモリ３３ａ，３３ｂに書き込む。
First, field signals from the left and
次に、取り込み終了信号を受けて、４ライン毎のブロック転送が始まる。この転送は、右画像、左画像、結果の距離分布像の順に３ブロック転送する。 Next, in response to the capture end signal, block transfer for every four lines starts. In this transfer, three blocks are transferred in the order of the right image, the left image, and the resulting distance distribution image.
この間に、一方の入出力バッファメモリに対してずれ量δの計算が行われる。そして、ずれ量δの計算時間を考慮し、所定時間待機してからもう一方の入出力バッファメモリに対して転送を始める。 During this time, the shift amount δ is calculated for one of the input / output buffer memories. Then, taking into account the calculation time of the deviation amount δ, after waiting for a predetermined time, the transfer to the other input / output buffer memory is started.
一つの右画像の４×４画素の小領域に対するシティブロック距離Ｈの計算は、左画像について１００画素ずらしながら計算するため、１００回行われる。一つの領域のシティブロック距離Ｈが計算されている間に、その前の領域のずれ量δが各チェックを経て距離分布として出力される。 The calculation of the city block distance H for a small area of 4 × 4 pixels in one right image is performed 100 times because the calculation is performed while shifting the left image by 100 pixels. While the city block distance H of one region is being calculated, the shift amount δ of the previous region is output as a distance distribution through each check.
処理すべきライン数を２００とすると４ライン分の処理を５０回繰り返すことになり、計算の開始時に最初のデータを転送するための４ライン分の処理時間、計算終了後に最後の結果を画像認識部に転送するための４ライン分の処理時間と、計８ライン分の処理時間がさらに必要となる。 If the number of lines to be processed is 200, the process for 4 lines is repeated 50 times, the processing time for 4 lines to transfer the first data at the start of calculation, and the final result after the calculation is recognized The processing time for 4 lines and the processing time for a total of 8 lines are required for transfer to the copy.
最初の入力画像ラインの転送を開始してから最後の距離分布を転送し終わるまでの時間は、実際の回路動作の結果、０．０７６秒である。 The time from the start of the transfer of the first input image line to the end of the transfer of the final distance distribution is 0.076 seconds as a result of the actual circuit operation.
一方、図３５及び図３６のフローチャートは、マイクロプロセッサ１２０ａで実行される物体検出処理であり、ステップS201で道路表面の位置を設定すると、ステップS202で、イメージプロセッサ２０からの距離画像を格子状の領域に区分し、ステップS203で、最初の領域のデータを読み込む。
On the other hand, the flowcharts of FIGS. 35 and 36 are object detection processing executed by the
次に、ステップS204へ進んで、領域内の最初のデータをセットすると、ステップS205で、被写体の３次元位置（Ｘ，Ｙ，Ｚ）、すなわち距離と高さを算出し、ステップS206で、距離Ｚに於ける道路表面の高さを算出し、ステップS207で、道路面より上にあるデータを選別する。 Next, the process proceeds to step S204, and when the first data in the area is set, in step S205, the three-dimensional position (X, Y, Z) of the subject, that is, the distance and height are calculated. In step S206, the distance is calculated. The height of the road surface at Z is calculated, and the data above the road surface is selected in step S207.
そして、ステップS208へ進んで最終データか否かを調べ、最終データでない場合、ステップS209で領域内の次のデータをセットすると、前述のステップS205へ戻って処理を繰り返し、最終データの場合にはステップS208からステップS210へ進む。 Then, the process proceeds to step S208 to check whether or not it is final data.If it is not final data, the next data in the area is set in step S209, and the process returns to the above-described step S205 to repeat the process. The process proceeds from step S208 to step S210.
ステップS210では、ヒストグラムを作成し、ステップS211で、このヒストグラムの度数が判定値以上で、かつ最大値となる区間を検出する。ヒストグラムの度数が判定値以上で、かつ最大値となる区間が検出された場合、ステップS212で、その区間に物体が存在すると判断し、その物体までの距離を検出する。 In step S210, a histogram is created, and in step S211, a section in which the frequency of the histogram is equal to or greater than the determination value and the maximum value is detected. If a section where the frequency of the histogram is equal to or greater than the determination value and the maximum value is detected, it is determined in step S212 that an object exists in the section, and the distance to the object is detected.
そして、ステップS213で、最終領域か否かを調べ、最終領域でない場合には、ステップS214で、次の領域のデータを読み込み、前述のステップS204へ戻って同様の処理を続行し、最終領域である場合には、ステップS215へ進み、各物体の距離と存在領域の検出を終了し、ステップS216以降へ進む。 Then, in step S213, it is checked whether or not it is the final area. If it is not the final area, the data of the next area is read in step S214, and the same processing is continued by returning to the above-described step S204. If there is, the process proceeds to step S215, the detection of the distance and the existence area of each object is terminated, and the process proceeds to step S216 and the subsequent steps.
ステップS216では、最初の物体のパラメータをセットし、次いで、ステップS217で、３次元ウインドウＷＤ3の下端の高さ及び距離範囲を設定し、ステップS218で、この３次元ウインドウＷＤ3に基づいて２次元ウインドウＷＤ2の形状を算出してステップS219へ進む。 In step S216, the parameters of the first object are set. Then, in step S217, the height and distance range of the lower end of the three-dimensional window WD3 are set. In step S218, the two-dimensional window is set based on the three-dimensional window WD3. The shape of WD2 is calculated and the process proceeds to step S219.
ステップS219では、２次元ウインドウＷＤ2内のデータを読み出し、ステップS220で被写体の３次元位置を算出すると、ステップS221へ進んで、３次元ウインドウＷＤ3内に含まれるデータを選別して抽出する。 In step S219, the data in the two-dimensional window WD2 is read, and when the three-dimensional position of the subject is calculated in step S220, the process proceeds to step S221, and the data included in the three-dimensional window WD3 is selected and extracted.
その後、ステップS222へ進み、前記ステップS221で抽出したデータを２次元の画像上に投影すると、ステップS223で、各データを線分で連結して輪郭像を作成する。続いて、ステップS224で、物体の形状、寸法、位置、速度を算出し、ステップS225で、最終物体か否かを調べる。 Thereafter, the process proceeds to step S222, and when the data extracted in step S221 is projected onto a two-dimensional image, in step S223, each data is connected by a line segment to create a contour image. Subsequently, in step S224, the shape, size, position, and speed of the object are calculated, and in step S225, it is checked whether or not the object is the final object.
最終物体でない場合には、ステップS226で次の物体のパラメータをセットして前述のステップS217へ戻り、最終物体である場合には、ステップS227へ進んで、各物体の位置、形状、速度、加速度、衝突の可能性等のパラメータを出力用メモリ１２５に書き込み、処理を終了する。
If it is not the final object, the parameters of the next object are set in step S226, and the process returns to step S217. If it is the final object, the process proceeds to step S227, where the position, shape, speed, and acceleration of each object are determined. Then, parameters such as the possibility of collision are written in the
また、マイクロプロセッサ１２０ｂでは、前記マイクロプロセッサ１２０ａによる物体検出処理と並列して図３７及び図３８に示す側壁検出処理を行なう。この側壁検出処理では、最初に、ステップS301で道路表面の位置を設定すると、ステップS302で、距離画像から最初の距離データを読み込む。
Further, the
次に、ステップS303へ進み、被写体の位置（Ｘ，Ｚ座標）と高さ（Ｙ座標）とを計算し、ステップS304で、距離Ｚに於ける道路表面の高さＨ（Ｙ座標）を計算し、ステップS305で、道路面より上、且つ自車輌１の高さ以下にあるデータを立体物データとして抽出する。
In step S303, the position (X, Z coordinate) and height (Y coordinate) of the subject are calculated. In step S304, the height H (Y coordinate) of the road surface at the distance Z is calculated. In step S305, data above the road surface and below the height of the
そして、ステップS306へ進んで最終データか否かを調べ、最終データでない場合、ステップS307で次の距離データを読み込むと前述のステップS303へ戻って処理を繰り返し、最終データの場合にはステップS306からステップS308へ進む。 Then, the process proceeds to step S306 to check whether the data is the final data. If the final data is not the final data, the process returns to the above-described step S303 when the next distance data is read in step S307. Proceed to step S308.
ステップS308では、最初の立体物データを読み込み、ステップS309で、被写体の位置（Ｘ，Ｚ座標）を計算すると、続くステップS310で、計算した位置（Ｘ，Ｚ座標）が探索領域内か否かを調べる。 In step S308, the first three-dimensional object data is read. In step S309, the position (X, Z coordinates) of the subject is calculated. In step S310, whether the calculated position (X, Z coordinates) is within the search area. Check out.
計算した位置（Ｘ，Ｚ座標）が探索領域外であるときには、前記ステップS310からステップS312へジャンプし、探索領域内のとき、前記ステップS310からステップS311へ進んでパラメータ空間へ投票し、ステップS312へ進む。 If the calculated position (X, Z coordinates) is outside the search area, the process jumps from step S310 to step S312. If the calculated position (X, Z coordinates) is within the search area, the process proceeds from step S310 to step S311 to vote for the parameter space, and step S312 Proceed to
ステップS312では、処理した立体物データが最終データか否かを調べ、最終データでないときには、ステップS313で、次の立体物データを読み込んで、前述のステップS309からの処理を繰り返し、最終データのとき、ステップS314へ進んで、パラメータ空間上の局所極大値を検出する。 In step S312, it is checked whether or not the processed three-dimensional object data is final data. If it is not final data, the next three-dimensional object data is read in step S313, and the processing from step S309 is repeated. Then, the process proceeds to step S314, and a local maximum value on the parameter space is detected.
次いで、ステップS315へ進むと、検出した局所極大値が判定値以上か否かを調べ、判定値よりも小さいとき、ステップS316で側壁は存在しないと判定し、判定値以上のとき、ステップS317で、側壁が存在すると判定して、ステップS318へ進む。 Next, when proceeding to step S315, it is determined whether or not the detected local maximum value is greater than or equal to the determination value.If the detected local maximum value is smaller than the determination value, it is determined in step S316 that there is no side wall. Then, it is determined that a side wall exists, and the process proceeds to step S318.
ステップS318では、前記ステップS314で検出した局所極大値の格子に相当するパラメータ、すなわち局所極大点が示す直線式のパラメータ（ａｆ，ｂｆ）を読み込み、次いで、ステップS319で側壁候補領域を設定する。 In step S318, parameters corresponding to the local maximum value lattice detected in step S314, that is, linear parameters (af, bf) indicated by the local maximum points are read, and then in step S319, sidewall candidate regions are set.
そして、ステップS320へ進み、探索領域内の最初の立体物データを読み込むと、ステップS321で、被写体の位置（Ｘ，Ｚ座標）を計算し、ステップS322で、側壁候補領域内にあるデータを抽出した後、ステップS323で、処理したデータが探索領域内の最終データか否かを調べる。 Then, the process proceeds to step S320, and when the first three-dimensional object data in the search area is read, the position (X, Z coordinates) of the subject is calculated in step S321, and the data in the sidewall candidate area is extracted in step S322. After that, in step S323, it is checked whether or not the processed data is the final data in the search area.
探索領域内の最終データでないときには、前記ステップS323からステップS324へ分岐して探索領域内の次の立体物データを読み込んで、前述のステップS321へ戻り、探索領域内の最終データであるときには、前記ステップS323からステップS325へ進んで、側壁候補領域内のデータを使ってヒストグラムを作成する。 If it is not the final data in the search area, the process branches from step S323 to step S324 to read the next three-dimensional object data in the search area, and returns to the above-described step S321. Proceeding from step S323 to step S325, a histogram is created using data in the sidewall candidate region.
次に、ステップS326へ進み、作成したヒストグラムの度数が判定値以上の区分を検出すると、ステップS327で、ヒストグラムの度数が判定値以上の区間の両端の３次元位置、すなわち側壁の前後端位置を算出し、ステップS328で、側壁の有無、位置、方向、前後端の位置等のパラメータを出力用メモリ１２５へ書き込んでプログラムを終了する。尚、このプログラムは、左側の側壁について実行した後、右側の側壁について実行する。
Next, the process proceeds to step S326, and when a category having a frequency of the created histogram equal to or higher than the determination value is detected, in step S327, the three-dimensional positions at both ends of the section in which the frequency of the histogram is equal to or higher than the determination value, In step S328, parameters such as the presence / absence of side walls, position, direction, front and rear end positions, etc. are written in the
以上の処理により、前方に存在する壁、駐車車輌等の自車輌１からの位置と大きさがわかり、マイクロプロセッサ１２０ｃで図３９の隙間距離算出処理のプログラムが実行される。
With the above processing, the position and size of the
この隙間距離算出処理では、ステップS401で、出力用メモリ１２５から道路上の各物体の自車輌１側の縁の位置及び側壁の端部の位置を入力すると、ステップS402で、各物体の縁及び側壁の端部と、自車輌１の側部の延長線との間のＸ方向の距離を左右別々に求める。
In this gap distance calculation process, when the position of the edge of the
次いで、ステップS403へ進み、前記ステップS402で求めた各距離の最小値を左右別々に求め、ステップS404で左右それぞれの最小値を隙間距離として若干の余裕を加え、ディスプレイコントローラ１２６を介してディスプレイ３に数値を表示する。
Next, the process proceeds to step S403, where the minimum values of the distances determined in step S402 are obtained separately on the left and right sides, and in step S404, a slight margin is added with the minimum values of the left and right as the gap distances, and the
１ 車輌
２ 走行案内装置
３ ディスプレイ
１０ ステレオ光学系
１５ ステレオ画像処理手段
１００ 立体物検出手段
１１０ 隙間距離算出手段
代理人 弁理士 伊 藤 進
DESCRIPTION OF
Agent Patent Attorney Susumu Ito
Claims (2)
前記ステレオ画像処理手段からの距離分布の情報に対応する被写体の各部分の３次元位置を計算し、計算した３次元位置の情報を用いて複数の立体物を検出する立体物検出手段と、
前記立体物検出手段で検出した複数の立体物の位置情報に基づき、複数の立体物の自車輌側の縁と自車輌側部の延長線との間の最近接距離を隙間距離として左右それぞれに算出する隙間距離算出手段と、
前記隙間距離算出手段で算出した隙間距離に係わる情報を表示するディスプレイ装置とを備えたことを特徴とする車輌用走行案内装置。 Stereo image processing means for processing a stereo image pair of an object outside the vehicle imaged by an imaging system mounted on a vehicle, and obtaining a distance distribution over the entire image by the principle of triangulation from a shift amount of a corresponding position of the stereo image pair;
A three- dimensional object detection means for calculating a three-dimensional position of each part of the subject corresponding to the distance distribution information from the stereo image processing means , and detecting a plurality of three-dimensional objects using the calculated three-dimensional position information ;
Based on the position information of the plurality of three-dimensional objects detected by the three-dimensional object detection means, the closest distance between the edge of the plurality of three-dimensional objects on the vehicle side and the extension line of the vehicle side is defined as the gap distance on each of the left and right sides. A gap distance calculating means for calculating;
A vehicle travel guide apparatus comprising: a display device that displays information related to the gap distance calculated by the gap distance calculating means.
前記ステレオ画像処理手段からの距離分布の情報に対応する被写体の３次元位置を計算し、複数の立体物の位置情報を検出する立体物検出手段と、
前記立体物検出手段で検出した複数の立体物の位置情報に基づき、複数の立体物の自車輌側の縁と自車輌側部の延長線との間の最近接距離を隙間距離として左右それぞれに算出する隙間距離算出手段と、
前記隙間距離算出手段で算出した隙間距離に係わる情報を表示するディスプレイ装置とを備えたことを特徴とする車輌用走行案内装置。 A stereo image processing means for processing a stereo image pair of an object outside the vehicle imaged by an imaging system mounted on a vehicle, and obtaining a distance distribution by a principle of triangulation from a deviation amount of a corresponding position of the stereo image pair;
A three-dimensional object detection means for calculating a three-dimensional position of a subject corresponding to the distance distribution information from the stereo image processing means and detecting position information of a plurality of three-dimensional objects;
Based on the position information of the plurality of three-dimensional objects detected by the three-dimensional object detection means, the closest distance between the edge of the plurality of three-dimensional objects on the vehicle side and the extension line of the vehicle side is defined as the gap distance on each of the left and right sides. A gap distance calculating means for calculating;
A vehicle travel guide apparatus comprising: a display device that displays information related to the gap distance calculated by the gap distance calculating means .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003420060A JP3762406B2 (en) | 2003-12-17 | 2003-12-17 | Vehicle travel guidance device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003420060A JP3762406B2 (en) | 2003-12-17 | 2003-12-17 | Vehicle travel guidance device |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33019193A Division JP3522317B2 (en) | 1993-12-27 | 1993-12-27 | Travel guide device for vehicles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004168304A JP2004168304A (en) | 2004-06-17 |
| JP3762406B2 true JP3762406B2 (en) | 2006-04-05 |
Family
ID=32709352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003420060A Expired - Lifetime JP3762406B2 (en) | 2003-12-17 | 2003-12-17 | Vehicle travel guidance device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3762406B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4956099B2 (en) * | 2006-08-31 | 2012-06-20 | 富士重工業株式会社 | Wall detector |
| US8466960B2 (en) | 2009-02-16 | 2013-06-18 | Ricoh Company, Ltd. | Liquid droplet recognition apparatus, raindrop recognition apparatus, and on-vehicle monitoring apparatus |
| JP5637425B2 (en) * | 2009-03-06 | 2014-12-10 | 株式会社リコー | Droplet detection device and in-vehicle monitoring device |
| JP5771778B2 (en) * | 2010-06-30 | 2015-09-02 | パナソニックＩｐマネジメント株式会社 | Monitoring device, program |
| JP5768927B2 (en) * | 2012-02-14 | 2015-08-26 | 日産自動車株式会社 | Three-dimensional object detection device |
| KR102406502B1 (en) * | 2016-12-14 | 2022-06-10 | 현대자동차주식회사 | Apparatus and method for controlling narrow road driving of vehicle |
| JP6548312B2 (en) * | 2017-09-19 | 2019-07-24 | 株式会社Ｓｕｂａｒｕ | Image processing device |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59198377A (en) * | 1983-04-27 | 1984-11-10 | Nippon Soken Inc | Obstacle detector for vehicle |
| JPS63195045A (en) * | 1987-02-09 | 1988-08-12 | Alpine Electron Inc | On-board announciator for alarming approach of obstacle |
| JP2658056B2 (en) * | 1987-06-17 | 1997-09-30 | 日産自動車株式会社 | Autonomous traveling vehicle control device |
| JPH0690760B2 (en) * | 1991-01-23 | 1994-11-14 | 株式会社カンセイ | Leading vehicle position detector |
| JPH05265547A (en) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | On-vehicle outside monitoring device |
| JP2532221Y2 (en) * | 1992-03-31 | 1997-04-09 | 株式会社小糸製作所 | Radar equipment for vehicles |
| JPH0581775U (en) * | 1992-04-06 | 1993-11-05 | 日野自動車工業株式会社 | Radar equipment |
| JPH0583900U (en) * | 1992-04-06 | 1993-11-12 | 日野自動車工業株式会社 | Vehicle radar device |
-
2003
- 2003-12-17 JP JP2003420060A patent/JP3762406B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004168304A (en) | 2004-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3522317B2 (en) | Travel guide device for vehicles | |
| JP3324821B2 (en) | Vehicle exterior monitoring device | |
| US5410346A (en) | System for monitoring condition outside vehicle using imaged picture by a plurality of television cameras | |
| CN109791738B (en) | Travel assist device and computer program | |
| US6734787B2 (en) | Apparatus and method of recognizing vehicle travelling behind | |
| CN104509100B (en) | Three-dimensional body detection device and three-dimensional body detection method | |
| JP4893212B2 (en) | Perimeter monitoring device | |
| CN104509101A (en) | Three-dimensional object detection device, and three-dimensional object detection method | |
| CN104509099B (en) | Three-dimensional body detection device and three-dimensional body detection method | |
| CN111595357B (en) | Visual interface display method and device, electronic equipment and storage medium | |
| JPH11213138A (en) | Out-of-vehicle monitoring device | |
| CN104012081A (en) | Object detection device | |
| CN104685866A (en) | Three-dimensional object detection device, and three-dimensional object detection method | |
| JPH0845000A (en) | Vehicle-to-vehicle distance controller | |
| JP4937844B2 (en) | Pedestrian detection device | |
| JPH09106500A (en) | Driving supporting device for vehicle | |
| JP2019164611A (en) | Traveling support device and computer program | |
| JPH07225892A (en) | Vehicle traveling controller | |
| JP3762406B2 (en) | Vehicle travel guidance device | |
| JP2004355139A (en) | Vehicle recognition system | |
| JP6548312B2 (en) | Image processing device | |
| JP2010176592A (en) | Driving support device for vehicle | |
| CN115346193A (en) | Parking space detection method and tracking method thereof, parking space detection device, parking space detection equipment and computer readable storage medium | |
| JP5392473B2 (en) | Vehicle driving support device | |
| JP7431108B2 (en) | image recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051004 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060112 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100120 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110120 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110120 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120120 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120120 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130120 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130120 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140120 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |