JP2010282388A - Vehicular pedestrian detection device - Google Patents
Vehicular pedestrian detection device Download PDFInfo
- Publication number
- JP2010282388A JP2010282388A JP2009134712A JP2009134712A JP2010282388A JP 2010282388 A JP2010282388 A JP 2010282388A JP 2009134712 A JP2009134712 A JP 2009134712A JP 2009134712 A JP2009134712 A JP 2009134712A JP 2010282388 A JP2010282388 A JP 2010282388A
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- histogram
- distance
- vehicle
- cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両に少なくとも１つのＣＣＤカメラ等の撮像手段を搭載し、撮像された画像から距離に関するヒストグラムデータを算出し、車両の前方に存在する歩行者を検出する車両用歩行者検出装置に関する。 The present invention relates to a vehicle pedestrian detection device that includes at least one imaging unit such as a CCD camera in a vehicle, calculates histogram data relating to a distance from the captured image, and detects a pedestrian existing in front of the vehicle. .
従来、自車両の周囲に存在する車両や歩行者等の障害物を検出するため、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像手段を備え、この撮像画像を処理して車両の運転や走行に用いる情報を得る技術は公知である。 Conventionally, in order to detect obstacles such as vehicles and pedestrians existing around the host vehicle, for example, an imaging unit such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) is provided, and the captured image is processed. Techniques for obtaining information used for driving and running a vehicle are well known.
この種の障害物検出装置では、撮像された画像から輝度変化に関する画素の濃淡情報を抽出し、対象物の輪郭線に相当するエッジを検出する手法や、対象物となる歩行者や構造物等について、予め照合用のテンプレート（参照画像）を多数取得し、このテンプレートと照合する手法が採用されている。前者のエッジ検出法は、完全な閉輪郭線が抽出されない場合、対象物の切り出しが難しく、後者のテンプレート照合法は、テンプレートを多数取得しておく必要があり、照合時間が長時間必要とされる。 In this type of obstacle detection device, a method of extracting pixel grayscale information related to luminance change from a captured image and detecting an edge corresponding to the contour line of the object, a pedestrian or a structure as an object, etc. A method is adopted in which a large number of templates (reference images) for collation are acquired in advance and collated with the templates. In the former edge detection method, if a complete closed contour line is not extracted, it is difficult to cut out an object. In the latter template matching method, it is necessary to acquire a large number of templates and a long matching time is required. The
一方、車両における歩行者検出の領域では、歩行者検出精度の向上もさることながら、車両が高速走行を行っているため、現実の走行では判定処理の高速化が必要とされる。つまり、撮像された画像に対して、歩行者判定処理を行う解析処理領域を最小にし、更に、この処理時間を最小にしなければ実用に用いることが困難である。 On the other hand, in the pedestrian detection area of the vehicle, since the vehicle is traveling at a high speed while improving the accuracy of pedestrian detection, it is necessary to speed up the determination process in actual traveling. That is, it is difficult to practically use the captured image without minimizing the analysis processing area for performing the pedestrian determination process and further minimizing the processing time.
特許文献１に記載された監視装置は、２つの撮像手段によって撮像された画像から輝度分布と形状に関する特徴を抽出し、第１対象物抽出手段が、歩行者や、その特徴が歩行者に類似する人工構造物等の第１対象物を抽出する。また、第２対象物抽出手段が、第１対象物と高さ及び形状が類似する第２対象物を抽出し、この抽出された第１，第２対象物と背景の輝度とを比較し、その輝度変化量が所定値以下のとき、第１，第２対象物を人工構造物と判断するものである。特許文献１によれば、撮像画像から得られた情報のみを用いて、対象物が人工構造物であるか否かを容易に判断できる。 The monitoring device described in Patent Literature 1 extracts features relating to luminance distribution and shape from images captured by two imaging means, and the first object extraction means is similar to a pedestrian or a pedestrian in its characteristics. A first object such as an artificial structure to be extracted is extracted. Further, the second object extracting means extracts a second object having a height and shape similar to those of the first object, and compares the extracted first and second objects with the brightness of the background, When the luminance change amount is equal to or less than a predetermined value, the first and second objects are determined to be artificial structures. According to Patent Literature 1, it is possible to easily determine whether or not an object is an artificial structure using only information obtained from a captured image.
特許文献２に記載された物体検出装置は、撮像した画像を探索ウインドウで探索し、探索ウインドウ内の輝度画像とテンプレートとの比較によって道路平面に対する水平方向のヒストグラムを作成して、このヒストグラムの形状から単峰性の分布を検出している。このヒストグラム形状を判定することで、演算量の低減を図ることができ、高速で物体検出を行うことが可能となる。 The object detection device described in Patent Document 2 searches a captured window for a captured image, creates a horizontal histogram for a road plane by comparing a luminance image in the search window with a template, and shapes of the histogram Unimodal distribution is detected. By determining the histogram shape, the amount of calculation can be reduced, and object detection can be performed at high speed.
特許文献１では、人工構造物の判定を輝度変化量の演算で行い、歩行者を検出する処理時間の短縮化を図っている。また、特許文献２では、ヒストグラムを用いることで、背景に含まれ、歩行者検出に対しては解析不要である構造物等の情報を取り除き、歩行者判定の効率化を図っている。つまり、特許文献１，２は、対象物を撮像する撮像画像の検出精度を高めて、対象物である歩行者の検出精度を増すのではなく、数学的手法を用いて歩行者検出において解析不要な情報を撮像画像の背景から除去し、検出対象である歩行者を効率的に抽出している。 In Patent Document 1, an artificial structure is determined by calculating the amount of change in luminance, and the processing time for detecting a pedestrian is shortened. Further, in Patent Document 2, by using a histogram, information on structures and the like that are included in the background and do not need to be analyzed for pedestrian detection is removed to improve the efficiency of pedestrian determination. That is, Patent Documents 1 and 2 do not increase the detection accuracy of a captured image that captures an object and increase the detection accuracy of a pedestrian that is the object, but do not require analysis in pedestrian detection using a mathematical method. Pedestrians as detection targets are efficiently extracted by removing unnecessary information from the background of the captured image.
しかしながら、前記何れの文献も、歩行者判定処理を行うにあたり、撮像された画像から輝度に関する画素の濃淡情報を抽出して作成された輝度画像を判定用画像として用いている。この輝度画像は、歩行者の服の柄や皺による影響が画像上に反映されるため、画像上に形状以外の輝度変化を生じさせる。特に、処理の高速化を狙いとしてヒストグラムのような数学的手法と併用する場合には、判定用画像の背景から数値処理によって多くの情報を除去するため、画像上に形状以外の情報が多数存在する場合、誤検出の原因となり得る。 However, in any of the above-described documents, when performing the pedestrian determination process, a luminance image created by extracting pixel grayscale information relating to luminance from a captured image is used as a determination image. This luminance image causes a luminance change other than the shape on the image because the influence of the pattern and heel of the pedestrian's clothes is reflected on the image. In particular, when used in combination with a mathematical method such as a histogram for the purpose of speeding up processing, a lot of information other than shape exists on the image because many pieces of information are removed from the background of the judgment image by numerical processing. If this happens, it may cause false detection.
本発明の目的は、歩行者の服の柄や皺等形状以外の情報に影響を受けることなく、歩行者を効率的に判定可能な車両用歩行者検出装置を提供することである。 The objective of this invention is providing the pedestrian detection apparatus for vehicles which can determine a pedestrian efficiently, without being influenced by information other than shapes, such as a handle of a pedestrian's clothes, and a heel.
請求項１の車両用歩行者検出装置は、車両に搭載された少なくとも１つの撮像手段を備え、この撮像手段により撮像された車両前方の画像を処理して歩行者を検出する車両用歩行者検出装置において、前記撮像画像から距離画像を作成する距離画像作成手段と、前記距離画像に対し、所定サイズの対象物が含まれるサブウインドウを設定するサブウインドウ設定手段と、前記サブウインドウから、前記対象物の特定領域に対応するセルを設定するセル設定手段と、前記セルを構成するマトリックス状の複数の小領域内における距離勾配ベクトル、又は隣接する画素間の距離勾配ベクトルを算出する距離勾配ベクトル算出手段と、前記距離勾配ベクトルに基づきヒストグラムデータを作成するヒストグラム作成手段と、前記ヒストグラムデータを予め設定して記憶しているヒストグラム基準データと比較することにより、歩行者を判定する歩行者判定手段を備えたことを特徴としている。 The vehicle pedestrian detection device according to claim 1 includes at least one imaging unit mounted on the vehicle, and detects a pedestrian by processing an image in front of the vehicle imaged by the imaging unit. In the apparatus, distance image creating means for creating a distance image from the captured image, sub-window setting means for setting a sub-window including an object of a predetermined size for the distance image, and the target from the sub-window Cell setting means for setting a cell corresponding to a specific region of the object, and a distance gradient vector calculation for calculating a distance gradient vector in a plurality of matrix-like small regions constituting the cell or a distance gradient vector between adjacent pixels Means, histogram creating means for creating histogram data based on the distance gradient vector, and the histogram data By comparing the histogram reference data stored preset, it is characterized by having a pedestrian determination means for determining a pedestrian.
この車両用歩行者検出装置においては、撮像画像から距離画像を作成する距離画像作成手段を備えるため、形状以外の輝度変化を生じさせる歩行者の服の柄や皺による影響を受けない距離画像を得ることができる。この距離画像に対し、所定サイズの対象物が含まれるサブウインドウを設定するサブウインドウ設定手段を備えるため、広範囲の撮像画像全体ではなく、撮像画像の一部を処理して歩行者判定を行うことができ、歩行者判定を効率よく短時間で行うことができる。 Since this vehicle pedestrian detection device includes distance image creation means for creating a distance image from a captured image, a distance image that is not affected by a pedestrian's clothes pattern or wrinkles that causes a change in luminance other than the shape. Obtainable. Since this distance image is provided with a sub-window setting means for setting a sub-window including an object of a predetermined size, a pedestrian determination is performed by processing a part of the captured image instead of the entire captured image in a wide range. Therefore, pedestrian determination can be performed efficiently and in a short time.
請求項２の発明は、請求項１の発明において、前記距離勾配ベクトル算出手段は、更に、距離勾配変化率ベクトルを算出することを特徴としている。 According to a second aspect of the present invention, in the first aspect of the invention, the distance gradient vector calculating means further calculates a distance gradient change rate vector.
請求項３の発明は、請求項２の発明において、前記ヒストグラム作成手段は、前記ベクトルが有する角度毎に、距離勾配ベクトルが有する距離変化量、または距離勾配変化率ベクトルが有する距離勾配変化率量を累積加算することによってヒストグラムデータを作成することを特徴としている。 According to a third aspect of the present invention, in the second aspect of the present invention, the histogram generating means includes a distance change amount possessed by a distance gradient vector or a distance gradient change rate amount possessed by a distance gradient change rate vector for each angle possessed by the vector. Histogram data is created by accumulatively adding.
請求項４の発明は、請求項１〜３の何れか１つの発明において、前記歩行者判定手段は、前記ヒストグラムデータの特定の峰形状を前記ヒストグラム基準データにおける特定の峰形状と比較することによって歩行者を判定することを特徴としている。 According to a fourth aspect of the present invention, in any one of the first to third aspects, the pedestrian determination means compares the specific peak shape of the histogram data with the specific peak shape of the histogram reference data. It is characterized by determining pedestrians.
請求項５の発明は、請求項１〜４の何れか１つの発明において、前記ヒストグラム作成手段は、所定の車両運転状態のとき、前記サブウインドウの全領域についてセル毎のヒストグラムデータを作成し、前記全ヒストグラムデータのうち、前記ヒストグラム基準データに対して一致度が高いセルを新たな判定用セルに設定することを特徴としている。 The invention of claim 5 is the invention according to any one of claims 1 to 4, wherein the histogram creating means creates histogram data for each cell for the entire region of the sub-window when the vehicle is in a predetermined vehicle operating state. Among all the histogram data, a cell having a high coincidence with the histogram reference data is set as a new determination cell.
請求項６の発明は、請求項３の発明において、前記歩行者判定手段は、前記角度の特定の角度における前記累積加算量を前記ヒストグラム基準データの特定の角度における累積加算量と比較することによって歩行者を判定することを特徴としている。 According to a sixth aspect of the present invention, in the invention of the third aspect, the pedestrian determination means compares the cumulative addition amount at a specific angle of the angle with a cumulative addition amount at a specific angle of the histogram reference data. It is characterized by determining pedestrians.
請求項７の発明は、請求項１の発明において、前記ヒストグラム基準データは、歩行者が判定されたヒストグラムデータに基づいて設定されることを特徴としている。 The invention of claim 7 is characterized in that, in the invention of claim 1, the histogram reference data is set based on histogram data in which a pedestrian is determined.
請求項８の発明は、請求項１〜７の何れか１つの発明において、前記サブウインドウ設定手段は、前記対象物までの距離に依存せずに、前記サブウインドウの大きさを正規化することを特徴としている。 The invention of claim 8 is the invention according to any one of claims 1 to 7, wherein the sub-window setting means normalizes the size of the sub-window without depending on the distance to the object. It is characterized by.
請求項９の発明は、請求項１〜８の何れか１つの発明において、前記サブウインドウ設定手段は、前記距離画像から所定のテンプレートを用いて前記対象物が含まれるサブウインドウを設定したことを特徴としている。 According to a ninth aspect of the present invention, in any one of the first to eighth aspects, the sub-window setting unit sets a sub-window including the object using a predetermined template from the distance image. It is a feature.
請求項１０の発明は、請求項１〜９の何れか１つの発明において、前記距離画像作成手段は、距離画像をモーションステレオ処理によって作成したことを特徴としている。 According to a tenth aspect of the present invention, in any one of the first to ninth aspects, the distance image creating means creates a distance image by motion stereo processing.
請求項１の発明によれば、撮像画像から距離画像を作成する距離画像作成手段と、距離画像に対し、所定サイズの対象物が含まれるサブウインドウを設定するサブウインドウ設定手段と、サブウインドウから、対象物の特定領域に対応するセルを設定するセル設定手段と、セルを構成するマトリックス状の複数の小領域内における距離勾配ベクトル、又はセルを構成する画素間の距離勾配ベクトルを算出する距離勾配ベクトル算出手段と、距離勾配ベクトルに基づきヒストグラムデータを作成するヒストグラム作成手段と、ヒストグラムデータを予め設定して記憶しているヒストグラム基準データと比較することにより、歩行者を判定する歩行者判定手段を備えたため、歩行者の服の柄や皺等形状以外の情報に影響を受けることなく、歩行者を効率的に検出できる。 According to the first aspect of the present invention, the distance image creating means for creating the distance image from the captured image, the sub window setting means for setting the sub window including the object of the predetermined size for the distance image, and the sub window A cell setting means for setting a cell corresponding to a specific area of the object and a distance for calculating a distance gradient vector in a plurality of matrix-like small areas constituting the cell or a distance gradient vector between pixels constituting the cell Gradient vector calculating means, histogram creating means for creating histogram data based on the distance gradient vector, and pedestrian determination means for determining a pedestrian by comparing the histogram data with histogram reference data stored in advance. The pedestrian is not affected by information other than the shape of the pedestrian's clothes and heels. It can be efficiently detected.
つまり、距離画像作成手段を備えたため、歩行者検出において解析不要な情報を除去した距離画像を得ることができる。また、サブウインドウ設定手段とセル設定手段とを備えたため、作成した距離画像よりも小範囲のサブウインドウと、このサブウインドウよりも小範囲とされ、対象物の形状に対応した特定領域としてのセルを設定することができ、判定処理時間の短縮化を図れる。更に、距離勾配ベクトル算出手段とヒストグラム作成手段とを備えたため、対象物の形状に対応した特定領域としてのセルの距離勾配ベクトルについて、歩行者検出に必要なヒストグラムデータを得ることができる。しかも、このヒストグラムデータを予め記憶しているヒストグラム基準データと比較して歩行者を判定するため、歩行者の形状判定に解析不要な情報を除去した状態で判定でき、歩行者判定処理の高速化と誤検出防止を図ることができる。 That is, since the distance image creating means is provided, it is possible to obtain a distance image from which information unnecessary for analysis is removed in pedestrian detection. In addition, since the sub-window setting means and the cell setting means are provided, the sub-window having a smaller range than the created distance image and the cell as a specific region corresponding to the shape of the target object are set to be smaller than the sub-window. The determination processing time can be shortened. Furthermore, since the distance gradient vector calculation means and the histogram creation means are provided, histogram data necessary for pedestrian detection can be obtained for the distance gradient vector of the cell as a specific region corresponding to the shape of the object. Moreover, since this histogram data is compared with the histogram reference data stored in advance, the pedestrian is determined, so that it is possible to determine in a state where information unnecessary for analysis is removed in the pedestrian shape determination, and the pedestrian determination process is accelerated. And false detection can be prevented.
請求項２の発明によれば、距離勾配ベクトル算出手段が、距離勾配変化率ベクトルを算出するため、幾何学的に曲率が一定とされる人工構造物を処理負荷を増すことなく背景画像から除去することができ、更に、歩行者判定処理の高速化と誤検出防止を図ることができる。 According to the invention of claim 2, since the distance gradient vector calculating means calculates the distance gradient change rate vector, an artificial structure having a geometrically constant curvature is removed from the background image without increasing the processing load. Furthermore, it is possible to speed up the pedestrian determination process and prevent erroneous detection.
請求項３の発明によれば、ヒストグラム作成手段は、距離勾配ベクトルが有する角度毎に、距離勾配ベクトルが有する距離変化量を累積加算することによってヒストグラムデータを作成するため、形状に付随する角度毎の特徴を処理負荷を増すことなく抽出でき、歩行者の比較判定処理の高速化が図れる。また、距離勾配変化率ベクトルの角度毎に、距離勾配変化率ベクトルが有する距離勾配変化率量を累積加算してヒストグラムデータを作成するため、距離勾配ベクトルによる判定と同様に、形状に付随する角度毎の特徴を処理負荷を増すことなく抽出でき、歩行者の比較判定処理の一層の高速化が図れる。 According to the invention of claim 3, the histogram creation means creates the histogram data by accumulating the distance change amount of the distance gradient vector for each angle of the distance gradient vector. Can be extracted without increasing the processing load, and the speed of the pedestrian comparison and determination process can be increased. In addition, since the histogram data is created by accumulating the distance gradient change rate amount of the distance gradient change rate vector for each angle of the distance gradient change rate vector, the angle associated with the shape is determined in the same manner as the determination by the distance gradient vector. Each feature can be extracted without increasing the processing load, and the speed of the pedestrian comparison and determination process can be further increased.
請求項４の発明によれば、歩行者判定手段は、ヒストグラムデータの特定の峰形状をヒストグラム基準データにおける特定の峰形状と比較することによって歩行者を判定するため、処理負荷を増すことなく歩行者を容易に且つ精度よく検出できる。 According to the invention of claim 4, the pedestrian determination means determines the pedestrian by comparing the specific peak shape of the histogram data with the specific peak shape in the histogram reference data, and thus walks without increasing the processing load. Can be detected easily and accurately.
請求項５の発明によれば、ヒストグラム作成手段は、所定の車両運転状態のとき、サブウインドウの全領域についてセル毎のヒストグラムデータを作成するため、車両走行中の歩行者判定を阻害することなく、サブウインドウの全領域についてセル毎のヒストグラムデータを得ることができる。更に、全ヒストグラムデータのうち、ヒストグラム基準データに対して一致度が高いセルを新たな判定用セルに設定するため、歩行者検出の容易化と検出精度向上が共に図れ、一層誤検出防止と処理負荷低減が図れる。 According to the invention of claim 5, since the histogram creation means creates histogram data for each cell for the entire area of the sub-window when the vehicle is in a predetermined driving state, it does not obstruct pedestrian determination during vehicle travel. The histogram data for each cell can be obtained for the entire area of the subwindow. Furthermore, among all the histogram data, the cell having a high degree of coincidence with the histogram reference data is set as a new determination cell, so that both pedestrian detection and detection accuracy can be improved, further preventing false detection and processing. The load can be reduced.
請求項６の発明によれば、歩行者判定手段は、前記角度の特定の角度における累積加算量をヒストグラム基準データの特定の角度における累積加算量と比較することによって歩行者を判定するため、処理負荷を増すことなく歩行者を容易に検出できる。 According to the invention of claim 6, the pedestrian determination means determines the pedestrian by comparing the cumulative addition amount at the specific angle of the angle with the cumulative addition amount at the specific angle of the histogram reference data. Pedestrians can be easily detected without increasing the load.
請求項７の発明によれば、ヒストグラム基準データは、歩行者が実際に判定されたヒストグラムデータに基づいて設定されるため、ヒストグラム基準データを適正化でき、歩行者検出精度を高めることができる。 According to the seventh aspect of the present invention, since the histogram reference data is set based on the histogram data actually determined by the pedestrian, the histogram reference data can be optimized and the pedestrian detection accuracy can be increased.
請求項８の発明によれば、サブウインドウ設定手段は、対象物までの距離に依存せずに、サブウインドウの大きさを正規化するため、対象物までの距離に拘わらず、同じ大きさのサブウインドウによって比較判定でき、検出精度向上と処理の高速化が図れる。 According to the invention of claim 8, since the sub-window setting means normalizes the size of the sub-window without depending on the distance to the object, the sub-window setting means has the same size regardless of the distance to the object. Comparison and determination can be made by the sub-window, so that detection accuracy can be improved and processing speed can be increased.
請求項９の発明によれば、サブウインドウ設定手段は、距離画像から所定のテンプレートを用いて対象物が含まれるサブウインドウを設定したため、サブウインドウの設定が容易になり、処理の高速化が図れる。 According to the ninth aspect of the present invention, since the sub-window setting means sets the sub-window including the object using the predetermined template from the distance image, the setting of the sub-window becomes easy and the processing speed can be increased. .
請求項１０の発明によれば、距離画像作成手段は、距離画像をモーションステレオ処理によって作成したため、単一カメラで距離画像を作成できる。 According to the invention of claim 10, since the distance image creating means creates the distance image by motion stereo processing, the distance image can be created by a single camera.
以下、本発明を実施するための形態について実施例に基づいて説明する。 Hereinafter, modes for carrying out the present invention will be described based on examples.
以下、この発明の実施例について、図１〜図９に基づいて説明する。 Embodiments of the present invention will be described below with reference to FIGS.
図１、図２に示すように、車両用歩行者検出装置１は、ＣＣＤカメラ２、車両の走行速度を検出する車速センサ３、乗員によるブレーキ操作を検出可能なブレーキスイッチ４、ＧＰＳ手段５（Global Positioning System）、インスツルメントパネルに配置される警報装置６、車両用歩行者検出装置１のコントロールユニット９を備えている。また、このコントロールユニット９は、ブレーキ装置７、操舵制御装置８と電気的に接続されている。 As shown in FIGS. 1 and 2, the pedestrian detection device 1 for a vehicle includes a CCD camera 2, a vehicle speed sensor 3 that detects the traveling speed of the vehicle, a brake switch 4 that can detect a brake operation by an occupant, and GPS means 5 ( Global Positioning System), an alarm device 6 arranged on the instrument panel, and a control unit 9 for the vehicle pedestrian detection device 1. The control unit 9 is electrically connected to the brake device 7 and the steering control device 8.
ＣＣＤカメラ２は、車両の進行方向前方を撮像する撮像手段であり、例えば、フロントガラスの上部後側に前方へ向けて取付けられ、コントロールユニット９からの指示によってＣＣＤカメラ２の撮像方向を変更可能に構成されている。ＣＣＤカメラ２は自車両前方の歩行者等を含む前方視界を撮像した後、このＣＣＤカメラ２で撮像された輝度画像情報はコントロールユニット９に送られる。この歩行者検出装置１では、単一のＣＣＤカメラ２によって、異なる地点から２枚の輝度画像を撮像し、この２枚の輝度画像から三角測量法を用いて距離画像を作成するモーションステレオ処理を採用している。尚、複眼のステレオカメラを設け、同時に２枚の輝度画像を撮像することも可能である。 The CCD camera 2 is an imaging unit that images the front of the vehicle in the traveling direction. For example, the CCD camera 2 is attached to the front rear side of the windshield and can change the imaging direction of the CCD camera 2 according to an instruction from the control unit 9. It is configured. After the CCD camera 2 images the forward field of view including a pedestrian or the like ahead of the host vehicle, the luminance image information captured by the CCD camera 2 is sent to the control unit 9. In this pedestrian detection device 1, motion stereo processing is performed in which a single CCD camera 2 captures two luminance images from different points and creates a distance image from the two luminance images using a triangulation method. Adopted. It is also possible to provide a compound-eye stereo camera and simultaneously capture two luminance images.
ＧＰＳ手段５は、自車両の現在走行位置（緯度・経度）を検出する。このＧＰＳ手段５は、例えば、人工衛星や地磁気を利用して位置を検出するもの、或いは車速と舵角との関係から自車両Ｖの走行位置を追跡して現在走行位置を検出するもの等、既知の位置検出手段を適宜選択可能である。 The GPS means 5 detects the current traveling position (latitude / longitude) of the host vehicle. For example, the GPS means 5 detects the position using an artificial satellite or geomagnetism, or detects the current traveling position by tracking the traveling position of the host vehicle V based on the relationship between the vehicle speed and the steering angle. Known position detection means can be selected as appropriate.
警報装置６は、検出した歩行者の自車両に対する危険度に応じて、コントロールユニット９からの指示により乗員の注意を喚起するための警報を行う。この警報装置６は、図示しないスピーカ、ブザー、ランプ、ディスプレイを有しており、これらスピーカ等の少なくとも１つを残して省略可能である。 The warning device 6 issues a warning for alerting the occupant in accordance with an instruction from the control unit 9 according to the detected danger level of the pedestrian to the own vehicle. The alarm device 6 includes a speaker, a buzzer, a lamp, and a display (not shown), and can be omitted except for at least one of these speakers.
ブレーキ装置７は、検出した歩行者の自車両に対する危険度に応じて、コントロールユニット９からの指示により車両の制動制御を行う。このブレーキ装置７は、危険度が中のとき、比較的弱い、乗員に注意を促すための一次ブレーキを作動するよう構成している。また、危険度が高のとき、歩行者との衝突を回避するための強い二次ブレーキを作動するよう構成している。 The brake device 7 performs braking control of the vehicle according to an instruction from the control unit 9 according to the detected degree of danger of the pedestrian to the own vehicle. The brake device 7 is configured to operate a primary brake that is relatively weak and alerts the occupant when the degree of danger is medium. Further, when the degree of danger is high, a strong secondary brake for avoiding a collision with a pedestrian is operated.
操舵制御装置８は、検出した歩行者の自車両に対する危険度に応じて、コントロールユニット９からの指示により車両の操舵力を付与する。この操舵制御装置８は、危険度が高のとき、ナックルアーム、タイロッド、駆動機構からなる操舵機構（図示略）によって歩行者との衝突を回避するための操舵力を付与するよう構成している。 The steering control device 8 gives the steering force of the vehicle according to an instruction from the control unit 9 according to the detected degree of danger of the pedestrian to the own vehicle. The steering control device 8 is configured to apply a steering force for avoiding a collision with a pedestrian by a steering mechanism (not shown) including a knuckle arm, a tie rod, and a drive mechanism when the degree of danger is high. .
図２に示すように、コントロールユニット９は、画像記憶手段１０、モーションステレオ手段１１、距離画像作成手段１２、正規化手段１３（サブウインドウ設定手段）、セル作成手段１４、判定用セル設定手段１５、第１距離勾配ベクトル算出手段１６、第１ヒストグラム作成手段１７、歩行者判定手段１８、歩行者危険度判定手段１９を備えている。更に、コントロールユニット９は、学習条件判定手段２０、第２距離勾配ベクトル算出手段２１、第２ヒストグラム作成手段２２、一致度判定手段２３、ヒストグラム保存判定手段２４、判定用データ作成手段２５、第１メモリ手段２６、第２メモリ手段２７を備えている。 As shown in FIG. 2, the control unit 9 includes an image storage unit 10, a motion stereo unit 11, a distance image creation unit 12, a normalization unit 13 (subwindow setting unit), a cell creation unit 14, and a determination cell setting unit 15. The first distance gradient vector calculating means 16, the first histogram creating means 17, the pedestrian determining means 18, and the pedestrian risk determining means 19 are provided. Further, the control unit 9 includes a learning condition determination unit 20, a second distance gradient vector calculation unit 21, a second histogram generation unit 22, a coincidence degree determination unit 23, a histogram storage determination unit 24, a determination data generation unit 25, a first Memory means 26 and second memory means 27 are provided.
図３に示すように、画像記憶手段１０は、ＣＣＤカメラ２で撮像された車両前方の対象物Ｏが含まれる実空間である対象領域Ｆ０の輝度画像をメモリ（図示略）に記憶している。
この歩行者検出装置１は単一のＣＣＤカメラ２によるモーションステレオ処理を行うため、画像記憶手段１０は、対象領域Ｆ０の第１輝度画像Ｆ１と、所定時間後、異なる位置から撮像した第１輝度画像Ｆ１と同じ対象領域Ｆ０の第２輝度画像Ｆ２を記憶している。
As shown in FIG. 3, the image storage means 10 stores in a memory (not shown) a luminance image of the target area F0 that is a real space including the object O ahead of the vehicle imaged by the CCD camera 2. .
Since this pedestrian detection apparatus 1 performs motion stereo processing using a single CCD camera 2, the image storage means 10 and the first luminance image F1 of the target area F0 and the first luminance imaged from different positions after a predetermined time. A second luminance image F2 of the same target area F0 as the image F1 is stored.
モーションステレオ手段１１は、第１，第２輝度画像Ｆ１，Ｆ２に基づいて、対象領域Ｆ０の夫々の画素と自車両との距離を算出する。このモーションステレオ手段１１は、ＧＰＳ手段５から得られた自車両の位置（緯度・経度）と第１輝度画像Ｆ１中の特徴点と，これに対応する第２輝度画像Ｆ２中の対応点の視差量を用いて、三角測量法により各画素の距離情報を求める。尚、この三角測量法は公知の技術のため、詳細は説明を省略する。 The motion stereo means 11 calculates the distance between each pixel of the target area F0 and the host vehicle based on the first and second luminance images F1 and F2. This motion stereo means 11 is a parallax between the position (latitude / longitude) of the host vehicle obtained from the GPS means 5, the feature point in the first luminance image F1, and the corresponding point in the second luminance image F2 corresponding thereto. Using the quantity, distance information of each pixel is obtained by triangulation. Since this triangulation method is a known technique, a detailed description thereof will be omitted.
図３に示すように、距離画像作成手段１２は、モーションステレオ手段１１によって算出された各画素の距離情報に基づき、対象物Ｏが含まれる距離画像Ｆ３を作成する。ＣＣＤカメラ２で撮像された第１，第２輝度画像Ｆ１，Ｆ２は、輝度変化に関する各画素の濃淡情報で表現されるため、歩行者の服の柄や皺による影響が画像に現れる。一方、距離画像作成手段１２で作成された距離画像Ｆ３は、歩行者判定に解析不要な輝度情報を除去した形状及び距離情報のみで構成されている。 As shown in FIG. 3, the distance image creating unit 12 creates a distance image F <b> 3 including the object O based on the distance information of each pixel calculated by the motion stereo unit 11. Since the first and second luminance images F1 and F2 captured by the CCD camera 2 are expressed by shading information of each pixel relating to the luminance change, the influence of the pedestrian's clothes pattern and heel appears on the image. On the other hand, the distance image F3 created by the distance image creating means 12 is composed only of the shape and distance information from which luminance information unnecessary for analysis for pedestrian determination is removed.
図４に示すように、正規化手段１３は、距離画像Ｆ３内に歩行者らしき対象物が存在する探索領域Ｔ１を設定し、この探索領域Ｔ１を予め規定された所定サイズのサブウインドウＷに正規化する。まず始めに、正規化手段１３は、所定の対象物Ｏを判定する場合、対象物Ｏと略同距離に存在する他の対象物に基づいて設定されるテンプレート（参照画像）を用いて対象物Ｏが歩行者らしき対象物か否か判定している。このテンプレートは、歩行者に相当する高さと領域を有しており、対象物Ｏと略同距離に存在する他の対象物（例えばガードレール等）の高さ、又は対象物Ｏの画素が有する距離データに比例して拡大縮小可能とされている。 As shown in FIG. 4, the normalizing means 13 sets a search area T1 in which a pedestrian-like object exists in the distance image F3, and normalizes the search area T1 to a predetermined subwindow W of a predetermined size. Turn into. First, when determining the predetermined object O, the normalizing means 13 uses a template (reference image) set based on another object that is present at substantially the same distance as the object O. It is determined whether O is an object that seems to be a pedestrian. This template has a height and a region corresponding to a pedestrian, the height of another object (for example, a guardrail, etc.) existing at substantially the same distance as the object O, or the distance of pixels of the object O It can be scaled in proportion to the data.
次に、正規化手段１３は、テンプレートを用いた照合によって、所定の対象物Ｏが歩行者らしき対象物と判定された場合、歩行者らしき対象物の存在する領域を探索領域Ｔ１として設定する。しかも、正規化手段１３は、設定された探索領域Ｔ１を距離に依存しない一定のサイズのサブウインドウＷとなるよう領域の大きさを調整している。
つまり、図４に示すように、歩行者らしき対象物が近距離に存在する場合は探索領域Ｔ１を縮小し、距離画像Ｆ４のように、歩行者らしき対象物が遠距離に存在する場合は探索領域Ｔ２を拡大することで、常に一定サイズのサブウインドウＷとなるように正規化している。
Next, when the predetermined object O is determined as a pedestrian-like object by collation using a template, the normalizing unit 13 sets an area where the pedestrian-like object exists as the search area T1. Moreover, the normalizing means 13 adjusts the size of the set search region T1 so that the sub-window W has a certain size independent of the distance.
That is, as shown in FIG. 4, the search area T1 is reduced when a pedestrian-like object exists at a short distance, and when a pedestrian-like object exists at a long distance as in the distance image F4, the search is performed. By enlarging the region T2, normalization is performed so that the sub window W always has a constant size.
図４に示すように、セル作成手段１４は、サブウインドウＷ内をＮ×Ｍの複数のセルＳに分割する。分割数Ｎ，Ｍは、予め設定された値であり、歩行者検出精度と判定処理速度とを両立可能な値を実験値によって求めている。また、分割数Ｎ，Ｍについて、歩行者検出結果に基づく学習によって自動更新するように構成することも可能である。尚、この歩行者検出装置１では、サブウインドウＷ内を４×２に分割した例を説明する。 As shown in FIG. 4, the cell creation means 14 divides the subwindow W into a plurality of N × M cells S. The division numbers N and M are values set in advance, and a value that can achieve both pedestrian detection accuracy and determination processing speed is obtained from an experimental value. Further, the division numbers N and M can be automatically updated by learning based on the pedestrian detection result. In the pedestrian detection device 1, an example in which the sub window W is divided into 4 × 2 will be described.
判定用セル設定手段１５は、セル作成手段１４で設定された２×４の複数セルのうち、歩行者判定処理を行う特定の判定用セルＳ（ｎ，ｍ）を設定する。第１メモリ手段２６に記憶された歩行者検出精度の高い部位（例えば歩行者の腰部）の判定用セル番号（例えば腰部相当のセルＳ（３，２））に基づいて、判定用セルＳ（３，２）をサブウインドウＷ内から抽出する。尚、第１メモリ手段２６には、過去の歩行者判定処理で得られたデータがセルＳ毎に記憶されている。更に、このセルＳの夫々に歩行者検出の判定精度、所謂確からしさが記憶されており、その中で最も検出精度の高いセル番号（ｎ，ｍ）が判定用セル番号として判定用セル設定手段１５に送られるよう構成されている。 The determination cell setting unit 15 sets a specific determination cell S (n, m) for performing a pedestrian determination process among the 2 × 4 cells set by the cell creation unit 14. Based on the determination cell number (for example, the cell S (3, 2) corresponding to the waist) of the part (for example, the waist of the pedestrian) stored in the first memory means 26, the determination cell S ( 3 and 2) are extracted from the subwindow W. The first memory means 26 stores data obtained in the past pedestrian determination process for each cell S. Further, the determination accuracy of pedestrian detection, so-called certainty, is stored in each of the cells S, and the cell number (n, m) with the highest detection accuracy among them is used as the determination cell number. 15 to be sent.
判定用セルＳ（ｎ，ｍ）の選択部位は、通常走行時の歩行者検出結果に基づき、学習によって自動更新されるよう構成されている。また、判定用セルＳ（ｎ，ｍ）の学習開始前の初期値は、ディーラや出荷時において工場で予め設定された値が記憶されている。尚、以後、説明の便宜上、腰部に相当するセルＳ（３，２）を予め設定された判定用セルＳ（ｎ，ｍ）の例として説明を行う。 The selected part of the determination cell S (n, m) is configured to be automatically updated by learning based on a pedestrian detection result during normal driving. In addition, as the initial value of the determination cell S (n, m) before the start of learning, a value preset in a factory at the time of dealer or shipment is stored. Hereinafter, for convenience of explanation, the cell S (3, 2) corresponding to the waist is described as an example of the predetermined determination cell S (n, m).
第１距離勾配ベクトル算出手段１６は、図５（ａ）に示すように、判定用セルＳ（３，２）を構成するマトリックス状の複数の小領域Ｃ（Ｐ，Ｑ）に関する距離勾配ベクトルＶＫ（Ｋ＝１，２，３、・）を算出する。この歩行者検出装置１では、判定用セルＳ（３，２）を各小領域Ｃ（Ｐ，Ｑ）（Ｐ＝１，２，３，４，Ｑ＝１，２，３，４）が３×３の画素からなるように分割している。画素数３×３は、予め設定された値であり、歩行者検出精度と判定処理速度とを両立可能な値を実験値によって求めている。 As shown in FIG. 5A, the first distance gradient vector calculating means 16 is a distance gradient vector V related to a plurality of matrix-like small regions C (P, Q) constituting the determination cell S (3, 2). K (K = 1, 2, 3,...) Is calculated. In this pedestrian detection apparatus 1, the determination cell S (3, 2) is divided into 3 small areas C (P, Q) (P = 1, 2, 3, 4, Q = 1, 2, 3, 4). It is divided so as to consist of × 3 pixels. The number of pixels 3 × 3 is a preset value, and a value that can achieve both pedestrian detection accuracy and determination processing speed is obtained from an experimental value.
図５（ａ）に示すように、小領域Ｃ内の所定の画素ｇＫ（Ｋ＝１，２…）とこの画素ｇＫと隣り合う画素ｇＫ−１とが、夫々持っている各距離データより、その差ベクトルを算出することで、距離勾配ベクトルＶＫ（Ｋ＝１，２…）を算出する。具体的には、Ｙ方向の画素間距離勾配ベクトルａｉと，Ｘ方向の画素間距離勾配ベクトルａｊ，を算出し、これより距離勾配ベクトルＶＫは次式のベクトル和として算出することができる。
ＶＫ＝ａｉ＋ａｊ …（１）
第１距離勾配ベクトル算出手段１６は、式（１）を用いて、判定用セルＳ（２，３）内の各小領域Ｃについて、距離勾配ベクトルＶＫを算出し、これより、距離勾配ベクトル絶対値＝｜ＶＫ｜、距離勾配ベクトル角度θ＝ａｒｇ（ＶＫ）を算出するよう構成されている。
As shown in FIG. 5 (a), the distances and the pixel g K-1 adjacent to the predetermined pixel g K in the small area C (K = 1,2 ...) and the pixel g K is, have respectively A distance gradient vector V K (K = 1, 2,...) Is calculated by calculating the difference vector from the data. Specifically, the inter-pixel distance gradient vector a i in the Y direction and the inter-pixel distance gradient vector a j in the X direction are calculated, and the distance gradient vector V K can be calculated as a vector sum of the following equation. it can.
V K = a i + a j (1)
The first distance gradient vector calculating means 16 calculates a distance gradient vector V K for each small region C in the determination cell S (2,3) using the equation (1), and from this, the distance gradient vector The absolute value = | V K | and the distance gradient vector angle θ = arg (V K ) are calculated.
また、第１距離勾配ベクトル算出手段１６は、前記に代えて、図５（ｂ）に示す方法によることとしても良い。即ち、予め、画素数の決められた小領域Ｃ（Ｐ，Ｑ）に分割することなく、判定用セルＳ（３，２）内のすべての画素ｇＫ（Ｋ＝１，２…）の距離データに対して、これに隣接する画素の距離データの差ベクトルより、前述の方法にて距離勾配ベクトルＶＫ（Ｋ＝１，２…）を算出し、これより絶対値＝｜ＶＫ｜、角度θ＝ａｒｇ（ＶＫ）を算出し、順次、すぐ右隣の画素ｇＫ＋１に対して同様の算出をおこなう。このように、判定用セルＳ（３，２）内の全ての画素を左上から右下まで走査することで全ての画素に対して、距離勾配ベクトルＶＫ、を算出し、これより絶対値＝｜ＶＫ｜、角度θ＝ａｒｇ（ＶＫ）を算出する。これにより、離散的でなく、連続的な距離勾配ベクトルＶＫ（Ｋ＝１，２…）、絶対値＝｜ＶＫ｜、角度θ＝ａｒｇ（ＶＫ）を算出することが出来る。 Further, the first distance gradient vector calculating means 16 may be based on the method shown in FIG. That is, the distance between all the pixels g K (K = 1, 2,...) In the determination cell S (3, 2) without being divided into small regions C (P, Q) having a predetermined number of pixels. For the data, a distance gradient vector V K (K = 1, 2...) Is calculated by the above-described method from the difference vector of the distance data of pixels adjacent to the data, and the absolute value = | V K | The angle θ = arg (V K ) is calculated, and the same calculation is sequentially performed on the pixel g K + 1 immediately adjacent to the right. In this way, the distance gradient vector V K is calculated for all the pixels by scanning all the pixels in the determination cell S (3, 2) from the upper left to the lower right, and the absolute value = | V K | and angle θ = arg (V K ) are calculated. Thereby, it is possible to calculate a continuous distance gradient vector V K (K = 1, 2,...), Absolute value = | V K |, and angle θ = arg (V K ), not discrete.
次に、第１ヒストグラム作成手段１７は、上述の方法により求めた距離勾配ベクトルＶＫ（Ｋ＝１，２…）の、絶対値＝｜ＶＫ｜、角度θ＝ａｒｇ（ＶＫ）に基づき判定用セルＳ（３，２）に関するヒストグラムデータＨ１（図６参照）を作成する。第１ヒストグラム作成手段１７は、距離勾配ベクトルＶＫが有する角度θ毎に、距離勾配ベクトルＶＫが有する距離変化量である絶対値｜ＶＫ｜を累積加算してヒストグラムデータＨ１を作成するよう構成されている。このヒストグラムデータＨ１は、横軸が角度θ、縦軸が角度毎の距離変化量の加算値Ｓｄからなる棒形状とされ、夫々隣り合う角度θにおける各加算値Ｓｄの頂点を連続して結んだとき、Ｖ字状等夫々撮像された対象物Ｏに固有の峰形状を形成している。つまり、ヒストグラムデータＨ１は、判定用データとして、全体的には対象物Ｏに固有の峰形状を備え、角度毎には距離変化量加算値Ｓｄを特徴として備えている。 Next, the first histogram creating means 17 is based on the absolute value = | V K | and the angle θ = arg (V K ) of the distance gradient vector V K (K = 1, 2,...) Obtained by the above method. Histogram data H1 (see FIG. 6) relating to the determination cell S (3, 2) is created. The first histogram creating means 17, for each angle θ the distance gradient vector V K has a distance gradient vector V distance change amount in which the absolute value K has | V K | to create a histogram data H1 cumulatively adding It is configured. The histogram data H1 has a bar shape in which the horizontal axis is the angle θ and the vertical axis is the added value Sd of the distance variation for each angle, and the vertices of the added values Sd at the adjacent angles θ are continuously connected. At this time, a unique ridge shape is formed in each of the captured objects O such as a V-shape. That is, the histogram data H1 has a peak shape inherent to the object O as a whole as determination data, and is characterized by a distance change amount addition value Sd for each angle.
歩行者判定手段１８は、作成されたヒストグラムデータＨ１と、第２メモリ２７に記憶されたヒストグラム基準データＨ０（図７参照）とを比較することにより対象物Ｏが歩行者か否かを判定する。歩行者の判定は、以下の条件１，２の何れか一方が成立した場合、対象物Ｏを歩行者と判定する。
［条件１］：ヒストグラムデータＨ１における各加算値Ｓｄの峰形状（例えばＶ字状）とヒストグラム基準データＨ０における各加算値Ｓｄ０の峰形状とが類似している場合
［条件２］：ヒストグラムデータＨ１の所定角度（例えばθ＝２０°）における累積加算値Ｓｄが所定値（例えば８０）以上の場合
尚、条件１については、特定の角度範囲、例えば９０°未満における加算値Ｓｄの峰形状がＶ字状か否かを判定する等、歩行者検出精度の高い角度範囲を予め選定して判定を行ってもよい。また、条件２については、過去、歩行者を検出したときのヒストグラムデータＨ１から累積加算値Ｓｄを比較する所定値を変更するようにしてもよい。
The pedestrian determination means 18 determines whether or not the object O is a pedestrian by comparing the created histogram data H1 with the histogram reference data H0 (see FIG. 7) stored in the second memory 27. . The determination of a pedestrian determines that the object O is a pedestrian when either one of the following conditions 1 and 2 is satisfied.
[Condition 1]: When the peak shape (for example, V shape) of each added value Sd in the histogram data H1 is similar to the peak shape of each added value Sd0 in the histogram reference data H0 [Condition 2]: Histogram data H1 When the cumulative added value Sd at a predetermined angle (for example, θ = 20 °) is greater than or equal to a predetermined value (for example, 80). For condition 1, the peak shape of the added value Sd at a specific angle range, for example, less than 90 ° The determination may be made by selecting in advance an angle range with high pedestrian detection accuracy, such as determining whether the shape is a letter. For condition 2, a predetermined value for comparing the cumulative addition value Sd from the histogram data H1 when the pedestrian is detected in the past may be changed.
歩行者危険度判定手段１９は、歩行者判定手段１８が歩行者を判定した場合、歩行者と自車両との距離に基づき危険度を判定し、この危険度に応じて警報装置６、ブレーキ装置７、操舵制御装置８に作動指令を送信する。歩行者危険度判定手段１９は、歩行者と自車両との距離に基づいて危険度を区分しており、単に情報提供を狙いとする危険度低（離間距離：５０〜１００ｍ）、警報を狙いとする危険度中（離間距離：１０〜５０ｍ）、強制回避を狙いとする危険度高（離間距離：１０ｍ以下）とされている。 When the pedestrian determination means 18 determines a pedestrian, the pedestrian risk level determination means 19 determines the risk level based on the distance between the pedestrian and the host vehicle, and the alarm device 6 and the brake device according to the risk level. 7. An operation command is transmitted to the steering control device 8. The pedestrian risk level judging means 19 classifies the risk level based on the distance between the pedestrian and the host vehicle, and the risk level is simply aimed at providing information (separation distance: 50 to 100 m), aiming at an alarm. The risk level is high (separation distance: 10 to 50 m), and the risk level is high (separation distance: 10 m or less) aimed at forced avoidance.
学習条件判定手段２０は、所定の車両運転状態を検出し、前述の歩行者判定に用いるヒストグラム基準データＨ０の更新に用いる学習用ヒストグラムデータＨ２の作成開始を判定している。この歩行者検出装置１では、速い判定時間が要求されない車両停車中で確実に横断歩行者がカメラで撮像される状況下にある場合や、工場やディーラでの出荷前に人間をカメラ前に立たせ撮像する場合に学習用ヒストグラムデータＨ２を作成している。車速センサ３の検出値零とブレーキスイッチ４のオン信号の検出によって車両の停車状態を検出し、学習用ヒストグラムデータＨ２の作成を開始する。尚、工場出荷前であれば、エンジンルーム内に設置したテストスイッチオンで学習用ヒストグラムデータＨ２の作成を開始することも可能である。 The learning condition determination means 20 detects a predetermined vehicle driving state, and determines the start of creating the learning histogram data H2 used for updating the histogram reference data H0 used for the pedestrian determination described above. In this pedestrian detection device 1, when a vehicle is parked where a fast determination time is not required and a crossing pedestrian is in a situation where the camera is surely imaged by the camera, or a person is placed in front of the camera before shipping at a factory or dealer. Learning histogram data H2 is created when imaging. The stop state of the vehicle is detected by detecting the detected value zero of the vehicle speed sensor 3 and the ON signal of the brake switch 4, and the creation of learning histogram data H2 is started. If it is before shipment from the factory, the creation of the learning histogram data H2 can be started by turning on a test switch installed in the engine room.
前記学習用ヒストグラムデータＨ２の作成開始条件成立時、第２距離勾配ベクトル算出手段２１は、サブウインドウＷ内の全セルＳについて、夫々のセルＳを構成するマトリックス状の複数の小領域Ｃ、又は全ての画素に関する距離勾配ベクトルＶＫを算出している。距離勾配ベクトルＶＫの算出方法は、第１距離勾配ベクトル算出手段１６と同様であり、夫々のセルＳについて距離勾配ベクトルＶＫを求める。 When the creation start condition of the learning histogram data H2 is satisfied, the second distance gradient vector calculation means 21 is configured to apply a plurality of matrix-like small regions C constituting each cell S for all the cells S in the subwindow W, or A distance gradient vector V K for all pixels is calculated. The calculation method of the distance gradient vector V K is the same as that of the first distance gradient vector calculation means 16, and the distance gradient vector V K is obtained for each cell S.
第２ヒストグラム作成手段２２は、前記第２距離勾配ベクトル算出手段２１により算出した距離勾配ベクトルＶＫを用いて夫々のセルＳについて上述の学習用ヒストグラムデータＨ２を作成する。第２ヒストグラム作成手段２２は、第１ヒストグラム作成手段１７と同様に、距離勾配ベクトルＶＫが有する角度θ毎に、距離勾配ベクトルＶＫが有する距離変化量を累積加算した学習用ヒストグラムデータＨ２を各セルＳについて作成している。この歩行者検出装置１では、４×２の８枚の学習用ヒストグラムデータＨ２が作成される。 The second histogram creating means 22, for the cells S each creating a learning histogram data H2 of above using distance gradient vector V K calculated by the second distance gradient vector calculation unit 21. Second histogram creating means 22, like the first histogram creating means 17, a distance gradient for each angle θ of the vector V K has a distance gradient vector V K distance variation histogram data H2 for learning obtained by accumulating with Each cell S is created. In this pedestrian detection device 1, 8 pieces of 4 × 2 learning histogram data H2 are created.
更に、一致度判定手段２３は、８枚のセルＳ夫々について作成された学習用ヒストグラムデータＨ２と第１メモリ手段２６に記憶された歩行者を検出したときの各部位のヒストグラム基準データＨ０（図７参照）との一致度判定を行う。一致度判定は以下のように行う。
［判定１］：夫々の学習用ヒストグラムデータＨ２における各加算値Ｓｄの峰形状と既に記憶されているヒストグラム基準データＨ０における各加算値Ｓｄ０の峰形状との類似判定
［判定２］：夫々の学習用ヒストグラムデータＨ２の所定角度（例えばθ＝２０°）における累積加算値Ｓｄとヒストグラム基準データＨ０の所定角度（例えばθ＝２０°）における累積加算値Ｓｄ０との類似判定
Further, the coincidence degree determination means 23 detects the histogram reference data H0 for each part when the learning histogram data H2 created for each of the eight cells S and the pedestrian stored in the first memory means 26 are detected (FIG. 7). The degree of coincidence is determined as follows.
[Determination 1]: Similarity determination between the peak shape of each added value Sd in each learning histogram data H2 and the peak shape of each added value Sd0 in the already stored histogram reference data H0 [Determination 2]: Each learning Similarity determination between the cumulative addition value Sd at a predetermined angle (for example, θ = 20 °) of the histogram data H2 and the cumulative addition value Sd0 at the predetermined angle (for example, θ = 20 °) of the histogram reference data H0.
各セルＳの学習用ヒストグラムデータＨ２について、判定１と判定２を行い、各部位のセルＳ毎に記憶されているヒストグラム基準データＨ０とこれと同じ部位のセルＳの学習用ヒストグラムデータＨ２を各部位ごとに夫々選択し、最小二乗法などにより各セルＳごとにヒストグラム形状の類似度を算出する。こうして算出された各セルＳの類似度のうち、最も類似度の高いセルＳを新たな判定用セルとし、このセル番号（ｎ，ｍ）を判定用セル番号として第１メモリ手段２６に記憶するとともに、この新たな判定用セルの学習用ヒストグラムデータＨ２を新たなヒストグラム基準データＨ０として更新登録する。こうして、次に判定用セル設定手段１５が判定用セルＳ（ｎ，ｍ）を設定するときは、第１メモリ手段２６から更新された判定用セル番号（例えば肩部相当のセルＳ（２，２））が送られるよう構成されている。 Determination 1 and determination 2 are performed on the learning histogram data H2 of each cell S, and the histogram reference data H0 stored for each cell S of each part and the learning histogram data H2 of the cell S of the same part are stored. Each part is selected, and the similarity of the histogram shape is calculated for each cell S by the least square method or the like. Of the similarities of the cells S thus calculated, the cell S having the highest similarity is set as a new determination cell, and this cell number (n, m) is stored in the first memory means 26 as a determination cell number. At the same time, the learning histogram data H2 of the new determination cell is updated and registered as new histogram reference data H0. Thus, when the determination cell setting means 15 next sets the determination cell S (n, m), the determination cell number updated from the first memory means 26 (for example, the cell S (2, shoulder equivalent) 2)) is configured to be sent.
ヒストグラム保存判定手段２４は、歩行者判定手段１８によって歩行者が判定されたとき、歩行者判定に用いたヒストグラムデータＨ１を第２メモリ手段２７に保存する。この保存されたヒストグラムデータＨ１は、加重平均などの統計処理することにより、新たなヒストグラム基準データＨ０を作成するために第１メモリ手段２６に記憶される。 When the pedestrian determination unit 18 determines a pedestrian, the histogram storage determination unit 24 stores the histogram data H1 used for the pedestrian determination in the second memory unit 27. The stored histogram data H1 is stored in the first memory means 26 in order to create new histogram reference data H0 by performing statistical processing such as a weighted average.
判定用データ作成手段２５は、前述のヒストグラム保存判定手段２４に保存されたヒストグラムデータＨ１を、加重平均などの統計処理することにより、新たなヒストグラム基準データＨ０の距離変化量の累積加算値Ｓｄにおける峰形状と、所定角度θにおける累積加算値Ｓｄを作成する。ヒストグラム基準データＨ０が更新されたとき、第１メモリ手段２６から第２メモリ手段２７に送信されたヒストグラム基準データＨ０の判定用データを作成し、この判定用データを歩行者判定手段１８に供給している。
また、上述の条件１の峰形状の角度範囲（例えば９０°未満から８０°未満）、条件２の所定角度における累積加算値Ｓｄの所定値（例えば８０から９０）も、保存されたヒストグラムデータＨ１を、加重平均などの統計処理することにより新たに作成することとしても良い。
The determination data creation means 25 performs statistical processing such as a weighted average on the histogram data H1 stored in the histogram storage determination means 24, so that the cumulative change value Sd of the distance change amount of the new histogram reference data H0 is obtained. A peak shape and a cumulative addition value Sd at a predetermined angle θ are created. When the histogram reference data H0 is updated, determination data for the histogram reference data H0 transmitted from the first memory means 26 to the second memory means 27 is created, and this determination data is supplied to the pedestrian determination means 18. ing.
Further, the peak range of the above-mentioned condition 1 (for example, less than 90 ° to less than 80 °) and the predetermined value (for example, 80 to 90) of the cumulative addition value Sd at the predetermined angle of condition 2 are also stored in the stored histogram data H1. May be newly created by performing statistical processing such as a weighted average.
次に、歩行者検出装置１の歩行者検出制御について、図８のフローチャートに基づき、説明する。尚、Ｓｉ（ｉ＝１，２…）は各処理ステップを示す。
まず、ＣＣＤカメラ２、車速センサ３、ブレーキスイッチ４、ＧＰＳ手段５等の各種機器やセンサから検出信号を読込む（Ｓ１）。
Next, pedestrian detection control of the pedestrian detection device 1 will be described based on the flowchart of FIG. Si (i = 1, 2,...) Indicates each processing step.
First, detection signals are read from various devices and sensors such as the CCD camera 2, the vehicle speed sensor 3, the brake switch 4, and the GPS means 5 (S1).
ＣＣＤカメラ２で撮像された車両前方の対象領域Ｆ０について、第１輝度画像Ｆ１と異なる位置から第１輝度画像Ｆ１と同じ対象領域Ｆ０を撮像した第２輝度画像Ｆ２を保存する（Ｓ２）。尚、複眼のステレオカメラを設け、同時に第１輝度画像Ｆ１と第２輝度画像Ｆ２を撮像した場合も、同様である。 For the target area F0 in front of the vehicle imaged by the CCD camera 2, the second luminance image F2 obtained by imaging the same target area F0 as the first luminance image F1 from a position different from the first luminance image F1 is stored (S2). The same applies when a compound-eye stereo camera is provided and the first luminance image F1 and the second luminance image F2 are simultaneously captured.
次に、第１，第２輝度画像Ｆ１，Ｆ２に基づいて、対象物Ｏが含まれる距離画像Ｆ３を作成する（Ｓ３）。距離画像Ｆ３は、三角測量法により、自車両の位置（緯度・経度）と第１，第２輝度画像Ｆ１，Ｆ２の視差量を用いて、各画素の距離情報から算出する。距離画像Ｆ３は、歩行者の服の柄や皺等形状判定に解析不要な情報を除去した形状情報と各画素の距離情報で構成されている。 Next, a distance image F3 including the object O is created based on the first and second luminance images F1 and F2 (S3). The distance image F3 is calculated from the distance information of each pixel by the triangulation method using the position (latitude / longitude) of the host vehicle and the parallax amounts of the first and second luminance images F1, F2. The distance image F3 is configured by shape information obtained by removing information unnecessary to analyze the shape of a pedestrian, such as a handle pattern and a heel, and distance information of each pixel.
歩行者に相当する高さと領域を備えたテンプレートを用いて、距離画像Ｆ３から歩行者らしき対象物Ｏが存在する探索領域Ｔ１を設定する（Ｓ４）。このテンプレートは、所定の対象物Ｏと略同距離に存在する他の対象物の大きさ、又は、対象物Ｏのいずれか１つの画素の距離データより求まる自車からの距離に応じて、歩行者相当の大きさになるように拡大縮小可能に構成されている。 Using a template having a height and a region corresponding to a pedestrian, a search region T1 where an object O that looks like a pedestrian exists is set from the distance image F3 (S4). This template walks in accordance with the size of another object existing at substantially the same distance as the predetermined object O, or the distance from the vehicle determined from the distance data of any one pixel of the object O. It is configured to be able to be enlarged or reduced so as to be a size equivalent to a person.
次に、探索領域Ｔ１を予め規定した所定サイズのサブウインドウＷに正規化する（Ｓ５）。これにより、テンプレートによって設定された探索領域Ｔ１を距離に依存しない一定サイズのサブウインドウＷに設定し、対象物Ｏが近距離に存在する場合と遠距離に存在する場合とで自車両からの撮像距離に起因して、歩行者判定の処理精度に差異が生じないよう構成されている。 Next, the search area T1 is normalized to a predetermined size subwindow W (S5). As a result, the search area T1 set by the template is set to a sub window W having a fixed size that does not depend on the distance, and imaging from the own vehicle is performed when the object O exists at a short distance and when it exists at a long distance. Due to the distance, the pedestrian determination processing accuracy is not different.
次に、正規化されたサブウインドウＷ内をＮ×Ｍの複数のセルＳに分割し（Ｓ６）、Ｓ７に移行する。Ｓ７では、学習条件が成立したか否か判定している。この歩行者検出装置１では、車両が停車中のとき、又は工場出荷前のエンジンルーム内のテストスイッチがオンであるとき、ヒストグラム基準データＨ０を更新するため、学習を行うよう構成されている。また、車両の停車状態は、車速センサ３の検出値零とブレーキスイッチ４のオン信号の検出で判定している。 Next, the normalized subwindow W is divided into a plurality of N × M cells S (S6), and the process proceeds to S7. In S7, it is determined whether the learning condition is satisfied. The pedestrian detection apparatus 1 is configured to perform learning in order to update the histogram reference data H0 when the vehicle is stopped or when the test switch in the engine room before factory shipment is on. Further, the stop state of the vehicle is determined by detecting the detection value zero of the vehicle speed sensor 3 and the ON signal of the brake switch 4.
Ｓ７の判定の結果、学習条件不成立、所謂停車中ではない、又はテストスイッチオンでない場合は、Ｓ８に移行する。
Ｓ８では、判定用セルＳ（ｎ，ｍ）を構成するマトリックス状の複数の小領域Ｃ、又は全画素に関する距離勾配ベクトルＶＫを算出する。式（１）を用いて、予め歩行者判定に使用するとされている例えば、腰部相当のセルＳ（３，２）である判定用セルＳ（ｎ，ｍ）内の各画素ｇＫについて距離勾配ベクトルＶＫより、絶対値｜ＶＫ｜、角度θを算出するよう構成している。
As a result of the determination in S7, if the learning condition is not satisfied, the vehicle is not stopped, or the test switch is not turned on, the process proceeds to S8.
In S8, the calculated determination cell S (n, m) matrix of a plurality of small regions C which constitutes the, or a distance gradient vector V K for all the pixels. For example, the distance gradient for each pixel g K in the determination cell S (n, m), which is a cell S (3,2) corresponding to the waist, using the equation (1) in advance. An absolute value | V K | and an angle θ are calculated from the vector V K.
次に、距離勾配ベクトルＶＫの絶対値｜ＶＫ｜である距離変化量と、角度θに基づき判定用セルＳ（ｎ，ｍ）についてヒストグラムデータＨ１（図６参照）を作成する（Ｓ９）。このヒストグラムデータＨ１は、横軸が角度θ、縦軸が距離変化量の加算値Ｓｄからなる棒形状とされ、夫々隣り合う角度θにおける距離変化量の各加算値Ｓｄの頂点を連続して結んだとき、Ｖ字状等夫々固有の峰形状を形成している。Ｓ１０では、ヒストグラムデータＨ１から、判定用データとして、全体的な固有の峰形状と角度θ毎の距離変化量加算値Ｓｄを算出している。 Next, histogram data H1 (see FIG. 6) is created for the determination cell S (n, m) based on the distance change amount that is the absolute value | V K | of the distance gradient vector V K and the angle θ (S9). . The histogram data H1 has a bar shape in which the horizontal axis is an angle θ and the vertical axis is a distance change amount addition value Sd, and the vertexes of the distance change amount addition values Sd at adjacent angles θ are continuously connected. In this case, each has a unique peak shape such as a V shape. In S10, an overall unique peak shape and a distance change amount addition value Sd for each angle θ are calculated from the histogram data H1 as determination data.
Ｓ１１では、作成されたヒストグラムデータＨ１とヒストグラム基準データＨ０とを比較することにより対象物Ｏが歩行者か否かを判定する。歩行者の判定は、ヒストグラムデータＨ１における特定の角度範囲（例えば９０°未満）の加算値Ｓｄの峰形状がヒストグラム基準データＨ０における特定の角度範囲（例えば９０°未満）の加算値Ｓｄの峰形状（例えばＶ字状）と類似しているか否か、ヒストグラムデータＨ１の所定角度（例えばθ＝２０°）における累積加算値Ｓｄがヒストグラム基準データＨ０から設定される所定値（例えば８０）以上か否かについて判定し、何れか一方の条件を満たした場合、歩行者と判定している（Ｓ１２）。 In S11, it is determined whether or not the object O is a pedestrian by comparing the created histogram data H1 with the histogram reference data H0. The determination of the pedestrian is based on the peak shape of the added value Sd of the specific angle range (for example, less than 90 °) in the histogram data H1 and the peak shape of the added value Sd of the specified angle range (for example, less than 90 °) in the histogram reference data H0. (For example, V-shaped) or not, and whether the cumulative addition value Sd at a predetermined angle (for example, θ = 20 °) of the histogram data H1 is equal to or greater than a predetermined value (for example, 80) set from the histogram reference data H0. If any one of the conditions is satisfied, it is determined that the person is a pedestrian (S12).
Ｓ１２の判定の結果、対象物Ｏが歩行者の場合、歩行者判定に用いた今回のヒストグラムデータＨ１を第２メモリ手段２７に保存する（Ｓ１３）。このヒストグラムデータＨ１は、新たなヒストグラム基準データＨ０を作成するためのデータとして、第１メモリ手段２６に送信される。Ｓ１２の判定の結果、対象物Ｏが歩行者ではない場合、リターンする。 If the object O is a pedestrian as a result of the determination in S12, the current histogram data H1 used for the pedestrian determination is stored in the second memory means 27 (S13). The histogram data H1 is transmitted to the first memory means 26 as data for creating new histogram reference data H0. If the result of determination in S12 is that the object O is not a pedestrian, the process returns.
次に、検出された歩行者と自車両との距離に基づき危険度を判定する（Ｓ１４）。危険度の判定条件は、単に情報提供を狙いとする危険度低（離間距離：５０〜１００ｍ）、警報を狙いとする危険度中（離間距離：１０〜５０ｍ）、強制回避を狙いとする危険度高（離間距離：１０ｍ以下）とされている。 Next, the degree of risk is determined based on the detected distance between the pedestrian and the vehicle (S14). The risk determination conditions are low risk level (separation distance: 50 to 100 m) simply for information provision, medium risk level (separation distance: 10 to 50 m), and risk aiming for forced avoidance The height is high (separation distance: 10 m or less).
Ｓ１４で判定された危険度に応じて警報装置６、ブレーキ装置７、操舵制御装置８に作動指令を送信して（Ｓ１５）、リターンする。危険度が低以上のとき、警報装置６としてのスピーカ、ブザー、ランプ、ディスプレイの少なくとも１つを作動させる。危険度が中のとき、ブレーキ装置７を比較的弱い、乗員に注意を促すための一次ブレーキとなるよう作動させる。危険度が高のとき、ブレーキ装置７を歩行者との衝突を回避するための強い二次ブレーキとなるよう作動させる。更に、危険度が高のとき、操舵制御装置８を歩行者との衝突を回避する操舵力を付与するよう作動させる。尚、危険度高では、ブレーキ装置７と操舵制御装置８を併用しているが、何れか一方の単独作動とすることも可能である。 An operation command is transmitted to the alarm device 6, the brake device 7, and the steering control device 8 according to the degree of risk determined in S14 (S15), and the process returns. When the degree of danger is low or higher, at least one of a speaker, a buzzer, a lamp, and a display as the alarm device 6 is activated. When the degree of danger is medium, the brake device 7 is operated to be a relatively weak primary brake for alerting the occupant. When the degree of danger is high, the brake device 7 is operated to be a strong secondary brake for avoiding a collision with a pedestrian. Further, when the degree of danger is high, the steering control device 8 is operated so as to apply a steering force for avoiding a collision with a pedestrian. It should be noted that although the brake device 7 and the steering control device 8 are used in combination at a high degree of risk, any one of them can be operated alone.
一方、Ｓ７の判定の結果、学習条件成立、所謂車両が停車中、又はテストスイッチオンの場合、Ｓ１６に移行する。
Ｓ１６では、Ｓ６にて作成したサブウインドウＷ内の全セルＳについて、マトリックス状の複数の小領域Ｃ、又は全画素に関する距離勾配ベクトルＶＫを算出する。
On the other hand, as a result of the determination in S7, if the learning condition is satisfied, that is, the so-called vehicle is stopped or the test switch is on, the process proceeds to S16.
In S16, it is calculated for all cells S in the sub-window W created, a matrix a plurality of small regions C, or the distance gradient vector V K for all the pixels at S6.
次に、算出した距離勾配ベクトルＶＫを用いて夫々のセルＳに関する学習用ヒストグラムデータＨ２を作成する（Ｓ１７）。サブウインドウＷ内の全セルＳについて、距離勾配ベクトルＶＫが有する角度毎に、距離勾配ベクトルＶＫが有する距離変化量を累積加算した学習用ヒストグラムデータＨ２を作成している。 Next, create a learning histogram data H2 about cells S each with a calculated distance gradient vector V K (S17). For all cells S in a sub-window W, in each angular distance gradient vector V K has a distance change amount of the distance gradient vector V K has been creating a histogram data H2 for learning obtained by accumulating.
Ｓ１８では、サブウインドウＷ内の全セルＳ夫々について作成された学習用ヒストグラムデータＨ２と第１メモリ手段２６に記憶された歩行者を検出したときの各部位のセルごとのヒストグラム基準データＨ０との一致度判定を対応する各セルごとに行う。一致度判定は、各学習用ヒストグラムデータＨ２における各加算値Ｓｄの峰形状と各部位毎のヒストグラム基準データＨ０における各加算値の峰形状との類似度と、各学習用ヒストグラムデータＨ２の所定角度における累積加算値Ｓｄと各部位毎のヒストグラム基準データＨ０の所定角度における累積加算値Ｓｄ０との類似度とにより判定する。 In S18, the learning histogram data H2 created for each of all the cells S in the sub-window W and the histogram reference data H0 for each cell of each part when the pedestrian stored in the first memory means 26 is detected. The degree of coincidence is determined for each corresponding cell. The degree of coincidence is determined by the similarity between the peak shape of each added value Sd in each learning histogram data H2 and the peak shape of each added value in the histogram reference data H0 for each part, and a predetermined angle of each learning histogram data H2. And the degree of similarity between the cumulative addition value Sd0 and the cumulative addition value Sd0 at a predetermined angle of the histogram reference data H0 for each part.
各セルＳ（Ｎ，Ｍ）の学習用ヒストグラムデータＨ２について、前記判定を行い、各部位毎のヒストグラム基準データＨ０に類似する学習用ヒストグラムデータＨ２を選択する。各部位毎のヒストグラム基準データＨ０に類似する学習用ヒストグラムデータＨ２のうち、最も類似するセルＳの学習用ヒストグラムデータＨ２を新たなヒストグラム基準データＨ０として選択し（Ｓ１９）、このセル番号（ｎ，ｍ）（例えば、頭部相当のセルＳ（１，２））を新たな判定用セルの番号として第１メモリ手段２６に記憶して、Ｓ８に移行する。 The determination is performed on the learning histogram data H2 of each cell S (N, M), and learning histogram data H2 similar to the histogram reference data H0 for each part is selected. Among the learning histogram data H2 similar to the histogram reference data H0 for each part, the learning histogram data H2 of the most similar cell S is selected as new histogram reference data H0 (S19), and this cell number (n, m) (For example, the cell S (1,2) corresponding to the head) is stored in the first memory means 26 as a new determination cell number, and the process proceeds to S8.
次に、本歩行者検出装置１の作用・効果について説明する。
前述したように、第１，第２輝度画像Ｆ１，Ｆ２から距離画像Ｆ３を作成する距離画像作成手段１２と、距離画像Ｆ３に対し、所定サイズの対象物が含まれるサブウインドウＷを設定する正規化手段１３と、サブウインドウＷから、対象物Ｏの特定領域に対応する判定用セルＳ（ｎ，ｍ）を設定する判定用セル設定手段１５と、判定用セルＳ（ｎ，ｍ）を構成するマトリックス状の複数の小領域Ｃ内、又は全画素における距離勾配ベクトルＶＫを算出する第１距離勾配ベクトル算出手段１６と、距離勾配ベクトルＶＫに基づきヒストグラムデータＨ１を作成する第１ヒストグラム作成手段１７と、ヒストグラムデータＨ１を予め設定して記憶しているヒストグラム基準データＨ０と比較することにより、歩行者を判定する歩行者判定手段１８を備えたため、歩行者の服の柄や皺のような形状以外の情報に影響を受けることなく、歩行者を効率的に検出できる。
Next, functions and effects of the pedestrian detection device 1 will be described.
As described above, the distance image creating means 12 for creating the distance image F3 from the first and second luminance images F1 and F2, and the normal image for setting the sub-window W including the object of a predetermined size for the distance image F3. The determination cell setting means 15 for setting the determination cell S (n, m) corresponding to the specific region of the object O, and the determination cell S (n, m) are configured from the conversion means 13 and the sub-window W. A first distance gradient vector calculating means 16 for calculating a distance gradient vector V K in a plurality of matrix-like small regions C or all pixels, and a first histogram generation for generating histogram data H1 based on the distance gradient vector V K The pedestrian determination means 1 for determining the pedestrian by comparing the means 17 with the histogram reference data H0 stored in advance by setting the histogram data H1. Because having a without being affected by the shape other information such as the pedestrian clothing patterns and wrinkles, can detect the pedestrian efficiently.
つまり、距離画像作成手段１２を備えたため、歩行者検出において解析不要な情報を除去した距離画像Ｆ３を得ることができる。また、正規化手段１３と判定用セル設定手段１５とを備えたため、作成した距離画像Ｆ３よりも小範囲のサブウインドウＷと、このサブウインドウＷよりも小範囲とされ、対象物Ｏの形状に対応した特定領域としての判定用セルＳ（ｎ，ｍ）を設定することができ、判定処理時間の短縮化を図れる。更に、第１距離勾配ベクトル算出手段１６と第１ヒストグラム作成手段１７とを備えたため、対象物Ｏの形状に対応した特定領域としての判定用セルＳ（ｎ，ｍ）の距離勾配ベクトルＶＫについて、歩行者検出に必要なヒストグラムデータＨ１を得ることができる。しかも、このヒストグラムデータＨ１を予め記憶しているヒストグラム基準データＨ０と比較して歩行者を判定するため、歩行者の形状判定に不要な情報を除去した状態で判定することができ、歩行者判定処理の高速化と誤検出防止を図ることができる。 That is, since the distance image creating means 12 is provided, it is possible to obtain a distance image F3 from which information unnecessary for analysis is removed in pedestrian detection. Further, since the normalization means 13 and the determination cell setting means 15 are provided, the sub-window W is smaller than the created distance image F3, and is smaller than the sub-window W. The determination cell S (n, m) as the corresponding specific region can be set, and the determination processing time can be shortened. Further, since the first distance gradient vector calculating means 16 and the first histogram creating means 17 are provided, the distance gradient vector V K of the determination cell S (n, m) as a specific area corresponding to the shape of the object O is provided. The histogram data H1 necessary for pedestrian detection can be obtained. In addition, since this histogram data H1 is compared with the histogram reference data H0 stored in advance, the pedestrian is determined, so that it is possible to determine in a state in which unnecessary information for pedestrian shape determination is removed. It is possible to increase the processing speed and prevent erroneous detection.
また、第１ヒストグラム作成手段１７は、距離勾配ベクトルＶＫが有する角度θ毎に、距離勾配ベクトルＶＫが有する距離変化量を累積加算することによってヒストグラムデータＨ１を作成するため、形状に付随する角度θ毎の特徴を処理負荷を増すことなく抽出でき、歩行者の比較判定処理の高速化が図れる。 The first histogram creating means 17, for each angle θ the distance gradient vector V K has, for creating a histogram data H1 the distance variation distance gradient vector V K has by cumulative addition, the attendant shape Features for each angle θ can be extracted without increasing the processing load, and the speed of the pedestrian comparison and determination process can be increased.
更に、歩行者判定手段１８は、ヒストグラムデータＨ１の特定の峰形状をヒストグラム基準データＨ０における特定の峰形状と比較することによって歩行者を判定するため、処理負荷を増すことなく歩行者を容易に且つ精度よく検出できる。 Furthermore, since the pedestrian determination means 18 determines the pedestrian by comparing the specific peak shape of the histogram data H1 with the specific peak shape in the histogram reference data H0, the pedestrian can be easily detected without increasing the processing load. And it can detect with high precision.
しかも、第１ヒストグラム作成手段１７は、車両が停車状態のとき、又はテストスイッチオンのとき、サブウインドウＷの全領域についてセルＳ毎のヒストグラムデータＨ１を作成するため、車両走行時の歩行者判定を阻害することなく、サブウインドウＷの全領域についてセルＳ毎のヒストグラムデータＨ１を得ることができる。更に、全ヒストグラムデータＨ１のうち、ヒストグラム基準データＨ０に対して一致度が高いヒストグラムデータＨ１を新たなヒストグラム基準データＨ０に設定するため、歩行者検出の容易化と検出精度向上が共に図れ、一層誤検出防止と処理負荷低減が図れる。 Moreover, since the first histogram creating means 17 creates the histogram data H1 for each cell S for the entire area of the sub window W when the vehicle is stopped or when the test switch is on, the pedestrian determination at the time of traveling of the vehicle is performed. The histogram data H1 for each cell S can be obtained for the entire region of the subwindow W without hindering. Furthermore, since the histogram data H1 having a high degree of coincidence with the histogram reference data H0 out of all the histogram data H1 is set as the new histogram reference data H0, both pedestrian detection and detection accuracy can be improved. It is possible to prevent erroneous detection and reduce processing load.
また、歩行者判定手段１８は、特定の角度θにおける累積加算量Ｓｄをヒストグラム基準データＨ０の特定の角度θにおける累積加算量と比較することによって歩行者を判定するため、処理負荷を増すことなく歩行者を容易に検出できる。 Further, the pedestrian determination means 18 determines a pedestrian by comparing the cumulative addition amount Sd at the specific angle θ with the cumulative addition amount at the specific angle θ of the histogram reference data H0, so that the processing load is not increased. Pedestrians can be easily detected.
更に、ヒストグラム基準データＨ０は、歩行者が実際に判定されたヒストグラムデータＨ１に基づいて設定されるため、ヒストグラム基準データＨ０を適正化でき、歩行者検出精度を高めることができる。 Furthermore, since the histogram reference data H0 is set based on the histogram data H1 in which the pedestrian is actually determined, the histogram reference data H0 can be optimized and the pedestrian detection accuracy can be increased.
正規化手段１３は、対象物Ｏまでの距離に依存せずに、サブウインドウＷの大きさを正規化するため、対象物Ｏまでの距離に拘わらず、同じ大きさのサブウインドウＷを設定でき、検出精度向上と処理の高速化が図れる。 Since the normalizing means 13 normalizes the size of the subwindow W without depending on the distance to the object O, the subwindow W having the same size can be set regardless of the distance to the object O. Thus, detection accuracy can be improved and processing speed can be increased.
また、正規化手段１３は、距離画像Ｆ３から所定のテンプレートを用いて対象物Ｏが含まれるサブウインドウＷを設定するため、サブウインドウＷの設定が容易になり、処理の高速化が図れる。しかも、距離画像作成手段１２は、距離画像Ｆ３をモーションステレオ処理によって作成したため、単一のＣＣＤカメラ２で距離画像Ｆ３を作成できる。 Further, since the normalizing means 13 sets the subwindow W including the object O from the distance image F3 using a predetermined template, the setting of the subwindow W is facilitated, and the processing speed can be increased. Moreover, since the distance image creation means 12 created the distance image F3 by motion stereo processing, the distance image F3 can be created by the single CCD camera 2.
次に、前記実施例を部分的に変更した変形例について説明する。
１〕前記実施例においては、距離画像から距離ベクトルの一次微分となる距離勾配ベクトルを用いてヒストグラムデータを作成する例を説明したが、少なくとも、歩行者検出に解析不要な画像上の情報を除去できればよく、距離画像から距離ベクトルの二次微分となる距離勾配変化率ベクトルを用いてヒストグラムデータを作成することも可能である。
Next, a modification in which the above embodiment is partially changed will be described.
1) In the above embodiment, the example in which the histogram data is generated from the distance image using the distance gradient vector that is the first derivative of the distance vector has been described, but at least information on the image that does not require analysis for pedestrian detection is removed. It is only necessary to be able to create histogram data from a distance image using a distance gradient change rate vector that is a second derivative of the distance vector.
図９に示すように、小領域Ｃ（Ｐ，Ｑ）、Ｃ（Ｐ＋１，Ｑ）、Ｃ（Ｐ，Ｑ＋１）、Ｃ（Ｐ＋１，Ｑ＋１）における距離勾配変化率ベクトルΔＶＫは、隣り合う距離勾配ベクトルＶＫ，ＶＫ＋１、ＶＫ＋２，ＶＫ＋３の差分を取ることによって、次式のように表すことができる。
ΔＶＫ＝（（ＶＫ―ＶＫ＋１）＋（ＶＫ＋２−ＶＫ＋３））＋（（ＶＫ−ＶＫ＋２）＋（ＶＫ＋１
−ＶＫ＋３）） …（２）
As shown in FIG. 9, the distance gradient change rate vector ΔV K in the small regions C (P, Q), C (P + 1, Q), C (P, Q + 1), and C (P + 1, Q + 1) By calculating the difference between the vectors V K , V K + 1 , V K + 2 , V K + 3 , the following expression can be obtained.
ΔV K = ((V K −V K + 1 ) + (V K + 2 −V K + 3 )) + ((V K −V K + 2 ) + (V K + 1
−V K + 3 )) (2)
第１距離勾配ベクトル算出手段１６と第２距離勾配ベクトル算出手段２１は、式（２）に基づき距離勾配変化率ベクトルΔＶＫを算出する。この距離勾配変化率ベクトルΔＶＫを用いて、第１ヒストグラム作成手段１７と第２ヒストグラム作成手段２２は、距離勾配変化率ベクトルΔＶＫが有する角度毎に、距離勾配変化率ベクトルΔＶＫが有する距離勾配変化率量を累積加算したヒストグラムデータＨ１と学習用ヒストグラムデータＨ２を各セルＳについて作成することができる。 The first distance gradient vector calculation means 16 and the second distance gradient vector calculation means 21 calculate the distance gradient change rate vector ΔV K based on the equation (2). Using this distance gradient change rate vector ΔV K , the first histogram creation means 17 and the second histogram creation means 22 make a distance that the distance gradient change rate vector ΔV K has for each angle that the distance gradient change rate vector ΔV K has. Histogram data H1 obtained by accumulating the gradient change rate amount and learning histogram data H2 can be created for each cell S.
以上のように、距離勾配変化率ベクトルΔＶＫを算出するため、幾何学的に曲率が一定とされる人工構造物（例えば電柱等）を処理負荷を増すことなく背景画像から除去することができ、歩行者判定処理の高速化と誤検出防止を図ることができる。 As described above, since the distance gradient change rate vector ΔV K is calculated, an artificial structure (for example, a utility pole) having a geometrically constant curvature can be removed from the background image without increasing the processing load. Thus, it is possible to speed up the pedestrian determination process and prevent erroneous detection.
また、距離勾配変化率ベクトルΔＶＫの角度θ毎に、距離勾配変化率ベクトルΔＶＫの絶対値｜ΔＶＫ｜を累積加算してヒストグラムデータＨ１を作成するため、距離勾配ベクトルＶＫによる判定と同様に、形状に付随する角度毎の特徴を処理負荷を増すことなく抽出でき、更に歩行者の比較判定処理の高速化が図れる。 Further, each angle θ of the distance gradient change rate vector [Delta] V K, the distance absolute value of the slope change rate vector ΔV K | ΔV K | for creating a histogram data H1 and the cumulatively added, and the judgment by the distance gradient vector V K Similarly, features for each angle associated with the shape can be extracted without increasing the processing load, and the speed of the pedestrian comparison and determination process can be increased.
２〕前記実施例においては、単独のＣＣＤカメラを用いて対象物を検出するモーションステレオ処理の例を説明したが、複眼カメラを用いてステレオ処理で対象物を検出することも可能である。 2] In the above embodiment, an example of motion stereo processing in which an object is detected using a single CCD camera has been described. However, it is also possible to detect an object by stereo processing using a compound eye camera.
３〕前記実施例においては、サブウインドウ内を予め設定した２×４のセルに分割した例を説明したが、学習によって分割数の変更も可能である。また、小領域についても、同様に、学習によって分割数の変更が可能である。 3) In the above embodiment, the example in which the sub-window is divided into 2 × 4 cells set in advance has been described. However, the number of divisions can be changed by learning. Similarly, for the small area, the number of divisions can be changed by learning.
４〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施例に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。 4) In addition, those skilled in the art can implement the present invention in various forms added with various modifications without departing from the spirit of the present invention, and the present invention includes such modifications. is there.
本発明は、車両に搭載された撮像手段により撮像された車両前方の画像を処理して歩行者を検出する車両用歩行者検出置において、距離勾配ベクトルに関するヒストグラムを用いるため、対象物の輝度変化に影響を受けることなく形状を判定することができる。 The present invention uses a histogram relating to a distance gradient vector in a vehicle pedestrian detection device that detects an image of a pedestrian by processing an image in front of the vehicle imaged by an imaging unit mounted on the vehicle. The shape can be determined without being affected by the above.
１ 歩行者検出装置
２ ＣＣＤカメラ
１２ 距離画像作成手段
１３ 正規化手段
１５ 判定用セル設定手段
１６ 第１距離勾配ベクトル算出手段
１７ 第１ヒストグラム作成手段
１８ 歩行者判定手段
２１ 第２距離勾配ベクトル算出手段
２２ 第２ヒストグラム作成手段
Ｏ 対象物
Ｆ１ 第１輝度画像
Ｆ２ 第２輝度画像
Ｆ３ 距離画像
Ｗ サブウインドウ
Ｓ セル
Ｃ 小領域
Ｖ 距離勾配ベクトル
ΔＶ 距離勾配変化率ベクトル
Ｈ０ ヒストグラム基準データ
Ｈ１ ヒストグラムデータ
Ｈ２ 学習用ヒストグラムデータ
DESCRIPTION OF SYMBOLS 1 Pedestrian detection apparatus 2 CCD camera 12 Distance image creation means 13 Normalization means 15 Determination cell setting means 16 First distance gradient vector calculation means 17 First histogram creation means 18 Pedestrian determination means 21 Second distance gradient vector calculation means 22 Second histogram creation means O Object F1 First luminance image F2 Second luminance image F3 Distance image W Subwindow S Cell C Small region V Distance gradient vector ΔV Distance gradient change rate vector H0 Histogram reference data H1 Histogram data H2 For learning Histogram data
Claims (10)
前記撮像画像から距離画像を作成する距離画像作成手段と、
前記距離画像に対し、所定サイズの対象物が含まれるサブウインドウを設定するサブウインドウ設定手段と、
前記サブウインドウから、前記対象物の特定領域に対応するセルを設定するセル設定手段と、
前記セルを構成するマトリックス状の複数の小領域内における距離勾配ベクトル、又は隣接する画素間の距離勾配ベクトルを算出する距離勾配ベクトル算出手段と、
前記距離勾配ベクトルに基づきヒストグラムデータを作成するヒストグラム作成手段と、
前記ヒストグラムデータを予め設定して記憶しているヒストグラム基準データと比較することにより、歩行者を判定する歩行者判定手段を備えたことを特徴とする車両用歩行者検出装置。 In a vehicle pedestrian detection device that includes at least one imaging unit mounted on a vehicle and detects a pedestrian by processing an image in front of the vehicle imaged by the imaging unit,
A distance image creating means for creating a distance image from the captured image;
A sub-window setting means for setting a sub-window including an object of a predetermined size for the distance image;
Cell setting means for setting a cell corresponding to a specific area of the object from the sub-window;
A distance gradient vector calculating means for calculating a distance gradient vector in a plurality of matrix-like small regions constituting the cell or a distance gradient vector between adjacent pixels;
Histogram creation means for creating histogram data based on the distance gradient vector;
A pedestrian detection device for a vehicle, comprising pedestrian determination means for determining a pedestrian by comparing the histogram data with histogram reference data set and stored in advance.
前記全ヒストグラムデータのうち、前記ヒストグラム基準データに対して一致度が高いセルを新たな判定用セルに設定することを特徴とする請求項１〜４の何れか１つに記載の車両用歩行者検出装置。 The histogram creating means creates histogram data for each cell for the entire area of the sub-window when the vehicle is in a predetermined driving state.
The vehicle pedestrian according to any one of claims 1 to 4, wherein a cell having a high degree of coincidence with the histogram reference data is set as a new determination cell among all the histogram data. Detection device.
The pedestrian detection device for vehicles according to any one of claims 1 to 9, wherein the distance image creation means creates a distance image by motion stereo processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009134712A JP2010282388A (en) | 2009-06-04 | 2009-06-04 | Vehicular pedestrian detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009134712A JP2010282388A (en) | 2009-06-04 | 2009-06-04 | Vehicular pedestrian detection device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010282388A true JP2010282388A (en) | 2010-12-16 |
Family
ID=43539064
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009134712A Pending JP2010282388A (en) | 2009-06-04 | 2009-06-04 | Vehicular pedestrian detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010282388A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013114536A (en) * | 2011-11-30 | 2013-06-10 | Seiko Epson Corp | Safety support apparatus and safety support method |
| JP2013228915A (en) * | 2012-04-26 | 2013-11-07 | Nissan Motor Co Ltd | Pedestrian detecting device and method for detecting pedestrian |
| EP2916264A1 (en) * | 2014-03-07 | 2015-09-09 | Tata Consultancy Services Limited | Multi range object detection device and method |
| JP2016001464A (en) * | 2014-05-19 | 2016-01-07 | 株式会社リコー | Processor, processing system, processing program, and processing method |
| KR20180041524A (en) * | 2016-10-14 | 2018-04-24 | 주식회사 만도 | Pedestrian detecting method in a vehicle and system thereof |
-
2009
- 2009-06-04 JP JP2009134712A patent/JP2010282388A/en active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013114536A (en) * | 2011-11-30 | 2013-06-10 | Seiko Epson Corp | Safety support apparatus and safety support method |
| JP2013228915A (en) * | 2012-04-26 | 2013-11-07 | Nissan Motor Co Ltd | Pedestrian detecting device and method for detecting pedestrian |
| EP2916264A1 (en) * | 2014-03-07 | 2015-09-09 | Tata Consultancy Services Limited | Multi range object detection device and method |
| JP2015187855A (en) * | 2014-03-07 | 2015-10-29 | タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ | Multi-range object detection device and method |
| JP2016001464A (en) * | 2014-05-19 | 2016-01-07 | 株式会社リコー | Processor, processing system, processing program, and processing method |
| US10387733B2 (en) | 2014-05-19 | 2019-08-20 | Ricoh Company, Ltd. | Processing apparatus, processing system, and processing method |
| KR20180041524A (en) * | 2016-10-14 | 2018-04-24 | 주식회사 만도 | Pedestrian detecting method in a vehicle and system thereof |
| KR101967305B1 (en) * | 2016-10-14 | 2019-05-15 | 주식회사 만도 | Pedestrian detecting method in a vehicle and system thereof |
| US10719699B2 (en) | 2016-10-14 | 2020-07-21 | Mando Corporation | Pedestrian detection method and system in vehicle |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1179803B1 (en) | Method and apparatus for object recognition | |
| JP5197679B2 (en) | Object detection apparatus and program | |
| KR101912453B1 (en) | Apparatus And Method Detectinc Obstacle And Alerting Collision | |
| JP5939357B2 (en) | Moving track prediction apparatus and moving track prediction method | |
| JP4203512B2 (en) | Vehicle periphery monitoring device | |
| US20120300078A1 (en) | Environment recognizing device for vehicle | |
| US8994823B2 (en) | Object detection apparatus and storage medium storing object detection program | |
| JP6171612B2 (en) | Virtual lane generation apparatus and program | |
| JP2008021034A (en) | Image recognition device, image recognition method, pedestrian recognition device and vehicle controller | |
| JP5904925B2 (en) | Vehicle periphery monitoring device | |
| JP6626410B2 (en) | Vehicle position specifying device and vehicle position specifying method | |
| US10846546B2 (en) | Traffic signal recognition device | |
| CN107423675B (en) | Advanced warning system for forward collision warning of traps and pedestrians | |
| US20140002658A1 (en) | Overtaking vehicle warning system and overtaking vehicle warning method | |
| JP6129268B2 (en) | Vehicle driving support system and driving support method | |
| US11200432B2 (en) | Method and apparatus for determining driving information | |
| JP2009033743A (en) | Method for recognition of object | |
| JP2003099762A (en) | Precedent vehicle recognition device and recognition method | |
| JP2018048949A (en) | Object recognition device | |
| JP2010282388A (en) | Vehicular pedestrian detection device | |
| JP2002314989A (en) | Peripheral monitor for vehicle | |
| JP6483360B2 (en) | Object recognition device | |
| JP7195200B2 (en) | In-vehicle device, in-vehicle system, and surrounding monitoring method | |
| JP2002334330A (en) | Vehicle recognition device | |
| JP3999088B2 (en) | Obstacle detection device |