JP2012203884A - Jumping-out pedestrian determining device and program - Google Patents
Jumping-out pedestrian determining device and program Download PDFInfo
- Publication number
- JP2012203884A JP2012203884A JP2011071140A JP2011071140A JP2012203884A JP 2012203884 A JP2012203884 A JP 2012203884A JP 2011071140 A JP2011071140 A JP 2011071140A JP 2011071140 A JP2011071140 A JP 2011071140A JP 2012203884 A JP2012203884 A JP 2012203884A
- Authority
- JP
- Japan
- Prior art keywords
- contour line
- pedestrian
- contour
- outline
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、飛び出し歩行者判定装置及びプログラムに係り、特に、撮像した画像から、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する飛び出し歩行者判定装置及びプログラムに関する。 The present invention relates to a jumping pedestrian determination device and a program, and more particularly, to a jumping pedestrian determination device and a program for determining whether or not there is a pedestrian having a high risk of jumping out on the course of a host vehicle from a captured image. .
従来より、１台のカメラの撮像画像により自車両前方に飛び出す物体を検出できる飛び出し物体検出装置が知られている（特許文献１）。この飛び出し物体検出装置では、自車両の走行先の道路に沿って、２列のすだれ状の検出領域と判定領域を設定する。検出領域において検出された進入者を、その横に並べて設定された判定領域において再び検出し、判定領域における進入者のオプティカルフローを算出する。このオプティカルフローと、検出領域において算出されたオプティカルフローとに基づいてそれぞれ算出される進入者の実空間上の移動速度の差が所定値以下であれば、進入者を飛び出し物体として検出する。 2. Description of the Related Art Conventionally, a pop-out object detection device that can detect an object popping forward of the host vehicle from a captured image of one camera is known (Patent Document 1). In this pop-out object detection device, two rows of interdigital detection areas and determination areas are set along the road where the host vehicle is traveling. The intruder detected in the detection area is detected again in the determination area set side by side, and the optical flow of the intruder in the determination area is calculated. If the difference in moving speed of the intruder in the real space calculated based on the optical flow and the optical flow calculated in the detection area is equal to or less than a predetermined value, the intruder is detected as a pop-out object.
また、カメラで撮像した画像を画像処理して移動体を検出し、検出した移動体の移動速度の変化から歩行者に特有の変化を検出することで、歩行者を検出する歩行者検出装置が知られている（特許文献２）。この歩行者検出装置は、撮像部で撮像した自車両前方の画像から特徴点を抽出する特徴点抽出部と、特徴点を表す画素の画像上の移動速度を算出する移動情報算出部と、画像を複数の短冊領域に分割し、核短冊領域内で速度が所定範囲内の画素を同一グループとするグループ化部と、グループ内の特定の画素の座標を所定の範囲の俯瞰座標における座標に変換する座標変換部と、変換後の画素の座標および移動情報に基づいて特徴点を平面物、立体物、移動体と判定する物体属性判定部と、特徴点が移動体の場合は移動速度の変化に基づいて歩行者か否かを判定する歩行者判定部とを備える制御部を有する。 A pedestrian detection device that detects a pedestrian by detecting a moving object by performing image processing on an image captured by a camera and detecting a change specific to the pedestrian from a change in the moving speed of the detected moving body. Known (Patent Document 2). The pedestrian detection device includes a feature point extraction unit that extracts a feature point from an image in front of the host vehicle imaged by the imaging unit, a movement information calculation unit that calculates a moving speed on an image of a pixel representing the feature point, and an image Is divided into a plurality of strip areas, and a grouping unit that groups pixels within a predetermined range of speed in the nuclear strip area into the same group, and coordinates of specific pixels in the group are converted into coordinates in overhead coordinates of the predetermined range. A coordinate conversion unit, an object attribute determination unit that determines a feature point as a planar object, a three-dimensional object, and a moving object based on the coordinates and movement information of the pixel after conversion, and a change in moving speed when the feature point is a moving object And a pedestrian determination unit that determines whether or not the user is a pedestrian based on the control unit.
また、歩行者の将来の移動状態を予測する歩行者認識装置が知られている（特許文献３）。この歩行者認識装置では、歩行者形状取得部は、外界センサから入力される画像データからエッジ画像を生成し、歩行者候補の左右の脚部の開度Ｗを検出すると共に、歩行者候補の頭部を推定し、この頭部の位置に応じて歩行者候補の頭部を推定し、この頭部の位置に応じて歩行者候補の身長Ｈを推定する。横断可能性判定部は、歩行者形状取得部により取得された歩行者候補の身長Ｈおよび脚部の開度Ｗに基づき、身長Ｈに対する脚部の開度Ｗの比率（Ｗ／Ｈ）が所定値α以上であるか否かを判定することにより、歩行者候補が自車両の進路を横断することを判定する。 Moreover, the pedestrian recognition apparatus which estimates the future movement state of a pedestrian is known (patent document 3). In this pedestrian recognition device, the pedestrian shape acquisition unit generates an edge image from image data input from an external sensor, detects the opening W of the left and right legs of the pedestrian candidate, and The head is estimated, the head of the pedestrian candidate is estimated according to the position of the head, and the height H of the pedestrian candidate is estimated according to the position of the head. Based on the height H of the pedestrian candidate acquired by the pedestrian shape acquisition unit and the opening W of the leg, the crossing possibility determination unit has a predetermined ratio (W / H) of the opening W of the leg to the height H. By determining whether or not the value is greater than or equal to the value α, it is determined that the pedestrian candidate crosses the course of the host vehicle.
しかしながら、上記の特許文献１に記載の技術では、特に市街地において、道路の路側物として、ガードレールや電柱などの構造物や樹木、ビル、塀などがあり、それが歩行者と一緒にその背景に映り込んでノイズとなる。これらの背景ノイズは、静止物なので、横断歩行者とは異なるオプティカルフローを生じてしまい、オプティカルフローによる歩行者検出が困難になる、という問題がある。 However, in the technique described in Patent Document 1 described above, there are structures such as guardrails and utility poles, trees, buildings, fences, and the like as roadside objects in urban areas, which are in the background together with pedestrians. Reflected and becomes noise. Since these background noises are stationary objects, an optical flow different from that of a crossing pedestrian is generated, and there is a problem that pedestrian detection by the optical flow becomes difficult.
また、上記の特許文献２に記載の技術では、横断歩行者の頭部の背景には、道路の路側物が映り込む傾向があり、さらに、脚部の背景には、路面上にペイントされた車線境界の白線、横断歩道などの路面標示、車速規制などの路面表記があり、それらが背景ノイズとして映り込む。これらの背景ノイズは静止しているので、横断歩行者とは異なる画像上の移動速度を生じてしまい、画像上の移動速度による歩行者検出が困難になる、という問題がある。 Further, in the technique described in Patent Document 2, the roadside objects of the road tend to be reflected in the background of the head of the crossing pedestrian, and the background of the leg is painted on the road surface. There are white lines at the lane boundaries, road markings such as pedestrian crossings, and road markings such as vehicle speed restrictions, which are reflected as background noise. Since these background noises are stationary, there is a problem that a moving speed on an image different from that of a crossing pedestrian is generated, and pedestrian detection based on the moving speed on the image becomes difficult.
また、上記の特許文献３に記載の技術では、脚部背景に、車線境界の白線、横断歩道などの路面標示、車速規制などの路面表記が映りこみ、それが背景ノイズとなるため、ステレオ視のための照合が困難となる、という問題がある。 Further, in the technique described in Patent Document 3 above, a white line at the lane boundary, a road marking such as a pedestrian crossing, and road markings such as a vehicle speed restriction are reflected on the leg background, and this becomes background noise, so that the stereo view There is a problem that it is difficult to collate for.
本発明は、上述した問題を解決するために成されたものであり、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを精度良く判定する飛び出し歩行者判定装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problem, and a jumping pedestrian determination apparatus and program for accurately determining whether or not there is a pedestrian having a high risk of jumping out on the course of the host vehicle. The purpose is to provide.
上記目的を達成するために本発明の飛び出し歩行者判定装置は、自車両の前方を連続して撮像した複数の撮像画像の各々からエッジを抽出するエッジ抽出手段と、前記エッジ抽出手段によって抽出されたエッジに基づいて、各撮像画像について、エッジのピーク点が画像上方へ向かって連続する輪郭線を、歩行者候補の輪郭線として生成する輪郭線生成手段と、前記輪郭線生成手段によって各撮像画像について生成された前記輪郭線に基づいて、各撮像画像において対応する輪郭線を検索する検索手段と、前記検索手段によって検索された対応する輪郭線のペアの各々について、前記撮像画像上の水平方向の移動量を算出する移動量算出手段と、前記移動量算出手段によって算出された前記移動量に基づいて、前記輪郭線を、複数の輪郭線群に分類する分類手段と、前記複数の輪郭線群の各々について、前記輪郭線群に属する全ての前記輪郭線の高さ方向の大きさを算出するサイズ算出手段と、前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する飛び出し判定手段と、を含んで構成されている。 In order to achieve the above object, a jumping pedestrian determination device of the present invention is extracted by an edge extraction unit that extracts an edge from each of a plurality of captured images obtained by continuously capturing the front of the host vehicle, and the edge extraction unit. For each captured image, a contour line generating unit that generates a contour line in which the peak point of the edge continues upward from the image as a contour line of a pedestrian candidate, and each of the captured images by the contour line generating unit. Based on the contour line generated for the image, a search unit that searches for a corresponding contour line in each captured image, and a horizontal line on the captured image for each of the pair of corresponding contour lines searched by the search unit Based on the movement amount calculated by the movement amount calculation means and the movement amount calculation means for calculating the movement amount in the direction, the contour line is converted into a plurality of contour line groups. Classification means for classifying, for each of the plurality of outline groups, size calculation means for calculating the size in the height direction of all the outlines belonging to the outline group, and each of the plurality of outline groups The amount of movement in the horizontal direction of the contour line belonging to the contour line group calculated by the movement amount calculating means, and the size in the height direction of the contour line group calculated by the size calculating means. And a jump-out determination means for determining whether or not there is a pedestrian who has a high risk of jumping out on the course of the own vehicle.
本発明のプログラムは、コンピュータを、自車両の前方を連続して撮像した複数の撮像画像の各々からエッジを抽出するエッジ抽出手段、前記エッジ抽出手段によって抽出されたエッジに基づいて、各撮像画像について、エッジのピーク点が画像上方へ向かって連続する輪郭線を、歩行者候補の輪郭線として生成する輪郭線生成手段、前記輪郭線生成手段によって各撮像画像について生成された前記輪郭線に基づいて、各撮像画像において対応する輪郭線を検索する検索手段、前記検索手段によって検索された対応する輪郭線のペアの各々について、前記撮像画像上の水平方向の移動量を算出する移動量算出手段、前記移動量算出手段によって算出された前記移動量に基づいて、前記輪郭線を、複数の輪郭線群に分類する分類手段、前記複数の輪郭線群の各々について、前記輪郭線群に属する全ての前記輪郭線の高さ方向の大きさを算出するサイズ算出手段、及び前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する飛び出し判定手段として機能させるためのプログラムである。 According to the program of the present invention, an edge extracting unit that extracts an edge from each of a plurality of captured images obtained by continuously capturing the front of the host vehicle, and each captured image based on the edge extracted by the edge extracting unit. A contour line generating means for generating a contour line in which edge peak points continue upward in the image as a contour line of a pedestrian candidate, based on the contour line generated for each captured image by the contour line generating means A search unit that searches for a corresponding contour line in each captured image, and a movement amount calculation unit that calculates a horizontal shift amount on the captured image for each pair of corresponding contour lines searched by the search unit. Classifying means for classifying the contour into a plurality of contour groups based on the amount of movement calculated by the amount of movement calculating means; For each contour group, size calculation means for calculating the height direction size of all the contour lines belonging to the contour group, and for each of the plurality of contour groups, calculation by the movement amount calculation means Based on the amount of movement in the horizontal direction of the contour line belonging to the contour line group and the size in the height direction of the contour line group calculated by the size calculating means, the vehicle jumps out to the course of the host vehicle. This is a program for functioning as a jump-out judging means for judging whether or not there is a pedestrian with high risk.
本発明によれば、エッジ抽出手段によって、自車両の前方を連続して撮像した複数の撮像画像の各々からエッジを抽出する。輪郭線生成手段によって、前記エッジ抽出手段によって抽出されたエッジに基づいて、各撮像画像について、エッジのピーク点が画像上方へ向かって連続する輪郭線を、歩行者候補の輪郭線として生成する。 According to the present invention, the edge extraction unit extracts an edge from each of a plurality of captured images obtained by continuously capturing the front of the host vehicle. Based on the edge extracted by the edge extraction unit, the contour line generation unit generates, for each captured image, a contour line in which the peak point of the edge continues upward from the image as the contour line of the pedestrian candidate.
そして、検索手段によって、前記輪郭線生成手段によって各撮像画像について生成された前記輪郭線に基づいて、各撮像画像において対応する輪郭線を検索する。移動量算出手段によって、前記検索手段によって検索された対応する輪郭線のペアの各々について、前記撮像画像上の水平方向の移動量を算出する。 Then, the search unit searches for a corresponding contour line in each captured image based on the contour line generated for each captured image by the contour line generation unit. The movement amount calculation means calculates the movement amount in the horizontal direction on the captured image for each of the corresponding pair of contour lines searched by the search means.
そして、分類手段によって、前記移動量算出手段によって算出された前記移動量に基づいて、前記輪郭線を、複数の輪郭線群に分類する。サイズ算出手段によって、前記複数の輪郭線群の各々について、前記輪郭線群に属する全ての前記輪郭線の高さ方向の大きさを算出する。 Then, the contour line classifies the contour lines into a plurality of contour line groups based on the travel distance calculated by the travel distance calculation means. For each of the plurality of outline groups, the size calculation means calculates the size in the height direction of all the outlines belonging to the outline group.
そして、飛び出し判定手段によって、前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する。 Then, for each of the plurality of outline groups, calculated by the pop-out determination means by the amount of movement in the horizontal direction of the outline belonging to the outline group calculated by the movement amount calculation means and the size calculation means. Whether or not there is a pedestrian who has a high risk of jumping out to the course of the host vehicle is determined based on the size of the contour group in the height direction.
このように、エッジのピーク点が画像上方へ向かって連続する輪郭線を生成し、撮像画像間における輪郭線の水平方向の移動量に基づいて、輪郭線群に分類し、輪郭線群の水平方向の移動量と、輪郭線群の高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを精度良く判定することができる。 In this way, a contour line in which the peak points of the edges are continuous toward the top of the image is generated, classified into the contour line group based on the horizontal movement amount of the contour line between the captured images, and the horizontal line of the contour line group is Based on the amount of movement in the direction and the height direction size of the outline group, it is possible to accurately determine whether or not there is a pedestrian who has a high risk of jumping into the course of the host vehicle.
本発明に係る飛び出し歩行者判定装置は、前記エッジ抽出手段によって抽出されたエッジに基づいて、車線を検出する車線検出手段を更に含み、前記輪郭線生成手段は、前記車線検出手段によって検出された車線に基づいて求められる道路領域内を始点として、前記エッジのピーク点が画像上方へ向かって連続する輪郭線を、前記歩行者候補の輪郭線として生成するようにすることができる。これによって、背景ノイズを排除できるため、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かをより精度良く判定することができる。 The pop-out pedestrian determination device according to the present invention further includes lane detection means for detecting a lane based on the edge extracted by the edge extraction means, and the contour line generation means is detected by the lane detection means. It is possible to generate, as the pedestrian candidate's contour line, a contour line in which the peak point of the edge continues upward in the image starting from the road area determined based on the lane. As a result, background noise can be eliminated, so that it is possible to more accurately determine whether or not there is a pedestrian who has a high risk of jumping out to the course of the host vehicle.
本発明に係る飛び出し歩行者判定装置は、前記輪郭線生成手段によって生成された前記輪郭線に基づいて、前記輪郭線が歩行者の輪郭線であると仮定した場合の前記歩行者の大きさを推定する候補サイズ推定手段と、前記輪郭線生成手段によって生成された前記輪郭線のうち、前記候補サイズ推定手段によって推定された前記歩行者の大きさが所定範囲内となる輪郭線を選択する輪郭線選択手段とを更に含み、前記検索手段は、前記輪郭線選択手段によって選択された前記輪郭線について、各撮像画像において対応する輪郭線を検索するようにすることができる。これによって、背景ノイズを排除できるため、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かをより精度良く判定することができる。 The pop-out pedestrian determination device according to the present invention determines the size of the pedestrian when it is assumed that the outline is a pedestrian outline based on the outline generated by the outline generation means. A candidate size estimating unit for estimation and a contour for selecting a contour line in which the size of the pedestrian estimated by the candidate size estimating unit is within a predetermined range among the contour lines generated by the contour line generating unit Line search means, and the search means can search for a corresponding outline in each captured image with respect to the outline selected by the outline selection means. As a result, background noise can be eliminated, so that it is possible to more accurately determine whether or not there is a pedestrian who has a high risk of jumping out to the course of the host vehicle.
本発明に係る前記検索手段は、前記撮像画像を、予め定められた進路領域、前記進路領域より右側の右領域、及び前記進路領域より左側の左領域に分割し、前記右領域内に生成された前記輪郭線については、次時刻の撮像画像の、前記輪郭線より左側に探索範囲を設定し、前記左領域内に生成された前記輪郭線については、次時刻の撮像画像の、前記輪郭線より右側に探索範囲を設定し、前記進路領域内に生成された前記輪郭線については、次時刻の撮像画像の、前記輪郭線より左側及び右側を含む探索範囲を設定し、前記設定された探索範囲内から、対応する輪郭線を検索するようにすることができる。これによって、背景ノイズを排除できるため、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かをより精度良く判定することができる。 The search means according to the present invention divides the captured image into a predetermined course area, a right area on the right side of the course area, and a left area on the left side of the course area, and is generated in the right area. For the contour line, a search range is set on the left side of the captured image at the next time, and the contour line of the captured image at the next time is set for the contour line generated in the left region. A search range is set on the right side, and for the contour line generated in the course area, a search range including a left side and a right side of the contour line of the captured image at the next time is set, and the set search is performed. The corresponding contour line can be searched from within the range. As a result, background noise can be eliminated, so that it is possible to more accurately determine whether or not there is a pedestrian who has a high risk of jumping out to the course of the host vehicle.
本発明に係る前記分類手段は、前記輪郭線を、複数の輪郭線群に分類すると共に、前記複数の輪郭線群の各々について、前記輪郭線群に属する全ての前記輪郭線に基づいて、前記水平方向の移動量を算出し、前記飛び出し判定手段は、前記複数の輪郭線群の各々について、前記算出された前記輪郭線群の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定するようにすることができる。これによって、輪郭線群の水平方向の移動量を精度良く算出できるため、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かをより精度良く判定することができる。 The classification means according to the present invention classifies the contour lines into a plurality of contour line groups, and for each of the plurality of contour line groups, based on all the contour lines belonging to the contour line group, The amount of movement in the horizontal direction is calculated, and the pop-out determination means is calculated by the size calculation means and the amount of movement in the horizontal direction of the calculated outline group for each of the plurality of outline groups. Based on the size of the outline group in the height direction, it can be determined whether or not there is a pedestrian who has a high risk of jumping into the course of the host vehicle. Thereby, since the amount of horizontal movement of the contour group can be calculated with high accuracy, it is possible to determine with high accuracy whether or not there is a pedestrian with a high risk of jumping out on the course of the host vehicle.
本発明に係る飛び出し歩行者判定装置は、自車両の速度を検出する速度検出手段を更に含み、前記飛び出し判定手段は、前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記速度検出手段によって検出された自車両の速度とに基づいて、衝突危険性を判定し、前記判定された衝突危険性と、前記輪郭線群の前記高さ方向の大きさが閾値以上であるか否かとに基づいて、自車両の進路に飛び出す危険性が高い飛び出し歩行者が存在するか否かを判定するようにすることができる。 The pop-out pedestrian determination device according to the present invention further includes speed detection means for detecting the speed of the host vehicle, and the pop-out determination means is calculated by the movement amount calculation means for each of the plurality of outline groups. The collision risk is determined based on the horizontal movement amount of the contour line belonging to the contour group and the speed of the host vehicle detected by the speed detection unit, and the determined collision risk Based on whether the height direction size of the outline group is equal to or greater than a threshold value, it is determined whether or not there is a jumping pedestrian who has a high risk of jumping to the course of the host vehicle. be able to.
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。 The storage medium for storing the program of the present invention is not particularly limited, and may be a hard disk or a ROM. Further, it may be a CD-ROM, a DVD disk, a magneto-optical disk or an IC card. Furthermore, the program may be downloaded from a server or the like connected to the network.
以上説明したように、本発明によれば、エッジのピーク点が画像上方へ向かって連続する輪郭線を生成し、撮像画像間における輪郭線の水平方向の移動量に基づいて、輪郭線群に分類し、輪郭線群の水平方向の移動量と、輪郭線群の高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを精度良く判定することができる、という効果が得られる。 As described above, according to the present invention, a contour line in which the peak point of the edge is continuous toward the upper side of the image is generated, and the contour line group is generated based on the amount of horizontal movement of the contour line between the captured images. Classify and accurately determine whether there is a pedestrian with a high risk of jumping into the course of the vehicle based on the amount of horizontal movement of the contour group and the height of the contour group The effect that it can do is acquired.
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、車両に搭載され、衝突危険度が高い飛び出し歩行者が存在するか否かを判定する飛び出し歩行者判定装置に本発明を適用した場合について説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case will be described in which the present invention is applied to a jumping pedestrian determination device that is mounted on a vehicle and determines whether there is a jumping pedestrian with a high collision risk.
図１に示すように、第１の実施の形態に係る飛び出し歩行者判定装置１０は、自車両の前方を撮像する画像撮像部１２と、自車両の速度を検出する車速センサ１４と、画像撮像部１２から出力される撮像画像及び車速センサ１４により検出される自車両の速度に基づいて衝突危険度が高い飛び出し歩行者が存在するか否かを判定する飛び出し歩行者判定処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を出力するための出力装置１８と、を備えている。 As illustrated in FIG. 1, the pop-out pedestrian determination device 10 according to the first embodiment includes an image capturing unit 12 that captures the front of the host vehicle, a vehicle speed sensor 14 that detects the speed of the host vehicle, and an image capture. A computer that executes a jumping pedestrian determination processing routine for determining whether or not there is a jumping pedestrian having a high collision risk based on the captured image output from the unit 12 and the speed of the host vehicle detected by the vehicle speed sensor 14. 16 and an output device 18 for outputting a processing result in the computer 16.
画像撮像部１２は、自車両の前方を連続して撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。なお、用いる画像はカラーでもモノクロでも良いし、可視光画像でも赤外画像でもよい。 The image capturing unit 12 continuously captures the front of the host vehicle, generates an image signal (not shown), and converts the image signal that is an analog signal generated by the image capturing unit into a digital signal. A D conversion unit (not shown) and an image memory (not shown) for temporarily storing the A / D converted image signal are provided. The image to be used may be color or monochrome, and may be a visible light image or an infrared image.
コンピュータ１６は、飛び出し歩行者判定装置１０全体の制御を司るＣＰＵ、後述する飛び出し歩行者判定処理ルーチンのプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。 The computer 16 includes a CPU for controlling the pop-out pedestrian determination device 10 as a whole, a ROM as a storage medium storing a program for a pop-out pedestrian determination processing routine, which will be described later, a RAM for temporarily storing data as a work area, and these. It includes a bus to be connected. In the case of such a configuration, a program for realizing the function of each component is stored in a storage medium such as a ROM or HDD, and each function is realized by executing the program by the CPU. To.
このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、画像撮像部１２で連続して撮像されコンピュータ１６へ入力された複数の撮像画像（連続した複数フレームの撮像画像）を取得する画像取得部２０と、取得した複数の撮像画像の各々からエッジを抽出するエッジ抽出部２２と、抽出されたエッジに基づいて、歩行者候補の輪郭線を生成する輪郭線生成部２４と、生成された輪郭線に基づいて、歩行者候補のサイズを推定する候補サイズ推定部２６と、複数の撮像画像間で対応する輪郭線を検索する対応輪郭線検索部２８と、検索された対応する輪郭線のペア毎に、輪郭線の移動量を推定する移動量推定部３０と、輪郭線の移動量に基づいて、輪郭線をグルーピングするグルーピング部３２と、グルーピングされた輪郭線のグループ毎に、グループの輪郭線全体のサイズを算出するグループサイズ算出部３４と、推定された輪郭線の移動量と算出されたグループのサイズに基づいて、衝突危険度が高い飛び出し歩行者が存在するか否かを判定する飛び出し判定部３６とを備えている。 When the computer 16 is described with function blocks divided for each function realizing means determined based on hardware and software, the image is continuously captured by the image capturing unit 12 and input to the computer 16 as shown in FIG. An image acquisition unit 20 that acquires a plurality of captured images (captured images of a plurality of consecutive frames), an edge extraction unit 22 that extracts an edge from each of the acquired plurality of captured images, and walking based on the extracted edges A contour generation unit 24 for generating a contour line of a candidate for a person, a candidate size estimation unit 26 for estimating the size of a pedestrian candidate based on the generated contour line, and a corresponding contour line between a plurality of captured images. Based on the corresponding contour search unit 28 to search, the movement amount estimation unit 30 for estimating the movement amount of the contour line for each pair of searched corresponding contour lines, and the movement amount of the contour line, A grouping unit 32 that groups the contour lines, a group size calculation unit 34 that calculates the size of the entire outline of the group for each group of the grouped contour lines, and an estimated amount of movement of the contour line and the calculated group And a pop-out determination unit 36 for determining whether or not there is a pop-out pedestrian with a high collision risk.
画像取得部２０は、画像撮像部１２によって撮像された撮像画像を、予め設定したフレーム数分だけ取得してメモリ（図示省略）に記憶する。 The image acquisition unit 20 acquires the number of the captured images captured by the image capturing unit 12 for a preset number of frames, and stores the acquired images in a memory (not shown).
エッジ抽出部２２は、複数の撮像画像の各々について、既存のＳｏｂｅｌオペレータやＰｒｅｗｉｔｔオペレータを用いて、各画素のエッジ（輝度勾配の大きさと方向）を抽出する。例えば、図２（Ａ）に示すような撮像画像に対して、Ｓｏｂｅｌオペレータを適用して、各画素のエッジ（輝度勾配の大きさ）を示すエッジ画像（図２（Ｂ）参照）が得られる。 The edge extraction unit 22 extracts the edge of each pixel (the magnitude and direction of the luminance gradient) by using an existing Sobel operator or Prewitt operator for each of the plurality of captured images. For example, the Sobel operator is applied to the captured image as shown in FIG. 2A to obtain an edge image (see FIG. 2B) indicating the edge (luminance gradient magnitude) of each pixel. .
エッジ抽出部２２では、エッジを抽出したが、このままでは、エッジは複数部分に断片化されていて、路側物のエッジも混在している。そのため、輪郭線生成部２４では、画像中のエッジをグルーピングして線分化することにより、歩行者と背景の分離度を向上させる。 The edge extraction unit 22 extracts the edge, but in this state, the edge is fragmented into a plurality of parts, and the edges of the roadside object are also mixed. Therefore, the outline generation unit 24 improves the degree of separation between the pedestrian and the background by grouping edges in the image and performing line differentiation.
歩行者は路面上に存在しているため、歩行者の輪郭線は路面の高さから画像上方の歩行者高さの範囲に連続分布している。そのため、輪郭線生成部２４は、複数の撮像画像の各々について、図３（Ａ）、（Ｂ）に示すように、予め定められた路面領域（予め定められた路面の高さまでの領域）内から、最下端となるエッジのピーク点を選択して、そのピーク点から画像の上方もしくは斜め上方へ連続するエッジのピーク点を追跡して輪郭線として統合する。エッジ点が連続しなくなったら、ピーク追跡を終了して、追跡されたエッジのピーク点をひとつのグループとして、歩行者候補の輪郭線を生成する。エッジのピーク点を上方へ追跡することにより、ノイズとなる路側物エッジの混入を防ぐことができる。 Since pedestrians exist on the road surface, the pedestrian contour line is continuously distributed from the height of the road surface to the pedestrian height range above the image. Therefore, the contour line generation unit 24, for each of the plurality of captured images, within a predetermined road surface area (an area up to a predetermined road surface height) as shown in FIGS. 3 (A) and 3 (B). Then, the peak point of the edge that is the lowest end is selected, and the peak point of the edge that continues from the peak point upward or diagonally upward is traced and integrated as a contour line. When the edge points are not continuous, the peak tracking is ended, and the contour points of the pedestrian candidates are generated with the peak points of the tracked edges as one group. By tracking the peak point of the edge upward, it is possible to prevent the roadside object edge from becoming a noise.
候補サイズ推定部２６は、複数の撮像画像の各々について、生成した輪郭線の最下端点が平面の路面上であると仮定し、輪郭線が表わす歩行者候補の高さと幅を、以下のように推定する。 For each of the plurality of captured images, the candidate size estimation unit 26 assumes that the lowest end point of the generated contour line is on a flat road surface, and calculates the height and width of the pedestrian candidate indicated by the contour line as follows: To estimate.
図４（Ａ）に示すように、撮像画像上の消失点を原点とした場合の歩行者候補の輪郭線下端の座標値をｙｐ、画像撮像部１２の路面からの高さをｈｃ、歩行者候補の実際の高さと幅を各々ｈｐとｗｐ、撮像画像上で生成された輪郭線の高さと幅を各々ｈｉとｗｉとする。このとき、以下の（１）式、（２）式に従って、歩行者候補のｈｐとｗｐが求められる（画像撮像部１２は水平、前向きに設置と仮定）。 As shown in FIG. 4A, the coordinate value of the lower end of the contour line of the pedestrian candidate when the vanishing point on the captured image is the origin is y p , the height from the road surface of the image capturing unit 12 is h c , Assume that the actual height and width of the pedestrian candidate are h p and w p , respectively, and the height and width of the contour line generated on the captured image are h i and w i , respectively. At this time, hp and w p of pedestrian candidates are obtained according to the following equations (1) and (2) (assuming that the image capturing unit 12 is installed horizontally and forward).
また、平均的な横向きの歩行者のサイズは大きくても高さ２ｍ、幅０．５ｍであるので、候補サイズ推定部２６は、図４（Ｂ）に示すように、上記（１）式で計算されたｈｐが高さ２ｍ以上、あるいは上記（２）式で計算されたｗｐが幅０．５ｍ、以上となる輪郭線を非歩行者として除去する。
また、車道に飛び出す歩行者は３歳児の平均身長以上の大きさはあると考えられるので、候補サイズ推定部２６は、上記図４（Ｂ）に示すように、求められたｈｐが約０．８m以下となる輪郭線を非歩行者として除去する。
以上の処理により、歩行者候補の輪郭を示す輪郭線を選択して、背景物などによるノイズを低減することができる。
In addition, since the size of the average sideways pedestrian is 2 m at the maximum and 0.5 m in width, the candidate size estimation unit 26 is represented by the above equation (1) as shown in FIG. calculated h p is 2m high or more, or to remove the (2) calculated w p width 0.5m by the formula, a contour line becomes higher as a non-pedestrian.
Further, it is considered that the pedestrian jumping roadway some average height more than the size of the 3-year-old children, the candidate size estimation unit 26, as shown in FIG. 4 (B), the obtained h p is about 0 Remove contour lines that are less than 8m as non-pedestrians.
With the above processing, a contour line indicating the contour of a pedestrian candidate can be selected, and noise due to a background object or the like can be reduced.
対応輪郭線検索部２８は、連続して撮像された複数の撮像画像の各々について生成された歩行者候補の輪郭線を、当該複数の撮像画像間で対応付ける。ここで、時刻ｔの撮像画像における輪郭線と対応する、時刻ｔ＋Ｔの撮像画像における輪郭線を検索する場合には、時刻ｔ＋Ｔの撮像画像に、以下に説明する探索範囲を設定し、設定された探索範囲内から、対応する輪郭線を検索する。 The corresponding contour search unit 28 associates the contour lines of the pedestrian candidates generated for each of the plurality of captured images captured continuously between the plurality of captured images. Here, when searching for the contour line in the captured image at time t + T corresponding to the contour line in the captured image at time t, the search range described below is set and set in the captured image at time t + T. The corresponding contour line is searched from the search range.
まず、自車進路に進入する方向に移動して、衝突する可能性のある飛び出し歩行者を検出したいので、図５に示すように、撮像画像を右・左・進路領域に分割し、各領域毎に、対応する輪郭線の探索範囲を設定する。なお、領域分割の境界線の角度は以下の（３）式によって表わされる。 First, since it is desired to detect a jumping pedestrian that moves in the direction of entering the vehicle course and may collide, as shown in FIG. 5, the captured image is divided into right, left, and course areas. Each time, the search range for the corresponding contour line is set. In addition, the angle of the boundary line of the area division is expressed by the following equation (3).
ただし、ｗｃは自車両の幅であり、ｈｃは、画像撮像部１２の設置位置の高さである。 However, w c is the width of the host vehicle, and h c is the height of the installation position of the image capturing unit 12.
時刻tで検出した輪郭線が右領域内に存在する場合には、時刻ｔ＋Ｔの撮像画像において、当該輪郭線の左側に探索範囲を設定する。時刻tで検出した輪郭線が左領域内に存在する場合には、時刻ｔ＋Ｔの撮像画像において、当該輪郭線の右側に探索範囲を設定する。時刻tで検出した輪郭線が進路領域内に存在する場合には、時刻ｔ＋Ｔの撮像画像において、当該輪郭線の左側及び右側を含む探索範囲を設定する。 When the contour detected at time t exists in the right region, the search range is set on the left side of the contour in the captured image at time t + T. If the contour detected at time t exists in the left region, a search range is set on the right side of the contour in the captured image at time t + T. When the contour detected at time t is present in the course area, a search range including the left and right sides of the contour is set in the captured image at time t + T.
さらに、歩行者の移動速度は高々２ｍ/s程度であるので、路面平面仮定から、図６に示すように、画像上の探索範囲の水平方向の幅を限定できる。探索範囲の水平方向の幅ｘserchは、以下の（４）式に従って表わされる。 Furthermore, since the moving speed of the pedestrian is at most about 2 m / s, the horizontal width of the search range on the image can be limited from the assumption of the road surface plane as shown in FIG. The horizontal width x serch of the search range is expressed according to the following equation (4).
ただし、ｖｘは、歩行者移動速度であり、Ｔは撮像画像間の時間間隔である。 However, v x is a pedestrian moving speed, T is the time interval between captured images.
移動量推定部３０は、検索された対応する輪郭線の各ペアについて、複数の撮像画像間での移動量を推定する。 The movement amount estimation unit 30 estimates a movement amount between a plurality of captured images for each pair of corresponding contour lines searched for.
前段にて連続する時刻tと時刻ｔ+Ｔにおける歩行者候補の輪郭線を抽出しているので、図７に示すように、以下の（５）式に従って、輪郭線の各画素のｘ軸方向（水平方向）の移動量の平均値から移動量が求められる。 Since the contour lines of the pedestrian candidates at time t and time t + T continuous in the previous stage are extracted, as shown in FIG. 7, the x-axis direction of each pixel of the contour line is expressed according to the following equation (5). The movement amount is obtained from the average value of the movement amounts in the (horizontal direction).
ただし、ｙの集合は、時刻tと時刻ｔ+Ｔにおける輪郭線の共通するｙ座標の集合であり、Ｎはその数である。
また、背景物は頭部背景に映り込み、脚部は胴体に対して移動量が大きいため、輪郭線をｙ方向（高さ方向）に三分割し、上下の部分の重みｃｙを小さく設定して計算することにより、歩行者の胴体部の移動量Δxを精度良く求めることができる。
However, the set of y is a set of y coordinates common to the contour lines at time t and time t + T, and N is the number thereof.
Also, the background was glare head background, because of the large amount of movement with respect to the leg body, the contour is divided into three parts in the y-direction (height direction), reduced weight c y of the upper and lower portions Settings Thus, the movement amount Δx of the pedestrian's torso can be obtained with high accuracy.
歩行者の輪郭は、頭部・胴体・四肢・服・鞄などの持物などの複数の輪郭線から構成されているので、それらの輪郭線を統合することにより、推定精度が向上される。そこで、グルーピング部３２は、各輪郭線について、図８に示すように、輪郭線の最下点を基準に統合範囲ｘint、ｙintの範囲内で、ｘ方向の移動量Δxの値がほぼ等しい輪郭線（移動量Δｘの差分が予め定められた誤差範囲のもの）を統合することにより、各輪郭線を複数の輪郭線群にグルーピングする。 Since the contour of the pedestrian is composed of a plurality of contour lines such as a head, a torso, extremities, clothes, a bag, and the like, estimation accuracy is improved by integrating the contour lines. Therefore, as shown in FIG. 8, the grouping unit 32 has a value of the movement amount Δx in the x direction within the range of the integrated ranges x int and y int with respect to the lowest point of the contour as shown in FIG. By integrating equal contour lines (with a difference in movement amount Δx within a predetermined error range), each contour line is grouped into a plurality of contour line groups.
統合範囲ｘint、ｙintは、以下の（６）式、（７）式で表される。 The integrated ranges x int and y int are expressed by the following equations (6) and (7).
このとき、横向きの歩行者のサイズを想定すると、最大高さｈmax＝２ｍ、最大幅ｗmax＝０．５ｍと設定すればよい。 At this time, assuming the size of a sideways pedestrian, the maximum height h max = 2 m and the maximum width w max = 0.5 m may be set.
グルーピング部３２は、各輪郭線群について、輪郭線群に属する複数の輪郭線全体の移動量を、上記（６）式に従って再計算し、輪郭線群の移動量Δｘを算出する。 For each contour group, the grouping unit 32 recalculates the movement amount of the plurality of contour lines belonging to the contour group in accordance with the above equation (6), and calculates the movement amount Δx of the contour group.
グループサイズ算出部３４は、各輪郭線群について、輪郭線群に属する複数の輪郭線全体の最上端と最下端との高さ（ｙ方向の距離）Ｌを算出する。 The group size calculation unit 34 calculates, for each contour group, the height (distance in the y direction) L between the uppermost end and the lowermost end of a plurality of contour lines belonging to the contour group.
なお、以下の（８)式により、Ｌを画像上の歩行者の基準の高さで正規化しておく。 Note that L is normalized by the reference height of the pedestrian on the image by the following equation (8).
このとき、ｈstdは、歩行者の基準となる身長を設定する。 At this time, h std sets a height that serves as a reference for the pedestrian.
飛び出し判定部３６は、各輪郭線群の移動量Δｘと自車両の車速ｖｃとに基づいて、以下に説明するように、衝突危険度が高い飛び出し歩行者が存在するか否かを判定する。 Popping determination unit 36 determines based on the vehicle speed v c of the movement amount Δx and the vehicle of each contour line group, as described below, whether a collision risk is high popping pedestrians are present .
まず、図９に示すように、自車両と飛び出し歩行者が定速運動をしていると仮定して、自車両がＹ＝０に到達した時点での飛び出し歩行者との距離Ｘcrossを、以下の（９）式に従って予測する。この距離Ｘcrossが、自車両との衝突危険度の指標となる。 First, as shown in FIG. 9, assuming that the host vehicle and the jumping pedestrian are moving at a constant speed, the distance X cross with the jumping pedestrian at the time when the host vehicle reaches Y = 0, Prediction is made according to the following equation (9). This distance X cross is an index of the risk of collision with the host vehicle.
ただし、Ｔは、時刻ｔと時刻ｔ＋Ｔとの間の時間間隔であり、ｙ１、ｙ２は、時刻ｔ、ｔ＋Ｔでの画像上の歩行者足元ｙ座標と消失線の間の間隔である（図１０参照）。 However, T is the time interval between time t and time t + T, and y 1 and y 2 are the intervals between the pedestrian foot y coordinate on the image and the disappearance line at time t and t + T ( (See FIG. 10).
そして、|Ｘcross|＜ｗｃ／２、かつ、Ｌ´＞設定閾値であれば、当該輪郭線群が示す歩行者候補が、衝突危険度が高い飛び出し歩行者であると判定する。 If | X cross | <w c / 2 and L ′> setting threshold, it is determined that the pedestrian candidate indicated by the outline group is a jumping pedestrian with a high collision risk.
飛び出し判定部３６は、衝突危険度が高い飛び出し歩行者が存在すると判定した場合、出力装置１８によって警報メッセージを出力するように制御する。 The pop-up determination unit 36 controls the output device 18 to output an alarm message when it is determined that there is a pop-out pedestrian with a high collision risk.
次に、図１１を参照して、第１の実施の形態の飛び出し歩行者判定装置１０のコンピュータ１６で実行される飛び出し歩行者判定処理ルーチンについて説明する。 Next, a jumping pedestrian determination processing routine executed by the computer 16 of the jumping pedestrian determination apparatus 10 according to the first embodiment will be described with reference to FIG.
ステップ１００で、画像撮像部１２で連続して撮像された時刻ｔ、ｔ＋Ｔの撮像画像を取得すると共に、車速センサ１４で検出された自車両の速度を取得する。 In step 100, captured images at times t and t + T continuously captured by the image capturing unit 12 are acquired, and the speed of the host vehicle detected by the vehicle speed sensor 14 is acquired.
次のステップ１０２では、上記ステップ１００で取得した時刻ｔ、ｔ＋Ｔの撮像画像の各々について、各画素のエッジを抽出する。そして、ステップ１０４において、上記ステップ１００で取得した時刻ｔ、ｔ＋Ｔの撮像画像の各々について、上記ステップ１０２で抽出したエッジに基づいて、歩行者候補の輪郭線を生成する。 In the next step 102, the edge of each pixel is extracted from each of the captured images at times t and t + T acquired in step 100. In step 104, a contour line of a pedestrian candidate is generated based on the edge extracted in step 102 for each of the captured images at times t and t + T acquired in step 100.
次のステップ１０６では、上記ステップ１０４で生成した歩行者候補の輪郭線の各々について、上記（１）式、（２）式に従って、歩行者候補の大きさを推定し、ステップ１０８において、上記ステップ１０６で推定された歩行者候補の大きさに基づいて、大きさが所定範囲外となる輪郭線は除外し、大きさが所定範囲内となる輪郭線を、歩行者候補の輪郭線として選択する。 In the next step 106, the size of the pedestrian candidate is estimated according to the above formulas (1) and (2) for each of the contour lines of the pedestrian candidate generated in step 104. Based on the size of the pedestrian candidate estimated in 106, the contour line whose size is outside the predetermined range is excluded, and the contour line whose size is within the predetermined range is selected as the contour line of the pedestrian candidate. .
そして、ステップ１１０において、上記ステップ１０８で選択された、時刻ｔの撮像画像における各輪郭線について、輪郭線が位置する進路領域、右領域、左領域に応じて、時刻ｔ＋Ｔの撮像画像に探索範囲を設定する。次のステップ１１２では、時刻ｔの撮像画像における各輪郭線について、時刻ｔ＋Ｔの撮像画像に設定した探索領域から、対応する輪郭線を検索する。 In step 110, for each contour line in the captured image at time t selected in step 108, the search range of the captured image at time t + T is determined according to the course area, right area, and left area where the contour line is located. Set. In the next step 112, for each contour line in the captured image at time t, a corresponding contour line is searched from the search area set in the captured image at time t + T.
そして、ステップ１１４において、上記ステップ１１２での検索結果に基づいて、時刻ｔ、ｔ＋Ｔの撮像画像の間で対応する輪郭線のペアの各々について、上記（５）式に従って、水平方向の移動量Δｘを推定する。 Then, in step 114, based on the search result in step 112, for each pair of contour lines corresponding to the captured images at time t and t + T, the horizontal movement amount Δx according to the above equation (5). Is estimated.
次のステップ１１６では、上記ステップ１１４で推定された移動量Δｘに基づいて、輪郭線を、複数の輪郭線群にグルーピングすると共に、各輪郭線群について、水平方向の移動量Δｘを再計算する。ステップ１１８において、輪郭線群の各々について、高さ方向の大きさを算出し、ステップ１２０において、上記ステップ１１６で計算された各輪郭線群の移動量Δｘと、上記ステップ１１８で算出された各輪郭線群の高さ方向の大きさと、上記ステップ１００で取得した自車両の速度とに基づいて、各輪郭線群が示す歩行者候補が、衝突危険度の高い飛び出し歩行者であるか否かを判定する。 In the next step 116, the contour lines are grouped into a plurality of contour groups based on the movement amount Δx estimated in step 114, and the horizontal movement amount Δx is recalculated for each contour group. . In step 118, the size in the height direction is calculated for each of the contour lines, and in step 120, the movement amount Δx of each contour group calculated in step 116 and each of the contours calculated in step 118 are calculated. Whether or not the pedestrian candidate indicated by each contour group is a jumping pedestrian with a high collision risk based on the size of the contour group in the height direction and the speed of the host vehicle acquired in step 100 above. Determine.
そして、ステップ１２２において、上記ステップ１２０の判定により、衝突危険度の高い飛び出し歩行者が存在するか否かを判定し、衝突危険度の高い飛び出し歩行者が存在しない場合には、飛び出し歩行者判定処理ルーチンを終了する。一方、衝突危険度の高い飛び出し歩行者が存在する場合には、ステップ１２４において、出力装置１８によって警報メッセージを出力するように制御して、飛び出し歩行者判定処理ルーチンを終了する。 Then, in step 122, it is determined whether or not there is a jumping pedestrian having a high collision risk by the determination in step 120. If there is no jumping pedestrian having a high collision risk, the jumping pedestrian determination is performed. The processing routine ends. On the other hand, if there is a jumping pedestrian with a high degree of collision risk, in step 124, the output device 18 controls to output an alarm message, and the jumping pedestrian determination processing routine is terminated.
以上説明したように、第１の実施の形態の飛び出し歩行者判定装置１０によればエッジのピーク点が画像上方へ向かって連続する輪郭線を歩行者候補の輪郭線として生成し、撮像画像間において対応する輪郭線の水平方向の移動量に基づいて、歩行者候補の輪郭線を輪郭線群に分類し、輪郭線群の水平方向の移動量と、輪郭線群の高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを精度良く判定することができる。 As described above, according to the pop-out pedestrian determination device 10 of the first embodiment, the contour line in which the peak point of the edge continues upward in the image is generated as the contour line of the pedestrian candidate, and between the captured images The contour lines of the pedestrian candidates are classified into contour line groups based on the horizontal movement amount of the corresponding contour lines in FIG. 2, and the horizontal movement amount of the contour line group and the height direction size of the contour line group Based on the above, it is possible to accurately determine whether or not there is a pedestrian who has a high risk of jumping out on the course of the own vehicle.
輪郭線の生成では、飛び出し歩行者は輪郭が連続して道路面上に存在するという前提に基づき、路面位置から画像上方へエッジのピーク点を追跡して輪郭線を生成することにより路側物の輪郭線を分離することができる。また、生成された輪郭線の大きさと、基準となる歩行者の大きさを比較することにより、背景の路面表示の輪郭線を分離することができる。また、時刻ｔ、ｔ＋Ｔの撮像画像間の輪郭線の移動量を算出後、輪郭線の移動量に基づき輪郭線のグルーピングを実施する。歩行者と背景物の移動方向は異なるので，歩行者と背景物を分離することが可能となる。このように、歩行者の輪郭線群は道路面上から連続し、かつ、同一方向に移動し、背景の路側物や路面表示の輪郭線群とは異なる方向に移動する傾向を利用することにより、背景物を分離して飛び出し歩行者の移動量を求めることができる。 In the generation of the contour line, the jumping pedestrian traces the peak point of the edge from the road surface position to the top of the image and generates the contour line based on the premise that the contour is continuously present on the road surface. Contour lines can be separated. Further, by comparing the size of the generated contour line with the size of a pedestrian as a reference, the contour line of the background road surface display can be separated. Further, after calculating the amount of movement of the contour line between the captured images at time t and t + T, grouping of the contour line is performed based on the amount of movement of the contour line. Since the pedestrian and the background object move in different directions, the pedestrian and the background object can be separated. In this way, by using the tendency that pedestrian contour groups are continuous from the road surface, move in the same direction, and move in a different direction from the background roadside objects and road surface contour groups. By separating the background object, the amount of movement of the pedestrian can be obtained.
また、不安定な特徴点のオプティカルフローの算出は避けて、歩行者の輪郭線の水平方向の移動量を算出することにより、移動量の算出精度を向上する。 Further, the calculation accuracy of the movement amount is improved by avoiding the calculation of the optical flow of the unstable feature point and calculating the movement amount in the horizontal direction of the contour line of the pedestrian.
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。 Next, a second embodiment will be described. In addition, about the part which becomes the structure similar to 1st Embodiment, the same code | symbol is attached | subjected and description is abbreviate | omitted.
第２の実施の形態では、撮像画像から車線を検出し、道路領域内を始点とする輪郭線を、歩行者候補の輪郭線として生成している点が、第１の実施の形態と異なっている。 The second embodiment is different from the first embodiment in that a lane is detected from a captured image and a contour line starting from the road area is generated as a contour line of a pedestrian candidate. Yes.
図１２に示すように、第２の実施の形態の飛び出し歩行者判定装置２１０のコンピュータ２１６は、画像取得部２０と、エッジ抽出部２２と、抽出されたエッジに基づいて、車線を検出する車線検出部２２３と、検出された車線に基づいて求められる道路領域内を始点として、歩行者候補の輪郭線を生成する輪郭線生成部２２４と、候補サイズ推定部２６と、対応輪郭線検索部２８と、移動量推定部３０と、グルーピング部３２と、グループサイズ算出部３４と、飛び出し判定部３６とを備えている。 As illustrated in FIG. 12, the computer 216 of the pop-out pedestrian determination device 210 according to the second embodiment detects the lane based on the image acquisition unit 20, the edge extraction unit 22, and the extracted edge. A detection unit 223, a contour generation unit 224 that generates a contour line of a pedestrian candidate starting from the road area determined based on the detected lane, a candidate size estimation unit 26, and a corresponding contour search unit 28 A movement amount estimation unit 30, a grouping unit 32, a group size calculation unit 34, and a pop-up determination unit 36.
車線検出部２０は、複数の撮像画像の各々から、抽出されたエッジに基づいて、車線（車道端の白線）を検出する。また、車線検出部２０は、白線だけでなく、縁石を検出して車道端を推定してもよい。 The lane detection unit 20 detects a lane (white line at the end of the road) from each of the plurality of captured images based on the extracted edge. Further, the lane detection unit 20 may detect not only the white line but also the curbstone to estimate the road edge.
輪郭線生成部２２４は、車線検出部２０によって検出された車線や縁石から、道路領域を推定し、推定された道路領域内から、最下端となるエッジのピーク点を選択し、選択されたエッジのピーク点から、連続するエッジのピーク点を上方に追跡し、歩行者候補の輪郭線を生成する。 The contour line generation unit 224 estimates a road region from the lane and curb detected by the lane detection unit 20, selects a peak point of the lowermost edge from the estimated road region, and selects the selected edge From these peak points, the peak points of successive edges are tracked upward to generate pedestrian candidate contour lines.
なお、第２の実施の形態に係る飛び出し歩行者判定装置２１０の他の構成及び作用については第１の実施の形態と同様であるため、説明を省略する。 In addition, since it is the same as that of 1st Embodiment about the other structure and effect | action of the jumping pedestrian determination apparatus 210 which concern on 2nd Embodiment, description is abbreviate | omitted.
このように、歩行者候補の輪郭線の開始点を道路領域内に限定することにより、歩行者の背景にある路側物の誤検出を低減することができ、より適切な飛び出し判定が可能となる。 In this way, by limiting the starting point of the contour line of the pedestrian candidate to the road region, it is possible to reduce erroneous detection of roadside objects in the background of the pedestrian, and to perform more appropriate pop-up determination. .
１０、２１０ 飛び出し歩行者判定装置
１２ 画像撮像部
１４ 車速センサ
１６、２１６ コンピュータ
２０ 車線検出部
２２ エッジ抽出部
２４、２２４ 輪郭線生成部
２６ 候補サイズ推定部
２８ 対応輪郭線検索部
３０ 移動量推定部
３２ グルーピング部
３４ グループサイズ算出部
３６ 飛び出し判定部
２２３ 車線検出部
DESCRIPTION OF SYMBOLS 10,210 Jumping out pedestrian determination apparatus 12 Image pick-up part 14 Vehicle speed sensor 16,216 Computer 20 Lane detection part 22 Edge extraction part 24,224 Contour line generation part 26 Candidate size estimation part 28 Corresponding outline search part 30 Movement amount estimation part 32 Grouping unit 34 Group size calculation unit 36 Pop-up determination unit 223 Lane detection unit
Claims (7)
前記エッジ抽出手段によって抽出されたエッジに基づいて、各撮像画像について、エッジのピーク点が画像上方へ向かって連続する輪郭線を、歩行者候補の輪郭線として生成する輪郭線生成手段と、
前記輪郭線生成手段によって各撮像画像について生成された前記輪郭線に基づいて、各撮像画像において対応する輪郭線を検索する検索手段と、
前記検索手段によって検索された対応する輪郭線のペアの各々について、前記撮像画像上の水平方向の移動量を算出する移動量算出手段と、
前記移動量算出手段によって算出された前記移動量に基づいて、前記輪郭線を、複数の輪郭線群に分類する分類手段と、
前記複数の輪郭線群の各々について、前記輪郭線群に属する全ての前記輪郭線の高さ方向の大きさを算出するサイズ算出手段と、
前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する飛び出し判定手段と、
を含む飛び出し歩行者判定装置。 Edge extraction means for extracting an edge from each of a plurality of captured images obtained by continuously capturing the front of the host vehicle;
On the basis of the edge extracted by the edge extraction unit, for each captured image, a contour line generating unit that generates a contour line in which the peak point of the edge is continuous toward the top of the image as a contour line of a pedestrian candidate;
Search means for searching for a corresponding contour line in each captured image based on the contour line generated for each captured image by the contour line generating means;
A moving amount calculating means for calculating a moving amount in the horizontal direction on the captured image for each of the pair of corresponding contour lines searched by the searching means;
Classification means for classifying the contour line into a plurality of contour line groups based on the movement amount calculated by the movement amount calculation means;
For each of the plurality of outline groups, size calculating means for calculating the size in the height direction of all the outlines belonging to the outline group,
For each of the plurality of outline groups, the horizontal movement amount of the outline belonging to the outline group calculated by the movement amount calculation means and the outline group calculated by the size calculation means Based on the size in the height direction, jump-out determination means for determining whether or not there is a pedestrian having a high risk of jumping out on the course of the own vehicle;
Jumping out pedestrian determination device including
前記輪郭線生成手段は、前記車線検出手段によって検出された車線に基づいて求められる道路領域内を始点として、前記エッジのピーク点が画像上方へ向かって連続する輪郭線を、前記歩行者候補の輪郭線として生成する請求項１記載の飛び出し歩行者判定装置。 Lane detection means for detecting a lane based on the edge extracted by the edge extraction means,
The contour generation means generates a contour line in which the peak point of the edge continues upward from the image starting from the road area determined based on the lane detected by the lane detection means. The pop-out pedestrian determination device according to claim 1, which is generated as a contour line.
前記輪郭線生成手段によって生成された前記輪郭線のうち、前記候補サイズ推定手段によって推定された前記歩行者の大きさが所定範囲内となる輪郭線を選択する輪郭線選択手段とを更に含み、
前記検索手段は、前記輪郭線選択手段によって選択された前記輪郭線について、各撮像画像において対応する輪郭線を検索する請求項１又は２記載の歩行者判定装置。 Candidate size estimation means for estimating the size of the pedestrian when the outline is assumed to be a pedestrian outline based on the outline generated by the outline generation means;
A contour selection means for selecting a contour line in which the size of the pedestrian estimated by the candidate size estimation means is within a predetermined range among the contour lines generated by the contour line generation means;
The pedestrian determination device according to claim 1, wherein the search unit searches for a corresponding contour line in each captured image with respect to the contour line selected by the contour line selection unit.
前記飛び出し判定手段は、前記複数の輪郭線群の各々について、前記算出された前記輪郭線群の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する請求項１〜請求項４の何れか１項記載の歩行者判定装置。 The classifying means classifies the contour lines into a plurality of contour line groups, and moves the horizontal direction based on all the contour lines belonging to the contour line group for each of the plurality of contour line groups. Calculate the quantity,
For each of the plurality of outline groups, the pop-out determination means includes the calculated horizontal movement amount of the outline group and the height direction of the outline group calculated by the size calculation means. The pedestrian determination device according to any one of claims 1 to 4, wherein the pedestrian determination device according to any one of claims 1 to 4 determines whether or not there is a pedestrian having a high risk of jumping out to a course of the own vehicle based on the size of the vehicle.
前記飛び出し判定手段は、前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記速度検出手段によって検出された自車両の速度とに基づいて、衝突危険性を判定し、前記判定された衝突危険性と、前記輪郭線群の前記高さ方向の大きさが閾値以上であるか否かとに基づいて、自車両の進路に飛び出す危険性が高い飛び出し歩行者が存在するか否かを判定する請求項１〜請求項５の何れか１項記載の歩行者判定装置。 It further includes speed detecting means for detecting the speed of the host vehicle,
The pop-up determination means is detected by the speed detection means and the horizontal movement amount of the contour line belonging to the contour line group calculated by the movement amount calculation means for each of the plurality of contour line groups. The collision risk is determined based on the speed of the own vehicle, and based on the determined collision risk and whether the size in the height direction of the outline group is equal to or greater than a threshold value, The pedestrian determination device according to any one of claims 1 to 5, wherein the pedestrian determination device according to any one of claims 1 to 5 determines whether or not there is a jumping pedestrian that has a high risk of jumping out on a path of the host vehicle.
自車両の前方を連続して撮像した複数の撮像画像の各々からエッジを抽出するエッジ抽出手段、
前記エッジ抽出手段によって抽出されたエッジに基づいて、各撮像画像について、エッジのピーク点が画像上方へ向かって連続する輪郭線を、歩行者候補の輪郭線として生成する輪郭線生成手段、
前記輪郭線生成手段によって各撮像画像について生成された前記輪郭線に基づいて、各撮像画像において対応する輪郭線を検索する検索手段、
前記検索手段によって検索された対応する輪郭線のペアの各々について、前記撮像画像上の水平方向の移動量を算出する移動量算出手段、
前記移動量算出手段によって算出された前記移動量に基づいて、前記輪郭線を、複数の輪郭線群に分類する分類手段、
前記複数の輪郭線群の各々について、前記輪郭線群に属する全ての前記輪郭線の高さ方向の大きさを算出するサイズ算出手段、及び
前記複数の輪郭線群の各々について、前記移動量算出手段によって算出された前記輪郭線群に属する前記輪郭線の前記水平方向の移動量と、前記サイズ算出手段によって算出された前記輪郭線群の前記高さ方向の大きさとに基づいて、自車両の進路に飛び出す危険性が高い歩行者が存在するか否かを判定する飛び出し判定手段
として機能させるためのプログラム。 Computer
Edge extraction means for extracting an edge from each of a plurality of captured images obtained by continuously capturing the front of the host vehicle;
On the basis of the edge extracted by the edge extraction unit, for each captured image, a contour line generation unit that generates a contour line in which the peak point of the edge continues upward from the image as the contour line of the pedestrian candidate,
Search means for searching for a corresponding contour line in each captured image based on the contour line generated for each captured image by the contour line generating means;
A moving amount calculating means for calculating a moving amount in the horizontal direction on the captured image for each of the corresponding pair of contour lines searched by the searching means;
Classification means for classifying the contour line into a plurality of contour line groups based on the movement amount calculated by the movement amount calculation means;
For each of the plurality of outline groups, size calculation means for calculating the size in the height direction of all the outlines belonging to the outline group, and for each of the plurality of outline groups, the movement amount calculation Based on the amount of movement in the horizontal direction of the contour line belonging to the contour line group calculated by the means and the size in the height direction of the contour group calculated by the size calculating means, A program for functioning as a jump-out judging means for judging whether or not there is a pedestrian who has a high risk of jumping out on the path.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011071140A JP2012203884A (en) | 2011-03-28 | 2011-03-28 | Jumping-out pedestrian determining device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011071140A JP2012203884A (en) | 2011-03-28 | 2011-03-28 | Jumping-out pedestrian determining device and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012203884A true JP2012203884A (en) | 2012-10-22 |
Family
ID=47184768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011071140A Withdrawn JP2012203884A (en) | 2011-03-28 | 2011-03-28 | Jumping-out pedestrian determining device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012203884A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014085920A (en) * | 2012-10-25 | 2014-05-12 | Honda Motor Co Ltd | Vehicle surroundings monitoring device |
| WO2016143306A1 (en) * | 2015-03-10 | 2016-09-15 | 株式会社Ｊｖｃケンウッド | Alert device, alert method, and alert program |
| JP2016167174A (en) * | 2015-03-10 | 2016-09-15 | 株式会社Ｊｖｃケンウッド | Warning device, warning method, and warning program |
| WO2016159364A1 (en) * | 2015-04-02 | 2016-10-06 | 株式会社デンソー | Pedestrian determination device |
| JP2016192164A (en) * | 2015-03-31 | 2016-11-10 | 株式会社デンソー | Object detection device and object detection method |
| US10068142B2 (en) | 2013-04-03 | 2018-09-04 | Toyota Jidosha Kabushiki Kaisha | Detection apparatus, detection method, driving assistance apparatus, and driving assistance method |
| KR20190062184A (en) * | 2017-11-27 | 2019-06-05 | 고려대학교 산학협력단 | System and method for pedestrian-vehicle collision warning based on pedestrian state |
-
2011
- 2011-03-28 JP JP2011071140A patent/JP2012203884A/en not_active Withdrawn
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014085920A (en) * | 2012-10-25 | 2014-05-12 | Honda Motor Co Ltd | Vehicle surroundings monitoring device |
| US10068142B2 (en) | 2013-04-03 | 2018-09-04 | Toyota Jidosha Kabushiki Kaisha | Detection apparatus, detection method, driving assistance apparatus, and driving assistance method |
| US10474910B2 (en) | 2015-03-10 | 2019-11-12 | Jvckenwood Corporation | Warning device, warning method, and warning program |
| CN107408288A (en) * | 2015-03-10 | 2017-11-28 | Jvc 建伍株式会社 | Warning device, method for warming and alert program |
| JP2016167174A (en) * | 2015-03-10 | 2016-09-15 | 株式会社Ｊｖｃケンウッド | Warning device, warning method, and warning program |
| WO2016143306A1 (en) * | 2015-03-10 | 2016-09-15 | 株式会社Ｊｖｃケンウッド | Alert device, alert method, and alert program |
| US11423664B2 (en) | 2015-03-10 | 2022-08-23 | Jvckenwood Corporation | Warning device, warning method, and warning program |
| US11749112B2 (en) | 2015-03-10 | 2023-09-05 | Jvckenwood Corporation | Warning device, warning method, and warning program |
| JP2016192164A (en) * | 2015-03-31 | 2016-11-10 | 株式会社デンソー | Object detection device and object detection method |
| WO2016159364A1 (en) * | 2015-04-02 | 2016-10-06 | 株式会社デンソー | Pedestrian determination device |
| JP2016197278A (en) * | 2015-04-02 | 2016-11-24 | 株式会社デンソー | Pedestrian determination device |
| US10482332B2 (en) | 2015-04-02 | 2019-11-19 | Denso Corporation | Pedestrian determining apparatus for determining whether an object is a pedestrian crossing ahead of an own vehicle |
| KR20190062184A (en) * | 2017-11-27 | 2019-06-05 | 고려대학교 산학협력단 | System and method for pedestrian-vehicle collision warning based on pedestrian state |
| KR102099265B1 (en) * | 2017-11-27 | 2020-05-15 | 고려대학교 산학협력단 | System and method for pedestrian-vehicle collision warning based on pedestrian state |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5197679B2 (en) | Object detection apparatus and program | |
| JP4650079B2 (en) | Object detection apparatus and method | |
| CN111487641B (en) | Method and device for detecting object by using laser radar, electronic equipment and storage medium | |
| JP5822255B2 (en) | Object identification device and program | |
| JP2012203884A (en) | Jumping-out pedestrian determining device and program | |
| JP5407898B2 (en) | Object detection apparatus and program | |
| Reisman et al. | Crowd detection in video sequences | |
| JP5867596B2 (en) | Three-dimensional object detection apparatus and three-dimensional object detection method | |
| JP5075672B2 (en) | Object detection apparatus and method | |
| US20070274566A1 (en) | Pedestrian detector and pedestrian detecting method | |
| JP5136504B2 (en) | Object identification device | |
| JP5904925B2 (en) | Vehicle periphery monitoring device | |
| CN104239867A (en) | License plate locating method and system | |
| JPWO2014017302A1 (en) | In-vehicle ambient environment recognition device | |
| JP2015165376A (en) | Apparatus and method for recognizing lane | |
| JP2013140515A (en) | Solid object detection device and program | |
| JP2008168811A (en) | Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program | |
| JP5874831B2 (en) | Three-dimensional object detection device | |
| JP2012123626A (en) | Object detector and program | |
| JPWO2017145634A1 (en) | Image processing apparatus, imaging apparatus, mobile device control system, image processing method, and program | |
| KR101866381B1 (en) | Apparatus and Method for Pedestrian Detection using Deformable Part Model | |
| JP2006350699A (en) | Image processor and image processing method | |
| JP2007316685A (en) | Traveling path boundary detection device and traveling path boundary detection method | |
| JPWO2017159056A1 (en) | Image processing apparatus, imaging apparatus, mobile device control system, image processing method, and program | |
| WO2014079058A1 (en) | Method and system for processing video image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140603 |