JP2013054399A - Vehicle periphery monitoring device - Google Patents

Vehicle periphery monitoring device Download PDF

Info

Publication number
JP2013054399A
JP2013054399A JP2011189999A JP2011189999A JP2013054399A JP 2013054399 A JP2013054399 A JP 2013054399A JP 2011189999 A JP2011189999 A JP 2011189999A JP 2011189999 A JP2011189999 A JP 2011189999A JP 2013054399 A JP2013054399 A JP 2013054399A
Authority
JP
Japan
Prior art keywords
distance
vehicle
stereo
detection unit
monocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011189999A
Other languages
Japanese (ja)
Inventor
Atsuo Eguchi
敦央 江口
Yoji Sasabuchi
洋治 笹渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2011189999A priority Critical patent/JP2013054399A/en
Publication of JP2013054399A publication Critical patent/JP2013054399A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a vehicle periphery monitoring device which is capable of accurately detecting a distance to an object with reduced computational complexity for detecting the distance by stereo cameras.SOLUTION: The vehicle periphery monitoring device includes: a stereo distance detection unit 12 which detects a distance between a vehicle 1 and an object on the basis of parallax between image parts of the same object which are picked up by a left camera 21 and a right camera 22 mounted in the vehicle 1; and an object position tracking unit 13 which detects the distance between the vehicle 1 and the object by the stereo distance detection unit 12 to track the position of the object as long as the position of the image part of the object in an image picked up by the left camera 21 or the left camera 22 is within a specific image area set on the assumption that the distance from the vehicle 1 is equal to or shorter than a prescribed distance.

Description

本発明は、ステレオカメラにより車両と対象物間の距離を検出して、車両周辺に存在する対象物を監視する車両周辺監視装置に関する。   The present invention relates to a vehicle periphery monitoring device that detects a distance between a vehicle and an object using a stereo camera and monitors an object existing around the vehicle.

従来より、車両に搭載された２台のカメラ（ステレオカメラ）により車両周囲を撮像し、各カメラの撮像画像から抽出された同一対象物の画像部分のずれ（視差）に基づいて、三角測量の原理により車両と対象物間の距離を算出する車両周辺監視装置が提案されている（例えば、特許文献１参照）。   Conventionally, the surroundings of a vehicle are imaged by two cameras (stereo cameras) mounted on the vehicle, and triangulation is performed based on the deviation (parallax) of the image portion of the same object extracted from the captured image of each camera. A vehicle periphery monitoring device that calculates the distance between a vehicle and an object based on the principle has been proposed (see, for example, Patent Document 1).

また、車両に搭載された１台のカメラ（単眼カメラ）により車両周囲を撮像し、このカメラの時系列の撮像画像から抽出された同一対象物の画像部分の大きさの変化率に基づいて、車両と対象物間の距離を算出する車両周辺監視装置が提案されている（例えば、特許文献２参照）。   In addition, based on the rate of change in the size of the image portion of the same object extracted from a time-series captured image of the camera by imaging the surroundings of the vehicle with a single camera (monocular camera) mounted on the vehicle, A vehicle periphery monitoring device that calculates the distance between a vehicle and an object has been proposed (see, for example, Patent Document 2).

特開２００３−２８４０５７号公報JP 2003-284057 A 特許第４２６７６５７号公報Japanese Patent No. 4267657

ステレオカメラによる距離検出と単眼カメラによる距離検出とを比較した場合、演算量は単眼カメラによる方が少なくなる一方で、距離の検出精度はステレオカメラによる方が高くなる。   When the distance detection by the stereo camera and the distance detection by the monocular camera are compared, the calculation amount is smaller by the monocular camera, while the distance detection accuracy is higher by the stereo camera.

そこで、本発明は、ステレオカメラにより距離を検出するための演算量を低減して、対象物の距離を精度良く検出することができる車両周辺監視装置を提供することを目的とする。   Therefore, an object of the present invention is to provide a vehicle periphery monitoring device that can accurately detect the distance of an object by reducing the amount of calculation for detecting the distance by a stereo camera.

本発明は上記目的を達成するためになされたものであり、車両に搭載された２台のカメラにより撮像された同一対象物の画像部分の視差に基づいて、前記車両と該対象物との距離を検出するステレオ距離検出部と、前記カメラの撮像画像における対象物の画像部分の位置が、前記車両からの距離が所定距離以下である範囲を想定して設定された特定画像領域内であるときに限定して、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡する対象物位置追跡部とを備えたことを特徴とする（第１発明）。   The present invention has been made to achieve the above object, and based on the parallax of the image portion of the same object imaged by two cameras mounted on the vehicle, the distance between the vehicle and the object When the position of the image portion of the target object in the captured image of the camera is within a specific image area set assuming a range in which the distance from the vehicle is equal to or less than a predetermined distance The object distance tracking unit includes an object position tracking unit that detects the distance between the vehicle and the object and tracks the position of the object (first). invention).

第１発明によれば、前記対象物位置追跡部は、前記カメラの撮像画像における対象物の画像部分の位置が前記特定画像領域内であるときに限定して、前記ステレオ距離検出部により前記車両と該対象物間の距離を算出する。そのため、前記カメラの撮像画像に含まれる全ての対象物の画像部分について、前記ステレオ距離検出部により前記車両と対象物間の距離を検出する場合よりも、前記ステレオ距離検出部により距離を検出することによる演算量を低減して、前記車両と対象物間の距離を精度良く検出することができる。   According to the first invention, the object position tracking unit is limited to when the position of the image portion of the object in the captured image of the camera is within the specific image region, and the vehicle is detected by the stereo distance detection unit. And the distance between the objects. Therefore, the stereo distance detection unit detects the distance of the image portions of all the objects included in the captured image of the camera, rather than detecting the distance between the vehicle and the object by the stereo distance detection unit. Therefore, the amount of calculation can be reduced, and the distance between the vehicle and the object can be detected with high accuracy.

また、第１発明において、前記車両に搭載された１台のカメラにより撮像された対象物の画像部分に基づいて、該車両と該対象物との距離を検出する単眼距離検出部を備え、前記対象物位置追跡部は、前記カメラの撮像画像における対象物の画像部分の位置が、前記特定画像領域外であるときは、前記単眼距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする（第２発明）。   Further, in the first invention, a monocular distance detection unit that detects a distance between the vehicle and the object based on an image portion of the object imaged by one camera mounted on the vehicle, The object position tracking unit detects the distance between the vehicle and the object by the monocular distance detection unit when the position of the image portion of the object in the captured image of the camera is outside the specific image area. Thus, the position of the object is tracked (second invention).

第２発明によれば、前記車両との距離が前記所定距離よりも長く、高精度の距離検出が未だ要求されない対象物については、前記単眼距離検出部により前記車両との距離を検出することで、前記車両と対象物間の距離を、演算量を低減して効率良く検出することができる。   According to the second aspect of the present invention, for a target object whose distance to the vehicle is longer than the predetermined distance and high-precision distance detection is not yet required, the distance to the vehicle is detected by the monocular distance detection unit. The distance between the vehicle and the object can be efficiently detected with a reduced amount of computation.

また、第２発明において、前記対象物位置追跡部は、前記単眼距離検出部により検出した前記車両と対象物間の距離が、前記所定距離を含む監視距離範囲内となったときに、前記ステレオ距離検出部により前記車両と対象物間の距離を算出し、前記ステレオ距離検出部による検出距離が前記所定距離以下であるときには、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする（第３発明）。   In the second invention, the object position tracking unit is configured to detect the stereo when the distance between the vehicle and the object detected by the monocular distance detection unit is within a monitoring distance range including the predetermined distance. A distance detection unit calculates a distance between the vehicle and the object, and when the detection distance by the stereo distance detection unit is equal to or less than the predetermined distance, the stereo distance detection unit detects the distance between the vehicle and the object. Then, the position of the object is tracked (third invention).

第３発明によれば、前記車両と対象物間の距離が前記所定距離以下になったことを、前記ステレオ距離検出部による検出距離によって再確認することで、前記単眼距離検出部による距離検出の精度の低さにより、実際には前記所定距離よりも離れた対象物について、前記ステレオ距離検出部による検出距離に切替えられて、前記ステレオ距離検出部による距離検出の演算量が増加することを防止することができる。   According to the third invention, the distance between the vehicle and the object is less than the predetermined distance by re-confirming the distance detected by the stereo distance detecting unit, thereby detecting the distance by the monocular distance detecting unit. Due to the low accuracy, an object farther than the predetermined distance is actually switched to the detection distance by the stereo distance detection unit, and the amount of calculation of distance detection by the stereo distance detection unit is prevented from increasing. can do.

また、第３発明において、前記対象物位置追跡部は、対象物の画像部分が前記特定画像領域外にあるときから、前記単眼距離検出部により前記車両と対象物間の距離を検出して該対象物の位置の追跡を開始し、前記単眼距離検出部による検出距離が前記監視距離範囲内になり、且つ、前記ステレオ距離検出部による前記車両と該対象物間の検出距離が前記所定距離以下になったときに、その後は、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする（第４発明）。   Further, in the third invention, the object position tracking unit detects the distance between the vehicle and the object by the monocular distance detection unit when the image portion of the object is outside the specific image area. The tracking of the position of the object is started, the detection distance by the monocular distance detection unit is within the monitoring distance range, and the detection distance between the vehicle and the object by the stereo distance detection unit is equal to or less than the predetermined distance Thereafter, the distance between the vehicle and the object is detected by the stereo distance detection unit, and the position of the object is tracked (fourth invention).

第４発明によれば、前記単眼距離検出部による前記車両と対象物間の距離検出から、前記ステレオカメラによる距離検出への切替タイミングを、前記車両と対象物間の距離が前記所定距離以下になった時点で精度良く切替えて、対象物の位置を追跡することができる。   According to the fourth aspect of the present invention, the switching timing from the distance detection between the vehicle and the object by the monocular distance detection unit to the distance detection by the stereo camera is set such that the distance between the vehicle and the object is equal to or less than the predetermined distance. At this point, the position of the object can be tracked by switching with high accuracy.

車両周辺監視装置の実施形態の説明図。Explanatory drawing of embodiment of a vehicle periphery monitoring apparatus. 車両周辺監視装置の構成図。The block diagram of a vehicle periphery monitoring apparatus. 対象物位置追跡部のフローチャート。The flowchart of an object position tracking part. 撮像画像における対象物の画像部分の位置により、単眼距離検出部による距離検出からステレオ距離検出部による距離検出に切替える条件の説明図。Explanatory drawing of the conditions switched from the distance detection by a monocular distance detection part to the distance detection by a stereo distance detection part by the position of the image part of the target object in a captured image. ステレオ距離検出部により検出した車両と対象物間の距離によって、単眼距離検出部による距離検出からステレオ距離検出部による距離検出に切替える条件の説明図。Explanatory drawing of the conditions switched from the distance detection by a monocular distance detection part to the distance detection by a stereo distance detection part by the distance between the vehicle and the target object which were detected by the stereo distance detection part.

本発明の車両周辺監視装置の実施形態について、図１〜図５を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置１０は、車両１に搭載して使用される。車両周辺監視装置１０は、左カメラ２１及び右カメラ２２の撮像画像に基づいて、車両１の前方に存在する対象物Ｐ（歩行者等）を監視する。   An embodiment of a vehicle periphery monitoring device of the present invention will be described with reference to FIGS. With reference to FIG. 1, a vehicle periphery monitoring device 10 of the present embodiment is used by being mounted on a vehicle 1. The vehicle periphery monitoring device 10 monitors the object P (such as a pedestrian) existing in front of the vehicle 1 based on the captured images of the left camera 21 and the right camera 22.

車両周辺監視装置１０は、車両１と対象物Ｐ間の距離を所定の制御周期毎に検出して、対象物Ｐの位置を追跡し、対象物Ｐが車両１と接触するおそれがあるときに、表示器４２に警報表示を行うと共にスピーカ４１から警報音を出力して、車両１の運転者に注意を促す。図中、Ｐ（ｔ１）は時刻ｔ１での対象物Ｐの検出位置、Ｐ（ｔ２）は時刻ｔ２での対象物Ｐの検出位置、Ｐ（ｔ３）は時刻ｔ３での対象物Ｐの検出位置、Ｐ（ｔ４）は時刻ｔ４での対象物Ｐの位置を示している。   When the vehicle periphery monitoring device 10 detects the distance between the vehicle 1 and the object P for each predetermined control period, tracks the position of the object P, and the object P may be in contact with the vehicle 1. In addition, an alarm is displayed on the display 42 and an alarm sound is output from the speaker 41 to alert the driver of the vehicle 1. In the figure, P (t1) is the detection position of the object P at time t1, P (t2) is the detection position of the object P at time t2, and P (t3) is the detection position of the object P at time t3. , P (t4) indicates the position of the object P at time t4.

左カメラ２１及び右カメラ２２は赤外線カメラであり、車両１の横方向（車幅方向）の中心軸に対してほぼ対象な位置に配置されている。そして、左カメラ２１と右カメラ２２は、光軸が互いに並行となり、路面からの高さが等しくなるように固定されている。   The left camera 21 and the right camera 22 are infrared cameras, and are disposed at substantially target positions with respect to the central axis in the lateral direction (vehicle width direction) of the vehicle 1. The left camera 21 and the right camera 22 are fixed so that their optical axes are parallel to each other and the height from the road surface is equal.

次に、図２を参照して、車両周辺監視装置１０には、左カメラ２１及び右カメラ２２の映像信号が入力される。さらに、車両１に搭載されたヨーレートセンサ３１、車速センサ３２、及びブレーキセンサ３３の各検出信号が、車両周辺監視装置１０に入力される。また、車両周辺監視装置１０から出力される制御信号により、スピーカ４１の出力と表示器４２の表示が制御される。   Next, referring to FIG. 2, video signals from the left camera 21 and the right camera 22 are input to the vehicle periphery monitoring device 10. Further, detection signals from the yaw rate sensor 31, the vehicle speed sensor 32, and the brake sensor 33 mounted on the vehicle 1 are input to the vehicle periphery monitoring device 10. Further, the output of the speaker 41 and the display of the display 42 are controlled by a control signal output from the vehicle periphery monitoring device 10.

車両周辺監視装置１０は、図示しないＣＰＵ、メモリ、インターフェース回路等により構成された電子回路ユニットであり、メモリに保持された車両周辺監視用のプログラムをＣＰＵで実行することによって、左カメラ２１又は右カメラ２２のいずれか一方（単眼カメラ）の時系列の撮像画像に基づいて、車両１と対象物間の距離を検出する単眼距離検出部１１、左カメラ２１及び右カメラ２２の双方（ステレオカメラ）の同時点での撮像画像に基づいて、車両１と対象物間の距離を検出するステレオ距離検出部１２、単眼距離検出部１１又はステレオ距離検出部１２による検出距離に基づいて対象物の位置を追跡する対象物位置追跡部１３、及び、車両１と対象物との接触可能性を判定する接触判定部１４として機能する。   The vehicle periphery monitoring device 10 is an electronic circuit unit configured by a CPU, a memory, an interface circuit, and the like (not shown). By executing a vehicle periphery monitoring program stored in the memory by the CPU, the left camera 21 or the right Based on the time-series captured images of either one of the cameras 22 (monocular camera), both the monocular distance detection unit 11 that detects the distance between the vehicle 1 and the object, both the left camera 21 and the right camera 22 (stereo camera) The position of the object is determined based on the distance detected by the stereo distance detecting unit 12, the monocular distance detecting unit 11, or the stereo distance detecting unit 12 that detects the distance between the vehicle 1 and the object based on the captured image at the same point. It functions as an object position tracking unit 13 to be tracked and a contact determination unit 14 that determines the possibility of contact between the vehicle 1 and the object.

単眼距離検出部１１は、左カメラ２１又は右カメラ２２の時系列の撮像画像（単眼カメラによる時系列の撮像画像）から、同一対象物の画像部分を抽出し、時系列の撮像画像間における同一対象物の画像部分の大きさの変化率を算出する。そして、この変化率と車速センサ３２により検出される車両１の走行速度とに基づいて、車両１と対象物間の距離を算出する。   The monocular distance detection unit 11 extracts the image portion of the same object from the time-series captured images (time-series captured images by the monocular camera) of the left camera 21 or the right camera 22, and the same between the time-series captured images. The change rate of the size of the image portion of the object is calculated. Then, based on the rate of change and the traveling speed of the vehicle 1 detected by the vehicle speed sensor 32, the distance between the vehicle 1 and the object is calculated.

なお、単眼カメラの時系列の撮像画像間における同一対象物の画像部分の大きさの変化率と、車両１の走行速度とに基づいて、車両１と対象物間の距離を算出する具体的な処理については、上掲した特許第４２６７６５７号公報等に記載された公知のものであるので、ここでは説明を省略する。   Note that a specific distance between the vehicle 1 and the object is calculated based on the change rate of the size of the image portion of the same object between the time-series captured images of the monocular camera and the traveling speed of the vehicle 1. Since the processing is a known one described in the above-mentioned Japanese Patent No. 4267657, the description thereof is omitted here.

ステレオ距離検出部１２は、左カメラ２１及び右カメラ２２により同時刻に撮像された各画像（ステレオカメラによる撮像画像）から同一対象物の画像部分を抽出して、この同一対象物の画像部分間の視差を算出する。そして、この視差に基づいて車両１と対象物間の距離を算出する。   The stereo distance detection unit 12 extracts an image portion of the same object from each image (captured image by the stereo camera) captured by the left camera 21 and the right camera 22 at the same time, and between the image portions of the same object. Is calculated. Based on this parallax, the distance between the vehicle 1 and the object is calculated.

なお、ステレオカメラの撮像画像における同一対象物の画像部分間の視差に基づいて、車両１と対象物間の距離を算出する処理は、上掲した特開２００３−２８４０５７号公報等に記載された公知のものであるので、ここでは説明を省略する。   Note that the processing for calculating the distance between the vehicle 1 and the object based on the parallax between the image portions of the same object in the captured image of the stereo camera is described in Japanese Patent Application Laid-Open No. 2003-284057 described above. Since it is a known one, its description is omitted here.

対象物位置追跡部１３は、図１を参照して、車両１との距離が切替距離Ｄch（例えば５０ｍ、本発明の所定距離に相当する）を越える範囲である第１領域ＡＲ１に存在する対象物Ｐとの距離を、単眼距離検出部１１により検出する。そして、対象物位置追跡部１３は、この距離を用いて、撮像画像上の対象物Ｐの画像部分の位置を実空間座標に座標変換することにより、対象物の実空間位置を算出して対象物Ｐの位置を追跡する。   The object position tracking unit 13 refers to FIG. 1, and the object position tracking unit 13 exists in the first area AR <b> 1 that is a range in which the distance from the vehicle 1 exceeds the switching distance Dch (for example, 50 m, which corresponds to the predetermined distance of the present invention). The distance from the object P is detected by the monocular distance detection unit 11. Then, the object position tracking unit 13 uses this distance to calculate the real space position of the object by performing coordinate conversion of the position of the image portion of the object P on the captured image into real space coordinates. The position of the object P is tracked.

対象物Ｐが、車両１との距離が切替距離Ｄch以下の範囲である第２領域ＡＲ２に入った後は、対象物位置追跡部１３は、ステレオ距離検出部１２により車両１と対象物Ｐとの距離を検出して、対象物Ｐの位置を追跡する。   After the object P enters the second area AR2 in which the distance from the vehicle 1 is equal to or less than the switching distance Dch, the object position tracking unit 13 uses the stereo distance detection unit 12 to detect the vehicle 1 and the object P. Is detected and the position of the object P is tracked.

対象物位置追跡部１３は、対象物の位置の変化から、ヨーレートセンサ３１に検出される車両１のヨーレートにより補正を行って算出される対象物の移動ベクトルを求める。そして、接触判定部１４は、対象物の移動ベクトルが、予め車両１の近傍に設定された接触判定領域内に車両１に接近する方向で入ったときに、ブレーキセンサ３３によりブレーキ操作が検出されていないときには、スピーカ４１からの音声出力と表示器４２への警報表示とにより、運転者に注意を促す報知を行なう。   The object position tracking unit 13 obtains a movement vector of the object calculated by performing correction based on the yaw rate of the vehicle 1 detected by the yaw rate sensor 31 from the change in the position of the object. The contact determination unit 14 detects the brake operation by the brake sensor 33 when the movement vector of the target object enters the contact determination area set in the vicinity of the vehicle 1 in the direction approaching the vehicle 1. When it is not, a warning is issued to alert the driver by outputting sound from the speaker 41 and displaying an alarm on the display 42.

次に、図３に示したフローチャートに従って、対象物位置追跡部１３による対象物の位置の追跡処理について説明する。   Next, the tracking process of the position of the target by the target position tracking unit 13 will be described according to the flowchart shown in FIG.

ＳＴＥＰ１で、対象物位置追跡部１３は、図４を参照して、左カメラ２１又は右カメラ２２の撮像画像５０において抽出された対象物の画像部分（図４では６１，６２を例示）の位置が、車両１からの距離が切替距離Ｄch以下である範囲を想定して設定された特定画像領域ＢＲ１内であるか否かを判断する。   In STEP 1, the object position tracking unit 13 refers to FIG. 4, and the position of the image portion of the object (61 and 62 are illustrated in FIG. 4) extracted in the captured image 50 of the left camera 21 or the right camera 22. However, it is determined whether the distance from the vehicle 1 is within the specific image area BR1 set on the assumption that the distance is equal to or less than the switching distance Dch.

撮像画像５０はｘ座標（水平座標）が０〜ｍ、ｙ座標（垂直座標）が０〜ｎの、ｍ＋１×ｎ＋１個の画素からなり、図４では、特定画像領域ＢＲ１が、撮像画像５０の下側のｙ座標が０〜ｙchである範囲に設定されている。   The captured image 50 includes m + 1 × n + 1 pixels having an x coordinate (horizontal coordinate) of 0 to m and ay coordinate (vertical coordinate) of 0 to n. In FIG. The lower y coordinate is set in a range of 0 to ych.

そして、画像部分の位置が特定画像領域ＢＲ１内であるとき（画像部分６２の状態）は、ＳＴＥＰ６に分岐し、対象物位置追跡部１３は、以後はステレオ距離検出部１２により車両１と対象物間の距離を算出して、対象物の位置を追跡する。これにより、車両１に接近した対象物と車両１間の距離を精度良く検出して、対象物の位置を追跡することができる。   When the position of the image portion is within the specific image region BR1 (the state of the image portion 62), the process branches to STEP6, and the object position tracking unit 13 thereafter uses the stereo distance detection unit 12 to detect the vehicle 1 and the object. The distance between them is calculated to track the position of the object. Thereby, the distance between the object approaching the vehicle 1 and the vehicle 1 can be detected with high accuracy, and the position of the object can be tracked.

一方、画像部分の位置が特定画像領域ＢＲ１外であるとき（画像部分６１の状態）には、ＳＴＥＰ２に進み、対象物位置追跡部１３は、単眼距離検出部１１により車両１と対象物間の距離Ｄ１を検出する。これにより、車両１からある程度離れて、未だ高精度での距離検出が要求されない対象物については、演算量を低減して車両１との距離を検出することができる。   On the other hand, when the position of the image part is outside the specific image region BR1 (the state of the image part 61), the process proceeds to STEP2, and the object position tracking unit 13 uses the monocular distance detection unit 11 to detect the distance between the vehicle 1 and the object. The distance D1 is detected. As a result, it is possible to detect the distance from the vehicle 1 while reducing the amount of calculation for an object that is some distance away from the vehicle 1 and for which distance detection with high accuracy is not yet required.

続くＳＴＥＰ３で、対象物位置追跡部１３は、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１が、切替距離Ｄch±Δｄの範囲（本発明の監視距離範囲に相当する）内であるか否かを判断する。この切替距離Ｄch±Δｄの範囲は、図４の撮像画像５０では、ｙ座標がｙch±Δｙである範囲にほぼ相当する。また、実空間位置では、図５に示した範囲となる。   In subsequent STEP 3, the object position tracking unit 13 determines that the distance D1 between the vehicle 1 and the object detected by the monocular distance detection unit 11 is within a switching distance Dch ± Δd (corresponding to the monitoring distance range of the present invention). It is judged whether it is in. The range of the switching distance Dch ± Δd substantially corresponds to the range where the y coordinate is ych ± Δy in the captured image 50 of FIG. In the real space position, the range shown in FIG.

ＳＴＥＰ３で、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１が、切替距離Ｄch±Δｄの範囲でないときは、ＳＴＥＰ２０に分岐する。この場合は、車両１と対象物間の距離がある程度長く、単眼距離検出部１１による距離検出の精度の低さがさほど問題とならない。そこで、対象物位置追跡部１３は、単眼距離検出部１１による検出距離により、対象物の位置を追跡する。   If the distance D1 between the vehicle 1 and the object detected by the monocular distance detection unit 11 is not within the range of the switching distance Dch ± Δd in STEP3, the process branches to STEP20. In this case, the distance between the vehicle 1 and the target object is long to some extent, and the low accuracy of distance detection by the monocular distance detection unit 11 does not matter so much. Therefore, the object position tracking unit 13 tracks the position of the object based on the detection distance by the monocular distance detection unit 11.

一方、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１が、切替距離Ｄch±Δｄの範囲であるときには、ＳＴＥＰ４に進む。この場合は、車両１と対象物間の距離が短くなっており、単眼距離検出部１１による検出精度の低さにより、図５に示したように、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１がＤch〜Ｄch＋Δｄの範囲であるが、実際には車両１と対象物間の距離がＤ１以下である場合（図中Ｐ（ｔ11）の場合）がある。   On the other hand, when the distance D1 between the vehicle 1 and the object detected by the monocular distance detection unit 11 is within the range of the switching distance Dch ± Δd, the process proceeds to STEP4. In this case, the distance between the vehicle 1 and the object is short, and the vehicle 1 detected by the monocular distance detection unit 11 as shown in FIG. 5 due to the low detection accuracy of the monocular distance detection unit 11. The distance D1 between the object and the object is in the range of Dch to Dch + Δd, but there are actually cases where the distance between the vehicle 1 and the object is equal to or less than D1 (P (t11) in the figure).

また、単眼距離検出部１１により検出された車両１と対象物間の距離Ｄ１がＤch−Δｄ〜Ｄchの範囲であるが、実際には車両１と対象物間の距離がＤ１を越えている場合（図中Ｐ（ｔ10）の場合）がある。   Further, the distance D1 between the vehicle 1 and the object detected by the monocular distance detection unit 11 is in the range of Dch−Δd to Dch, but actually the distance between the vehicle 1 and the object exceeds D1. (P (t10) in the figure).

そこで、これらの場合にはＳＴＥＰ４で、対象物位置追跡部１３は、単眼距離検出部１１よりも高精度の距離検出が期待できる、ステレオ距離検出部１２により車両１と対象物間の距離を再検出する。そして、続くＳＴＥＰ５で、対象物位置追跡部１３は、ステレオ距離検出部１２により検出した車両１と対象物間の距離Ｄ１が切替距離Ｄch以下であるか否かを判断する。   Therefore, in these cases, in STEP4, the object position tracking unit 13 can expect distance detection with higher accuracy than the monocular distance detection unit 11, and the stereo distance detection unit 12 re-establishes the distance between the vehicle 1 and the object. To detect. Then, in subsequent STEP 5, the object position tracking unit 13 determines whether or not the distance D1 between the vehicle 1 and the object detected by the stereo distance detection unit 12 is equal to or less than the switching distance Dch.

ＳＴＥＰ５で、ステレオ距離検出部１２により検出した車両１と対象物間の距離Ｄ１が切替距離Ｄch以下であるときはＳＴＥＰ６に進む。そして、対象物位置追跡部１３は、以後は、ステレオ距離検出部１２による検出距離により、対象物の位置を追跡する。これにより、図５のＰ（ｔ11）に示したように、車両１と対象物間の距離が切替距離Ｄch以下になっているにも拘わらず、単眼距離検出部１１による距離検出の精度の低さにより、ステレオ距離検出部１２による距離検出に切替わるタイミングが遅れることを防止することができる。   In STEP5, when the distance D1 between the vehicle 1 and the object detected by the stereo distance detector 12 is equal to or less than the switching distance Dch, the process proceeds to STEP6. Thereafter, the object position tracking unit 13 tracks the position of the object based on the detection distance by the stereo distance detection unit 12. As a result, as shown in P (t11) of FIG. 5, although the distance between the vehicle 1 and the object is equal to or less than the switching distance Dch, the accuracy of distance detection by the monocular distance detection unit 11 is low. Thus, it is possible to prevent the timing for switching to distance detection by the stereo distance detection unit 12 from being delayed.

一方、ＳＴＥＰ５で、ステレオ距離検出部１２により検出した車両１と対象物間の距離Ｄ１が切替距離Ｄchを超えているときにはＳＴＥＰ２０に分岐する。そして、対象物位置追跡部１３は、単眼距離検出部による検出距離による対象物の位置の追跡を継続する。これにより、図５のＰ（ｔ10）に示したように、車両１と対象物間の距離が切替距離Ｄchを超えているにも拘わらず、単眼距離検出部１１による距離検出の精度の低さにより、ステレオ距離検出部１２による距離検出に早めに切替わってしまい、距離検出に要する演算量が増加することを防止することができる。   On the other hand, if the distance D1 between the vehicle 1 and the object detected by the stereo distance detection unit 12 exceeds the switching distance Dch in STEP5, the process branches to STEP20. Then, the object position tracking unit 13 continues to track the position of the object based on the detection distance by the monocular distance detection unit. Thereby, as shown by P (t10) in FIG. 5, the distance detection accuracy by the monocular distance detector 11 is low even though the distance between the vehicle 1 and the object exceeds the switching distance Dch. Therefore, it is possible to prevent the amount of calculation required for distance detection from increasing because the distance is quickly switched to the distance detection by the stereo distance detection unit 12.

なお、本実施形態では、図３のＳＴＥＰ１で、左カメラ２１又は右カメラ２２の撮像画像における位置が、切替距離Ｄch以下となる範囲を想定して設定された特定画像領域ＢＲ１内である対象物に限定して、ステレオ距離検出部１２により車両１との距離を検出し、画像部分の位置が特定画像領域外である対象物については、単眼距離検出部１１により車両１との距離を検出した。しかし、ステレオ距離検出部１２のみにより車両１と対象物間の距離を検出し、単眼距離検出部１１による車両１と対象物間の距離の検出を行わない場合にも、本発明の効果を得ることができる。   In the present embodiment, in STEP 1 of FIG. 3, the target object is in the specific image region BR1 set assuming that the position in the captured image of the left camera 21 or the right camera 22 is not more than the switching distance Dch. The distance from the vehicle 1 is detected by the stereo distance detection unit 12, and the distance from the vehicle 1 is detected by the monocular distance detection unit 11 for an object whose image portion is outside the specific image area. . However, even when the distance between the vehicle 1 and the object is detected only by the stereo distance detection unit 12 and the distance between the vehicle 1 and the object is not detected by the monocular distance detection unit 11, the effect of the present invention is obtained. be able to.

また、本実施形態では、図３のＳＴＥＰ３で、単眼距離検出部１１による車両１と対象物間の距離が切替距離Ｄch±Δｄの範囲内となったときに、ステレオ距離検出部１２により車両１と対象物間の距離を再検出して、車両１と対象物間の距離が切替距離Ｄch以下であるか否かを判断する処理を行ったが、この処理を行わない場合にも本発明の効果を得ることができる。   Further, in this embodiment, in STEP 3 of FIG. 3, when the distance between the vehicle 1 and the object by the monocular distance detection unit 11 falls within the range of the switching distance Dch ± Δd, the stereo distance detection unit 12 performs the vehicle 1. The distance between the vehicle and the object is re-detected to determine whether or not the distance between the vehicle 1 and the object is equal to or less than the switching distance Dch. An effect can be obtained.

また、本実施の形態では、図３のＳＴＥＰ１で、左カメラ２１又は右カメラ２２の撮像画像における対象物の位置が特定画像領域ＢＲ１（図４参照）内であるときに、ＳＴＥＰ６に分岐して、ステレオ距離検出部１２により車両１と対象物間の距離を検出したが、特定画像領域ＢＲ１外で、単眼距離検出部１１により車両１との距離が検出された対象物の位置が、特定画像領域ＢＲ１内に変位したときに限定して、ステレオ距離検出部１２による距離検出に切替えるようにしてもよい。   In this embodiment, when the position of the object in the captured image of the left camera 21 or the right camera 22 is within the specific image area BR1 (see FIG. 4) in STEP1 of FIG. 3, the process branches to STEP6. The distance between the vehicle 1 and the object is detected by the stereo distance detection unit 12, but the position of the object whose distance from the vehicle 1 is detected by the monocular distance detection unit 11 outside the specific image region BR1 is the specific image. Switching to distance detection by the stereo distance detection unit 12 may be performed only when the distance is displaced within the region BR1.

この場合には、路面の反射等により、特定画像領域ＢＲ１内に急に現れた画像部分を、距離検出の対象であると誤検知して、車両１との接触の誤判定がなされることを防止することができる。   In this case, an image portion that suddenly appears in the specific image region BR1 due to reflection on the road surface or the like is erroneously detected as a target for distance detection, and erroneous determination of contact with the vehicle 1 is made. Can be prevented.

また、本実施形態では、左カメラ２１及び右カメラ２２に赤外線カメラを用いたが、可視光カメラを用いてもよい。   In this embodiment, infrared cameras are used for the left camera 21 and the right camera 22, but a visible light camera may be used.

また、本実施形態において、単眼距離検出部１１は、単眼カメラの時系列の撮像画像間における同一対象物の画像部分の大きさの変化率と、車両１の走行速度とに基づいて、車両１と対象物間の距離を検出したが、他の手法により車両１と対象物間の距離を検出してもよい。他の手法としては、例えば、画像部分のサイズを、予め用意した特定種別（歩行者等）の画像部分のサイズと距離との対応マップに適用して、車両１と対象物間の距離を求める手法や、撮像画像における対象物の画像部分の位置（接地点）から、車両１と対象物間の距離を求める手法を用いることができる。   Moreover, in this embodiment, the monocular distance detection part 11 is based on the change rate of the magnitude | size of the image part of the same target object between the time series captured images of a monocular camera, and the running speed of the vehicle 1. However, the distance between the vehicle 1 and the object may be detected by other methods. As another method, for example, the distance between the vehicle 1 and the object is obtained by applying the size of the image part to a correspondence map between the size and distance of the image part of a specific type (pedestrian or the like) prepared in advance. A method for obtaining the distance between the vehicle 1 and the object from the method or the position (grounding point) of the image portion of the object in the captured image can be used.

また、本実施の形態では、単眼距離検出部１１による距離検出と、ステレオ距離検出部１２による距離検出とを切替えたが、ステレオカメラに替えてレーダ等の測距装置を備え、遠方領域については単眼距離検出部１１により対象物との距離を検出し、至近領域についてはレーダ等の測距装置により対象物との距離を検出する場合にも、本実施形態と同様の切替処理の適用が可能である。   In the present embodiment, the distance detection by the monocular distance detection unit 11 and the distance detection by the stereo distance detection unit 12 are switched. However, a distance measuring device such as a radar is provided instead of the stereo camera, and the far region is Even when the distance from the object is detected by the monocular distance detection unit 11 and the distance from the object is detected by a distance measuring device such as a radar in the close range, the same switching process as in this embodiment can be applied. It is.

１…車両、１０…車両周辺監視装置、１１…単眼距離検出部、１２…ステレオ距離検出部、１３…対象物位置追跡部、１４…接触判定部、２１…左カメラ、２２…右カメラ、３１…ヨーレートセンサ、３２…車速センサ、３３…ブレーキセンサ。   DESCRIPTION OF SYMBOLS 1 ... Vehicle, 10 ... Vehicle periphery monitoring apparatus, 11 ... Monocular distance detection part, 12 ... Stereo distance detection part, 13 ... Object position tracking part, 14 ... Contact determination part, 21 ... Left camera, 22 ... Right camera, 31 ... Yaw rate sensor, 32 ... Vehicle speed sensor, 33 ... Brake sensor.

Claims (4)

車両に搭載された２台のカメラにより撮像された同一対象物の画像部分の視差に基づいて、前記車両と該対象物との距離を検出するステレオ距離検出部と、
前記カメラの撮像画像における対象物の画像部分の位置が、前記車両からの距離が所定距離以下である範囲を想定して設定された特定画像領域内であるときに限定して、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡する対象物位置追跡部と
を備えたことを特徴とする車両周辺監視装置。 A stereo distance detector that detects the distance between the vehicle and the object based on the parallax of the image portion of the same object imaged by two cameras mounted on the vehicle;
The stereo distance detection is performed only when the position of the image portion of the object in the captured image of the camera is within a specific image area set assuming a range in which the distance from the vehicle is a predetermined distance or less. A vehicle periphery monitoring device comprising: an object position tracking unit that detects a distance between the vehicle and the object by a unit and tracks the position of the object. 請求項１に記載の車両周辺監視装置において、
前記車両に搭載された１台のカメラにより撮像された対象物の画像部分に基づいて、該車両と該対象物との距離を検出する単眼距離検出部を備え、
前記対象物位置追跡部は、前記カメラの撮像画像における対象物の画像部分の位置が、前記特定画像領域外であるときは、前記単眼距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする車両周辺監視装置。 In the vehicle periphery monitoring device according to claim 1,
A monocular distance detection unit that detects a distance between the vehicle and the object based on an image portion of the object imaged by one camera mounted on the vehicle;
The object position tracking unit detects the distance between the vehicle and the object by the monocular distance detection unit when the position of the image portion of the object in the captured image of the camera is outside the specific image area. And the vehicle periphery monitoring apparatus characterized by tracking the position of this target object. 請求項２に記載の車両周辺監視装置において、
前記対象物位置追跡部は、前記単眼距離検出部により検出した前記車両と対象物間の距離が、前記所定距離を含む監視距離範囲内となったときに、前記ステレオ距離検出部により前記車両と対象物間の距離を算出し、前記ステレオ距離検出部による検出距離が前記所定距離以下であるときには、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする車両周辺監視装置。 In the vehicle periphery monitoring device according to claim 2,
When the distance between the vehicle and the object detected by the monocular distance detection unit is within a monitoring distance range including the predetermined distance, the object position tracking unit is connected to the vehicle by the stereo distance detection unit. The distance between the objects is calculated, and when the distance detected by the stereo distance detector is equal to or less than the predetermined distance, the distance between the vehicle and the object is detected by the stereo distance detector, and the distance between the objects is detected. A vehicle periphery monitoring device characterized by tracking a position. 請求項３に記載の車両周辺監視装置において、
前記対象物位置追跡部は、対象物の画像部分が前記特定画像領域外にあるときから、前記単眼距離検出部により前記車両と対象物間の距離を検出して該対象物の位置の追跡を開始し、前記単眼距離検出部による検出距離が前記監視距離範囲内になり、且つ、前記ステレオ距離検出部による前記車両と該対象物間の検出距離が前記所定距離以下になったときに、その後は、前記ステレオ距離検出部により前記車両と該対象物間の距離を検出して、該対象物の位置を追跡することを特徴とする車両周辺監視装置。 In the vehicle periphery monitoring device according to claim 3,
The object position tracking unit detects the distance between the vehicle and the object by the monocular distance detection unit and tracks the position of the object when the image portion of the object is outside the specific image area. And when the detection distance by the monocular distance detection unit is within the monitoring distance range and the detection distance between the vehicle and the object by the stereo distance detection unit is equal to or less than the predetermined distance, Is a vehicle periphery monitoring device, wherein the stereo distance detector detects the distance between the vehicle and the object and tracks the position of the object.
JP2011189999A 2011-08-31 2011-08-31 Vehicle periphery monitoring device Withdrawn JP2013054399A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011189999A JP2013054399A (en) 2011-08-31 2011-08-31 Vehicle periphery monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011189999A JP2013054399A (en) 2011-08-31 2011-08-31 Vehicle periphery monitoring device

Publications (1)

Publication Number Publication Date
JP2013054399A true JP2013054399A (en) 2013-03-21

Family

ID=48131377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011189999A Withdrawn JP2013054399A (en) 2011-08-31 2011-08-31 Vehicle periphery monitoring device

Country Status (1)

Country Link
JP (1) JP2013054399A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150069851A (en) * 2013-12-16 2015-06-24 엘지전자 주식회사 Stereo camera and Vehicle including the same
JP2017078315A (en) * 2015-10-22 2017-04-27 株式会社神戸製鋼所 Interference prevention device for construction machine
WO2019082563A1 (en) * 2017-10-23 2019-05-02 株式会社デンソー Object detecting device
WO2019220740A1 (en) * 2018-05-15 2019-11-21 株式会社日立製作所 Autonomous movement device and autonomous movement system
CN112984461A (en) * 2014-11-07 2021-06-18 大日本印刷株式会社 Lighting device

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150069851A (en) * 2013-12-16 2015-06-24 엘지전자 주식회사 Stereo camera and Vehicle including the same
WO2015093828A1 (en) * 2013-12-16 2015-06-25 엘지전자 주식회사 Stereo camera and vehicle comprising same
KR101698783B1 (en) * 2013-12-16 2017-01-23 엘지전자 주식회사 Stereo camera and Vehicle including the same
US9931983B2 (en) 2013-12-16 2018-04-03 Lg Electronics Inc. Stereo camera and vehicle comprising same
CN112984461A (en) * 2014-11-07 2021-06-18 大日本印刷株式会社 Lighting device
CN112984461B (en) * 2014-11-07 2024-02-02 大日本印刷株式会社 Lighting device
JP2017078315A (en) * 2015-10-22 2017-04-27 株式会社神戸製鋼所 Interference prevention device for construction machine
WO2019082563A1 (en) * 2017-10-23 2019-05-02 株式会社デンソー Object detecting device
JP2019079188A (en) * 2017-10-23 2019-05-23 株式会社Ｓｏｋｅｎ Object detection device
WO2019220740A1 (en) * 2018-05-15 2019-11-21 株式会社日立製作所 Autonomous movement device and autonomous movement system
JP2019200509A (en) * 2018-05-15 2019-11-21 株式会社日立製作所 Autonomous mobile device and autonomous mobile system
JP7064948B2 (en) 2018-05-15 2022-05-11 株式会社日立製作所 Autonomous mobile devices and autonomous mobile systems

Similar Documents

Publication Publication Date Title
JP5862785B2 (en) Collision determination device and collision determination method
JP6795027B2 (en) Information processing equipment, object recognition equipment, device control systems, moving objects, image processing methods and programs
EP3150443B1 (en) Display device for vehicle and display method for vehicle
WO2017090410A1 (en) Stereo camera device
US9734415B2 (en) Object detection system
EP3153356B1 (en) Display device for vehicle and display method for vehicle
JP6450294B2 (en) Object detection apparatus, object detection method, and program
JP6787157B2 (en) Vehicle control device
US20160073062A1 (en) Approaching object detection apparatus for a vehicle and approaching object detection method for the same
JP2013054399A (en) Vehicle periphery monitoring device
JP2016170663A (en) Vehicle monitoring device, vehicle monitoring method, and vehicle monitoring program
KR20060021922A (en) Two camera based obstacle detection method and device
JP2009277021A (en) Approaching object detection apparatus and approaching object detection method
JPWO2014033955A1 (en) Speed calculation device, speed calculation method, and collision determination device
WO2019044625A1 (en) Collision prediction device, collision prediction method, and program
WO2017056724A1 (en) Periphery recognition device
US9524645B2 (en) Filtering device and environment recognition system
JP5698618B2 (en) Absolute speed estimation device
EP2913998A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
JP2020109560A (en) Traffic signal recognition method and traffic signal recognition device
JP6465919B2 (en) Obstacle detection system
JP2013058829A (en) Vehicle periphery monitoring device
US10643077B2 (en) Image processing device, imaging device, equipment control system, equipment, image processing method, and recording medium storing program
JP2007233487A (en) Pedestrian detection method, device, and program
JP4897539B2 (en) Obstacle detection device

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20141104