JP2007279808A - Vehicle periphery monitoring device - Google Patents
Vehicle periphery monitoring device Download PDFInfo
- Publication number
- JP2007279808A JP2007279808A JP2006101838A JP2006101838A JP2007279808A JP 2007279808 A JP2007279808 A JP 2007279808A JP 2006101838 A JP2006101838 A JP 2006101838A JP 2006101838 A JP2006101838 A JP 2006101838A JP 2007279808 A JP2007279808 A JP 2007279808A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- pedestrian
- determination
- posture
- determination process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両に搭載されたカメラ等の撮像手段を介して取得した画像から、車両の周辺を監視する車両周辺監視装置に関する。 The present invention relates to a vehicle periphery monitoring device that monitors the periphery of a vehicle from an image acquired through an imaging unit such as a camera mounted on the vehicle.
近年、車両にCCDカメラ等の撮像手段を搭載して周辺を撮像し、撮像された画像から車両の周辺に存在する歩行者等の対象物の位置を検出して衝突の可能性の高い歩行者等の対象物を判定し、運転者への情報の提示等を行う技術が知られている(例えば特許文献1参照)。 2. Description of the Related Art In recent years, a pedestrian who has a high possibility of a collision by mounting an image pickup unit such as a CCD camera on a vehicle, picking up an image of the periphery, and detecting the position of an object such as a pedestrian existing in the vicinity of the vehicle A technique for determining a target object such as information and presenting information to a driver is known (see, for example, Patent Document 1).
特許文献1の車両の周辺監視装置においては、2つの赤外線カメラで構成されたステレオカメラが車両に搭載され、2つの赤外線カメラから得られる画像のずれ(視差)に基づいて、車両の周辺に存在する対象物の該車両に対する相対位置が位置データとして検出される。そして、対象物についての位置の時系列データに基づいて該対象物の該車両に対する移動ベクトルが算出され、対象物の位置データと移動ベクトルとに基づいて該車両と衝突する可能性の高い対象物が判定される。 In the vehicle periphery monitoring device of Patent Document 1, a stereo camera composed of two infrared cameras is mounted on the vehicle, and is present in the vicinity of the vehicle based on image shift (parallax) obtained from the two infrared cameras. The relative position of the target object to the vehicle is detected as position data. Then, the movement vector of the object with respect to the vehicle is calculated based on the time-series data of the position of the object, and the object is highly likely to collide with the vehicle based on the position data of the object and the movement vector. Is determined.
このとき、前記車両の周辺監視装置では、車両前方の所定距離(対象物の車両に対する相対速度に応じて定まる領域)内である警報判定領域のうち、車両の走行する車道部分に相当する接近判定領域AR1と、接近判定領域AR1の横方向外側の領域である進入判定領域AR2,AR3とが設定される。そして、接近判定領域AR1に対象物が存在する場合には、該対象物は車道上の歩行者等であり、車両と衝突の可能性が高いと判定される。さらに、進入判定領域AR2,AR3に対象物が存在する場合には、該対象物は路側の歩行者等であり、該対象物の移動ベクトルに基づいて進入衝突判定が行われ、該対象物と車両との衝突の可能性が判定される。これにより、路側を通常に歩行している歩行者については衝突の可能性が低いと判定され、路側から道路を横断しようと移動する歩行者については衝突の可能性が高いと判定されて、運転者への適切な情報提示が行われる。 At this time, in the vehicle periphery monitoring device, an approach determination corresponding to a roadway portion on which the vehicle travels in an alarm determination region within a predetermined distance in front of the vehicle (region determined according to the relative speed of the object with respect to the vehicle). The area AR1 and the entry determination areas AR2 and AR3, which are areas laterally outside the approach determination area AR1, are set. Then, when an object is present in the approach determination area AR1, it is determined that the object is a pedestrian or the like on the roadway and has a high possibility of collision with the vehicle. Further, when there is an object in the entry determination areas AR2 and AR3, the object is a roadside pedestrian or the like, an approach collision determination is performed based on the movement vector of the object, and the object and The possibility of a collision with the vehicle is determined. As a result, it is determined that the possibility of a collision is low for a pedestrian who normally walks on the roadside, and a collision is determined to be high for a pedestrian who moves to cross the road from the roadside. Appropriate information is presented to the person.
一方、例えば、路側の歩行者が急に車道へ飛び出すことがある。このような場合には、可能な限り迅速に運転者への情報提示や車両挙動の制御が行われることが望ましい。しかしながら、特許文献1の車両の周辺監視装置では、複数の時系列の位置データから算出した移動ベクトルに基づいて、進入判定領域に存在する対象物の衝突の可能性が判定されため、衝突の可能性が高いと判定されるまでに時間を要する。よって、路側の歩行者が急に車道へ飛び出すような場合に、運転者への情報提示や車両挙動の制御を迅速に行うことができないという不都合があった。
本発明は、かかる不都合を解消し、車両周辺の画像から該車両との接触を回避すべき対象となる歩行者を迅速に判定して、運転者への情報提示や車両挙動の制御を行うことができる車両周辺監視装置を提供することを目的とする。 The present invention eliminates such inconvenience, quickly determines a pedestrian as a target to avoid contact with the vehicle from images around the vehicle, and performs information presentation to the driver and control of vehicle behavior. An object of the present invention is to provide a vehicle periphery monitoring device capable of performing
かかる目的を達成するために、本発明の車両周辺監視装置は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺を監視する車両周辺監視装置において、前記撮像手段を介して取得した画像から、前記車両の周辺に存在する対象物を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された対象物のうちから歩行者を抽出する歩行者抽出手段と、前記歩行者抽出手段により抽出された歩行者の姿勢を判別する姿勢判別手段と、少なくとも前記姿勢判別手段により判別された歩行者の姿勢に関する第1判定処理を含む判定アルゴリズムを実行することにより、前記対象物抽出手段により抽出された対象物が、前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段と、少なくとも前記回避対象判定手段の判定結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする(第1発明)。 In order to achieve such an object, a vehicle periphery monitoring device according to the present invention is a vehicle periphery monitoring device that monitors the periphery of a vehicle from an image acquired via an image capturing unit mounted on the vehicle. The object extraction means for extracting objects existing around the vehicle from the acquired image, the pedestrian extraction means for extracting pedestrians from the objects extracted by the object extraction means, By executing a determination algorithm including posture determination means for determining the posture of a pedestrian extracted by the pedestrian extraction means and at least a first determination process related to the posture of the pedestrian determined by the posture determination means An avoidance target determination means for determining whether or not the object extracted by the object extraction means is an avoidance target that should avoid contact with the vehicle; and at least the avoidance pair Depending on the result of the determination by the determining means, characterized in that it comprises a vehicle equipment control means for controlling the equipment of the vehicle (first invention).
前記本発明の車両周辺監視装置において、前記対象物抽出手段により、前記撮像手段を介して取得した画像から前記車両の周辺に存在する対象物が抽出され、前記歩行者抽出手段により、該対象物のうちの歩行者が抽出される。ここで、例えば、路側の歩行者が急に車道へ飛び出すような場合には、運転者への警報等の情報提示や車両挙動の制御等が、可能な限り迅速に行われる必要がある。このため、歩行者の道路の横断を事前に迅速に予測することが望まれる。このとき、一般に、道路を横断しようとする歩行者とそれ以外の歩行者とでは、路側に存在する時点で、体の向きや傾き等に関する姿勢が相違すると考えられる。例えば、歩行者が移動を開始するときや車道に飛び出してくるようなときには、その体幹軸は進行方向に対して傾いており、これに対して、歩行者が停止しているときや道路に沿って移動を継続しているときには、その体幹軸の傾きは十分に小さい。 In the vehicle periphery monitoring device of the present invention, the object extracting means extracts an object existing around the vehicle from an image acquired via the imaging means, and the pedestrian extracting means extracts the object. Of them are extracted. Here, for example, when a pedestrian on the road side suddenly jumps out to the roadway, it is necessary to perform information presentation such as warning to the driver, control of vehicle behavior, etc. as quickly as possible. For this reason, it is desired to quickly predict the crossing of a pedestrian road in advance. At this time, it is generally considered that a pedestrian trying to cross a road and other pedestrians have different postures related to body orientation, inclination, and the like at the time when the pedestrian exists on the roadside. For example, when the pedestrian starts moving or jumps out onto the roadway, the trunk axis is tilted with respect to the traveling direction, whereas when the pedestrian is stopped or on the road When the movement is continued along, the inclination of the trunk axis is sufficiently small.
そこで、前記姿勢判定手段は、前記撮像手段を介して取得した画像から、前記歩行者の姿勢を判別する。このように判別された歩行者の姿勢により、例えば道路の横断等の歩行者の挙動を事前に迅速に予測することができる。そして、前記回避対象判定手段の実行する判定アルゴリズムは、前記歩行者の姿勢に関する第1判定処理を含むので、該回避対象判定手段は、対象物が車両との接触を回避すべき回避対象であるか否かを判定する際に、迅速に判定結果を決定することが可能となる。よって、前記車両機器制御手段により、前記回避対象判定手段の判定結果に応じて前記車両の機器を制御することで、前記回避対象に対応して該車両の機器の制御を迅速に行うことができる。 Therefore, the posture determination unit determines the posture of the pedestrian from the image acquired through the imaging unit. Based on the posture of the pedestrian thus determined, the behavior of the pedestrian such as a crossing of the road can be predicted quickly in advance. And since the determination algorithm which the said avoidance object determination means performs includes the 1st determination process regarding the said pedestrian's attitude | position, this avoidance object determination means is an avoidance object which should avoid a contact with a vehicle. When determining whether or not, it is possible to quickly determine the determination result. Therefore, by controlling the vehicle device according to the determination result of the avoidance target determination unit by the vehicle device control unit, it is possible to quickly control the vehicle device corresponding to the avoidance target. .
具体的には、前記本発明の車両周辺監視装置において、前記車両機器制御手段の制御する機器は、前記車両の運転者に警報を発することが可能な機器を含むことが好ましい(第2発明)。 Specifically, in the vehicle periphery monitoring device of the present invention, the device controlled by the vehicle device control means preferably includes a device capable of issuing an alarm to the driver of the vehicle (second invention). .
これによれば、前記回避対象判定手段により、前記対象物が回避対象であるか否かが迅速に判定可能なので、前記車両機器制御手段により、該回避対象に対応して、運転者への警報を迅速に発することができる。 According to this, since it is possible to quickly determine whether or not the object is an avoidance target by the avoidance target determination means, the vehicle equipment control means alerts the driver in response to the avoidance target. Can be issued quickly.
または、前記本発明の車両周辺監視装置において、前記車両機器制御手段の制御する機器は、前記車両の走行挙動を操作可能な機器を含むことが好ましい(第3発明)。 Alternatively, in the vehicle periphery monitoring device of the present invention, it is preferable that the device controlled by the vehicle device control means includes a device capable of operating the traveling behavior of the vehicle (third invention).
これによれば、前記回避対象判定手段により、前記対象物が回避対象であるか否かが迅速に判定可能なので、前記車両機器制御手段により、該回避対象に対応して、車両の走行挙動を迅速に操作することができる。 According to this, since it is possible to quickly determine whether or not the object is an avoidance target by the avoidance target determination means, the vehicle device control means determines the traveling behavior of the vehicle corresponding to the avoidance target. It can be operated quickly.
さらに、前記第1〜第3発明の車両周辺監視装置において、前記対象物抽出手段により抽出された対象物の、前記車両に対する相対位置を逐次検出する相対位置検出手段と、前記姿勢判別手段の判別処理の実行周期よりも長い時間間隔において、前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づいて、該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段とを備える場合には、前記回避対象判定手段の実行する判定アルゴリズムは、前記第1判定処理と共に、前記移動方向特徴量算出手段により算出された前記対象物の移動方向特徴量に関する第2判定処理を含み、該第1判定処理は、前記歩行者の姿勢が所定の第1要件を満たすか否かを判定する処理であり、該第2判定処理は、該対象物の移動方向特徴量が所定の第2要件を満たすか否かを判定する処理であり、前記回避対象判定手段は、前記対象物の移動方向特徴量に関する第2判定処理の判定結果が前記第2要件を満たす場合と、該第2判定処理の判定結果が該第2要件を満たさず、且つ、前記歩行者の姿勢に関する第1判定処理の判定結果が前記第1要件を満たす場合とに、前記対象物が回避対象であると判定することが好ましい(第4発明)。 Further, in the vehicle periphery monitoring device according to any one of the first to third aspects of the invention, the relative position detection means for sequentially detecting the relative position of the object extracted by the object extraction means with respect to the vehicle, and the determination of the posture determination means Based on a time series of the relative position of the object detected by the relative position detection means at a time interval longer than the processing execution cycle, a moving direction feature amount representing the moving direction of the object relative to the vehicle is calculated. And a moving direction feature amount calculating means that performs the determination algorithm executed by the avoidance target determining means together with the first determination processing, the moving direction of the object calculated by the moving direction feature amount calculating means. Including a second determination process relating to a feature amount, wherein the first determination process is a process of determining whether or not the posture of the pedestrian satisfies a predetermined first requirement. The process is a process of determining whether or not the moving direction feature quantity of the object satisfies a predetermined second requirement, and the avoidance target determining means is a second determination process related to the moving direction feature quantity of the target object. When the determination result satisfies the second requirement, the determination result of the second determination process does not satisfy the second requirement, and the determination result of the first determination process regarding the posture of the pedestrian satisfies the first requirement. When satisfying, it is preferable to determine that the object is an avoidance target (fourth invention).
これによれば、前記回避対象判定手段が実行する判定アルゴリズムは、前記移動方向特徴量に関する第2判定処理を含むので、信頼性の高い判定結果を決定することが可能となる。ただし、前記移動方向特徴量の算出は、前記姿勢判別手段の判別処理の実行周期よりも長い時間間隔で行われるので、回避対象判定手段の判定結果の決定に時間を要する。一方、前記回避対象判定手段の実行する判定アルゴリズムは、前記歩行者の姿勢に関する第1判定処理も含むので、迅速に判定結果を決定することが可能である。そこで、前記回避対象判定手段は、前記対象物の移動方向特徴量に関する第2判定処理の判定結果が前記第2要件を満たす場合と、該第2判定処理の判定結果が該第2要件を満たさず、且つ、前記歩行者の姿勢に関する第1判定処理の判定結果が前記第1要件を満たす場合とに、前記対象物が回避対象であると判定する。 According to this, since the determination algorithm executed by the avoidance target determination unit includes the second determination process related to the moving direction feature amount, it is possible to determine a determination result with high reliability. However, since the calculation of the moving direction feature amount is performed at a time interval longer than the execution cycle of the determination process of the posture determination unit, it takes time to determine the determination result of the avoidance target determination unit. On the other hand, the determination algorithm executed by the avoidance target determination means includes a first determination process related to the posture of the pedestrian, so that the determination result can be quickly determined. Therefore, the avoidance target determination unit satisfies the second requirement when the determination result of the second determination process related to the moving direction feature quantity of the object satisfies the second requirement, and the determination result of the second determination process satisfies the second requirement. In addition, when the determination result of the first determination process regarding the posture of the pedestrian satisfies the first requirement, it is determined that the object is an avoidance target.
これにより、前記回避対象判定手段は、移動方向特徴量に基づく信頼性の高い判定結果が得られた場合には、該判定結果に基づいて対象物が回避対象であるか否かを判定すると共に、例えば移動方向特徴量を算出するための十分な時間がない場合でも、歩行者の姿勢に基づく迅速な判定結果に基づいて、対象物が回避対象であるか否かを判定することが可能である。よって、対象物が車両との接触を回避すべき回避対象であるか否かをより確実に判定することができる。 Accordingly, when a highly reliable determination result based on the moving direction feature amount is obtained, the avoidance target determination unit determines whether the target object is an avoidance target based on the determination result. For example, even when there is not enough time to calculate the moving direction feature amount, it is possible to determine whether the target object is an avoidance target based on a quick determination result based on the pedestrian's posture. is there. Therefore, it can be determined more reliably whether the target object is an avoidance target that should avoid contact with the vehicle.
なお、前記第1要件は、例えば、対象物の移動する方向が自車両に向かってくる方向であるというような要件である。また、前記第2要件は、例えば、対象物が歩行者であり、且つ、該歩行者の姿勢が、自車両の走行する車線の中心側への前傾姿勢であるというような要件である。 The first requirement is, for example, a requirement that the moving direction of the object is a direction toward the host vehicle. The second requirement is, for example, a requirement that the object is a pedestrian and that the posture of the pedestrian is a forward leaning posture toward the center of the lane in which the host vehicle is traveling.
さらに、前記第4発明の車両周辺監視装置において、前記車両機器制御手段は、前記対象物の移動方向特徴量に関する第2判定処理の判定結果が前記第1要件を満たす場合と、該第2判定処理の判定結果が該第1要件を満たさず、且つ、前記歩行者の姿勢に関する第1判定処理の判定結果が前記第2要件を満たす場合とで、前記車両の機器を互いに異なる形態で制御することが好ましい(第5発明)。 Furthermore, in the vehicle periphery monitoring device according to the fourth aspect of the present invention, the vehicle equipment control means includes a case where the determination result of the second determination process relating to the moving direction feature quantity of the object satisfies the first requirement, and the second determination When the determination result of the process does not satisfy the first requirement, and the determination result of the first determination process regarding the posture of the pedestrian satisfies the second requirement, the vehicle devices are controlled in different forms. It is preferable (5th invention).
すなわち、前記対象物の移動方向特徴量に関する第2判定処理の判定結果が前記第1要件を満たす場合と、該第2判定処理の判定結果が該第1要件を満たさず、且つ、前記歩行者の姿勢に関する第1判定処理の判定結果が前記第2要件を満たす場合とでは、前記回避対象判定手段による最終的な判定結果の信頼性や回避の緊急性等が異なる。よって、前記車両機器制御手段により、各場合毎に前記車両の機器を互いに異なる形態で制御することで、運転者への情報提示や車両挙動の制御をより適切に行うことができる。 That is, when the determination result of the second determination process related to the moving direction feature amount of the object satisfies the first requirement, the determination result of the second determination process does not satisfy the first requirement, and the pedestrian The reliability of the final determination result by the avoidance target determination means, the urgency of avoidance, and the like are different from the case where the determination result of the first determination process related to the posture satisfies the second requirement. Therefore, the vehicle equipment control means can control the vehicle equipment in a different form for each case, thereby more appropriately performing information presentation to the driver and vehicle behavior control.
例えば、前記車両機器制御手段の制御する機器が、前記車両の運転者に警報を発することが可能な機器である場合には、該車両機器制御手段は、各場合毎に異なる警報の仕方で、運転者に警報を発すればよい。 For example, when the device controlled by the vehicle device control means is a device capable of issuing a warning to the driver of the vehicle, the vehicle device control means uses a different warning method for each case, An alarm may be issued to the driver.
また、前記第1〜第5発明の車両周辺監視装置において、前記姿勢判別手段は、前記画像上での前記歩行者の、前記車両の左右方向における対称性を、該歩行者の姿勢を表す特徴量とし、その対称性の度合を判別する手段であることが好ましい(第6発明)。 In the vehicle periphery monitoring device according to any one of the first to fifth inventions, the posture determination means represents the pedestrian's posture in the left-right direction symmetry of the pedestrian on the image. It is preferable to use a means for determining the degree of symmetry as a quantity (sixth invention).
すなわち、一般に、道路を横断しようとする歩行者の姿勢は、車両の走行する車線の中心側への前傾姿勢となる。このとき、車両に搭載された撮像手段を介して取得された画像上において、前記歩行者の頭部を中心として、該歩行者に相当する領域のうちの車線の中心側に近い部分と反対側の部分とでは、対称性の度合が低くなると考えられる。すなわち、前記画像上での前記歩行者の、前記車両の左右方向における対称性は、該歩行者が道路を横断しようとする姿勢であるか否か(前傾姿勢であるか否か)に密接に関わる特徴量である。よって、前記対称性の度合を用いることで、例えば歩行者の姿勢が車両の走行する車線の中心側への前傾姿勢であるか否か等が判るので、道路の横断等の歩行者の挙動が迅速に予測される。従って、前記回避対象判定手段により、前記第1判定処理において、前記姿勢判別手段により判別された前記対称性の度合に基づいて、該歩行者が回避すべき対象であるか否かを判定することで、道路の横断等の歩行者の挙動を迅速に予測して、該歩行者が車両との接触を回避すべき対象であるか否かを迅速に判定することができる。 That is, in general, the posture of a pedestrian trying to cross a road is a forward leaning posture toward the center of the lane in which the vehicle travels. At this time, on the image acquired through the imaging means mounted on the vehicle, the side opposite to the portion near the center side of the lane in the region corresponding to the pedestrian, with the head of the pedestrian as the center In this part, the degree of symmetry is considered to be low. That is, the symmetry of the pedestrian in the left-right direction of the vehicle on the image is closely related to whether or not the pedestrian is about to cross the road (whether or not it is a forward leaning posture). This is a feature quantity related to. Therefore, by using the degree of symmetry, for example, it can be determined whether or not the pedestrian's posture is a forward leaning posture toward the center of the lane on which the vehicle travels. Is predicted quickly. Therefore, the avoidance target determination means determines whether or not the pedestrian should be avoided based on the degree of symmetry determined by the posture determination means in the first determination process. Thus, it is possible to quickly predict the behavior of a pedestrian such as a crossing of a road and quickly determine whether or not the pedestrian is an object to avoid contact with a vehicle.
または、前記第1〜第5発明の車両周辺監視装置において、前記姿勢判別手段は、前記歩行者の体幹軸の傾きを、該歩行者の姿勢を表す特徴量とし、その傾きの度合を判別する手段であることが好ましい(第7発明)。 Alternatively, in the vehicle periphery monitoring device according to any one of the first to fifth aspects of the invention, the posture determination unit determines the inclination of the pedestrian's trunk axis as a feature amount representing the posture of the pedestrian and determines the degree of the inclination. It is preferable that it is a means (7th invention).
すなわち、前記歩行者の体幹軸の傾き(体幹軸の方向や角度)は、該歩行者の体幹軸の傾きに関する姿勢を表す特徴量であり、その傾きの度合から、例えば歩行者の姿勢が車両の走行する車線の中心側への前傾姿勢であるか否か等が判る。このとき、一般に、道路を横断しようとする歩行者の姿勢は、車両の走行する車線の中心側への前傾姿勢(その体幹軸を車両の走行する車線の中心側へ前傾させた姿勢)となるので、前記体幹軸の傾きの度合から、道路の横断等の歩行者の挙動が迅速に予測される。従って、前記回避対象判定手段により、前記第1判定処理において、前記姿勢判別手段により判別された前記体幹軸の傾きの度合に基づいて、該歩行者が回避対象であるか否かを判定することで、道路の横断等の歩行者の挙動を迅速に予測して、該歩行者が車両との接触を回避すべき対象であるか否かを迅速に判定することができる。 That is, the inclination of the trunk axis (the direction and angle of the trunk axis) of the pedestrian is a feature amount that represents the posture related to the inclination of the trunk axis of the pedestrian. It can be determined whether or not the posture is a forward leaning posture toward the center of the lane in which the vehicle travels. At this time, in general, the posture of the pedestrian trying to cross the road is the forward leaning posture toward the center of the lane in which the vehicle travels (the posture in which the trunk axis is tilted forward to the center of the lane in which the vehicle travels) Therefore, the pedestrian's behavior such as crossing the road is quickly predicted from the degree of inclination of the trunk axis. Therefore, the avoidance target determination unit determines whether or not the pedestrian is an avoidance target based on the degree of inclination of the trunk axis determined by the posture determination unit in the first determination process. Thus, it is possible to quickly predict the behavior of a pedestrian such as crossing a road and quickly determine whether or not the pedestrian is an object to avoid contact with a vehicle.
本発明の一実施形態を添付の図面を参照して説明する。図1は、本実施形態による車両周辺監視装置の機能ブロック図であり、図2は、図1に示した車両周辺監視装置の車両への取り付け態様の説明図であり、図3は、図1の車両周辺監視装置における対象物検出・警報動作を示すフローチャートである。また、図4は、図3の対象物検出・警報動作における処理画像の例示図である。 An embodiment of the present invention will be described with reference to the accompanying drawings. FIG. 1 is a functional block diagram of the vehicle periphery monitoring device according to the present embodiment, FIG. 2 is an explanatory view of an attachment mode of the vehicle periphery monitoring device shown in FIG. 1 to the vehicle, and FIG. It is a flowchart which shows the target object detection and alarm operation | movement in the vehicle periphery monitoring apparatus. FIG. 4 is an exemplary view of a processed image in the object detection / alarm operation of FIG.
図1,2を参照して、本実施形態の車両周辺監視装置は、CPU(中央演算装置)を備えた電子ユニットである画像処理ユニット1を有する。画像処理ユニット1には、自車両10に搭載された、2つの赤外線カメラ2R,2Lと、自車両10のヨーレートを検出するヨーレートセンサ3と、自車両10の走行速度(車速)を検出する車速センサ4と、自車両10のブレーキの操作を検出するためのブレーキセンサ5とが接続されている。 With reference to FIGS. 1 and 2, the vehicle periphery monitoring device of the present embodiment includes an image processing unit 1 which is an electronic unit including a CPU (Central Processing Unit). The image processing unit 1 includes two infrared cameras 2R and 2L mounted on the host vehicle 10, a yaw rate sensor 3 that detects the yaw rate of the host vehicle 10, and a vehicle speed that detects the traveling speed (vehicle speed) of the host vehicle 10. The sensor 4 and the brake sensor 5 for detecting the operation of the brake of the host vehicle 10 are connected.
また、画像処理ユニット1には、車両周辺監視装置に備えられた、音声で警報を発するためのスピーカ6と、赤外線カメラ2R,2Lを介して取得される画像を表示し、衝突の可能性が高い対象物を運転者に認識させるための表示装置7とが接続されている。表示装置7は、例えば、自車両10のフロントウィンドウに画像等の情報を表示するHUD(ヘッドアップディスプレイ)7a等を備えている。HUD7aは、自車両10のフロントウィンドウの運転者の前方視界を妨げない位置に画面が表示されるように設けられている。 In addition, the image processing unit 1 displays an image acquired via the infrared camera 2R, 2L and a speaker 6 that is provided in the vehicle periphery monitoring device for issuing a warning by voice and has a possibility of a collision. A display device 7 is connected to allow the driver to recognize a high object. The display device 7 includes, for example, a HUD (head-up display) 7 a that displays information such as an image on the front window of the host vehicle 10. The HUD 7 a is provided so that the screen is displayed at a position that does not obstruct the driver's forward view of the front window of the host vehicle 10.
赤外線カメラ2R,2Lは、遠赤外線を検出可能なカメラであり、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。なお、赤外線カメラ2R,2Lは、本発明の撮像手段に相当する。 The infrared cameras 2R and 2L are cameras that can detect far-infrared rays, and have a characteristic that the output signal level increases (the luminance increases) as the temperature of the object increases. The infrared cameras 2R and 2L correspond to the imaging means of the present invention.
図2に示すように、赤外線カメラ2R,2Lは、自車両10の前部の右側及び左側に、自車両10の車幅方向中心部に対してほぼ対称な位置に配置されている。赤外線カメラ2R,2Lは、2つの2つの赤外線カメラ2R,2Lの光軸が互いに平行であって、且つ、両者の路面からの高さが等しくなるように自車両10に固定されている。 As shown in FIG. 2, the infrared cameras 2 </ b> R and 2 </ b> L are disposed on the right side and the left side of the front portion of the host vehicle 10 at positions that are substantially symmetrical with respect to the center in the vehicle width direction of the host vehicle 10. The infrared cameras 2R and 2L are fixed to the host vehicle 10 so that the optical axes of the two two infrared cameras 2R and 2L are parallel to each other and the heights from both road surfaces are equal.
画像処理ユニット1は、詳細の図示は省略するが、A/D変換回路、CPU、RAM、ROM、画像メモリ等を含む電子回路により構成され、赤外線カメラ2R,2L、ヨーレートセンサ3、車速センサ4及びブレーキセンサ5の出力(アナログ信号)がA/D変換回路を介してデジタル信号に変換されて入力される。そして、画像処理ユニット1は、入力されたデータを基に、歩行者等の対象物を検出する処理や、その検出した対象物に関する所定要件が満たされるか否かを判定し、該要件が満たされる場合にスピーカ6や表示装置7を介して運転者に警報を発する処理等を実行する。 Although not shown in detail, the image processing unit 1 is configured by an electronic circuit including an A / D conversion circuit, a CPU, a RAM, a ROM, an image memory, and the like, and includes infrared cameras 2R and 2L, a yaw rate sensor 3, and a vehicle speed sensor 4. The output (analog signal) of the brake sensor 5 is converted into a digital signal via the A / D conversion circuit and input. Then, based on the input data, the image processing unit 1 determines whether or not a process for detecting an object such as a pedestrian or a predetermined requirement for the detected object is satisfied, and the requirement is satisfied. In such a case, a process for issuing a warning to the driver via the speaker 6 or the display device 7 is executed.
より詳しくは、画像処理ユニット1は、その機能として、取得された画像から自車両10の周辺に存在する対象物を抽出する対象物抽出手段11と、抽出された対象物のうちから歩行者を抽出する歩行者抽出手段12と、抽出された歩行者の姿勢を判別する姿勢判別手段13と、対象物が自車両10との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段14と、回避対象判定手段14の判定結果に応じて自車両10の機器を制御する車両機器制御手段15とを備えている。また、画像処理ユニット1は、その機能として、対象物の自車両10に対する相対位置を逐次検出する相対位置検出手段16と、対象物の移動方向特徴量を算出する移動方向特徴量算出手段17とを備える。 More specifically, the image processing unit 1 functions as a function of object extraction means 11 for extracting an object existing around the host vehicle 10 from the acquired image, and a pedestrian among the extracted objects. Pedestrian extraction means 12 to be extracted, posture determination means 13 to determine the posture of the extracted pedestrian, and avoidance target to determine whether the object is an avoidance target that should avoid contact with the host vehicle 10 A determination unit 14 and a vehicle device control unit 15 that controls the device of the host vehicle 10 according to the determination result of the avoidance target determination unit 14 are provided. In addition, the image processing unit 1 has, as its function, a relative position detection unit 16 that sequentially detects a relative position of the object with respect to the host vehicle 10, and a movement direction feature value calculation unit 17 that calculates a movement direction feature value of the object. Is provided.
対象物抽出手段11は、赤外線カメラ2R,2Lを介して取得された画像から、自車両10の周辺に存在する対象物を抽出する。具体的には、対象物抽出手段11は、赤外線カメラ2R,2Lを介して取得された画像のうちの所定の基準画像(本実施形態では、赤外線カメラ2Rを介して取得された画像とする)に2値化処理を施して、基準画像内の画素の輝度値が所定閾値以上である2値化領域が抽出する。さらに、対象物抽出手段11は、2値化領域からランレングスデータを作成し、ランレングスデータに基づいてラベリング処理等により対象物を抽出する。 The object extraction means 11 extracts an object existing around the host vehicle 10 from images acquired via the infrared cameras 2R and 2L. Specifically, the object extracting means 11 is a predetermined reference image among images acquired via the infrared cameras 2R and 2L (in this embodiment, it is assumed that the image is acquired via the infrared camera 2R). Then, binarization processing is performed to extract a binarized region in which the luminance value of the pixel in the reference image is equal to or greater than a predetermined threshold value. Furthermore, the object extraction means 11 creates run length data from the binarized area, and extracts the object by a labeling process or the like based on the run length data.
相対位置検出手段16は、基準画像上で対象物抽出手段11により抽出された対象物に対応する対象物を赤外線カメラ2Lを介して取得された画像上で探索し、2つの赤外線カメラ2R,2Lから得られる画像上での対象物のずれ(視差)に基づいて、対象物の自車両10に対する距離を検出し、実空間座標に変換して、対象物の車両10に対する相対位置を検出する。なお、画像に基づいて対象物の相対位置を検出する具体的な手法としては、例えば、上述の特許文献1に記載したような手法を用いることができる。 The relative position detection means 16 searches for an object corresponding to the object extracted by the object extraction means 11 on the reference image on the image acquired via the infrared camera 2L, and two infrared cameras 2R, 2L. Based on the displacement (parallax) of the object on the image obtained from the above, the distance of the object to the host vehicle 10 is detected, converted into real space coordinates, and the relative position of the object to the vehicle 10 is detected. As a specific method for detecting the relative position of the object based on the image, for example, a method as described in Patent Document 1 described above can be used.
移動方向特徴量算出手段17は、相対位置検出手段16により検出された対象物の相対位置の時系列に基づいて、対象物の自車両10に対する移動方向を表す移動方向特徴量を算出する。具体的には、移動方向特徴量算出手段17は、移動方向特徴量として、対象物の自車両10に対する相対位置の時系列データから、対象物の自車両10に対する移動ベクトルを算出する。なお、移動ベクトルの算出には、所定期間分の時系列データを要する。 Based on the time series of the relative position of the object detected by the relative position detection means 16, the movement direction feature value calculation means 17 calculates a movement direction feature value representing the movement direction of the object relative to the host vehicle 10. Specifically, the movement direction feature quantity calculating means 17 calculates a movement vector of the target object with respect to the host vehicle 10 from the time series data of the relative position of the target object with respect to the host vehicle 10 as the movement direction feature quantity. Note that time series data for a predetermined period is required to calculate the movement vector.
歩行者抽出手段12は、対象物抽出手段11により抽出された対象物のうちから歩行者を抽出する。歩行者を抽出する手法としては、例えば、対象物の縦横比や、対象物の面積と該対象物の外接四角形の面積との比等の、対象物の形状を示す特徴や、対象物の大きさ、グレースケール画像上での輝度分散等の特徴に基づいて、対象物が歩行者であるか否かを判定する手法が用いられる。 The pedestrian extraction unit 12 extracts a pedestrian from the objects extracted by the object extraction unit 11. As a method of extracting a pedestrian, for example, the characteristics indicating the shape of the object such as the aspect ratio of the object, the ratio of the area of the object and the area of the circumscribed rectangle of the object, and the size of the object A method for determining whether or not the object is a pedestrian is used based on characteristics such as luminance dispersion on the gray scale image.
姿勢判別手段13は、歩行者抽出手段12により抽出された歩行者の体幹軸の傾きを、該歩行者の姿勢を表す特徴量とし、その傾きの度合を判別する。なお、歩行者の体幹軸を算出する手法としては、例えば、まず、取得された画像内の画素の輝度値が所定閾値以上である2値化領域からランレングスデータを作成する。そして、作成されたランレングスデータの各ラインの中点の画素の座標で構成される点列データを算出し、点列データを近似する近似直線を歩行者の体幹軸とする手法を用いる。なお、姿勢判別手段13による判別処理は、逐次(演算処理周期毎に)実行される。 The posture determination unit 13 uses the inclination of the trunk axis of the pedestrian extracted by the pedestrian extraction unit 12 as a feature amount representing the posture of the pedestrian, and determines the degree of the inclination. As a method of calculating the trunk axis of the pedestrian, for example, first, run length data is created from a binarized region in which the luminance value of the pixel in the acquired image is equal to or greater than a predetermined threshold. Then, a method is used in which point sequence data composed of the coordinates of the midpoint pixels of each line of the generated run length data is calculated, and an approximate straight line approximating the point sequence data is used as the trunk axis of the pedestrian. Note that the discrimination processing by the posture discrimination means 13 is executed sequentially (every arithmetic processing cycle).
回避対象判定手段14は、対象物抽出手段11により抽出された対象物が自車両10との接触を回避すべき回避対象であるか否かを判定する。このとき、回避対象判定手段14の実行する判定アルゴリズムには、姿勢判別手段13により判別された歩行者の姿勢に関する第1判定処理と、移動方向特徴量算出手段17により算出された対象物の移動方向特徴量に関する第2判定処理とが含まれる。 The avoidance target determination means 14 determines whether or not the object extracted by the object extraction means 11 is an avoidance target that should avoid contact with the host vehicle 10. At this time, the determination algorithm executed by the avoidance target determination unit 14 includes a first determination process related to the posture of the pedestrian determined by the posture determination unit 13 and the movement of the target calculated by the movement direction feature amount calculation unit 17. And a second determination process related to the direction feature amount.
車両機器制御手段15は、回避対象判定手段14により回避対象であると判定された対象物について、自車両10の運転者に警報を発する。具体的には、車両機器制御手段15は、スピーカ6を介して音声案内を出力したり、表示装置7に対して例えば赤外線カメラ2Rにより得られる画像を出力し、その画像上で回避対象である歩行者等の対象物を強調して自車両10の運転者に表示する。なお、スピーカ6、表示装置7が、本発明による車両機器制御手段の制御する機器に相当する。 The vehicle equipment control means 15 issues a warning to the driver of the host vehicle 10 about the object determined as the avoidance target by the avoidance target determination means 14. Specifically, the vehicle device control means 15 outputs voice guidance through the speaker 6 or outputs an image obtained by, for example, the infrared camera 2R to the display device 7, and is an avoidance target on the image. An object such as a pedestrian is emphasized and displayed to the driver of the host vehicle 10. The speaker 6 and the display device 7 correspond to devices controlled by the vehicle device control means according to the present invention.
次に、本実施形態の車両周辺監視装置の全体的な作動(対象物検出・警報動作)を、図3に示したフローチャートに従って説明する。図3を参照して、画像処理ユニット1は、所定の演算処理周期毎に、STEP001〜STEP020の処理を繰り返して、対象物検出・警報動作を実行する。まず、画像処理ユニット1は、赤外線カメラ2R,2Lの出力信号である赤外線画像を取得して(STEP001)、A/D変換し(STEP002)、グレースケール画像を画像メモリに格納する(STEP003)。なお、赤外線カメラ2Rにより右画像が得られ、赤外線カメラ2Lにより左画像が得られる。右画像と左画像とでは、同一の対象物の画像上での横方向(x方向)の位置がずれて表示されるので、このずれ(視差)によりその対象物までの距離を算出することができる。 Next, the overall operation (object detection / alarm operation) of the vehicle periphery monitoring device of the present embodiment will be described with reference to the flowchart shown in FIG. Referring to FIG. 3, the image processing unit 1 repeats the processing of STEP001 to STEP020 for each predetermined calculation processing cycle to execute the object detection / alarm operation. First, the image processing unit 1 acquires an infrared image that is an output signal of the infrared cameras 2R and 2L (STEP001), performs A / D conversion (STEP002), and stores a grayscale image in an image memory (STEP003). The right image is obtained by the infrared camera 2R, and the left image is obtained by the infrared camera 2L. Since the right image and the left image are displayed with the positions in the horizontal direction (x direction) shifted on the image of the same object, the distance to the object can be calculated based on this shift (parallax). it can.
次に、画像処理ユニット1は、グレースケール画像のうちの基準画像(本実施形態では赤外線カメラ2Rにより得られた画像とする)に対して、その画像信号を2値化する(STEP004)。すなわち、基準画像の画像信号の輝度値が閾値Ithより明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理が行われる。閾値Ithは、実験的に予め決定される値である。 Next, the image processing unit 1 binarizes the image signal of a reference image (in this embodiment, an image obtained by the infrared camera 2R) of the grayscale image (STEP 004). That is, a process is performed in which a region where the luminance value of the image signal of the reference image is brighter than the threshold value Ith is set to “1” (white) and a dark region is set to “0” (black). The threshold value Ith is a value that is experimentally determined in advance.
図4(a)に、赤外線カメラ2Rによって得られる画像を2値化した画像を例示する。図4(a)において、ハッチングを付した領域が黒であり、太い実線で囲まれた領域が白であることを示している。太い実線で囲まれた領域は、赤外線カメラ2から得られる画像において、輝度レベルが高く(高温で)、画面上に白色として表示される対象物の領域である。なお、図4(a)に示した例は、自車両10の前方の左側に歩行者が存在し、自車両10の前方に他車両が存在しており、歩行者が道路を横断しようとしている例である。 FIG. 4A illustrates an image obtained by binarizing an image obtained by the infrared camera 2R. In FIG. 4A, the hatched area is black, and the area surrounded by the thick solid line is white. A region surrounded by a thick solid line is a region of an object that has a high luminance level (at a high temperature) and is displayed as white on the screen in the image obtained from the infrared camera 2. In the example shown in FIG. 4A, there is a pedestrian on the left side in front of the host vehicle 10, and there is another vehicle in front of the host vehicle 10, and the pedestrian is about to cross the road. It is an example.
次に、画像処理ユニット1は、2値化処理で「白」となった領域(2値化領域)からランレングスデータを作成する(STEP005)。作成されるランレングスデータは、2値化領域を画像の横方向の1次元の連結画素であるラインの集合で表し、該2値化領域を構成する各ランをその始点の座標と、始点から終点までの長さ(画素数)とで示したものである。 Next, the image processing unit 1 creates run-length data from an area (binarized area) that has become “white” in the binarization process (STEP 005). The generated run-length data represents a binarized area as a set of lines that are one-dimensional connected pixels in the horizontal direction of the image, and each run constituting the binarized area is represented by the coordinates of the start point and the start point. This is indicated by the length to the end point (number of pixels).
次に、画像処理ユニット1は、作成されたランレングスデータに基づいて、対象物のラベリングをする(STEP006)ことにより、対象物を抽出する(STEP007)。すなわち、ランレングスデータで表されたラインのうち、画像の縦方向(y方向)に重なる部分のあるランを1つの対象物とみなしてラベル(識別子)を付すことにより、画像内の連結した領域を対象物として抽出する。 Next, the image processing unit 1 extracts the target object by labeling the target object (STEP 006) based on the generated run length data (STEP 007). That is, among the lines represented by the run length data, a run having a portion overlapping in the vertical direction (y direction) of the image is regarded as one object, and a label (identifier) is attached, thereby connecting connected regions in the image. Is extracted as an object.
上述のSTEP005〜007の処理により、図4(a)に示す2値化領域が、図4(b)に例示するように、対象物(2値化対象物)T1〜T6として抽出される。このとき、例えばラベルT1の対象物は、n個のランレングスデータL1〜Lnで示される。なお、抽出される対象物(2値化対象物)には、道路周辺の歩行者以外に、例えば、他車両、電柱や自動販売機等の人工構造物が含まれる。図4(b)の例では、対象物T1は、自車両10の前方の左側に存在する歩行者に対応する2値化対象物であり、対象物T2〜T6は、自車両10の前方に存在する他車両に対応する2値化対象物である。 By the above-described processing of STEP 005 to 007, the binarized areas shown in FIG. 4A are extracted as objects (binarized objects) T1 to T6 as illustrated in FIG. 4B. At this time, for example, the object of the label T1 is indicated by n pieces of run-length data L1 to Ln. The extracted objects (binarized objects) include, for example, other vehicles, artificial structures such as electric poles and vending machines, in addition to pedestrians around the road. In the example of FIG. 4B, the target object T1 is a binarized target object corresponding to a pedestrian existing on the left side in front of the host vehicle 10, and the target objects T2 to T6 are positioned in front of the host vehicle 10. It is a binarized object corresponding to another vehicle that exists.
次に、画像処理ユニット1は、抽出された対象物の面積S、重心G、対象物の外接四角形の縦横比ASPECTを算出する(STEP008)。具体的には、対象物T1の面積Sは、各ランレングスデータLi(i=1,...,n)で示されるラインの長さを、対象物T1のn個のランレングスデータについて積算することにより算出する。また、対象物T1の重心Gの座標は、各ランレングスデータLiで示されるラインの長さと、各ランレングスデータLiのラインの中点の座標(x[i],y[i])とをそれぞれ掛け合わせ、更にこれを対象物T1のn個のランレングスデータについて積算したものを、面積Sで割ることにより算出する。また、対象物T1の縦横比ASPECTは、対象物T1の外接四角形の縦方向の長さDyと横方向の長さDxとの比Dy/Dxとして算出する。 Next, the image processing unit 1 calculates the area S, the center of gravity G, and the aspect ratio ASPECT of the circumscribed rectangle of the target object (STEP008). Specifically, the area S of the object T1 is obtained by integrating the length of the line indicated by each run-length data Li (i = 1,..., N) with respect to the n pieces of run-length data of the object T1. To calculate. The coordinates of the center of gravity G of the object T1 are the length of the line indicated by each run-length data Li and the coordinates (x [i], y [i]) of the midpoint of each line of the run-length data Li. Multiplying these values and multiplying them by n run-length data of the object T1 is calculated by dividing by the area S. Further, the aspect ratio ASPECT of the object T1 is calculated as a ratio Dy / Dx between the length Dy in the vertical direction and the length Dx in the horizontal direction of the circumscribed rectangle of the object T1.
次に、画像処理ユニット1は、対象物の時刻間追跡、すなわち、画像処理ユニット1の演算周期毎の同一対象物の認識を行う(STEP009)。時刻間追跡処理では、ある演算処理周期の時刻(離散系時刻)kにおけるSTEP007の処理により対象物Aが抽出され、次の演算処理周期の時刻k+1におけるSTEP007の処理により対象物Bが抽出されたとしたとき、それらの対象物A,Bの同一性が判定される。この同一性の判定は、例えば、それらの対象物A,Bの重心G、面積S、縦横比ASPECT等に基づいて行われる。そして、それらの対象物A,Bが互いに同一であると判定された場合に、時刻k+1で抽出した対象物Bのラベルが対象物Aのラベルと同じラベルに変更される。なお、この時刻間追跡処理は、2値化した基準画像について実行される。 Next, the image processing unit 1 performs tracking of the object for the time, that is, recognizes the same object for each calculation cycle of the image processing unit 1 (STEP 009). In the inter-time tracking process, the object A is extracted by the process of STEP007 at the time (discrete system time) k in a certain calculation process cycle, and the object B is extracted by the process of STEP007 at the time k + 1 of the next calculation process period. Then, the identity of the objects A and B is determined. This identity determination is performed based on, for example, the center of gravity G, the area S, the aspect ratio ASPECT of the objects A and B, and the like. When it is determined that the objects A and B are the same, the label of the object B extracted at time k + 1 is changed to the same label as the label of the object A. This inter-time tracking process is executed for a binarized reference image.
次に、画像処理ユニット1は、車速センサ4により検出される車速VCARと、ヨーレートセンサ3により検出されるヨーレートYRとを読み込み、ヨーレートYRを時間積分することにより、自車両10の回頭角θrを算出する(STEP010)。 Next, the image processing unit 1 reads the vehicle speed VCAR detected by the vehicle speed sensor 4 and the yaw rate YR detected by the yaw rate sensor 3 and integrates the yaw rate YR over time, thereby calculating the turning angle θr of the host vehicle 10. Calculate (STEP010).
一方、STEP009,010の処理に平行して、STEP011〜014では、対象物と自車両10との距離z(自車両10の前後方向の距離)を算出する処理が行われる。この演算はSTEP009,010より長い時間を要するため、STEP009,010より長い周期(例えばSTEP001〜010の実行周期の3倍程度の周期)で実行される。 On the other hand, in parallel with the processing of STEP 009 and 010, in STEP 011 to 014, processing for calculating the distance z between the object and the host vehicle 10 (the distance in the front-rear direction of the host vehicle 10) is performed. Since this calculation takes a longer time than STEP 009,010, it is executed in a cycle longer than STEP 009,010 (for example, a cycle about three times the execution cycle of STEP001 to 010).
まず、画像処理ユニット1は、基準画像の2値化画像によって追跡される対象物の中の1つを選択してすることにより、基準画像から探索画像R1(対象物を囲む外接四角形の領域全体を探索画像とする)を抽出する(STEP011)。 First, the image processing unit 1 selects one of the objects to be tracked by the binarized image of the reference image, so that the search image R1 (the entire circumscribed quadrangular region surrounding the object) is selected from the reference image. Are used as search images) (STEP 011).
次に、画像処理ユニット1は、参照画像(赤外線カメラ2R,2Lから得られた右画像及び左画像のうちの基準画像でない画像)中から探索画像R1に対応する画像(以下「対応画像」という)を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する(STEP012)。具体的には、探索画像R1の各頂点座標に応じて、参照画像中に探索領域R2を設定し、探索領域R2内に、座標(x0,y0)を基点(領域の左上の頂点)とした探索画像R1と同一形状の局所領域R3を設定する。そして、基点の座標(x0,y0)を変化させて、探索領域R2内で局所領域R3を移動させながら、局所領域R3と探索画像R1との相関の度合を示す輝度値の絶対差分和(SAD,Sum of Absolute Difference)C(x0,y0)を下記式(1)により算出する。 Next, the image processing unit 1 selects an image corresponding to the search image R1 (hereinafter referred to as “corresponding image”) from among the reference images (the right image and the left image obtained from the infrared cameras 2R and 2L). ) Is set, a correlation operation is performed, and a corresponding image is extracted (STEP 012). Specifically, the search area R2 is set in the reference image according to each vertex coordinate of the search image R1, and the coordinates (x0, y0) are set as the base point (upper left vertex of the area) in the search area R2. A local region R3 having the same shape as the search image R1 is set. Then, by changing the coordinates (x0, y0) of the base point and moving the local region R3 within the search region R2, the absolute difference sum of luminance values (SAD) indicating the degree of correlation between the local region R3 and the search image R1 , Sum of Absolute Difference) C (x0, y0) is calculated by the following equation (1).
次に、画像処理ユニット1は、探索画像R1の重心位置と、対応画像R4の重心位置とに基づいて、視差Δd(画素数)を算出する(STEP013)。そして、画像処理ユニット1は、算出された視差Δdを用いて、次式(2)により、自車両10と対象物との距離zを算出する(STEP014)。 Next, the image processing unit 1 calculates the parallax Δd (number of pixels) based on the centroid position of the search image R1 and the centroid position of the corresponding image R4 (STEP013). Then, the image processing unit 1 calculates the distance z between the host vehicle 10 and the object by the following equation (2) using the calculated parallax Δd (STEP014).
z=B×F/(Δd×p) …(2)
なお、Bは赤外線カメラ2R,2Lの基線長(光軸の間隔)、Fは赤外線カメラ2R,2Lの焦点距離F、pは画素間隔である。
z = B × F / (Δd × p) (2)
Note that B is the base line length (interval of the optical axis) of the infrared cameras 2R and 2L, F is the focal length F of the infrared cameras 2R and 2L, and p is the pixel interval.
STEP010及びSTEP014の処理の終了後、画像処理ユニット1は、次に、画像内の座標(x,y)及び距離zを、実空間座標に変換して、各対象物の実空間上での位置(自車両10に対する相対位置)である実空間位置を算出する(STEP015)。ここで、実空間位置は、図2に示すように、赤外線カメラ2R,2Lの取り付け位置の中点(自車両10に固定された位置)を原点として設定された実空間座標系(XYZ座標系)での位置(X,Y,Z)である。実空間座標系のX方向及びY方向は、それぞれ自車両10の左右方向(車幅方向)、上下方向であり、これらのX方向及びY方向は、前記右画像および左画像のx方向(横方向)、y方向(縦方向)と同方向である。また、実空間座標系のZ方向は、自車両10の前後方向である。そして、実空間位置(X,Y,Z)は、次式(3)(4)(5)により算出される。 After the processing of STEP010 and STEP014, the image processing unit 1 next converts the coordinates (x, y) and the distance z in the image into real space coordinates, and the position of each object in the real space. The real space position (relative position with respect to the host vehicle 10) is calculated (STEP015). Here, the real space position is, as shown in FIG. 2, a real space coordinate system (XYZ coordinate system) set with the midpoint of the attachment position of the infrared cameras 2R and 2L (the position fixed to the host vehicle 10) as the origin. ) At position (X, Y, Z). The X direction and Y direction of the real space coordinate system are the left-right direction (vehicle width direction) and the up-down direction of the host vehicle 10, respectively. These X direction and Y direction are the x direction (horizontal direction) of the right image and the left image. Direction) and y direction (longitudinal direction). The Z direction in the real space coordinate system is the front-rear direction of the host vehicle 10. The real space position (X, Y, Z) is calculated by the following equations (3), (4), and (5).
X=x×z×p/f …(3)
Y=y×z×p/f …(4)
Z=z …(5)
次に、画像処理ユニット1は、自車両10の回頭角の変化の影響を補償して、対象物の実空間位置の精度を高めるために、STEP010で算出した回頭角θrを用いて、対象物の実空間位置を補正する。(STEP016)。回頭角補正は、時刻kから(k+1)までの期間中に自車両10が例えば左方向に回頭角θrだけ回頭すると、赤外線カメラ2R,2Lによって得られる画像上では、画像の範囲がx方向にずれるので、これを補正する処理である。なお、以下の説明では、「対象物の実空間位置」は、この回頭角補正を施した対象物の実空間位置を意味する。
X = x × z × p / f (3)
Y = y × z × p / f (4)
Z = z (5)
Next, the image processing unit 1 uses the turning angle θr calculated in STEP 010 in order to compensate for the influence of the change in the turning angle of the host vehicle 10 and improve the accuracy of the real space position of the object. The real space position of is corrected. (STEP016). In the turning angle correction, when the host vehicle 10 turns, for example, to the left by the turning angle θr during the period from time k to (k + 1), the range of the image is in the x direction on the images obtained by the infrared cameras 2R and 2L. Since it deviates, this is a process for correcting this. In the following description, “the real space position of the object” means the real space position of the object subjected to the turning angle correction.
次に、画像処理ユニット1は、対象物の自車両10に対する移動ベクトルを求める(STEP017)。具体的には、同一対象物についての実空間位置の、所定期間(現在時刻から所定時間前までの期間)における時系列データを近似する直線を求め、所定時間前の時刻での該直線上の対象物の位置(座標Pv1=(Xv1,Yv1,Zv1))から、現在時刻における該直線上の対象物の位置(座標Pv0=(Xv0,Yv0,Zv0))に向かうベクトルを対象物の移動ベクトルとして求める。なお、近似直線の具体的な算出処理には、上述の特許文献1に記載された手法を用いる。また、この処理において、対象物が検出されてから所定期間分の演算処理周期が経過していないために、対象物の実空間位置の時系列データが不足して移動ベクトルを算出することができない場合には、そのままSTEP018に進む。 Next, the image processing unit 1 obtains a movement vector of the object relative to the host vehicle 10 (STEP017). Specifically, a straight line that approximates time-series data in a predetermined period (a period from the current time to a predetermined time) of the real space position of the same object is obtained, and the straight line at the time before the predetermined time is obtained. A vector that moves from the position of the object (coordinate Pv1 = (Xv1, Yv1, Zv1)) to the position of the object on the straight line (coordinate Pv0 = (Xv0, Yv0, Zv0)) at the current time. Asking. In addition, the method described in the above-mentioned patent document 1 is used for the specific calculation process of the approximate straight line. Further, in this process, since the calculation processing cycle for a predetermined period has not elapsed since the object was detected, the time series data of the real space position of the object is insufficient and the movement vector cannot be calculated. In the case, proceed to STEP018 as it is.
次に、画像処理ユニット1は、検出した対象物が回避対象(自車両10との接触を回避すべき対象)であるか否かを判定する回避判定処理を行う(STEP018)。なお、回避判定処理については、詳細を後述する。STEP018において、検出した対象物が回避対象でないと判定された場合(STEP018の判定結果がNO)には、STEP001に戻り、上述の処理を繰り返す。また、STEP018において、検出した対象物が回避対象であると判定された場合(STEP018の判定結果がYES)、STEP019の警報出力判定処理へ進む。 Next, the image processing unit 1 performs an avoidance determination process for determining whether or not the detected object is an avoidance object (an object that should avoid contact with the host vehicle 10) (STEP018). Details of the avoidance determination process will be described later. If it is determined in STEP 018 that the detected object is not an avoidance target (the determination result in STEP 018 is NO), the process returns to STEP 001 and the above-described processing is repeated. If it is determined in STEP 018 that the detected object is an avoidance target (YES in STEP 018), the process proceeds to an alarm output determination process in STEP 019.
STEP019では、画像処理ユニット1は、対象物に関する実際の警報を出力するか否かの判定を行なう警報出力判定処理を行う。この警報出力判定処理では、ブレーキセンサ5の出力BRから、運転者による自車両10のブレーキ操作がなされていることが確認され、且つ、自車両10の減速加速度(車速の減少方向の加速度を正とする)が所定の閾値(>0)よりも大きいときには、警報を出力しないと判定される。また、運転者によるブレーキ操作が行なわれていない場合、あるいは、ブレーキ操作が行なわれていても、自車両10の減速加速度が所定の閾値以下である場合には、警報を出力すると判定される。 In STEP019, the image processing unit 1 performs an alarm output determination process for determining whether or not to output an actual alarm regarding the object. In this alarm output determination process, it is confirmed from the output BR of the brake sensor 5 that the driver has operated the brake of the host vehicle 10, and the deceleration acceleration of the host vehicle 10 (the acceleration in the vehicle speed decreasing direction is corrected). Is greater than a predetermined threshold (> 0), it is determined that no alarm is output. Further, when the driver does not perform a braking operation or when the deceleration acceleration of the host vehicle 10 is equal to or less than a predetermined threshold even if the braking operation is performed, it is determined that an alarm is output.
そして、画像処理ユニット1は、警報を出力すると判定した場合(STEP019の判定結果がYES)には、スピーカ6と表示装置7とによる警報を自車両10の運転者に対して発する警報出力処理を実行し(STEP020)、STEP001に戻り、上述の処理を繰り返す。なお、警報出力処理については、詳細を後述する。また、STEP019で警報を出力しないと判定した場合(全ての対象物について警報を出力しないと判定した場合)には、STEP019の判定結果がNOとなり、この場合には、そのままSTEP001に戻り、上述の処理を繰り返す。 When the image processing unit 1 determines that an alarm is to be output (the determination result in STEP019 is YES), the image processing unit 1 performs an alarm output process for issuing an alarm by the speaker 6 and the display device 7 to the driver of the host vehicle 10. Execute (STEP020), return to STEP001, and repeat the above process. Details of the alarm output process will be described later. When it is determined in STEP019 that no alarm is output (when it is determined that no alarm is output for all objects), the determination result in STEP019 is NO. In this case, the process returns to STEP001 as it is, Repeat the process.
以上が、本実施形態の車両周辺監視装置の画像処理ユニット1における対象物検出・警報動作である。これにより、自車両10の周辺の赤外線画像と、自車両10の走行状態を示す信号とから、自車両10の前方の歩行者等の対象物が検出され、回避対象である対象物について運転者に警報が発せられる。 The above is the object detection / alarm operation in the image processing unit 1 of the vehicle periphery monitoring device of the present embodiment. As a result, an object such as a pedestrian in front of the host vehicle 10 is detected from the infrared image around the host vehicle 10 and a signal indicating the traveling state of the host vehicle 10, and the driver about the target object to be avoided. An alarm is issued.
次に、図5に示すフローチャートを参照して、図3に示したフローチャートのSTEP018における回避判定処理について詳細に説明する。図5は、本実施形態の回避判定処理を示すフローチャートである。回避判定処理は、以下に示す衝突判定処理、接近判定領域内か否かの判定処理、進入衝突判定処理(移動ベクトル又は姿勢による)、歩行者判定処理、及び人工構造物判定処理により、検出した対象物と自車両10との衝突の可能性及び対象物の種類を判定して、該対象物が回避対象であるか否かを判定する処理である。 Next, the avoidance determination process in STEP018 of the flowchart shown in FIG. 3 will be described in detail with reference to the flowchart shown in FIG. FIG. 5 is a flowchart showing the avoidance determination process of the present embodiment. The avoidance determination process is detected by the following collision determination process, determination process whether or not the vehicle is in the approach determination area, approach collision determination process (by movement vector or posture), pedestrian determination process, and artificial structure determination process This is a process for determining the possibility of collision between the target object and the host vehicle 10 and the type of the target object, and determining whether or not the target object is an avoidance target.
図5を参照して、まず、画像処理ユニット1は、対象物が自車両10に衝突する可能性の度合を判定する処理の1つとして、衝突判定処理を行う(STEP101)。衝突判定処理は、対象物と自車両10とのZ方向の相対速度Vsを求め、両者が高さH以内で相対速度Vsを維持して移動すると仮定して、余裕時間T以内に両者が衝突する可能性があるか否かを判定する処理である。具体的には、対象物の現在のZ方向の座標値(距離)Zv0がVs×T以下で、且つ、対象物の現在のY方向の座標値(高さ)Yv0がH以下である場合に、対象物と自車両10とが衝突する可能性があると判定される。 Referring to FIG. 5, first, the image processing unit 1 performs a collision determination process as one of processes for determining the degree of possibility that the target object collides with the host vehicle 10 (STEP 101). In the collision determination process, the relative velocity Vs in the Z direction between the target object and the host vehicle 10 is obtained, and both of them collide within the margin time T on the assumption that both move within the height H while maintaining the relative velocity Vs. This is a process for determining whether or not there is a possibility of the failure. Specifically, when the coordinate value (distance) Zv0 in the current Z direction of the object is Vs × T or less and the coordinate value (height) Yv0 in the current Y direction of the object is H or less. It is determined that there is a possibility that the object and the host vehicle 10 collide.
ここで、図6を参照して説明すると、図6は、自車両10の走行する道路を上方から見た図であり、自車両10の前方の領域区分が示されている。図6に示したように、赤外線カメラ2R,2Lで監視可能な領域を太い実線で示す外側の三角形の領域AR0とすると、領域AR0内のZ1(=Vs×T)より自車両10に近い領域が、対象物と自車両10との衝突の可能性がある領域である。なお、高さHは、高さ方向の範囲を規定する所定高さであり、例えば自車両10の車高の2倍程度に設定される。 Here, with reference to FIG. 6, FIG. 6 is a view of the road on which the host vehicle 10 travels as viewed from above, and shows an area section ahead of the host vehicle 10. As shown in FIG. 6, if an area that can be monitored by the infrared cameras 2R and 2L is an outer triangular area AR0 indicated by a thick solid line, an area closer to the host vehicle 10 than Z1 (= Vs × T) in the area AR0. Is a region where there is a possibility of collision between the object and the host vehicle 10. The height H is a predetermined height that defines a range in the height direction, and is set to, for example, about twice the vehicle height of the host vehicle 10.
STEP101の判定結果がNOの場合(余裕時間T内に対象物と自車両10とが衝突する可能性がない)には、車両10の操舵やブレーキ操作によって対象物と車両10との衝突を余裕を持って回避しうる状況である。この場合には、STEP108に進み、画像処理ユニット1は、対象物が回避対象でないと判定して、回避判定処理を終了する。 If the determination result in STEP 101 is NO (there is no possibility that the target object and the host vehicle 10 will collide within the margin time T), the target 10 and the vehicle 10 are not allowed to collide by steering or braking operation of the vehicle 10. This is a situation that can be avoided. In this case, proceeding to STEP 108, the image processing unit 1 determines that the object is not an avoidance target, and ends the avoidance determination process.
STEP101の判定結果がYESの場合(余裕時間T内に対象物と自車両10とが衝突する可能性がある)には、STEP102に進み、対象物が自車両10に接触する可能性の度合を判定する処理の1つとして、画像処理ユニット1は、対象物が接近判定領域AR1内に存在するか否かの判定処理を行う。接近判定領域AR1は、図6に示したように、上述の領域AR0内のZ1より自車両10に近い領域のうちの、自車両10の車幅αの両側に余裕βを加えた幅(α+2β)を有する領域AR1である。なお、接近判定領域AR1も所定高さHを有する。 When the determination result in STEP 101 is YES (the object and the host vehicle 10 may collide within the margin time T), the process proceeds to STEP 102 and the degree of possibility that the object contacts the host vehicle 10 is determined. As one of the determination processes, the image processing unit 1 performs a determination process as to whether or not the object exists in the approach determination area AR1. As shown in FIG. 6, the approach determination area AR1 is a width (α + 2β) in which the margin β is added to both sides of the vehicle width α of the own vehicle 10 in the area closer to the own vehicle 10 than Z1 in the above-described area AR0. ) Is an area AR1. The approach determination area AR1 also has a predetermined height H.
STEP102の判定結果がYESの場合(対象物が接近判定領域AR1内に存在している)には、対象物が現在の実空間位置に留まったとした場合に、該対象物が自車両10と衝突する可能性が高い。この場合には、STEP103に進み、画像処理ユニット1は、対象物が歩行者の可能性があるか否かを判定する歩行者判定処理を行う。歩行者判定処理は、対象物の形状、大きさ、グレースケール画像上での輝度分散等の特徴から、対象物が歩行者か否かを判定する処理である。なお、歩行者判定処理の具体的な手法としては、例えば、本出願人による特開2003−284057号公報に記載されているような手法を用いることができる。 When the determination result in STEP 102 is YES (the object exists in the approach determination area AR1), the object collides with the host vehicle 10 when the object remains in the current real space position. There is a high possibility of doing. In this case, proceeding to STEP 103, the image processing unit 1 performs a pedestrian determination process for determining whether or not the object is a pedestrian. The pedestrian determination process is a process for determining whether or not the object is a pedestrian from features such as the shape and size of the object and luminance dispersion on the grayscale image. As a specific method of the pedestrian determination process, for example, a method described in Japanese Patent Application Laid-Open No. 2003-284057 by the present applicant can be used.
STEP103の判定結果がYESの場合(対象物は歩行者の可能性がある)には、STEP104に進み、更に対象物が歩行者である可能性の判定の信頼性を上げるために、画像処理ユニット1は、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。人工構造物判定処理は、対象物の画像に、例えば予め登録された人工構造物の形状と一致する等の、歩行者ではないと考えられる特徴が検出された場合に、該対象物を人工構造物と判定し、警報の対象から除外する処理である。 If the determination result in STEP 103 is YES (the object may be a pedestrian), the process proceeds to STEP 104, and in order to further improve the reliability of the determination of the possibility that the object is a pedestrian, 1 performs an artificial structure determination process for determining whether or not the object is an artificial structure. Artificial structure determination processing is performed when an image of a target object is detected as a feature that is not a pedestrian, for example, matches the shape of a pre-registered artificial structure. This is a process of determining that the object is an object and excluding it from the alarm target.
STEP104の判定結果がNOの場合(対象物が人工構造物でない)には、STEP107に進み、画像処理ユニット1は、対象物が回避対象であると判定して、回避判定処理を終了する。従って、対象物が接近判定領域AR1に存在し、且つ、対象物が歩行者である可能性が高く、且つ、人工構造物でないと判定された場合には、対象物が回避対象であると判定される。 If the determination result in STEP 104 is NO (the object is not an artificial structure), the process proceeds to STEP 107, where the image processing unit 1 determines that the object is an avoidance target and ends the avoidance determination process. Therefore, when it is determined that the object is present in the approach determination area AR1, the object is likely to be a pedestrian, and is not an artificial structure, the object is determined to be an avoidance target. Is done.
また、STEP103の判定結果がNOの場合(対象物は歩行者の可能性がない)、あるいは、STEP104の判定結果がYESの場合(対象物が人工構造物である)には、STEP108に進み、画像処理ユニット1は、対象物が回避対象でないと判定して、回避判定処理を終了する。 If the determination result in STEP 103 is NO (the object is not a pedestrian) or if the determination result in STEP 104 is YES (the object is an artificial structure), the process proceeds to STEP 108. The image processing unit 1 determines that the object is not an avoidance target, and ends the avoidance determination process.
一方、STEP102の判定結果がNOの場合(対象物が接近判定領域AR1内に存在しない)には、STEP105に進み、画像処理ユニット1は、対象物が接近判定領域AR1内へ進入して自車両10と衝突する可能性があるか否かを判定する進入衝突判定処理を行う(STEP105〜106)。ここで、図6に示したように、領域AR0内で上述の接近判定領域AR1よりX座標の絶対値が大きい(接近判定領域AR1の横方向外側の)領域AR2,AR3を進入判定領域とする。進入衝突判定処理は、進入判定領域AR2,AR3内にある対象物が、移動することにより接近判定領域AR1に進入して自車両10と衝突するか否かを判定する処理である。なお、進入判定領域AR2,AR3も所定高さHを有する。 On the other hand, if the determination result in STEP 102 is NO (the object does not exist in the approach determination area AR1), the process proceeds to STEP 105, where the image processing unit 1 enters the approach determination area AR1 and the own vehicle An approach collision determination process for determining whether or not there is a possibility of collision with the vehicle 10 is performed (STEP 105 to 106). Here, as shown in FIG. 6, regions AR2 and AR3 in which the absolute value of the X coordinate is larger than the above-described approach determination region AR1 (outside in the lateral direction of the approach determination region AR1) in the region AR0 are set as the approach determination regions. . The approach collision determination process is a process for determining whether or not an object in the entry determination areas AR2 and AR3 moves into the approach determination area AR1 and collides with the host vehicle 10 by moving. The entry determination areas AR2 and AR3 also have a predetermined height H.
まず、STEP105で、対象物の移動ベクトルに基づく進入衝突判定処理が行われる。この移動ベクトルに基づく進入衝突判定処理は、本発明の回避対象判定手段の実行する判定アルゴリズムの第2判定処理に相当する。また、対象物が回避対象である(衝突の可能性が高い)と判定する第2要件は、対象物の移動する方向が自車両に向かってくる方向であるという要件である。具体的には、自車両10の前面のXY平面(自車両10の前後方向に垂直な面)と、対象物の移動ベクトルを含む直線との交点のX座標(車幅方向の位置)が、自車両10の車幅αよりも若干広い所定範囲内に存在する場合(対象物が相対的に自車両10に向かってくる場合)に、衝突の可能性が高いと判定される。なお、上述のSTEP017で移動ベクトルが算出できなかった場合には、STEP105の判定結果はNOとする。 First, in STEP 105, an approach collision determination process based on the movement vector of the object is performed. This approach collision determination process based on the movement vector corresponds to the second determination process of the determination algorithm executed by the avoidance target determination unit of the present invention. The second requirement for determining that the target object is an avoidance target (the possibility of a collision is high) is a requirement that the moving direction of the target object is a direction toward the host vehicle. Specifically, the X coordinate (position in the vehicle width direction) of the intersection of the XY plane (the plane perpendicular to the front-rear direction of the host vehicle 10) of the host vehicle 10 and a straight line including the movement vector of the target object is When the vehicle 10 is within a predetermined range slightly wider than the vehicle width α of the host vehicle 10 (when the object is relatively toward the host vehicle 10), it is determined that the possibility of a collision is high. If the movement vector cannot be calculated in the above STEP 017, the determination result in STEP 105 is NO.
STEP105の判定結果がYESの場合には、対象物が将来、自車両10と衝突する可能性が高い。そこで、この場合には、STEP108に進み、画像処理ユニット1は、対象物が回避対象であると判定して、回避判定処理を終了する。 If the determination result in STEP 105 is YES, there is a high possibility that the object will collide with the host vehicle 10 in the future. Therefore, in this case, the process proceeds to STEP 108, and the image processing unit 1 determines that the object is an avoidance target, and ends the avoidance determination process.
STEP105の判定結果がNOの場合には、STEP106に進み、姿勢による進入衝突判定処理が行われる。この姿勢による進入衝突判定処理は、本発明の回避対象判定手段の実行する判定アルゴリズムの第1判定処理に相当する。また、対象物が回避対象である(衝突の可能性が高い)と判定する第1要件は、対象物が歩行者であり、且つ、該歩行者の姿勢が、自車両10の走行する車線の中心側への前傾姿勢であるという要件である。なお、姿勢による進入衝突判定処理については、詳細を後述する。STEP106の判定結果がYESの場合には、対象物が将来、自車両10と衝突する可能性が高い。そこで、この場合には、STEP107に進み、画像処理ユニット1は、対象物が回避対象であると判定して、回避判定処理を終了する。また、STEP106の判定結果がNOの場合には、対象物が自車両10と衝突する可能性が低いので、STEP108に進み、画像処理ユニット1は、対象物が回避対象でないと判定して、回避判定処理を終了する。 If the determination result in STEP 105 is NO, the process proceeds to STEP 106, and an approach collision determination process based on the posture is performed. The approach collision determination process based on this posture corresponds to the first determination process of the determination algorithm executed by the avoidance target determination unit of the present invention. In addition, the first requirement for determining that the target object is an avoidance target (the possibility of a collision is high) is that the target object is a pedestrian and the posture of the pedestrian is the lane in which the host vehicle 10 is traveling. This is a requirement that the posture is tilted forward to the center side. Details of the approach collision determination process based on the posture will be described later. If the determination result in STEP 106 is YES, there is a high possibility that the object will collide with the host vehicle 10 in the future. Therefore, in this case, the process proceeds to STEP 107, and the image processing unit 1 determines that the object is an avoidance target, and ends the avoidance determination process. If the determination result in STEP 106 is NO, the object is unlikely to collide with the host vehicle 10, so that the process proceeds to STEP 108, and the image processing unit 1 determines that the object is not an avoidance target and avoids it. The determination process ends.
以上が、回避判定処理の詳細である。 The above is the details of the avoidance determination process.
次に、図3に示したフローチャートのSTEP020における警報出力処理について詳細に説明する。この警報出力処理では、表示装置7に基準画像を表示すると共に、その基準画像中の回避対象である対象物の画像を強調的に表示する。さらに、回避対象である対象物が存在することをスピーカ6から運転者に音声案内する。これにより、回避対象である対象物に対する運転者の注意が喚起される。なお、運転者に対する警報は、スピーカ6および表示装置7のいずれか一方だけで行なうようにしてもよい。 Next, the alarm output process in STEP020 of the flowchart shown in FIG. 3 will be described in detail. In this alarm output process, the reference image is displayed on the display device 7 and the image of the target object to be avoided in the reference image is highlighted. Furthermore, a voice guidance is provided from the speaker 6 to the driver that there is an object to be avoided. As a result, the driver's attention to the target object to be avoided is alerted. Note that the warning for the driver may be performed by only one of the speaker 6 and the display device 7.
このとき、画像処理ユニット1は、上述のSTEP018の回避判定処理において、STEP105の判定結果がYESとなって対象物が回避対象であると判定された場合(以下、CASE1とする)と、STEP106の判定結果がYESとなって対象物が回避対象であると判定された場合(以下、CASE2とする)とで、運転者に対して異なる形態の警報を発する。具体的には、例えば、表示装置7の画像上で回避対象に枠を付けて強調表示する際に、CASE1とCASE2とで異なる色を用いたり、CASE2ではCASE1よりも色を薄くしたり、CASE2ではCASE1より枠を細くする。もしくは、スピーカ6で音声案内する際に、CASE1とCASE2とで音声案内の案内文のパターンを異ならせたり、音声案内の音声の種類(例えば周波数)を異ならせる。もしくは、CASE1ではスピーカ6による音声案内と表示装置7による強調表示との両方を行い、CASE2では表示装置7による強調表示のみを行う。これにより、回避対象の判定結果の信頼性や回避の緊急性等が異なることが運転者に把握されるように、より適切に警報が発せられる。 At this time, when the determination result in STEP 105 is YES in the avoidance determination process in STEP 018 described above and the object is determined to be an avoidance object (hereinafter referred to as CASE 1), the image processing unit 1 When the determination result is YES and it is determined that the target object is an avoidance target (hereinafter referred to as CASE 2), a different type of warning is issued to the driver. Specifically, for example, when highlighting an object to be avoided with a frame on the image of the display device 7, different colors are used for CASE 1 and CASE 2, a color is lighter than CASE 1, or CASE 2 is used. Then, the frame is made thinner than CASE1. Alternatively, when voice guidance is performed using the speaker 6, the patterns of voice guidance texts are different between CASE1 and CASE2, and the type (for example, frequency) of voice guidance voices is different. Alternatively, CASE 1 performs both voice guidance by the speaker 6 and highlighting by the display device 7, and CASE 2 performs only highlighting by the display device 7. As a result, a warning is issued more appropriately so that the driver can recognize that the determination result of the avoidance target is different in reliability, avoidance urgency, and the like.
以上が、警報出力処理の詳細である。 The above is the details of the alarm output process.
次に、図5に示したフローチャートのSTEP106における姿勢による進入衝突判定処理について詳細に説明する。姿勢による進入衝突判定処理は、進入判定領域AR2、AR3内にある対象物が歩行者である場合に、該歩行者の姿勢(歩行者の体幹軸の傾きに関する姿勢)に基づいて該歩行者の挙動を予測して、該歩行者が回避対象であるか否か(自車両10との衝突の可能性があるか否か)を判定する処理である。なお、以下の説明では、図4(a)に示した例(自車両10の前方の左側に歩行者が存在し、自車両10の前方に他車両が存在しており、歩行者が道路を横断しようとしている場合)を用いて説明する。 Next, the approach collision determination process based on the posture in STEP 106 of the flowchart shown in FIG. 5 will be described in detail. The approach collision determination process based on the posture is performed when the object in the entry determination areas AR2 and AR3 is a pedestrian, based on the posture of the pedestrian (the posture related to the inclination of the trunk axis of the pedestrian). This is a process for determining whether or not the pedestrian is an avoidance target (whether or not there is a possibility of a collision with the host vehicle 10). In the following description, the example shown in FIG. 4A (a pedestrian is present on the left side in front of the host vehicle 10, another vehicle is present in front of the host vehicle 10, and the pedestrian is on the road (If you are going to cross)
STEP106において、まず、歩行者抽出手段12により、検出された対象物のうちから歩行者を抽出する処理が行われる。このとき、対象物の縦横比ASPECTと、対象物の面積SAと該対象物の外接四角形の面積SBとの比SA/SBとが、所定範囲にある場合に、対象物が歩行者であると判定され、該対象物が歩行者として抽出される。なお、前記所定範囲は、対象物が歩行者の上半身や全身に相当する値として予め定められる範囲である。これにより、図4(b)に例示するように、対象物T1〜T6のうちから、枠R1で囲われた対象物T1が歩行者として抽出される。なお、歩行者が抽出されなかった場合には、STEP106の判定結果はNOとなる。また、歩行者を抽出する処理では、例えば、STEP103の歩行者判定処理等で用いられるような他の手法を用いてもよい。 In STEP 106, first, the pedestrian extraction means 12 performs a process of extracting a pedestrian from the detected objects. At this time, when the aspect ratio ASPECT of the object and the ratio SA / SB of the area SA of the object and the area SB of the circumscribed rectangle of the object are within a predetermined range, the object is a pedestrian. It is determined and the object is extracted as a pedestrian. The predetermined range is a range in which the object is predetermined as a value corresponding to the upper body or whole body of the pedestrian. Thereby, as illustrated in FIG. 4B, the object T1 surrounded by the frame R1 is extracted as a pedestrian from the objects T1 to T6. When no pedestrian is extracted, the determination result in STEP 106 is NO. In the process of extracting pedestrians, other methods such as those used in the pedestrian determination process of STEP 103 may be used.
次に、歩行者が抽出された場合には、姿勢判別手段13により、抽出された歩行者T1の姿勢を判別する処理が行われる。以下では、図7(a)(b)を参照して説明する。図7(a)(b)には、それぞれ、図4(b)に例示した枠R1で囲まれた領域(歩行者T1が含まれる)が示されている。 Next, when a pedestrian is extracted, the posture determination means 13 performs processing for determining the posture of the extracted pedestrian T1. Below, it demonstrates with reference to Fig.7 (a) (b). FIGS. 7A and 7B each show a region (including a pedestrian T1) surrounded by the frame R1 illustrated in FIG. 4B.
まず、姿勢判別手段13は、歩行者T1の体幹軸を算出する。具体的には、まず、姿勢判別手段13は、抽出された歩行者T1のランレングスデータL1〜Lnから、各ランレングスデータLiで示されるラインの中点の画素の座標で構成される点列データP_T1を算出する。図7(a)を参照して、歩行者T1として抽出された対象物に相当する2値化領域は、図示のように、n個のランレングスデータL1〜Lnで表される。図7(b)には、ランレングスデータL1〜Lnが示されており、その中点M1〜Mnは、図示のようになる。そして、点列データP_T1は、中点M1〜Mnの座標データ{(X1,Y1),(X2,Y2),...,(Xn,Yn)}で構成される。なお、図7(b)において、座標軸X,Yは図示のように設定されている。このとき、X軸は自車両10の左右方向に平行な軸であり、Y軸は上下方向軸である。 First, the posture determination means 13 calculates the trunk axis of the pedestrian T1. Specifically, first, the posture determination means 13 is a point sequence composed of the coordinates of the middle point pixel of the line indicated by each run-length data Li from the extracted run-length data L1 to Ln of the pedestrian T1. Data P_T1 is calculated. With reference to Fig.7 (a), the binarization area | region equivalent to the target object extracted as the pedestrian T1 is represented by n pieces of run length data L1-Ln as shown in the figure. FIG. 7B shows run-length data L1 to Ln, and the midpoints M1 to Mn are as shown. The point sequence data P_T1 includes coordinate data {(X1, Y1), (X2, Y2),. . . , (Xn, Yn)}. In FIG. 7B, the coordinate axes X and Y are set as shown. At this time, the X-axis is an axis parallel to the left-right direction of the host vehicle 10, and the Y-axis is an up-down direction axis.
次に、姿勢判別手段13は、算出された点列データP_T1を近似する近似直線S1を算出する。このとき、近似法としては、最小二乗法が用いられる。これにより、図7(b)に示したように、近似直線S1=aX+bが算出される。この近似直線S1は、歩行者T1の体幹軸に相当するものである。 Next, the posture determination unit 13 calculates an approximate line S1 that approximates the calculated point sequence data P_T1. At this time, the least square method is used as an approximation method. Thereby, as shown in FIG.7 (b), approximate straight line S1 = aX + b is calculated. The approximate straight line S1 corresponds to the trunk axis of the pedestrian T1.
次に、姿勢判別手段13は、算出された近似直線S1に基づいて、歩行者T1の体幹軸の傾きの度合を判別する。具体的には、本実施形態では、歩行者T1の体幹軸が自車両10の走行する車線の中心側へ前傾しているか否か(歩行者T1の姿勢が自車両10の走行する車線に向かう前傾姿勢であるか否か)が判別される。まず、姿勢判別手段13は、図7(b)に示したように、近似直線S1と上下方向軸Yとのなす角度θ=tan-1aを算出する。次に、姿勢判別手段13は、角度θに基づいて、歩行者T1の体幹軸が自車両10の走行する車線の中心側へ前傾しているか否かを判別する。なお、本実施形態では、角度θは、上下方向軸Y方向を0度とし、上下方向軸Yから自車両10の走行する車線の中心側へ向かう方向を正(図7(b)に示した例では時計回りを正)とするように設定されている。 Next, the posture determination means 13 determines the degree of inclination of the trunk axis of the pedestrian T1 based on the calculated approximate straight line S1. Specifically, in the present embodiment, whether or not the trunk axis of the pedestrian T1 is tilted forward to the center side of the lane in which the host vehicle 10 travels (the lane in which the pedestrian T1 is traveling in the lane in which the host vehicle 10 travels). Whether or not it is a forward leaning posture toward the vehicle). First, as shown in FIG. 7B, the posture determination unit 13 calculates an angle θ = tan −1 a formed by the approximate straight line S1 and the vertical axis Y. Next, the posture determination means 13 determines whether or not the trunk axis of the pedestrian T1 is tilted forward toward the center of the lane in which the host vehicle 10 travels based on the angle θ. In the present embodiment, the angle θ is positive in the direction from the vertical axis Y to the center side of the lane in which the host vehicle 10 travels, with the vertical axis Y direction being 0 degree (see FIG. 7B). In the example, the clockwise rotation is set to be positive).
このとき、角度θが閾値θ1以上で閾値θ2以下(0<θ1<θ2)の場合に、自車両10の走行する車線側へ前傾していると判別される。なお、閾値θ1,θ2は、歩行者が移動しているときに、その体幹軸が進行方向に対して一般的に取る角度の範囲を示す値として予め定められる値である。この歩行者T1の姿勢の判別結果に基づいて、道路の横断等の歩行者T1の挙動が事前に迅速に予測される。図7(b)の例では、θ1≦θ≦θ2となり、歩行者T1が自車両10の走行する車線に向かう前傾姿勢であると判別される。これにより、歩行者T1が道路を横断しようとしていることが予測される。 At this time, when the angle θ is greater than or equal to the threshold θ1 and less than or equal to the threshold θ2 (0 <θ1 <θ2), it is determined that the vehicle 10 is leaning forward toward the lane on which the host vehicle 10 travels. The threshold values θ1 and θ2 are predetermined values that indicate the range of angles that the trunk axis generally takes with respect to the traveling direction when a pedestrian is moving. Based on the determination result of the posture of the pedestrian T1, the behavior of the pedestrian T1 such as crossing a road is quickly predicted in advance. In the example of FIG. 7B, θ1 ≦ θ ≦ θ2, and it is determined that the pedestrian T1 is in a forward leaning posture toward the lane in which the host vehicle 10 is traveling. Thereby, it is predicted that pedestrian T1 is going to cross the road.
次に、回避対象判定手段14により、姿勢判別手段13の歩行者T1の姿勢の判別結果に基づいて、歩行者T1が回避対象であるか否かが判定される。このとき、例えば、歩行者T1が自車両10の走行する車線に向かう前傾姿勢である場合(STEP106の判定結果がYES)には、歩行者T1が道路を横断しようとしていることが予測されることから、STEP107で、対象物が回避対象であると判定される。これにより、例えば、進入判定領域AR2,AR3に存在する歩行者T1が急に車道に飛び出すような場合に、図3のSTEP019〜020の警報出力判定及び警報出力が迅速に行われる。 Next, the avoidance target determination unit 14 determines whether or not the pedestrian T1 is an avoidance target based on the determination result of the posture of the pedestrian T1 by the posture determination unit 13. At this time, for example, when the pedestrian T1 is in a forward leaning posture toward the lane in which the host vehicle 10 is traveling (YES in STEP 106), it is predicted that the pedestrian T1 is about to cross the road. Therefore, in STEP 107, it is determined that the object is an avoidance target. Thereby, for example, when the pedestrian T1 existing in the entry determination areas AR2 and AR3 suddenly jumps out on the roadway, the warning output determination and the warning output in STEPs 019 to 020 in FIG. 3 are quickly performed.
以上の処理により、本実施形態によれば、赤外線カメラ2R,2Lを介して取得される画像から、自車両10の周辺の歩行者のうちの回避対象となる歩行者を迅速に判定して、自車両10の運転者に情報提示を行うことができる。 By the above process, according to the present embodiment, from the images acquired via the infrared cameras 2R and 2L, the pedestrian to be avoided among the pedestrians around the host vehicle 10 is quickly determined, Information can be presented to the driver of the host vehicle 10.
なお、本実施形態では、前述したように、画像処理ユニット1が、その機能として、本発明の対象物抽出手段11と、歩行者抽出手段12と、姿勢判別手段13と、回避対象判定手段14と、車両機器制御手段15と、相対位置検出段16と、移動方向特徴量算出手段17とを含んでいる。より具体的には、図3のSTEP004〜008が対象物抽出手段11に相当し、STEP011〜016が相対位置検出段16に相当し、STEP017が移動方向特徴量算出手段17に相当し、STEP018が回避対象判定手段14に相当し、STEP019〜020が車両機器制御手段15に相当する。さらに、図5のSTEP106における対象物のうちから歩行者を抽出する処理が歩行者抽出手段12に相当し、STEP106における歩行者の姿勢を判別する処理が姿勢判別手段13に相当する。 In the present embodiment, as described above, the image processing unit 1 functions as the object extraction unit 11, the pedestrian extraction unit 12, the posture determination unit 13, and the avoidance target determination unit 14 according to the present invention. Vehicle device control means 15, relative position detection stage 16, and moving direction feature quantity calculation means 17. More specifically, STEPs 004 to 008 in FIG. 3 correspond to the object extraction unit 11, STEPs 011 to 016 correspond to the relative position detection stage 16, STEP017 corresponds to the movement direction feature amount calculation unit 17, and STEP018 includes It corresponds to the avoidance target determination means 14, and STEPs 019 to 020 correspond to the vehicle equipment control means 15. Furthermore, the process of extracting a pedestrian from the objects in STEP 106 of FIG. 5 corresponds to the pedestrian extraction means 12, and the process of determining the pedestrian posture in STEP 106 corresponds to the attitude determination means 13.
次に、本発明の第2実施形態について説明する。なお、本実施形態は、第1実施形態において、画像処理ユニット1の機能である姿勢判別手段13と回避対象判定手段14との作動のみが相違するものであり、本実施形態における車両周辺監視装置の機能ブロック図は図1と同じである。以下の説明では、第1実施形態と同一の構成については、第1実施形態と同一の参照符号を用いて説明を省略する。 Next, a second embodiment of the present invention will be described. Note that the present embodiment differs from the first embodiment only in the operations of the posture determination means 13 and the avoidance target determination means 14 that are functions of the image processing unit 1, and the vehicle periphery monitoring device in the present embodiment is different. The functional block diagram is the same as FIG. In the following description, the same components as those of the first embodiment are denoted by the same reference numerals as those of the first embodiment, and the description thereof is omitted.
本実施形態の車両周辺監視装置において、画像処理ユニット1の機能である姿勢判別手段13は、歩行者抽出手段12により抽出された歩行者の画像上での、自車両10の左右方向における対称性を、該歩行者の姿勢を表す特徴量とし、その対称性の度合を判別する。なお、歩行者の画像上での自車両10の左右方向における対称性を算出する手法としては、例えば、グレースケール画像上で輝度分布に基づいて歩行者の頭部領域を設定し、頭部領域を基準として右領域と左領域とを設定して、右領域と左領域との相関演算により対称性を算出する手法が用いられる。以上説明した以外の構成は、第1実施形態と同じである。 In the vehicle periphery monitoring apparatus of the present embodiment, the posture determination means 13 that is a function of the image processing unit 1 is symmetrical in the left-right direction of the host vehicle 10 on the pedestrian image extracted by the pedestrian extraction means 12. Is a feature quantity representing the posture of the pedestrian, and the degree of symmetry is determined. In addition, as a method for calculating the symmetry in the left-right direction of the host vehicle 10 on the pedestrian image, for example, the pedestrian head region is set based on the luminance distribution on the grayscale image, and the head region A method is used in which the right region and the left region are set with reference to, and the symmetry is calculated by the correlation calculation between the right region and the left region. The configuration other than that described above is the same as that of the first embodiment.
次に、本実施形態の車両周辺監視装置の全体的な作動(対象物検出・警報動作)を説明する。なお、本実施形態における車両周辺監視処理の対象物検出・警報動作は、第1実施形態と、回避判定処理における歩行者の姿勢を判別して進入衝突判定を行う処理(図5のSTEP106)のみが相違するものである。本実施形態における回避判定処理のフローチャートは図5と同じであるので、以下の説明では、図5に示したフローチャートを参照して説明する。なお、以下の説明では、第1実施形態と同様に、図4(a)に示した例(自車両10の前方の左側に歩行者が存在し、自車両10の前方に他車両が存在しており、歩行者が道路を横断しようとしている場合)を用いて説明する。 Next, the overall operation (object detection / alarm operation) of the vehicle periphery monitoring device of the present embodiment will be described. Note that the object detection / alarm operation of the vehicle periphery monitoring process in the present embodiment is only the first embodiment and the process of determining the approach collision by determining the pedestrian's posture in the avoidance determination process (STEP 106 in FIG. 5). Are different. Since the flowchart of the avoidance determination process in the present embodiment is the same as that in FIG. 5, the following description will be given with reference to the flowchart shown in FIG. In the following description, as in the first embodiment, the example shown in FIG. 4A (a pedestrian is present on the left side in front of the host vehicle 10 and another vehicle is present in front of the host vehicle 10). And pedestrians are trying to cross the road).
STEP106において、まず、第1実施形態と同様に、歩行者抽出手段12により、検出された対象物のうちから歩行者を抽出する処理が行われる。これにより、図4(b)に例示するように、対象物T1〜T6のうちから、枠R1で囲われた対象物T1が歩行者として抽出される。なお、歩行者が抽出されなかった場合には、STEP106の判定結果はNOとなる。 In STEP 106, first, similarly to the first embodiment, the pedestrian extraction means 12 performs a process of extracting a pedestrian from the detected objects. Thereby, as illustrated in FIG. 4B, the object T1 surrounded by the frame R1 is extracted as a pedestrian from the objects T1 to T6. When no pedestrian is extracted, the determination result in STEP 106 is NO.
次に、歩行者が抽出された場合には、姿勢判別手段13により、抽出された歩行者T1の姿勢を判別する処理が行われる。以下では、図8を参照して説明する。図8には、グレースケール画像上の、図4(b)に例示した枠R1で囲まれた領域(歩行者T1が含まれる)に対応する領域が示されている。 Next, when a pedestrian is extracted, the posture determination means 13 performs processing for determining the posture of the extracted pedestrian T1. Hereinafter, a description will be given with reference to FIG. FIG. 8 illustrates a region corresponding to a region (including pedestrian T1) surrounded by the frame R1 illustrated in FIG. 4B on the grayscale image.
まず、姿勢判別手段13は、歩行者T1の画像上での自車両10の左右方向における対称性を算出する。このとき、まず、姿勢判別手段13は、グレースケール画像上で、抽出された歩行者T1の頭部領域TH1を設定する。具体的には、姿勢判別手段13は、グレースケール画像上において、抽出された歩行者T1に対応する領域にプロジェクションエリアを設定し、縦方向の輝度プロジョクション(画素毎の輝度を縦方向に積算した積算輝度の横方向の分布)を算出して、積算輝度が最大ピークを示す横方向座標を検出する。そして、姿勢判別手段13は、検出した横方向座標を中心にして、歩行者T1の頭部位置に相当すると推定される領域を、図8に示したように、頭部領域TH1として設定する。 First, the posture determination means 13 calculates the symmetry in the left-right direction of the host vehicle 10 on the image of the pedestrian T1. At this time, first, the posture determination means 13 sets the extracted head region TH1 of the pedestrian T1 on the gray scale image. Specifically, the posture determination means 13 sets a projection area in the region corresponding to the extracted pedestrian T1 on the gray scale image, and sets the vertical luminance projection (the luminance for each pixel in the vertical direction). The integrated luminance distribution in the horizontal direction) is calculated, and the horizontal coordinate at which the integrated luminance shows the maximum peak is detected. Then, the posture determination means 13 sets an area estimated to correspond to the head position of the pedestrian T1 with the detected lateral coordinate as the center, as shown in FIG. 8, as the head area TH1.
次に、姿勢判別手段13は、図8に示したように、枠R1で囲まれた領域内の頭部領域TH1の下側のうちの左右両側の部分に、右領域TR1と左領域TL1とを設定する。右領域TR1、左領域TL1は、自車両10の前後方向と歩行者の前後方向とが同じである場合(自車両10の進行方向と歩行者の移動方向とがほぼ同じ場合)に、それぞれ、歩行者の右肩、左肩が含まれるように設定される。図8に示した例では、歩行者T1の移動方向は右側(車線の中心側)であり、右領域TR1が車線の中心側に近い部分である。 Next, as shown in FIG. 8, the posture determination means 13 has a right region TR1 and a left region TL1 on the left and right sides of the lower side of the head region TH1 in the region surrounded by the frame R1. Set. The right region TR1 and the left region TL1 are respectively the same when the front-rear direction of the host vehicle 10 and the front-rear direction of the pedestrian are the same (when the traveling direction of the host vehicle 10 and the movement direction of the pedestrian are substantially the same), It is set to include the pedestrian's right shoulder and left shoulder. In the example shown in FIG. 8, the moving direction of the pedestrian T1 is the right side (center side of the lane), and the right region TR1 is a portion close to the center side of the lane.
次に、姿勢判別手段13は、右領域TR1を左右反転した画像と、左領域TL1との相関の度合を示す輝度値の絶対差分和を算出する。この絶対差分和は、歩行者T1の画像上での自車両10の左右方向における対称性の度合を表す。 Next, the posture determination means 13 calculates the absolute difference sum of the luminance values indicating the degree of correlation between the image obtained by horizontally inverting the right region TR1 and the left region TL1. This absolute difference sum represents the degree of symmetry in the left-right direction of the host vehicle 10 on the image of the pedestrian T1.
次に、姿勢判別手段13は、算出された絶対差分和に基づいて、歩行者T1の画像上での自車両10の左右方向における対称性の度合を判別する。具体的には、本実施形態では、対称性の度合が低いか否か(歩行者T1の姿勢が前傾姿勢であるか否か)が判別される。このとき、算出された絶対差分和が所定値以上(相関の度合が低い)である場合に、対称性の度合が低いと判別する。図8の例では、算出された絶対差分和が所定値以上となり、対称性の度合が低いと判別される。これにより、歩行者T1が車線の中心側又は反対側への前傾姿勢であることが判る。 Next, the posture determination means 13 determines the degree of symmetry in the left-right direction of the host vehicle 10 on the image of the pedestrian T1 based on the calculated absolute difference sum. Specifically, in this embodiment, it is determined whether or not the degree of symmetry is low (whether or not the posture of the pedestrian T1 is a forward leaning posture). At this time, when the calculated absolute difference sum is equal to or greater than a predetermined value (the degree of correlation is low), it is determined that the degree of symmetry is low. In the example of FIG. 8, it is determined that the calculated absolute difference sum is equal to or greater than a predetermined value and the degree of symmetry is low. Thereby, it turns out that the pedestrian T1 is the forward leaning attitude to the center side or the opposite side of the lane.
さらに、対称性の度合が低いと判別された場合に、姿勢判別手段13は、右領域TR1と左領域TL1とにおける輝度分布に基づいて、歩行者T1が車線の中心側への前傾姿勢であるか否かを判別する。例えば、姿勢判別手段13は、領域TR1,TL1における輝度の平均値を算出し、車線の中心側の領域における平均値が、反対側の領域における平均値より小さい場合には、歩行者T1が車線の中心側への前傾姿勢であると判別する。図8の例では、車線の中心側の領域は右領域TR1であり、算出された右領域TR1の平均値は左領域TL1の平均値より小さくなり、歩行者T1が自車両10の走行している車線の中心側に向かう前傾姿勢と判別される。これにより、歩行者T1が道路を横断しようとしていることが予測される。 Further, when it is determined that the degree of symmetry is low, the posture determination unit 13 determines that the pedestrian T1 is leaning forward toward the center of the lane based on the luminance distribution in the right region TR1 and the left region TL1. It is determined whether or not there is. For example, the posture determination means 13 calculates the average value of the luminance in the regions TR1 and TL1, and if the average value in the central region of the lane is smaller than the average value in the opposite region, the pedestrian T1 is in the lane It is determined that the posture is forward tilted toward the center side. In the example of FIG. 8, the region on the center side of the lane is the right region TR1, and the calculated average value of the right region TR1 is smaller than the average value of the left region TL1, and the pedestrian T1 travels on the host vehicle 10. It is determined as a forward leaning posture toward the center side of the lane in which the vehicle is located. Thereby, it is predicted that pedestrian T1 is going to cross the road.
次に、回避対象判定手段14により、姿勢判別手段13の歩行者T1の姿勢の判別結果に基づいて、歩行者T1が回避対象であるか否かが判定される。このとき、例えば、歩行者T1が自車両10の走行する車線の中心側への前傾姿勢である場合(STEP106の判定結果がYES)には、歩行者T1が道路を横断しようとしていることが予測されることから、STEP107で、対象物が回避対象であると判定される。これにより、例えば、進入判定領域AR2,AR3に存在する歩行者T1が急に車道に飛び出すような場合に、図3のSTEP019〜STEP020の警報出力判定及び及び警報出力が迅速に行われる。以上説明した以外の作動は、第1実施形態と同じである。 Next, the avoidance target determination unit 14 determines whether or not the pedestrian T1 is an avoidance target based on the determination result of the posture of the pedestrian T1 by the posture determination unit 13. At this time, for example, when the pedestrian T1 is leaning forward toward the center of the lane in which the host vehicle 10 is traveling (YES in STEP 106), the pedestrian T1 may be trying to cross the road. Since it is predicted, it is determined in STEP 107 that the object is an avoidance target. Thereby, for example, when the pedestrian T1 existing in the entry determination areas AR2 and AR3 suddenly jumps out on the roadway, the alarm output determination and the alarm output in STEP019 to STEP020 in FIG. 3 are quickly performed. The operations other than those described above are the same as in the first embodiment.
以上の処理により、本実施形態によれば、第1実施形態と同様に、赤外線カメラ2R,2Lを介して取得される画像から、自車両10の周辺の歩行者のうちの回避対象となる歩行者を迅速に判定して、自車両10の運転者に情報提示を行うことができる。 Through the above processing, according to the present embodiment, as in the first embodiment, the walking to be avoided among the pedestrians around the host vehicle 10 from the images acquired via the infrared cameras 2R and 2L. The person can be quickly determined and information can be presented to the driver of the host vehicle 10.
なお、前記第1及び第2実施形態では、画像処理ユニット1は、STEP018の回避判定処理で、進入衝突判定処理として、対象物の移動ベクトルによる進入衝突判定処理(STEP105)と、歩行者の姿勢による進入衝突判定処理(STEP106)とのいずれもを実行するものとしたが、他の実施形態として、例えば、進入衝突判定処理として、歩行者の姿勢による進入衝突判定処理(STEP106)のみを実行するようにしてもよい。 In the first and second embodiments, the image processing unit 1 performs the approach collision determination process (STEP 105) based on the movement vector of the object and the pedestrian's posture as the approach collision determination process in the avoidance determination process of STEP018. However, as another embodiment, for example, only the approach collision determination process (STEP 106) based on the posture of the pedestrian is performed as the approach collision determination process. You may do it.
また、前記第1及び第2実施形態では、画像処理ユニット1は、STEP018で回避対象であると判定された対象物について、自車両10の運転者に警報を発するものとしたが、他の実施形態として、例えば、車両10が、車両のステアリング装置、ブレーキ装置、アクセル装置のいずれかをアクチュエータによって操作可能(ひいては車両10の走行挙動を操作可能)なものである場合には、STEP018で回避対象であると判定された対象物との接触を回避するように、もしくは、回避が容易になるように自車両10のステアリング装置、ブレーキ装置、アクセル装置を制御するようにしてもよい。 In the first and second embodiments, the image processing unit 1 issues a warning to the driver of the host vehicle 10 for the object determined to be an avoidance object in STEP 018. As a form, for example, when the vehicle 10 can operate any one of the steering device, the brake device, and the accelerator device of the vehicle by an actuator (and consequently the traveling behavior of the vehicle 10 can be operated), the object to be avoided in STEP018 The steering device, the brake device, and the accelerator device of the host vehicle 10 may be controlled so as to avoid contact with the object determined to be or to facilitate the avoidance.
例えば、運転者によるアクセルペダルの必要踏力が、回避対象の対象物が存在しない場合(通常の場合)よりも大きくなるようにアクセル装置を制御して、加速しにくくする。あるいは、回避対象と車両10との接触を回避するために要求されるステアリング装置の操舵方向側へのステアリングハンドルの要求回転力を、反対側へのステアリングハンドルの要求回転力よりも低くして、当該操舵方向側へのステアリングハンドルの操作を容易に行い得るようにする。あるいは、ブレーキ装置のブレーキペダルの踏み込み量に応じた車両10の制動力の増加速度を、通常の場合よりも高くする。このようにすることで、回避対象との接触を避けるための車両10の運転が容易になる。 For example, the accelerator device is controlled so that the required pedaling force of the accelerator pedal by the driver is greater than when there is no target object to be avoided (normal case), thereby making acceleration difficult. Alternatively, the required rotational force of the steering handle toward the steering direction of the steering device required to avoid contact between the avoidance target and the vehicle 10 is made lower than the required rotational force of the steering handle toward the opposite side, The steering handle can be easily operated in the steering direction. Or the increase speed of the braking force of the vehicle 10 according to the depression amount of the brake pedal of a brake device is made higher than usual. By doing in this way, the driving | operation of the vehicle 10 for avoiding a contact with an avoidance object becomes easy.
なお、このような自車両10のステアリング装置や、アクセル装置、ブレーキ装置を制御する場合、これらの装置が本発明における車両機器制御手段が制御する機器に相当するものとなる。また、上記のようなステアリング装置の制御と、表示装置7もしくはスピーカ6による警報とは、並行して行うようにしてもよい。 When such a steering device, accelerator device, and brake device of the host vehicle 10 are controlled, these devices correspond to devices controlled by the vehicle device control means in the present invention. Further, the control of the steering device as described above and the alarm by the display device 7 or the speaker 6 may be performed in parallel.
また、第1及び第2実施形態では、撮像手段として赤外線カメラを使用したが、例えば通常の可視光線のみ検出可能なCCDカメラ等を使用してもよい。ただし、赤外線カメラを用いることにより、歩行者や走行中の車両等の抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現可能とすることができる。 In the first and second embodiments, an infrared camera is used as the imaging means. However, for example, a CCD camera that can detect only normal visible light may be used. However, by using an infrared camera, it is possible to simplify the extraction process of pedestrians, running vehicles, and the like, and it can be realized even when the calculation capability of the calculation device is relatively low.
2R,2L…赤外線カメラ(撮像手段)、10…車両、11…対象物抽出手段、12…歩行者抽出手段、13…姿勢判別手段、14…回避対象判定手段、15…車両機器制御手段、16…相対位置検出段、17…移動方向特徴量算出手段。 2R, 2L ... Infrared camera (imaging means), 10 ... vehicle, 11 ... object extraction means, 12 ... pedestrian extraction means, 13 ... posture discrimination means, 14 ... avoidance object judgment means, 15 ... vehicle equipment control means, 16 ... Relative position detection stage, 17 ... Movement direction feature amount calculation means.
Claims (7)
前記撮像手段を介して取得した画像から、前記車両の周辺に存在する対象物を抽出する対象物抽出手段と、
前記対象物抽出手段により抽出された対象物のうちから歩行者を抽出する歩行者抽出手段と、
前記歩行者抽出手段により抽出された歩行者の姿勢を判別する姿勢判別手段と、
少なくとも前記姿勢判別手段により判別された歩行者の姿勢に関する第1判定処理を含む判定アルゴリズムを実行することにより、前記対象物抽出手段により抽出された対象物が、前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段と、
少なくとも前記回避対象判定手段の判定結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする車両周辺監視装置。 In a vehicle periphery monitoring device that monitors the periphery of the vehicle from an image acquired through an imaging means mounted on the vehicle,
An object extracting means for extracting an object existing around the vehicle from an image acquired via the imaging means;
Pedestrian extraction means for extracting pedestrians from the objects extracted by the object extraction means;
Posture determination means for determining the posture of the pedestrian extracted by the pedestrian extraction means;
The object extracted by the object extraction unit should avoid contact with the vehicle by executing a determination algorithm including at least a first determination process related to the posture of the pedestrian determined by the position determination unit. Avoidance target determination means for determining whether or not the target is an avoidance target;
A vehicle periphery monitoring device comprising: vehicle equipment control means for controlling equipment of the vehicle according to at least a judgment result of the avoidance target judgment means.
前記姿勢判別手段の判別処理の実行周期よりも長い時間間隔において、前記相対位置検出手段により検出された前記対象物の相対位置の時系列に基づいて、該対象物の前記車両に対する移動方向を表す移動方向特徴量を算出する移動方向特徴量算出手段とを備え、
前記回避対象判定手段の実行する判定アルゴリズムは、前記第1判定処理と共に、前記移動方向特徴量算出手段により算出された前記対象物の移動方向特徴量に関する第2判定処理を含み、該第1判定処理は、前記歩行者の姿勢が所定の第1要件を満たすか否かを判定する処理であり、該第2判定処理は、該対象物の移動方向特徴量が所定の第2要件を満たすか否かを判定する処理であり、
前記回避対象判定手段は、前記対象物の移動方向特徴量に関する第2判定処理の判定結果が前記第2要件を満たす場合と、該第2判定処理の判定結果が該第2要件を満たさず、且つ、前記歩行者の姿勢に関する第1判定処理の判定結果が前記第1要件を満たす場合とに、前記対象物が回避対象であると判定することを特徴とする請求項1〜請求項3のうちいずれか1項記載の車両周辺監視装置。 Relative position detection means for sequentially detecting the relative position of the object extracted by the object extraction means with respect to the vehicle;
The moving direction of the object relative to the vehicle is represented based on a time series of the relative position of the object detected by the relative position detection means in a time interval longer than the execution cycle of the determination process of the posture determination means. A moving direction feature amount calculating means for calculating a moving direction feature amount;
The determination algorithm executed by the avoidance target determination unit includes, together with the first determination process, a second determination process related to the movement direction feature amount of the target object calculated by the movement direction feature amount calculation unit. The process is a process for determining whether or not the posture of the pedestrian satisfies a predetermined first requirement, and the second determination process includes whether the moving direction feature amount of the object satisfies a predetermined second requirement. Is a process for determining whether or not
The avoidance target determination means includes a case where the determination result of the second determination process regarding the moving direction feature quantity of the object satisfies the second requirement, and the determination result of the second determination process does not satisfy the second requirement, And when the determination result of the 1st determination process regarding the said pedestrian's attitude | position satisfy | fills the said 1st requirement, it determines with the said target object being an avoidance object, The Claims 1-3 characterized by the above-mentioned. The vehicle periphery monitoring device according to any one of the above.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006101838A JP4173896B2 (en) | 2006-04-03 | 2006-04-03 | Vehicle periphery monitoring device |
US11/717,565 US7671725B2 (en) | 2006-03-24 | 2007-03-13 | Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program |
DE102007014012A DE102007014012B4 (en) | 2006-03-24 | 2007-03-23 | Vehicle environment monitor, vehicle environment monitoring method, and vehicle environment monitoring program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006101838A JP4173896B2 (en) | 2006-04-03 | 2006-04-03 | Vehicle periphery monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007279808A true JP2007279808A (en) | 2007-10-25 |
JP4173896B2 JP4173896B2 (en) | 2008-10-29 |
Family
ID=38681223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006101838A Active JP4173896B2 (en) | 2006-03-24 | 2006-04-03 | Vehicle periphery monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4173896B2 (en) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010160770A (en) * | 2009-01-12 | 2010-07-22 | Denso Corp | Pedestrian detection device |
US8284253B2 (en) | 2008-04-24 | 2012-10-09 | Honda Motor Co., Ltd. | Vehicle periphery monitoring apparatus |
WO2012172629A1 (en) * | 2011-06-13 | 2012-12-20 | トヨタ自動車株式会社 | Pedestrian motion prediction device |
JP2013511755A (en) * | 2009-11-24 | 2013-04-04 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | Method and driving support system for warning an object around a vehicle |
JP2014071686A (en) * | 2012-09-28 | 2014-04-21 | Yazaki Energy System Corp | Analyzer and system for calculating scheduled operation time |
JP2015045654A (en) * | 2014-09-30 | 2015-03-12 | 洋彰 宮崎 | Shape recognition machine |
JP2016126598A (en) * | 2015-01-06 | 2016-07-11 | マツダ株式会社 | Pedestrian detection device for vehicle |
US9508000B2 (en) | 2014-06-30 | 2016-11-29 | Honda Motor Co., Ltd. | Object recognition apparatus |
WO2017056385A1 (en) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | Information processing device, information processing method, and program |
WO2017056382A1 (en) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | Information processing device, information processing method, and program |
US9824449B2 (en) | 2014-06-30 | 2017-11-21 | Honda Motor Co., Ltd. | Object recognition and pedestrian alert apparatus for a vehicle |
US10493985B2 (en) | 2014-12-19 | 2019-12-03 | Hitachi, Ltd. | Travel control device |
US10572753B2 (en) | 2015-11-25 | 2020-02-25 | Hitachi, Ltd. | Outside recognition device for vehicle |
WO2021111858A1 (en) * | 2019-12-06 | 2021-06-10 | パナソニック株式会社 | Moving body detection method, roadside device, and vehicle-mounted device |
WO2022024212A1 (en) * | 2020-07-28 | 2022-02-03 | 日本電気株式会社 | Image processing device, image processing method, and program |
WO2022246767A1 (en) * | 2021-05-27 | 2022-12-01 | 华为技术有限公司 | Method and device for determining steering intention of target vehicle |
-
2006
- 2006-04-03 JP JP2006101838A patent/JP4173896B2/en active Active
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8284253B2 (en) | 2008-04-24 | 2012-10-09 | Honda Motor Co., Ltd. | Vehicle periphery monitoring apparatus |
JP2010160770A (en) * | 2009-01-12 | 2010-07-22 | Denso Corp | Pedestrian detection device |
JP2013511755A (en) * | 2009-11-24 | 2013-04-04 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング | Method and driving support system for warning an object around a vehicle |
WO2012172629A1 (en) * | 2011-06-13 | 2012-12-20 | トヨタ自動車株式会社 | Pedestrian motion prediction device |
JP2014071686A (en) * | 2012-09-28 | 2014-04-21 | Yazaki Energy System Corp | Analyzer and system for calculating scheduled operation time |
US9508000B2 (en) | 2014-06-30 | 2016-11-29 | Honda Motor Co., Ltd. | Object recognition apparatus |
US9824449B2 (en) | 2014-06-30 | 2017-11-21 | Honda Motor Co., Ltd. | Object recognition and pedestrian alert apparatus for a vehicle |
JP2015045654A (en) * | 2014-09-30 | 2015-03-12 | 洋彰 宮崎 | Shape recognition machine |
US10493985B2 (en) | 2014-12-19 | 2019-12-03 | Hitachi, Ltd. | Travel control device |
JP2016126598A (en) * | 2015-01-06 | 2016-07-11 | マツダ株式会社 | Pedestrian detection device for vehicle |
US11915522B2 (en) | 2015-09-29 | 2024-02-27 | Sony Corporation | Information processing apparatus and information processing method |
WO2017056382A1 (en) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | Information processing device, information processing method, and program |
CN108028021A (en) * | 2015-09-29 | 2018-05-11 | 索尼公司 | Information processing equipment, information processing method and program |
JPWO2017056382A1 (en) * | 2015-09-29 | 2018-08-09 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
WO2017056385A1 (en) * | 2015-09-29 | 2017-04-06 | ソニー株式会社 | Information processing device, information processing method, and program |
US10692379B2 (en) | 2015-09-29 | 2020-06-23 | Sony Corporation | Image processing device and image processing method |
US10949656B2 (en) | 2015-09-29 | 2021-03-16 | Sony Corporation | Information processing apparatus and information processing method |
US10572753B2 (en) | 2015-11-25 | 2020-02-25 | Hitachi, Ltd. | Outside recognition device for vehicle |
WO2021111858A1 (en) * | 2019-12-06 | 2021-06-10 | パナソニック株式会社 | Moving body detection method, roadside device, and vehicle-mounted device |
WO2022024212A1 (en) * | 2020-07-28 | 2022-02-03 | 日本電気株式会社 | Image processing device, image processing method, and program |
JPWO2022024212A1 (en) * | 2020-07-28 | 2022-02-03 | ||
JP7420261B2 (en) | 2020-07-28 | 2024-01-23 | 日本電気株式会社 | Image processing device, image processing method, and program |
WO2022246767A1 (en) * | 2021-05-27 | 2022-12-01 | 华为技术有限公司 | Method and device for determining steering intention of target vehicle |
Also Published As
Publication number | Publication date |
---|---|
JP4173896B2 (en) | 2008-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4173896B2 (en) | Vehicle periphery monitoring device | |
US7671725B2 (en) | Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program | |
JP4470067B2 (en) | Object type determination device, vehicle | |
US9235990B2 (en) | Vehicle periphery monitoring device | |
EP2759999B1 (en) | Apparatus for monitoring surroundings of vehicle | |
JP4410292B1 (en) | Vehicle periphery monitoring device | |
JP5503728B2 (en) | Vehicle periphery monitoring device | |
JP4173901B2 (en) | Vehicle periphery monitoring device | |
JP4203512B2 (en) | Vehicle periphery monitoring device | |
JP4267657B2 (en) | Vehicle periphery monitoring device | |
JP4171501B2 (en) | Vehicle periphery monitoring device | |
JP4173902B2 (en) | Vehicle periphery monitoring device | |
WO2011108198A1 (en) | Surrounding area monitoring device for vehicle | |
AU2015262344A1 (en) | Processing apparatus, processing system, processing program, and processing method | |
JP2007249841A (en) | Image recognition device | |
JP2003216937A (en) | Night vision system | |
JP2007241898A (en) | Stopping vehicle classifying and detecting device and vehicle peripheral monitoring device | |
JP2007304033A (en) | Monitoring device for vehicle periphery, vehicle, vehicle peripheral monitoring method, and program for vehicle peripheral monitoring | |
JP2007334511A (en) | Object detection device, vehicle, object detection method and program for object detection | |
JP2002314989A (en) | Peripheral monitor for vehicle | |
JP4887537B2 (en) | Vehicle periphery monitoring device | |
JP5192007B2 (en) | Vehicle periphery monitoring device | |
JP4701961B2 (en) | Pedestrian detection device | |
JP4823753B2 (en) | Vehicle periphery monitoring device | |
JP3635591B2 (en) | Vehicle periphery monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080814 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4173896 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140822 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |