JP2009008447A - Obstacle recognition device of vehicle - Google Patents

Obstacle recognition device of vehicle Download PDF

Info

Publication number
JP2009008447A
JP2009008447A JP2007168065A JP2007168065A JP2009008447A JP 2009008447 A JP2009008447 A JP 2009008447A JP 2007168065 A JP2007168065 A JP 2007168065A JP 2007168065 A JP2007168065 A JP 2007168065A JP 2009008447 A JP2009008447 A JP 2009008447A
Authority
JP
Japan
Prior art keywords
target
shadow
vehicle
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007168065A
Other languages
Japanese (ja)
Inventor
Hiroshi Omura
博志 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2007168065A priority Critical patent/JP2009008447A/en
Publication of JP2009008447A publication Critical patent/JP2009008447A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an obstacle recognition device of vehicle capable of detecting the distance to a target by a single camera like a stereo camera. <P>SOLUTION: The device includes a left light source 1 and a right light source 2 for irradiating light alternately toward the vehicle front; a single camera 3 provided on the center in the vehicle width direction, for imaging the vehicle front; a shadow extraction part 4 for extracting the first shadow 21 and the second shadow 22 of the target 20 irradiated by the right and left light sources 1, 2, respectively, from an image of the vehicle front imaged by the camera 3; and a distance measuring part 5 for determining the distance from the vehicle 100 to the target 20 based on an angle β formed between an elongating direction of the first shadow 21 and an elongating direction of the second shadow 22. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、車両の障害物認識装置に係り、より詳細には、単一の撮像手段によって物標までの距離を求める車両の障害物認識装置に関する。   The present invention relates to an obstacle recognition apparatus for a vehicle, and more particularly to an obstacle recognition apparatus for a vehicle that obtains a distance to a target with a single imaging unit.

近年、車両の安全走行のため、自車両の前方の障害物を認識する種々の障害物認識装置が提案されている。これらの障害物認識装置では、通常、ステレオカメラを用いて、障害物までの距離を検出している（特許文献１）。   In recent years, various obstacle recognition devices for recognizing an obstacle ahead of the host vehicle have been proposed for safe driving of the vehicle. In these obstacle recognition devices, a distance to the obstacle is usually detected using a stereo camera (Patent Document 1).

特開平７−３１８６５０号公報JP 7-318650 A

ところで、一般に、カメラ自体が高価な部品であるため、２台以上のカメラを必要とするステレオカメラによる障害物認識装置は、コストが高くなってしまうという問題がある。このため、ステレオカメラを用いずに、障害物までの距離を検出することができる障害物認識装置の実現が望まれる。   By the way, in general, since the camera itself is an expensive part, an obstacle recognition apparatus using a stereo camera that requires two or more cameras is expensive. For this reason, it is desired to realize an obstacle recognition apparatus that can detect the distance to an obstacle without using a stereo camera.

そこで、本発明は、単一の撮像手段で物標までの距離を求めることができる車両の障害物認識装置を提供することを目的としている。   Accordingly, an object of the present invention is to provide a vehicle obstacle recognition device that can determine the distance to a target with a single imaging means.

上記の目的を達成するため、本発明の車両の障害物認識装置は、車両前方に向かって光を照射する照射手段と、車幅方向に照射手段と離間して設けられ、車両前方を撮像する単一の撮像手段と、撮像手段によって撮像された車両前方の画像から、上記照射手段によって照らされた物標の影を抽出する影抽出手段と、影抽出手段によって抽出された影の延びる方向に基づいて、車両から当該物標までの距離を求める距離測定手段と、を備えることを特徴としている。   In order to achieve the above object, an obstacle recognition apparatus for a vehicle according to the present invention is provided with an irradiation means for irradiating light toward the front of the vehicle and an irradiation means spaced apart from the irradiation means in the vehicle width direction, and images the front of the vehicle. A single imaging means, a shadow extraction means for extracting the shadow of the target illuminated by the irradiation means from an image in front of the vehicle imaged by the imaging means, and a direction in which the shadow extracted by the shadow extraction means extends And a distance measuring means for obtaining a distance from the vehicle to the target.

このように、本発明によれば、物標に光を照射し、その照射光による物標の影の延びる方向に基づいて物標までの距離が求められる。これにより、本発明によれば、単一の撮像手段であっても、物標までの距離を求めることができる。   Thus, according to the present invention, the target is irradiated with light, and the distance to the target is determined based on the direction in which the shadow of the target extends due to the irradiated light. Thereby, according to this invention, even if it is a single imaging means, the distance to a target can be calculated | required.

また、本発明において好ましくは、照射手段は、車幅方向に互いに離間して配置された第１及び第２照射手段から構成され、該第１及び第２照射手段は、車両前方に向かって光を交互に照射し、撮像手段は、第１照射手段の照射時の第１画像と、第２照射手段の照射時の第２画像とをそれぞれ撮像し、影抽出手段は、第１画像中の物標の第１の影と、第２画像中の該物標の第２の影とを抽出し、距離測定手段は、第１の影の延びる方向と第２の影の延びる方向との成す角度に基づいて、当該物標までの距離を求める。   In the present invention, it is preferable that the irradiating means includes first and second irradiating means that are spaced apart from each other in the vehicle width direction, and the first and second irradiating means emit light toward the front of the vehicle. Are alternately irradiated, and the image pickup means picks up the first image at the time of irradiation of the first irradiation means and the second image at the time of irradiation of the second irradiation means, and the shadow extraction means The first shadow of the target and the second shadow of the target in the second image are extracted, and the distance measuring means includes a direction in which the first shadow extends and a direction in which the second shadow extends. The distance to the target is obtained based on the angle.

第１照射手段によって照らされたときの物標の第１の影と、第２照射手段によって照らされたときの当該物標の第２影との成す角度は、自車両から物標までの距離が短い程、大きくなる傾向がある。これにより、撮像手段によって撮像された画像中の第１及び第２の影の成す角度から、自車両から物標までの距離が求められる。   The angle formed between the first shadow of the target when illuminated by the first irradiation means and the second shadow of the target when illuminated by the second irradiation means is the distance from the host vehicle to the target. The shorter the value, the larger the tendency. Thereby, the distance from the own vehicle to the target is obtained from the angle formed by the first and second shadows in the image picked up by the image pickup means.

また、本発明において好ましくは、影抽出手段は、物標の第１及び第２の影を抽出するにあたり、第１画像と第２画像との差分を抽出する。
これにより、物標の第１及び第２の影が容易に抽出される。 In the present invention, it is preferable that the shadow extraction unit extracts a difference between the first image and the second image when extracting the first and second shadows of the target.
Thereby, the first and second shadows of the target are easily extracted.

また、本発明において好ましくは、照射手段は、車幅方向の一カ所に配置され、距離測定手段は、撮像手段によって撮像された物標の画像中の水平方向の位置から、当該物標の車幅方向の位置を求め、照射手段によって照らされた物標の影の延びる方向と当該物標の車幅方向位置とに基づいて、当該物標までの距離を求める。
これにより、車幅方向の位置と、物標の影の延びる方向とに基づいて、三角測量と同様にして、自車両から当該物標までの距離が求められる。 In the present invention, preferably, the irradiation unit is arranged at one place in the vehicle width direction, and the distance measurement unit is configured to move the target vehicle from the horizontal position in the target image captured by the imaging unit. The position in the width direction is obtained, and the distance to the target is obtained based on the direction in which the shadow of the target illuminated by the irradiation means extends and the position in the vehicle width direction of the target.
Thus, the distance from the host vehicle to the target is obtained in the same manner as triangulation based on the position in the vehicle width direction and the direction in which the shadow of the target extends.

また、本発明において好ましくは、照射手段は特定波長の光を照射し、撮像手段は、当該特定波長の光の画像を撮像する。
これにより、物標の影の抽出にあたり、車両の外部状況の影響を低減することができる。 In the present invention, it is preferable that the irradiating unit emits light having a specific wavelength, and the imaging unit captures an image of light having the specific wavelength.
Thereby, in extracting the shadow of the target, the influence of the external situation of the vehicle can be reduced.

また、本発明において好ましくは、照射手段は、ＬＥＤで構成される。
このように照射手段をＬＥＤで構成すれば、照射する光の波長を容易に特定することができる。また、ＬＥＤは、点灯及び消灯の応答性が良いため、特に二つの照射手段を交互に点灯させるのに用いて好適である。 In the present invention, it is preferable that the irradiating means is an LED.
If the irradiating means is composed of LEDs in this way, the wavelength of light to be irradiated can be easily specified. In addition, since the LED is responsive to turning on and off, it is particularly suitable for turning on the two irradiation means alternately.

また、本発明において好ましくは、照射手段は、特定波長の可視光を照射し、撮像手段は、当該特定波長の可視光の画像を撮像する。
これにより、車両の外部状況の影響を低減することができる。 In the present invention, it is preferable that the irradiating unit emits visible light having a specific wavelength, and the imaging unit captures an image of visible light having the specific wavelength.
Thereby, the influence of the external condition of a vehicle can be reduced.

また、本発明において好ましくは、照射手段は、近赤外光を照射し、撮像手段は、近赤外光の画像を撮像する。
これにより、車両の外部状況の影響を低減することができる。 In the present invention, it is preferable that the irradiating unit irradiates near infrared light, and the imaging unit captures an image of the near infrared light.
Thereby, the influence of the external condition of a vehicle can be reduced.

また、本発明において好ましくは、影抽出手段は、物標の影の長さを抽出し、当該物標の影の長さと、当該物標までの距離とに基づいて、当該物標の高さ求める高さ測定手段を更に備える。
これにより、物標の高さが求まり、かかる物標の高さを当該物標の画像認識に利用することができる。 Preferably, in the present invention, the shadow extracting means extracts the shadow length of the target, and based on the shadow length of the target and the distance to the target, the height of the target A required height measuring means is further provided.
Thereby, the height of the target is obtained, and the height of the target can be used for image recognition of the target.

このように、本発明の車両の障害物認識装置によれば、単一の撮像手段で物標までの距離を求めることができる。   Thus, according to the vehicle obstacle recognition apparatus of the present invention, the distance to the target can be obtained with a single imaging means.

以下、添付の図面を参照して、本発明の車両の障害物認識装置の実施形態を説明する。
まず、図１のブロック図を参照して、第１実施形態の車両の障害物認識装置の構成について説明する。図１に示すように、第１実施形態の車両の障害物認識装置１は、車両前方に向かって光を照射する第１及び第２照明手段としての左光源１及び右光源２と、車両前方を撮像する単一の撮像手段としてのカメラ３と、コンピュータ１０とから構成されている。 Hereinafter, an embodiment of an obstacle recognition device for a vehicle according to the present invention will be described with reference to the accompanying drawings.
First, the configuration of the vehicle obstacle recognition apparatus according to the first embodiment will be described with reference to the block diagram of FIG. As shown in FIG. 1, an obstacle recognition apparatus 1 for a vehicle according to a first embodiment includes a left light source 1 and a right light source 2 as first and second illumination means that irradiate light toward the front of the vehicle, and a front of the vehicle. And a computer 10 as a single image pickup means for picking up images.

左光源１及び右光源２は、図２に示す例では、車幅方向の両端に離間して設けられている。左光源１及び右光源２は、車両前端の左右のランプボックスに、それぞれヘッドライトとともに組み込んでもよいし、ランプボックスとは別個に配置してもよい。   In the example illustrated in FIG. 2, the left light source 1 and the right light source 2 are provided separately at both ends in the vehicle width direction. The left light source 1 and the right light source 2 may be incorporated together with the headlights in the left and right lamp boxes at the front end of the vehicle, or may be arranged separately from the lamp box.

また、左右の光源１及び２は、特定の波長の光を照射するＬＥＤで構成されている。特定の波長は、可視光でもよいし、近赤外光でもよい。そして、左光源１及び右光源２は、車両前方に向かって光を交互に照射する。交互照射の周期は、例えば、数ミリ秒から数百ミリ秒程度が望ましい。   Further, the left and right light sources 1 and 2 are configured by LEDs that emit light of a specific wavelength. The specific wavelength may be visible light or near infrared light. The left light source 1 and the right light source 2 alternately irradiate light toward the front of the vehicle. The cycle of alternating irradiation is preferably about several milliseconds to several hundred milliseconds, for example.

カメラ３は、図２に示す例では、フロントガラスの内側の上部であって車幅方向の中央の位置に、左右の光源１及び２と離間して設けられている。カメラ３は、ＣＣＤカメラ等の任意好適な撮像装置を採用することができる。そして、カメラ３は、左右の光源１及び２の照射する特定波長、例えば、ＬＥＤの発光波長の光の画像を撮像するのがよい。その場合、例えば、可視光又は近赤外の波長の光のみを選択的に投下する波長フィルタを介して撮像するとよい。   In the example shown in FIG. 2, the camera 3 is provided in the upper part inside the windshield and at the center in the vehicle width direction, separated from the left and right light sources 1 and 2. The camera 3 can employ any suitable imaging device such as a CCD camera. And the camera 3 is good to image the image of the specific wavelength which left and right light sources 1 and 2 irradiate, for example, the light emission wavelength of LED. In that case, for example, imaging may be performed through a wavelength filter that selectively drops only light having a wavelength of visible light or near infrared.

ここで、図２を参照して、本実施形態における物標（障害物）までの距離の測定原理について説明する。
図２は、車両１００を上方から見た様子を示している。車両１００の前方には、物標２０が存在している。この物標２０を左光源１で照らしたときに、路面上に第１の影２１が生じる。一方、この物標２０を右光源２で照らしたときには、路面上に第２の影２２が生じる。そして、これら第１の影２１と第２の影２２との成す角度は、車両１００から物標２０までの距離に依存する。 Here, with reference to FIG. 2, the measurement principle of the distance to the target (obstacle) in this embodiment is demonstrated.
FIG. 2 shows the vehicle 100 as viewed from above. A target 20 is present in front of the vehicle 100. When the target 20 is illuminated with the left light source 1, a first shadow 21 is generated on the road surface. On the other hand, when the target 20 is illuminated with the right light source 2, a second shadow 22 is generated on the road surface. The angle formed by the first shadow 21 and the second shadow 22 depends on the distance from the vehicle 100 to the target 20.

図３のグラフに、第１の影２１と第２の影２２との成す角度βと、車両１００（例えば、第１光源１の位置と第２光源２の位置とを結ぶ線）から物標２０までの距離との関係を示す。図３のグラフ中の曲線Ｉに示すように、角度βが大きくなるほど、物標までの距離が短くなる。例えば、角度β＝９０°のとき、物標までの距離は、左光源１と右光源２の間隔の半分となる。図３のグラフでは、左光源１と右光源２の間隔を１ｍとしているので、角度β＝９０°のとき物標までの距離は、５０ｃｍとなる。   In the graph of FIG. 3, the target is determined from the angle β formed by the first shadow 21 and the second shadow 22 and the vehicle 100 (for example, a line connecting the position of the first light source 1 and the position of the second light source 2). The relationship with the distance to 20 is shown. As shown by the curve I in the graph of FIG. 3, the distance to the target decreases as the angle β increases. For example, when the angle β = 90 °, the distance to the target is half of the interval between the left light source 1 and the right light source 2. In the graph of FIG. 3, since the distance between the left light source 1 and the right light source 2 is 1 m, the distance to the target is 50 cm when the angle β = 90 °.

物標の影の角度に基づいて物標までの距離を求める処理は、コンピュータ１０によって行われる。コンピュータ１０は、例えば、車両に搭載されたＥＣＵ（electric control unit：電子制御装置）である。そして、図１に示すように、コンピュータ１０は、カメラ３によって撮像された車両前方の画像から、左右の光源１及び２によって照らされた物標の影を抽出し、更に物標の影の長さを抽出する影抽出部４と、影抽出手段によって抽出された影の延びる方向に基づいて、車両から当該物標までの距離を求める距離測定部５と、当該物標の影の長さと当該物標までの距離とに基づいて当該物標の高さを求める高さ測定部６を有する。これらの各部４〜６は、コンピュータ１０において、所定のプログラムを実行することにより、或いは、ＩＣチップ等により実現される処理機能を表すものである。   Processing for obtaining the distance to the target based on the shadow angle of the target is performed by the computer 10. The computer 10 is, for example, an ECU (electric control unit) mounted on a vehicle. As shown in FIG. 1, the computer 10 extracts the shadow of the target illuminated by the left and right light sources 1 and 2 from the image ahead of the vehicle imaged by the camera 3, and further the length of the target shadow. A distance extracting unit 4 for extracting the distance, a distance measuring unit 5 for determining a distance from the vehicle to the target based on a direction in which the shadow extracted by the shadow extracting unit extends, and the length of the shadow of the target and the target A height measuring unit 6 for obtaining the height of the target based on the distance to the target is provided. Each of these units 4 to 6 represents a processing function realized by executing a predetermined program in the computer 10 or by an IC chip or the like.

以下、第１実施形態の車両の障害物認識装置の動作例について説明する。
まず、図４のフローチャート参照して、第１実施形態における撮像処理を説明する。
第１実施形態では、左右の光源１及び２を交互に所定の間隔で点灯させ、カメラ３は、各光源１及び２がそれぞれ点灯しているタイミングで撮像する。 Hereinafter, an operation example of the vehicle obstacle recognition apparatus according to the first embodiment will be described.
First, imaging processing in the first embodiment will be described with reference to the flowchart of FIG.
In the first embodiment, the left and right light sources 1 and 2 are alternately lit at predetermined intervals, and the camera 3 captures images at the timing when the light sources 1 and 2 are respectively lit.

具体的には、まず、左光源１を点灯し、車両前方に光を照射する（ステップＳ４１）。次いで、所定時間経過後（ステップＳ４２で「Ｙｅｓ」の場合）、カメラ３が車両前方を撮像した第１画像を保存する（ステップＳ４３）。所定時間は、例えば、数ミリ秒乃至数百ミリ秒程度がよい。次いで、左光源１を消灯する（ステップＳ４４）。   Specifically, first, the left light source 1 is turned on to irradiate light ahead of the vehicle (step S41). Next, after a predetermined time has elapsed (in the case of “Yes” in step S42), the camera 3 stores the first image obtained by imaging the front of the vehicle (step S43). For example, the predetermined time is preferably about several milliseconds to several hundred milliseconds. Next, the left light source 1 is turned off (step S44).

図５（Ａ）に、左光源１を照射時の第１画像３１を示す。第１画像３１では、車両前方やや左側に、物標２０が撮像されている。物標２０の右後には、左光源１の照明による物標２０の第１の影２１が延びている。   FIG. 5A shows a first image 31 when the left light source 1 is irradiated. In the first image 31, the target 20 is imaged in front of the vehicle and slightly to the left. A first shadow 21 of the target 20 that is illuminated by the left light source 1 extends to the right of the target 20.

次いで、右光源２を点灯し、車両前方に光を照射する（ステップＳ４５）。
次いで、所定時間経過後（ステップＳ４６で「Ｙｅｓ」の場合）、カメラ３が車両前方を撮像した第２画像を保存する（ステップＳ４７）。次いで、左光源１を消灯する（ステップＳ４８）。 Next, the right light source 2 is turned on, and light is irradiated in front of the vehicle (step S45).
Next, after a predetermined time has elapsed (in the case of “Yes” in step S46), the camera 3 stores a second image obtained by imaging the front of the vehicle (step S47). Next, the left light source 1 is turned off (step S48).

図５（Ｂ）に、右光源２を照射時の第２画像３２を示す。第２画像３２においても、第１画像３１と同様に、車両前方やや左側に物標２０が撮像されている。しかし、第２画像３２では、物標２０の左後ろに、右光源２の照明による物標２０の第２の影２２が延びている。   FIG. 5B shows a second image 32 when the right light source 2 is irradiated. In the second image 32 as well, as in the first image 31, the target 20 is imaged in front of the vehicle and slightly to the left. However, in the second image 32, the second shadow 22 of the target 20 due to the illumination of the right light source 2 extends behind the left of the target 20.

次いで、図６のフローチャートを参照して、第１実施形態における距離演算処理を説明する。第１実施形態では、影抽出部４が、第１画像３１中の物標２０の第１の影２１と、第２画像３２中の該物標２０の第２の影２２とを抽出し、続いて、距離測定部５が、第１の影２１の延びる方向と第２の影２２の延びる方向とが成す角度に基づいて、当該物標２０までの距離を求める。   Next, distance calculation processing in the first embodiment will be described with reference to the flowchart of FIG. In the first embodiment, the shadow extraction unit 4 extracts the first shadow 21 of the target 20 in the first image 31 and the second shadow 22 of the target 20 in the second image 32, Subsequently, the distance measuring unit 5 obtains the distance to the target 20 based on the angle formed by the extending direction of the first shadow 21 and the extending direction of the second shadow 22.

具体的には、まず、カメラ３で撮像した第１画像３１と、第２画像３２との差分データを抽出する（ステップＳ６１）。第１画像３１及び第２画像３２においては、物標２０の第１の影２１及び第２の影２２以外は同じである。このため、差分データは、物標２０の第１の影２１及び第２の影２２のみとなる。図７に差分データの画像を示す。図７に示すように、差分データには、第１及び第２画像３１及び３２中の物標２０の像も建造物の像も含まれていない。   Specifically, first, difference data between the first image 31 captured by the camera 3 and the second image 32 is extracted (step S61). The first image 31 and the second image 32 are the same except for the first shadow 21 and the second shadow 22 of the target 20. Therefore, the difference data is only the first shadow 21 and the second shadow 22 of the target 20. FIG. 7 shows an image of difference data. As shown in FIG. 7, the difference data does not include the image of the target 20 or the image of the building in the first and second images 31 and 32.

次いで、第１の影２１の延びる方向と、第２の影２２の延びる方向とが成す角度を抽出する（ステップＳ６２）。
影抽出部４は、物標２０の第１の影２１、及び第２の影２２を抽出するにあたり、左光源１が照射したときの第１画像３１と、右光源２が照射したときの第２画像３２との差分を抽出する。 Next, an angle formed by the extending direction of the first shadow 21 and the extending direction of the second shadow 22 is extracted (step S62).
When extracting the first shadow 21 and the second shadow 22 of the target 20, the shadow extracting unit 4 extracts the first image 31 when the left light source 1 is irradiated and the first image 31 when the right light source 2 is irradiated. The difference from the two images 32 is extracted.

図７に、第１画像３１と第２画像３２との差分データの一例を示す。図７に示すように、第１画像３１中の第１の影２１と、第２画像３２中の第２の影２２影のみが、差分データとして抽出される。第１画像３１及び第２画像に共通に撮像されている、路面や建造物は、差分データから除去されている。   FIG. 7 shows an example of difference data between the first image 31 and the second image 32. As illustrated in FIG. 7, only the first shadow 21 in the first image 31 and the second shadow 22 in the second image 32 are extracted as difference data. The road surface and the building imaged in common with the first image 31 and the second image are removed from the difference data.

次いで、第１の影２１の延びる方向と第２の影２２の延びる方向とが成す角度αに基づいて、当該物標までの距離を求める（ステップＳ６３）。
角度αの抽出にあたり、差分データの画像のノイズ除去処理、及び影の輪郭線の一次近似処理といった前処理を行うことが望ましい。そして、本実施形態では、図７に示すように、差分データの第１の影２１及び第２の影２２の外側の輪郭線をそれぞれ延長した波線Ｉ及びIIの成す角度αを求める。 Next, the distance to the target is determined based on the angle α formed by the extending direction of the first shadow 21 and the extending direction of the second shadow 22 (step S63).
In extracting the angle α, it is desirable to perform preprocessing such as noise removal processing of the difference data image and primary approximation processing of the contour line of the shadow. In this embodiment, as shown in FIG. 7, the angle α formed by the wavy lines I and II obtained by extending the outer contours of the first shadow 21 and the second shadow 22 of the difference data, respectively, is obtained.

そして、角度αに基づいて、物標２０までの距離を、例えば、図２に示したグラフのデータの参照テーブルやマップに基づいて求めるとよい。また、左右の光源１及び２の間の距離と、角度αとから算出してもよい。   Then, based on the angle α, the distance to the target 20 may be obtained based on, for example, a reference table or map of the graph data shown in FIG. Alternatively, it may be calculated from the distance between the left and right light sources 1 and 2 and the angle α.

このようにして、単一のカメラで、ステレオカメラのように、物標までの距離を検出することができる。   In this way, the distance to the target can be detected with a single camera like a stereo camera.

さらに、本実施形態では、物標の影の長さから、物標の高さも求めることができる。物標の高さが、左右の光源１及び２の配置された高さよりも低い場合、例えば、光源の位置の高さ、物標までの距離及び物標の影の長さを利用して、物標２０の高さを求めることができる。物標の高さが分かれば、これを物標の認識に利用することができる。   Furthermore, in this embodiment, the height of the target can also be obtained from the length of the shadow of the target. When the height of the target is lower than the height at which the left and right light sources 1 and 2 are arranged, for example, using the height of the position of the light source, the distance to the target, and the shadow length of the target, The height of the target 20 can be obtained. If the height of the target is known, it can be used for target recognition.

次に、本発明の車両の障害物認識装置の第２実施形態を説明する。
第２実施形態の車両の障害物認識装置の構成は、図１に示した第１実施形態における構成のうち、右光源２を除いた構成と同じである。したがって、第２実施形態の車両の障害物認識装置は、一つの光源１と、一つのカメラ３を備える。
なお、第２実施形態では、左光源１のみを設けた例について説明するが、照射手段の位置は、右側でもよい。 Next, a second embodiment of the vehicle obstacle recognition device of the present invention will be described.
The configuration of the vehicle obstacle recognition device of the second embodiment is the same as the configuration of the first embodiment shown in FIG. 1 except for the right light source 2. Therefore, the vehicle obstacle recognition apparatus according to the second embodiment includes one light source 1 and one camera 3.
In the second embodiment, an example in which only the left light source 1 is provided will be described. However, the position of the irradiation unit may be on the right side.

第２実施形態では、このように、照射手段１が車幅方向の一カ所に配置され、距離測定部５は、カメラ３によって撮像された物標の画像中の水平方向の位置から、当該物標の車幅方向の位置を求め、上記照射手段によって照らされた物標の影の延びる方向と当該物標の車幅方向位置とに基づいて、当該物標までの距離を求める。   In the second embodiment, as described above, the irradiation unit 1 is arranged at one place in the vehicle width direction, and the distance measuring unit 5 determines the object from the horizontal position in the image of the target imaged by the camera 3. The position in the vehicle width direction of the target is obtained, and the distance to the target is obtained based on the direction in which the shadow of the target illuminated by the irradiation means extends and the position in the vehicle width direction of the target.

ここで、図８を参照して、本実施形態における物標までの距離の測定例について説明する。図８は、車両１００を上方から見た様子を示している。車両１００の前方の真正面には、物標２０が存在している。この物標２０を左光源１で照らしたときの影２１が生じている。   Here, with reference to FIG. 8, the measurement example of the distance to the target in this embodiment is demonstrated. FIG. 8 shows the vehicle 100 as viewed from above. A target 20 is present directly in front of the vehicle 100. A shadow 21 is generated when the target 20 is illuminated with the left light source 1.

図８には、便宜的に、左光源１を通り、且つ、車幅方向に延びる直線Ｉと、カメラ３から、車両前方の真正面に延び、且つ物標２０を通る破線IIと、左光源１及び物標２０を通る破線IIIが描かれている。これらの直線Ｉ、破線II及び破線IIIによって形成される直角三角形ＯＬＨから、物標２０までの距離が求められる。すなわち、直角三角形ＯＬＨの辺ＬＨの長さは、光源１とカメラ３との車幅方向の離間距離Ｗである。また、直角三角ＯＬＨの頂角は、破線IIと破線IIIの成す角度θである。この角度θは、物標２０の影２１の延びる方向から求められる。したがって、直角三角形ＯＬＨの辺ＯＨの長さはが、下記の式（１）により求められる。
ｔａｎθ＝Ｗ／ｄ ・・・（１） In FIG. 8, for convenience, a straight line I passing through the left light source 1 and extending in the vehicle width direction, a broken line II extending from the camera 3 directly in front of the vehicle and passing through the target 20, and the left light source 1 And a broken line III passing through the target 20 is drawn. A distance from the right triangle OLH formed by the straight line I, the broken line II, and the broken line III to the target 20 is obtained. That is, the length of the side LH of the right triangle OLH is the separation distance W in the vehicle width direction between the light source 1 and the camera 3. The apex angle of the right triangle OLH is an angle θ formed by the broken line II and the broken line III. This angle θ is obtained from the direction in which the shadow 21 of the target 20 extends. Therefore, the length of the side OH of the right triangle OLH is obtained by the following equation (1).
tan θ = W / d (1)

ところで、物標２０は、常に、カメラ３の真正面に存在するとは限らない。そこで、図９（Ａ）及び図９（Ｂ）を参照して、物標２０がカメラ３の真正面から車幅方向にずれた位置に存在する場合の物標２０までの距離の求め方について説明する。   By the way, the target 20 does not always exist directly in front of the camera 3. 9A and 9B, how to obtain the distance to the target 20 when the target 20 exists at a position shifted in the vehicle width direction from the front of the camera 3 will be described. To do.

図９（Ａ）は、カメラ３により撮像した画像の一例である。この画像では、車両正面の右寄りに物標２０が存在している。そして、左光源１による物標２０の影２１が、物標２０の右後ろに延びている。物標２０の車幅方向の位置は、以下に説明するように、カメラ３によって撮像された物標２０の画像中の水平方向の位置から求められる。   FIG. 9A is an example of an image captured by the camera 3. In this image, the target 20 exists on the right side of the front of the vehicle. A shadow 21 of the target 20 by the left light source 1 extends to the right rear of the target 20. The position of the target 20 in the vehicle width direction is obtained from the position in the horizontal direction in the image of the target 20 captured by the camera 3 as described below.

図９（Ａ）に、便宜的に、物標２０を通り、画像の水平方向に延びる破線Ｉと、車両の前後方向に延び、且つ左光源１の真正面に位置を示す破線IIと、物標２０を通り、且つ車両の前後方向に延びる破線IVとを示す。また、画像中の直線IIIは、カメラ３の真正面の位置を示す。さらに、画像中の、破線Ｉと破線IIとの交点を点ｐ、破線Ｉと直線IIIとの交点を点ｑ、破線Ｉと破線IVとの交点を点ｒとする。   9A, for convenience, a broken line I extending in the horizontal direction of the image through the target 20, a broken line II extending in the front-rear direction of the vehicle and indicating the position in front of the left light source 1, and the target A broken line IV passing through 20 and extending in the front-rear direction of the vehicle is shown. A straight line III in the image indicates the position in front of the camera 3. Further, an intersection of the broken line I and the broken line II in the image is a point p, an intersection of the broken line I and the straight line III is a point q, and an intersection of the broken line I and the broken line IV is a point r.

画像中の点ｐｑ間の水平画素数をａとし、点ｑｒ間の水平画素数をｂとし、左光源１とカメラ３の車幅方向の離間距離をＷとすると、物標２０の車幅方向の位置は下記の（２）式により求められる。
なお、下記の（２）においては、物標２０の車幅方向の位置を、左光源１の真正面の位置からの距離Ｙで表す。
Ｙ＝Ｗ×（ａ＋ｂ）／ａ ・・・（２） When the horizontal pixel number between points pq in the image is a, the horizontal pixel number between points qr is b, and the distance between the left light source 1 and the camera 3 in the vehicle width direction is W, the vehicle width direction of the target 20 Is obtained by the following equation (2).
In the following (2), the position of the target 20 in the vehicle width direction is represented by a distance Y from the position in front of the left light source 1.
Y = W × (a + b) / a (2)

そして、図９（Ｂ）に示す直角三角形ＯＬＨにおいて、左光源１によって照らされた物標２０の影２１の延びる方向φとすれば、当該物標２０の車幅方向位置Ｙに基づいて、当該物標２０までの距離ｄは、下記の（３）式により求められる。
ｔａｎφ＝Ｙ／ｄ ・・・（３） Then, in the right triangle OLH shown in FIG. 9B, if the direction φ of the shadow 21 of the target 20 illuminated by the left light source 1 is assumed to be extended, based on the vehicle width direction position Y of the target 20 The distance d to the target 20 is obtained by the following equation (3).
tanφ = Y / d (3)

このようにして、単一光源及び単一のカメラで、ステレオカメラのように、物標までの距離を検出することができる。   In this way, the distance to the target can be detected with a single light source and a single camera, like a stereo camera.

上述した各実施形態においては、本発明を特定の条件で構成した例について説明したが、本発明は種々の変更及び組み合わせを行うことができ、これに限定されるものではない。例えば、上述の実施形態では、照射手段が特定波長の光を照射する例について説明したが、本発明では、照射手段の照射する光は、特定波長のものに限定されず、例えば、広い波長分布をもつ光を照射してもよい。また、照射手段はＬＥＤに限定されず、任意好適な発光手段を用いることができる。例えば、上述の実施形態は、高さ測定手段を設けた例について説明したが、本発明では、高さ測定手段を省略してもよい。   In each embodiment mentioned above, although the example which constituted the present invention on specific conditions was explained, the present invention can perform various change and combination, and is not limited to this. For example, in the above-described embodiment, an example in which the irradiation unit emits light of a specific wavelength has been described. However, in the present invention, the light irradiated by the irradiation unit is not limited to a specific wavelength, and for example, a wide wavelength distribution You may irradiate the light which has. Further, the irradiation means is not limited to the LED, and any suitable light emitting means can be used. For example, in the above-described embodiment, the example in which the height measuring unit is provided has been described. However, in the present invention, the height measuring unit may be omitted.

本発明の第１実施形態の車両の障害物認識装置の構成を説明するブロック図である。It is a block diagram explaining the composition of the obstacle recognition device for vehicles of a 1st embodiment of the present invention. 車両の上方から見た、第１実施形態の車両の障害物認識装置の説明図である。It is explanatory drawing of the obstruction recognition apparatus of the vehicle of 1st Embodiment seen from the vehicle upper direction. 物標の角度と物標までの距離との関係を示すグラフである。It is a graph which shows the relationship between the angle of a target, and the distance to a target. 本発明の第１実施形態における撮像処理を説明するフローチャートである。It is a flowchart explaining the imaging process in 1st Embodiment of this invention. （Ａ）は、左光源照射時の第１画像の例であり、（Ｂ）は、右光源照射時の第２画像の例である。(A) is an example of the 1st image at the time of left light source irradiation, (B) is an example of the 2nd image at the time of right light source irradiation. 本発明の第１実施形態における距離演算処理を説明するフローチャートである。It is a flowchart explaining the distance calculation process in 1st Embodiment of this invention. 第１画像と第２画像との差分データから、第１画像の影の延びる方向と、第２画像の影の延びる方向との成す角度を求める様子を示した図である。It is the figure which showed a mode that the angle which the direction where the shadow of a 1st image extends and the direction where the shadow of a 2nd image extends was calculated | required from the difference data of a 1st image and a 2nd image. 車両の上方から見た、第２実施形態の車両の障害物認識装置の説明図である。It is explanatory drawing of the obstruction recognition apparatus of the vehicle of 2nd Embodiment seen from the vehicle upper direction. （Ａ）は、第２実施形態において撮像された画像中の物標の車幅方向の位置の求め方の説明図であり、（Ｂ）は、第２実施形態における物標までの距離の算出方法の説明図である。(A) is explanatory drawing of how to obtain | require the position of the width direction of the target in the image imaged in 2nd Embodiment, (B) is calculation of the distance to the target in 2nd Embodiment. It is explanatory drawing of a method.

符号の説明Explanation of symbols

１ 左光源
２ 右光源
３ カメラ
４ 影抽出部
５ 距離測定部
６ 高さ測定部
１０ コンピュータ
２０ 物標
２１ 第１の影
２２ 第２の影
３１ 第１画像
３２ 第２画像
１００ 車両 DESCRIPTION OF SYMBOLS 1 Left light source 2 Right light source 3 Camera 4 Shadow extraction part 5 Distance measurement part 6 Height measurement part 10 Computer 20 Target 21 1st shadow 22 2nd shadow 31 1st image 32 2nd image 100 Vehicle

Claims (9)

車両前方に向かって光を照射する照射手段と、
車幅方向に前記照射手段と離間して設けられ、車両前方を撮像する単一の撮像手段と、
上記撮像手段によって撮像された車両前方の画像から、上記照射手段によって照らされた物標の影を抽出する影抽出手段と、
上記影抽出手段によって抽出された影の延びる方向に基づいて、車両から当該物標までの距離を求める距離測定手段と、
を備えることを特徴とする車両の障害物認識装置。 Irradiating means for irradiating light toward the front of the vehicle;
A single imaging means that is provided in the vehicle width direction apart from the irradiation means, and images the front of the vehicle;
A shadow extraction unit that extracts a shadow of the target illuminated by the irradiation unit from an image in front of the vehicle imaged by the imaging unit;
A distance measuring means for obtaining a distance from the vehicle to the target based on a direction in which the shadow extracted by the shadow extracting means extends;
An obstacle recognition device for a vehicle, comprising: 上記照射手段は、車幅方向に互いに離間して配置された第１及び第２照射手段から構成され、該第１及び第２照射手段は、車両前方に向かって光を交互に照射し、
上記撮像手段は、上記第１照射手段の照射時の第１画像と、上記第２照射手段の照射時の第２画像とをそれぞれ撮像し、
上記影抽出手段は、上記第１画像中の物標の第１の影と、上記第２画像中の該物標の第２の影とを抽出し、
上記距離測定手段は、上記第１の影の延びる方向と上記第２の影の延びる方向とが成す角度に基づいて、当該物標までの距離を求める、
ことを特徴とする請求項１記載の車両の障害物認識装置。 The irradiation means is composed of first and second irradiation means that are spaced apart from each other in the vehicle width direction, and the first and second irradiation means alternately irradiate light toward the front of the vehicle,
The imaging means captures a first image at the time of irradiation of the first irradiation means and a second image at the time of irradiation of the second irradiation means,
The shadow extracting means extracts a first shadow of the target in the first image and a second shadow of the target in the second image;
The distance measuring means obtains a distance to the target based on an angle formed by a direction in which the first shadow extends and a direction in which the second shadow extends.
The obstacle recognition apparatus for a vehicle according to claim 1. 上記影抽出手段は、上記物標の第１及び第２の影を抽出するにあたり、上記第１画像と上記第２画像との差分を抽出する、ことを特徴とする請求項２記載の車両の障害物認識装置。   3. The vehicle according to claim 2, wherein the shadow extracting unit extracts a difference between the first image and the second image when extracting the first and second shadows of the target. Obstacle recognition device. 上記照射手段は、車幅方向の一カ所に配置され、
上記距離測定手段は、上記撮像手段によって撮像された物標の画像中の水平方向の位置から、当該物標の車幅方向の位置を求め、上記照射手段によって照らされた物標の影の延びる方向と当該物標の車幅方向位置とに基づいて、当該物標までの距離を求める
ことを特徴とする請求項１記載の車両の障害物認識装置。 The irradiation means is disposed at one place in the vehicle width direction,
The distance measuring unit obtains the position of the target in the vehicle width direction from the horizontal position in the target image captured by the imaging unit, and the shadow of the target illuminated by the irradiation unit extends. The obstacle recognition apparatus for a vehicle according to claim 1, wherein a distance to the target is obtained based on the direction and the vehicle width direction position of the target. 上記照射手段は、特定波長の光を照射し、
上記撮像手段は、当該特定波長の光の画像を撮像する、
ことを特徴とする請求項１乃至４の何れか一項に記載の車両の障害物認識装置。 The irradiation means irradiates light of a specific wavelength,
The imaging means captures an image of the light having the specific wavelength.
The obstacle recognition apparatus for a vehicle according to any one of claims 1 to 4, wherein 上記照射手段は、ＬＥＤで構成され、
上記撮像手段は、当該ＬＥＤの発光波長の画像を撮像する
ことを特徴とする請求項５記載の車両の障害物認識装置。 The irradiation means is composed of an LED,
6. The obstacle recognition apparatus for a vehicle according to claim 5, wherein the imaging means captures an image of the emission wavelength of the LED. 上記照射手段は、特定波長の可視光を照射し、
上記撮像手段は、当該特定波長の可視光の画像を撮像する、
ことを特徴とする請求項５又は６記載の車両の障害物認識装置。 The irradiation means irradiates visible light having a specific wavelength,
The imaging means captures an image of visible light having the specific wavelength.
The vehicle obstacle recognizing device according to claim 5 or 6. 上記照射手段は、近赤外光を照射し、
上記撮像手段は、近赤外光の画像を撮像する、
ことを特徴とする請求項５乃至７の何れか一項に記載の車両の障害物認識装置。 The irradiation means irradiates near infrared light,
The imaging means captures an image of near infrared light,
The vehicle obstacle recognizing device according to any one of claims 5 to 7. 上記影抽出手段は、物標の影の長さを抽出し、
当該物標の影の長さと、当該物標までの距離とに基づいて、当該物標の高さを求める高さ測定手段を更に備える、
ことを特徴とする請求項１乃至８の何れか一項に記載の車両の障害物認識装置。 The shadow extraction means extracts the shadow length of the target,
A height measuring means for obtaining the height of the target based on the shadow length of the target and the distance to the target;
The obstacle recognition apparatus for a vehicle according to any one of claims 1 to 8, wherein
JP2007168065A 2007-06-26 2007-06-26 Obstacle recognition device of vehicle Pending JP2009008447A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007168065A JP2009008447A (en) 2007-06-26 2007-06-26 Obstacle recognition device of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007168065A JP2009008447A (en) 2007-06-26 2007-06-26 Obstacle recognition device of vehicle

Publications (1)

Publication Number Publication Date
JP2009008447A true JP2009008447A (en) 2009-01-15

Family

ID=40323682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007168065A Pending JP2009008447A (en) 2007-06-26 2007-06-26 Obstacle recognition device of vehicle

Country Status (1)

Country Link
JP (1) JP2009008447A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITCN20130007A1 (en) * 2013-06-19 2013-09-18 Domenico Lanzetti SYSTEM AND METHOD OF DETECTION OF OBSTACLES / PEDESTRIANS / INTRUSES WITH THE USE OF DIFFERENTLY ILLUMINATED IMAGES
US11093085B2 (en) 2019-03-27 2021-08-17 Seiko Epson Corporation Position detection method, position detection device, and interactive projector
US11144164B2 (en) 2019-03-27 2021-10-12 Seiko Epson Corporation Position detection method, position detection device, and interactive projector
IL258918B (en) * 2018-04-24 2022-08-01 Korech Omer Electro-optical means to support efficient autonomous car neural processing by imprinting depth cues in the raw data

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITCN20130007A1 (en) * 2013-06-19 2013-09-18 Domenico Lanzetti SYSTEM AND METHOD OF DETECTION OF OBSTACLES / PEDESTRIANS / INTRUSES WITH THE USE OF DIFFERENTLY ILLUMINATED IMAGES
IL258918B (en) * 2018-04-24 2022-08-01 Korech Omer Electro-optical means to support efficient autonomous car neural processing by imprinting depth cues in the raw data
US11093085B2 (en) 2019-03-27 2021-08-17 Seiko Epson Corporation Position detection method, position detection device, and interactive projector
US11144164B2 (en) 2019-03-27 2021-10-12 Seiko Epson Corporation Position detection method, position detection device, and interactive projector

Similar Documents

Publication Publication Date Title
JP4496964B2 (en) Tunnel detection device for vehicle and light control device for vehicle
JP4415996B2 (en) In-vehicle image recognition device, light distribution control device, and light distribution control method
JP5693994B2 (en) Vehicle detection device
JP5254102B2 (en) Environment recognition device
US9886773B2 (en) Object detection apparatus and object detection method
JP4568637B2 (en) Road recognition device
US9340156B2 (en) Method for detecting an object in an environmental region of a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle
JP2009298344A (en) Apparatus and program for determining lights of vehicle
JP2010097410A (en) Vehicle detection device
JP4807733B2 (en) Outside environment recognition device
JP2009008447A (en) Obstacle recognition device of vehicle
CN105365659A (en) irradiation system
JP2010040031A (en) Method and device for recognizing road direction
JP2007058805A (en) Forward environment recognition device
JP2016021177A (en) Vehicle controller
JP2005156199A (en) Vehicle detection method and vehicle detector
JP2010277384A (en) Device and method for supporting traveling
JP2007310591A (en) Image processor and parking space determination method
JP2013101432A (en) Obstacle detector and program
JP2010071942A (en) Object detecting device
JP2006252363A (en) Detector for object around vehicle, and method of detecting object around vehicle
JP6132807B2 (en) Lane mark recognition device
JP2008230358A (en) Display device
JP4611919B2 (en) Pedestrian recognition device
JP2015069380A (en) Vehicle exterior environment recognition device