JP6204782B2 - Off-road dump truck - Google Patents
Off-road dump truck Download PDFInfo
- Publication number
- JP6204782B2 JP6204782B2 JP2013210264A JP2013210264A JP6204782B2 JP 6204782 B2 JP6204782 B2 JP 6204782B2 JP 2013210264 A JP2013210264 A JP 2013210264A JP 2013210264 A JP2013210264 A JP 2013210264A JP 6204782 B2 JP6204782 B2 JP 6204782B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- road surface
- distance
- soil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000779 smoke Substances 0.000 claims description 131
- 239000002689 soil Substances 0.000 claims description 126
- 238000001514 detection method Methods 0.000 claims description 76
- 238000004364 calculation method Methods 0.000 claims description 39
- 230000000052 comparative effect Effects 0.000 claims description 6
- 230000015654 memory Effects 0.000 description 52
- 238000000034 method Methods 0.000 description 39
- 238000003384 imaging method Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 238000005259 measurement Methods 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 15
- 238000000605 extraction Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 206010047555 Visual field defect Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004071 soot Substances 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、例えば鉱山で使用されるオフロードダンプトラックに関する。 The present invention relates to an off-road dump truck used in a mine, for example.
近年、鉱山で使用されるオフロードダンプトラックとしては、自律走行が可能な無人車両が導入されつつある。この種の無人車両においては、例えば外界認識装置等によって前方を走行する先行車両との距離を計測し、先行車両との衝突を未然に回避させる速度制御がなされている。前方車両を検出する手段としては、一般に、ミリ波レーダ、レーザスキャナ、ステレオカメラ等が知られている。ミリ波レーダは、前方視界が悪い状況においても前方車両を検知できるが、検知範囲が狭く、カーブ等で前方車両を見失ってしまうおそれがある。また、レーザスキャナも、検知範囲が狭く、障害物の全体を検知することが容易でない。 In recent years, unmanned vehicles capable of autonomous traveling are being introduced as off-road dump trucks used in mines. In this type of unmanned vehicle, for example, a distance control with a preceding vehicle that travels ahead is measured by an external recognition device or the like, and speed control is performed to avoid a collision with the preceding vehicle. As means for detecting the vehicle ahead, a millimeter wave radar, a laser scanner, a stereo camera and the like are generally known. Although the millimeter wave radar can detect the forward vehicle even in a situation where the forward visibility is poor, the detection range is narrow, and there is a possibility that the forward vehicle may be lost due to a curve or the like. Also, the laser scanner has a narrow detection range, and it is not easy to detect the entire obstacle.
これに対し、ステレオカメラは、視界不良の状況においての先行車両の検知が容易でないものの、視野角が広く障害物の全体を検知できるため、物体の大きさや種類によらず検知することができる特性を有している。特に、鉱山の場合においては、路面が舗装されていないため、視界不良の原因となる土煙の発生頻度が高い。 On the other hand, the stereo camera has a wide viewing angle and can detect the entire obstacle, although it is not easy to detect the preceding vehicle in a poor visibility situation, so it can detect regardless of the size and type of the object. have. In particular, in the case of a mine, since the road surface is not paved, the occurrence frequency of soil smoke that causes poor visibility is high.
一方、この種の視界不良の対応に関する従来技術が、例えば特許文献１に開示されている。この特許文献１にて開示された車両制御装置は、ステレオカメラで進行方向の距離を測定し、測定された距離の最大値を見通し距離とし、この見通し距離をほぼ霧までの距離としている。 On the other hand, for example, Patent Document 1 discloses a conventional technique related to handling this type of visual field defect. The vehicle control device disclosed in Patent Document 1 measures the distance in the traveling direction with a stereo camera, sets the maximum value of the measured distance as the line-of-sight distance, and sets this line-of-sight distance as the distance to the fog.
一般に、霧は、視界全体の広い範囲において視界不良となるため、上記特許文献１に記載のように、見通し距離を走行可能距離とすることができるが、土煙は、視界全体ではなく、路面において先行車両を隠す程度の局所的な範囲で発生する場合もある。したがって、路面外は、視界不良とならず、先行車両（前方車両）より遠方の物体が見える可能性もある。 In general, since fog becomes poor visibility in a wide range of the entire field of view, the line-of-sight distance can be set as a travelable distance as described in Patent Document 1 above, but soil smoke is not on the entire field of view but on the road surface. It may occur in a local range that hides the preceding vehicle. Therefore, there is a possibility that an object farther than the preceding vehicle (front vehicle) can be seen outside the road surface without poor visibility.
このため、土煙発生時に、上記特許文献１に記載による見通し距離を走行可能距離とすると、計測する方向によって、進行方向の計測距離が先行車両より遠方の距離となる場合もある。この場合には、先行車両と不必要に接近等してしまうおそれがあるため、土煙発生時における走行安全性の確保が容易でない。 For this reason, when soil smoke is generated, if the line-of-sight distance described in Patent Document 1 is a travelable distance, the measurement distance in the traveling direction may be a distance farther than the preceding vehicle depending on the measurement direction. In this case, since there is a possibility that the vehicle will approach the preceding vehicle unnecessarily, it is not easy to ensure traveling safety when soil smoke is generated.
本発明は、上述した従来技術における実状からなされたもので、その目的は、土煙発生時における走行安全性を確保できるオフロードダンプトラックを提供することにある。 The present invention has been made from the actual situation in the above-described prior art, and an object of the present invention is to provide an off-road dump truck capable of ensuring traveling safety when soil smoke is generated.
この目的を達成するために、前方を撮影する第１のカメラと、この第１のカメラの撮影画像に基づき路面を検出する路面検出部と、前記第１のカメラの撮影画像に基づき土煙の有無を判定する土煙判定部と、前記路面検出部にて検出した路面情報と前記土煙判定部にて判定した土煙情報とに基づき、土煙までの走行可能距離を算出する走行距離算出部と、を備えたことを特徴としている。 To achieve this object, a first camera that captures the front, a road surface detection unit that detects a road surface based on a captured image of the first camera, and the presence or absence of soil smoke based on the captured image of the first camera And a travel distance calculation unit that calculates a travelable distance to the soil smoke based on the road surface information detected by the road surface detection unit and the soil smoke information determined by the soil smoke determination unit. It is characterized by that.
このように構成した本発明は、路面情報と土煙情報とに基づき土煙までの走行可能距離を算出することにより、走行可能な土煙までの距離を把握することができるから、土煙発生時における走行安全性を確保することができる。 According to the present invention configured as described above, it is possible to grasp the distance to the travelable soil smoke by calculating the travelable distance to the soil smoke based on the road surface information and the soil smoke information. Sex can be secured.
また本発明は、上記発明において、前記土煙判定部は、前記第１のカメラの撮影画像を、エッジ画像に変換し、このエッジ画像を所定のブロックに分割し、この分割したブロックのうち、このブロック中のエッジ数が所定数以上であり、かつ前記路面検出部にて検出した路面と接する前記ブロックを土煙の境界と判定することを特徴としている。 Further, in the present invention, in the above invention, the soil smoke determination unit converts the captured image of the first camera into an edge image, divides the edge image into predetermined blocks, and among the divided blocks, The number of edges in the block is equal to or greater than a predetermined number, and the block in contact with the road surface detected by the road surface detection unit is determined as a soil smoke boundary.
このように構成した本発明は、第１のカメラの撮影画像をエッジ画像に変換してから所定のブロックに分割し、このブロック中のエッジ数が所定数以上であり、かつ路面検出部にて検出した路面と接するブロックを土煙の境界と判定するため、土煙の判定処理を容易に行うことができる。よって、土煙発生時における土煙の判定処理が容易にできるから、土煙発生時における走行安全性をより適切に確保することができる。 In the present invention configured as described above, the image captured by the first camera is converted into an edge image and then divided into predetermined blocks. The number of edges in the block is equal to or greater than the predetermined number, and the road surface detection unit Since the block in contact with the detected road surface is determined as the boundary of the soil smoke, the determination process of the soil smoke can be easily performed. Therefore, since the determination process of the soil smoke at the time of the occurrence of the soil smoke can be facilitated, the traveling safety at the time of the generation of the soil smoke can be ensured more appropriately.
また本発明は、上記発明において、前記路面検出部は、前記第１のカメラで取得した基準画像と、前記第１のカメラまたはこの第１のカメラとは異なる第２のカメラで取得した比較画像との差分から路面を検出することを特徴としている。 In the invention described above, the road surface detection unit may include a reference image acquired by the first camera and a comparative image acquired by the first camera or a second camera different from the first camera. The road surface is detected from the difference between the two.
このように構成した本発明は、基準画像と比較画像との差分から路面を検出することにより、路面検出部での路面の検出をより精度良くすることができ、土煙発生時における走行安全性をより適切に確保することができる。 The present invention configured as described above can detect the road surface from the difference between the reference image and the comparison image, thereby making it possible to more accurately detect the road surface at the road surface detection unit, and to improve the traveling safety at the time of occurrence of soil smoke. It can be secured more appropriately.
また本発明は、上記発明において、前記第１および第２のカメラを有するステレオカメラ装置を備え、前記第１のカメラは、基準画像を撮影する基準画像取得カメラであり、前記第２のカメラは、前記基準画像と比較する比較画像を撮影する比較画像取得カメラであり、前記土煙算出部は、前記基準画像に基づいて土煙を判定することを特徴としている。 Further, the present invention is the above-mentioned invention, further comprising a stereo camera device having the first and second cameras, wherein the first camera is a reference image acquisition camera that captures a reference image, and the second camera is A comparison image acquisition camera that captures a comparison image to be compared with the reference image, wherein the soil smoke calculation unit determines soil smoke based on the reference image.
このように構成した本発明は、ステレオカメラ装置の基準画像取得カメラで撮影した基準画像と、比較画像取得カメラで撮影した比較画像との差分から路面を検出するとともに、基準画像に基づき土煙を判定する。よって、路面を検出する際の基準画像と、土煙を判定する際の基準画像とを等しくできるため、走行距離算出部での土煙までの走行可能距離の算出を精度良くすることができ、土煙発生時における走行安全性をより適切に確保することができる。 The present invention configured as described above detects the road surface from the difference between the reference image captured by the reference image acquisition camera of the stereo camera device and the comparison image captured by the comparison image acquisition camera, and determines the soil based on the reference image. To do. Therefore, since the reference image for detecting the road surface and the reference image for determining the soil smoke can be made equal, the travel distance calculation unit can accurately calculate the travelable distance to the soil smoke, and the generation of smoke Travel safety at the time can be ensured more appropriately.
また本発明は、上記発明において、前記第１のカメラにて撮影した第１画像と、この第１画像を撮影した後に前記第１のカメラにて撮影した第２画像との差分に基づき、前方に存在する車両との相対速度を算出する相対速度算出部を備えたことを特徴としている。 According to the present invention, in the above invention, based on the difference between the first image captured by the first camera and the second image captured by the first camera after capturing the first image, And a relative speed calculation unit for calculating a relative speed with the vehicle existing in the vehicle.
このように構成した本発明は、第１画像と第２画像との差分に基づき前方に存在する車両との相対速度を算出することにより、この算出された相対速度に応じた車両までの相対距離を把握することが可能となる。よって、土煙発生時における前方車両との距離が調整可能となるため、土煙発生時における走行安全性をより適切に確保することができる。 The present invention configured as described above calculates a relative speed with respect to the vehicle existing ahead based on the difference between the first image and the second image, and thereby the relative distance to the vehicle according to the calculated relative speed. Can be grasped. Therefore, since the distance from the vehicle ahead when the smoke is generated can be adjusted, it is possible to more appropriately ensure the traveling safety when the smoke is generated.
また本発明は、上記発明において、所定の情報を外部へ通知するための通知部を備え、前記走行距離算出部は、前記路面検出部にて路面上の障害物を検出した場合に、前記障害物までの距離を走行可能距離とし、前記路面検出部にて路面上の障害物が検出されずかつ前記土煙判定部にて土煙が判定されない場合に、前記路面検出部にて検出した路面の最遠距離を走行可能距離とし、前記路面検出部にて路面上の障害物が検出されずかつ前記土煙判定部にて土煙が判定された場合に、前記通知部から所定の情報を外部へ通知させることを特徴としている。 In the above invention, the present invention further includes a notifying unit for notifying predetermined information to the outside, and the travel distance calculating unit detects the obstacle when the road surface detecting unit detects an obstacle on the road surface. When the road surface detection unit detects no obstacle on the road surface and the soil smoke determination unit does not determine soil smoke, the distance to the object is the travelable distance, and the road surface detection unit detects the maximum road surface detected by the road surface detection unit. When the road surface detection unit detects no obstacle on the road surface and the soil smoke determination unit determines soil smoke, the notification unit notifies the predetermined information to the outside. It is characterized by that.
このように構成した本発明は、路面上の障害物の検出の有無、および土煙の判定の有無に応じた対応が可能となるため、走行安全性をより適切に確保することができる。 The present invention configured as described above can cope with the presence / absence of obstacle detection on the road surface and the presence / absence of determination of soil smoke, so that it is possible to more appropriately ensure traveling safety.
本発明は、カメラの撮影画像に基づいて路面検出部にて検出した路面情報と、カメラの撮影画像に基づいて土煙判定部にて判定した土煙情報とに基づき、走行距離算出部にて土煙までの走行可能距離を算出する構成にしてある。この構成により本発明は、走行可能な土煙までの距離を把握することができ、土煙発生時における走行安全性を確保することができる。そして、前述した以外の課題、構成および効果は、以下の実施形態の説明より明らかにされる。 The present invention is based on road surface information detected by a road surface detection unit based on a captured image of a camera and soil information determined by a soil smoke determination unit based on a captured image of the camera. The travelable distance is calculated. With this configuration, the present invention can grasp the distance to the travelable soil smoke, and can ensure the traveling safety when the soil smoke is generated. Problems, configurations, and effects other than those described above will be made clear from the following description of embodiments.
以下、本発明に係る運搬車両を用いた土煙までの走行可能距離を算出するシステムを実施するための形態を図に基づいて説明する。 EMBODIMENT OF THE INVENTION Hereinafter, the form for implementing the system which calculates the driving | running | working distance to the soil smoke using the transport vehicle which concerns on this invention is demonstrated based on figures.
［第１実施形態］
本第１実施形態は、ステレオカメラ装置２０を用いた実施形態である。図１は、本発明の第１実施形態に係るオフロードダンプトラックとして、建設機械向けの車両１である鉱山用ダンプトラックを示している。図２は、車両１が用いられる鉱山システムを示す概略図である。
[First Embodiment]
The first embodiment is an embodiment using a stereo camera device 20. FIG. 1 shows a mine dump truck, which is a vehicle 1 for construction machinery, as an off-road dump truck according to a first embodiment of the present invention. FIG. 2 is a schematic diagram showing a mine system in which the vehicle 1 is used.
車両１は、図２に示すように、鉱山に予め設けられた走行路である路面２を自律運転で走行可能な無人走行式とされている。鉱山には、車両１との間で所定の情報を送受信するための情報センタ３が設置されているとともに、車両１に土砂等の積載物を積載させるための油圧ショベル４等が用いられている。 As shown in FIG. 2, the vehicle 1 is an unmanned traveling type capable of traveling by autonomous driving on a road surface 2 that is a traveling path provided in advance in a mine. In the mine, an information center 3 for transmitting and receiving predetermined information to and from the vehicle 1 is installed, and a hydraulic excavator 4 for loading a load such as earth and sand on the vehicle 1 is used. .
車両１は、図１に示すように、車両本体１ａと、車両本体１ａの前側上方に設けられたキャビンとしての運転席１ｂと、車両本体１ａ上に起伏可能に設けられた作業部としての荷台であるベッセル１ｃと、車両本体１ａを走行可能に支持する左右の前輪１ｄおよび後輪１ｅとを備えた構成とされている。 As shown in FIG. 1, the vehicle 1 includes a vehicle main body 1a, a driver's seat 1b as a cabin provided on the upper front side of the vehicle main body 1a, and a loading platform as a working unit provided on the vehicle main body 1a so as to be able to undulate. And a left and right front wheel 1d and a rear wheel 1e that support the vehicle main body 1a so as to travel.
車両本体１ａの前側には、車両本体１ａの周囲、特に走行方向前方を認識するための外界認識装置１０が取り付けられ、外界認識装置１０にて認識した路面２上の障害物、特に先行車両６を回避しながら走行可能とされている。外界認識装置１０は、局所的に前方視界を遮る土煙５が発生して先行車両６を認識できなくなった場合に、路面３と土煙５との境界部分を検知し、自車両である車両１から境界部分までの、いわゆる安全性が確保された走行可能距離を計測する。すなわち、外界認識装置１０にて算出した走行可能距離は、路面２上の距離を算出しているため、路面２上の安全性が確保された認識済みの走行可能な距離である。 An external recognition device 10 for recognizing the periphery of the vehicle main body 1a, particularly the front in the traveling direction, is attached to the front side of the vehicle main body 1a, and obstacles on the road surface 2 recognized by the external recognition device 10, particularly the preceding vehicle 6 It is possible to run while avoiding. The external environment recognition device 10 detects the boundary portion between the road surface 3 and the soil smoke 5 when the soil smoke 5 that locally blocks the forward view is generated and the preceding vehicle 6 cannot be recognized. Measure the travelable distance to the boundary, so-called safety. That is, the travelable distance calculated by the external environment recognition device 10 is a recognized travelable distance in which safety on the road surface 2 is ensured because the distance on the road surface 2 is calculated.
外界認識装置１０は、基準画像を撮影するための基準画像取得カメラとしての左撮影部である左カメラ２１ａと、この左カメラ２１ａにて撮影し基準画像と比較するための比較画像を撮影するための比較画像取得カメラとしての右撮影部である右カメラ２１ｂとを有するステレオカメラ装置２０を備え、これらカメラ２１ａ，２１ｂを、第１および第２のカメラとして用いて車両１の進行方向前方の画像を取得する。ステレオカメラ装置２０は、車両本体１ａの前側の左右方向の中央部である中心位置に、左右のカメラ２１ａ，２１ｂ間の中心が位置するように取り付けられている。 The external environment recognition apparatus 10 is for capturing a left camera 21a, which is a left photographing unit as a reference image acquisition camera for photographing a reference image, and a comparative image that is photographed by the left camera 21a and compared with the reference image. And a stereo camera device 20 having a right camera 21b as a right image capturing unit as a comparative image acquisition camera, and using these cameras 21a and 21b as first and second cameras, an image ahead of the traveling direction of the vehicle 1 To get. The stereo camera device 20 is attached so that the center between the left and right cameras 21a and 21b is located at the center position, which is the center portion in the left-right direction on the front side of the vehicle body 1a.
外界認識装置１０は、距離情報算出部２２を備えている。距離情報算出部２２は、各カメラ２１ａ，２１ｂにて取得した左右の画像中の各画素の差分である視差情報、すなわち距離データを算出する。そして、この距離データに基づいて、車両１からの距離情報を示す視差画像メモリ２６が構成されている。 The external environment recognition apparatus 10 includes a distance information calculation unit 22. The distance information calculation unit 22 calculates parallax information, that is, distance data, which is the difference between the pixels in the left and right images acquired by the cameras 21a and 21b. And based on this distance data, the parallax image memory 26 which shows the distance information from the vehicle 1 is comprised.
外界認識装置１０は、路面検出部２３、土煙境界検出部２４、距離測定部２５、車両制御部２７、外部通信装置２８および障害物検出部２９を備えている。路面検出部２３は、視差画像メモリ２６中の距離データに基づいて路面２を推定して検出する。障害物検出部２９は、視差画像メモリ２６から路面２上の障害物として先行車両６等を検知する。土煙境界検出部２４は、ステレオカメラ装置２０の左カメラ２１ａにて撮影した左画像３１ａに基づいて、先行車両６の走行時に発生する土煙５の有無を判定する土煙判定部である。土煙境界検出部２４へ入力される画像は、後述する種々のメモリとの座標の対応を容易にするため、距離算出時の基準とする基準画像が望ましく、本実施例では左カメラ２１ａにて撮影した左画像３１ａを基準画像としている。 The external environment recognition device 10 includes a road surface detection unit 23, a soil / smoke boundary detection unit 24, a distance measurement unit 25, a vehicle control unit 27, an external communication device 28, and an obstacle detection unit 29. The road surface detection unit 23 estimates and detects the road surface 2 based on the distance data in the parallax image memory 26. The obstacle detection unit 29 detects the preceding vehicle 6 or the like as an obstacle on the road surface 2 from the parallax image memory 26. The soil / smoke boundary detection unit 24 is a soil / smoke determination unit that determines the presence / absence of soil 5 generated when the preceding vehicle 6 travels based on the left image 31a photographed by the left camera 21a of the stereo camera device 20. The image input to the soil / smoke boundary detection unit 24 is preferably a reference image used as a reference for distance calculation in order to facilitate correspondence of coordinates with various memories described later. In this embodiment, the image is taken by the left camera 21a. The left image 31a is used as a reference image.
距離測定部２５は、路面検出部２３にて検出した路面情報と、土煙境界検出部２４にて検出した土煙情報と、障害物検出部２９にて検出した障害物情報とに基づいて、車両１が走行可能な区間である走行可能距離を算出する土煙境界距離算出部である。特に、距離測定部２５は、土煙５にて先行車両６が認識できなくなった場合に、路面２と土煙５との境界部分までの距離を走行可能距離とする。車両制御部２７は、距離測定部２５にて算出した走行可能距離情報に基づいて車両１の走行速度を制御する。外部通信装置２８は、例えば土煙境界検出部２４にて判定した土煙によって障害物検出部２９にて検出した先行車両６が距離測定部２５にて認識できない場合に、この距離測定部２５から出力される土煙発生情報を、車両１外部の情報センタ３等に通知する通知部である。情報センタ３は、外部通信装置２８からの土煙発生情報の通知を受けることにより、路面２上の土煙５を抑制するための散水車（図示せず）を走行させる時期を知ることができる。 The distance measuring unit 25 is based on the road surface information detected by the road surface detecting unit 23, the soil smoke information detected by the soil smoke boundary detecting unit 24, and the obstacle information detected by the obstacle detecting unit 29. It is a soil-and-smoke boundary distance calculation part which calculates the driving | running | working distance which is a section which can drive | work. In particular, the distance measuring unit 25 sets the distance to the boundary between the road surface 2 and the soil smoke 5 as the travelable distance when the preceding vehicle 6 cannot be recognized by the soil smoke 5. The vehicle control unit 27 controls the travel speed of the vehicle 1 based on the travelable distance information calculated by the distance measurement unit 25. The external communication device 28 is output from the distance measurement unit 25 when, for example, the distance measurement unit 25 cannot recognize the preceding vehicle 6 detected by the obstacle detection unit 29 due to the soil smoke determined by the soil / smoke boundary detection unit 24. This is a notification unit that notifies the information center 3 etc. outside the vehicle 1 of the generation information. The information center 3 can know when to run a water truck (not shown) for suppressing the soil smoke 5 on the road surface 2 by receiving the notification of the smoke generation information from the external communication device 28.
次いで、外部認識装置１０の距離情報算出部２２の機能の詳細について、図３を参照して説明する。図３は、車両１の距離情報算出部２２の動作を示すフローチャートである。図４は、車両１のステレオカメラ装置２０で撮影した左画像３１ａと右画像３１ｂの相違を示す説明図である。 Next, details of the function of the distance information calculation unit 22 of the external recognition device 10 will be described with reference to FIG. FIG. 3 is a flowchart showing the operation of the distance information calculation unit 22 of the vehicle 1. FIG. 4 is an explanatory diagram showing the difference between the left image 31a and the right image 31b taken by the stereo camera device 20 of the vehicle 1. FIG.
図３に示すように、ステレオカメラ装置２０の各カメラ２１ａ，２１ｂで同時に撮像した画像データを受信する（ステップＳ１１）。このステップＳ１１にて取得した左右２枚の同時刻の画像データ、すなわち左画像３１ａと右画像３１ｂとを比較し、対称点算出処理として、同一物体を撮影している部分を特定する（ステップＳ１２）。 As shown in FIG. 3, image data captured simultaneously by the cameras 21a and 21b of the stereo camera device 20 is received (step S11). The left and right image data acquired at step S11 at the same time, that is, the left image 31a and the right image 31b are compared, and a portion where the same object is photographed is specified as a symmetry point calculation process (step S12). ).
図４に示すように、路面２上の任意点Ａをステレオカメラ装置２０の各カメラ２１ａ，２１ｂで撮影した場合には、左カメラ２１ａと右カメラ２１ｂとで撮影された画像が左画像３１ａおよび右画像３１ｂとなる。図４においては、路面２を走行する先行車両６を車両１側から撮影した状況であり、先行車両６が発生した土煙５によって先行車両６が認識しにくい状況を示している。同一の地点である任意点Ａは、左画像３１ａには位置Ａ１に撮像され、右画像３１ｂには位置Ａ２に撮像されている。このため、これら画像３１ａ，３１ｂ間には、横方向にｄ１のずれが発生し、左画像３１ａの位置Ａ１に撮像されている物体が、右画像３１ｂ中のどの位置に撮像されているかを特定する必要がある。 As shown in FIG. 4, when an arbitrary point A on the road surface 2 is photographed by the cameras 21 a and 21 b of the stereo camera device 20, the images photographed by the left camera 21 a and the right camera 21 b are the left image 31 a and The right image 31b is obtained. FIG. 4 shows a situation where the preceding vehicle 6 traveling on the road surface 2 is photographed from the vehicle 1 side, and a situation in which the preceding vehicle 6 is difficult to recognize by the soil smoke 5 generated by the preceding vehicle 6 is shown. An arbitrary point A, which is the same point, is imaged at the position A1 in the left image 31a and is imaged at the position A2 in the right image 31b. For this reason, a shift of d1 occurs in the horizontal direction between these images 31a and 31b, and it is specified at which position in the right image 31b the object imaged at the position A1 of the left image 31a is imaged. There is a need to.
ここで、左画像３１ａに撮像されている特定の物体が、右画像３１ｂのどの位置に撮像されているかを特定する方法について、図５を参照して説明する。図５は、ステレオカメラ装置２０の左カメラ２１ａで撮影した左画像３１ａ中の特定の物体が、右カメラ２１ｂで撮影した右画像３１ｂのどの位置に撮像されるかの特定方法を示す説明図である。 Here, a method for identifying the position where the specific object imaged in the left image 31a is imaged in the right image 31b will be described with reference to FIG. FIG. 5 is an explanatory diagram showing a method of specifying a specific object in the left image 31a taken by the left camera 21a of the stereo camera device 20 in which position in the right image 31b taken by the right camera 21b. is there.
図５は、左画像３１ａおよび右画像３１ｂの座標系に関し、横方向をｕ軸とし、縦方向をｖ軸としている。左画像３１ａにおいて、ｕｖ座標で、位置（ｕ１，ｖ１）、（ｕ１，ｖ２）、（ｕ２，ｖ１）および（ｕ２，ｖ２)で囲まれた矩形領域Ｂを設定する。 FIG. 5 relates to the coordinate system of the left image 31a and the right image 31b, in which the horizontal direction is the u axis and the vertical direction is the v axis. In the left image 31a, the rectangular area B surrounded by the positions (u1, v1), (u1, v2), (u2, v1) and (u2, v2) is set with the uv coordinates.
次いで、右画像３１ｂにおいて、位置（Ｕ，ｖ１）、（Ｕ，ｖ２）、（Ｕ＋（ｕ２−ｕ１），ｖ１）および（Ｕ＋（ｕ２−ｕ１），ｖ２）で囲まれた領域を、Ｕの値をｕ＝０からｕ＝ｕ３まで増加させ、この右画像３１ｂの右方向へ矩形領域Ｂ１の位置まで走査させる。この走査の際に、矩形領域Ｂ２内の画像と、矩形領域Ｂ１内の画像との相関値を比較し、左画像３１ａの矩形領域Ｂと相関性が最も高い右画像３４ｂの矩形領域Ｂ２の位置（ｕ４，ｖ１）、（ｕ４，ｖ２）、（ｕ４＋（ｕ２−ｕ１），ｖ１）および（ｕ４＋（ｕ２−ｕ１），ｖ２）に、矩形領域Ｂに撮像されている物体と同一の物体が撮像されているとする。また、これら矩形領域Ｂ内の各画素と、矩形領域Ｂ２内の各画素が対応しているとする。 Next, in the right image 31b, an area surrounded by the positions (U, v1), (U, v2), (U + (u2-u1), v1) and (U + (u2-u1), v2) The value is increased from u = 0 to u = u3, and the right image 31b is scanned rightward to the position of the rectangular area B1. During this scanning, the correlation value between the image in the rectangular area B2 and the image in the rectangular area B1 is compared, and the position of the rectangular area B2 in the right image 34b having the highest correlation with the rectangular area B in the left image 31a. In (u4, v1), (u4, v2), (u4 + (u2−u1), v1) and (u4 + (u2−u1), v2), the same object as that captured in the rectangular area B is imaged. Suppose that In addition, it is assumed that each pixel in the rectangular area B corresponds to each pixel in the rectangular area B2.
右画像３１ｂの矩形領域Ｂ１を走査した際において、相関値がある一定以上の値になる矩形領域が存在しない場合は、左画像３１ａの矩形領域Ｂに対応する右画像３１ｂ内の対応点をなしとする。対応点がない場合は、距離情報を算出できず、視差画像メモリ２６中の画素にゼロ（０）を設定する。特に、土煙５による視界不良の領域は、画像としての検出情報（テクスチャ）が少なくなるため、左画像３１ａの矩形領域Ｂとの右画像３１ｂの対応点を特定できず、視差画像メモリ２６が算出できない。この状態においては、土煙５が発生した時の先行車両６までの距離が計測できず、走行可能距離を特定できない。そこで、本第１実施形態においては、土煙５と路面２との境界部分を検出し、この境界部分までの距離（区間）を、走行可能距離とする。 When the rectangular area B1 of the right image 31b is scanned and there is no rectangular area having a certain correlation value or more, a corresponding point in the right image 31b corresponding to the rectangular area B of the left image 31a is formed. And If there is no corresponding point, the distance information cannot be calculated, and zero (0) is set for the pixel in the parallax image memory 26. In particular, in the field of poor visibility due to the soil 5, detection information (texture) as an image is reduced, and therefore, the corresponding point of the right image 31 b with the rectangular region B of the left image 31 a cannot be specified, and the parallax image memory 26 calculates. Can not. In this state, the distance to the preceding vehicle 6 when the soil 5 is generated cannot be measured, and the travelable distance cannot be specified. Therefore, in the first embodiment, a boundary portion between the soil smoke 5 and the road surface 2 is detected, and a distance (section) to the boundary portion is set as a travelable distance.
次いで、左画像３１ａの矩形領域Ｂを位置Ｂ３へずらし、上記矩形領域Ｂでの処理と同様の処理を行う。すなわち、左画像３１ａの矩形領域Ｂを、左画像３１ａ内全体に亘って走査して、左画像３１ａの全画素に対し、右画像３１ｂ内の対応点Ｃを求め、対応点Ｃが見つからない場合は、対応点無しとする。 Next, the rectangular area B of the left image 31a is shifted to the position B3, and processing similar to the processing in the rectangular area B is performed. That is, when the rectangular area B of the left image 31a is scanned over the entire left image 31a, the corresponding point C in the right image 31b is obtained for all the pixels of the left image 31a, and the corresponding point C is not found. Means no corresponding points.
この後、図３に示すように、上述したステップＳ１２での対応点算出処理にて求めた、同一物体を撮像している左画像３１ａと右画像３１ｂとの対応点Ｃに関し、各対応点Ｃがステレオカメラ装置２０の基準となる左カメラ２１ａからどの程度の距離の位置にあるかについて、距離算出処理をして算出する（ステップＳ１３）。 Thereafter, as shown in FIG. 3, each corresponding point C is obtained with respect to the corresponding point C between the left image 31a and the right image 31b obtained by imaging the same object, which is obtained by the corresponding point calculation process in step S12 described above. Is calculated by a distance calculation process as to the distance from the left camera 21a which is the reference of the stereo camera device 20 (step S13).
ここで、ステップＳ１３での距離算出処理として、左画像３１ａと右画像３１ｂの対応点Ｃの左カメラ２１ａからの距離の算出方法について、図６を参照して説明する。図６は、左画像３１ａおよび右画像３１ｂにおける対応点Ｃの左カメラ２１ａからの距離の算出方法を示す説明図である。 Here, as a distance calculation process in step S13, a method of calculating the distance from the left camera 21a of the corresponding point C of the left image 31a and the right image 31b will be described with reference to FIG. FIG. 6 is an explanatory diagram illustrating a method of calculating the distance from the left camera 21a of the corresponding point C in the left image 31a and the right image 31b.
左カメラ２１ａは、図６に示すように、レンズ４１ａと撮像面４２ａとからなる焦点距離ｆおよび光軸４３ａを有している。右カメラ２１ｂは、レンズ４１ｂと撮像面４２ｂとからなる焦点距離ｆおよび光軸４３ｂを有している。これらカメラ２１ａ，２１ｂの前方に位置する対応点Ｃは、左カメラ２１ａの撮像面４２ａの点Ｄ１（光軸４３ａから距離ｄ２までの距離）に撮像され、左画像３１ａにおいて点Ｄ１（光軸４３ａから画素ｄ４ほど離れた位置）となる。対象点Ｃは、右カメラ２１ｂの撮像面４２ｂの点Ｄ２（光軸４３ｂから距離ｄ３までの距離）に撮像され、右画像３１ｂにおいて点Ｄ２（光軸４３ｂから画素ｄ５ほど離れた位置）となる。 As shown in FIG. 6, the left camera 21a has a focal length f and an optical axis 43a composed of a lens 41a and an imaging surface 42a. The right camera 21b has a focal length f composed of a lens 41b and an imaging surface 42b and an optical axis 43b. The corresponding point C located in front of the cameras 21a and 21b is imaged at a point D1 (distance from the optical axis 43a to the distance d2) on the imaging surface 42a of the left camera 21a, and the point D1 (optical axis 43a) in the left image 31a. To the pixel d4). The target point C is imaged at a point D2 (distance from the optical axis 43b to the distance d3) on the imaging surface 42b of the right camera 21b, and becomes a point D2 (a position away from the optical axis 43b by a pixel d5) in the right image 31b. .
すなわち、同一の物体である対応点Ｃが、左画像３１ａでは光軸４３ａから左方向へ画素ｄ４ほど離れた位置に撮像され、右画像３１ｂでは光軸４３ｂから右方向へ画素ｄ５ほど離れた位置に撮像されるため、ｄ４＋ｄ５画素の視差が発生する。左カメラ２１ａの光軸４３ａと対応点Ｃとの距離をｘとすると、次の式にて、ステレオカメラ装置２０から対応点Ｃまでの距離Ｄを求めることができる。 That is, the corresponding point C, which is the same object, is imaged at a position about 4 pixels away from the optical axis 43a in the left direction in the left image 31a, and a position about 5 pixels away from the optical axis 43b in the right direction in the right image 31b. Therefore, a parallax of d4 + d5 pixels is generated. If the distance between the optical axis 43a of the left camera 21a and the corresponding point C is x, the distance D from the stereo camera device 20 to the corresponding point C can be obtained by the following equation.
対応点Ｃと左カメラ２１ａとの関係から、ｄ２：ｆ＝ｘ：Ｄ
対応点Ｃと右カメラ２１ｂとの関係から、ｄ３：ｆ＝（ｄ−ｘ）：Ｄ
この結果、Ｄ＝ｆ・ｄ／（ｄ２＋ｄ３）＝ｆ・ｄ／｛（ｄ４＋ｄ５）・ａ｝となる。ここで、ａは、各カメラ２１ａ，２１ｂの撮像面４２ａ，４２ｂの撮像素子サイズである。
From the relationship between the corresponding point C and the left camera 21a, d2: f = x: D
From the relationship between the corresponding point C and the right camera 21b, d3: f = (d−x): D
As a result, D = f · d / (d2 + d3) = f · d / {(d4 + d5) · a}. Here, a is the image sensor size of the imaging surfaces 42a and 42b of the cameras 21a and 21b.
図６に示す距離算出を、上述のステップＳ１２での対応点算出処理で算出した対応点Ｃの全てにおいて行うことにより、ステレオカメラ装置２０の左カメラ２１ａから対象物までの距離を示す距離画像を算出することができる。 The distance calculation shown in FIG. 6 is performed on all of the corresponding points C calculated by the corresponding point calculation processing in step S12 described above, thereby generating a distance image indicating the distance from the left camera 21a of the stereo camera device 20 to the object. Can be calculated.
次いで、上記ステップＳ１２０の距離算出処理にて算出された距離画像を、距離情報出力処理として出力し距離データとして記憶させる（ステップＳ１４）。図７は、左カメラ２１１から対象物までの距離データに基づく視差画像メモリ２６を示す概略図である。すなわち、図７は、視差画像メモリ２６の記録内容の例を示したものであり、二次元上の画素ごとに、距離データが記録されている。 Next, the distance image calculated in the distance calculation process in step S120 is output as a distance information output process and stored as distance data (step S14). FIG. 7 is a schematic diagram showing the parallax image memory 26 based on the distance data from the left camera 211 to the object. That is, FIG. 7 shows an example of recorded contents of the parallax image memory 26, and distance data is recorded for each two-dimensional pixel.
上記ステップＳ１４の後、左カメラ２１ａおよび右カメラ２１ｂから画像入力信号があるかが判断され（ステップＳ１５）、このステップＳ１５において、左カメラ２１ａおよび右カメラ２１ｂからの画像入力信号の入力がある（Ｙｅｓの）場合は、上記ステップＳ１１へ進む。これに対し、ステップＳ１５において、左カメラ２１ａおよび右カメラ２１ｂからの画像入力信号の入力がない（Ｎｏの）場合は、これら画像入力信号が距離情報算出部２２に入力されるまで待機する。 After step S14, it is determined whether there is an image input signal from the left camera 21a and the right camera 21b (step S15). In this step S15, an image input signal is input from the left camera 21a and the right camera 21b ( If yes, go to step S11. On the other hand, if no image input signals are input from the left camera 21a and the right camera 21b (No) in step S15, the process waits until these image input signals are input to the distance information calculation unit 22.
＜走行路面検出部＞
次に、外部認識装置１０の路面検出部２３での処理について、図８を参照してより詳細に説明する。図８は、車両１の路面検出部２３の処理を示すフローチャートである。図９は、左画像３１ｂと撮影対象Ｅとの関係を示す説明図で、（ａ）は左画像３１ｂを示し、（ｂ）は撮影対象Ｅまでの距離を示す。図１０は、撮影対象Ｅのｘ座標値の算出方法を示す説明図である。
<Running road surface detection unit>
Next, the process in the road surface detection part 23 of the external recognition apparatus 10 is demonstrated in detail with reference to FIG. FIG. 8 is a flowchart showing processing of the road surface detection unit 23 of the vehicle 1. FIG. 9 is an explanatory diagram showing the relationship between the left image 31b and the shooting target E, where (a) shows the left image 31b and (b) shows the distance to the shooting target E. FIG. 10 is an explanatory diagram illustrating a method for calculating the x-coordinate value of the imaging target E.
路面検出部２３は、図８に示すように、まず距離情報算出結果読込処理として、距離情報算出部２２での上述したステップＳ１４の距離情報出力処理にて処理された距離画像情報を読み込む（ステップＳ２１）。 As shown in FIG. 8, the road surface detection unit 23 first reads the distance image information processed in the distance information output process in step S14 in the distance information calculation unit 22 as a distance information calculation result reading process (step S14). S21).
この後、ステップＳ２１で読み込んだ距離画像情報に基づいて、三次元情報算出処理として、画面中の各画素の三次元位置を算出する（ステップＳ２２）。ステップＳ２１で読み込んだ距離画像は、図９（ａ）および図９（ｂ）に示すように、基準とする左カメラ２１ａで撮像した左画像３１ａ中の各画素Ｐｋ（ｋ＝１〜Ｎ、Ｎ＝左画像３１ａの画素数）を撮影している撮影対象Ｅのステレオカメラ装置２０からの距離ｄｋを、左画像３１ａ中の全画素について算出したものである。 Thereafter, based on the distance image information read in step S21, the three-dimensional position of each pixel in the screen is calculated as a three-dimensional information calculation process (step S22). As shown in FIGS. 9A and 9B, the distance image read in step S21 is each pixel Pk (k = 1 to N, N in the left image 31a picked up by the reference left camera 21a. = The number of pixels of the left image 31a) The distance dk from the stereo camera device 20 of the shooting target E that is shooting is calculated for all the pixels in the left image 31a.
この距離ｄｋを用いて、撮影対象Ｅの三次元座標値（ｘｋ，ｙｋ，ｚｋ）を算出する。この三次元座標は、図１０に示すように、車両１を上方から見た場合に、この車両１の進行方向をｚ軸とし、このｚ軸に垂直かつ車両１の左右方向をｘ軸とし、ｚ軸に垂直かつ車両１の上下方向をｙ軸としている。 Using this distance dk, the three-dimensional coordinate value (xk, yk, zk) of the subject E is calculated. As shown in FIG. 10, when the vehicle 1 is viewed from above, the three-dimensional coordinates are such that the traveling direction of the vehicle 1 is the z-axis, the right-and-left direction of the vehicle 1 is the x-axis, The y-axis is the vertical direction of the vehicle 1 perpendicular to the z-axis.
＜ｘ座標値の算出方法＞
ここで、撮影対象Ｅのｘ座標値であるｘｋの算出方法について、図１１を参照して説明する。図１１は、ステレオカメラ装置２０においての撮影対象Ｅのｘ座標値の算出方法を示す説明図で、（ａ）は左カメラ２１ａでの撮影状態を示し、（ｂ）はその左画像３１ａを示す。
<Calculation method of x coordinate value>
Here, a method of calculating xk that is the x coordinate value of the imaging target E will be described with reference to FIG. FIG. 11 is an explanatory diagram showing a method for calculating the x-coordinate value of the photographing target E in the stereo camera device 20, wherein (a) shows the photographing state with the left camera 21a, and (b) shows the left image 31a. .
図１１に示すように、左カメラ２１ａは、ｚ´軸を光軸４３ａとし、図１０中のｚ軸および図１０中のｚ´軸は、図９中のｘｙ平面に対して垂直な平面に等しい平面上にあり、ｚ軸とｚ´軸との成す角度は、図１２に示すステレオカメラ装置２０の設置俯角αと一致する。 As shown in FIG. 11, the left camera 21a uses the z ′ axis as the optical axis 43a, and the z axis in FIG. 10 and the z ′ axis in FIG. 10 are perpendicular to the xy plane in FIG. The angles formed on the same plane and formed by the z axis and the z ′ axis coincide with the installation depression angle α of the stereo camera device 20 shown in FIG.
図１１中の撮像面４２ａを含み、かつｚ´軸に垂直な軸をｘ´軸とすると、ｘ´軸は、図１０中のｘ軸と一致する。図１０中の撮影対象Ｅを図１１中の対象点Ｆとすると、対象点Ｆは、撮像面４２ａの光軸４３ａからｘ´軸の負の方向へ距離Ｘ２ほどずれた位置Ｆ１に撮像される。撮像面４２ａにおいて、撮像素子サイズのｘ´軸の正の方向のサイズをａとすると、対象点Ｆは、左画像３１ａの光軸４３ａから負の方向にＸ３（＝Ｘ２／ａ）画素ほど移動した位置Ｆ２に撮像される。 If the axis that includes the imaging surface 42a in FIG. 11 and is perpendicular to the z′-axis is the x′-axis, the x′-axis coincides with the x-axis in FIG. If the imaging target E in FIG. 10 is the target point F in FIG. 11, the target point F is imaged at a position F1 shifted from the optical axis 43a of the imaging surface 42a by a distance X2 in the negative direction of the x ′ axis. . On the imaging surface 42a, assuming that the size of the imaging element size in the positive direction of the x′-axis is a, the target point F moves about X3 (= X2 / a) pixels in the negative direction from the optical axis 43a of the left image 31a. An image is taken at the position F2.
対象点Ｆの左カメラ２１ａからの距離をｄｋとすると、Ｘ２：ｆ＝Ｘ１：Ｄ１となり、Ｄ１＝ｄｋ・cosθとなる。θは、tanθ＝Ｘ２／ｆから算出される値である。したがって、Ｘ１＝Ｄ１・Ｘ２／ｆ＝Ｄ１・Ｘ３・ａ／ｆとなる。Ｘ３は、図９（ｂ）中の撮影対象Ｅに相当する画素数である。図９（ａ）において、光軸位置に相当する画面中心線Ｇとすると、撮影対象Ｅとしている画素Ｐｋの画面中心線Ｇからの画素数がＸ３に相当する。Ｘ２は、図１０中のｘｋに等しい値である。 If the distance of the target point F from the left camera 21a is dk, then X2: f = X1: D1, and D1 = dk · cos θ. θ is a value calculated from tan θ = X2 / f. Therefore, X1 = D1 · X2 / f = D1 · X3 · a / f. X3 is the number of pixels corresponding to the photographing object E in FIG. In FIG. 9A, when the screen center line G corresponding to the optical axis position is assumed, the number of pixels from the screen center line G of the pixel Pk to be imaged E corresponds to X3. X2 is a value equal to xk in FIG.
＜ｙ座標値の算出方法＞
次に、撮影対象Ｅのｙ座標値であるｙｋの算出方法について、図１２を参照して説明する。図１２は、ステレオカメラ装置２０においての撮影対象Ｅのｙ座標値の算出方法を示す説明図で、（ａ）は左カメラ２１ａでの撮影状態を示し、（ｂ）はその左画像３１ａを示す。
<Calculation method of y coordinate value>
Next, a method of calculating yk that is the y coordinate value of the imaging target E will be described with reference to FIG. 12A and 12B are explanatory diagrams showing a method for calculating the y-coordinate value of the shooting target E in the stereo camera device 20, wherein FIG. 12A shows a shooting state with the left camera 21a, and FIG. 12B shows the left image 31a. .
図１２中のｚ´軸は、図１０中のｚ軸に等しく、ｚ軸とｚ´軸との成す角度は、図１２に示すステレオカメラ装置２０の設置俯角αと一致する。図１２中の撮像面４２ａを含み、かつｚ´軸に垂直な軸をｙ´軸とし、図１０中の撮影対象Ｅを図１１中の対象点Ｆとすると、対象点Ｆは、撮像面４２ａの光軸４３ａからｙ´軸の正の方向へ距離Ｙ２ほどずれた位置に撮像される。すなわち、撮像面４２ａにおいて、撮像素子サイズのｙ´軸の正の方向のサイズをｂとすると、対象点Ｆは、図１２（ｂ）に示す左画像３１ａの画面中央線ＨからＹ３（＝Ｙ２／ｂ）画素ほど移動した位置Ｆ２に撮像される。対象点Ｆの左カメラ２１ａからの距離をｄｋとすると、ｙｋ＝ｄｋ・sin（θ＋α）となる。θは、tanθ＝Ｙ２／ｆから算出される値である。 The z ′ axis in FIG. 12 is equal to the z axis in FIG. 10, and the angle formed between the z axis and the z ′ axis coincides with the installation depression angle α of the stereo camera device 20 shown in FIG. If the y ′ axis is an axis that includes the imaging surface 42a in FIG. 12 and is perpendicular to the z ′ axis, and the imaging target E in FIG. 10 is the target point F in FIG. 11, the target point F is the imaging surface 42a. An image is taken at a position shifted from the optical axis 43a by a distance Y2 in the positive direction of the y ′ axis. That is, on the imaging surface 42a, if the size of the imaging element size in the positive direction of the y′-axis is b, the target point F is Y3 (= Y2) from the screen center line H of the left image 31a shown in FIG. / B) An image is taken at a position F2 that has moved by about a pixel. If the distance of the target point F from the left camera 21a is dk, yk = dk · sin (θ + α). θ is a value calculated from tan θ = Y2 / f.
＜ｚ座標値の算出方法＞
次に、撮影対象Ｅのｚ座標値であるｚｋの算出方法について、図１２を参照して説明する。
<Calculation method of z coordinate value>
Next, a method for calculating zk, which is the z coordinate value of the subject E, will be described with reference to FIG.
ｚｋは、図１２に示すように、ｚｋ＝ｄｋ・cos（θ＋α）であり、θは、tanθ＝Ｙ２／ｆから算出される値である。したがって、上述したｘｙｚ座標値の算出方法を用いることにより、図９（ａ）に示す左画像３１ａの全画素について、画素Ｐｋの三次元座標（ｘｋ、ｙｋ、ｚｋ）を算出することができる。 As shown in FIG. 12, zk is zk = dk · cos (θ + α), and θ is a value calculated from tan θ = Y2 / f. Therefore, by using the above-described xyz coordinate value calculation method, the three-dimensional coordinates (xk, yk, zk) of the pixel Pk can be calculated for all the pixels of the left image 31a shown in FIG.
さらに、図８に示すように、上述したステップＳ２２の三次元情報算出処理にて算出した左画像３１ａの各画素のうち、路面２である可能性が高い画素を抽出する、路面当てはめ処理を行う（ステップＳ２３）。図１３は、ステレオカメラ装置２０にて路面２を求める方法を示す説明図である。 Further, as shown in FIG. 8, a road surface fitting process is performed in which a pixel that is highly likely to be the road surface 2 is extracted from each pixel of the left image 31 a calculated by the three-dimensional information calculation process in step S <b> 22 described above. (Step S23). FIG. 13 is an explanatory diagram showing a method for obtaining the road surface 2 by the stereo camera device 20.
図１３において、左カメラ２１ａで撮影した左画像３１ａ中に、道路である路面２が撮像されている。この左画像３１ａ中の車両１に近い部分である点線で示した点線部分の領域Ｉに属する各画素を、路面当てはめに使用する画素として抽出する。 In FIG. 13, the road surface 2 which is a road is imaged in the left image 31a photographed by the left camera 21a. In the left image 31a, each pixel belonging to the region I of the dotted line portion indicated by a dotted line that is a portion close to the vehicle 1 is extracted as a pixel used for road surface fitting.
図１０に示す座標系において、走行路面式をａｘ＋ｂｙ＋ｃｚ＋ｄ＝０とし、抽出した画素の三次元座標をＰｉ（ｘｉ、ｙｉ、ｚｉ）、（ただし、ｉ＝０〜Ｊ、Ｊは、抽出した画素数）とすると、Ｐｉを満たすパラメータａ，ｂ，ｃを算出することにより、路面２を求めることができる。 In the coordinate system shown in FIG. 10, the road surface equation is ax + by + cz + d = 0, and the three-dimensional coordinates of the extracted pixels are Pi (xi, yi, zi), where i = 0 to J and J are the number of extracted pixels. ), The road surface 2 can be obtained by calculating the parameters a, b, and c that satisfy Pi.
次いで、外界認識装置１０の土煙境界検出部２４について、図１４および図１５を参照して、より詳細に説明する。図１４は、車両１の土煙境界検出部２４の構成を示す概略図である。図１５は、土煙境界検出部２４での処理を示す説明図である。ここで、図１４においては、土煙境界検出部２４の構成に加え、土煙境界検出部２４でのデータ処理過程に基づく動作フローについても示されている。 Next, the earth / smoke boundary detection unit 24 of the external environment recognition device 10 will be described in more detail with reference to FIGS. 14 and 15. FIG. 14 is a schematic diagram illustrating a configuration of the earth / smoke boundary detection unit 24 of the vehicle 1. FIG. 15 is an explanatory diagram showing processing in the soil / smoke boundary detection unit 24. Here, in FIG. 14, in addition to the configuration of the soil / smoke boundary detection unit 24, an operation flow based on the data processing process in the soil / smoke boundary detection unit 24 is also illustrated.
土煙境界検出部２４は、処理タイミング調整のためのカメラ画像メモリ２４ａと、左画像３１ａ中のエッジ画素メモリ２４ｃを生成するためのエッジ抽出処理部２４ｂと、エッジ画素メモリ２４ｃ中にノイズがあった場合の影響を少なくするための処置を行うエッジブロック化処理部２４ｄとを備えている。また、土煙境界検出部２４は、エッジブロック化処理部２４ｄにて生成したエッジブロックメモリ２４ｅに基づいて土煙領域を特定するエッジ領域判定部２４ｆと、エッジ領域判定部２４ｆにてグループ化されたエッジ判定メモリ２４ｇ中の下辺座標データを抽出するエッジ領域下辺座標抽出部２４ｈとを備えている。 The earth / smoke boundary detection unit 24 has noise in the camera image memory 24a for adjusting the processing timing, the edge extraction processing unit 24b for generating the edge pixel memory 24c in the left image 31a, and the edge pixel memory 24c. And an edge blocking processing unit 24d for performing a treatment for reducing the influence of the case. The soil / smoke boundary detection unit 24 includes an edge region determination unit 24f that identifies a soil / smoke region based on the edge block memory 24e generated by the edge block processing unit 24d, and an edge grouped by the edge region determination unit 24f. An edge region lower side coordinate extraction unit 24h that extracts lower side coordinate data in the determination memory 24g.
土煙境界検出部２４においては、ステレオカメラ装置２０の左カメラ２１ａから入力された左画像データが、一時的にカメラ画像メモリ２４ａとして格納される。カメラ画像メモリ２４ａは、エッジ抽出処理部２４ｂへ出力され、このエッジ抽出処理部２４ｂにて左画像３１ａ中のエッジ画素メモリ２３ｃが生成される。エッジ画素メモリ２３ｃは、左右の隣接する画素同士の差分の絶対値を計算し、この計算した絶対値が任意の閾値以上の画素に１を設定し、この閾値より小さい画素に０を設定したデータであり、図１５に示すように、１画素１ビットで、エッジが検出された画素に１が設定されている。 In the soil / smoke boundary detection unit 24, the left image data input from the left camera 21a of the stereo camera device 20 is temporarily stored as the camera image memory 24a. The camera image memory 24a is output to the edge extraction processing unit 24b, and an edge pixel memory 23c in the left image 31a is generated by the edge extraction processing unit 24b. The edge pixel memory 23c calculates an absolute value of a difference between adjacent pixels on the left and right, sets 1 to a pixel whose calculated absolute value is equal to or larger than an arbitrary threshold value, and sets 0 to a pixel smaller than the threshold value. As shown in FIG. 15, 1 is set for a pixel in which an edge is detected with 1 bit per pixel.
そして、エッジ抽出処理部２４ｂにて生成されたエッジ画素メモリ２３ｃがエッジブロック化処理部２４ｄへ出力され、このエッジブロック化処理部２４ｄにより、エッジ画素メモリ２３ｃ中の幾つかの画素を１つのブロックとして集約したデータが作成される。例えば、４画素×４画素の１６画素を１つのブロックとし、この１つのブロック中の１の数が所定値以上の場合に１を設定したエッジブロックメモリ２４ｅが生成される。このエッジブロックメモリ２４ｅは、例えば１の数を８個とする。 Then, the edge pixel memory 23c generated by the edge extraction processing unit 24b is output to the edge blocking processing unit 24d, and several pixels in the edge pixel memory 23c are converted into one block by the edge blocking processing unit 24d. As a result, aggregated data is created. For example, 16 pixels of 4 pixels × 4 pixels are defined as one block, and when the number of 1s in the one block is equal to or larger than a predetermined value, the edge block memory 24e in which 1 is set is generated. In the edge block memory 24e, for example, the number of 1 is eight.
エッジブロックメモリ２４ｅは、エッジ領域判定部２４ｆへ出力され、エッジ領域判定部２４ｆにて土煙領域が特定される。エッジ領域判定部２４ｆにおいては、画像３１ａ中の土煙５が発生している領域はエッジが無くなるため、所定以上の広さでエッジが無い部分を検出し、土煙５の発生部分を特定する。エッジ領域判定部２４ｆは、エッジブロックメモリ２４ｅにおいて、Ｙ方向が所定の長さでゼロ（０）が連続する部分、およびＸ方向が所定の長さでゼロ（０）が連続する部分をグループ化する。 The edge block memory 24e is output to the edge region determination unit 24f, and the soil region is specified by the edge region determination unit 24f. In the edge region determination unit 24f, the region where the soil smoke 5 is generated in the image 31a has no edge. Therefore, a portion having an edge larger than a predetermined width and having no edge is detected, and the portion where the soil smoke 5 is generated is specified. In the edge block memory 24e, the edge region determination unit 24f groups a portion where the Y direction is a predetermined length and zero (0) continues, and a portion where the X direction is a predetermined length and zero (0) continues. To do.
例えば、図１５においては、Ｙ方向に４以上およびＸ方向に４以上の領域の太線で囲った部分がグループ化されてエッジ判定メモリ２４ｇとされている。エッジ判定メモリ２４ｇは、囲まれた領域（部分）がゼロ（０）とされ、それ以外の部分が１とされたデータである。この後、エッジ判定メモリ２４ｇがエッジ領域下辺座標抽出部２４ｈへ出力され、エッジ判定メモリ２４ｇ中の下辺座標データが抽出される。さらに、下辺座標データが距離測定部２５へ出力され、この下辺座標データに基づいて、エッジが出ていない領域が路面２に接しているかが距離測定部２５にて判定される。 For example, in FIG. 15, the portion surrounded by a thick line in the region of 4 or more in the Y direction and 4 or more in the X direction is grouped into the edge determination memory 24g. The edge determination memory 24g is data in which the enclosed area (part) is set to zero (0) and the other part is set to 1. Thereafter, the edge determination memory 24g is output to the edge region lower side coordinate extraction unit 24h, and the lower side coordinate data in the edge determination memory 24g is extracted. Further, the lower side coordinate data is output to the distance measuring unit 25, and based on the lower side coordinate data, the distance measuring unit 25 determines whether an area where no edge is in contact with the road surface 2.
＜距離測定部＞
次に、外界認識装置１０の距離測定部２５での処理について、図１６を参照してより詳細に説明する。図１６は、車両１の距離測定部２５の動作を示すフローチャートである。図１７は、距離測定部２５にて検出される先行車両６までの距離に関する距離データ２６ａを示す概略図である。
<Distance measurement unit>
Next, processing in the distance measuring unit 25 of the external environment recognition apparatus 10 will be described in more detail with reference to FIG. FIG. 16 is a flowchart showing the operation of the distance measuring unit 25 of the vehicle 1. FIG. 17 is a schematic diagram showing distance data 26 a regarding the distance to the preceding vehicle 6 detected by the distance measuring unit 25.
図１６に示すように、例えば先行車両６等の障害物が路面２上に検出されたかが障害物検出部２９にて判定される（ステップＳ５１）。先行車両６に該当する部分の視差画像メモリ２６中の距離データは、Ｘ方向およびＹ方向のそれぞれにおいて所定の距離範囲を有する情報であるため、これら距離範囲を検出することによって、路面２上の障害物を検出することができる。すなわち、先行車両６のシルエット形状に相当する部分については、路面２に対し垂直な壁として検出される。 As shown in FIG. 16, for example, the obstacle detection unit 29 determines whether an obstacle such as the preceding vehicle 6 is detected on the road surface 2 (step S51). Since the distance data in the parallax image memory 26 corresponding to the preceding vehicle 6 is information having a predetermined distance range in each of the X direction and the Y direction, the distance data on the road surface 2 can be detected by detecting these distance ranges. Obstacles can be detected. That is, a portion corresponding to the silhouette shape of the preceding vehicle 6 is detected as a wall perpendicular to the road surface 2.
先行車両６までの距離情報は、図１７に示す視差画像メモリ２６中に距離データ２６ａとして検出される。先行車両６は、図１７に示すように、Ｘ方向およびＹ方向それぞれの距離に応じた大きさの領域で距離情報が略同一となる。視差画像メモリ２６中での距離データ２６ａの検出は、土煙５が発生していないことを示しているため、上記ステップＳ５１でのＹｅｓの場合に該当し、先行車両６までの距離を走行可能距離として出力する（ステップＳ６１）。 The distance information to the preceding vehicle 6 is detected as distance data 26a in the parallax image memory 26 shown in FIG. As shown in FIG. 17, the preceding vehicle 6 has substantially the same distance information in an area having a size corresponding to the distance in each of the X direction and the Y direction. Since the detection of the distance data 26a in the parallax image memory 26 indicates that no soil smoke 5 is generated, this corresponds to the case of Yes in step S51, and the distance to the preceding vehicle 6 can be traveled. (Step S61).
これに対し、視差画像メモリ２６中に先行車両６を検知できない場合は、上記ステップＳ５１のＮｏの場合に該当し、エッジ判定メモリ３４ｇを、Ｙ方向の値が大きい側（画面下側）から１行ずつ読み出していく（ステップＳ５２）。次いで、ステップＳ５２にて読み出した１行のエッジ判定メモリ３４ｇをＸ方向にサーチし、０が所定の長さ以上に連続するエリアを土煙エリア候補として検出する（ステップＳ５３）。この後、ステップＳ５３０にて検出したエリアの一部または全部が路面範囲に含まれているかを判定する（ステップＳ５４）。 On the other hand, when the preceding vehicle 6 cannot be detected in the parallax image memory 26, this corresponds to the case of No in step S51, and the edge determination memory 34g is set to 1 from the side with the larger value in the Y direction (screen lower side). The data is read line by line (step S52). Next, the edge determination memory 34g of one row read in step S52 is searched in the X direction, and an area where 0 continues for a predetermined length or more is detected as a soil area candidate (step S53). Thereafter, it is determined whether a part or all of the area detected in step S530 is included in the road surface range (step S54).
ステップＳ５４にて、検出したエリアの一部または全部が路面範囲に含まれていなかった（Ｎｏの）場合は、車両１の走行に影響を与えないため、土煙５でないと判断して、エッジ判定メモリ２４ｇ中のＹ方向位置（Ｙポインタ）を更新し（ステップＳ５８）、このエッジ判定メモリ２４ｇを１画面全体に亘って読み終えたかを判定する（ステップＳ５９）。ステップＳ５９にてエッジ判定メモリ２４ｇを１画面分読み終えている（Ｙｅｓの）場合は、路面２上に土煙５の発生がなく、かつ先行車両６が存在しないため、視差画像メモリ２６上の路面２の最遠距離値を走行可能距離とする（ステップＳ６０）。 In step S54, if part or all of the detected area is not included in the road surface range (No), it is determined that it is not soil 5 because it does not affect the traveling of the vehicle 1, and edge determination is performed. The Y direction position (Y pointer) in the memory 24g is updated (step S58), and it is determined whether the edge determination memory 24g has been read over the entire screen (step S59). If the edge determination memory 24g has been read for one screen (Yes) in step S59, there is no generation of soil 5 on the road surface 2 and there is no preceding vehicle 6, so the road surface on the parallax image memory 26 The farthest distance value of 2 is set as the travelable distance (step S60).
これに対し、上記ステップＳ５４にて、検出したエリアの一部または全部が路面範囲に含まれていた（Ｙｅｓの）場合は、路面範囲に含まれていたエリアの画像上の底辺座標（Ｘｂ，Ｙｂ）を特定する（ステップＳ５５）。底辺座標は、土煙５と路面２との境界部分を示す。次いで、ステップＳ５５にて特定した底辺座標（Ｘｂ，Ｙｂ）に基づき、視差画像メモリ２６を読み出す（ステップＳ５６）。そして、ステップＳ５６にて読みだした視差画像メモリ２６中の距離データを走行可能距離として出力する（ステップＳ５７）。 On the other hand, if part or all of the detected area is included in the road surface range (Yes) in step S54, the bottom coordinates (Xb, Yb) is specified (step S55). The base coordinates indicate the boundary portion between the soil 5 and the road surface 2. Next, the parallax image memory 26 is read based on the base coordinates (Xb, Yb) specified in step S55 (step S56). Then, the distance data in the parallax image memory 26 read in step S56 is output as the travelable distance (step S57).
ステップＳ５７にて走行可能距離が出力された場合には、土煙５により先行車両６が確認できない状況にある等を示す土煙発生通知情報を、外部通信装置２８にて車両１以外の情報センタ３に通知する（ステップＳ６２）。この土煙発生通知情報を受信した情報センタ３は、土煙５が確認できた位置の路面２への散水計画を立てたり、後続車両（図示せず）に対し走行速度を低下させる等の情報を送信して指示したりする。 When the travelable distance is output in step S57, the smoke generation notification information indicating that the preceding vehicle 6 cannot be confirmed by the smoke 5 is sent to the information center 3 other than the vehicle 1 by the external communication device 28. Notification is made (step S62). The information center 3 that has received the notification of occurrence of soil smoke sends information such as making a water spray plan to the road surface 2 at the position where the soil smoke 5 can be confirmed or reducing the traveling speed to the following vehicle (not shown). Or give instructions.
以上により、上記第１実施形態に係る車両１においては、車両本体１ａの前側に取り付けられたステレオカメラ装置２０の各カメラ２１ａ，２１ｂにて撮影した画像３１ａ，３１ｂに基づいて、路面検出部２３にて路面２を検出するとともに、土煙境界判定部２４にて土煙５の境界を判定する。そして、路面検出部２３にて検出した路面情報と、土煙境界判定部２４にて判定した土煙境界情報とに基づいて、距離測定部２５にて車両１が走行可能な走行可能距離を算出することにより、土煙発生時等における路面２上の走行可能な距離を把握でき、土煙発生時における走行安全性の確保を容易に行うことができる。 As described above, in the vehicle 1 according to the first embodiment, the road surface detection unit 23 is based on the images 31a and 31b captured by the cameras 21a and 21b of the stereo camera device 20 attached to the front side of the vehicle body 1a. The road surface 2 is detected at, and the boundary of the soil smoke 5 is determined by the soil smoke boundary determination unit 24. Based on the road surface information detected by the road surface detection unit 23 and the soil / smoke boundary information determined by the soil / smoke boundary determination unit 24, the distance measurement unit 25 calculates a travelable distance that the vehicle 1 can travel. Thus, it is possible to grasp the distance that can be traveled on the road surface 2 when soil smoke is generated, and it is possible to easily ensure traveling safety when soil smoke is generated.
特に、土煙境界検出部２４において、左カメラ２１ａから入力された左画像データからエッジ抽出処理部２４ｂにてエッジ画素メモリ２４ｃを生成し、このエッジ画素メモリ２４ｃをエッジブロック化処理部２４ｄにてブロック化してエッジブロックメモリ２４ｅを生成し、このエッジブロックメモリ２４ｅに基づいてエッジ領域判定部２４ｆにて土煙領域を特定する。この結果、エッジブロックメモリ２４ｅにおいて、Ｙ方向が所定の長さでゼロ（０）が連続する部分、およびＸ方向が所定の長さでゼロ（０）が連続する部分をグループ化してエッジ判定メモリ２４ｇとし、このエッジ判定メモリ２４ｇ中の下辺座標データを抽出することにより、路面２と土煙５との境界を検出できる。したがって、左カメラ２１ａにて撮影した左画像３１ａに基づく土煙５の判定処理を容易に行うことができ、土煙発生時における土煙５の判定処理が容易にできるから、土煙発生時における走行安全性をより適切に確保することができる。 In particular, in the earth / smoke boundary detection unit 24, an edge pixel memory 24c is generated by the edge extraction processing unit 24b from the left image data input from the left camera 21a, and the edge pixel memory 24c is blocked by the edge blocking processing unit 24d. To generate an edge block memory 24e, and based on the edge block memory 24e, an edge area determination unit 24f specifies a soil area. As a result, in the edge block memory 24e, a portion where the Y direction is a predetermined length and zero (0) continues and a portion where the X direction is a predetermined length and zero (0) continues are grouped to form an edge determination memory. The boundary between the road surface 2 and the soil smoke 5 can be detected by extracting the lower side coordinate data in the edge determination memory 24g. Accordingly, the determination process of the soil smoke 5 based on the left image 31a photographed by the left camera 21a can be easily performed, and the determination process of the soil smoke 5 when the soil smoke is generated can be easily performed. It can be secured more appropriately.
さらに、ステレオカメラ装置２０の各カメラ２１ａ，２１ｂにて同時刻に撮影して左画像３１ａおよび右画像３１ｂに基づき、左画像３１ａを基準画像とし、右画像３１ｂを比較画像とし、これら左画像３１ａと右画像３１ｂとの差分から路面検出部２３にて路面を検出する。そして、ステレオカメラ装置２０の左カメラ２１ａにて撮影した左画像３１ａに基づいて土煙境界判定部２４にて土煙５の境界を判定する。この結果、路面２を検出する際の基準とする画像と、土煙５を判定する際の基準とする画像とを左画像３１ａとして等しくできるから、距離測定部２３での走行可能距離の算出をより精度良くでき、土煙発生時における走行安全性をより適切に確保することができる。 Furthermore, the left camera 31a is used as a reference image, the right image 31b is used as a comparative image, and the left image 31a is captured based on the left image 31a and the right image 31b. The road surface detection unit 23 detects the road surface from the difference between the right image 31b and the right image 31b. Then, based on the left image 31a photographed by the left camera 21a of the stereo camera device 20, the soil smoke boundary determination unit 24 determines the boundary of the soil smoke 5. As a result, since the image used as the reference when detecting the road surface 2 and the image used as the reference when determining the soil smoke 5 can be made equal as the left image 31a, the distance measurement unit 23 can further calculate the travelable distance. It is possible to improve the accuracy and ensure the safety of traveling when soil smoke is generated more appropriately.
また、土煙境界検出部２４にて判定した土煙５により障害物検出部２９にて検出した先行車両６が距離測定部２５にて認識できない場合に、この距離測定部２５から出力される土煙発生情報を、外部通信装置２８にて車両１外部の情報センタ３等に向けて通知する。このため、外部通信装置２８からの土煙発生情報の通知を受けた情報センタ３にて、路面２上の土煙５を抑制するための散水車（図示せず）を走行させる時期を知ることができるとともに、情報センタ３から先行車両６へ所定の情報を送信することにより、この先行車両６に車両１の存在を認識させることができ、これら先行車両６と車両１との接触をより確実に防止することができる。 In addition, when the preceding vehicle 6 detected by the obstacle detection unit 29 cannot be recognized by the distance measurement unit 25 based on the soil smoke 5 determined by the soil / smoke boundary detection unit 24, the soil smoke generation information output from the distance measurement unit 25. Is notified to the information center 3 outside the vehicle 1 by the external communication device 28. For this reason, the information center 3 that has received the notification of the generation information of the smoke from the external communication device 28 can know when to run the water truck (not shown) for suppressing the smoke 5 on the road surface 2. At the same time, by transmitting predetermined information from the information center 3 to the preceding vehicle 6, it is possible to make the preceding vehicle 6 recognize the presence of the vehicle 1 and more reliably prevent contact between the preceding vehicle 6 and the vehicle 1. can do.
［第２実施形態］
図１８は、本発明の第２実施形態に係る車両１を示す概略構成図である。また、図１９は、車両１での距離の測定原理を示す説明図である。本第２実施形態が前述した第１実施形態と異なるのは、第１実施形態は、ステレオカメラ装置２０にて土煙発生時の走行可能距離を算出したのに対し、第２実施形態は、単眼カメラ装置６１を用いた遠近法で土煙発生時の走行可能距離を算出する。なお、本第２実施形態において、第１実施形態と同一又は対応する部分には同一符号を付している。
[Second Embodiment]
FIG. 18 is a schematic configuration diagram showing a vehicle 1 according to the second embodiment of the present invention. FIG. 19 is an explanatory diagram showing the principle of measuring the distance in the vehicle 1. The second embodiment is different from the first embodiment described above. In the first embodiment, the stereo camera device 20 calculates the travelable distance when the soil smoke is generated, whereas the second embodiment is monocular. A travelable distance at the time of generation of soil smoke is calculated by a perspective method using the camera device 61. In the second embodiment, the same or corresponding parts as those in the first embodiment are denoted by the same reference numerals.
＜構成＞
本第２実施形態においては、車両本体１ａの前側の左右方向の中心位置に単眼カメラ装置６１が取り付けられ、この車両本体１ａに外界認識装置１０Ａが取り付けられている。外部認識装置１０Ａは、図１８に示すように、単眼カメラ装置６１で撮影した画像７１が入力される土煙境界検出部２４、路面検出部６２および先行車両検出部６３を備えている。先行車両検出部６３は、先行車両６の特徴を示す特徴画像が予めテンプレート画像として記憶されており、先行車両６のテンプレート画像を画像７１中から探し出すパターンマッチング法で検出する。
<Configuration>
In the second embodiment, the monocular camera device 61 is attached to the center position in the left-right direction on the front side of the vehicle main body 1a, and the external recognition device 10A is attached to the vehicle main body 1a. As illustrated in FIG. 18, the external recognition device 10 </ b> A includes an earth / smoke boundary detection unit 24, a road surface detection unit 62, and a preceding vehicle detection unit 63 to which an image 71 photographed by the monocular camera device 61 is input. The preceding vehicle detection unit 63 stores a feature image indicating the feature of the preceding vehicle 6 in advance as a template image, and detects the template image of the preceding vehicle 6 by a pattern matching method that searches the image 71.
外界認識装置１０Ａは、単眼カメラ装置６１にて異なる時間に撮影された画像を用いて、先行車両６との相対速度を推定するためのフレーム結果記憶部６５および相対速度推定部６６を備えている。相対速度推定部６６は、単眼カメラ装置６１にて時刻ｔ１に撮影した基準画像としての第１の画像７１と、この第１の画像７１を撮影した後である時刻ｔ２に単眼カメラ装置６１にて撮影した比較画像としての第２の画像７１との差分に基づいて、先行車両６と車両１との相対速度を算出する相対速度検出部としての先行車両距離変化検出部である。 The external recognition device 10A includes a frame result storage unit 65 and a relative speed estimation unit 66 for estimating a relative speed with respect to the preceding vehicle 6 using images taken at different times by the monocular camera device 61. . The relative speed estimation unit 66 includes a first image 71 as a reference image captured at the time t1 by the monocular camera device 61, and the monocular camera device 61 at the time t2 after capturing the first image 71. It is a preceding vehicle distance change detection part as a relative speed detection part which calculates the relative speed of the preceding vehicle 6 and the vehicle 1 based on the difference with the 2nd image 71 as a taken comparison image.
相対速度推定部６６は、単眼カメラ装置６１にて時刻ｔ１に撮影した画像７１中の土煙の下端側の位置Ｙ１と、時刻ｔ１から所定時間が経過した時刻ｔ２に撮影した画像７１中の土煙の下端側の位置Ｙ２とにより、これら時刻ｔ１，ｔ２の時間差における車両１と先行車両６との距離の差分Ｒｄを算出する。差分Ｒｄは、Ｆ・ＨＯ／｛（Ｙ２−Ｙ１）−Ｙｄ｝にて算出される。フレーム結果記憶部６５においては、位置Ｙ１，Ｙ２が記憶され、単眼カメラ装置６１にて撮影される画像７１が新規に入力される度に、記憶させた位置Ｙ１，Ｙ２が書き換えられる。先行車両６との距離Ｒは、＝Ｆ・ＨＯ／（Ｙｄ−Ｙｆ）となる。Ｆは単眼カメラ装置６１の焦点距離で、ＨＯは単眼カメラ装置６１の地面からの高さ距離で、Ｙｄは道路消失点ＪのＹ座標値で、Ｙｆは先行車両６（障害物）の最低位置である。 The relative speed estimation unit 66 has a position Y1 on the lower end side of the soil smoke in the image 71 photographed at the time t1 by the monocular camera device 61, and the soil smoke in the image 71 photographed at the time t2 when a predetermined time has elapsed from the time t1. Based on the position Y2 on the lower end side, a distance difference Rd between the vehicle 1 and the preceding vehicle 6 at the time difference between these times t1 and t2 is calculated. The difference Rd is calculated by F · HO / {(Y2−Y1) −Yd}. In the frame result storage unit 65, the positions Y1 and Y2 are stored, and the stored positions Y1 and Y2 are rewritten each time an image 71 photographed by the monocular camera device 61 is newly input. The distance R with the preceding vehicle 6 is = F · HO / (Yd−Yf). F is the focal length of the monocular camera device 61, HO is the height distance from the ground of the monocular camera device 61, Yd is the Y coordinate value of the road vanishing point J, and Yf is the lowest position of the preceding vehicle 6 (obstacle). It is.
＜路面検出部＞
路面検出部６２は、図１９に示す画像７１中から左右の路肩７を検出し、これら左右の路肩７で挟まれた領域を画像７１中の路面２として特定する。路肩７は、路面２の幅を特定する目的から、路面２の左右の両脇に設置されている。路面検出部６２は、図１９に示すように、単眼カメラ装置６１にて撮影した画像７１において、遠近法では路面２の幅は無限遠の地平線で一点、すなわち道路消失点Ｊに収束することを活用している。路面２上の物体が路面２と接する位置は、画像７１上の道路消失点Ｊの位置よりも下に位置するため、車両１に近づくに連れて先行車両６が下にずれることから、このずれ量を計測して距離を測定する。
<Road surface detection unit>
The road surface detection unit 62 detects the left and right road shoulders 7 from the image 71 shown in FIG. 19, and specifies the region sandwiched between the left and right road shoulders 7 as the road surface 2 in the image 71. The road shoulder 7 is installed on both the left and right sides of the road surface 2 for the purpose of specifying the width of the road surface 2. In the image 71 photographed by the monocular camera device 61, the road surface detection unit 62 indicates that in the perspective method, the width of the road surface 2 converges to one point on the horizon at infinity, that is, the road vanishing point J, as shown in FIG. I use it. Since the position where the object on the road surface 2 is in contact with the road surface 2 is located below the position of the road vanishing point J on the image 71, the preceding vehicle 6 is shifted downward as the vehicle 1 is approached. Measure quantity and measure distance.
＜距離測定部＞
土煙境界検出部２４にて検出された土煙境界情報、路面検出部６２にて検出された路面情報、および先行車両検出部６３にて検出された先行車両情報が距離測定部６４に入力され、距離測定部６４は、入力される土煙境界情報、路面情報および先行車両情報に基づいて走行可能距離を算出する。図２０は、車両１の距離測定部６４の動作を示すフローチャートである。
<Distance measurement unit>
The soil / smoke boundary information detected by the soil / smoke boundary detection unit 24, the road surface information detected by the road surface detection unit 62, and the preceding vehicle information detected by the preceding vehicle detection unit 63 are input to the distance measurement unit 64. The measuring unit 64 calculates a travelable distance based on the input soil / border boundary information, road surface information, and preceding vehicle information. FIG. 20 is a flowchart showing the operation of the distance measuring unit 64 of the vehicle 1.
図２０に示すように、単眼カメラ装置６１にて撮影した画像７１の入力が行われ（ステップＳ７１）、先行車両検出部６３にて先行車両６の有無が検出される（ステップＳ７２）。ステップＳ７２にて先行車両６が検出された（Ｙｅｓの）場合は、土煙３の発生がないと判断され、距離測定部６４により、先行車両６の位置までが走行可能距離とされる（ステップＳ７７）。 As shown in FIG. 20, an image 71 photographed by the monocular camera device 61 is input (step S71), and the presence or absence of the preceding vehicle 6 is detected by the preceding vehicle detection unit 63 (step S72). If the preceding vehicle 6 is detected in step S72 (Yes), it is determined that no soot 3 is generated, and the distance measuring unit 64 sets the travelable distance to the position of the preceding vehicle 6 (step S77). ).
これに対し、ステップＳ７２にて、先行車両６が検出できない（Ｎｏの）場合は、上記第１実施形態と同様に、土煙境界検出部６３にて土煙領域が検出される（ステップＳ７３）。このステップ７３での土煙領域の検出、すなわち土煙５の有無が判断され（ステップＳ７４）、ステップＳ７４にて、土煙５なしと判断された（Ｎｏの）場合は、予め設定した最大距離が走行可能距離として出力される（ステップＳ７８）。一方、ステップＳ７４にて、土煙５ありと判断された（Ｙｅｓの）場合は、検出された土煙領域の最下部が、左右の路肩７で挟まれた位置に路面２が存在するかが判定される（ステップＳ７５）。 On the other hand, if the preceding vehicle 6 cannot be detected (No) in step S72, the soil / smoke boundary detection unit 63 detects a soil / smoke area (step S73), as in the first embodiment. The detection of the soil area in step 73, that is, the presence or absence of soil smoke 5 is determined (step S74). If it is determined in step S74 that there is no soil smoke 5 (No), the maximum distance set in advance can be traveled. The distance is output (step S78). On the other hand, if it is determined in step S74 that there is soil 5 (Yes), it is determined whether the road surface 2 exists at a position where the lowermost portion of the detected soil smoke region is sandwiched between the left and right shoulders 7. (Step S75).
このステップＳ７５にて、土煙領域の最下部に対して少なくともいずれか一方の路肩７が検出されない（Ｎｏの）場合は、画像７１中の路肩７が検出できる位置までが走行可能距離とされる（ステップＳ７９）。これに対し、土煙領域の最下部が路肩７に挟まれている（Ｙｅｓの）場合は、この土煙領域の最下部のＹ方向の位置を検出し、このＹ方向の位置が距離に変換されて走行可能距離として出力される（ステップＳ７６）。 In this step S75, when at least one of the road shoulders 7 is not detected with respect to the lowermost part of the soil smoke area (No), the travelable distance is set to a position where the road shoulder 7 can be detected in the image 71 ( Step S79). On the other hand, when the lowermost part of the soil smoke area is sandwiched between the shoulders 7 (Yes), the position of the lowermost part of the soil smoke area in the Y direction is detected, and the position in the Y direction is converted into a distance. The travelable distance is output (step S76).
＜相対速度推定部＞
次いで、外界認識装置１０Ａの相対速度推定部６６の処理について、図２１および図２２を参照してより詳細に説明する。図２１は、車両１の単眼カメラ装置６１に撮影した時間差を有する２つ画像７１を示す概略図で、（ａ）は時刻ｔ１の画像で、（ｂ）は時刻ｔ２の画像である。図２２は、車両１の相対速度推定部６６での処理を示すフローチャートである。
<Relative speed estimation part>
Next, the processing of the relative speed estimation unit 66 of the external environment recognition device 10A will be described in more detail with reference to FIGS. FIG. 21 is a schematic diagram showing two images 71 having a time difference photographed by the monocular camera device 61 of the vehicle 1, where (a) is an image at time t1 and (b) is an image at time t2. FIG. 22 is a flowchart showing processing in the relative speed estimation unit 66 of the vehicle 1.
図２２に示すように、フレーム結果記憶部６５に時刻ｔ１に記憶された図２１（ａ）に示す先行車両６の位置Ｙ１が読み出される（ステップＳ８１）。次いで、フレーム結果記憶部６５に時刻ｔ２に記憶された図２１（ｂ）に示す先行車両６の位置Ｙ２が読み出され、これら位置Ｙ１と位置Ｙ２との距離の差分Ｒｄが算出される（ステップＳ８２）。ステップＳ８２にて算出された差分Ｒｄがマイナス（負の値）かが判断され（ステップＳ８３）、ステップＳ８３での判断により差分Ｒｄがマイナスと判断された（Ｙｅｓの）場合は、前方車両６との車間距離が小さくなっていくため、車両制御部２７を介して減速指示される（ステップＳ８４）。 As shown in FIG. 22, the position Y1 of the preceding vehicle 6 shown in FIG. 21A stored in the frame result storage unit 65 at time t1 is read (step S81). Next, the position Y2 of the preceding vehicle 6 shown in FIG. 21B stored in the frame result storage unit 65 at time t2 is read, and the difference Rd between the positions Y1 and Y2 is calculated (step). S82). It is determined whether or not the difference Rd calculated in step S82 is negative (negative value) (step S83). If the difference Rd is determined to be negative (Yes) in step S83, it is determined that the vehicle 6 is ahead. Since the inter-vehicle distance becomes smaller, a deceleration instruction is issued via the vehicle control unit 27 (step S84).
これに対し、ステップＳ８３での判断により差分Ｒｄがマイナスでないと判断された（Ｎｏの）場合は、この差分Ｒｄがプラス（正の値）かが判断される（ステップＳ８５）。ステップＳ８５での判断により差分Ｒｄがプラスと判断された（Ｙｅｓの）場合は、前方車両６との車間距離が大きくなっていくため、車両制御部２７を介し、予め設定された制限速度を越えない範囲での加速指示される（ステップＳ８６）。差分Ｒｄがゼロ（０）の場合には、車速制御が行われない。 On the other hand, if it is determined that the difference Rd is not negative (No) in step S83, it is determined whether the difference Rd is positive (positive value) (step S85). If the difference Rd is determined to be positive by the determination in step S85 (Yes), the inter-vehicle distance from the preceding vehicle 6 increases, so that a preset speed limit is exceeded via the vehicle control unit 27. The acceleration is instructed within the range not present (step S86). When the difference Rd is zero (0), vehicle speed control is not performed.
以上の結果、本第２実施形態においても、先行車両６が土煙５にて確認できない場合に、土煙５と路面２との境界部分までの走行可能距離を算出できるため、上述した第１実施形態と同様に、土煙発生時における車両１の走行可能な範囲を特定でき、土煙発生時における走行安全性の確保を容易に行うことができる。 As a result of the above, also in the second embodiment, when the preceding vehicle 6 cannot be confirmed with the soil smoke 5, the travelable distance to the boundary portion between the soil smoke 5 and the road surface 2 can be calculated. In the same manner as above, it is possible to specify the range in which the vehicle 1 can travel when soil smoke is generated, and to easily ensure traveling safety when soil smoke is generated.
また、単眼カメラ装置６１にて撮影した画像７１に基づき遠近法を用いて土煙発生時の走行可能距離を算出するため、上述したステレオカメラ装置２０を用いた第１実施形態の場合と同様に、１台のカメラでも土煙発生時における走行可能距離の算出が可能となる。 Further, in order to calculate the travelable distance at the time of generation of smoke using the perspective method based on the image 71 photographed by the monocular camera device 61, as in the case of the first embodiment using the stereo camera device 20 described above, Even with one camera, it is possible to calculate the travelable distance when soil smoke is generated.
さらに、単眼カメラ装置６１にて時刻ｔ１に撮影した画像７１中の土煙５の位置Ｙ１と、この単眼カメラ装置６１にて時刻ｔ２に撮影した画像７１中の土煙５の位置Ｙ２とに基づき、相対速度推定部６６にて車両１と先行車両６との距離の差分Ｒｄを算出する。そして、差分Ｒｄに基づき、車両１と先行車両６との車間距離が一定に保たれるように制御することにより、土煙発生時における走行安全性の確保が可能となる。すなわち、相対速度推定部６６にて算出された差分Ｒｄの変化に基づいて、先行車両６の速度が車両１よりも遅くなったことを検知可能となり、この場合に車両制御部２７にて車両１を減速させることにより、先行車両６との車間距離を適切に保持でき、先行車両６との衝突をより確実に防止することができる。 Further, based on the position Y1 of the soil smoke 5 in the image 71 photographed at the time t1 by the monocular camera device 61 and the position Y2 of the soil smoke 5 in the image 71 photographed at the time t2 by the monocular camera device 61, relative The speed estimation unit 66 calculates a difference Rd between the vehicle 1 and the preceding vehicle 6. Then, by controlling so that the inter-vehicle distance between the vehicle 1 and the preceding vehicle 6 is kept constant based on the difference Rd, it is possible to ensure traveling safety when soil smoke is generated. That is, it is possible to detect that the speed of the preceding vehicle 6 has become slower than the vehicle 1 based on the change in the difference Rd calculated by the relative speed estimation unit 66. In this case, the vehicle control unit 27 can detect the vehicle 1. By decelerating the vehicle, the distance between the preceding vehicle 6 and the preceding vehicle 6 can be appropriately maintained, and a collision with the preceding vehicle 6 can be more reliably prevented.
［その他］
なお、本発明は前述した実施形態に限定されるものではなく、様々な変形態様が含まれる。例えば、前述した実施形態は、本発明を分りやすく説明するために説明したものであり、本発明は、必ずしも説明した全ての構成を備えるものに限定されるものではない。
[Others]
In addition, this invention is not limited to embodiment mentioned above, Various deformation | transformation aspects are included. For example, the above-described embodiments have been described in order to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to those having all the configurations described.
さらに、上記各実施形態においては、鉱山用のダンプトラックを例として車両１を説明したが、その他の車両１においても、本発明に係る外界認識装置１０，１０Ａを搭載させ走行可能距離を算出させることもできる。 Further, in each of the above embodiments, the vehicle 1 has been described by taking the dump truck for mining as an example, but the other vehicle 1 is also equipped with the outside recognition devices 10 and 10A according to the present invention to calculate the travelable distance. You can also
また、上記各実施形態においては、図１および図１８に示すように、ステレオカメラ装置２０や単眼カメラ装置６１を、車両本体１ａ前側の左右方向の中心位置に取り付けた例としたが、これらステレオカメラ装置２０および単眼カメラ装置６１の取り付け位置としては、進行方向前側の土煙５や先行車両６等を検出することができる位置であれば、どのような位置であってもよい。 In each of the above embodiments, as shown in FIGS. 1 and 18, the stereo camera device 20 and the monocular camera device 61 are mounted at the center position in the left-right direction on the front side of the vehicle body 1a. The attachment position of the camera device 20 and the monocular camera device 61 may be any position as long as it can detect the soil smoke 5 and the preceding vehicle 6 on the front side in the traveling direction.
１ 車両
１ａ 車両本体
１ｂ 運転席
１ｃ ベッセル
１ｄ 前輪
１ｅ 後輪
２ 路面
５ 土煙
６ 先行車両
７ 路肩
１０，１０Ａ 外部認識装置
２０ ステレオカメラ装置
２１ａ 左カメラ（基準画像取得カメラ，第１のカメラ）
２１ｂ 右カメラ（比較画像取得カメラ，第２のカメラ）
２２ 距離情報算出部
２３ 路面検出部
２４ 土煙境界検出部（土煙判定部）
２４ａ カメラ画像メモリ
２４ｂ エッジ抽出処理部
２４ｃ エッジ画素メモリ
２４ｄ エッジブロック化処理部
２４ｅ エッジブロックメモリ
２４ｆ エッジ領域判定部
２４ｇ エッジ判定メモリ
２４ｈ エッジ領域下辺座標抽出部
２５ 距離測定部（走行距離算出部）
２６ 視差画像メモリ
２６ａ 距離データ
２７ 車両制御部
２８ 外部通信装置（通知部）
２９ 障害物検出部
３１ａ 左画像
３１ｂ 右画像
４３ａ，４３ｂ 光軸
４１ａ，４１ｂ レンズ
４２ａ，４２ｂ 撮像面
６１ 単眼カメラ装置（カメラ）
６２ 路面検出部
６３ 先行車両検出部
６４ 距離測定部
６５ フレーム結果記憶部
６６ 相対速度推定部（相対速度検出部）
７１ 画像
DESCRIPTION OF SYMBOLS 1 Vehicle 1a Vehicle main body 1b Driver's seat 1c Vessel 1d Front wheel 1e Rear wheel 2 Road surface 5 Soil and smoke 6 Predecessor vehicle 7 Road shoulder 10, 10A External recognition device 20 Stereo camera device 21a Left camera (reference image acquisition camera, first camera)
21b Right camera (Comparison image acquisition camera, second camera)
22 Distance information calculation unit 23 Road surface detection unit 24 Smoke boundary detection unit (smoke determination unit)
24a Camera image memory 24b Edge extraction processing unit 24c Edge pixel memory 24d Edge block processing unit 24e Edge block memory 24f Edge region determination unit 24g Edge determination memory 24h Edge region lower side coordinate extraction unit 25 Distance measurement unit (travel distance calculation unit)
26 Parallax image memory 26a Distance data 27 Vehicle control unit 28 External communication device (notification unit)
29 Obstacle detection unit 31a Left image 31b Right image 43a, 43b Optical axis 41a, 41b Lens 42a, 42b Imaging surface 61 Monocular camera device (camera)
62 Road surface detection unit 63 Leading vehicle detection unit 64 Distance measurement unit 65 Frame result storage unit 66 Relative speed estimation unit (relative speed detection unit)
71 images
Claims (7)
この第１のカメラの撮影画像に基づき路面を検出する路面検出部と、
前記第１のカメラの撮影画像に基づき土煙の有無を判定する土煙判定部と、
前記路面検出部にて検出した路面情報と前記土煙判定部にて判定した土煙情報とに基づき、土煙までの走行可能距離を算出する走行距離算出部と、
を備えたことを特徴とするオフロードダンプトラック。 A first camera that captures the front;
A road surface detection unit for detecting a road surface based on a photographed image of the first camera;
An earth / smoke judging unit for judging the presence / absence of earth / smoke based on a photographed image of the first camera;
Based on the road surface information detected by the road surface detection unit and the soil smoke information determined by the soil smoke determination unit, a travel distance calculation unit that calculates a travelable distance to the soil,
Off-road dump truck characterized by having
前記土煙判定部は、前記第１のカメラの撮影画像を、エッジ画像に変換し、このエッジ画像を所定のブロックに分割し、この分割したブロックのうち、このブロック中のエッジ数が所定数以上であり、かつ前記路面検出部にて検出した路面と接する前記ブロックを土煙の境界と判定する
ことを特徴とするオフロードダンプトラック。 The off-road dump truck according to claim 1,
The soil smoke determination unit converts an image captured by the first camera into an edge image, divides the edge image into predetermined blocks, and among the divided blocks, the number of edges in the block is equal to or greater than a predetermined number. The off-road dump truck is characterized in that the block in contact with the road surface detected by the road surface detection unit is determined as a soil smoke boundary.
前記路面検出部は、前記第１のカメラで取得した基準画像と、前記第１のカメラまたはこの第１のカメラとは異なる第２のカメラで取得した比較画像との差分から路面を検出する
ことを特徴とするオフロードダンプトラック。 The off-road dump truck according to claim 1,
The road surface detection unit detects a road surface from a difference between a reference image acquired by the first camera and a comparison image acquired by the first camera or a second camera different from the first camera. Off-road dump truck characterized by
前記第１および第２のカメラを有するステレオカメラ装置を備え、
前記第１のカメラは、基準画像を撮影する基準画像取得カメラであり、
前記第２のカメラは、前記基準画像と比較する比較画像を撮影する比較画像取得カメラであり、
前記土煙判定部は、前記基準画像に基づいて土煙を判定する
ことを特徴とするオフロードダンプトラック。 The off-road dump truck according to claim 3,
A stereo camera device having the first and second cameras;
The first camera is a reference image acquisition camera that captures a reference image;
The second camera is a comparative image acquisition camera that captures a comparative image to be compared with the reference image;
The off-road dump truck, wherein the soil smoke determination unit determines soil smoke based on the reference image.
前記第１のカメラにて撮影した第１画像と、この第１画像を撮影した後に前記第１のカメラにて撮影した第２画像との差分に基づき、前方に存在する車両との相対速度を算出する相対速度算出部を備えた
ことを特徴とするオフロードダンプトラック。 The off-road dump truck according to claim 3,
Based on the difference between the first image captured by the first camera and the second image captured by the first camera after capturing the first image, the relative speed with the vehicle existing ahead is determined. An off-road dump truck comprising a relative speed calculation unit for calculating.
前記第１のカメラにて撮影した第１画像と、この第１画像を撮影した後に前記第１のカメラにて撮影した第２画像との差分に基づき、前方に存在する車両との相対速度を算出する相対速度算出部を備えた
ことを特徴とするオフロードダンプトラック。 The off-road dump truck according to claim 4,
Based on the difference between the first image captured by the first camera and the second image captured by the first camera after capturing the first image, the relative speed with the vehicle existing ahead is determined. An off-road dump truck comprising a relative speed calculation unit for calculating.
所定の情報を外部へ通知するための通知部を備え、
前記走行距離算出部は、前記路面検出部にて路面上の障害物を検出した場合に、前記障害物までの距離を走行可能距離とし、前記路面検出部にて路面上の障害物が検出されずかつ前記土煙判定部にて土煙が判定されない場合に、前記路面検出部にて検出した路面の最遠距離を走行可能距離とし、前記路面検出部にて路面上の障害物が検出されずかつ前記土煙判定部にて土煙が判定された場合に、前記通知部から所定の情報を外部へ通知させる
ことを特徴とするオフロードダンプトラック。 The off-road dump truck according to claim 1,
A notification unit is provided for notifying predetermined information to the outside.
When the road surface detection unit detects an obstacle on the road surface, the travel distance calculation unit sets the distance to the obstacle as a travelable distance, and the road surface detection unit detects the obstacle on the road surface. And when the soil smoke is not determined by the soil smoke determination unit, the farthest distance of the road surface detected by the road surface detection unit is set as a travelable distance, and no obstacle on the road surface is detected by the road surface detection unit and An off-road dump truck characterized in that when the soil smoke determination unit determines soil smoke, the notification unit notifies the outside of predetermined information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013210264A JP6204782B2 (en) | 2013-10-07 | 2013-10-07 | Off-road dump truck |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013210264A JP6204782B2 (en) | 2013-10-07 | 2013-10-07 | Off-road dump truck |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015075826A JP2015075826A (en) | 2015-04-20 |
| JP6204782B2 true JP6204782B2 (en) | 2017-09-27 |
Family
ID=53000664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013210264A Active JP6204782B2 (en) | 2013-10-07 | 2013-10-07 | Off-road dump truck |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6204782B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6671152B2 (en) * | 2015-11-19 | 2020-03-25 | 日立建機株式会社 | Abnormality detection device of self-position estimation device and vehicle |
| JP6508134B2 (en) | 2016-06-14 | 2019-05-08 | トヨタ自動車株式会社 | Object discrimination device |
| JP6901982B2 (en) * | 2018-03-05 | 2021-07-14 | 日立建機株式会社 | Road surface condition detector |
| JP2022125706A (en) * | 2021-02-17 | 2022-08-29 | 株式会社小松製作所 | System and method for managing unmanned vehicle |
| CN113129262B (en) * | 2021-03-12 | 2024-03-29 | 北京易控智驾科技有限公司 | Automatic detection and supplement method and device for soil discharge level, storage medium and electronic equipment |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006003995A (en) * | 2004-06-15 | 2006-01-05 | Calsonic Kansei Corp | Preceding vehicle spray recognition device |
| JP2007057331A (en) * | 2005-08-23 | 2007-03-08 | Denso Corp | In-vehicle system for determining fog |
| JP5907700B2 (en) * | 2011-11-18 | 2016-04-26 | クラリオン株式会社 | Image processing apparatus, vehicle system, and image processing method |
-
2013
- 2013-10-07 JP JP2013210264A patent/JP6204782B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015075826A (en) | 2015-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2669652C1 (en) | Device for defining own position and method of defining own position | |
| JP6404922B2 (en) | Object recognition device and vehicle travel control device using the same | |
| JP4676373B2 (en) | Peripheral recognition device, peripheral recognition method, and program | |
| JP6385745B2 (en) | Mining work vehicle | |
| JP6440411B2 (en) | Object detection device | |
| JP6091977B2 (en) | Construction machinery | |
| JP6450294B2 (en) | Object detection apparatus, object detection method, and program | |
| JP6204782B2 (en) | Off-road dump truck | |
| WO2015098344A1 (en) | Mining work machine | |
| JP4901275B2 (en) | Travel guidance obstacle detection device and vehicle control device | |
| US20190152487A1 (en) | Road surface estimation device, vehicle control device, and road surface estimation method | |
| JP6815963B2 (en) | External recognition device for vehicles | |
| JP2008158640A (en) | Moving object detection apparatus | |
| JP2014139766A (en) | Road surface shape estimation device | |
| JP2009053818A (en) | Image processor and method thereof | |
| JPWO2017099199A1 (en) | Image processing apparatus, object recognition apparatus, device control system, image processing method and program | |
| JP6455164B2 (en) | Parallax value deriving apparatus, device control system, moving body, robot, parallax value deriving method, and program | |
| JP5832850B2 (en) | Lane monitoring system and lane monitoring method | |
| US10536646B2 (en) | Imaging control device and imaging control method | |
| JP4788399B2 (en) | Pedestrian detection method, apparatus, and program | |
| US7899212B2 (en) | Image processing apparatus and image processing method | |
| JP7134780B2 (en) | stereo camera device | |
| JP6429101B2 (en) | Image determination apparatus, image processing apparatus, image determination program, image determination method, moving object | |
| JP2014219845A (en) | Image processing apparatus | |
| JP2016148880A (en) | Moving entity recognition method, moving entity recognition system, and entity recognition equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160630 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170901 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6204782 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |