JP2019002802A

JP2019002802A - Inter-vehicle distance calculation device

Info

Publication number: JP2019002802A
Application number: JP2017117964A
Authority: JP
Inventors: 中川　亮; Akira Nakagawa; 亮中川; 法正金子; Norimasa Kaneko
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2017-06-15
Filing date: 2017-06-15
Publication date: 2019-01-10
Anticipated expiration: 2037-06-15
Also published as: JP6875940B2

Abstract

To enable an inter-vehicle distance with respect to a preceding vehicle to be obtained even in a situation where the inter-vehicle distance with respect to the preceding vehicle cannot be obtained using a parallax by a pair of cameras.SOLUTION: An inter-vehicle distance calculation is configured to: calculate (S6) an inter-vehicle distance L1 (S1) with respect to a preceding vehicle Mf on the basis of a pair of camera images Li and Ri photographed by right and left cameras 5a and 5b mounted onto a self vehicle Mm, and pixel widths ds1 and ds2 to right and left end points Xl and Xr with a reference point Xo as a reference; store (S7) the inter-vehicle distance and the pixel widths in a data storage unit; when a filed of view is blocked, and common right and left end points Xl and Xr are not detected (S4) in the right and left camera images Li and Ri, but, for example, the left end point X1 is detected in one of the camera images Li and Ri, and the right end part Xr is detected in other thereof (S9 and S10); calculate pixel quantities ds1' and ds2' on the images of the cameras; and calculate an inter-vehicle distance L1' from L1'←{(ds1+ds2)/(ds1'+ds2')}*L1 (S13).SELECTED DRAWING: Figure 5

Description

本発明は、左右一対の撮像手段で撮像した撮像画像に基づいて自車両前方の立体物までの距離を算出する相互間距離算出装置に関する。 The present invention relates to a mutual distance calculation device that calculates a distance to a three-dimensional object in front of a host vehicle based on a captured image captured by a pair of left and right imaging means.

従来、ＡＣＣ（Adaptive Cruise Control)装置等の運転支援装置を搭載している車両においては、自車両前方を常時監視し、前方立体物が検出された場合には、それに対する適応制御が実行される。前方立体物は、左右一対のカメラ（ステレオカメラ）によって撮像した自車両前方の走行環境画像に基づいてパターンマッチングにより認識する手段が知られている。又、その際、両カメラの視差を利用して自車両と前方立体物との距離を算出し、前方立体物が先行車の場合には、車間距離を一定に保持した状態での先行車追従制御が実行される。 Conventionally, in a vehicle equipped with a driving support device such as an ACC (Adaptive Cruise Control) device, the front of the host vehicle is constantly monitored, and when a front three-dimensional object is detected, adaptive control is performed for that. . Means for recognizing a front three-dimensional object by pattern matching based on a traveling environment image in front of the host vehicle captured by a pair of left and right cameras (stereo cameras) is known. At that time, the distance between the host vehicle and the front three-dimensional object is calculated using the parallax of both cameras. If the front three-dimensional object is a preceding vehicle, the preceding vehicle is tracked with the inter-vehicle distance kept constant. Control is executed.

ステレオカメラは、雨雪、埃等による汚れを避けるためフロントガラス内側の車室内前部に設置される場合が多い。従って、雨天や降雪時、或いはフロントガラスが汚れている場合はワイパを作動させてカメラ前方の視界を確保する必要がある。ワイパの拭き残しによる水滴などがフロントガラスに付着し、それが、カメラによって取り込まれると、前方立体物との距離を正しく計測することができなくなる。又、ワイパの払拭エリアから前方立体物の一部が外れた場合も同様である。 Stereo cameras are often installed in front of the interior of the windshield inside the windshield to avoid contamination by rain, snow, dust, and the like. Therefore, when it is raining or snowing, or when the windshield is dirty, it is necessary to operate the wiper to secure the field of view in front of the camera. If water droplets or the like due to unwiped wipers adhere to the windshield and are taken in by the camera, the distance from the front three-dimensional object cannot be measured correctly. The same applies when a part of the front three-dimensional object is removed from the wiper wiping area.

カメラ前方の視界が阻害されると、例えば、前方立体物が先行車であれば、先行車との距離を把握することができないため、先行車追従制御を継続させることが困難となる。そのため、例えば、特許文献１（特開２０１７−５８９４号公報）には、カメラで撮像した画像に基づきフロントガラスの汚れを監視し、汚れが検出された場合、運転者にその旨を報知すると共に画像認識処理を中断して、運転支援装置の不要な動作を回避させるようにした態様が示されている。 If the field of view ahead of the camera is obstructed, for example, if the front three-dimensional object is a preceding vehicle, it is difficult to keep track of the preceding vehicle following control because the distance to the preceding vehicle cannot be grasped. Therefore, for example, Patent Document 1 (Japanese Patent Application Laid-Open No. 2017-5894) monitors windshield dirt based on an image captured by a camera, and informs the driver when dirt is detected. A mode in which the image recognition process is interrupted to avoid unnecessary operation of the driving support device is shown.

特開２０１７−５８９４９号公報JP 2017-58949 A

上述した文献に開示されている技術では、フロントガラスの汚れが検出された場合、運転支援制御が中断されてしまうため、運転者の負担が増してしまう不都合がある。 In the technique disclosed in the above-described literature, when the windshield dirt is detected, the driving support control is interrupted, which increases the burden on the driver.

この場合、フロントガラスの汚れが検出された場合であっても、前方立体物が認識され、且つ自車両との距離が検出される状況の場合は、運転支援制御を継続させることで、運転者の負担をより軽減させることができる。 In this case, even when the windshield dirt is detected, in the situation where the front three-dimensional object is recognized and the distance from the host vehicle is detected, the driver assistance can be continued by continuing the driving support control. Can be further reduced.

しかし、両カメラによる視差を利用することができなくなれば、前方立体物との距離を求めることができなくなるため、運転支援制御は中断せざるを得ず、継続性が確保されず、より高い利便性を実現させることが困難となる不都合がある。尚、このことは、フロントガラスの汚れ、拭き残しのみならず、両カメラに逆光等の外的要因が取り込まれた際にも同様の不都合が生じる。 However, if the parallax from both cameras cannot be used, the distance to the front three-dimensional object cannot be obtained, so driving support control must be interrupted, continuity is not ensured, and higher convenience is achieved. There is an inconvenience that it is difficult to realize the performance. In addition to this, not only dirt on the windshield and unwiping but also the same inconvenience occurs when external factors such as backlighting are taken into both cameras.

本発明は、上記事情に鑑み、一対のカメラによる視差を利用して前方の立体物と自車両との距離を求めることができない状況となった場合であっても、前方の立体物との距離を求めることが可能となり、運転支援制御の中断、再開の頻度を低減し、より高い利便性を実現させることのできる相互間距離算出装置を提供することを目的とする。 In the present invention, in view of the above circumstances, the distance between the front three-dimensional object and the front three-dimensional object cannot be obtained using the parallax obtained by the pair of cameras. An object of the present invention is to provide a mutual distance calculation device that can reduce the frequency of suspension and resumption of driving support control and realize higher convenience.

本発明による相互間距離算出装置は、自車両に搭載されて前方の走行環境を一対の撮像手段で撮像する撮像装置と、一対の前記撮像手段で撮像した一対の撮像画像に基づき前記自車両前方の立体物を認識する認識処理手段と、一対の前記撮像画像に基づき、前記認識処理手段で認識した前記立体物と前記自車両との基準となる第１距離を算出する第１距離算出手段と、前記立体物の特定した基準点から特徴点までの一対の前記撮像画像上の基準画素幅を算出する基準画素幅算出手段と、前記第１距離算出手段で算出した前記第１距離及び前記基準画素幅算出手段で算出した基準画素幅を記憶きせる記憶手段と、一対の前記撮像手段の視界が阻害されて一方の前記撮像画像で前記特徴点が検出されない場合、他方の前記撮像画像上の対象画素幅を算出する対象画素幅算出手段と、前記記憶手段に記憶されている前記第１距離及び前記基準画素幅と前記対象画素幅算出手段で算出した前記対象画素幅との比率に基づいて、該対象画素幅に対応する前記立体物と前記自車両との第２距離を算出する第２距離算出手段とを備える。 An inter-distance calculation device according to the present invention is mounted on a host vehicle and captures a forward driving environment with a pair of imaging units, and a front of the host vehicle based on a pair of captured images captured by a pair of the imaging units. Recognition processing means for recognizing the three-dimensional object, and first distance calculation means for calculating a first distance serving as a reference between the three-dimensional object recognized by the recognition processing means and the host vehicle based on the pair of captured images. , A reference pixel width calculation unit that calculates a reference pixel width on the pair of captured images from the specified reference point to the feature point of the three-dimensional object, the first distance calculated by the first distance calculation unit, and the reference A storage unit that stores the reference pixel width calculated by the pixel width calculation unit, and a target on the other captured image when the field of view of the pair of the imaging units is obstructed and the feature point is not detected in one of the captured images Pixel width Based on the target pixel width calculating means to calculate, and the ratio between the first distance and the reference pixel width stored in the storage means and the target pixel width calculated by the target pixel width calculating means, the target pixel A second distance calculating means for calculating a second distance between the three-dimensional object corresponding to the width and the host vehicle;

本発明によれば、一対の撮像手段で撮像した一対の撮像画像で前方の立体物が認識されている場合に算出した、立体物と自車両との第１距離、及び立体物の基準点から特徴点までの画素幅を基準として、一対の撮像手段の視界が阻害されて一方の撮像画像で特徴点が検出されない場合は、他方の撮像画像に基づいて算出した対象画素幅との比率に基づいて、第２距離を算出するようにしたので、一対のカメラによる視差を利用して前方の立体物と自車両との距離を求めることができない状況となった場合であっても、前方の立体物との距離を求めることが可能となり、運転支援制御の中断、再開の頻度を低減し、より高い利便性を実現させることができる。 According to the present invention, the first distance between the three-dimensional object and the host vehicle and the reference point of the three-dimensional object calculated when the front three-dimensional object is recognized in the pair of captured images captured by the pair of imaging units. Based on the ratio of the target pixel width calculated based on the other captured image when the field of view of the pair of imaging means is obstructed and the feature point is not detected in one captured image with reference to the pixel width up to the feature point Since the second distance is calculated, even if the distance between the front three-dimensional object and the host vehicle cannot be obtained using the parallax of the pair of cameras, the front three-dimensional The distance to the object can be obtained, and the frequency of interruption and resumption of the driving support control can be reduced, and higher convenience can be realized.

相互間距離算出装置の概略図Schematic diagram of mutual distance calculation device ワイパ払拭エリアとステレオカメラとの位置関係を示す正面図Front view showing the positional relationship between the wiper wiping area and the stereo camera （ａ）は良好な視界でのカメラ画像を示す模式図、（ｂ）は左カメラで撮像した左カメラ画像を示す模式図、（ｃ）右カメラで撮像した右カメラ画像を示す模式図(A) is a schematic diagram showing a camera image in a good field of view, (b) is a schematic diagram showing a left camera image taken by a left camera, (c) a schematic diagram showing a right camera image taken by a right camera. 先行車間距離算出ルーチンを示すフローチャート（その１）Flowchart showing a preceding inter-vehicle distance calculation routine (part 1) 先行車間距離算出ルーチンを示すフローチャート（その２）Flowchart showing a preceding inter-vehicle distance calculation routine (part 2) 先行車との車間距離の求め方を示す説明図Explanatory diagram showing how to determine the inter-vehicle distance from the preceding vehicle （ａ）左カメラ画像を時系列示す模式図、（ｂ）右カメラ画像を時系列で示す模式図、（ｃ）右カメラ画像を左カメラ画像で補完した状態を示す模式図(A) Schematic diagram showing the left camera image in time series, (b) Schematic diagram showing the right camera image in time series, (c) Schematic diagram showing a state in which the right camera image is complemented with the left camera image.

以下、図面に基づいて本発明の一実施形態を説明する。図１に示す相互間距離算出装置１は、自動車等の車両（自車両）Ｍｍに搭載されているものであり、マイクロコンピュータを中心として構成されている先行車認識処理部２と、この先行車認識処理部２に接続されている読み書き自在な記憶手段としてのデータ記憶部３とを備えている。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. An inter-distance calculation device 1 shown in FIG. 1 is mounted on a vehicle (own vehicle) Mm such as an automobile, and includes a preceding vehicle recognition processing unit 2 configured mainly with a microcomputer, and the preceding vehicle. And a data storage unit 3 as a readable / writable storage unit connected to the recognition processing unit 2.

又、この相互間距離算出装置１の入力側に、撮像装置としての車載カメラユニット４が接続されている。この車載カメラユニット４は、メインカメラ（本実施形態では右カメラ）５ａ及びサブカメラ（本実施形態では左カメラ）５ｂからなる、一対の撮像手段としてのステレオカメラ５と画像処理ユニット（ＩＰＵ）６とを備えている。この両カメラ５ａ，５ｂはフロントガラス７の内側であって、車室内前部の上部（例えば、ルームミラーの両側）に一定の間隔を保持した状態で固設されている。又、このフロントガラス７の前面には左右ワイパ１１ａ，１１ｂが配設されており、図２に示すように、両カメラ５ａ，５ｂは、当該左右ワイパ１１ａ，１１ｂの払拭エリア１２ａ、１２ｂに視野範囲が収まるように設定されている。 An in-vehicle camera unit 4 as an imaging device is connected to the input side of the mutual distance calculation device 1. This in-vehicle camera unit 4 includes a stereo camera 5 and an image processing unit (IPU) 6 as a pair of imaging means, which are composed of a main camera (right camera in the present embodiment) 5a and a sub camera (left camera in the present embodiment) 5b. And. Both the cameras 5a and 5b are fixed inside the windshield 7 in a state where a certain distance is maintained at the upper part of the front part of the vehicle interior (for example, both sides of the rearview mirror). In addition, left and right wipers 11a and 11b are disposed on the front surface of the windshield 7, and as shown in FIG. 2, the cameras 5a and 5b have a field of view in the wiping areas 12a and 12b of the left and right wipers 11a and 11b. It is set to fit the range.

両カメラ５ａ，５ｂは、ＣＣＤやＣＭＯＳ等、撮像手段としてのイメージセンサをそれぞれ内蔵しており、自車両Ｍｍ前方の走行環境を異なる視点、すなわち視差を有して撮像する。これにより、ステレオ画像処理を行う際に必要な基準画像（右カメラ画像）と比較画像（左カメラ画像）とが取得される。この両カメラ５ａ，５ｂで撮像した自車前方の走行環境の画像信号がＩＰＵ６に送信されて、所定に画像処理された後、先行車認識処理部２へ送信される。 Both cameras 5a and 5b each incorporate an image sensor as an imaging means such as a CCD or CMOS, and image the traveling environment ahead of the host vehicle Mm with different viewpoints, that is, parallax. Thereby, a reference image (right camera image) and a comparison image (left camera image) necessary for performing stereo image processing are acquired. An image signal of the traveling environment ahead of the host vehicle imaged by both the cameras 5a and 5b is transmitted to the IPU 6, subjected to predetermined image processing, and then transmitted to the preceding vehicle recognition processing unit 2.

先行車認識処理部２は、ＩＰＵ６からの画像信号に基づき、メインカメラ５ａで撮像した画像に基づいて基準画像を生成し、サブカメラ５ｂで撮像した画像に基づいて比較画像を生成する。そして、基準画像と比較画像とに基づいて、１フレーム相当の撮像画像に関し、対応する同一の前方立体物に対する視差から周知の三角測量の原理を用いて対象となる前方立体物までの距離を算出する。尚、前方立体物は先行車、歩行者、自転車等の移動体に限らず、駐停車している車両、電柱や設置物等の固定物が含まれるが、以下においては、説明を容易にするため、自車両Ｍｍの直前を走行する先行車Ｍｆを、その代表として説明する。 The preceding vehicle recognition processing unit 2 generates a reference image based on an image captured by the main camera 5a based on an image signal from the IPU 6, and generates a comparative image based on an image captured by the sub camera 5b. Based on the reference image and the comparison image, the distance to the target front three-dimensional object is calculated from the parallax with respect to the same corresponding front three-dimensional object using the well-known triangulation principle for the captured image corresponding to one frame. To do. The front three-dimensional object is not limited to a moving body such as a preceding vehicle, a pedestrian, or a bicycle, but includes a stationary vehicle such as a parked vehicle, a utility pole, and an installed object. Therefore, the preceding vehicle Mf traveling immediately before the host vehicle Mm will be described as a representative.

ところで、フロントガラス７に雨滴が付着するとステレオカメラ５の視界が阻害される。そのため、左右ワイパ１１ａ，１１ｂを作動させてフロントガラス７を払拭し、視界を確保する。フロントガラス７が汚れた場合も同様に、ウォッシャー液をフロントガラス７に吹き付け、左右ワイパ１１ａ，１１ｂを作動させて視界を確保する。 By the way, when raindrops adhere to the windshield 7, the field of view of the stereo camera 5 is obstructed. For this reason, the left and right wipers 11a and 11b are operated to wipe the windshield 7, thereby ensuring visibility. Similarly, when the windshield 7 is dirty, the washer liquid is sprayed on the windshield 7 to activate the left and right wipers 11a and 11b to ensure visibility.

その際、図２に示すように、フロントガラス７の払拭エリア１２ａ，１２ｂに、拭き残し１３ａ，１３ｂが発生する場合がある。そして、この拭き残し１３ａ，１３ｂの一方或いは双方がカメラ５ａ，５ｂの視野に入り込んだ場合、図３（ｂ），（ｃ）に示すように、各カメラ５ａ，５ｂで撮像したカメラ画像Ｒｉ，Ｌｉの一方或いは双方に、拭き残し１３ａ，１３ｂが映されてしまい、先行車Ｍｆとの基準となる第１車間距離Ｌ１（図６参照）を正確に求めることが困難となる。 At that time, as shown in FIG. 2, unwiped residues 13a and 13b may occur in the wiping areas 12a and 12b of the windshield 7. When one or both of the unwiped portions 13a and 13b enter the field of view of the cameras 5a and 5b, as shown in FIGS. 3B and 3C, the camera images Ri, The left unwiped parts 13a and 13b are reflected on one or both of Li, and it is difficult to accurately obtain the first inter-vehicle distance L1 (see FIG. 6) that is a reference to the preceding vehicle Mf.

しかし、フロントガラス７に残存する拭き残し１３ａ，１３ｂは一時的なものであり、時間の経過とともに消失するため、この拭き残し１３ａ，１３ｂが存在している間だけ、車間距離を推定することができれば、ＡＣＣ装置等の運転支援装置における先行車追従制御を継続させることが可能となり、より高い利便性を得ることができる。 However, the remaining wipes 13a and 13b remaining on the windshield 7 are temporary and disappear as time passes. Therefore, the inter-vehicle distance can be estimated only while the remaining wipes 13a and 13b exist. If possible, it is possible to continue the preceding vehicle follow-up control in the driving support device such as the ACC device, and higher convenience can be obtained.

そのため、先行車認識処理部２では、フロントガラス７に付着した拭き残し１３ａ，１３ｂ等に起因して先行車Ｍｆの認識が阻害された場合であっても、両カメラ５ａ，５ｂで撮像した基準画像と比較画像とで先行車Ｍｆの水平方向の幅を補完し合って検出できる状態のときは、それに基づいて第２車間距離Ｌ１’を求めることで先行車追従制御を継続させるようにしている。 Therefore, in the preceding vehicle recognition processing unit 2, even when the recognition of the preceding vehicle Mf is hindered due to the wiping residues 13a, 13b attached to the windshield 7, the reference imaged by both the cameras 5a, 5b. When the image and the comparison image can be detected by complementing the horizontal width of the preceding vehicle Mf, the preceding vehicle follow-up control is continued by obtaining the second inter-vehicle distance L1 ′ based thereon. .

先行車認識処理部２は自車両Ｍｍと先行車Ｍｆとの車間距離Ｌ１，Ｌ１’を、具体的には、図４、図５に示す先行車間距離算出ルーチンに従って算出する。 The preceding vehicle recognition processing unit 2 calculates the inter-vehicle distances L1 and L1 'between the host vehicle Mm and the preceding vehicle Mf, specifically, according to the preceding inter-vehicle distance calculation routine shown in FIGS.

すなわち、このルーチンが起動されると、先ず、ステップＳ１で、メインカメラ５ａで撮像した右カメラ画像（基準画像）Ｌｒとサブカメラ５ｂで撮像した左カメラ画像（比較画像）Ｌｌとを読込み、先行車検出のための画像処理（例えば、パターンマッチング処理）により、先行車Ｍｆのリヤ面の認識処理を行う。尚、このステップでの処理が、本発明の認識処理手段に対応している。 That is, when this routine is started, first, in step S1, the right camera image (reference image) Lr imaged by the main camera 5a and the left camera image (comparison image) Ll imaged by the sub camera 5b are read. A recognition process of the rear surface of the preceding vehicle Mf is performed by image processing (for example, pattern matching processing) for vehicle detection. Note that the processing in this step corresponds to the recognition processing means of the present invention.

そして、ステップＳ２へ進み、自車両Ｍｍ直前の所定距離内に先行車Ｍｆが捕捉されたか否かを調べ、捕捉された場合はステップＳ３へ進む。又、捕捉されない場合はルーチンを抜け、第１車間距離Ｌ１は求めることができずエラーとなる。 And it progresses to step S2, it is investigated whether the preceding vehicle Mf was captured within the predetermined distance immediately before the own vehicle Mm, and when it is captured, it progresses to step S3. If not captured, the routine is exited and the first inter-vehicle distance L1 cannot be obtained, resulting in an error.

又、ステップＳ３へ進むと、ステップＳ１で認識した先行車Ｍｆの左右カメラ画像Ｌｉ，Ｒｉに基づき、車幅方向中央付近に共通の基準点Ｘｏを特定する。この基準点Ｘｏは、左右カメラ画像Ｌｉ，Ｒｉに映された先行車Ｍｆの画像のリヤ面において、輝度差により二値化処理した際に明確に判別できる部位が好ましい。 In step S3, a common reference point Xo is specified near the center in the vehicle width direction based on the left and right camera images Li and Ri of the preceding vehicle Mf recognized in step S1. The reference point Xo is preferably a part that can be clearly discriminated when the binarization process is performed on the rear surface of the image of the preceding vehicle Mf shown in the left and right camera images Li and Ri by the luminance difference.

この候補としては、ナンバプレートｃ１やエンブレムを代表とするオーナメントｃ２等があり、本実施形態はナンバプレートｃ１の幅方向端部（図においては右端部）のエッジを基準点Ｘｏとしている。尚、この基準点Ｘｏは、ナンバプレートｃ１のエッジに加えてオーナメントｃ２のエッジ等、多点に設定しても良いが、以下においては、ナンバプレートｃ１のエッジを、それらの代表として説明する。 The candidates include a number plate c1 and an ornament c2 typified by an emblem. In the present embodiment, the edge of the number plate c1 in the width direction (right end in the drawing) is used as a reference point Xo. The reference point Xo may be set at multiple points such as the edge of the ornament c2 in addition to the edge of the number plate c1, but in the following, the edge of the number plate c1 will be described as a representative thereof.

そして、ステップＳ４へ進み、左右カメラ画像Ｌｉ，Ｒｉにおいて、共通する特徴点である、基準点Ｘｏを挟む両側の左右端点Ｘｌ，Ｘｒが検出されたか否かを調べる。この左右端点Ｘｌ，Ｘｒは、例えば車体幅方向のエッジを二値化処理による輝度差で検出する。そして、共通する左右端点Ｘｌ，Ｘｒが検出された場合、ステップＳ５へ進み、検出されなかった場合はステップＳ９へ分岐する。尚、特徴点は左右端点Ｘｌ，Ｘｒに限らず、二値化処理による輝度差が明確に表れる部位であれば、左右ドアミラーの端部等であっても良い。 In step S4, it is checked whether left and right end points Xl and Xr on both sides of the reference point Xo, which are common feature points, are detected in the left and right camera images Li and Ri. The left and right end points Xl and Xr detect, for example, an edge in the vehicle body width direction by a luminance difference by binarization processing. If the common left and right end points Xl and Xr are detected, the process proceeds to step S5, and if not detected, the process branches to step S9. Note that the feature points are not limited to the left and right end points Xl and Xr, but may be the end portions of the left and right door mirrors as long as the difference in luminance due to the binarization process appears clearly.

ステップＳ５へ進むと、先行車Ｍｆに対する視差から三角測量の原理を用いて先行車Ｍｆまでの基準となる第１車間距離Ｌ１を求める。尚、このステップＳ５での処理が、本発明の第１距離算出手段に対応している。 In step S5, a first inter-vehicle distance L1 that is a reference to the preceding vehicle Mf is obtained from the parallax with respect to the preceding vehicle Mf using the principle of triangulation. Note that the processing in step S5 corresponds to the first distance calculation means of the present invention.

次いで、ステップＳ６へ進み、基準点Ｘｏから左右端点Ｘｌ，Ｘｒまでの実幅Ｘ１，Ｘ２（図３(a)参照）に対応する、メインカメラ５ａの撮像面に結像された右カメラ画像（基準画像）Ｌｒ上の基準画素幅（左基準画素幅と右基準画素幅）ｄｓ１，ｄｓ２（図６参照）を、１画素ピッチにＸｏ−Ｘｌ、及びＸｏ−Ｘｒ間の画素数を乗算して算出する（画素ピッチ×画素数）。尚、このステップＳ６での処理が、本発明の基準画素幅算出手段に対応している。 Next, the process proceeds to step S6, and the right camera image (imaged on the imaging surface of the main camera 5a) corresponding to the actual widths X1 and X2 (see FIG. 3A) from the reference point Xo to the left and right end points Xl and Xr. Reference image) A reference pixel width (left reference pixel width and right reference pixel width) ds1, ds2 (see FIG. 6) on Lr is multiplied by the number of pixels between Xo-Xl and Xo-Xr by one pixel pitch. Calculate (pixel pitch × number of pixels). Note that the processing in step S6 corresponds to the reference pixel width calculation means of the present invention.

そして、ステップＳ７で、第１車間距離Ｌ１と基準画素幅ｄｓ１，ｄｓ２とを、データ記憶部３に１フレーム毎の時系列で記憶させ、ステップＳ８へ進み、今回設定した第１車間距離Ｌ１を制御用車間距離Ｌｓとして設定し、ルーチンを抜ける。制御用車間距離Ｌｓは各種制御ユニットにおいて読込まれ、例えば、ＡＣＣ装置では、制御用車間距離Ｌｓが目標車間距離と一致するように車間距離維持制御を実行して、自車両Ｍｍを先行車Ｍｆに対して追従走行させる。 In step S7, the first inter-vehicle distance L1 and the reference pixel widths ds1, ds2 are stored in the data storage unit 3 in time series for each frame, and the process proceeds to step S8, where the first inter-vehicle distance L1 set this time is stored. The control inter-vehicle distance Ls is set and the routine is exited. The control inter-vehicle distance Ls is read by various control units. For example, in the ACC device, the inter-vehicle distance maintenance control is executed so that the control inter-vehicle distance Ls matches the target inter-vehicle distance, and the host vehicle Mm is changed to the preceding vehicle Mf. On the other hand, make it follow.

ところで、フロントガラス７に雨滴が付着しているとステレオカメラ５の視界が阻害され、前方の走行環境の認識性能が低下する。そのため、運転者がワイパスイッチをＯＮし、或いは雨滴感知式オートワイパーが併設されている車両では自動的にワイパスイッチがＯＮし、左右ワイパ１１ａ，１１ｂの作動によりフロントガラス７を払拭して視界を確保する。ステレオカメラ５の視界はフロントガラス７の汚れによっても阻害される。このような場合は、ウォッシャー液をフロントガラス７に吹き付け、左右ワイパ１１ａ，１１ｂを作動させてウォッシャー液を払拭することで視界を確保する。 By the way, if raindrops are attached to the windshield 7, the field of view of the stereo camera 5 is obstructed, and the recognition performance of the front traveling environment is deteriorated. Therefore, the driver turns on the wiper switch, or in a vehicle equipped with a raindrop-sensitive auto wiper, the wiper switch is automatically turned on, and the windshield 7 is wiped by the operation of the left and right wipers 11a and 11b to see the field of view. Secure. The field of view of the stereo camera 5 is also obstructed by dirt on the windshield 7. In such a case, a field of view is secured by spraying washer liquid onto the windshield 7 and operating the left and right wipers 11a and 11b to wipe the washer liquid.

ワイパ１１ａ，１１ｂによる払拭動作に際し、図２に示すように、払拭エリア１２ａ，１２ｂに拭き残し１３ａ，１３ｂが発生する場合がある。そして、この拭き残し１３ａ，１３ｂの一方、或いは双方が、左右カメラ画像Ｌｉ，Ｒｉの一方或いは双方に映されて、先行車Ｍｆに対する視界が阻害されると、先行車Ｍｆの視認性が低下し、視差に基づき三角測量の原理を利用して正確な車間距離を算出することが困難となり、ＡＣＣ装置は追従走行が停止される。 In the wiping operation by the wipers 11a and 11b, as shown in FIG. 2, unwiped unsettled portions 13a and 13b may be generated in the wiping areas 12a and 12b. If one or both of the left unwiped cloths 13a and 13b are reflected in one or both of the left and right camera images Li and Ri and the visibility with respect to the preceding vehicle Mf is obstructed, the visibility of the preceding vehicle Mf decreases. Therefore, it becomes difficult to calculate the correct inter-vehicle distance using the principle of triangulation based on the parallax, and the ACC device stops the follow-up running.

しかし、左右カメラ画像Ｌｉ，Ｒｉに拭き残し１３ａ，１３ｂが映された場合であっても、例えば、図３（ｂ），（ｃ）示すように、一方のカメラ画像（図においては左カメラ画像Ｌｉ）では基準点Ｘｏ及び右端点Ｘｒが検出され、他方のカメラ画像（図においては右カメラ画像Ｒｉ）では基準点Ｘｏ及び左端点Ｘｌが検出されている場合がある。このような場合、一方のカメラ画像からはＸｏ−Ｘｒ間の画像上の距離を求めることができ、又、他方のカメラ画像からはＸｏ−Ｘｌ間の画像上の距離を求めることができる。 However, even if the left and right camera images Li and Ri are left unwiped 13a and 13b, for example, as shown in FIGS. 3B and 3C, one camera image (the left camera image in the figure). In Li), the reference point Xo and the right end point Xr may be detected, and in the other camera image (the right camera image Ri in the figure), the reference point Xo and the left end point Xl may be detected. In such a case, the distance on the Xo-Xr image can be obtained from one camera image, and the distance on the Xo-Xl image can be obtained from the other camera image.

ステップＳ９以下では、左右カメラ画像Ｌｉ，Ｒｉの一方で左端点Ｘｌが検出され、他方で右端点Ｘｒが検出されている場合には、この基準点Ｘｏと左端点Ｘｌ間の実幅Ｘ１に対応する左対象画素幅ｄｓ１’と基準点Ｘｏと右端点Ｘｒ間の実幅Ｘ２に対応する右対象画素幅ｄｓ２’とから制御用車間距離Ｌｓを算出し、ＡＣＣ装置による追従走行等を継続させるようにする。 In step S9 and subsequent steps, when the left end point Xl is detected on one side of the left and right camera images Li and Ri and the right end point Xr is detected on the other side, it corresponds to the actual width X1 between the reference point Xo and the left end point Xl. The control inter-vehicle distance Ls is calculated from the left target pixel width ds1 ′ and the right target pixel width ds2 ′ corresponding to the actual width X2 between the reference point Xo and the right end point Xr, and the follow-up traveling by the ACC device is continued. To.

すなわち、先ず、ステップＳ９で、左右カメラ画像Ｌｉ，Ｒｉの何れかで左端点Ｘｌが検出されたか否かを調べ、検出されている場合はステップＳ１０へ進む。又、左右カメラ画像Ｌｉ，Ｒｉの何れにおいても左端点Ｘｌが検出されていない場合は、ルーチンを抜ける。そして、ステップＳ１０へ進むと、左右カメラ画像Ｌｉ，Ｒｉの何れかで右端点Ｘｒが検出されたか否かを調べ、検出されている場合はステップＳ１１へ進む。又、左右カメラ画像Ｌｉ，Ｒｉの何れにおいても右端点Ｘｒが検出されていない場合は、ルーチンを抜ける。 That is, first, in step S9, it is checked whether or not the left end point Xl is detected in any of the left and right camera images Li and Ri. If detected, the process proceeds to step S10. If the left end point Xl is not detected in any of the left and right camera images Li and Ri, the routine is exited. Then, when proceeding to step S10, it is checked whether or not the right end point Xr is detected in any of the left and right camera images Li and Ri. If it is detected, the process proceeds to step S11. If the right end point Xr is not detected in any of the left and right camera images Li and Ri, the routine is exited.

従って、ステップＳ９，Ｓ１０において、左右端点Ｘｌ，Ｘｒの一方のみしか検出されていない場合、後述する第２車間距離Ｌ１’は求めることができないのでエラーとなる。尚。左右カメラ画像Ｌｉ，Ｒｉの一方のみで左右端点Ｘｌ，Ｘｒが検出された場合は、第２車間距離Ｌ１’の算出が可能であるためステップＳ１１へ進む。 Accordingly, when only one of the left and right end points Xl and Xr is detected in steps S9 and S10, an error occurs because the second inter-vehicle distance L1 'described later cannot be obtained. still. If the left and right end points Xl and Xr are detected in only one of the left and right camera images Li and Ri, the process proceeds to step S11 because the second inter-vehicle distance L1 'can be calculated.

ステップＳ１１へ進むと、基準点Ｘｏと左端点Ｘｌ間の実幅Ｘ１に対応する左対象画素幅ｄｓ１’を、検出したカメラ画像Ｌｉ，Ｒｉの画素ピッチに画素数を乗算して算出する。又、ステップＳ１２で、基準点Ｘｏと右端点Ｘｒ間の実幅Ｘ２に対応する右対象画素幅ｄｓ２’を、検出したカメラ画像Ｌｉ，Ｒｉの画素ピッチに画素数を乗算して算出する（図６参照）。尚、このステップＳ１１での処理が、本発明の対象画素幅算出手段に対応している。 In step S11, the left target pixel width ds1 'corresponding to the actual width X1 between the reference point Xo and the left end point Xl is calculated by multiplying the pixel pitch of the detected camera images Li and Ri by the number of pixels. In step S12, the right target pixel width ds2 ′ corresponding to the actual width X2 between the reference point Xo and the right end point Xr is calculated by multiplying the pixel pitch of the detected camera images Li and Ri by the number of pixels (FIG. 6). Note that the processing in step S11 corresponds to the target pixel width calculation means of the present invention.

その後、ステップＳ１２へ進み、データ記憶部３に記憶されている最新の第１車間距離Ｌ１と基準画素幅ｄｓ１，ｄｓ２とを読込み、ステップＳ１３で比率により第２車間距離Ｌ１’を、
Ｌ１’←｛（ｄｓ１＋ｄｓ２）／（ｄｓ１’＋ｄｓ２’）｝・Ｌ１ …（１）
から算出する。尚、図６のｆは焦点距離である。この場合、（１）式に比し、精度は低下するが、第２車間距離Ｌ１’を、
Ｌ１’←（ｄｓ１／ｄｓ１’）・Ｌ１ …（２）
或いは、
Ｌ１’←（ｄｓ２／ｄｓ２’）・Ｌ１ …（３）
から簡略的に求めることも可能である。 Thereafter, the process proceeds to step S12, and the latest first inter-vehicle distance L1 and the reference pixel widths ds1, ds2 stored in the data storage unit 3 are read. In step S13, the second inter-vehicle distance L1 ′ is determined by the ratio.
L1 ′ ← {(ds1 + ds2) / (ds1 ′ + ds2 ′)} · L1 (1)
Calculate from In addition, f of FIG. 6 is a focal distance. In this case, the accuracy is lower than in the formula (1), but the second inter-vehicle distance L1 ′ is
L1 ′ ← (ds1 / ds1 ′) · L1 (2)
Or
L1 ′ ← (ds2 / ds2 ′) · L1 (3)
It is also possible to obtain it simply.

従って、左右カメラ画像Ｌｉ，Ｒｉの何れかで対象画像ｄｓ１’，ｄｓ２’の一方のみしか検出されなかった場合であっても、第２車間距離Ｌ１’を算出することは可能である。尚、このステップＳ１３での処理が、本発明の第２距離算出手段に対応している。 Therefore, even when only one of the target images ds1 'and ds2' is detected in either of the left and right camera images Li and Ri, the second inter-vehicle distance L1 'can be calculated. Note that the processing in step S13 corresponds to the second distance calculating means of the present invention.

そして、ステップＳ１４へ進み、今回求めた第２車間距離Ｌ１’を制御用車間距離Ｌｓとして設定してルーチンを抜ける。その結果、各種制御ユニットでは、今回の制御用車間距離Ｌｓに基づき、ＡＣＣ装置における車間距離維持制御等の運転支援制御を継続的に行うことができる。 Then, the process proceeds to step S14, where the second inter-vehicle distance L1 'determined this time is set as the control inter-vehicle distance Ls, and the routine is exited. As a result, the various control units can continuously perform driving support control such as inter-vehicle distance maintenance control in the ACC device based on the current inter-vehicle distance Ls for control.

このように、本実施形態は、左右カメラ画像Ｌｉ，Ｒｉで認識した先行車Ｍｆの第１車間距離Ｌ１を視差を利用して算出することができない状況であっても、視差を利用して第１車間距離Ｌ１と、それを算出した際の最新の基準点Ｘｏと左右端点Ｘｌ，Ｘｒとの基準画素幅ｄｓ１，ｄｓ２とを記憶させておき、それらに基づいて第２車間距離Ｌ１’を算出するようにしている。そして、この第２車間距離Ｌ１’を制御用車間距離Ｌｓとして設定して、ＡＣＣ装置で実行される車間距離維持制御等の運転支援制御を継続させるようにしたので、運転支援制御の中断、再開の頻度が低減され、より高い利便性を得ることができる。 As described above, the present embodiment uses the parallax even when the first inter-vehicle distance L1 of the preceding vehicle Mf recognized by the left and right camera images Li and Ri cannot be calculated using the parallax. The inter-vehicle distance L1 and the reference pixel widths ds1, ds2 of the latest reference point Xo and the left and right end points Xl, Xr at the time of calculation are stored, and the second inter-vehicle distance L1 ′ is calculated based on them. Like to do. Then, the second inter-vehicle distance L1 ′ is set as the control inter-vehicle distance Ls so that the driving support control such as the inter-vehicle distance maintenance control executed by the ACC device is continued. Can be reduced, and higher convenience can be obtained.

従って、例えば、図７（ｂ）に示すように、基準画像である右カメラ画像にワイパ１１ｂの拭き残し１３ｂによって先行車Ｍｆの右端点Ｘｒは非検出だが、左端点Ｘｌは検出されているフレームがある。一方、同図（ｂ）に示すように、比較画像である左カメラ画像にワイパ１１ａの拭き残し１３ａによって先行車Ｍｆの左端点Ｘｌは非検出だが、右端点Ｘｒは検出されているフレームがある。 Therefore, for example, as shown in FIG. 7B, the right end point Xr of the preceding vehicle Mf is not detected by the left wiper 13b of the wiper 11b in the right camera image as the reference image, but the left end point Xl is detected. There is. On the other hand, as shown in FIG. 4B, there is a frame in which the left end point Xl of the preceding vehicle Mf is not detected but the right end point Xr is detected by the left wiper 13a of the wiper 11a in the left camera image as a comparative image. .

この場合、同じ時系列のフレームにおいて、互いに補完可能な左右端点Ｘｌ，Ｘｒがあり、或いは、左右カメラ画像の一方でのみ左右端点Ｘｌ，Ｘｒが検出されていれば、同図（ｃ）に破線で示すように、互いの左右端点Ｘｌ，Ｘｒを補完して対象画素幅ｄｓ１’，ｄｓ２’を求めることで、補完直前に求めた実線で示す基準画素幅ｄｓ１，ｄｓ２と第１車間距離Ｌ１から、その比率により第２車間距離Ｌ１’を容易に求めることができる。従って、大きな改変が不要で、簡単なロジックの変更のみで対応することができるため、低コストで、しかも高い汎用性を得ることができる。 In this case, if there are left and right end points Xl and Xr that can be complemented with each other in the same time-series frame, or if left and right end points Xl and Xr are detected in only one of the left and right camera images, a broken line in FIG. As shown by the above, by obtaining the target pixel widths ds1 ′ and ds2 ′ by complementing the left and right end points Xl and Xr, the reference pixel widths ds1 and ds2 indicated by the solid line obtained immediately before the complementation and the first inter-vehicle distance L1 are obtained. The second inter-vehicle distance L1 ′ can be easily obtained from the ratio. Therefore, since no major modification is required and it is possible to cope with only a simple logic change, low cost and high versatility can be obtained.

尚、本発明は、上述した実施形態に限るものではなく、例えば、先行車Ｍｆのリヤ面に対して複数の基準点Ｘｏを設定した場合、この各基準点Ｘｏから左右端点Ｘｌ，Ｘｒまでの実幅Ｘ１，Ｘ２に対応する基準画素幅ｄｓ１，ｄｓ２を複数設定し、最も信頼性の高い基準画素幅ｄｓ１，ｄｓ２をフレーム毎に選択するようにしても良い。 The present invention is not limited to the above-described embodiment. For example, when a plurality of reference points Xo are set on the rear surface of the preceding vehicle Mf, the distance from each reference point Xo to the left and right end points Xl and Xr. A plurality of reference pixel widths ds1, ds2 corresponding to the actual widths X1, X2 may be set, and the most reliable reference pixel widths ds1, ds2 may be selected for each frame.

又、上述した実施形態において、ステレオカメラ５の視界を阻害する要因として掲げたワイパ１１ａ，１１ｂによる拭き残し１３ａ，１３ｂは例示であり、他の阻害要因としては、先行車Ｍｆや隣接する車両から排出される排気ガス、水はね、雪や埃の巻き上げ等がある。更に、逆行以外に、霧や陽炎による揺らぎも視界の阻害要因となる。 Further, in the above-described embodiment, the remaining wipes 13a and 13b by the wipers 11a and 11b listed as factors that obstruct the field of view of the stereo camera 5 are examples, and other obstruction factors include the preceding vehicle Mf and the adjacent vehicle. There are exhaust gas, water splash, snow and dust roll up. Furthermore, in addition to retrograde movement, fluctuations due to fog and hot flames are also obstructing visual fields.

１…相互間距離算出装置、
２…先行車認識処理部、
３…データ記憶部、
４…車載カメラユニット、
５…ステレオカメラ、
５ａ…メインカメラ、
５ｂ…サブカメラ、
６…ＩＰＵ、
７…フロントガラス、
１１ａ，１１ｂ…ワイパ、
１２ａ，１２ｂ…払拭エリア、
１３ａ，１３ｂ…拭き残し、
ｃ１…ナンバプレート、
ｃ２…オーナメント、
ｄｓ１…左基準画素幅、
ｄｓ２…右基準画素幅、
ｄｓ１’…左対象画素幅、
ｄｓ２’…右対象画素幅、
Ｌ１…第１車間距離、
Ｌ１’…第２車間距離、
Ｌｉ…比較画像、
Ｍｆ…先行車、
Ｍｍ…自車両、
Ｒｉ…基準画像、
Ｘ１…左実幅、
Ｘ２…右実幅、
Ｘｌ…左端点、
Ｘｏ…基準点、
Ｘｒ…右端点 1 ... Mutual distance calculation device,
2 ... Preceding vehicle recognition processing unit,
3. Data storage unit
4 ... In-vehicle camera unit,
5 ... Stereo camera,
5a ... main camera,
5b ... Sub camera,
6 ... IPU,
7 ... windshield,
11a, 11b ... wipers,
12a, 12b ... wiping area,
13a, 13b ... left unwiped,
c1 ... Number plate,
c2 ... ornament,
ds1 ... Left reference pixel width,
ds2: right reference pixel width,
ds1 ′: Left target pixel width,
ds2 '... right target pixel width,
L1 ... 1st inter-vehicle distance,
L1 '... second inter-vehicle distance,
Li ... Comparison image,
Mf ... preceding car,
Mm ... own vehicle,
Ri: Reference image,
X1 ... Left actual width,
X2 ... right actual width,
Xl ... Left end point,
Xo ... reference point,
Xr ... Right end point

Claims

自車両に搭載されて前方の走行環境を一対の撮像手段で撮像する撮像装置と、
一対の前記撮像手段で撮像した一対の撮像画像に基づき前記自車両前方の立体物を認識する認識処理手段と、
一対の前記撮像画像に基づき、前記認識処理手段で認識した前記立体物と前記自車両との基準となる第１距離を算出する第１距離算出手段と、
前記立体物の特定した基準点から特徴点までの一対の前記撮像画像上の基準画素幅を算出する基準画素幅算出手段と、
前記第１距離算出手段で算出した前記第１距離及び前記基準画素幅算出手段で算出した前記基準画素幅を記憶させる記憶手段と、
一対の前記撮像手段の視界が阻害されて一方の前記撮像画像で前記特徴点が検出されない場合、他方の前記撮像画像上の対象画素幅を算出する対象画素幅算出手段と、
前記記憶手段に記憶されている前記第１距離及び前記基準画素幅と前記対象画素幅算出手段で算出した前記対象画素幅との比率に基づいて、該対象画素幅に対応する前記立体物と前記自車両との第２距離を算出する第２距離算出手段と
を備えることを特徴とする相互間距離算出装置。 An imaging device that is mounted on the host vehicle and captures the driving environment ahead by a pair of imaging means;
Recognition processing means for recognizing a three-dimensional object ahead of the host vehicle based on a pair of captured images captured by a pair of the imaging means;
First distance calculation means for calculating a first distance serving as a reference between the three-dimensional object recognized by the recognition processing means and the host vehicle based on a pair of the captured images;
Reference pixel width calculation means for calculating a reference pixel width on the pair of captured images from the specified reference point to the feature point of the three-dimensional object;
Storage means for storing the first distance calculated by the first distance calculation means and the reference pixel width calculated by the reference pixel width calculation means;
A target pixel width calculation unit that calculates a target pixel width on the other captured image when the field of view of the pair of the imaging units is obstructed and the feature point is not detected in the one captured image;
Based on the ratio between the first distance and the reference pixel width stored in the storage unit and the target pixel width calculated by the target pixel width calculation unit, the three-dimensional object corresponding to the target pixel width and the A mutual distance calculation device comprising: second distance calculation means for calculating a second distance from the host vehicle.

前記特徴点は前記立体物の前記基準点を挟む左右端点であり、
前記基準画素幅と前記対象画素幅とは前記基準点から前記左端点までの左画素幅及び該基準点から前記右端点までの右画素幅であり、
前記対象画素幅算出手段は、一対の前記撮像画像の一方で前記対象画素幅の前記左画素幅のみが検出され、他方で前記対象画素幅前記右画素幅のみが検出された場合、該左画素幅と該右画素幅とを前記対象画素幅として設定し、
前記第２距離算出手段は、前記第１距離及び前記基準画素幅の前記左画素幅と前記右画素幅とを加算した値と、前記対象画素幅の前記左画素幅と前記右画素幅とを加算した値との比率に基づいて、前記第２距離を算出する
ことを特徴とする請求項１記載の相互間距離算出装置。 The feature points are left and right end points sandwiching the reference point of the three-dimensional object,
The reference pixel width and the target pixel width are a left pixel width from the reference point to the left end point and a right pixel width from the reference point to the right end point,
The target pixel width calculation unit is configured to detect the left pixel when only the left pixel width of the target pixel width is detected on one side of the pair of the captured images and only the right pixel width is detected on the other side. A width and the right pixel width are set as the target pixel width;
The second distance calculating means adds the left pixel width and the right pixel width of the first distance and the reference pixel width, and the left pixel width and the right pixel width of the target pixel width. The mutual distance calculation apparatus according to claim 1, wherein the second distance is calculated based on a ratio with the added value.

前記特徴点は前記立体物の前記基準点を挟む左右端点であり、
前記基準画素幅と前記対象画素幅とは前記基準点から前記左端点までの左画素幅及び該基準点から前記右端点までの右画素幅であり、
前記対象画素幅算出手段は、一対の前記撮像画像の一方でのみ前記対象画素幅の前記左画素幅と前記右画素幅が検出された場合、該左画素幅と該右画素幅とを前記対象画素幅として設定し、
前記第２距離算出手段は、前記第１距離及び前記基準画素幅の前記左画素幅と前記右画素幅とを加算した値と、前記対象画素幅の前記左画素幅と前記右画素幅とを加算した値との比率に基づいて、前記第２距離を算出する
ことを特徴とする請求項１記載の相互間距離算出装置。 The feature points are left and right end points sandwiching the reference point of the three-dimensional object,
The reference pixel width and the target pixel width are a left pixel width from the reference point to the left end point and a right pixel width from the reference point to the right end point,
When the left pixel width and the right pixel width of the target pixel width are detected only in one of the pair of the captured images, the target pixel width calculation unit calculates the left pixel width and the right pixel width as the target. Set as pixel width,
The second distance calculating means adds the left pixel width and the right pixel width of the first distance and the reference pixel width, and the left pixel width and the right pixel width of the target pixel width. The mutual distance calculation apparatus according to claim 1, wherein the second distance is calculated based on a ratio with the added value.

前記特徴点は前記立体物の前記基準点を挟む左右端点であり、
前記基準画素幅と前記対象画素幅とは前記基準点から前記左端点までの左画素幅及び該基準点から前記右端点までの右画素幅であり、
前記対象画素幅算出手段は、一対の前記撮像画像の一方でのみ前記対象画素幅の前記左画素幅と前記右画素幅との一方が検出された場合、検出された一方の該画素幅を前記対象画素幅として設定し、
前記第２距離算出手段は、前記第１距離及び前記対象画素幅と同一側の前記基準画素幅と、前記対象画素幅との比率に基づいて、前記第２距離を算出する
ことを特徴とする請求項１記載の相互間距離算出装置。 The feature points are left and right end points sandwiching the reference point of the three-dimensional object,
The reference pixel width and the target pixel width are a left pixel width from the reference point to the left end point and a right pixel width from the reference point to the right end point,
The target pixel width calculation means, when one of the left pixel width and the right pixel width of the target pixel width is detected only in one of the pair of the captured images, the detected one pixel width Set as the target pixel width,
The second distance calculating means calculates the second distance based on a ratio of the reference pixel width on the same side as the first distance and the target pixel width and the target pixel width. The mutual distance calculation apparatus according to claim 1.