JP6875940B2

JP6875940B2 - Mutual distance calculation device

Info

Publication number: JP6875940B2
Application number: JP2017117964A
Authority: JP
Inventors: 中川　亮; 亮中川; 法正金子
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2017-06-15
Filing date: 2017-06-15
Publication date: 2021-05-26
Anticipated expiration: 2037-06-15
Also published as: JP2019002802A

Description

本発明は、左右一対の撮像手段で撮像した撮像画像に基づいて自車両前方の立体物までの距離を算出する相互間距離算出装置に関する。 The present invention relates to a mutual distance calculation device that calculates a distance to a three-dimensional object in front of the own vehicle based on images captured by a pair of left and right imaging means.

従来、ＡＣＣ（Adaptive Cruise Control)装置等の運転支援装置を搭載している車両においては、自車両前方を常時監視し、前方立体物が検出された場合には、それに対する適応制御が実行される。前方立体物は、左右一対のカメラ（ステレオカメラ）によって撮像した自車両前方の走行環境画像に基づいてパターンマッチングにより認識する手段が知られている。又、その際、両カメラの視差を利用して自車両と前方立体物との距離を算出し、前方立体物が先行車の場合には、車間距離を一定に保持した状態での先行車追従制御が実行される。 Conventionally, in a vehicle equipped with a driving support device such as an ACC (Adaptive Cruise Control) device, the front of the own vehicle is constantly monitored, and when a three-dimensional object in front is detected, adaptive control is executed. .. A means for recognizing a front three-dimensional object by pattern matching based on a driving environment image in front of the own vehicle captured by a pair of left and right cameras (stereo cameras) is known. At that time, the distance between the own vehicle and the three-dimensional object in front is calculated using the parallax of both cameras, and when the three-dimensional object in front is the preceding vehicle, the preceding vehicle is followed while the inter-vehicle distance is kept constant. Control is executed.

ステレオカメラは、雨雪、埃等による汚れを避けるためフロントガラス内側の車室内前部に設置される場合が多い。従って、雨天や降雪時、或いはフロントガラスが汚れている場合はワイパを作動させてカメラ前方の視界を確保する必要がある。ワイパの拭き残しによる水滴などがフロントガラスに付着し、それが、カメラによって取り込まれると、前方立体物との距離を正しく計測することができなくなる。又、ワイパの払拭エリアから前方立体物の一部が外れた場合も同様である。 Stereo cameras are often installed in the front part of the vehicle interior inside the windshield to avoid dirt from rain, snow, dust, etc. Therefore, when it rains or snows, or when the windshield is dirty, it is necessary to operate the wiper to secure the field of view in front of the camera. If water droplets left over from the wiper adhere to the windshield and are captured by the camera, the distance to the front three-dimensional object cannot be measured correctly. The same applies when a part of the front three-dimensional object is removed from the wiping area of the wiper.

カメラ前方の視界が阻害されると、例えば、前方立体物が先行車であれば、先行車との距離を把握することができないため、先行車追従制御を継続させることが困難となる。そのため、例えば、特許文献１（特開２０１７−５８９４号公報）には、カメラで撮像した画像に基づきフロントガラスの汚れを監視し、汚れが検出された場合、運転者にその旨を報知すると共に画像認識処理を中断して、運転支援装置の不要な動作を回避させるようにした態様が示されている。 When the field of view in front of the camera is obstructed, for example, if the three-dimensional object in front is the preceding vehicle, the distance to the preceding vehicle cannot be grasped, so that it becomes difficult to continue the preceding vehicle tracking control. Therefore, for example, in Patent Document 1 (Japanese Unexamined Patent Publication No. 2017-5894), dirt on the windshield is monitored based on an image captured by a camera, and if dirt is detected, the driver is notified to that effect. An embodiment in which the image recognition process is interrupted to avoid unnecessary operation of the driving support device is shown.

特開２０１７−５８９４９号公報JP-A-2017-58949

上述した文献に開示されている技術では、フロントガラスの汚れが検出された場合、運転支援制御が中断されてしまうため、運転者の負担が増してしまう不都合がある。 The technique disclosed in the above-mentioned document has a disadvantage that the burden on the driver increases because the driving support control is interrupted when the windshield is detected to be dirty.

この場合、フロントガラスの汚れが検出された場合であっても、前方立体物が認識され、且つ自車両との距離が検出される状況の場合は、運転支援制御を継続させることで、運転者の負担をより軽減させることができる。 In this case, even if dirt on the windshield is detected, if the front three-dimensional object is recognized and the distance to the own vehicle is detected, the driver can continue the driving support control. The burden on the vehicle can be further reduced.

しかし、両カメラによる視差を利用することができなくなれば、前方立体物との距離を求めることができなくなるため、運転支援制御は中断せざるを得ず、継続性が確保されず、より高い利便性を実現させることが困難となる不都合がある。尚、このことは、フロントガラスの汚れ、拭き残しのみならず、両カメラに逆光等の外的要因が取り込まれた際にも同様の不都合が生じる。 However, if the parallax between the two cameras cannot be used, the distance to the three-dimensional object in front cannot be obtained, so the driving support control must be interrupted, continuity cannot be ensured, and higher convenience is achieved. There is an inconvenience that it becomes difficult to realize the sex. It should be noted that this causes the same inconvenience not only when the windshield is dirty or left unwiped, but also when external factors such as backlight are taken into both cameras.

本発明は、上記事情に鑑み、一対のカメラによる視差を利用して前方の立体物と自車両との距離を求めることができない状況となった場合であっても、前方の立体物との距離を求めることが可能となり、運転支援制御の中断、再開の頻度を低減し、より高い利便性を実現させることのできる相互間距離算出装置を提供することを目的とする。 In view of the above circumstances, the present invention has a distance between a three-dimensional object in front and a three-dimensional object in front even when the distance between the three-dimensional object in front and the own vehicle cannot be obtained by using the parallax of a pair of cameras. It is an object of the present invention to provide a mutual distance calculation device capable of reducing the frequency of interruption and resumption of driving support control and realizing higher convenience.

本発明による相互間距離算出装置は、自車両に搭載されて前方の走行環境を一対の撮像手段で撮像する撮像装置と、一対の前記撮像手段で撮像した一対の撮像画像に基づき前記自車両前方の立体物を認識する認識処理手段と、一対の前記撮像画像に基づき、前記認識処理手段で認識した前記立体物と前記自車両との基準となる第１距離を算出する第１距離算出手段と、前記立体物の特定した基準点から特徴点までの一対の前記撮像画像上の基準画素幅を算出する基準画素幅算出手段と、前記第１距離算出手段で算出した前記第１距離及び前記基準画素幅算出手段で算出した基準画素幅を記憶きせる記憶手段と、一対の前記撮像手段の視界が阻害されて一方の前記撮像画像で前記特徴点が検出されない場合、他方の前記撮像画像上の対象画素幅を算出する対象画素幅算出手段と、前記記憶手段に記憶されている前記第１距離及び前記基準画素幅と前記対象画素幅算出手段で算出した前記対象画素幅との比率に基づいて、該対象画素幅に対応する前記立体物と前記自車両との第２距離を算出する第２距離算出手段とを備える。 The mutual distance calculation device according to the present invention is mounted on the own vehicle and captures the traveling environment in front of the own vehicle with a pair of imaging means, and the front of the own vehicle based on the pair of captured images captured by the pair of the imaging means. A recognition processing means for recognizing a three-dimensional object and a first distance calculation means for calculating a reference first distance between the three-dimensional object recognized by the recognition processing means and the own vehicle based on the pair of captured images. A reference pixel width calculating means for calculating a pair of reference pixel widths on the captured image from the specified reference point to the feature point of the three-dimensional object, and the first distance and the reference calculated by the first distance calculating means. When the viewing means of the storage means that can store the reference pixel width calculated by the pixel width calculation means and the pair of imaging means is obstructed and the feature point is not detected in one of the captured images, the object on the other captured image. Based on the ratio of the target pixel width calculating means for calculating the pixel width to the first distance and the reference pixel width stored in the storage means and the target pixel width calculated by the target pixel width calculating means. A second distance calculation means for calculating a second distance between the three-dimensional object and the own vehicle corresponding to the target pixel width is provided.

本発明によれば、一対の撮像手段で撮像した一対の撮像画像で前方の立体物が認識されている場合に算出した、立体物と自車両との第１距離、及び立体物の基準点から特徴点までの画素幅を基準として、一対の撮像手段の視界が阻害されて一方の撮像画像で特徴点が検出されない場合は、他方の撮像画像に基づいて算出した対象画素幅との比率に基づいて、第２距離を算出するようにしたので、一対のカメラによる視差を利用して前方の立体物と自車両との距離を求めることができない状況となった場合であっても、前方の立体物との距離を求めることが可能となり、運転支援制御の中断、再開の頻度を低減し、より高い利便性を実現させることができる。 According to the present invention, from the first distance between the three-dimensional object and the own vehicle and the reference point of the three-dimensional object calculated when the three-dimensional object in front is recognized by the pair of captured images captured by the pair of imaging means. When the visibility of the pair of imaging means is obstructed and the feature points are not detected in one of the captured images based on the pixel width to the feature points, the ratio to the target pixel width calculated based on the other captured image is used. Therefore, since the second distance is calculated, even if the distance between the three-dimensional object in front and the own vehicle cannot be obtained by using the difference between the pair of cameras, the three-dimensional object in front is calculated. It is possible to obtain the distance to an object, reduce the frequency of interruption and resumption of driving support control, and realize higher convenience.

相互間距離算出装置の概略図Schematic diagram of the mutual distance calculation device ワイパ払拭エリアとステレオカメラとの位置関係を示す正面図Front view showing the positional relationship between the wiper wiping area and the stereo camera （ａ）は良好な視界でのカメラ画像を示す模式図、（ｂ）は左カメラで撮像した左カメラ画像を示す模式図、（ｃ）右カメラで撮像した右カメラ画像を示す模式図(A) is a schematic diagram showing a camera image in a good field of view, (b) is a schematic diagram showing a left camera image captured by the left camera, and (c) is a schematic diagram showing a right camera image captured by the right camera. 先行車間距離算出ルーチンを示すフローチャート（その１）Flowchart showing the preceding vehicle-to-vehicle distance calculation routine (1) 先行車間距離算出ルーチンを示すフローチャート（その２）Flowchart showing the preceding vehicle distance calculation routine (Part 2) 先行車との車間距離の求め方を示す説明図Explanatory drawing showing how to obtain the inter-vehicle distance from the preceding vehicle （ａ）左カメラ画像を時系列示す模式図、（ｂ）右カメラ画像を時系列で示す模式図、（ｃ）右カメラ画像を左カメラ画像で補完した状態を示す模式図(A) Schematic diagram showing the left camera image in time series, (b) Schematic diagram showing the right camera image in time series, (c) Schematic diagram showing the state in which the right camera image is complemented by the left camera image.

以下、図面に基づいて本発明の一実施形態を説明する。図１に示す相互間距離算出装置１は、自動車等の車両（自車両）Ｍｍに搭載されているものであり、マイクロコンピュータを中心として構成されている先行車認識処理部２と、この先行車認識処理部２に接続されている読み書き自在な記憶手段としてのデータ記憶部３とを備えている。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. The mutual distance calculation device 1 shown in FIG. 1 is mounted on a vehicle (own vehicle) Mm such as an automobile, and is composed mainly of a microcomputer and a preceding vehicle recognition processing unit 2 and the preceding vehicle. It includes a data storage unit 3 as a readable and writable storage means connected to the recognition processing unit 2.

又、この相互間距離算出装置１の入力側に、撮像装置としての車載カメラユニット４が接続されている。この車載カメラユニット４は、メインカメラ（本実施形態では右カメラ）５ａ及びサブカメラ（本実施形態では左カメラ）５ｂからなる、一対の撮像手段としてのステレオカメラ５と画像処理ユニット（ＩＰＵ）６とを備えている。この両カメラ５ａ，５ｂはフロントガラス７の内側であって、車室内前部の上部（例えば、ルームミラーの両側）に一定の間隔を保持した状態で固設されている。又、このフロントガラス７の前面には左右ワイパ１１ａ，１１ｂが配設されており、図２に示すように、両カメラ５ａ，５ｂは、当該左右ワイパ１１ａ，１１ｂの払拭エリア１２ａ、１２ｂに視野範囲が収まるように設定されている。 Further, an in-vehicle camera unit 4 as an imaging device is connected to the input side of the mutual distance calculation device 1. The in-vehicle camera unit 4 includes a stereo camera 5 as a pair of imaging means and an image processing unit (IPU) 6 including a main camera (right camera in this embodiment) 5a and a sub camera (left camera in this embodiment) 5b. And have. Both cameras 5a and 5b are fixed to the inside of the windshield 7 in a state where a certain distance is maintained in the upper part of the front part of the vehicle interior (for example, both sides of the rearview mirror). Left and right wipers 11a and 11b are arranged on the front surface of the windshield 7, and as shown in FIG. 2, both cameras 5a and 5b have a field of view in the wiping areas 12a and 12b of the left and right wipers 11a and 11b. It is set to fit in the range.

両カメラ５ａ，５ｂは、ＣＣＤやＣＭＯＳ等、撮像手段としてのイメージセンサをそれぞれ内蔵しており、自車両Ｍｍ前方の走行環境を異なる視点、すなわち視差を有して撮像する。これにより、ステレオ画像処理を行う際に必要な基準画像（右カメラ画像）と比較画像（左カメラ画像）とが取得される。この両カメラ５ａ，５ｂで撮像した自車前方の走行環境の画像信号がＩＰＵ６に送信されて、所定に画像処理された後、先行車認識処理部２へ送信される。 Both cameras 5a and 5b have built-in image sensors such as CCD and CMOS as imaging means, and image the traveling environment in front of the own vehicle Mm with different viewpoints, that is, parallax. As a result, the reference image (right camera image) and the comparison image (left camera image) required for stereo image processing are acquired. The image signals of the driving environment in front of the own vehicle captured by both cameras 5a and 5b are transmitted to the IPU 6, and after predetermined image processing, they are transmitted to the preceding vehicle recognition processing unit 2.

先行車認識処理部２は、ＩＰＵ６からの画像信号に基づき、メインカメラ５ａで撮像した画像に基づいて基準画像を生成し、サブカメラ５ｂで撮像した画像に基づいて比較画像を生成する。そして、基準画像と比較画像とに基づいて、１フレーム相当の撮像画像に関し、対応する同一の前方立体物に対する視差から周知の三角測量の原理を用いて対象となる前方立体物までの距離を算出する。尚、前方立体物は先行車、歩行者、自転車等の移動体に限らず、駐停車している車両、電柱や設置物等の固定物が含まれるが、以下においては、説明を容易にするため、自車両Ｍｍの直前を走行する先行車Ｍｆを、その代表として説明する。 The preceding vehicle recognition processing unit 2 generates a reference image based on the image captured by the main camera 5a based on the image signal from the IPU 6, and generates a comparative image based on the image captured by the sub camera 5b. Then, based on the reference image and the comparison image, the distance from the parallax to the corresponding front three-dimensional object to the target front three-dimensional object is calculated using the well-known triangulation principle for the captured image corresponding to one frame. To do. It should be noted that the three-dimensional object in front is not limited to moving objects such as preceding vehicles, pedestrians, and bicycles, but also includes parked vehicles, fixed objects such as utility poles and installed objects. Therefore, the preceding vehicle Mf traveling immediately before the own vehicle Mm will be described as a representative thereof.

ところで、フロントガラス７に雨滴が付着するとステレオカメラ５の視界が阻害される。そのため、左右ワイパ１１ａ，１１ｂを作動させてフロントガラス７を払拭し、視界を確保する。フロントガラス７が汚れた場合も同様に、ウォッシャー液をフロントガラス７に吹き付け、左右ワイパ１１ａ，１１ｂを作動させて視界を確保する。 By the way, if raindrops adhere to the windshield 7, the field of view of the stereo camera 5 is obstructed. Therefore, the left and right wipers 11a and 11b are operated to wipe the windshield 7 and secure the field of view. Similarly, when the windshield 7 becomes dirty, the washer fluid is sprayed onto the windshield 7 and the left and right wipers 11a and 11b are operated to secure the visibility.

その際、図２に示すように、フロントガラス７の払拭エリア１２ａ，１２ｂに、拭き残し１３ａ，１３ｂが発生する場合がある。そして、この拭き残し１３ａ，１３ｂの一方或いは双方がカメラ５ａ，５ｂの視野に入り込んだ場合、図３（ｂ），（ｃ）に示すように、各カメラ５ａ，５ｂで撮像したカメラ画像Ｒｉ，Ｌｉの一方或いは双方に、拭き残し１３ａ，１３ｂが映されてしまい、先行車Ｍｆとの基準となる第１車間距離Ｌ１（図６参照）を正確に求めることが困難となる。 At that time, as shown in FIG. 2, unwiped areas 13a and 13b may be generated in the wiping areas 12a and 12b of the windshield 7. Then, when one or both of the unwiped 13a and 13b enter the field of view of the cameras 5a and 5b, as shown in FIGS. 3 (b) and 3 (c), the camera images Ri, captured by the respective cameras 5a and 5b. Unwiped 13a and 13b are projected on one or both of Li, and it becomes difficult to accurately obtain the first inter-vehicle distance L1 (see FIG. 6), which is a reference with the preceding vehicle Mf.

しかし、フロントガラス７に残存する拭き残し１３ａ，１３ｂは一時的なものであり、時間の経過とともに消失するため、この拭き残し１３ａ，１３ｂが存在している間だけ、車間距離を推定することができれば、ＡＣＣ装置等の運転支援装置における先行車追従制御を継続させることが可能となり、より高い利便性を得ることができる。 However, the unwiped 13a and 13b remaining on the windshield 7 are temporary and disappear with the passage of time. Therefore, the inter-vehicle distance can be estimated only while the unwiped 13a and 13b are present. If possible, it is possible to continue the preceding vehicle tracking control in the driving support device such as the ACC device, and it is possible to obtain higher convenience.

そのため、先行車認識処理部２では、フロントガラス７に付着した拭き残し１３ａ，１３ｂ等に起因して先行車Ｍｆの認識が阻害された場合であっても、両カメラ５ａ，５ｂで撮像した基準画像と比較画像とで先行車Ｍｆの水平方向の幅を補完し合って検出できる状態のときは、それに基づいて第２車間距離Ｌ１’を求めることで先行車追従制御を継続させるようにしている。 Therefore, in the preceding vehicle recognition processing unit 2, even if the recognition of the preceding vehicle Mf is hindered due to the unwiped 13a, 13b, etc. adhering to the windshield 7, the reference captured by both cameras 5a, 5b. When the width of the preceding vehicle Mf in the horizontal direction can be complemented and detected by the image and the comparison image, the preceding vehicle tracking control is continued by obtaining the second inter-vehicle distance L1'based on the image and the comparison image. ..

先行車認識処理部２は自車両Ｍｍと先行車Ｍｆとの車間距離Ｌ１，Ｌ１’を、具体的には、図４、図５に示す先行車間距離算出ルーチンに従って算出する。 The preceding vehicle recognition processing unit 2 calculates the inter-vehicle distance L1 and L1'between the own vehicle Mm and the preceding vehicle Mf, specifically, according to the preceding vehicle-to-vehicle distance calculation routine shown in FIGS. 4 and 5.

すなわち、このルーチンが起動されると、先ず、ステップＳ１で、メインカメラ５ａで撮像した右カメラ画像（基準画像）Ｌｒとサブカメラ５ｂで撮像した左カメラ画像（比較画像）Ｌｌとを読込み、先行車検出のための画像処理（例えば、パターンマッチング処理）により、先行車Ｍｆのリヤ面の認識処理を行う。尚、このステップでの処理が、本発明の認識処理手段に対応している。 That is, when this routine is activated, first, in step S1, the right camera image (reference image) Lr captured by the main camera 5a and the left camera image (comparative image) Ll captured by the sub camera 5b are read and preceded. The rear surface of the preceding vehicle Mf is recognized by image processing for vehicle detection (for example, pattern matching processing). The processing in this step corresponds to the recognition processing means of the present invention.

そして、ステップＳ２へ進み、自車両Ｍｍ直前の所定距離内に先行車Ｍｆが捕捉されたか否かを調べ、捕捉された場合はステップＳ３へ進む。又、捕捉されない場合はルーチンを抜け、第１車間距離Ｌ１は求めることができずエラーとなる。 Then, the process proceeds to step S2, and it is checked whether or not the preceding vehicle Mf is captured within a predetermined distance immediately before the own vehicle Mm, and if it is captured, the process proceeds to step S3. If it is not captured, the routine is exited and the first inter-vehicle distance L1 cannot be obtained, resulting in an error.

又、ステップＳ３へ進むと、ステップＳ１で認識した先行車Ｍｆの左右カメラ画像Ｌｉ，Ｒｉに基づき、車幅方向中央付近に共通の基準点Ｘｏを特定する。この基準点Ｘｏは、左右カメラ画像Ｌｉ，Ｒｉに映された先行車Ｍｆの画像のリヤ面において、輝度差により二値化処理した際に明確に判別できる部位が好ましい。 Further, when the process proceeds to step S3, a common reference point Xo is specified near the center in the vehicle width direction based on the left and right camera images Li and Ri of the preceding vehicle Mf recognized in step S1. The reference point Xo is preferably a portion on the rear surface of the image of the preceding vehicle Mf projected on the left and right camera images Li and Ri, which can be clearly identified when binarized by the brightness difference.

この候補としては、ナンバプレートｃ１やエンブレムを代表とするオーナメントｃ２等があり、本実施形態はナンバプレートｃ１の幅方向端部（図においては右端部）のエッジを基準点Ｘｏとしている。尚、この基準点Ｘｏは、ナンバプレートｃ１のエッジに加えてオーナメントｃ２のエッジ等、多点に設定しても良いが、以下においては、ナンバプレートｃ１のエッジを、それらの代表として説明する。 Examples of this candidate include a number plate c1 and an ornament c2 represented by an emblem. In this embodiment, the edge of the widthwise end portion (right end portion in the figure) of the number plate c1 is set as a reference point Xo. The reference point Xo may be set to multiple points such as the edge of the ornament c2 in addition to the edge of the number plate c1, but in the following, the edge of the number plate c1 will be described as a representative of them.

そして、ステップＳ４へ進み、左右カメラ画像Ｌｉ，Ｒｉにおいて、共通する特徴点である、基準点Ｘｏを挟む両側の左右端点Ｘｌ，Ｘｒが検出されたか否かを調べる。この左右端点Ｘｌ，Ｘｒは、例えば車体幅方向のエッジを二値化処理による輝度差で検出する。そして、共通する左右端点Ｘｌ，Ｘｒが検出された場合、ステップＳ５へ進み、検出されなかった場合はステップＳ９へ分岐する。尚、特徴点は左右端点Ｘｌ，Ｘｒに限らず、二値化処理による輝度差が明確に表れる部位であれば、左右ドアミラーの端部等であっても良い。 Then, the process proceeds to step S4, and it is examined whether or not the left and right end points Xl and Xr on both sides of the reference point Xo, which are common feature points, are detected in the left and right camera images Li and Ri. For the left and right end points Xl and Xr, for example, the edge in the vehicle body width direction is detected by the brightness difference due to the binarization process. Then, when the common left and right end points Xl and Xr are detected, the process proceeds to step S5, and when not detected, the process proceeds to step S9. The feature points are not limited to the left and right end points Xl and Xr, and may be the ends of the left and right door mirrors as long as the difference in brightness due to the binarization process clearly appears.

ステップＳ５へ進むと、先行車Ｍｆに対する視差から三角測量の原理を用いて先行車Ｍｆまでの基準となる第１車間距離Ｌ１を求める。尚、このステップＳ５での処理が、本発明の第１距離算出手段に対応している。 Proceeding to step S5, the first inter-vehicle distance L1 which is a reference to the preceding vehicle Mf is obtained from the parallax with respect to the preceding vehicle Mf using the principle of triangulation. The process in step S5 corresponds to the first distance calculation means of the present invention.

次いで、ステップＳ６へ進み、基準点Ｘｏから左右端点Ｘｌ，Ｘｒまでの実幅Ｘ１，Ｘ２（図３(a)参照）に対応する、メインカメラ５ａの撮像面に結像された右カメラ画像（基準画像）Ｌｒ上の基準画素幅（左基準画素幅と右基準画素幅）ｄｓ１，ｄｓ２（図６参照）を、１画素ピッチにＸｏ−Ｘｌ、及びＸｏ−Ｘｒ間の画素数を乗算して算出する（画素ピッチ×画素数）。尚、このステップＳ６での処理が、本発明の基準画素幅算出手段に対応している。 Next, the process proceeds to step S6, and the right camera image formed on the imaging surface of the main camera 5a corresponding to the actual widths X1 and X2 (see FIG. 3A) from the reference point Xo to the left and right end points Xl and Xr (see FIG. 3A). Reference image) The reference pixel width (left reference pixel width and right reference pixel width) ds1 and ds2 (see FIG. 6) on Lr is multiplied by the number of pixels between Xo-Xl and Xo-Xr at one pixel pitch. Calculate (pixel pitch x number of pixels). The process in step S6 corresponds to the reference pixel width calculation means of the present invention.

そして、ステップＳ７で、第１車間距離Ｌ１と基準画素幅ｄｓ１，ｄｓ２とを、データ記憶部３に１フレーム毎の時系列で記憶させ、ステップＳ８へ進み、今回設定した第１車間距離Ｌ１を制御用車間距離Ｌｓとして設定し、ルーチンを抜ける。制御用車間距離Ｌｓは各種制御ユニットにおいて読込まれ、例えば、ＡＣＣ装置では、制御用車間距離Ｌｓが目標車間距離と一致するように車間距離維持制御を実行して、自車両Ｍｍを先行車Ｍｆに対して追従走行させる。 Then, in step S7, the first inter-vehicle distance L1 and the reference pixel widths ds1 and ds2 are stored in the data storage unit 3 in a time series for each frame, and the process proceeds to step S8 to set the first inter-vehicle distance L1 set this time. Set as the control vehicle-to-vehicle distance Ls and exit the routine. The control inter-vehicle distance Ls is read by various control units. For example, in the ACC device, the inter-vehicle distance maintenance control is executed so that the control inter-vehicle distance Ls matches the target inter-vehicle distance, and the own vehicle Mm is set to the preceding vehicle Mf. On the other hand, it is made to follow.

ところで、フロントガラス７に雨滴が付着しているとステレオカメラ５の視界が阻害され、前方の走行環境の認識性能が低下する。そのため、運転者がワイパスイッチをＯＮし、或いは雨滴感知式オートワイパーが併設されている車両では自動的にワイパスイッチがＯＮし、左右ワイパ１１ａ，１１ｂの作動によりフロントガラス７を払拭して視界を確保する。ステレオカメラ５の視界はフロントガラス７の汚れによっても阻害される。このような場合は、ウォッシャー液をフロントガラス７に吹き付け、左右ワイパ１１ａ，１１ｂを作動させてウォッシャー液を払拭することで視界を確保する。 By the way, if raindrops are attached to the windshield 7, the field of view of the stereo camera 5 is obstructed, and the recognition performance of the traveling environment in front is deteriorated. Therefore, the driver turns on the wiper switch, or in a vehicle equipped with a raindrop detection type auto wiper, the wiper switch is automatically turned on, and the left and right wipers 11a and 11b wipe the windshield 7 to improve the visibility. Secure. The field of view of the stereo camera 5 is also obstructed by dirt on the windshield 7. In such a case, the washer fluid is sprayed on the windshield 7 and the left and right wipers 11a and 11b are operated to wipe off the washer fluid to secure the field of view.

ワイパ１１ａ，１１ｂによる払拭動作に際し、図２に示すように、払拭エリア１２ａ，１２ｂに拭き残し１３ａ，１３ｂが発生する場合がある。そして、この拭き残し１３ａ，１３ｂの一方、或いは双方が、左右カメラ画像Ｌｉ，Ｒｉの一方或いは双方に映されて、先行車Ｍｆに対する視界が阻害されると、先行車Ｍｆの視認性が低下し、視差に基づき三角測量の原理を利用して正確な車間距離を算出することが困難となり、ＡＣＣ装置は追従走行が停止される。 During the wiping operation by the wipers 11a and 11b, as shown in FIG. 2, unwiped areas 13a and 13b may be generated in the wiping areas 12a and 12b. Then, when one or both of the unwiped 13a and 13b is projected on one or both of the left and right camera images Li and Ri and the visibility to the preceding vehicle Mf is obstructed, the visibility of the preceding vehicle Mf deteriorates. , It becomes difficult to calculate an accurate inter-vehicle distance using the principle of triangulation based on parallax, and the ACC device stops following running.

しかし、左右カメラ画像Ｌｉ，Ｒｉに拭き残し１３ａ，１３ｂが映された場合であっても、例えば、図３（ｂ），（ｃ）示すように、一方のカメラ画像（図においては左カメラ画像Ｌｉ）では基準点Ｘｏ及び右端点Ｘｒが検出され、他方のカメラ画像（図においては右カメラ画像Ｒｉ）では基準点Ｘｏ及び左端点Ｘｌが検出されている場合がある。このような場合、一方のカメラ画像からはＸｏ−Ｘｒ間の画像上の距離を求めることができ、又、他方のカメラ画像からはＸｏ−Ｘｌ間の画像上の距離を求めることができる。 However, even when the left and right camera images Li and Ri show the unwiped 13a and 13b, for example, as shown in FIGS. 3 (b) and 3 (c), one camera image (the left camera image in the figure). In Li), the reference point Xo and the right end point Xr may be detected, and in the other camera image (right camera image Ri in the figure), the reference point Xo and the left end point Xl may be detected. In such a case, the distance on the image between Xo and Xr can be obtained from one camera image, and the distance on the image between Xo and Xl can be obtained from the other camera image.

ステップＳ９以下では、左右カメラ画像Ｌｉ，Ｒｉの一方で左端点Ｘｌが検出され、他方で右端点Ｘｒが検出されている場合には、この基準点Ｘｏと左端点Ｘｌ間の実幅Ｘ１に対応する左対象画素幅ｄｓ１’と基準点Ｘｏと右端点Ｘｒ間の実幅Ｘ２に対応する右対象画素幅ｄｓ２’とから制御用車間距離Ｌｓを算出し、ＡＣＣ装置による追従走行等を継続させるようにする。 In step S9 or less, when the left end point Xl is detected on one of the left and right camera images Li and Ri and the right end point Xr is detected on the other side, it corresponds to the actual width X1 between the reference point Xo and the left end point Xl. The control vehicle-to-vehicle distance Ls is calculated from the left target pixel width ds1'and the right target pixel width ds2' corresponding to the actual width X2 between the reference point Xo and the right end point Xr, and the follow-up running by the ACC device is continued. To.

すなわち、先ず、ステップＳ９で、左右カメラ画像Ｌｉ，Ｒｉの何れかで左端点Ｘｌが検出されたか否かを調べ、検出されている場合はステップＳ１０へ進む。又、左右カメラ画像Ｌｉ，Ｒｉの何れにおいても左端点Ｘｌが検出されていない場合は、ルーチンを抜ける。そして、ステップＳ１０へ進むと、左右カメラ画像Ｌｉ，Ｒｉの何れかで右端点Ｘｒが検出されたか否かを調べ、検出されている場合はステップＳ１１へ進む。又、左右カメラ画像Ｌｉ，Ｒｉの何れにおいても右端点Ｘｒが検出されていない場合は、ルーチンを抜ける。 That is, first, in step S9, it is checked whether or not the left end point Xl is detected in any of the left and right camera images Li and Ri, and if it is detected, the process proceeds to step S10. If the left end point Xl is not detected in any of the left and right camera images Li and Ri, the routine is exited. Then, when the process proceeds to step S10, it is checked whether or not the right end point Xr is detected in any of the left and right camera images Li and Ri, and if it is detected, the process proceeds to step S11. If the right end point Xr is not detected in any of the left and right camera images Li and Ri, the routine is exited.

従って、ステップＳ９，Ｓ１０において、左右端点Ｘｌ，Ｘｒの一方のみしか検出されていない場合、後述する第２車間距離Ｌ１’は求めることができないのでエラーとなる。尚。左右カメラ画像Ｌｉ，Ｒｉの一方のみで左右端点Ｘｌ，Ｘｒが検出された場合は、第２車間距離Ｌ１’の算出が可能であるためステップＳ１１へ進む。 Therefore, if only one of the left and right end points Xl and Xr is detected in steps S9 and S10, the second inter-vehicle distance L1'described later cannot be obtained, resulting in an error. still. When the left and right end points Xl and Xr are detected in only one of the left and right camera images Li and Ri, the second inter-vehicle distance L1'can be calculated, so the process proceeds to step S11.

ステップＳ１１へ進むと、基準点Ｘｏと左端点Ｘｌ間の実幅Ｘ１に対応する左対象画素幅ｄｓ１’を、検出したカメラ画像Ｌｉ，Ｒｉの画素ピッチに画素数を乗算して算出する。又、ステップＳ１２で、基準点Ｘｏと右端点Ｘｒ間の実幅Ｘ２に対応する右対象画素幅ｄｓ２’を、検出したカメラ画像Ｌｉ，Ｒｉの画素ピッチに画素数を乗算して算出する（図６参照）。尚、このステップＳ１１での処理が、本発明の対象画素幅算出手段に対応している。 Proceeding to step S11, the left target pixel width ds1'corresponding to the actual width X1 between the reference point Xo and the left end point Xl is calculated by multiplying the pixel pitch of the detected camera images Li and Ri by the number of pixels. Further, in step S12, the right target pixel width ds2'corresponding to the actual width X2 between the reference point Xo and the right end point Xr is calculated by multiplying the pixel pitch of the detected camera images Li and Ri by the number of pixels (FIG. 6). The process in step S11 corresponds to the target pixel width calculation means of the present invention.

その後、ステップＳ１２へ進み、データ記憶部３に記憶されている最新の第１車間距離Ｌ１と基準画素幅ｄｓ１，ｄｓ２とを読込み、ステップＳ１３で比率により第２車間距離Ｌ１’を、
Ｌ１’←｛（ｄｓ１＋ｄｓ２）／（ｄｓ１’＋ｄｓ２’）｝・Ｌ１ …（１）
から算出する。尚、図６のｆは焦点距離である。この場合、（１）式に比し、精度は低下するが、第２車間距離Ｌ１’を、
Ｌ１’←（ｄｓ１／ｄｓ１’）・Ｌ１ …（２）
或いは、
Ｌ１’←（ｄｓ２／ｄｓ２’）・Ｌ１ …（３）
から簡略的に求めることも可能である。 After that, the process proceeds to step S12, the latest first inter-vehicle distance L1 and the reference pixel widths ds1 and ds2 stored in the data storage unit 3 are read, and in step S13, the second inter-vehicle distance L1'is determined by the ratio.
L1'← {(ds1 + ds2) / (ds1'+ ds2')} ・ L1 ... (1)
Calculate from. Note that f in FIG. 6 is the focal length. In this case, the accuracy is lower than that of the equation (1), but the second inter-vehicle distance L1'is reduced.
L1'← (ds1 / ds1') ・ L1 ... (2)
Or,
L1'← (ds2 / ds2') ・ L1 ... (3)
It is also possible to obtain it simply from.

従って、左右カメラ画像Ｌｉ，Ｒｉの何れかで対象画像ｄｓ１’，ｄｓ２’の一方のみしか検出されなかった場合であっても、第２車間距離Ｌ１’を算出することは可能である。尚、このステップＳ１３での処理が、本発明の第２距離算出手段に対応している。 Therefore, it is possible to calculate the second inter-vehicle distance L1'even when only one of the target images ds1'and ds2' is detected in either the left and right camera images Li or Ri. The process in step S13 corresponds to the second distance calculation means of the present invention.

そして、ステップＳ１４へ進み、今回求めた第２車間距離Ｌ１’を制御用車間距離Ｌｓとして設定してルーチンを抜ける。その結果、各種制御ユニットでは、今回の制御用車間距離Ｌｓに基づき、ＡＣＣ装置における車間距離維持制御等の運転支援制御を継続的に行うことができる。 Then, the process proceeds to step S14, the second inter-vehicle distance L1'obtained this time is set as the control inter-vehicle distance Ls, and the routine is exited. As a result, the various control units can continuously perform driving support control such as inter-vehicle distance maintenance control in the ACC device based on the current control inter-vehicle distance Ls.

このように、本実施形態は、左右カメラ画像Ｌｉ，Ｒｉで認識した先行車Ｍｆの第１車間距離Ｌ１を視差を利用して算出することができない状況であっても、視差を利用して第１車間距離Ｌ１と、それを算出した際の最新の基準点Ｘｏと左右端点Ｘｌ，Ｘｒとの基準画素幅ｄｓ１，ｄｓ２とを記憶させておき、それらに基づいて第２車間距離Ｌ１’を算出するようにしている。そして、この第２車間距離Ｌ１’を制御用車間距離Ｌｓとして設定して、ＡＣＣ装置で実行される車間距離維持制御等の運転支援制御を継続させるようにしたので、運転支援制御の中断、再開の頻度が低減され、より高い利便性を得ることができる。 As described above, in the present embodiment, even in a situation where the first inter-vehicle distance L1 of the preceding vehicle Mf recognized by the left and right camera images Li and Ri cannot be calculated by using the parallax, the parallax is used. The 1-vehicle distance L1 and the reference pixel widths ds1 and ds2 of the latest reference point Xo and the left and right end points Xl and Xr at the time of calculation are stored, and the second inter-vehicle distance L1'is calculated based on them. I try to do it. Then, the second inter-vehicle distance L1'is set as the control inter-vehicle distance Ls to continue the driving support control such as the inter-vehicle distance maintenance control executed by the ACC device, so that the driving support control is interrupted and restarted. The frequency of the above is reduced, and higher convenience can be obtained.

従って、例えば、図７（ｂ）に示すように、基準画像である右カメラ画像にワイパ１１ｂの拭き残し１３ｂによって先行車Ｍｆの右端点Ｘｒは非検出だが、左端点Ｘｌは検出されているフレームがある。一方、同図（ｂ）に示すように、比較画像である左カメラ画像にワイパ１１ａの拭き残し１３ａによって先行車Ｍｆの左端点Ｘｌは非検出だが、右端点Ｘｒは検出されているフレームがある。 Therefore, for example, as shown in FIG. 7B, the right end point Xr of the preceding vehicle Mf is not detected by the wiper 11b left unwiped 13b in the right camera image which is the reference image, but the left end point Xl is detected. There is. On the other hand, as shown in FIG. 3B, there is a frame in which the left end point Xl of the preceding vehicle Mf is not detected but the right end point Xr is detected by the wiper 11a left unwiped 13a in the left camera image which is a comparative image. ..

この場合、同じ時系列のフレームにおいて、互いに補完可能な左右端点Ｘｌ，Ｘｒがあり、或いは、左右カメラ画像の一方でのみ左右端点Ｘｌ，Ｘｒが検出されていれば、同図（ｃ）に破線で示すように、互いの左右端点Ｘｌ，Ｘｒを補完して対象画素幅ｄｓ１’，ｄｓ２’を求めることで、補完直前に求めた実線で示す基準画素幅ｄｓ１，ｄｓ２と第１車間距離Ｌ１から、その比率により第２車間距離Ｌ１’を容易に求めることができる。従って、大きな改変が不要で、簡単なロジックの変更のみで対応することができるため、低コストで、しかも高い汎用性を得ることができる。 In this case, if there are left and right end points Xl and Xr that can complement each other in the same time series frame, or if the left and right end points Xl and Xr are detected only on one of the left and right camera images, a broken line is shown in FIG. As shown by, by complementing the left and right end points Xl and Xr of each other to obtain the target pixel widths ds1'and ds2', the reference pixel widths ds1 and ds2 shown by the solid line obtained immediately before the complement and the first inter-vehicle distance L1 are used. , The second inter-vehicle distance L1'can be easily obtained from the ratio. Therefore, no major modification is required, and it can be dealt with only by a simple logic change, so that low cost and high versatility can be obtained.

尚、本発明は、上述した実施形態に限るものではなく、例えば、先行車Ｍｆのリヤ面に対して複数の基準点Ｘｏを設定した場合、この各基準点Ｘｏから左右端点Ｘｌ，Ｘｒまでの実幅Ｘ１，Ｘ２に対応する基準画素幅ｄｓ１，ｄｓ２を複数設定し、最も信頼性の高い基準画素幅ｄｓ１，ｄｓ２をフレーム毎に選択するようにしても良い。 The present invention is not limited to the above-described embodiment. For example, when a plurality of reference points Xo are set for the rear surface of the preceding vehicle Mf, the reference points Xo to the left and right end points Xl and Xr are set. A plurality of reference pixel widths ds1 and ds2 corresponding to the actual widths X1 and X2 may be set, and the most reliable reference pixel widths ds1 and ds2 may be selected for each frame.

又、上述した実施形態において、ステレオカメラ５の視界を阻害する要因として掲げたワイパ１１ａ，１１ｂによる拭き残し１３ａ，１３ｂは例示であり、他の阻害要因としては、先行車Ｍｆや隣接する車両から排出される排気ガス、水はね、雪や埃の巻き上げ等がある。更に、逆行以外に、霧や陽炎による揺らぎも視界の阻害要因となる。 Further, in the above-described embodiment, the unwiped 13a and 13b by the wipers 11a and 11b, which are listed as factors that obstruct the view of the stereo camera 5, are examples, and other obstructive factors include the preceding vehicle Mf and the adjacent vehicle. Exhaust gas, water splashes, snow and dust are rolled up. In addition to retrograde, fluctuations caused by fog and heat haze also hinder visibility.

１…相互間距離算出装置、
２…先行車認識処理部、
３…データ記憶部、
４…車載カメラユニット、
５…ステレオカメラ、
５ａ…メインカメラ、
５ｂ…サブカメラ、
６…ＩＰＵ、
７…フロントガラス、
１１ａ，１１ｂ…ワイパ、
１２ａ，１２ｂ…払拭エリア、
１３ａ，１３ｂ…拭き残し、
ｃ１…ナンバプレート、
ｃ２…オーナメント、
ｄｓ１…左基準画素幅、
ｄｓ２…右基準画素幅、
ｄｓ１’…左対象画素幅、
ｄｓ２’…右対象画素幅、
Ｌ１…第１車間距離、
Ｌ１’…第２車間距離、
Ｌｉ…比較画像、
Ｍｆ…先行車、
Ｍｍ…自車両、
Ｒｉ…基準画像、
Ｘ１…左実幅、
Ｘ２…右実幅、
Ｘｌ…左端点、
Ｘｏ…基準点、
Ｘｒ…右端点 1 ... Mutual distance calculation device,
2 ... Preceding vehicle recognition processing unit,
3 ... Data storage unit,
4 ... In-vehicle camera unit,
5 ... Stereo camera,
5a ... Main camera,
5b ... Sub camera,
6 ... IPU,
7 ... Windshield,
11a, 11b ... wiper,
12a, 12b ... Wiping area,
13a, 13b ... Unwiped,
c1 ... Number plate,
c2 ... Ornament,
ds1 ... Left reference pixel width,
ds2 ... Right reference pixel width,
ds1'... Left target pixel width,
ds2'... Right target pixel width,
L1 ... 1st inter-vehicle distance,
L1'... 2nd inter-vehicle distance,
Li ... Comparison image,
Mf ... preceding vehicle,
Mm ... own vehicle,
Ri ... Reference image,
X1 ... Left actual width,
X2 ... Right actual width,
Xl ... Left end point,
Xo ... Reference point,
Xr ... Right end point

Claims

自車両に搭載されて前方の走行環境を一対の撮像手段で撮像する撮像装置と、
一対の前記撮像手段で撮像した一対の撮像画像に基づき前記自車両前方の立体物を認識する認識処理手段と、
一対の前記撮像画像に基づき、前記認識処理手段で認識した前記立体物と前記自車両との基準となる第１距離を算出する第１距離算出手段と、
前記立体物の特定した基準点から特徴点までの一対の前記撮像画像上の基準画素幅を算出する基準画素幅算出手段と、
前記第１距離算出手段で算出した前記第１距離及び前記基準画素幅算出手段で算出した前記基準画素幅を記憶させる記憶手段と、
一対の前記撮像手段の視界が阻害されて一方の前記撮像画像で前記特徴点が検出されない場合、他方の前記撮像画像上の対象画素幅を算出する対象画素幅算出手段と、
前記記憶手段に記憶されている前記第１距離及び前記基準画素幅と前記対象画素幅算出手段で算出した前記対象画素幅との比率に基づいて、該対象画素幅に対応する前記立体物と前記自車両との第２距離を算出する第２距離算出手段と
を備えることを特徴とする相互間距離算出装置。 An imaging device mounted on the own vehicle that captures the driving environment in front of the vehicle with a pair of imaging means.
A recognition processing means for recognizing a three-dimensional object in front of the own vehicle based on the pair of captured images captured by the pair of the imaging means.
A first distance calculation means for calculating a first distance as a reference between the three-dimensional object recognized by the recognition processing means and the own vehicle based on the pair of the captured images.
A reference pixel width calculating means for calculating a reference pixel width on the pair of captured images from a specified reference point to a feature point of the three-dimensional object, and
A storage means for storing the first distance calculated by the first distance calculating means and the reference pixel width calculated by the reference pixel width calculating means, and a storage means for storing the reference pixel width.
When the field of view of the pair of the imaging means is obstructed and the feature point is not detected in one of the captured images, the target pixel width calculating means for calculating the target pixel width on the other captured image and the target pixel width calculating means.
Based on the ratio of the first distance and the reference pixel width stored in the storage means to the target pixel width calculated by the target pixel width calculating means, the three-dimensional object corresponding to the target pixel width and the said A mutual distance calculation device including a second distance calculation means for calculating a second distance to the own vehicle.

前記特徴点は前記立体物の前記基準点を挟む左右端点であり、
前記基準画素幅と前記対象画素幅とは前記基準点から前記左端点までの左画素幅及び該基準点から前記右端点までの右画素幅であり、
前記対象画素幅算出手段は、一対の前記撮像画像の一方で前記対象画素幅の前記左画素幅のみが検出され、他方で前記対象画素幅前記右画素幅のみが検出された場合、該左画素幅と該右画素幅とを前記対象画素幅として設定し、
前記第２距離算出手段は、前記第１距離及び前記基準画素幅の前記左画素幅と前記右画素幅とを加算した値と、前記対象画素幅の前記左画素幅と前記右画素幅とを加算した値との比率に基づいて、前記第２距離を算出する
ことを特徴とする請求項１記載の相互間距離算出装置。 The feature points are left and right end points sandwiching the reference point of the three-dimensional object.
The reference pixel width and the target pixel width are the left pixel width from the reference point to the left end point and the right pixel width from the reference point to the right end point.
When the target pixel width calculation means detects only the left pixel width of the target pixel width on one of the pair of captured images and detects only the target pixel width and the right pixel width on the other side, the left pixel The width and the right pixel width are set as the target pixel width, and
The second distance calculating means obtains a value obtained by adding the left pixel width and the right pixel width of the first distance and the reference pixel width, and the left pixel width and the right pixel width of the target pixel width. The inter-mutual distance calculation device according to claim 1, wherein the second distance is calculated based on the ratio to the added value.

前記特徴点は前記立体物の前記基準点を挟む左右端点であり、
前記基準画素幅と前記対象画素幅とは前記基準点から前記左端点までの左画素幅及び該基準点から前記右端点までの右画素幅であり、
前記対象画素幅算出手段は、一対の前記撮像画像の一方でのみ前記対象画素幅の前記左画素幅と前記右画素幅が検出された場合、該左画素幅と該右画素幅とを前記対象画素幅として設定し、
前記第２距離算出手段は、前記第１距離及び前記基準画素幅の前記左画素幅と前記右画素幅とを加算した値と、前記対象画素幅の前記左画素幅と前記右画素幅とを加算した値との比率に基づいて、前記第２距離を算出する
ことを特徴とする請求項１記載の相互間距離算出装置。 The feature points are left and right end points sandwiching the reference point of the three-dimensional object.
The reference pixel width and the target pixel width are the left pixel width from the reference point to the left end point and the right pixel width from the reference point to the right end point.
When the left pixel width and the right pixel width of the target pixel width are detected only in one of the pair of the captured images, the target pixel width calculating means sets the left pixel width and the right pixel width as the target. Set as pixel width,
The second distance calculating means obtains a value obtained by adding the left pixel width and the right pixel width of the first distance and the reference pixel width, and the left pixel width and the right pixel width of the target pixel width. The inter-mutual distance calculation device according to claim 1, wherein the second distance is calculated based on the ratio to the added value.

前記特徴点は前記立体物の前記基準点を挟む左右端点であり、
前記基準画素幅と前記対象画素幅とは前記基準点から前記左端点までの左画素幅及び該基準点から前記右端点までの右画素幅であり、
前記対象画素幅算出手段は、一対の前記撮像画像の一方でのみ前記対象画素幅の前記左画素幅と前記右画素幅との一方が検出された場合、検出された一方の該画素幅を前記対象画素幅として設定し、
前記第２距離算出手段は、前記第１距離及び前記対象画素幅と同一側の前記基準画素幅と、前記対象画素幅との比率に基づいて、前記第２距離を算出する
ことを特徴とする請求項１記載の相互間距離算出装置。 The feature points are left and right end points sandwiching the reference point of the three-dimensional object.
The reference pixel width and the target pixel width are the left pixel width from the reference point to the left end point and the right pixel width from the reference point to the right end point.
When one of the left pixel width and the right pixel width of the target pixel width is detected only in one of the pair of the captured images, the target pixel width calculating means determines the detected pixel width of the one. Set as the target pixel width,
The second distance calculating means is characterized in that the second distance is calculated based on the ratio of the reference pixel width on the same side as the first distance and the target pixel width to the target pixel width. The inter-mutual distance calculation device according to claim 1.