JP4682664B2

JP4682664B2 - Perimeter monitoring system

Info

Publication number: JP4682664B2
Application number: JP2005095348A
Authority: JP
Inventors: 智晴鈴木; 一矢渡邊; 功祐佐藤; 準天野
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2005-03-29
Filing date: 2005-03-29
Publication date: 2011-05-11
Anticipated expiration: 2025-03-29
Also published as: JP2006279511A

Description

本発明は、車両に設置されたカメラによって撮影される車両周辺の撮影画像を車室内の表示装置に表示する周辺監視システムに関する。 The present invention relates to a periphery monitoring system that displays a captured image of a periphery of a vehicle captured by a camera installed in the vehicle on a display device in a vehicle interior.

近年、ナビゲーションシステムの普及にともなって、車両の周辺の状況を車室内の表示装置に表示するモニタシステムを搭載する車両が増加している。車両の周辺の状況としては、例えば、他車の位置、障害物の状況、センターラインや停止線等の道路標示等がある。そして、これらの周辺の状況は、車両をバックさせる場合、後方を監視するバックモニタや、前方のバンパー下やコーナー部の死角等が表示装置に表示される。このようなモニタシステムは、車両運転時に運転者の負担の軽減を図るものであり、運転中に運転者が取得することが必要な情報の多さに鑑みると、視認性に優れ、違和感なく一見して運転者が必要な情報を取得できる画像を取得できる画像を表示することが望ましい。そして、当然にその画像の視野は広いことが望ましい。一般的に人間の静体視野は、両目で一点を注視している状態で約２００度である。この内、赤、青、黄色等の色彩を含めて確認できるのは７０度くらいまでと言われている。さらに、動きながら物を見る場合の動体視野は、動体速度に応じて狭くなり、車両速度が時速４０ｋｍ程度で、静体視野の半分の約１００度まで低下する。これを補うため、運転者は通常、一点を注視しないようにして視野角を広く保つように努めているが、上記のようなモニタシステムは、このような人間の生理的限界や努力を好適に保管するものであることが望まれる。 In recent years, with the widespread use of navigation systems, the number of vehicles equipped with a monitor system that displays the situation around the vehicle on a display device in the passenger compartment is increasing. Examples of the situation around the vehicle include the position of other vehicles, the situation of obstacles, and road markings such as a center line and a stop line. When the vehicle is to be turned back, the surroundings are displayed on the display device such as a back monitor for monitoring the rear, a bumper under the front bumper, and a blind spot at the corner. Such a monitor system is intended to reduce the burden on the driver when driving the vehicle. In view of the large amount of information that the driver needs to acquire during driving, the monitor system is excellent in visibility and looks comfortable. Then, it is desirable to display an image from which the driver can acquire an image from which necessary information can be acquired. Of course, it is desirable that the field of view of the image is wide. In general, the human static field of view is about 200 degrees with one eye gazing at one point. Of these, it is said that it can be confirmed up to about 70 degrees including colors such as red, blue and yellow. Further, the moving object visual field when the object is viewed while moving is narrowed according to the moving object speed, and the vehicle speed is about 40 km / h, which is about 100 degrees, which is half of the static object visual field. To compensate for this, the driver usually tries to keep a wide viewing angle without gazing at a single point. However, the monitoring system as described above favors such human physiological limits and efforts. It is desired that it be stored.

しかしながら、一般的にカメラ等によって撮影される画像の視野角は、５０〜６５度程度と狭く、単にカメラを車両に設置しただけでは十分な視野角を得ることができない。そこで、これを補うための様々な方法が提案されている。例えば、図１５〜図１６のように運転席からの死角となり得る場所を重点的に撮影し、これを表示装置のそれぞれ別の表示枠の中に表示する方法がある。 However, in general, the viewing angle of an image taken by a camera or the like is as narrow as about 50 to 65 degrees, and a sufficient viewing angle cannot be obtained simply by installing the camera in a vehicle. Various methods have been proposed to compensate for this. For example, as shown in FIGS. 15 to 16, there is a method in which a place that can be a blind spot from the driver's seat is photographed with priority, and this is displayed in different display frames of the display device.

また、特許文献１には、一台又は数台のカメラと、前記カメラより入力された画像を透視変換により他の座標に変換する手段と、この変換画像を自車の画像との関連において一枚の画像に合成する手段と、この画像を乗員（運転者）に表示するディスプレイ（表示装置）とを有するものが提案されている。本文献中で実施される透視変換とは、カメラのスクリーン画像から、車両中央を原点、車両進行方向に対して左右側をX軸、車両進行方向をY軸とする路面（平面）座標に変換するものである。そして、合成された画像は、イラストで示された自車両と、透視変換された他車両や道路標示、物体等が平面座標で示されたものとなり、これが表示装置に表示される。 Patent Document 1 discloses one or several cameras, means for converting an image input from the camera into other coordinates by perspective transformation, and this converted image in relation to an image of the own vehicle. There has been proposed one having a means for synthesizing a single image and a display (display device) for displaying this image to an occupant (driver). The perspective transformation implemented in this document is the transformation from the screen image of the camera into road surface (plane) coordinates with the vehicle center as the origin, the left and right sides with respect to the vehicle traveling direction as the X axis, and the vehicle traveling direction as the Y axis. To do. Then, the synthesized image shows the own vehicle shown in the illustration, the other vehicle, the road sign, the object, etc., which are perspective-transformed, shown in plane coordinates, and this is displayed on the display device.

特開平３−９９９５２号公報（第２頁、第１〜３図。）Japanese Patent Laid-Open No. 3-99952 (Page 2, FIGS. 1-3)

透視変換は視点変換とも呼ばれるものであるが、特許文献１の技術を例にすると、Ｘ軸及びＹ軸で構成されるＸＹ平面に対して平行する方向から見たスクリーン座標をＸＹ平面に対して直交する方向から見た平面座標へ変換するものである。従って、ポールや壁等、ＸＹ平面に対して垂直に立っている物体は、スクリーン座標においては、はっきりと視認できる状態となるが、平面座標においては、点や線等に集約されてしまい、視認できなくなるか、あるいは運転者にとって極めて違和感を覚える画像となって表示されてしまう。この例ほど極端ではないとも、立体空間をある視点から撮影した画像を、平面画像に視点変換すると、変換対象となる平面上にない立体物等は正しく変換されずに、運転者が違和感を覚える画像となってしまう。 Perspective transformation is also called viewpoint transformation, but taking the technique of Patent Document 1 as an example, screen coordinates viewed from a direction parallel to the XY plane composed of the X axis and the Y axis are expressed with respect to the XY plane. This is converted into planar coordinates viewed from the orthogonal direction. Therefore, an object standing perpendicular to the XY plane, such as a pole or a wall, is clearly visible in the screen coordinates, but in the plane coordinates, it is aggregated into points, lines, etc. It will not be possible or displayed as an image that makes the driver feel very uncomfortable. Even if it is not as extreme as this example, if an image taken from a certain viewpoint in a three-dimensional space is converted into a flat image, a solid object that is not on the conversion target plane will not be converted correctly, and the driver will feel uncomfortable. It becomes an image.

また、平面座標に変換することなく、図１５〜図１６のように運転席から死角となり得る場所を重点的に撮影し、これを表示装置のそれぞれ別の表示枠の中に表示する方法を採った場合、通常の視点からの画像であるので、各画像に対する違和感は少ない。しかし、図１６に示す如く分割表示すると、運転者は各撮影画像の相互関係位置を意識しなければ充分な環境把握ができないので、一見して車両の周辺情報を得にくいという課題がある。 In addition, a method of focusing on a place where a blind spot can be formed from the driver's seat as shown in FIGS. 15 to 16 without converting to plane coordinates, and displaying this in a separate display frame of the display device is employed. In this case, since the image is from a normal viewpoint, there is little discomfort with respect to each image. However, when divided and displayed as shown in FIG. 16, the driver cannot fully grasp the environment unless he / she is aware of the position of the correlation between the captured images.

この課題を解決するために、本出願人らは、特願２００４−２８１９１０号において、車両に複数設置されたカメラが撮像した撮像画像を合成して表示装置に１枚の画像として表示するときに、隣り合う画像の境界の間で生じる水平方向又は垂直方向のずれを補正することにより、運転者が車両の周辺の状況を表示装置において広範囲で一見して把握することができる技術を提案した。 In order to solve this problem, the present applicants, in Japanese Patent Application No. 2004-281910, synthesize a captured image captured by a plurality of cameras installed in a vehicle and display it as a single image on a display device. In addition, a technique has been proposed in which a driver can grasp the situation around the vehicle at a glance in a wide range on a display device by correcting a horizontal or vertical shift that occurs between the boundaries of adjacent images.

本出願人らが提案した上記周辺監視システムについて、図１３に示すように、車両１００が路地から本通りに出る場合を例に挙げて具体的に説明する。図１３に示す交差点では、路地に引かれた停止線１１１の右側に街路樹１１２がある。路地の本通りを挟んで向かい側には建物１１３がある。停止線１１１の左側には横断歩道１１４があり、人１１５が横断歩道１１４を渡っている。交差点の中央部には設置物１１６がある。運転者は、停止線１１１の位置で車両１００を停止させて左右を確認するときに、運転席が前バンパーより後方の位置に設けられているため、本通りの左右方向を確認しにくい。周辺監視システムを搭載しない車両１００では、運転者は、車両１００を路地から本通りに少しずつ前進させながら、本通りを走行する車両、自転車、バイクなどに注意を喚起し、本通りの状況を見える位置まで前進してから左右を確認して本通りに合流する。図１３に示す交差点では、街路樹１１２が運転者の図中右方向の視界を遮るため、運転者は、左右方向を確認するために車両１００を本通りに前進させる前進量が多くなる。 The above-described periphery monitoring system proposed by the present applicants will be specifically described with reference to an example in which the vehicle 100 exits from the alley as shown in FIG. At the intersection shown in FIG. 13, there is a street tree 112 on the right side of the stop line 111 drawn on the alley. There is a building 113 across the main street of the alley. There is a pedestrian crossing 114 on the left side of the stop line 111, and a person 115 crosses the pedestrian crossing 114. There is an installation 116 at the center of the intersection. When the driver stops the vehicle 100 at the position of the stop line 111 and confirms left and right, the driver's seat is provided at a position behind the front bumper, and thus it is difficult to confirm the left and right direction of the main street. In the vehicle 100 that is not equipped with the periphery monitoring system, the driver alerts vehicles, bicycles, motorcycles, and the like traveling on the main street while moving the vehicle 100 little by little from the alley. After moving forward to the visible position, check the left and right and merge as you can. At the intersection shown in FIG. 13, the roadside tree 112 blocks the right field of view of the driver in the drawing, so that the driver increases the amount of forward movement of the vehicle 100 in order to confirm the left-right direction.

この点、本出願人らが提案した周辺監視システムを搭載する車両１００であれば、車両１００の前バンパーに視野角が一部重複するように設置した２台のカメラで、車両前方の左方向と右方向の状況を撮像し、２枚の撮像画像を水平方向と垂直方向のずれを調整してから合成した合成画像を表示装置に表示するので、車両１００を本通りの方に前進させなくても、本通りの左右方向の状況を１枚の画像として把握することができる。このとき、表示装置の画像は、図１３に示す設置物１１６や建物１１３などが表示された合成画像の合成境界位置がずれずに表示され、運転者に違和感を与えにくい。 In this regard, in the case of the vehicle 100 equipped with the periphery monitoring system proposed by the present applicants, two cameras installed so that the viewing angles partially overlap the front bumper of the vehicle 100, And the situation in the right direction is captured, and the composite image obtained by combining the two captured images after adjusting the deviation between the horizontal direction and the vertical direction is displayed on the display device, so that the vehicle 100 is not moved forward. However, it is possible to grasp the situation in the left-right direction as a single image. At this time, the image of the display device is displayed without shifting the composite boundary position of the composite image in which the installation object 116 or the building 113 shown in FIG. 13 is displayed, and it is difficult for the driver to feel uncomfortable.

このとき、レンズや撮像デバイス等の歪みによって生じた撮像画像の変形を補正せずに合成すると、図１３に示す状況を撮像して表示装置に表示したときに、図１７に示すように、撮影画像の端に映っている人１１５や道幅などが極端に小さく表示されてしまう。この場合、本通りを自車両に向かって走ってくる車両、自転車、バイクなどを判別しにくい。 At this time, if the deformation of the captured image caused by the distortion of the lens or the imaging device is combined without correction, the situation shown in FIG. 13 is captured and displayed on the display device as shown in FIG. The person 115 and the road width reflected at the edge of the image are displayed extremely small. In this case, it is difficult to distinguish a vehicle, a bicycle, a motorcycle, or the like running along the main street toward the host vehicle.

これに対して、例えば、図１８に示す投影図のように、カメラの光軸Ｌを対象面に対してθ５度左に向けて撮像した画像を、θ５度右に向けて対象面方向を正面とするような画像に視点変換すると、図１９に示すように、撮像画像の端に映っていた撮像対象物の側面を拡大して表示することができる。この視点変換を本出願人らが提案した周辺監視システムに採用した場合、図１３に示す状況を２台のカメラで撮像して合成画像を表示装置に表示すると、図２０に示すように表示装置の端に映る人１１５や本通りなどを拡大して表示しうる。 On the other hand, for example, as shown in the projection view of FIG. 18, an image captured with the optical axis L of the camera directed to the left by θ5 degrees with respect to the target surface is directed frontward with the direction of the target surface facing right by θ5 If the viewpoint is converted into an image such as that shown in FIG. 19, the side surface of the imaging object that was shown at the end of the captured image can be enlarged and displayed, as shown in FIG. When this viewpoint conversion is adopted in the periphery monitoring system proposed by the present applicants, when the situation shown in FIG. 13 is captured by two cameras and a composite image is displayed on the display device, the display device is shown in FIG. The person 115 and the main street reflected on the edge of the screen can be enlarged and displayed.

ところが、実際には、撮影画像の端に映っている人１１５や本通りの画像データが拡散して異常に大きく伸びた画像になり、画像がぼやけて何が映っているか分かりにくかったり、映り込んだ物体が大きく表示されすぎて運転者にとって違和感を生じる。これは、例えば、図２１に示すように、光軸Ｌを車両１００の正面から左方向にθ５度移動させたカメラの撮像画像Ｐ１は、二次元であるので、車両１００の正面を向くように視点変換した画像Ｐ２では、撮像画像の端に映っている物体が、画像上で立体物と取り扱われずに正面にある物体と同じ平面上に書かれた絵の如く、カメラが実際より撮像画像の端に映る物体に近づいて撮像したかのような画像になるためと考えられる。周辺監視システムでは、上述したように車両１００に対して左右方向から走ってくる自動車、自転車、バイクなどを確認する上で、左右方向の画像を違和感なく表示することが重要であり、左右方向の画像を拡大しすぎて分解能が低下するのは好ましくない。 However, in actuality, the image of the person 115 and the actual image data reflected at the edge of the captured image is diffused and becomes an abnormally large image, and it is difficult to understand what is reflected because the image is blurred. The object is displayed too large, and the driver feels uncomfortable. For example, as shown in FIG. 21, the captured image P1 of the camera in which the optical axis L is moved from the front of the vehicle 100 to the left by θ5 degrees is two-dimensional, so that it faces the front of the vehicle 100. In the image P2 obtained by converting the viewpoint, the object shown at the end of the captured image is not treated as a three-dimensional object on the image, and the camera actually captures the captured image as if it were written on the same plane as the object in front. This is considered to be an image as if it was taken close to the object reflected at the edge. In the peripheral monitoring system, as described above, it is important to display a left-right image without a sense of incongruity when checking automobiles, bicycles, motorcycles, etc. that run from the left-right direction with respect to the vehicle 100. It is not preferable to reduce the resolution by enlarging the image too much.

そこで、本発明は、上記問題点を解決するためになされたものであり、車両の周辺の状況を違和感なく表示手段に表示することができる周辺監視システムを提供することを目的とする。 Therefore, the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a periphery monitoring system that can display a situation around a vehicle on a display unit without a sense of incongruity.

本発明に係る周辺監視システムは、次のような構成を有している。
（１）車両に設置した撮像手段によって車両の周辺の状況を撮像し、その撮像画像を画像処理して表示手段に表示する周辺監視システムにおいて、前記撮像画像を複数の領域に分割し、領域毎に前記撮像手段の仮想視点方向を前記撮像手段の光軸と異なる方向に連続的に移動させて視点変換を行う視点変換手段を有することを特徴とする。 The periphery monitoring system according to the present invention has the following configuration.
(1) In a periphery monitoring system that captures an image of a situation around a vehicle by an image capturing unit installed in the vehicle, performs image processing on the captured image and displays the image on a display unit, the captured image is divided into a plurality of regions, And a viewpoint conversion unit that performs viewpoint conversion by continuously moving the virtual viewpoint direction of the imaging unit in a direction different from the optical axis of the imaging unit.

（２）（１）に記載の発明において、前記撮像画像と前記仮想視点方向との対応関係を記憶する記憶手段を有し、前記視点変換手段は、前記記憶手段に記憶されている前記撮像画像と前記仮想視点方向との対応関係に基づいて視点変換を行うことを特徴とする。
（３）（１）又は（２）に記載の発明において、前記視点変換手段は、前記仮想視点方向を撮像画像の一方から他方に向かって連続的に移動させることを特徴とする。
（４）（１）又は（２）に記載の発明において、前記視点変換手段は、前記撮像画像を視点変換マップに基づき前記仮想視点方向を変化させることを特徴とする。 (2) In the invention described in (1), the camera includes a storage unit that stores a correspondence relationship between the captured image and the virtual viewpoint direction, and the viewpoint conversion unit stores the captured image stored in the storage unit. And viewpoint conversion based on the correspondence between the virtual viewpoint direction and the virtual viewpoint direction.
(3) In the invention described in (1) or (2), the viewpoint conversion unit continuously moves the virtual viewpoint direction from one side of the captured image to the other side.
(4) In the invention described in (1) or (2), the viewpoint conversion unit changes the virtual viewpoint direction of the captured image based on a viewpoint conversion map.

（５）（１）乃至（４）の何れか一つに記載の発明において、前記撮像手段が複数からなり、撮像画像が重複する重複範囲を有する場合、前記重複範囲内で合成境界位置を決定して撮像画像を合成する合成手段を有することを特徴とする。 (5) In the invention according to any one of (1) to (4), when the imaging unit includes a plurality and there are overlapping ranges where the captured images overlap, a composite boundary position is determined within the overlapping range. And combining means for combining the captured images.

上記構成を有する本発明の周辺監視システムは、撮像手段が撮像した撮像画像を複数の領域に分割し、領域毎に撮像手段の仮想視点方向を撮像手段の光軸と複数の異なる方向に連続的に移動させて視点変換を行うことにより、運転者が車両の周辺の状況をそれぞれの方向に正対して見たかのように車両の周辺の状況を表示手段に表示するので、例えば、撮像手段の視点から離れた場所に写っている被写体の画像データが、レンズや撮像デバイスの歪みなどによって表示手段に小さく表示されたり、或いは、視点変換時に拡散してぼやけけたり、むやみに拡大されることがなく、車両の周辺の状況を表示手段に違和感なく表示することができる。 The periphery monitoring system of the present invention having the above configuration divides a captured image captured by the imaging unit into a plurality of regions, and continuously sets the virtual viewpoint direction of the imaging unit in a plurality of different directions from the optical axis of the imaging unit for each region. The viewpoint of the imaging means is displayed on the display means as if the driver saw the situation of the surroundings of the vehicle facing each direction in the display means. The image data of the subject in the place away from the camera will not be displayed small on the display means due to distortion of the lens or imaging device, or will not be diffused and blurred during viewpoint conversion, or will not be enlarged unnecessarily The situation around the vehicle can be displayed on the display means without a sense of incongruity.

また、本発明の周辺監視システムは、撮像画像と仮想視点方向との対応関係を記憶手段に記憶し、分割された領域に映っている画像データの仮想視点方向を撮像画像と仮想視点方向との対応関係にあてはめて移動させるため、視点変換の処理時間を短くすることができる。
また、本発明の周辺監視システムは、仮想視点方向を撮像画像の一方から他方に向かって連続的に移動させることにより、運転者が車両の周囲の状況を一方から他方に向かって視線を移して見たかのような画像として表示手段に表示するので、車両の周辺の状況を１枚の画像として表示手段に違和感なく表示することができる。
また、本発明の周辺監視システムは、撮像画像を視点変換マップに基づき仮想視点方向を変化させるので、少ない計算回数で視点変換することができる。 Further, the periphery monitoring system of the present invention stores a correspondence relationship between the captured image and the virtual viewpoint direction in the storage unit, and determines the virtual viewpoint direction of the image data reflected in the divided area between the captured image and the virtual viewpoint direction. Since the movement is performed in accordance with the correspondence relationship, the processing time for viewpoint conversion can be shortened.
Further, the periphery monitoring system of the present invention continuously moves the virtual viewpoint direction from one side of the captured image to the other side, so that the driver shifts his / her line of sight from one side to the other. Since it is displayed on the display means as an image as if it has been seen, the situation around the vehicle can be displayed as a single image on the display means without any discomfort.
In addition, since the periphery monitoring system of the present invention changes the virtual viewpoint direction based on the viewpoint conversion map, the viewpoint can be converted with a small number of calculations.

また、本発明の周辺監視システムは、撮像手段が複数からなり、撮像画像が重複する重複範囲を有する場合、その重複範囲内で合成境界位置を決定して撮像画像を合成するので、車両の周辺の状況を切れ目なく表示手段に表示することができる。 Further, in the periphery monitoring system according to the present invention, when there are a plurality of imaging units and the overlapped images are overlapped, the combined boundary position is determined within the overlapped range, and the captured images are combined. Can be displayed on the display means without interruption.

次に、本発明に係る周辺監視システムの一実施の形態について図面を参照して説明する。図１は、周辺監視システム１の概略構成図である。
周辺監視システム１は、車両２、第１カメラ（撮像手段）３、第２カメラ（撮像手段）４、ディスプレイ（表示手段）５、周辺監視制御装置（周辺監視ＥＣＵ）６などで構成されている。 Next, an embodiment of the periphery monitoring system according to the present invention will be described with reference to the drawings. FIG. 1 is a schematic configuration diagram of the periphery monitoring system 1.
The perimeter monitoring system 1 includes a vehicle 2, a first camera (imaging means) 3, a second camera (imaging means) 4, a display (display means) 5, a perimeter monitoring control device (perimeter monitoring ECU) 6, and the like. .

周辺監視システム１は、第１カメラ３と第２カメラ４を用いて車両前方の画像を取得し、第１，第２カメラ３，４が撮像した撮像画像を１つの画像として合成してディスプレイ５に表示する。合成画像の視野角は、人間の静体視野角程度の１２０〜２００度程度であることが望ましい。本実施形態では、視野角１２０度程度の広角撮影が可能な第１カメラ３と第２カメラ４を、互いの視野角が図１に示す如く重なるように車両前方に装着されたナンバープレートの***付近に配置し、広角撮影を行うようにしている。また、第１，第２カメラ３，４は、水平に取り付けると、撮影画像の半分程度が空を撮影したものとなってしまうため、水平からやや下方に向けて、例えば１５〜３０度程度の俯角をもって配置されている。 The periphery monitoring system 1 acquires an image in front of the vehicle using the first camera 3 and the second camera 4, and combines the captured images captured by the first and second cameras 3 and 4 as one image to display 5. To display. The viewing angle of the composite image is desirably about 120 to 200 degrees, which is about the human still body viewing angle. In the present embodiment, the first camera 3 and the second camera 4 capable of wide-angle shooting with a viewing angle of about 120 degrees are placed on the number plate mounted in front of the vehicle so that the viewing angles overlap each other as shown in FIG. It is placed near the center for wide-angle shooting. If the first and second cameras 3 and 4 are mounted horizontally, about half of the photographed image is obtained by photographing the sky, so that it is slightly downward from the horizontal, for example, about 15 to 30 degrees. It is arranged with a depression angle.

ディスプレイ５は、車両２の室内のセンターコンソール又はパネル面に備え付けられ、例えば、第１，第２カメラ３，４の撮像画像を合成した合成画像を表示する。ディスプレイ５は、ナビゲーションシステムのものと兼用してもよい。
周辺監視ＥＣＵ６は、第１，第２カメラ３，４の撮像画像を視点変換して合成し、その合成画像をディスプレイ５に表示させるものである。 The display 5 is provided on the center console or panel surface in the room of the vehicle 2 and displays, for example, a composite image obtained by combining the captured images of the first and second cameras 3 and 4. The display 5 may be shared with the navigation system.
The peripheral monitoring ECU 6 performs viewpoint conversion on the captured images of the first and second cameras 3 and 4 and combines them, and displays the combined image on the display 5.

図２は、周辺監視ＥＣＵ６のブロック図である。
周辺監視ＥＣＵ６は、映像切替処理手段１１、キャプチャ処理手段１２、第１キャプチャバッファ１３、第２キャプチャバッファ１４、座標変換処理手段（視点変換手段）１５、表示座標変換テーブル記憶手段（記憶手段）１６、表示バッファ１７、表示処理手段１８を備える。 FIG. 2 is a block diagram of the periphery monitoring ECU 6.
The peripheral monitoring ECU 6 includes a video switching processing unit 11, a capture processing unit 12, a first capture buffer 13, a second capture buffer 14, a coordinate conversion processing unit (viewpoint conversion unit) 15, and a display coordinate conversion table storage unit (storage unit) 16. A display buffer 17 and display processing means 18.

周辺監視ＥＣＵ６は、第１，第２カメラ３，４で撮像した画像を映像切替手段１１によって所定時間毎に交互に切り替えて、キャプチャ処理手段１２に入力する。キャプチャ処理手段１２は、第１カメラ３が撮像した画像を第１キャプチャバッファ１３に格納する一方、第２カメラ４が撮像した画像を第２キャプチャバッファ１４に格納している。つまり、第１，第２カメラ３，４が撮像した画像を区別して認識できるように、別々に格納している。座標変換処理手段１５は、第１キャプチャバッファ１３と第２キャプチャバッファ１４から画像データを読み出して、座標変換テーブル記憶手段１６に記憶されている座標変換テーブルの情報に従って視点変換を行い、視点変換後の撮像画像を合成して合成画像を作成する。作成された合成画像は表示バッファ１７に入力される。表示処理手段１８は、表示バッファ１７から合成画像を入力してディスプレイ５に出力し、車両２の周辺の状況を１枚の画像としてディスプレイ５に表示させる。 The peripheral monitoring ECU 6 switches the images captured by the first and second cameras 3 and 4 alternately at predetermined intervals by the video switching unit 11 and inputs the images to the capture processing unit 12. The capture processing unit 12 stores an image captured by the first camera 3 in the first capture buffer 13, while storing an image captured by the second camera 4 in the second capture buffer 14. That is, the images captured by the first and second cameras 3 and 4 are stored separately so that they can be distinguished and recognized. The coordinate conversion processing means 15 reads the image data from the first capture buffer 13 and the second capture buffer 14, performs viewpoint conversion according to the information of the coordinate conversion table stored in the coordinate conversion table storage means 16, and after the viewpoint conversion Are combined to create a composite image. The created composite image is input to the display buffer 17. The display processing means 18 inputs the composite image from the display buffer 17 and outputs it to the display 5, and displays the situation around the vehicle 2 on the display 5 as one image.

本発明の特徴をなす座標変換処理について具体的に説明する。図２に示す座標変換処理は、第１，第２カメラ３，４の撮像画像について同様の手順で行われる。よって、ここでは、第２カメラ４の撮像画像の座標変換を中心に説明し、第１カメラ３の撮像画像の座標変換については説明を省略する。図３は、図２に示す座標変換処理のイメージ図である。
第２キャプチャバッファ１４は、縦方向にｍ個の画素を配列され、横方向にｎ個の画素を配列されている。第２キャプチャバッファ１４は、車両中央の第２カメラ位置を原点、車両進行方向に対して左右側をＸ軸、車両進行方向をＹ軸とする座標系を備える。つまり、第２カメラ４は、車両中央側から右側に向かってＸ値が増加し、下方（路面）に向かってＹ値が増加するように座標系を設けられている。第２キャプチャバッファ１４に入力された撮像画像は、座標値によって複数の画像データ群に分割される。 The coordinate conversion process that characterizes the present invention will be specifically described. The coordinate conversion process shown in FIG. 2 is performed in the same procedure for the captured images of the first and second cameras 3 and 4. Therefore, here, the coordinate conversion of the captured image of the second camera 4 will be mainly described, and the description of the coordinate conversion of the captured image of the first camera 3 will be omitted. FIG. 3 is an image diagram of the coordinate conversion processing shown in FIG.
The second capture buffer 14 has m pixels arranged in the vertical direction and n pixels arranged in the horizontal direction. The second capture buffer 14 includes a coordinate system having the second camera position at the center of the vehicle as the origin, the left and right sides with respect to the vehicle traveling direction as the X axis, and the vehicle traveling direction as the Y axis. That is, the second camera 4 is provided with a coordinate system such that the X value increases from the vehicle center side toward the right side and the Y value increases downward (road surface). The captured image input to the second capture buffer 14 is divided into a plurality of image data groups according to coordinate values.

座標変換テーブルは、座標変換テーブル記憶手段１６に記憶されている。座標変換テーブルは、表示バッファ１７と同じ幅Ｗと高さＨを有し、撮像画像の画素と表示画像の画素との対応関係を規定している。座標変換処理手段１５は、合成画像の値をゼロにして初期化すると、座標変換テーブル上の全座標について、座標変換処理を行う。一例として、座標変換テーブル上の（ｘ２，ｙ２）について説明する。座標変換テーブル（ｘ２，ｙ２）から第２キャプチャバッファＸ＝１００，Ｙ＝８０という情報を取得する。この情報に基づき第２キャプチャバッファのＸ＝１００，Ｙ＝８０の画素を取得し、表示バッファ（ｘ２，ｙ２）にコピーして保持する。この座標変換時に、座標変換処理手段１５は、座標変換テーブル記憶手段１６に記憶されている撮像画像と第２カメラ４の仮想視点方向との対応関係に基づいて、撮像画像の分割された領域毎に第２カメラ４の仮想視点方向を第２カメラ４の光軸Ｌ２と異なる方向に連続的に移動させて視点変換を行う。ここで、「仮想視点方向」とは、カメラの現実の視点方向をカメラの光軸に対して仮想的に移動させる方向をいう。 The coordinate conversion table is stored in the coordinate conversion table storage unit 16. The coordinate conversion table has the same width W and height H as the display buffer 17 and defines the correspondence between the pixels of the captured image and the pixels of the display image. When the coordinate conversion processing unit 15 initializes the value of the composite image to zero, the coordinate conversion processing unit 15 performs coordinate conversion processing on all the coordinates on the coordinate conversion table. As an example, (x2, y2) on the coordinate conversion table will be described. Information about the second capture buffer X = 100, Y = 80 is acquired from the coordinate conversion table (x2, y2). Based on this information, X = 100, Y = 80 pixels in the second capture buffer are acquired, and are copied and held in the display buffer (x2, y2). At the time of the coordinate conversion, the coordinate conversion processing unit 15 performs the divided region of the captured image based on the correspondence relationship between the captured image stored in the coordinate conversion table storage unit 16 and the virtual viewpoint direction of the second camera 4. In addition, the viewpoint conversion is performed by continuously moving the virtual viewpoint direction of the second camera 4 in a direction different from the optical axis L2 of the second camera 4. Here, the “virtual viewpoint direction” refers to a direction in which the actual viewpoint direction of the camera is virtually moved with respect to the optical axis of the camera.

図４は、座標変換処理において撮像画像と第２カメラ４の仮想視点方向との対応関係を規定する視点変換マップを示すグラフである。図５は、座標変換テーブルを作成する際の仮想視点方向の一例である。
図４の視点変換マップに示すように、撮像画像と第２カメラ４の仮想視点方向との対応関係は、座標変換テーブル記憶手段１６にマップ化され、記憶されている。視点変換マップは、縦軸に仮想視点方向が設定される一方、横軸に撮像画像の左端を原点とする第２バッファ１４の画素が設定されている。例えば、図９に示すように、第２カメラ４の視野角Ｒ２のうち、合成境界位置Ｐから第２カメラ４のカメラ光軸Ｌ２までの視野角がθ５であり、合成境界位置Ｐから撮像範囲右端ｎまでの視野角がαであるとすると、視点変換マップは、図４に示すように、第２カメラ４の撮像画像について、車両中央側になる画像左端から合成境界位置Ｐまでは仮想視点方向を変換せず、合成境界位置Ｐから撮像範囲右端ｎまでの範囲にある画像データについてＸ座標（又はＹ座標もしくはＸＹ座標）で分割された領域毎に仮想視点方向を連続的に移動させていく。撮像画像と第２カメラ４の仮想視点方向との対応関係は、グラフ上の直線Ｇ１や曲線Ｇ２，Ｇ３によって規定され、撮像画像をＸＹ座標に基づいて分割した領域ごとにカメラ光軸Ｌから仮想視点方向を移動させる角度を規定している。これらの直線Ｇ１及び曲線Ｇ２，Ｇ３は、撮像画像上重視する映像の部分によって座標変換処理手段１５に適宜選択して利用される。 FIG. 4 is a graph showing a viewpoint conversion map that defines the correspondence between the captured image and the virtual viewpoint direction of the second camera 4 in the coordinate conversion process. FIG. 5 is an example of the virtual viewpoint direction when creating the coordinate conversion table.
As shown in the viewpoint conversion map of FIG. 4, the correspondence between the captured image and the virtual viewpoint direction of the second camera 4 is mapped and stored in the coordinate conversion table storage unit 16. In the viewpoint conversion map, the virtual viewpoint direction is set on the vertical axis, and the pixels of the second buffer 14 having the left end of the captured image as the origin are set on the horizontal axis. For example, as shown in FIG. 9, out of the viewing angle R2 of the second camera 4, the viewing angle from the combined boundary position P to the camera optical axis L2 of the second camera 4 is θ5, and the imaging range from the combined boundary position P is Assuming that the viewing angle up to the right end n is α, as shown in FIG. 4, the viewpoint conversion map is a virtual viewpoint from the left end of the image on the vehicle center side to the composite boundary position P for the captured image of the second camera 4. Without changing the direction, the virtual viewpoint direction is continuously moved for each region divided by the X coordinate (or Y coordinate or XY coordinate) for the image data in the range from the composite boundary position P to the right end n of the imaging range. Go. The correspondence relationship between the captured image and the virtual viewpoint direction of the second camera 4 is defined by the straight line G1, the curves G2, and G3 on the graph, and is virtually determined from the camera optical axis L for each region obtained by dividing the captured image based on the XY coordinates. It defines the angle to move the viewpoint direction. The straight line G1 and the curves G2 and G3 are appropriately selected and used by the coordinate conversion processing unit 15 depending on the video portion that is important on the captured image.

例えば、直線Ｇ１は、撮像画像の仮想視点方向を撮像画像の一方から他方に向かって一定の角度変化率をもって連続的に移動させるように、撮像画像と第２カメラ４の仮想視点方向との対応関係を規定している。この対応関係は、第２カメラ４の撮像画像全体を重視する場合に適している。なお、直線Ｇ１を撮像画像にあてはめると、図５に示すようになり、第２カメラ４の撮像画像に含まれる画像データ群が撮像画像の画像左端から合成境界位置Ｐまでは仮想視点方向を変換されず、合成境界位置Ｐから画像右端に向かってＸ座標値が１増加する毎に仮想視点方向を０．５度移動させる。 For example, the straight line G1 corresponds to the virtual viewpoint direction of the second camera 4 so that the virtual viewpoint direction of the captured image is continuously moved from one side of the captured image to the other with a constant angular change rate. It defines the relationship. This correspondence is suitable when importance is attached to the entire captured image of the second camera 4. When the straight line G1 is applied to the captured image, the result is as shown in FIG. 5, and the image data group included in the captured image of the second camera 4 converts the virtual viewpoint direction from the left end of the captured image to the composite boundary position P. Instead, every time the X coordinate value increases by 1 from the composite boundary position P toward the right edge of the image, the virtual viewpoint direction is moved by 0.5 degrees.

また、例えば、図４に示す曲線Ｇ２，Ｇ３は、撮像画像の仮想視点方向を一方から他方に向かってＸ座標（又はＹ座標もしくはＸＹ座標）で分割された領域毎に移動させるときに、角度変化率を変化させるように撮像画像と第２カメラ４の仮想視点方向との対応関係を規定している。すなわち、曲線Ｇ２は、合成境界位置Ｐ付近においては仮想視点方向の角度変化率が小さく、右カメラ４の撮像範囲右端ｎ付近においては仮想視点方向の角度変化率が大きくなるように、撮像画像と第２カメラ４の仮想視点方向との対応関係を規定している。この対応関係は、第２カメラ４の撮像画像のうち合成境界位置Ｐ付近の部分を撮像範囲右端ｎ付近より重視する場合に適している。一方、曲線Ｇ３は、合成境界位置Ｐ付近においては仮想視点方向の角度変化率が大きく、第２カメラ４の撮像範囲右端ｎ付近においては仮想視点方向の角度変化率が小さくなるように、撮像画像と第２カメラ４の仮想視点方向との対応関係を規定している。この対応関係は、第２カメラ４の撮像画像のうち右端部分を合成境界位置Ｐ付近より重視する場合に適している。 Also, for example, the curves G2 and G3 shown in FIG. 4 indicate the angles when moving the virtual viewpoint direction of the captured image from one side to the other for each region divided by the X coordinate (or Y coordinate or XY coordinate). The correspondence relationship between the captured image and the virtual viewpoint direction of the second camera 4 is defined so as to change the rate of change. That is, the curve G2 has a small angle change rate in the virtual viewpoint direction in the vicinity of the combined boundary position P, and a large angle change rate in the virtual viewpoint direction in the vicinity of the right end n of the imaging range of the right camera 4. The correspondence relationship with the virtual viewpoint direction of the second camera 4 is defined. This correspondence is suitable when the portion near the composite boundary position P in the captured image of the second camera 4 is more important than the vicinity of the right end n of the imaging range. On the other hand, the curve G3 is a captured image so that the angle change rate in the virtual viewpoint direction is large near the composite boundary position P and the angle change rate in the virtual viewpoint direction is small near the right end n of the imaging range of the second camera 4. And the virtual viewpoint direction of the second camera 4 are defined. This correspondence is suitable when the right end portion of the captured image of the second camera 4 is more important than the vicinity of the composite boundary position P.

このように撮像画像中で重視する点を想定して撮像画像と第２カメラ４の仮想視点方向との対応関係をマップ化しておけば、座標変換テーブルを予め複数記憶しておく場合と比べて記憶容量を小さくできる。撮像画像と第２カメラ４の仮想視点方向との対応関係は、周辺監視システム１の起動時に選択して設定される。なお、撮像画像と第２カメラ４の仮想視点方向との対応関係は、例えば、運転者が、ディスプレイ５のタッチパネルなどの操作手段を用いて、車両２の周辺を監視する上で重視する部分を指定するモードを切り替えることにより、任意に選択できるようにしてもよい。また、例えば、方向指示器やステアリングホイールの操蛇角、制動力などを検出し、車両２の走行状態をもとに撮像画像と第２カメラ４の仮想視点方向との対応関係を自動的に選択するようにしてもよい。さらに、予め、重視する部分を決めている場合には、撮像画像と第２カメラ４の仮想視点方向との対応関係を１種類だけ記憶し、記憶容量を小さくしてもよい。 In this way, if the correspondence relationship between the captured image and the virtual viewpoint direction of the second camera 4 is mapped on the assumption of an important point in the captured image, a plurality of coordinate conversion tables are stored in advance. The storage capacity can be reduced. The correspondence between the captured image and the virtual viewpoint direction of the second camera 4 is selected and set when the periphery monitoring system 1 is activated. The correspondence relationship between the captured image and the virtual viewpoint direction of the second camera 4 is, for example, a portion that is important for the driver to monitor the periphery of the vehicle 2 using an operation unit such as a touch panel of the display 5. The mode may be arbitrarily selected by switching the designated mode. In addition, for example, the steering angle of the direction indicator or the steering wheel, the braking force, and the like are detected, and the correspondence between the captured image and the virtual viewpoint direction of the second camera 4 is automatically determined based on the traveling state of the vehicle 2. You may make it select. Furthermore, when a portion to be emphasized is determined in advance, only one type of correspondence between the captured image and the virtual viewpoint direction of the second camera 4 may be stored to reduce the storage capacity.

ところで、撮像画像の仮想視点方向は、θ５−α〜θ５度まで段階的にもしくは連続的に変化するように設定される。θ５は、車両進行方向に対してカメラ光軸Ｌのなす角度であり、左右カメラ映像を合成する境界部となる水平座標Ｐの仮想視点方向をθ５に設定する。これにより、合成境界位置Ｐの仮想視点方向が車両の進行方向となり、自然な映像を得ることができる。また、αは、運転者が左右の安全確認をする際に首を振る角度に相当する。本実施形態では、一例として、θ５を４５度、αを６０度に設定している。 By the way, the virtual viewpoint direction of the captured image is set to change stepwise or continuously from θ5-α to θ5 degrees. θ5 is an angle formed by the camera optical axis L with respect to the vehicle traveling direction, and the virtual viewpoint direction of the horizontal coordinate P serving as a boundary portion for combining the left and right camera images is set to θ5. Thereby, the virtual viewpoint direction of the synthetic | combination boundary position P becomes the advancing direction of a vehicle, and a natural image | video can be obtained. Further, α corresponds to an angle at which the driver swings his / her head when checking the left and right safety. In the present embodiment, as an example, θ5 is set to 45 degrees and α is set to 60 degrees.

次に、周辺監視システム１の動作について具体的に説明する。第１，第２カメラ３，４の撮像画像の処理は、同様である。ここでは、日本国内の道路が右側通行であることを鑑みて、車両右方向の状況を撮像する第２カメラ４の撮像画像の処理を中心に説明し、第１カメラ３の撮像画像の処理については適宜説明を省略する。 Next, the operation of the periphery monitoring system 1 will be specifically described. The processing of the captured images of the first and second cameras 3 and 4 is the same. Here, considering that the road in Japan is right-hand traffic, the processing of the captured image of the second camera 4 that captures the situation in the right direction of the vehicle will be mainly described, and the processing of the captured image of the first camera 3 will be described. Will be omitted as appropriate.

図６は、第１カメラ３と第２カメラ４の撮像範囲を示す説明図である。
図６に示す交差点は、本通り２１に路地２２が接続するＴ字路である。壁２３は、本通り２１に沿って建設されている。路地２２の両側には、歩道２４，２５が設けられ、歩道２４に電柱２６が立っている。路地２２から本通り２１に出ようとしている車両２は、第１，第２カメラ３，４が光軸Ｌ１，Ｌ２を異なる方向に向けて設置されており、第１カメラ３が車両左方向を撮像し、第２カメラ４が車両右方向を撮像する。 FIG. 6 is an explanatory diagram showing the imaging range of the first camera 3 and the second camera 4.
The intersection shown in FIG. 6 is a T-junction where the alley 22 is connected to the main street 21. The wall 23 is constructed along the main street 21. Sidewalks 24 and 25 are provided on both sides of the alley 22, and a utility pole 26 stands on the sidewalk 24. In the vehicle 2 that is going out to the main street 21 from the alley 22, the first and second cameras 3 and 4 are installed with the optical axes L 1 and L 2 directed in different directions, and the first camera 3 moves in the left direction of the vehicle. The second camera 4 captures an image in the right direction of the vehicle.

図７は、図６に示す第１カメラ３の撮像画像を示す図であり、図８は、図６に示す第２カメラ４の撮像画像を示す図である。
図７に示すように、第１カメラ３の撮像画像には、本通り２１と壁２３の略左半分、及び、車両２の左側にある歩道２４、電柱２６が映っている。一方、図８に示すように、第２カメラ４の撮像画像には、本通り２１と壁２３の略右半分、及び、路地２２の右側にある歩道２５が映っている。第２カメラ４の撮像画像では、本通り２１が右方向に行くに従って狭くなり、画像右端の道幅がｗ１になっている。道幅の縮小に伴って、歩道２５がθ２度右上がりに映っている。この状態では、画像右端において本通り２１が小さく表示され、右方向から自車両２に向かって走行してくる車両、自転車、バイクなどを判別しにくい。 FIG. 7 is a diagram illustrating a captured image of the first camera 3 illustrated in FIG. 6, and FIG. 8 is a diagram illustrating a captured image of the second camera 4 illustrated in FIG. 6.
As shown in FIG. 7, the captured image of the first camera 3 shows the main street 21 and the substantially left half of the wall 23, and the sidewalk 24 and the utility pole 26 on the left side of the vehicle 2. On the other hand, as shown in FIG. 8, the captured image of the second camera 4 shows the main street 21 and the substantially right half of the wall 23 and the sidewalk 25 on the right side of the alley 22. In the captured image of the second camera 4, the main street 21 becomes narrower as it goes to the right, and the road width at the right end of the image is w1. As the road width decreases, the sidewalk 25 is projected to the right by θ2 degrees. In this state, the main street 21 is displayed small at the right end of the image, and it is difficult to distinguish a vehicle, a bicycle, a motorcycle, or the like traveling toward the host vehicle 2 from the right direction.

図９は、視点変換のイメージ図である。
そこで、第２カメラ４の視点を、車両２の正面Ａ（０）から所定角度ずつ右方向に移動させて車両２の前方右方向を撮像したと仮想した画像処理を行う。 FIG. 9 is an image diagram of viewpoint conversion.
Therefore, the virtual camera performs image processing assuming that the viewpoint of the second camera 4 is moved to the right by a predetermined angle from the front surface A (0) of the vehicle 2 and the right front of the vehicle 2 is imaged.

図１０は、第１カメラ３と第２カメラ４の視点を車両２の正面（Ａ（０））だけにむけるように視点変換したときのイメージ図である。
第２カメラ４の視点を車両２の正面Ａ（０）だけに向けるように視点変換すると、発明が解決しようとする課題の欄で説明したのと同様の原理により、図８に示す撮像画像の右端に映っていた本通り２１の道幅ｗ１が、図１０に示すように道幅ｗ２に拡大して表示される。このとき同時に、歩道２５も画像右端に行くほど拡大表示される。そのため、本通り２１と歩道２５の境界が、θ３度右上がりに傾く。θ３度は、θ２度より角度が大きい。従って、図１０に示す画像は、運転者が車両２の正面Ａ（０）を向いたままの視点で、図８に示す画像の右端に映っている本通り２１や歩道２５をそのまま拡大したに過ぎず、現実味に乏しい。 FIG. 10 is an image diagram when the viewpoints of the first camera 3 and the second camera 4 are changed so as to face only the front surface (A (0)) of the vehicle 2.
When the viewpoint is changed so that the viewpoint of the second camera 4 is directed only to the front A (0) of the vehicle 2, the captured image shown in FIG. 8 is displayed according to the same principle as that described in the column of the problem to be solved by the invention. The road width w1 of the main street 21 shown at the right end is enlarged and displayed to the road width w2 as shown in FIG. At the same time, the sidewalk 25 is enlarged and displayed as it goes to the right end of the image. Therefore, the boundary between the main street 21 and the sidewalk 25 is inclined to the right by θ3 degrees. θ3 degrees has a larger angle than θ2 degrees. Therefore, the image shown in FIG. 10 is an enlarged view of the main street 21 and the sidewalk 25 shown at the right end of the image shown in FIG. 8 from the viewpoint where the driver is facing the front A (0) of the vehicle 2. It's not too real.

すなわち、運転者は、一般的に、本通り２１の左右方向に顔を向けて車両２の左右方向から自車両２に向かって車両、自転車、バイクなどが走ってこないか確認するが、このとき、本通り２１の道幅が遠近差によって右方向に縮小する縮小率は、運転者の顔が正面Ａ（０）に向いている場合より、運転者の顔が右方向に向いている場合の方が小さくなるはずである。従って、本通り２１と歩道２５の境界が右上がりに傾く角度θ３は、図８に示す角度θ２より小さくなるべきである。それにもかかわらず、図１０に示す画像では、本通り２１と歩道２５の境界が右上がりに傾く角度θ３が図８に示す角度θ２より大きくなり、運転者が現実に左右方向を確認する際に見える状況とディスプレイ５に表示される画像との間に違和感が生じる。しかも、図１０に示す画像は、右端の本通り２１や歩道２５が大きく表示されすぎてぼやけ、この点からも、右方向から自車両２に近づいてくる車両、自転車、バイクなどを確認しにくい。周辺監視システム１が運転者の左右確認を補助するということを鑑みると、運転者が左右方向を確認するときに見える状況に近い画像をディスプレイ５に表示するのが望ましい。 That is, the driver generally checks whether a vehicle, a bicycle, a motorcycle, or the like is running from the left-right direction of the vehicle 2 toward the own vehicle 2 with the face facing the left-right direction of the main street 21 at this time. The reduction ratio at which the road width of the main street 21 is reduced in the right direction due to the perspective difference is more in the case where the driver's face is directed to the right than when the driver's face is directed toward the front A (0). Should be smaller. Therefore, the angle θ3 at which the boundary between the main street 21 and the sidewalk 25 is inclined to the right should be smaller than the angle θ2 shown in FIG. Nevertheless, in the image shown in FIG. 10, the angle θ3 at which the boundary between the main street 21 and the sidewalk 25 tilts upward is larger than the angle θ2 shown in FIG. 8, and the driver actually confirms the left-right direction. There is a sense of incongruity between the visible situation and the image displayed on the display 5. In addition, the image shown in FIG. 10 is too blurry because the main street 21 and the sidewalk 25 on the right end are displayed too large, and from this point, it is difficult to confirm vehicles, bicycles, motorcycles, etc. that are approaching the vehicle 2 from the right direction. . In view of the fact that the surrounding monitoring system 1 assists the driver in checking left and right, it is desirable to display an image close to the situation that can be seen when the driver checks the left and right directions on the display 5.

そこで、図９に示すように、例えば第２カメラ４の撮像画像に含まれる画像データを、図４に示す直線Ｇ１が規定する撮像画像と第２カメラ４の仮想視点方向との対応関係に従って撮像画像のＸＹ座標で分割された領域毎に仮想視点方向を移動させていくと、運転者が正面Ａ（０）から右方向に顔の向きを変えて被写体を見たかのように、画像データの向きが連続的に変えられる。そのため、ディスプレイ５の右端に表示される画像は、あたかも運転者が顔を右に向けて見たかのような画像になる。 Therefore, as shown in FIG. 9, for example, image data included in the captured image of the second camera 4 is captured according to the correspondence relationship between the captured image defined by the straight line G <b> 1 illustrated in FIG. 4 and the virtual viewpoint direction of the second camera 4. When the virtual viewpoint direction is moved for each area divided by the XY coordinates of the image, the direction of the image data is as if the driver changed the face direction from the front A (0) to the right and looked at the subject. Can be changed continuously. Therefore, the image displayed at the right end of the display 5 is an image as if the driver viewed the face facing right.

図１１は、視点変換した第１カメラ３と第２カメラ４の画像を示す図である。
第２カメラ４の撮像画像は、視点変換された結果、右端に映っている本通り２１の道幅ｗ３が、図８の道幅ｗ１より大きく、図１０に示す道幅ｗ２より小さく表示される。そして、本通り２１と歩道２５の境界は、θ４度右上がりに表示される。本通り２１と歩道２５の境界が右上がりに傾く角度θ４は、図８に示す角度θ２より小さく、道幅ｗ３は、単に図８に示す道幅ｗ１を拡大したものではなく、視点を右方向に向けることにより拡大されたことが分かる。 FIG. 11 is a diagram showing images of the first camera 3 and the second camera 4 subjected to viewpoint conversion.
As a result of the viewpoint conversion, the captured image of the second camera 4 is displayed with the road width w3 of the main street 21 shown at the right end larger than the road width w1 of FIG. 8 and smaller than the road width w2 shown in FIG. Then, the boundary between the main street 21 and the sidewalk 25 is displayed to the upper right by θ4 degrees. The angle θ4 at which the boundary between the main street 21 and the sidewalk 25 is tilted upward is smaller than the angle θ2 shown in FIG. 8, and the road width w3 is not simply an enlargement of the road width w1 shown in FIG. It can be seen that it was enlarged.

なお、第１カメラ３も、第２カメラ４と同じタイミングで撮像した画像に対して同様の処理が施される。そのため、第２カメラ３の画像も、本通り２１の左端が、図７に比べて大きく表示される。図１１に示す電柱２６は、図８及び図１０に示す電柱２６と比べて図中斜め左下方向に傾いており、第２カメラ３の撮像画像が、運転者が正面Ａ（０）から左方向に顔を向けて見たかのように視点変換され、左端部分を拡大されていることが分かる。 Note that the first camera 3 is also subjected to the same processing for images captured at the same timing as the second camera 4. Therefore, the left end of the main camera 21 is also displayed larger than that in FIG. The utility pole 26 shown in FIG. 11 is inclined obliquely in the lower left direction in the figure as compared with the utility pole 26 shown in FIGS. 8 and 10, and the captured image of the second camera 3 is leftward from the front A (0) by the driver. It can be seen that the viewpoint has been changed as if it was viewed with the face facing up, and the left end portion was enlarged.

このように画像処理された第１，第２カメラ３，４の画像は、図６に示すように、第１，第２カメラ３，４の撮像範囲の重複範囲Ｓ１内で合成境界位置Ｐを決定される。死角を生じることなく、第１，第２カメラ３，４の画像をつなげて表示するためである。本実施形態では、車両２の正面Ａ（０）を合成境界位置Ｐに決定している。合成境界位置Ｐの仮想視点方向を車両進行方向に合わせるとともに、表示画像の左右均一な領域で第１，第２カメラ３，４の撮像画像を使用し、撮像画像と第２カメラ４の仮想視点方向との対応関係を規定する視点変換マップを共用して第１，第２カメラ３，４の画像処理を行うためである。このように、視点変換マップを共用するようにすれば、記憶容量を小さくできる利点がある。 As shown in FIG. 6, the images of the first and second cameras 3 and 4 subjected to the image processing in this way have the combined boundary position P within the overlapping range S1 of the imaging ranges of the first and second cameras 3 and 4. It is determined. This is because the images of the first and second cameras 3 and 4 are connected and displayed without generating a blind spot. In the present embodiment, the front surface A (0) of the vehicle 2 is determined as the composite boundary position P. The virtual viewpoint direction of the composite boundary position P is matched with the vehicle traveling direction, and the captured images of the first and second cameras 3 and 4 are used in the left and right uniform areas of the display image, and the captured image and the virtual viewpoint of the second camera 4 are used. This is because image processing of the first and second cameras 3 and 4 is performed by sharing a viewpoint conversion map that defines the correspondence with the direction. Thus, if the viewpoint conversion map is shared, there is an advantage that the storage capacity can be reduced.

図１２は、第１カメラと第２カメラの画像を合成した合成画像を示す図である。
画像処理した第１，第２カメラ３，４の画像を合成境界位置Ｐで合成すると、車両２の前方左右方向の画像が１枚で表示される。この表示画像は、運転者が左右方向を視線を向けて左右を確認する際に見える状況に近いため、運転者は違和感なく本通り２１の左右方向の状況を確認することができる。また、表示画像右端部分の本通り２１は、図８に示す場合より大きく表示されるものの、図１０に示す場合のように画像データが拡散してぼやけたり、むやみに大きく表示されることがない。よって、運転者は、路地２２から本通り２１に出るときに左右方向を直接見て確認しにくい場合であっても、ディスプレイ５の表示内容を見れば、左右方向から車両、自転車、バイクなどが自車両２に向かって走ってくるか否かを認識しやすい。 FIG. 12 is a diagram illustrating a combined image obtained by combining the images of the first camera and the second camera.
When the images of the first and second cameras 3 and 4 that have been subjected to image processing are combined at the combining boundary position P, one image in the front left and right direction of the vehicle 2 is displayed. Since this display image is close to the situation seen when the driver checks the left and right directions with the line of sight, the driver can check the situation in the left and right directions of the main street 21 without feeling uncomfortable. Further, although the main street 21 at the right end portion of the display image is displayed larger than the case shown in FIG. 8, the image data is not diffused and blurred or is displayed unnecessarily large unlike the case shown in FIG. 10. . Therefore, even if it is difficult for the driver to see the right and left direction directly when exiting from the alley 22 to the main street 21, if the driver sees the display content on the display 5, the vehicle, bicycle, motorcycle, etc. It is easy to recognize whether or not the vehicle travels toward the host vehicle 2.

従って、本実施形態の周辺監視システム１によれば、第１，第２カメラ３，４が撮像した撮像画像を複数の領域に分割し、領域毎に第１，第２カメラ３，４の仮想視点方向を異なる方向に連続的に移動させて視点変換を行うことにより、運転者が車両２の前方左右方向をそれぞれ正対して見たかのように車両２の前方左右方向をディスプレイ５に表示するので（図９、図１１、図１２参照）、例えば、第１，第２カメラ３，４の視点から離れた場所に写っている被写体の画像データが、レンズや撮像デバイスの歪みなどによってディスプレイ５に小さく表示されたり、或いは、視点変換時に拡散してぼやけけたり、むやみに拡大されることがなく、車両２の前方左右方向をディスプレイ５に違和感なく表示することができる。すなわち、周辺監視システム１を用いて図１３に示す車両２の周辺の状況を監視した場合には、図１４に示すように、表示画像の端部分に映り込んだ横断歩道１１４を渡る人１１５や街路樹１１２を、運転者が正面から右方向に顔を向けて見たかのような大きさや形、方向で一画面に適切に表示することが可能である。特に、街路樹１１２が、図１７及び図２０に示すように本通りの右方向を隠さないため、運転者は、本通り右方向の状況を広い範囲で確認し、自車両１００に近づいてくる車両、自転車、バイク等の存在を違和感なく把握することができる。 Therefore, according to the periphery monitoring system 1 of the present embodiment, the captured image captured by the first and second cameras 3 and 4 is divided into a plurality of regions, and the virtual images of the first and second cameras 3 and 4 are divided for each region. By performing the viewpoint conversion by continuously moving the viewpoint direction in different directions, the front and left and right directions of the vehicle 2 are displayed on the display 5 as if the driver viewed the front and right and left directions of the vehicle 2 facing each other. (See FIGS. 9, 11, and 12) For example, image data of a subject that is captured at a location away from the viewpoints of the first and second cameras 3 and 4 is displayed on the display 5 due to distortion of a lens or an imaging device. It is possible to display the front left and right directions of the vehicle 2 on the display 5 without a sense of incongruity without being displayed in a small size, or being diffused and blurred at the time of viewpoint conversion. That is, when the surroundings monitoring system 1 is used to monitor the situation around the vehicle 2 shown in FIG. 13, as shown in FIG. 14, the person 115 crossing the pedestrian crossing 114 reflected in the end portion of the display image, It is possible to appropriately display the roadside tree 112 on one screen in the size, shape, and direction as if the driver looked to the right from the front. In particular, since the roadside tree 112 does not hide the right direction of the main street as shown in FIGS. 17 and 20, the driver confirms the situation of the right direction of the main street in a wide range and approaches the host vehicle 100. The presence of vehicles, bicycles, motorcycles, etc. can be grasped without a sense of incongruity.

また、本実施形態の周辺監視システム１は、予め、図４に示す撮像画像と第２カメラ４の仮想視点方向との対応関係を座標変換テーブル記憶手段１６に記憶しておき、ＸＹ座標で分割された領域に含まれる画像データの仮想視点方向を撮像画像と第２カメラ４の仮想視点方向との対応関係に当てはめて移動させるため（図９、図１１参照）、視点変換の処理時間を短くすることができる。
また、本実施形態の周辺監視システム１は、例えば、第２カメラ４の画像データの仮想視点方向を第１カメラ３が撮像した撮像画像との合成境界位置Ｐから右端ｎに向かって連続的に移動させることにより（図４の直線Ｇ１，Ｇ２，Ｇ３参照）、運転者が車両２の前方右方向の状況を車両２の正面Ａ（０）から右方向に向かって連続的に視線を移して見たかのような画像としてディスプレイ５に表示するので（図９、図１１参照）、車両２の前方左右方向の状況を１枚の画像としてディスプレイ５に違和感なく表示できる。
また、本実施形態の周辺監視システム１は、撮像画像を視点変換マップ（図４参照）に基づき仮想視点方向を変化させるので、少ない計算回数で視点変換することができる。 In addition, the periphery monitoring system 1 of the present embodiment stores in advance the correspondence relationship between the captured image shown in FIG. 4 and the virtual viewpoint direction of the second camera 4 in the coordinate conversion table storage unit 16 and divides it by XY coordinates. In order to move the virtual viewpoint direction of the image data included in the imaged area according to the correspondence between the captured image and the virtual viewpoint direction of the second camera 4 (see FIGS. 9 and 11), the viewpoint conversion processing time is shortened. can do.
In addition, the periphery monitoring system 1 according to the present embodiment, for example, continuously moves the virtual viewpoint direction of the image data of the second camera 4 from the combined boundary position P with the captured image captured by the first camera 3 toward the right end n. By moving the vehicle (refer to the straight lines G1, G2, and G3 in FIG. 4), the driver continuously shifts his / her line of sight from the front A (0) of the vehicle 2 to the right in the front right direction of the vehicle 2. Since it is displayed on the display 5 as an image as if it was seen (see FIGS. 9 and 11), the situation in the front left and right directions of the vehicle 2 can be displayed as a single image on the display 5 without a sense of incongruity.
Moreover, since the periphery monitoring system 1 of this embodiment changes a virtual viewpoint direction based on a viewpoint conversion map (refer FIG. 4), a viewpoint conversion can be carried out with few calculation frequency.

また、本実施形態の周辺監視システム１は、第１カメラ３と第２カメラ４が撮像した撮像画像の重複範囲Ｓ１内で合成境界位置Ｐを決定して撮像画像を合成するので、車両前方状況を切れ目なくディスプレイ５に表示することができる（図１２参照）。 Moreover, since the periphery monitoring system 1 of this embodiment determines the synthetic | combination boundary position P within the overlapping range S1 of the picked-up image imaged with the 1st camera 3 and the 2nd camera 4, and synthesize | combines a picked-up image, the vehicle front condition Can be displayed on the display 5 without a break (see FIG. 12).

尚、本発明の実施の形態について説明したが、本発明は、上記実施の形態に限定されことなく、色々な応用が可能である。 Although the embodiments of the present invention have been described, the present invention is not limited to the above-described embodiments, and various applications are possible.

（１）例えば、上記実施の形態では、周辺監視システム１が車両２の前側バンパーに第１，第２カメラ３，４を設置しているが、１個又は複数のカメラを設置してもよい。すなわち、例えば、前側バンパーに１個だけ広角カメラを設置したり、前側バンパーに第１，第２カメラ３，４の他にバンパー下方を映す第３のカメラを設置したり、後側バンパーに１個又は複数のカメラを設置したり、車両２の片側に１台又は複数のカメラを設置する場合でも、撮像画像の仮想視点方向を連続的に移動させることにより、車両２の前方や後方、側方の状況をディスプレイ５に違和感なく表示することが可能である。そして、車両２の前後左右に設けたカメラの撮像画像をそれぞれ仮想視点方向を移動させて合成画像を作成し、ディスプレイ５上に１枚で表示するようにすれば、運転者が車両２の周辺の状況を広範囲で確認することができ、縦列駐車時や並列駐車時等における利便性が向上する。 (1) For example, in the above-described embodiment, the periphery monitoring system 1 installs the first and second cameras 3 and 4 in the front bumper of the vehicle 2, but one or more cameras may be installed. . That is, for example, only one wide-angle camera is installed on the front bumper, a third camera that projects the lower side of the bumper in addition to the first and second cameras 3 and 4 is installed on the front bumper, and 1 is installed on the rear bumper. Even when one or a plurality of cameras are installed or one or a plurality of cameras are installed on one side of the vehicle 2, by moving the virtual viewpoint direction of the captured image continuously, the front, rear, and side of the vehicle 2 This situation can be displayed on the display 5 without a sense of incongruity. Then, the captured images of the cameras provided on the front, rear, left and right of the vehicle 2 are moved in the virtual viewpoint direction to create a composite image and displayed on the display 5 as a single image. Can be confirmed in a wide range, and convenience in parallel parking or parallel parking is improved.

（２）例えば、上記実施の形態では、第１，第２カメラ３，４の撮像画像を重複範囲Ｓ１を除いて使用したが、表示処理手段１８が表示バッファ１７に保持される合成画像の中から必要な部分の画像データを切り出してディスプレイ５に出力するようにしてもよい。この場合、例えば、運転者がディスプレイ５のタッチパネルなどの操作手段で見たい領域を移動させたときに、表示処理手段１８が移動した領域に該当する画像データを表示バッファ１７から適宜入力してディスプレイ５に出力するようにすれば、運転者の要求に応じて車両２の周辺の状況を違和感なくディスプレイ５に表示することが可能である。 (2) For example, in the above-described embodiment, the captured images of the first and second cameras 3 and 4 are used except for the overlapping range S1, but the display processing unit 18 includes the composite image held in the display buffer 17. The image data of a necessary part may be cut out and output to the display 5. In this case, for example, when the driver moves an area desired to be viewed with an operation means such as a touch panel of the display 5, image data corresponding to the area moved by the display processing means 18 is appropriately input from the display buffer 17 and displayed. By outputting to 5, it is possible to display the situation around the vehicle 2 on the display 5 without a sense of incongruity according to the driver's request.

本発明の一実施の形態における周辺監視システムの概略構成図である。It is a schematic block diagram of the periphery monitoring system in one embodiment of this invention. 図１に示す周辺監視ＥＣＵのブロック図である。It is a block diagram of periphery monitoring ECU shown in FIG. 図２に示す座標変換処理の概念図である。It is a conceptual diagram of the coordinate transformation process shown in FIG. 座標変換処理において撮像画像と第２カメラ４の仮想視点方向との対応関係を規定する視点変換マップを示すグラフである。It is a graph which shows the viewpoint conversion map which prescribes | regulates the correspondence of a captured image and the virtual viewpoint direction of the 2nd camera 4 in a coordinate conversion process. 座標変換テーブルを作成する際の仮想視点方向の一例である。It is an example of the virtual viewpoint direction at the time of creating a coordinate conversion table. 第１カメラと第２カメラの撮像範囲を示す説明図である。It is explanatory drawing which shows the imaging range of a 1st camera and a 2nd camera. 図６に示す第１カメラの撮像画像を示す図である。It is a figure which shows the captured image of the 1st camera shown in FIG. 図６に示す第２カメラの撮像画像を示す図である。It is a figure which shows the picked-up image of the 2nd camera shown in FIG. 視点変換のイメージ図である。It is an image figure of viewpoint conversion. 第１カメラと第２カメラの視点を車両の正面だけに向けるように視点変換したときのイメージ図である。It is an image figure when a viewpoint is changed so that the viewpoints of the first camera and the second camera are directed only to the front of the vehicle. 視点変換した第１カメラと第２カメラの画像を示す図である。It is a figure which shows the image of the 1st camera and 2nd camera which carried out viewpoint conversion. 第１カメラと第２カメラの画像を合成した合成画像を示す図である。It is a figure which shows the synthesized image which synthesize | combined the image of a 1st camera and a 2nd camera. 車両周辺の状況を示す説明図である。It is explanatory drawing which shows the condition around a vehicle. 図１３に示す状況を撮像して表示した撮像画像表示形態の一例を示す図である。It is a figure which shows an example of the captured image display form which imaged and displayed the condition shown in FIG. 従来の周辺監視システムの撮影範囲の一例を示す図である。It is a figure which shows an example of the imaging | photography range of the conventional periphery monitoring system. 従来の撮像画像表示形態の一例を示す図である。It is a figure which shows an example of the conventional captured image display form. 図１３に示す状況を撮像して表示装置に表示する撮像画像表示形態の一例を示す図である。It is a figure which shows an example of the captured image display form which images the situation shown in FIG. 13 and displays it on a display apparatus. 投影図の一例を示す説明図である。It is explanatory drawing which shows an example of a projection figure. 特願２００１−５２９６７４号で提案する視点変換のイメージ図である。It is an image figure of viewpoint conversion proposed by Japanese Patent Application No. 2001-529474. 撮像画像表示形態の一例を示す図である。It is a figure which shows an example of a captured image display form. 第１カメラと第２カメラの視点を車両の正面だけに向けるように視点変換したときのイメージ図である。It is an image diagram when the viewpoint is changed so that the viewpoints of the first camera and the second camera are directed only to the front of the vehicle.

符号の説明Explanation of symbols

１周辺監視システム
２車両
３第１カメラ（撮像手段）
４第２カメラ（撮像手段）
５ディスプレイ（表示手段）
１５座標変換処理手段（視点変換手段）
１６座標変換テーブル記憶手段（記憶手段） DESCRIPTION OF SYMBOLS 1 Perimeter monitoring system 2 Vehicle 3 1st camera (imaging means)
4 Second camera (imaging means)
5 Display (display means)
15 Coordinate conversion processing means (viewpoint conversion means)
16 Coordinate conversion table storage means (storage means)

Claims

車両に設置した撮像手段によって車両の周辺の状況を撮像し、その撮像画像を画像処理して表示手段に表示する周辺監視システムにおいて、
前記撮像画像を複数の領域に分割し、領域毎に前記撮像手段の仮想視点方向を前記撮像手段の光軸と異なる方向に連続的に移動させて視点変換を行うことにより、運転者が前記車両の周辺の状況をそれぞれの方向に正対して見られる視点変換手段を有すること、
視点変換した前記領域を、左右方向に並べて合成画像を作成する領域合成手段を有すること、
前記視点変換手段は、前記仮想視点方向を前記撮像画像の一方から他方に向かって、変化する角度変化率をもって連続的に移動させること、
前記撮像画像と前記撮像手段の前記仮想視点方向との対応関係を規定する視点変換マップを有すること、
前記視点変換マップは、縦軸に前記仮想視点方向が設定され、横軸に処理された前記撮影画像のデータの画素が設定されること、
前記変化する角度変化率は、前記視点変換マップにおいて規定されるものであること、
を特徴とする周辺監視システム。 In a periphery monitoring system that captures an image of a situation around a vehicle by an image capturing unit installed in the vehicle, displays the captured image on a display unit after image processing,
The driver divides the captured image into a plurality of regions and performs viewpoint conversion by continuously moving the virtual viewpoint direction of the imaging unit in a direction different from the optical axis of the imaging unit for each region , thereby allowing the driver to perform the viewpoint conversion. to have a viewpoint conversion unit seen directly opposite in each direction around the situation of,
Having an area composition means for creating a composite image by arranging the areas subjected to viewpoint conversion in the horizontal direction;
The viewpoint conversion means continuously moves the virtual viewpoint direction from one of the captured images to the other with a changing rate of angle change;
Having a viewpoint conversion map that defines the correspondence between the captured image and the virtual viewpoint direction of the imaging means;
In the viewpoint conversion map, the virtual viewpoint direction is set on the vertical axis, and the processed image data pixels are set on the horizontal axis.
The changing angle change rate is defined in the viewpoint conversion map;
Perimeter monitoring system characterized by

請求項１に記載する周辺監視システムにおいて、
前記撮像画像の一方は、前記車両の進行方向であることを特徴とする周辺監視システム。 In the periphery monitoring system according to claim 1,
One of the captured images is a traveling direction of the vehicle .

請求項２に記載する周辺監視システムにおいて、
前記撮像画像の他方は、前記車両の進行方向に対して、運転者が左右の安全確認をする際に首を振る角度に相当することを特徴とする周辺監視システム。 In surroundings monitoring system according to 請 Motomeko 2,
The other of the captured images corresponds to an angle at which the driver swings his / her head when checking the left and right safety with respect to the traveling direction of the vehicle .

請求項１乃至請求項３の何れか一つに記載する周辺監視システムにおいて、
前記変化する角度変化率は、前記撮像画像の一方付近においては前記仮想視点方向の前記角度変化率が小さく、前記撮像画像の他方付近においては前記仮想視点方向の前記角度変化率が大きくなるように変化すること、または、前記撮像画像の一方付近においては前記仮想視点方向の前記角度変化率が大きく、前記撮像画像の他方付近においては前記仮想視点方向の前記角度変化率が小さくなるように変化することを特徴とする周辺監視システム。 In surroundings monitoring system according to any one of claims 1 to 3,
The changing angle change rate is such that the angle change rate in the virtual viewpoint direction is small near one side of the captured image, and the angle change rate in the virtual viewpoint direction is large near the other side of the captured image. Or the angle change rate in the virtual viewpoint direction is large near one side of the captured image, and the angle change rate in the virtual viewpoint direction is small near the other side of the captured image. Perimeter monitoring system characterized by that.

請求項１乃至請求項４の何れか一つに記載する周辺監視システムにおいて、
前記撮像画像と前記仮想視点方向との対応関係を記憶する記憶手段を有し、
前記視点変換手段は、前記記憶手段に記憶されている前記撮像画像と前記仮想視点方向との対応関係に基づいて視点変換を行うことを特徴とする周辺監視システム。 In the periphery monitoring system according to any one of claims 1 to 4 ,
Storage means for storing a correspondence relationship between the captured image and the virtual viewpoint direction;
The periphery monitoring system, wherein the viewpoint conversion unit performs viewpoint conversion based on a correspondence relationship between the captured image stored in the storage unit and the virtual viewpoint direction.

請求項１乃至請求項５の何れか一つに記載する周辺監視システムにおいて、
前記視点変換手段は、
前記撮像画像を前記視点変換マップに基づき前記仮想視点方向を変化させることを特徴とする周辺監視システム。 In the periphery monitoring system according to any one of claims 1 to 5 ,
The viewpoint conversion means includes
Environment monitoring system characterized by varying the virtual viewpoint direction based the captured image to the viewpoint conversion map.

請求項１乃至請求項６の何れか一つに記載する周辺監視システムにおいて、
前記撮像手段が複数からなり、撮像画像が重複する重複範囲を有する場合、前記重複範囲内で合成境界位置を決定して撮像画像を合成する合成手段を有することを特徴とする周辺監視システム。 In the periphery monitoring system according to any one of claims 1 to 6 ,
A peripheral monitoring system, comprising: a plurality of imaging means, and a synthesis means for determining a synthesis boundary position within the overlapping range and synthesizing the captured images when the imaging images have overlapping ranges.