JP5051263B2

JP5051263B2 - Vehicle rear view system

Info

Publication number: JP5051263B2
Application number: JP2010086008A
Authority: JP
Inventors: 雄二松本
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2010-04-02
Filing date: 2010-04-02
Publication date: 2012-10-17
Anticipated expiration: 2030-04-02
Also published as: JP2011217318A

Description

本発明は、撮影手段による撮影画像を表示することにより後方を視認する車両用後方視認システムに関する。 The present invention relates to a vehicle rearward visual recognition system that visually recognizes the rear by displaying a photographed image by photographing means.

例えば特許文献１には、車両の後方を撮影する少なくとも１つの後方撮影用ビデオカメラと、車両の後方を運転者が監視するインサイドミラーと、このインサイドミラー近傍に取付けられて、ビデオカメラが撮影した映像が鏡像として表示される表示装置とで構成され、インサイドミラーのミラー面を、透過性を有するハーフミラーで構成し、ハーフミラーで隠れるインサイドミラーの内部に表示装置を配置し、後方撮影用ビデオカメラ、側方撮影用ビデオカメラが撮影した映像を、表示装置の一部の表示範囲に表示させるようにした車両用監視装置が提案されている。 For example, in Patent Document 1, at least one video camera for taking a rear view of a vehicle, an inside mirror for a driver to monitor the back of the vehicle, and a video camera attached to the vicinity of the inside mirror are taken by the video camera. This is composed of a display device that displays the image as a mirror image, and the mirror surface of the inside mirror is composed of a transmissive half mirror, and the display device is arranged inside the inside mirror that is hidden by the half mirror. There has been proposed a vehicle monitoring apparatus that displays images captured by a camera and a video camera for side photographing in a partial display range of a display device.

特開２００２−２２５６２９号公報JP 2002-225629 A 特開２００３−９５０２８号公報JP 2003-95028 A

ところで、このような発明では、従来左右ドア近傍に設置され、運転者が一定の距離離れた光学ミラーで見ていた車両側方の風景が、インサイドミラー内部の表示装置に集約して表示されるため、左右ビデオカメラ間の軽微な角度のずれにより生じる風景の傾き、ずれ等が、顕著に運転者に分り、違和感を覚えると想定される。
しかしながら、ビデオカメラの車両への組付けにはばらつきや誤差が伴うものであり、組付け精度の管理のみで解決するには限界がある。従って、カメラ角度の調整機能が必要不可欠となる。 By the way, in such an invention, the scenery on the side of the vehicle, which is conventionally installed near the left and right doors and viewed by the driver with an optical mirror separated by a certain distance, is collectively displayed on the display device inside the inside mirror. For this reason, it is assumed that the inclination and shift of the landscape caused by a slight angle shift between the left and right video cameras are noticeable to the driver and feel uncomfortable.
However, assembling the video camera to the vehicle involves variations and errors, and there is a limit to how to solve the problem only by managing the assembling accuracy. Therefore, a camera angle adjustment function is indispensable.

カメラの調整方法については、例えば特許文献２のものでは、車両の一部分を含むように車両の左側を撮影する第一の撮影手段と、車両の一部分を含むように車両の右側を撮影する第ニの撮影手段と、第一の撮影手段で撮影した車両を含む範囲を切り出した第一の表示範囲と、第二の撮影手段で撮影した車両を含む範囲を切り出した第二の表示範囲とを表示する表示手段と、第一の表示範囲及び第二の表示範囲の少なくとも一方を他方の表示範囲に対して移動させる表示範囲変更手段とを有することを特徴とする車両用監視装置が提案されている。
このようは発明によると、一方の画像を基準画像として、もう一方の画像を調整する従来の光学ミラーと同様の調整方法を実現できるものの、基準画像の再調整を行った場合には、もう一方の画像の再調整も必要となり、運転者の調整操作の煩雑さを解消することはできない。 Regarding the camera adjustment method, for example, in Patent Document 2, the first photographing means for photographing the left side of the vehicle so as to include a part of the vehicle, and the second means for photographing the right side of the vehicle so as to include a part of the vehicle. A first display range obtained by cutting out a range including the vehicle photographed by the first photographing means, and a second display range obtained by cutting out the range obtained by the second photographing means. And a display range changing unit that moves at least one of the first display range and the second display range with respect to the other display range. .
In this way, according to the invention, although one image can be used as a reference image and an adjustment method similar to that of a conventional optical mirror that adjusts the other image can be realized, when the reference image is readjusted, the other image is adjusted. It is also necessary to readjust the image of the driver, and the complexity of the driver's adjustment operation cannot be eliminated.

本発明は上記事情に鑑みてなされたもので、その目的は、運転者の調整操作の煩雑さを解消しながら違和感のない左右後方画像を表示することができる車両用後方視認システムを提供することにある。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a vehicular rearward visual recognition system capable of displaying right and left rearward images without a sense of incongruity while eliminating the complexity of a driver's adjustment operation. It is in.

請求項１及び請求項２の発明によれば、右表示手段には右後方撮影手段が撮影した撮影画像である右後方画像が鏡面表示され、第２表示手段には左後方撮影手段が撮影した撮影画像である左後方画像が鏡面表示されるので、運転者はあたかも後方確認用ミラーで確認したような画像を視認できる。ここで、運転者が調整手段に対する操作により例えば右後方画像の視野を、水平または垂直方向に調整すると、右後方画像に対して左右対称関係となるように左後方画像も同時に視野調整されるので、運転者が左後方画像の調整を行うこと無く違和感の無い後方の撮影画像を表示することができる。
請求項３の発明によれば、各後方撮影手段の撮影領域は固定されており、その撮影領域における切り出し領域が表示手段に表示されるので、ソフト処理により各表示手段に後方の撮影画像をそれぞれ表示することができ、容易に実施することができる。 According to the first and second aspects of the invention, a right rear image, which is a photographed image taken by the right rear photographing means, is mirror-displayed on the right display means, and a left rear photographing means is photographed on the second display means. Since the left rear image, which is a captured image, is mirror-displayed, the driver can visually recognize an image as if it was confirmed by a rear confirmation mirror. Here, when the driver adjusts the field of view of the right rear image in the horizontal or vertical direction, for example, by operating the adjusting means, the field of view of the left rear image is also adjusted at the same time so as to be symmetrical with respect to the right rear image. The driver can display the rear captured image without any sense of incongruity without adjusting the left rear image.
According to the third aspect of the present invention, the photographing area of each rear photographing means is fixed, and the cutout area in the photographing area is displayed on the display means. Therefore, the rear photographed image is displayed on each display means by software processing. It can be displayed and can be easily implemented.

請求項４の発明によれば、各後方撮影手段の撮影領域全体が各表示領域にそれぞれ表示されるので、広範囲を表示する場合に有効である。
請求項５の発明によれば、右後方画像と左後方画像との間に後方画像が表示されるので、車両の後方を統合した画像として容易に確認することができる。
請求項６の発明によれば、表示装置にはドアミラーで後方を視認したような画像が表示されるので、運転者は、あたかもドアミラーで後方確認しているような感覚となる。
請求項７の発明によれば、目線の移動を少なくしながら後方を確認することができるので、運転者の違和感が少ない。 According to the invention of claim 4, since the entire photographing area of each rear photographing means is displayed in each display area, it is effective when displaying a wide range.
According to the fifth aspect of the present invention, since the rear image is displayed between the right rear image and the left rear image, the rear of the vehicle can be easily confirmed as an integrated image.
According to the invention of claim 6 , the display device displays an image as if the rear side was visually recognized by the door mirror, so that the driver feels as if the driver is confirming the rear side by the door mirror.
According to the invention of claim 7, the rear can be confirmed while reducing the movement of the line of sight, so that the driver feels less uncomfortable.

本発明の一実施の形態におけるシステムの全体構成を各処理ブロックで示す図The figure which shows the whole structure of the system in one embodiment of this invention in each processing block 車両を概略的に示す平面図Plan view schematically showing the vehicle 車両の前部を示す側面図Side view showing the front of the vehicle 車両の側面図Vehicle side view 車室内の前部を示す斜視図The perspective view which shows the front part of a vehicle interior カメラの自動調整処理を示すフローチャートFlowchart showing automatic camera adjustment processing 自動調整処理に応じたカメラ画像を示す図The figure which shows the camera image according to the automatic adjustment processing 他の実施の形態を示す図３相当図FIG. 3 equivalent view showing another embodiment

以下、本発明の一実施の形態について図１ないし図７を参照して説明する。
図２は、車両を概略的に示す平面図である。車両１の左右両側にはそれぞれ左右ドアミラー２、３が取り付けられている。左右ドアミラー２，３の筐体には、それぞれ車両１の側面に沿って後方を広範囲に撮影する左カメラ４（左後方撮影手段に相当），右カメラ５（右後方撮影手段に相当）が取付けられている（車両の前部側面を示す図３参照）。
図２に示すように、左右カメラ４，５は、それぞれ車両１の左右側に沿って車両１の後方範囲を撮影するもので、運転者から見て左右ドアミラー２，３に映し出される範囲よりも広範囲となる領域が撮影領域となるように設定されている。例えば、右ドアミラー３には斜線で示す範囲が映るのに対して、右カメラ５ではそれよりも広範囲を撮影可能である。左ドアミラー２と左カメラ４との関係についても同様である。この場合、左右カメラ４，５は、撮影領域に車両の後方側面が含まれるように位置決めされている。尚、図２及び図３では、左右カメラ４，５を左右ドアミラー２，３の筐体に吊り下げるように図示したが、実際には、左右ドアミラー２，３の筐体の内側に設けられており、外部からの衝撃に対して保護されている。 Hereinafter, an embodiment of the present invention will be described with reference to FIGS.
FIG. 2 is a plan view schematically showing the vehicle. Left and right door mirrors 2 and 3 are respectively attached to the left and right sides of the vehicle 1. A left camera 4 (corresponding to the left rear photographing means) and a right camera 5 (corresponding to the right rear photographing means) are attached to the housings of the left and right door mirrors 2 and 3, respectively, to capture a wide range of the rear side along the side of the vehicle 1. (See FIG. 3 showing the front side of the vehicle).
As shown in FIG. 2, the left and right cameras 4 and 5 each capture a rear range of the vehicle 1 along the left and right sides of the vehicle 1, and are larger than the range displayed on the left and right door mirrors 2 and 3 when viewed from the driver. The wide area is set to be the imaging area. For example, the right door mirror 3 shows a shaded area, but the right camera 5 can take a wider area. The same applies to the relationship between the left door mirror 2 and the left camera 4. In this case, the left and right cameras 4 and 5 are positioned such that the rear side surface of the vehicle is included in the imaging region. 2 and 3, the left and right cameras 4 and 5 are illustrated as being suspended from the housings of the left and right door mirrors 2 and 3, but in reality, they are provided inside the housings of the left and right door mirrors 2 and 3. And is protected against external impacts.

車両の側面を示す図４にも示すように、車両１のルーフ後端には後方カメラ６（中後方撮影手段に相当）が搭載されており、車両の後方を撮影するように設定されている。この後方カメラ６は、その撮影領域が従来のルームミラーに映し出される範囲よりも広範囲となるように設定されている。尚、図４では後方カメラ６をルーフ上に搭載するように図示したが、実際には図示しない意匠部材により外部から保護された形態で搭載されている。
図５は車室内の前部を示す斜視図である。フロントガラス７には従来のルームミラーに代えて表示装置８（表示装置に相当）が取付けられている。この表示装置８はカラー液晶表示装置からなり、図示左側から左表示領域８ａ（左表示手段に相当）、中表示領域８ｂ（中表示手段に相当）、右表示領域８ｃ（右表示手段に相当）に区分けされている。この場合、左カメラ３の撮影画像の鏡面画像が左表示領域８ａに表示され、後方カメラ６の撮影画像の鏡面画像が中表示領域８ｂに表示され、右カメラ４の撮影画像の鏡面画像が右表示領域８ｃに表示される。従って、左右表示領域３ａ，３ｃの表示画像が左右ドアミラー２、３に映し出された後方視界に相当し、中表示領域３ｂの表示画像が従来のルームミラーに映し出された後方視界に相当する。 As shown in FIG. 4 showing the side of the vehicle, a rear camera 6 (corresponding to the middle rear photographing means) is mounted on the rear end of the roof of the vehicle 1 and is set to photograph the rear of the vehicle. . The rear camera 6 is set so that its shooting area is wider than the range projected on the conventional room mirror. In FIG. 4, the rear camera 6 is illustrated as being mounted on the roof, but is actually mounted in a form protected from the outside by a design member (not illustrated).
FIG. 5 is a perspective view showing a front portion of the vehicle interior. A display device 8 (corresponding to a display device) is attached to the windshield 7 instead of a conventional room mirror. This display device 8 comprises a color liquid crystal display device, and from the left side in the figure, a left display area 8a (corresponding to left display means), a middle display area 8b (corresponding to middle display means), and a right display area 8c (corresponding to right display means). It is divided into. In this case, the mirror image of the captured image of the left camera 3 is displayed in the left display area 8a, the mirror image of the captured image of the rear camera 6 is displayed in the middle display area 8b, and the mirror image of the captured image of the right camera 4 is It is displayed in the display area 8c. Therefore, the display images in the left and right display areas 3a and 3c correspond to the rear view field projected on the left and right door mirrors 2 and 3, and the display image in the middle display area 3b corresponds to the rear view field projected on the conventional room mirror.

図１は、システムの全体構成を各処理ブロックで示している。左右カメラ４、５、後方カメラ６からの映像信号、及び例えば運転者側ドアの内側に設けられた調整スイッチ９（調整手段に相当）からの各信号はＥＣＵ（電子制御ユニット）の処理部１０（制御手段に相当）により処理される。
処理部１０は、マイクロプロセッサを主体として構成されており、画像切り出し部１１、カメラ画像選択部１２、画像合成部１３、補正量算出部１４（二値化処理部１５、輪郭抽出処理部１６、形状比較部１７、基準映像記憶部１８から構成される）、スイッチ処理部１９、座標演算部２０、切り出し座標記憶部２１で構成される。これらの処理ブロックはマイクロプロセッサのソフト処理により実現されるもので、次のように動作する。
スイッチ処理部１９は、調整スイッチ９の状態を取り込み、それに基づいて各処理ブロックに制御信号を送信する。
座標演算部２０は、スイッチ処理部１９からの、上下、左右スイッチの操作結果に基づく座標移動量や、後述する補正量に基づき切り出し座標値を更新するとともに、そのデータを切り出し座標記憶部２１に記憶（更新）する。 FIG. 1 shows the overall configuration of the system in each processing block. Video signals from the left and right cameras 4 and 5 and the rear camera 6 and signals from an adjustment switch 9 (corresponding to an adjustment means) provided inside the driver side door, for example, are processed by a processing unit 10 of an ECU (electronic control unit). (Corresponding to control means).
The processing unit 10 is configured mainly with a microprocessor, and includes an image cutout unit 11, a camera image selection unit 12, an image synthesis unit 13, a correction amount calculation unit 14 (binarization processing unit 15, contour extraction processing unit 16, (Comprising a shape comparison unit 17 and a reference image storage unit 18), a switch processing unit 19, a coordinate calculation unit 20, and a cut-out coordinate storage unit 21. These processing blocks are realized by software processing of the microprocessor and operate as follows.
The switch processing unit 19 captures the state of the adjustment switch 9 and transmits a control signal to each processing block based on the state.
The coordinate calculation unit 20 updates the cutout coordinate value based on the amount of coordinate movement based on the operation result of the up / down and left / right switches from the switch processing unit 19 and the correction amount described later, and stores the data in the cutout coordinate storage unit 21. Remember (update).

画像切り出し部１１は、左右カメラ４，５の撮影画像から、座標演算部２０で演算された切り出し座標を原点として、あらかじめ設定された所定の四角形状の画素領域で画像を切り出す処理を行う。この切り出し領域は、表示装置８の表示領域と相似形状となるように設定されている。この場合、切り出し領域と表示装置８の表示領域とは相似形状となるのが望ましいが、相似形状でない場合は、撮影画像の縦横比率を補正するようにしてもよい。
カメラ画像選択部１２は、調整スイッチ９の（左右）選択スイッチの状態から、画像処理又は表示装置８に表示するカメラ画像を選択し、補正量算出部１４へ出力する。例えば、選択スイッチが「右」の場合は右カメラ４の撮影画像を選択する。
画像合成部１３は、定められた画像モードに従ってカメラ画像を選択、拡大、合成し、表示装置８に出力する映像信号を生成する。 The image cutout unit 11 performs a process of cutting out an image from a photographed image of the left and right cameras 4 and 5 using a cutout coordinate calculated by the coordinate calculation unit 20 as a starting point and a predetermined rectangular pixel region set in advance. This cutout area is set to have a similar shape to the display area of the display device 8. In this case, it is desirable that the cutout area and the display area of the display device 8 have a similar shape. However, if the cutout area and the display area are not similar, the aspect ratio of the captured image may be corrected.
The camera image selection unit 12 selects a camera image to be displayed on the image processing or display device 8 from the state of the (left / right) selection switch of the adjustment switch 9 and outputs it to the correction amount calculation unit 14. For example, when the selection switch is “right”, the photographed image of the right camera 4 is selected.
The image synthesis unit 13 selects, enlarges, and synthesizes the camera image according to the determined image mode, and generates a video signal to be output to the display device 8.

補正量算出部１４は、二値化処理部１５、輪郭抽出処理部１６、形状比較部１７から構成されており、運転者が調整対象としたカメラ画像を画像処理（二値化、輪郭抽出）し、車両任意位置の形状(バンパ、タイヤ、認識用マーク等)を抽出し、その結果を基準映像として、基準映像記憶部１８に記憶する。尚、認識用マークとは車両に後付けで貼るマークで、左右カメラ４，５による撮影画像として特徴点を抽出しやすい形状、色、模様が設定されており、車両の側面に左右対称位置となるように位置決めされる。
形状比較部１７は、運転者が調整対象としなかったカメラ４，５の画像(右カメラ４を選択した場合は左カメラ)を、上述した画像処理と同様の画像処理を施した後に、前述の基準映像記憶部１８に記憶された基準映像と比較し、両者のずれ量を算出し、そのずれ量に基づいて調整対象としなかったカメラ画像の（原点座標）補正量を決定する。
画像合成部１３は、カメラ画像選択部１２で選択された３つの画像（左カメラ画像、後カメラ画像、右カメラ画像）の鏡面画像を合成した映像信号を生成して表示装置８に出力する。 The correction amount calculation unit 14 includes a binarization processing unit 15, a contour extraction processing unit 16, and a shape comparison unit 17, and performs image processing (binarization, contour extraction) on a camera image targeted for adjustment by the driver. Then, the shape (bumper, tire, recognition mark, etc.) at an arbitrary position of the vehicle is extracted, and the result is stored in the reference image storage unit 18 as a reference image. Note that the recognition mark is a mark that is attached to the vehicle retrofit, and has a shape, color, and pattern that makes it easy to extract a feature point as a captured image by the left and right cameras 4 and 5, and is positioned symmetrically on the side of the vehicle. Are positioned as follows.
The shape comparison unit 17 performs image processing similar to the above-described image processing on the images of the cameras 4 and 5 that the driver did not adjust (left camera when the right camera 4 is selected), and then the above-described image processing. Compared with the reference image stored in the reference image storage unit 18, the shift amount between them is calculated, and the (origin coordinate) correction amount of the camera image that is not the adjustment target is determined based on the shift amount.
The image synthesis unit 13 generates a video signal obtained by synthesizing the mirror images of the three images (left camera image, rear camera image, and right camera image) selected by the camera image selection unit 12 and outputs the video signal to the display device 8.

さて、処理部１０は、電源投入時に表示装置８に表示する画像情報を、図１の切り出し座標記憶部２１に記憶されている座標情報から取得する。この座標情報は、運転者が行った前回の切り出し操作時に記憶した座標である。従って、表示装置８には、図１に示すように左後方画像、後方画像、右後方画像が表示されるので、運転者は、左右ドアミラー２，３を見ることなく車両側後方の様子を確認することができる。これにより、目線を大きく移動することなく車両側後方を確認することができるので、運転者の疲労を軽減することができる。尚、後方画像には、車両の後方を走る車両が映し出されている。
この場合、例えば運転者が前回の運転者と異なる場合は、各々が、表示画像が適切となるように切り出し領域を変更することになる。例えば調整スイッチ９の「右」選択スイッチを操作することにより右切り出し領域を変更したときは、右カメラ画像における切り出し領域が変更され、それに応じて表示装置８に表示される右後方画像が変更される。 Now, the processing unit 10 acquires image information to be displayed on the display device 8 when the power is turned on from the coordinate information stored in the cut-out coordinate storage unit 21 in FIG. This coordinate information is the coordinates stored at the time of the previous clipping operation performed by the driver. Accordingly, as shown in FIG. 1, the display device 8 displays a left rear image, a rear image, and a right rear image, so that the driver can check the rear side of the vehicle without looking at the left and right door mirrors 2 and 3. can do. As a result, the vehicle-side rear can be confirmed without largely moving the line of sight, so that driver fatigue can be reduced. In the rear image, a vehicle running behind the vehicle is shown.
In this case, for example, when the driver is different from the previous driver, each changes the cutout region so that the display image is appropriate. For example, when the right cutout region is changed by operating the “right” selection switch of the adjustment switch 9, the cutout region in the right camera image is changed, and the right rear image displayed on the display device 8 is changed accordingly. The

しかしながら、このように右後方画像を調整した場合は、左後方画像も調整する必要があり、その操作が煩わしいものの、本実施形態では、上述のように運転者が一方の切り出し領域を変更した場合は、他方の切り出し領域も対応して自動的に変更するようになっており、この動作について説明する。
図６はカメラの自動調整処理を示すフローチャートで、図７に示す自動調整処理に応じたカメラ画像を参照しながら説明する。尚、本実施形態でのカメラ画像の画素数は６４０×４８０＝３０７２００、切り出し領域の画素数は３２０×２４０＝７６８００、表示装置８の一つの表示領域の画素数は８００×６００＝４８００００という関係となっている。つまり、カメラ画像領域×１／４＝切り出し領域＝表示装置表示領域×５／２となっており、カメラ画像の一部を切り出した領域を拡大した上で表示装置８の対応する表示領域に表示するようになっている。 However, when the right rear image is adjusted in this way, it is necessary to adjust the left rear image, and the operation is troublesome, but in this embodiment, the driver changes one of the cutout regions as described above. The other cutout area is automatically changed correspondingly, and this operation will be described.
FIG. 6 is a flowchart showing the camera automatic adjustment processing, which will be described with reference to a camera image corresponding to the automatic adjustment processing shown in FIG. In this embodiment, the number of pixels of the camera image is 640 × 480 = 307200, the number of pixels in the cutout area is 320 × 240 = 76800, and the number of pixels in one display area of the display device 8 is 800 × 600 = 480000. It has become. That is, camera image area × 1/4 = cutout area = display device display area × 5/2, and a region obtained by cutting out a part of the camera image is enlarged and displayed in the corresponding display area of the display device 8. It is supposed to be.

処理部１０は、「選択」スイッチの状態を監視するために「左」選択スイッチＯＮか（Ｓ１）、「右」選択スイッチＯＮかを判定する（Ｓ２）。運転者が例えば「右」選択スイッチをＯＮしたときは（Ｓ２：ＹＥＳ）、選択された右後方画像(図（７ａ）)を左右反転処理してから（Ｓ３）、タイムアウトしたか（Ｓ４）、「決定」スイッチＯＮしたか（Ｓ５）、切り出し領域を水平または垂直方向に移動する視野調整（パン・チルト調整）が完了したか（上下、左右スイッチ操作されていないか？）（Ｓ６）を判定する。これにより、表示装置８の右表示領域８ｃには右カメラ５の撮影画像の鏡面画像が表示される（図７（ｂ））。
運転者が切り出し領域の視野調整が完了した場合は（Ｓ６：ＹＥＳ）、右カメラ切り出し座標を算出し、データを更新する（Ｓ７）。この切り出し座標は、右カメラ５で撮影した画像から、座標演算部２０で演算された切り出し座標値を原点として、あらかじめ設定された領域となる画像に対応した座標である。図７に示す例では、撮影画像における座標（ａ、ｂ）、座標（ａ＋３２０、ｂ＋２４０）を対角位置とする四角領域が切り出し対象となる。 The processing unit 10 determines whether the “left” selection switch is ON (S1) or the “right” selection switch is ON (S2) in order to monitor the state of the “selection” switch. For example, when the driver turns on the “right” selection switch (S2: YES), whether the selected right rear image (FIG. (7a)) is reversed left and right (S3), timed out (S4), It is determined whether the “OK” switch has been turned on (S5) or whether the field of view adjustment (pan / tilt adjustment) for moving the cutout region in the horizontal or vertical direction has been completed (whether the up / down and left / right switches have been operated) (S6). To do. As a result, a mirror image of the image captured by the right camera 5 is displayed in the right display area 8c of the display device 8 (FIG. 7B).
When the driver completes the visual field adjustment of the cutout area (S6: YES), the right camera cutout coordinate is calculated and the data is updated (S7). This cut-out coordinate is a coordinate corresponding to an image that is a preset region from the image taken by the right camera 5 with the cut-out coordinate value calculated by the coordinate calculation unit 20 as the origin. In the example illustrated in FIG. 7, a rectangular region having the coordinates (a, b) and coordinates (a + 320, b + 240) in the captured image as diagonal positions is to be cut out.

次に、更新後の切り出し座標で右カメラ画像を切り出してから（Ｓ８、図７（ｃ））、画像を拡大し、他の画像と合成して出力する（Ｓ９、図７（ｄ））。これにより、運転者により視野調整された切り出し領域の画像が表示装置８の右表示領域８ｃに更新表示される。この場合、左表示領域８ａ及び中表示領域８ｂの表示画像が更新表示されることはない。
運転者が切り出し領域の視野調整を終了し、タイムアウトとなるまでに（Ｓ４：ＮＯ）、「決定」スイッチをオンすると（Ｓ５：ＹＥＳ）、右カメラ画像（切り出し画像）に対して二値化・輪郭抽出処理を実行する（Ｓ１０）。つまり、右カメラ画像に含まれる車両任意位置の特徴形状（バンパー、タイヤ、認識用マーク等）を抽出し、その結果を基準映像として、基準映像記憶部１８に更新記憶する（Ｓ１１）。この場合、図７（ｃ）に示すように切り出し画像には車両の右側面後方が含まれているのが通常であることから、車両の特徴形状を抽出することは比較的容易である。また、このような特徴形状は固定的であることから、その特徴形状パターンをあらかじめ記憶することにより特徴形状の抽出は一層容易である。特徴形状の抽出としては、いずれか１つの特徴形状の抽出で行ってもよいし、複数の特徴形状を組み合せて行ってもよい。また、認識用マークとしては、車両の両側面の左右対称位置に車両の色に対して識別が容易となる色のテープ、或いはマークを貼付するのが望ましい。 Next, after the right camera image is cut out with the updated cut-out coordinates (S8, FIG. 7C), the image is enlarged, combined with other images, and output (S9, FIG. 7D). As a result, the image of the cutout region whose field of view has been adjusted by the driver is updated and displayed in the right display region 8 c of the display device 8. In this case, the display images of the left display area 8a and the middle display area 8b are not updated and displayed.
When the driver finishes the field-of-view adjustment of the cutout area and times out (S4: NO) and turns on the “decision” switch (S5: YES), the right camera image (cutout image) is binarized / The contour extraction process is executed (S10). That is, the feature shape (bumper, tire, recognition mark, etc.) at an arbitrary position of the vehicle included in the right camera image is extracted, and the result is updated and stored in the reference image storage unit 18 as a reference image (S11). In this case, as shown in FIG. 7C, the cut-out image usually includes the rear side of the right side of the vehicle, so that it is relatively easy to extract the characteristic shape of the vehicle. In addition, since such a feature shape is fixed, it is easier to extract the feature shape by storing the feature shape pattern in advance. The feature shape extraction may be performed by extracting any one feature shape, or may be performed by combining a plurality of feature shapes. In addition, as the recognition mark, it is desirable to attach a tape or mark of a color that facilitates identification with respect to the color of the vehicle at symmetrical positions on both sides of the vehicle.

次に、カメラ画像を右から左へ切り替え（Ｓ１２）、更新前の切り出し座標で右（左）カメラ画像を切り出し（Ｓ１３）、運転者が視野調整対象としなかった左カメラ画像を、上述した画像処理と同様の画像処理を施した後に（Ｓ１４）、基準映像記憶部１８に記憶された基準映像と比較し、両者のずれ量を算出し、そのずれ量に基づいて視野調整対象としなかった左カメラ画像の（原点座標）の補正量を決定する（Ｓ１５）。
次に、補正量を反映し、左カメラ切り出し座標を求め（Ｓ１６）、左右反転処理（鏡像処理）し（Ｓ１７）、更新後の切り出し座標で左カメラ画像を切り出し、画像を拡大して、他の画像と合成して出力する（Ｓ１８）。
以上のような動作の結果、運転者の操作に応じて、右カメラ画像から切り出された画像情報から、左右対称関係にある左カメラ画像の切り出し画像が表示装置８に表示されるので、運転者は、左カメラ画像に対して視野調整操作を実行することなく表示装置８に表示される左後方画像を自動的に視野調整することができる。 Next, the camera image is switched from the right to the left (S12), the right (left) camera image is cut out at the cut-out coordinates before update (S13), and the left camera image that the driver did not set as the visual field adjustment target is described above. After performing the same image processing as the processing (S14), it compares with the reference image stored in the reference image storage unit 18, calculates the amount of deviation between the two, and based on the amount of deviation, the left is not subject to visual field adjustment A correction amount of (origin coordinates) of the camera image is determined (S15).
Next, the left camera cutout coordinates are obtained by reflecting the correction amount (S16), left-right inversion processing (mirror image processing) is performed (S17), the left camera image is cut out with the updated cutout coordinates, the image is enlarged, and the like. Are synthesized and output (S18).
As a result of the operation as described above, a cut-out image of the left camera image in a symmetrical relationship is displayed on the display device 8 from the image information cut out from the right camera image according to the driver's operation. Can automatically adjust the visual field of the left rear image displayed on the display device 8 without performing the visual field adjustment operation on the left camera image.

このような実施形態によれば、次の効果を奏することができる。
左右ドアミラー２，３に相当する車両後方の風景を左右カメラ４，５で撮影し、１つの表示装置８に統合して表示する構成において、左右ドアミラー２，３に相当する表示画像のどちらか一方の視野調整結果に基づいて、他方の表示画像を自動的に視野調整するようにしたので、運転者が面倒な操作を行うことなく違和感の無い左右後方画像を表示することができる。
左右カメラ４，５の撮影領域は固定されており、切り出し領域が表示装置８に表示されるので、ソフト処理により容易に表示装置８に左右後方画像を表示することができ、容易に実施することができる。
後方カメラ６の撮影画像を左後方画像と右後方画像との間に表示するので、車両の後方を統合した画像として容易に確認することができる。
（他の実施の形態）
表示装置８に左右後方画像と中後方画像を統合して表示したが、各画像を独立した表示装置に表示するようにしてもよく、この場合、左後方画像の表示装置を車室前方の左側、右後方画像の表示装置を車室前方の右側、中後方画像の表示装置をルームミラー位置となるように離して配置するようにしてもよい。
表示装置８に表示する画像をカメラ画像から切り出すのではなく、カメラの撮影方向をアクチュエータにより変更することにより表示してもよい。この場合、カメラの撮影領域全体が表示装置８に表示されるので、広範囲を表示する場合に有効である。
カメラ４，５をドアミラーに取付けるのに代えて、フェンダーミラーに内蔵したり、車両の側面に固定したりするようにしてもよい。
表示装置８としては、カラー液晶表示装置に限定されることなく、白黒液晶表示装置、プラズマ表示装置、ＥＬ表示装置などを用いるようにしてもよい。 According to such an embodiment, the following effects can be produced.
In a configuration in which a landscape behind the vehicle corresponding to the left and right door mirrors 2 and 3 is photographed by the left and right cameras 4 and 5 and integrated and displayed on one display device 8, either one of the display images corresponding to the left and right door mirrors 2 and 3 is displayed. Since the other display image is automatically adjusted based on the field-of-view adjustment result, it is possible to display the right and left rear images without a sense of incongruity without a troublesome operation by the driver.
The imaging areas of the left and right cameras 4 and 5 are fixed, and the cutout area is displayed on the display device 8, so that the left and right rear images can be easily displayed on the display device 8 by software processing, which is easily performed. Can do.
Since the captured image of the rear camera 6 is displayed between the left rear image and the right rear image, it can be easily confirmed as an integrated image of the rear of the vehicle.
(Other embodiments)
Although the left and right rear images and the middle rear image are displayed in an integrated manner on the display device 8, each image may be displayed on an independent display device. In this case, the display device for the left rear image is displayed on the left side in front of the passenger compartment. The display device for the right rear image may be arranged so as to be separated from the right side in front of the passenger compartment, and the display device for the middle rear image may be located at the room mirror position.
Instead of cutting out the image to be displayed on the display device 8 from the camera image, the image may be displayed by changing the shooting direction of the camera with an actuator. In this case, since the entire photographing area of the camera is displayed on the display device 8, it is effective for displaying a wide range.
Instead of attaching the cameras 4 and 5 to the door mirror, they may be built in a fender mirror or fixed to the side of the vehicle.
The display device 8 is not limited to a color liquid crystal display device, and may be a monochrome liquid crystal display device, a plasma display device, an EL display device, or the like.

表示装置８を、図８に示すように運転者の正面となるダッシュボード上(図中にＡで示す)、メーター位置の近傍（図中にＢで示す）、運転席と助手席との間のインストルメントパネル（図中にＣで示す）に搭載してもよい。尚、図中に示す表示装置８は従来と同じ後部確認用ルームミラーである。
一方の表示画像の切り出し領域において特徴点をソフト処理により抽出できない場合は、一方の切り出し領域のずれ量だけ他方の切り出し領域を変更するようにしてもよい。
車両をバックする場合に、カメラ４，５の表示画像における切り出し領域を下方にずらすことにより車両側方の地面側を自動的に表示装置８に表示するようにしてもよい。
表示装置８の中表示領域８ｂを従来のルームミラーとしてもよい。
ドアミラーでの後方視認も確保されていることから、表示装置８の左表示領域８ａ及び右表示領域８ｃをカーナビゲーション装置の表示手段として使用したり、テレビ、ＤＶＤの表示手段として使用したりするようにしてもよい。 As shown in FIG. 8, the display device 8 is placed on the dashboard in front of the driver (indicated by A in the figure), near the meter position (indicated by B in the figure), between the driver's seat and the passenger seat. May be mounted on the instrument panel (indicated by C in the figure). Note that the display device 8 shown in the figure is the same rear-viewing rear-view mirror.
If a feature point cannot be extracted in the cutout area of one display image by software processing, the other cutout area may be changed by the amount of deviation of one cutout area.
When the vehicle is backed, the ground side on the side of the vehicle may be automatically displayed on the display device 8 by shifting the cutout area in the display images of the cameras 4 and 5 downward.
The middle display area 8b of the display device 8 may be a conventional room mirror.
Since the rear view with the door mirror is also secured, the left display area 8a and the right display area 8c of the display device 8 are used as display means for a car navigation device, or as display means for a television or a DVD. It may be.

図面中、１は車両、４は左カメラ（左後方撮影手段）、５は右カメラ（右後方撮影手段）、６は後方カメラ（中後方撮影手段）、８は表示装置（表示装置）、８ａは左表示領域（左表示手段）、８ｂは中表示領域（中表示手段）、８ｃは右表示領域（右表示手段）、１０は処理部（制御手段）である。 In the drawings, 1 is a vehicle, 4 is a left camera (left rear photographing means), 5 is a right camera (right rear photographing means), 6 is a rear camera (middle rear photographing means), 8 is a display device (display device), 8a. Is a left display area (left display means), 8b is a middle display area (middle display means), 8c is a right display area (right display means), and 10 is a processing unit (control means).

Claims

車両側右後方を撮影する右後方撮影手段と、
車両側左後方を撮影する左後方撮影手段と、
運転者が視認可能に設置され、前記右後方撮影手段が撮影した右後方画像を左右反転表示する右表示手段と、
運転者が視認可能に設置され、前記左後方撮影手段が撮影した左後方画像を左右反転表示する左表示手段と、
運転者により操作可能に設けられ、前記右表示手段に表示される右後方画像と前記左表示手段に表示される左後方画像の視野を、水平または垂直方向にそれぞれ独立して移動させることにより視野調整するための調整手段と、
前記調整手段により前記表示手段に表示されている一方の画像が視野調整された場合は、当該視野調整後の画像を画像処理し、車両任意位置の特徴形状を特徴点として抽出し、当該特徴点と、当該特徴点に対応する他方の画像の特徴点が左右対称関係となるように他方の画像を視野調整する制御手段と、
を備えたことを特徴とする車両用後方視認システム。 A right rear photographing means for photographing the right rear of the vehicle,
A left rear photographing means for photographing the vehicle side left rear;
A right display means that is installed so that the driver can visually recognize, and that the right rear image taken by the right rear photographing means is horizontally reversed;
A left display means that is installed so that the driver can visually recognize the left rear image taken by the left rear photographing means;
The field of view is provided by the driver so that the field of view of the right rear image displayed on the right display means and the left rear image displayed on the left display means are independently moved in the horizontal or vertical direction. Adjusting means for adjusting;
When one of the images displayed on the display unit is adjusted by the adjustment unit, the image after the field adjustment is subjected to image processing, and a feature shape at an arbitrary position of the vehicle is extracted as a feature point. And control means for adjusting the field of view of the other image so that the feature points of the other image corresponding to the feature point are in a symmetrical relationship;
A vehicle rear-viewing system comprising:

車両側右後方を撮影する右後方撮影手段と、
車両側左後方を撮影する左後方撮影手段と、
運転者が視認可能に設置され、前記右後方撮影手段が撮影した右後方画像を左右反転表示する右表示手段と、
運転者が視認可能に設置され、前記左後方撮影手段が撮影した左後方画像を左右反転表示する左表示手段と、
運転者により操作可能に設けられ、前記右表示手段に表示される右後方画像と前記左表示手段に表示される左後方画像の視野を、水平または垂直方向にそれぞれ独立して移動させることにより視野調整するための調整手段と、
前記調整手段により前記表示手段に表示されている一方の画像が視野調整された場合は、当該視野調整後の画像に映し出された車両の形状と、他方の画像に映し出された車両の形状とが左右対称関係となるように他方の画像を視野調整する制御手段と、
を備えたことを特徴とする車両用後方視認システム。 A right rear photographing means for photographing the right rear of the vehicle,
A left rear photographing means for photographing the vehicle side left rear;
A right display means that is installed so that the driver can visually recognize, and that the right rear image taken by the right rear photographing means is horizontally reversed;
A left display means that is installed so that the driver can visually recognize the left rear image taken by the left rear photographing means;
The field of view is provided by the driver so that the field of view of the right rear image displayed on the right display means and the left rear image displayed on the left display means are independently moved in the horizontal or vertical direction. Adjusting means for adjusting;
When one of the images displayed on the display unit is adjusted by the adjusting unit, the shape of the vehicle shown in the image after the visual field adjustment and the shape of the vehicle shown in the other image are Control means for adjusting the field of view of the other image so as to have a symmetrical relationship;
A vehicle rear-viewing system comprising:

前記各後方撮影手段は、撮影領域が固定して設けられ、
前記各表示手段は、前記各後方撮影手段による撮影画像から切り出された領域を表示し、
前記制御手段は、運転者が前記調整手段により一方の後方撮影手段による撮影画像の切り出し領域を変更することにより一方の画像を視野調整した場合は、他方の後方撮影手段による撮影画像の切り出し領域を変更することにより他方の画像を視野調整することを特徴とする請求項１または２記載の車両用後方視認システム。 Each of the rear photographing means is provided with a fixed photographing region,
Each of the display means displays an area cut out from a photographed image by each of the rear photographing means,
When the driver adjusts the field of view of one image by changing the cutout area of the captured image by one of the rear photographing means by the adjusting means, the control means sets the cutout area of the captured image by the other rear photographing means. The vehicular rear vision system according to claim 1 or 2 , wherein the visual field of the other image is adjusted by changing the visual field .

前記各後方撮影手段は、撮影方向がアクチュエータにより可変に設けられ、
前記各表示手段は、前記各後方撮影手段による撮影画像を表示し、
前記制御手段は、運転者が前記調整手段により一方の後方撮影手段の撮影方向を変更することにより一方の画像を視野調整した場合は、他方の後方撮影手段の撮影方向を変更することにより他方の画像を視野調整することを特徴とする請求項１または２記載の車両用後方視認システム。 Each of the rear photographing means is provided with a photographing direction variably by an actuator,
Each display means displays an image taken by each rear photographing means,
When the driver adjusts the field of view of one image by changing the shooting direction of one of the rear shooting means by the adjusting means, the control means changes the shooting direction of the other rear shooting means to change the shooting direction of the other rear shooting means. rear view system for a vehicle according to claim 1 or 2, wherein the field of view adjust the image.

前記右後方撮影手段及び前記左後方撮影手段は車両のドアミラーに設けられていることを特徴とする請求項１ないし４の何れかに記載の車両用後方視認システム。 5. The vehicle rear view system according to claim 1, wherein the right rear photographing unit and the left rear photographing unit are provided on a door mirror of the vehicle.

車両の後方を撮影する中後方撮影手段を設け、
前記中後方撮影手段が撮影した画像を左右反転表示する中表示手段を設けたことを特徴とする請求項１ないし５の何れかに記載の車両用後方視認システム。 Provide a middle and rear photographing means for photographing the rear of the vehicle,
The vehicle rear vision system according to any one of claims 1 to 5, further comprising a middle display unit that reversely displays an image captured by the middle rear photographing unit .

前記右表示手段、前記中表示手段、前記左表示手段は、一つの表示装置により構成されていることを特徴とする請求項１ないし６の何れかに記載の車両用後方視認システム。 It said right display unit, the displayed unit, the left display unit, rear view system for a vehicle according to any one of claims 1 to 6, characterized in that it is constituted by a single display device.

前記表示装置は、ルームミラー位置に配置されていることを特徴とする請求項７記載の車両用後方視認システム。 The vehicle rear view system according to claim 7 , wherein the display device is disposed at a rearview mirror position .

前記表示装置は、運転席の正面となるダッシュボード上に配置されていることを特徴とする請求項７記載の車両用後方視認システム。 The vehicle rear view system according to claim 7 , wherein the display device is disposed on a dashboard which is a front face of a driver's seat .

前記表示装置は、運転者の正面に位置するメーターの近傍に配置されていることを特徴とする請求項７記載の車両用後方視認システム。 The vehicle rear view system according to claim 7 , wherein the display device is disposed in the vicinity of a meter located in front of the driver .

前記表示装置は、運転席と助手席との間のインストルメントパネルに配置されていることを特徴とする請求項７記載の車両用後方視認システム。The vehicle rear view system according to claim 7, wherein the display device is disposed on an instrument panel between a driver seat and a passenger seat.