JP2009206747A - Ambient condition monitoring system for vehicle, and video display method - Google Patents
Ambient condition monitoring system for vehicle, and video display method Download PDFInfo
- Publication number
- JP2009206747A JP2009206747A JP2008046246A JP2008046246A JP2009206747A JP 2009206747 A JP2009206747 A JP 2009206747A JP 2008046246 A JP2008046246 A JP 2008046246A JP 2008046246 A JP2008046246 A JP 2008046246A JP 2009206747 A JP2009206747 A JP 2009206747A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- rear side
- captured
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、車両後方や車両後側方の映像を表示して車両運転者に提示する車両用周辺監視装置及び映像表示方法に関する。 The present invention relates to a vehicle periphery monitoring device and an image display method for displaying an image of a vehicle rear side or a vehicle rear side and presenting the image to a vehicle driver.
従来、車両のルームミラーやドアミラーの死角となる領域の視界を確保しつつ、少ない視線移動で車両後方や車両後側方の状況を車両運転者が的確に把握できるようにするために、車両後方や車両後側方の映像を車載カメラによって撮像し、その映像を車両内部に設置したディスプレイに表示させる技術が提案されている（例えば、特許文献１参照。）。 Conventionally, in order to ensure that the vehicle driver can accurately grasp the situation behind the vehicle and the side of the rear of the vehicle with a small amount of line-of-sight movement while securing the field of view of the blind spot of the vehicle rearview mirror and door mirror, In addition, a technique has been proposed in which an image on the rear side of the vehicle is captured by an in-vehicle camera and the image is displayed on a display installed inside the vehicle (for example, see Patent Document 1).
具体的には、特許文献１には、自車両後端部に設置した後方カメラと車両の左右ドアミラーに設置した２台の側方カメラとを用いて自車両後方及び自車両後側方の映像を撮像し、これら後方カメラと２台の側方カメラによって撮像した映像をそれぞれ自車両内部の１つのディスプレイの表示画面上で分割した状態で表示し、自車両周囲を監視するようにした車両用周辺監視装置が開示されている。
しかしながら、車両内部のディスプレイは表示領域の大きさが限られており、特許文献１に記載された車両用周辺監視装置のように複数の映像を１つのディスプレイで分割して表示すると、各カメラの映像の表示サイズが相対的に小さくなる。このため、例えば後方カメラで後続車両を撮影しているときに、ディスプレイに表示されている映像中の後続車両の大きさが、車両運転者が普段から見慣れているルームミラーで確認する場合と比べて小さくなる可能性がある。したがって、車両運転者がこの後続車両との距離感を正しく認識できず、自車両の後方に後続車両が接近し且つその接近によって発生する死角領域があるような場合には、後方の状況を瞬時に認識することができない場合がある。 However, the display inside the vehicle has a limited display area, and when a plurality of images are divided and displayed on one display as in the vehicle periphery monitoring device described in Patent Document 1, each of the cameras is displayed. The image display size becomes relatively small. For this reason, for example, when shooting a following vehicle with the rear camera, the size of the following vehicle in the image displayed on the display is compared with a case where the vehicle driver confirms with a room mirror that the driver is familiar with May become smaller. Therefore, when the vehicle driver cannot correctly recognize the sense of distance from the succeeding vehicle and there is a blind spot area that is caused by the approach of the succeeding vehicle behind the host vehicle, the situation behind the vehicle is instantaneously May not be recognized.
そこで、本発明は、上述した実情に鑑みて提案されたものであり、運転者が後方の状況を瞬時に認識することができる車両用周囲状況監視装置及び映像表示方法を提供することを目的とする。 Therefore, the present invention has been proposed in view of the above-described circumstances, and an object of the present invention is to provide a vehicular ambient situation monitoring device and an image display method that allow a driver to instantly recognize a rear situation. To do.
本発明は、車両後方及び車両後側方を撮影可能な映像撮像手段で撮像した映像を車両内部の映像表示手段に表示するに際し、視点変換されていない後方撮像画像の消失線に基づいて表示手段の表示領域を分割し、分割した表示領域に、後方撮像画像と、視点変換された右後側方視点変換画像又は左後側方視点変換画像と後方撮像画像とを合成した合成画像とを表示するように、表示映像を生成する。 The present invention provides a display unit based on the disappearance line of a rear captured image that has not undergone viewpoint conversion when displaying a video captured by a video imaging unit capable of capturing the rear side and the rear side of the vehicle on a video display unit inside the vehicle. The display area is divided, and the rear captured image and the right rear side viewpoint converted image converted from the viewpoint or the composite image obtained by combining the left rear side viewpoint converted image and the rear captured image are displayed in the divided display area. As shown, a display image is generated.
本発明にかかる車両用周囲状況監視装置及び映像表示方法によれば、表示映像に基づいて後続車両との距離感を正確に認識することができるようになることから、自車両の後方に後続車両が接近し且つその接近によって発生する死角領域があるような状況であっても、当該自車両の運転者が後方の状況を瞬時に認識することが可能となる。 According to the vehicle surroundings monitoring apparatus and the video display method according to the present invention, it becomes possible to accurately recognize the sense of distance from the following vehicle based on the display image. Even if the vehicle is approaching and there is a blind spot region generated by the approach, the driver of the host vehicle can instantly recognize the rear state.
以下、本発明の好適な実施形態としての車両用周囲状況監視装置について具体的に説明する。 Hereinafter, a vehicle ambient condition monitoring apparatus as a preferred embodiment of the present invention will be specifically described.
［車両用周囲状況監視装置の構成］
本発明の実施形態として示す車両用周囲状況監視装置は、自車両に搭載された３つの車載カメラによって映像を撮像する構成の適用例である。車両用周囲状況監視装置は、図１に示すように、自車両周囲の映像を撮像するカメラ装置１０１を備える。
[Configuration of ambient monitoring device for vehicles]
The vehicle surroundings monitoring apparatus shown as an embodiment of the present invention is an application example of a configuration in which an image is captured by three in-vehicle cameras mounted on the host vehicle. As shown in FIG. 1, the vehicular ambient situation monitoring device includes a
カメラ装置１０１は、自車両後部と左右側面とに設置された少なくとも３台以上の車載カメラモジュールからなる。図１においては、車両用周囲状況監視装置は、自車両後部に設置された後方カメラ１０１ａと、自車両の右側面に設置された右後側方カメラ１０１ｂと、自車両の左側面に設置された左後側方カメラ１０１ｃとを備える。
The
図２に示すように、後方カメラ１０１ａは、例えばルーフスポイラー等の自車両後部の所定位置に設置されている。後方カメラ１０１ａは、図２中Ａ１で示す自車両後方及び自車両後側方の比較的広い領域の映像を撮像することが可能とされている。
As shown in FIG. 2, the
また、右後側方カメラ１０１ｂは、例えば右側ドアミラー等の自車両右側部における後方カメラ１０１ａと概ね同じ高さの所定位置に設置されている。この右後側方カメラ１０１ｂは、図２中Ａ２で示す自車両右側から自車両後側方にかけての比較的広い領域の映像を、後方カメラ１０１ａとは異なる視点位置から撮像することが可能とされている。
Moreover, the right
さらに、左後側方カメラ１０１ｃは、例えば左側ドアミラー等の自車両左側部における後方カメラ１０１ａと概ね同じ高さの所定位置に設置されている。左後側方カメラ１０１ｃは、図２中Ａ３で示す自車両左側から自車両後側方にかけての比較的広い領域の映像を、後方カメラ１０１ａとは異なる視点位置から撮像することが可能とされている。
Furthermore, the left
ここで、車両後方の領域とは、自車両の前後軸を当該自車両後方に伸ばした延長線を中心とした所定範囲の領域である。例えば、車両後方の領域とは、自車両の運転者がルームミラーで確認できる範囲の領域である。また、自車両後側方の領域とは、車両後方の領域よりも左右外側に位置する領域である。例えば、後側方の領域とは、自車両の運転者がドアミラーで確認できる範囲の領域である。 Here, the area behind the vehicle is an area in a predetermined range centered on an extension line obtained by extending the front and rear axes of the own vehicle to the rear of the own vehicle. For example, the area behind the vehicle is an area in which the driver of the host vehicle can check with a room mirror. Moreover, the area | region of the back side of the own vehicle is an area | region located in the left-right outer side rather than the area | region behind a vehicle. For example, the rear side region is a region in a range that the driver of the host vehicle can check with a door mirror.
例えば図３に示すように、自車両Ｖ１の後方の近い距離に後続車両Ｖ２が存在し、且つ、後続車両Ｖ２の後方から自車両Ｖ１の右側の追越車線を走行する追越車両Ｖ３が存在する状況において、左後側方カメラ１０１ｃ、後方カメラ１０１ａ、右後側方カメラ１０１ｂによって撮像される映像の具体例を、図４（ａ）、（ｂ）、（ｃ）に示す。図４（ａ）が右後側方カメラ１０１ｂによって撮像される映像であり、図４（ｂ）が後方カメラ１０１ａによって撮像される映像であり、図４（ｃ）が左後側方カメラ１０１ｃによって撮像される映像である。なお、この図３に示すような状況においては、これら３つの映像のいずれであっても単独では後方の全ての状況を把握することはできない。
For example, as shown in FIG. 3, the following vehicle V2 exists at a short distance behind the own vehicle V1, and the overtaking vehicle V3 that travels on the right overtaking lane of the own vehicle V1 from behind the following vehicle V2 exists. 4A, 4B, and 4C show specific examples of images captured by the left
このような後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃは、それぞれ、レンズ及び受光素子から構成される光学系を有し、レンズを通して入射した光をＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の受光素子によって受光してディジタル信号又はアナログ信号からなる電気信号に変換し、撮像した映像を画素毎に数値化した映像信号として出力する。このような後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃから出力された映像信号は、それぞれ、当該後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれに対応する映像入力部１０３ａ，１０３ｂ，１０３ｃに入力される。
Each of the
また、車両用周囲状況監視装置は、カメラ装置１０１によって撮像された自車両Ｖ１の周囲の映像を処理して表示映像を生成する映像処理部１０２と、この映像処理部１０２によって生成された表示映像を表示するディスプレイ１０８とを備える。
In addition, the vehicular ambient condition monitoring device processes a video around the host vehicle V1 captured by the
映像処理部１０２は、後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれから出力された映像信号を入力する映像入力部１０３ａ，１０３ｂ，１０３ｃと、これら映像入力部１０３ａ，１０３ｂ，１０３ｃのそれぞれを介して入力された映像信号をフレーム毎に格納する入力映像フレームメモリ１０４ａ，１０４ｂ，１０４ｃと、ディスプレイ１０８に表示する表示映像を生成するための所定の演算処理を行う演算部１０５と、この演算部１０５によって演算処理されて生成された映像信号をフレーム毎に格納する出力映像フレームメモリ１０６と、この出力映像フレームメモリ１０６から読み出した映像信号を表示映像として出力する映像出力部１０７とを有する。
The
映像入力部１０３ａ，１０３ｂ，１０３ｃは、それぞれ、後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃに対応して設けられ、これら後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれから出力された映像信号を入力する。これら映像入力部１０３ａ，１０３ｂ，１０３ｃを介して入力された映像信号は、それぞれ、入力映像フレームメモリ１０４ａ，１０４ｂ，１０４ｃに入力される。
The
入力映像フレームメモリ１０４ａ，１０４ｂ，１０４ｃは、それぞれ、映像入力部１０３ａ，１０３ｂ，１０３ｃに対応して設けられたＲＡＭ（Random Access Memory）から構成され、これら映像入力部１０３ａ，１０３ｂ，１０３ｃのそれぞれを介して入力された映像信号をフレーム毎に格納する。映像信号は、これら入力映像フレームメモリ１０４ａ，１０４ｂ，１０４ｃのサイズに合わせてディジタル化される。これら入力映像フレームメモリ１０４ａ，１０４ｂ，１０４ｃに格納された映像信号は、それぞれ、演算部１０５によって読み出される。
The input
演算部１０５は、入力映像フレームメモリ１０４ａ，１０４ｂ，１０４ｃのそれぞれから読み出した映像信号に基づいて、ディスプレイ１０８に表示する表示映像を生成するための所定の演算処理を行う。そして、演算部１０５によって生成された表示映像は、出力映像フレームメモリ１０６、映像出力部１０７を介してディスプレイ１０８に供給される。
The
その際、演算部１０５は、センサ１１０によって検出された後続車両Ｖ２の存在や位置等の情報を通信部１１１を介して受信し、その情報を用いて演算処理を行うようにしてもよい。具体的には、演算部１０５は、基本的な処理として、図５に示すように、後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれによって撮像された映像に対して、視点変換・左右反転処理部１２０ａ，１２０ｂ，１２０ｃにより、映像の視点を変換する視点変換処理と映像の左右を反転させる左右反転処理とを行い、得られた映像を合成処理部１２１によって１つの映像に合成し、その映像を出力する処理を行う。演算部１０５は、生成した表示映像を出力映像フレームメモリ１０６に格納させる。なお、この演算部１０５による具体的な処理については、後に詳述するものとする。
At that time, the
出力映像フレームメモリ１０６は、ＲＡＭから構成され、演算部１０５によって演算処理されて生成された映像信号をフレーム毎に格納する。この出力映像フレームメモリ１０６に格納された映像信号は、映像出力部１０７によって読み出される。
The output
映像出力部１０７は、出力映像フレームメモリ１０６から読み出した映像信号を、ディスプレイ１０８に表示可能な表示映像として出力する。
The
このような各部を有する映像処理部１０２は、生成した表示映像を自車両Ｖ１の内部に設置されたディスプレイ１０８に表示させる。
The
ディスプレイ１０８は、自車両Ｖ１の内部に設置され、映像出力部１０７から出力された表示映像を表示画面上に表示することにより、自車両Ｖ１の周囲状況を運転者に提示する。
The
［車両用周囲状況監視装置の動作］
このような各部を備える車両用周囲状況監視装置は、演算部１０５によって演算処理されて生成された映像を、出力映像フレームメモリ１０６及び映像出力部１０７を介してディスプレイ１０８に表示させる。このとき、車両用周囲状況監視装置は、上述したように、演算部１０５によって視点変換処理と左右反転処理とを行う。
[Operation of ambient monitoring system for vehicles]
The vehicular ambient condition monitoring device including such units causes the
ここで、視点変換処理とは、従来から知られている視点変換処理と同様のものであり、１つの仮想的なカメラと、立体物が存在しない平坦な地面とを想定し、後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれによって撮像された映像を、その仮想的なカメラによって撮像されるであろう映像に変換するものである。具体的には、演算部１０５は、例えば図４に示した映像を処理対象とする場合には、図６の網掛け領域Ｐａ，Ｐｂ，Ｐｃの画像情報を、それぞれ、図７の網掛け領域Ｐａ’，Ｐｂ’，Ｐｃ’に視点変換する。
Here, the viewpoint conversion process is the same as the conventionally known viewpoint conversion process, assuming one virtual camera and a flat ground on which no three-dimensional object exists, the
そして、演算部１０５は、これら網掛け領域Ｐａ’，Ｐｂ’，Ｐｃ’を合成することにより、図８（ａ）に示す映像を生成する。この映像は、１つの仮想的な視点から見たときの映像であるという意味では認識しやすいものである。しかし、特に真後ろの後続車両Ｖ２を表す画像が視点変換によって歪曲し、後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれによって撮像された、視認性が悪い映像のつなぎ目との影響により、つなぎ目と重複しており且つ当該つなぎ目の内側に位置する後続車両Ｖ２を認識しにくくなってしまっているという問題がある。また、仮に図８（ｂ）に示す映像のように真後ろの後続車両Ｖ２が歪曲していない映像に変換できたとしても、その映像は、後続車両Ｖ２と追越車両Ｖ３とが重複したものとなってしまうため、追越車両Ｖ３と後続車両Ｖ２とを同時に視認させることができない映像となる。
Then, the
これに対し、車両用周囲状況監視装置は、先に図５に示したような構成に加えて、後続車両検出部１２２によって後続車両Ｖ２を検出するとともに、クロップ・左右反転処理部１２３により、後方カメラ１０１ａによって撮像された映像から視点変換を行っていない部分画像をクロップして左右反転し、得られた視点変換されていない映像と、視点変換及び左右反転処理部１２０ａ，１２０ｂ，１２０ｃによって視点変換された映像とを、合成処理部１２１によって１つの映像に合成する。
On the other hand, in addition to the configuration as shown in FIG. 5, the vehicle surroundings monitoring apparatus detects the subsequent vehicle V2 by the subsequent
ここで、クロップ・左右反転処理部１２３によってクロップする視点変換を行っていない部分画像は、後方カメラ１０１ａのレンズによる画像の歪曲を補正してあるものであってもよい。また、後続車両検出部１２２は、後方カメラ１０１ａ（又は右後側方カメラ１０１ｂ若しくは左後側方カメラ１０１ｃ）によって撮像された映像を画像認識処理することによって後続車両Ｖ２の存在及び位置を認識するものであってもよく、また、ミリ波レーダーやレーザーレーダ等の任意のセンサを用いて後続車両Ｖ２の存在及び位置を検出するものであってもよい。
Here, the partial image that is not subjected to the viewpoint conversion to be cropped by the crop / horizontal
車両用周囲状況監視装置は、これら後続車両検出部１２２及びクロップ・左右反転処理部１２３を設けることにより、状況に応じて以下のような各種処理を行う。
The surrounding environment monitoring device for a vehicle performs the following various processes according to the situation by providing the following
［視点変換されていない画像を利用した映像置換］
まず、車両用周囲状況監視装置は、クロップ・左右反転処理部１２３を設けることにより、図９に示すように、自車両Ｖ１の後方カメラ１０１ａによって撮像された後方撮像画像の消失線に基づいて表示領域を分割し、分割した表示領域に、後方カメラ１０１ａによって撮像されて視点変換されていない後方撮像画像と、右後側方カメラ１０１ｂ又は左後側方カメラ１０１ｃによって撮像されて視点変換された右後側方視点変換画像又は左後側方視点変換画像画像と後方カメラ１０１ａによって撮像されて視点変換されていない後方撮像画像とを合成された合成画像とを表示する。換言すれば、車両用周囲状況監視装置は、視点変換された映像及び視点変換されていない映像を、視点変換処理によって生成された仮想的な視点からの画像ＶＭの地平線（消失線）Ｇと重なる矩形領域Ａに置換する。
[Video replacement using non-viewpoint converted images]
First, as shown in FIG. 9, the vehicular ambient condition monitoring device is provided with a crop / horizontal
具体的には、矩形領域Ａには、後方カメラ１０１ａによって撮像されて視点変換されていない画像（後方撮像画像：領域Ｃ）と、左後側方カメラ１０１ｃによって撮像されて視点変換された画像（左後側方視点変換画像）と後方撮像画像とを重ね合わせて生成された合成画像（領域Ｌ）との２つの画像が表示される。また、矩形領域Ａには、後方撮像画像（領域Ｃ）と、右後側方カメラ１０１ｂによって撮像されて視点変換された画像（右後側方視点変換画像）と後方撮像画像とのを重ね合わせて生成された合成画像（領域Ｒ）との２つの画像を表示して良い。更に、矩形領域Ａには、後方撮像画像（領域Ｃ）と、左後側方視点変換画像及び後方撮像画像（領域Ｌ）と、右後側方視点変換画像及び後方撮像画像（領域Ｒ）との３つの画像を表示しても良い。
Specifically, in the rectangular area A, an image captured by the
これにより、後続車両Ｖ２は、領域Ｃとして表示された後方撮像画像、領域Ｌとして表示された左後側方視点変換画像及び後方撮像画像、及び、領域Ｒとして表示された右後側方視点変換画像及び後方撮像画像の全てにおいて視認することができる。また、追越車両Ｖ３は、領域Ｌとして表示された左後側方視点変換画像及び後方撮像画像又は領域Ｒとして表示された右後側方視点変換画像及び後方撮像画像において視認することができる。 As a result, the following vehicle V2 has the rear captured image displayed as the region C, the left rear side viewpoint converted image and the rear captured image displayed as the region L, and the right rear side viewpoint converted displayed as the region R. It can be visually recognized in all of the image and the rear captured image. The overtaking vehicle V3 can be visually recognized in the left rear side viewpoint converted image and the rear captured image displayed as the region L or the right rear side viewpoint converted image and the rear captured image displayed as the region R.
そのため、車両用周囲状況監視装置は、演算部１０５により、このような矩形領域Ａに相当する映像を生成し、図１０（ａ）に示すように、その映像をディスプレイ１０８に表示することにより、自車両Ｖ１の後方に後続車両Ｖ２が接近し且つその接近によって発生する死角領域があるような状況であっても、当該自車両Ｖ１の運転者が後方の状況を瞬時且つ確実に認識することができる。
Therefore, the vehicle surroundings monitoring device generates an image corresponding to such a rectangular area A by the
［ピクセルの水平方向への圧縮］
また、車両用周囲状況監視装置は、図１１に示すように、画像ＶＭが、後方カメラ１０１ａによって撮像されて視点変換された後方視点変換画像２０１ａと、右後側方カメラ１０１ｂによって撮像されて視点変換された右後側方視点変換画像２０１ｂと、左後側方カメラ１０１ｃによって撮像されて視点変換された左後側方視点変換画像２０１ｃとを含み、図１１中破線で示す矩形領域Ａが、これら画像２０１ａ，２０１ｂ，２０１ｃの全てと重複しているような場合には、以下のような処理を行う。なお、ここでは、左後側方カメラ１０１ｃによって撮像されて視点変換された左後側方視点変換画像２０１ｃについての処理を例として採りあげて説明を行うものとする。
[Horizontal compression of pixels]
In addition, as shown in FIG. 11, the vehicle surroundings monitoring apparatus has a viewpoint in which an image VM is captured by the
画像ＶＭに現れている左後側方視点変換画像２０１ｃは、図１１に示すように、５角形の領域からなり、当該左後側方視点変換画像２０１ｃのうち領域２０２におけるピクセル行が矩形領域Ａと重複している。
As shown in FIG. 11, the left rear side viewpoint converted
そこで、車両用周囲状況監視装置は、図１２に示すように、演算部１０５により、左後側方視点変換画像２０１ｃのうちで矩形領域Ａと重複した領域２０２におけるピクセル行を画像ＶＭの左端に向かって水平方向に圧縮し、矩形領域Ａと重複しなくなるように歪ませる。具体的には、車両用周囲状況監視装置は、図１３（ａ）における網掛け領域Ｐｃで示すように、図１２の左後側方視点変換画像２０１ｃにおける矩形領域Ａとの重複した領域２０２に相当するピクセル行を画像の左端に向かって水平方向に圧縮する。これにより、車両用周囲状況監視装置においては、図１４に示すように、後続車両Ｖ２を含む矩形領域Ａと、左後側方カメラ１０１ｃによって撮像されて視点変換された画像２０１ｃを歪曲させた領域２０２’とが重複しなくなる。
Therefore, as shown in FIG. 12, the vehicle surroundings monitoring apparatus uses the
したがって、車両用周囲状況監視装置は、演算部１０５により、右後側方視点変換画像２０１ｂ，左後側方視点変換画像２０１ｃについては矩形領域Ａと重複する部分がなくなるように、視点変換後に水平方向に圧縮した画像に置換し、図１３（ｂ）に示すように、その映像をディスプレイ１０８に表示する。これにより、車両用周囲状況監視装置は、後続車両Ｖ２と追越車両Ｖ３とを同時に視認させることができる画像ＶＭを提示することができる。
Therefore, the vehicle surroundings monitoring apparatus uses the
［自車両と後続車両との縦方向距離を利用した最適化］
さらに、車両用周囲状況監視装置は、後続車両検出部１２２によって自車両Ｖ１の後端Ｂと後続車両Ｖ２との縦方向の距離を検出して、矩形領域Ａの最適化を図っても良い。
[Optimization using longitudinal distance between own vehicle and following vehicle]
Furthermore, the vehicle surrounding state monitoring device may optimize the rectangular area A by detecting the vertical distance between the rear end B of the host vehicle V1 and the subsequent vehicle V2 by the subsequent
車両用周囲状況監視装置は、自車両Ｖ１の後端Ｂと後続車両Ｖ２との縦方向の距離に基づいて、図１５に示すように、後方カメラ１０１ａによって撮像されて視点変換された後方視点変換画像２０１ａと、右後側方カメラ１０１ｂによって撮像されて視点変換された右後側方視点変換画像２０１ｂと、左後側方カメラ１０１ｃによって撮像されて視点変換された左後側方視点変換画像２０１ｃとを含む画像ＶＭにおける矩形領域Ａを最適に配置する。
As shown in FIG. 15, the vehicular ambient situation monitoring device, based on the vertical distance between the rear end B of the host vehicle V1 and the following vehicle V2, captures the rear viewpoint converted by the
すなわち、車両用周囲状況監視装置は、後続車両検出部１２２によって自車両Ｖ１の後端Ｂと後続車両Ｖ２との縦方向の距離ｄを検出すると、演算部１０５により、当該自車両Ｖ１の後端Ｂを距離ｄだけ後方へ移動した直線が矩形領域Ａの底辺となるように、表示映像内における当該矩形領域Ａの位置を設定する。さらに、車両用周囲状況監視装置は、演算部１０５により、矩形領域Ａの底辺と消失点Ｄとによって定義される三角形の後方撮像画像（領域Ｃ）と、消失点Ｄを垂直に上方へ伸ばした直線を境に左側の領域Ｌ（左後側方視点変換画像＋後方撮像画像）と、右側の領域Ｒ（右後側方視点変換画像＋後方撮像画像）との３つの領域に、矩形領域Ａを分割する。
That is, when the subsequent
これにより、車両用周囲状況監視装置は、死角領域が最も少ない映像を生成することができる。 Thereby, the surrounding condition monitoring apparatus for a vehicle can generate | occur | produce an image | video with fewest blind spots area | regions.
［自車両と後続車両との横方向の距離を利用した最適化］
さらにまた、車両用周囲状況監視装置は、自車両Ｖ１と後続車両Ｖ２との縦方向の距離のみではなく、自車両Ｖ１に対する横方向の位置も検出できる後続車両検出部１２２を有する場合には、運転者の視点に対する死角領域を最小限にし且つ後続車両Ｖ２の認識しやすさに優れる画像の合成を実現することができる。
[Optimization using lateral distance between own vehicle and following vehicle]
Furthermore, when the surrounding environment monitoring device for a vehicle has the following
すなわち、車両用周囲状況監視装置は、図１６（ａ）及び図１７（ａ）に示すような各後方カメラ１０１ａ、右後側方カメラ１０１ｂ、左後側方カメラ１０１ｃのそれぞれによって撮像されて視点変換された画像２０１ａ，２０１ｂ，２０１ｃを合成した画像において、図１６（ｂ）及び図１７（ｂ）に示すような後続車両Ｖ２の先端部分を地面に投影したときの位置Ｐに壁面等の垂直の物体が存在したとした場合に、当該物体が画像ＶＭ内において占める領域と、後続車両Ｖ２の画像ＶＭ内における位置Ｐを底辺とする矩形領域との両方に属する領域とを、矩形領域Ａとする。そして、車両用周囲状況監視装置は、演算部１０５により、物体が画面ＶＭ内において占める領域の部分を後方撮像画像（領域Ｃ）とし、矩形領域Ａから後方撮像画像（領域Ｃ）を除いた左右の領域をそれぞれ左後側方視点変換画像及び後方撮像画像（領域Ｌ），右後側方視点変換画像及び後方撮像画像（領域Ｒ）とする。
That is, the vehicle surrounding situation monitoring device is captured by each of the
これにより、車両用周囲状況監視装置は、死角領域が最も少なく且つ後続車両Ｖ２の認識しやすさに優れる映像を生成することができる。特に、夜間に撮像された映像によっては後続車両Ｖ２のヘッドライトを視認可能であるが、後続車両Ｖ２のそれ以外の部分については暗くて視認性が高いので、このような手法は、夜間での使用に有効である。 Thereby, the surrounding condition monitoring apparatus for a vehicle can generate | occur | produce the image | video which has the least blind spot area | region and is excellent in the recognizing of the following vehicle V2. In particular, although the headlight of the following vehicle V2 can be visually recognized depending on the image captured at night, the other parts of the following vehicle V2 are dark and highly visible. It is effective for use.
［後続車両の映像の鮮明度の最適化］
また、車両用周囲状況監視装置は、運転者の視点に対する死角領域を最小限とすると共に、後続車両Ｖ２の視認性をさらに向上させるために、当該後続車両Ｖ２の映像の鮮明度を変化させても良い。
[Optimization of image clarity of following vehicles]
In addition, the vehicle surroundings monitoring apparatus changes the definition of the image of the succeeding vehicle V2 in order to minimize the blind spot area with respect to the driver's viewpoint and further improve the visibility of the succeeding vehicle V2. Also good.
すなわち、人間の視覚認知の研究により人間が特に顔の認識に優れていることが知られているが、自動車のデザインにおいては、左右のヘッドライトとグリルがいわば自動車の顔であると考えるのが一般的である。そのため、かかる原理に基づいて、後続車両Ｖ２の視認性を向上させるために、略ヘッドライト上端の高さまでは、後続車両Ｖ２の映像をなるべく鮮明に提示することが有効であると考えられる。 In other words, it is known from human visual perception research that humans are particularly good at recognizing faces, but in car design, the left and right headlights and grill are considered to be the faces of cars. It is common. Therefore, based on this principle, in order to improve the visibility of the following vehicle V2, it is considered effective to present the image of the following vehicle V2 as clearly as possible at the height of the upper end of the headlight.
そこで、車両用周囲状況監視装置は、演算部１０５により、例えば図１０（ｂ）に示すように後方撮像画像を表示する。また、車両用周囲状況監視装置は、図１８に示すように、矩形領域Ａ内における後続車両Ｖ２の略ヘッドライト上端の高さまでは、後方視点変換画像２０１ａではく後方撮像画像（領域Ｃ）を表示しても良い。
Therefore, the vehicle surroundings monitoring apparatus displays a rear captured image by the
これにより、車両用周囲状況監視装置は、後続車両Ｖ２の映像を鮮明にするような映像を生成し、その映像をディスプレイ１０８に表示する。
As a result, the vehicular ambient situation monitoring device generates a video that sharpens the video of the following vehicle V2, and displays the video on the
ここで、車両用周囲状況監視装置は、ヘッドライト上端の高さとして、例えば市販車両のヘッドライトの高さの８０％を含む地上高として定義し、当該地上高を車幅毎にメモリ等に記憶しておく。そして、車両用周囲状況監視装置は、実際に検出した後続車両Ｖ２の車幅に応じて該当する地上高を求めても良く、さらには、画像に対してパターンマッチング等の手法を適用してヘッドライトの実際の高さを求めても良い。 Here, the vehicle ambient condition monitoring device defines the height of the upper end of the headlight as, for example, the ground height including 80% of the height of the headlight of a commercial vehicle, and the ground height is stored in a memory or the like for each vehicle width. Remember. The vehicle ambient condition monitoring device may obtain the corresponding ground height in accordance with the actually detected vehicle width of the following vehicle V2, and further applies a technique such as pattern matching to the head. You may ask for the actual height of the light.
これにより、車両用周囲状況監視装置は、画像ＶＭ内における後続車両Ｖ２の視認性を大幅に向上させることができる。 Thereby, the surroundings monitoring apparatus for vehicles can improve the visibility of the succeeding vehicle V2 in the image VM significantly.
［後続車両の領域拡大］
さらに、車両用周囲状況監視装置は、後続車両Ｖ２の映像において、視認性にそれほど影響しない部分の割合を低減することにより、当該後続車両Ｖ２の視認性を向上させても良い。
[Expanding the area of following vehicles]
Furthermore, the surrounding environment monitoring device for a vehicle may improve the visibility of the succeeding vehicle V2 by reducing the proportion of the portion of the image of the succeeding vehicle V2 that does not significantly affect the visibility.
すなわち、車両用周囲状況監視装置は、例えば図１９に示すように、演算部１０５により、矩形領域Ａのうち、視認性にそれほど影響しない後続車両Ｖ２のアッパーボディの部分、より具体的には、後続車両Ｖ２の略ヘッドライト上端位置又は略ルーフ上端位置よりも上方であり且つ右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃの撮像範囲内の領域については、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された右後側方視点変換画像２０１ｂ，左後側方視点変換画像２０１ｃの合成比率を上げる。これにより、車両用周囲状況監視装置は、後続車両Ｖ２の後方の状況を提示する領域を拡大する。
That is, as shown in FIG. 19, for example, the vehicle surroundings monitoring apparatus uses a
これにより、車両用周囲状況監視装置は、後方状況の全体的な視認性を大幅に向上させることができる。 Thereby, the surrounding condition monitoring device for a vehicle can greatly improve the overall visibility of the rear situation.
［追越車両の視認性向上］
さらにまた、車両用周囲状況監視装置は、自車両が走行する車線に対する隣接車線に存在する追越車両Ｖ３を検出した場合には、当該追越車両Ｖ３の視認性を向上させることもできる。
[Improved visibility of overtaking vehicles]
Furthermore, when the vehicle surrounding state monitoring device detects an overtaking vehicle V3 existing in an adjacent lane with respect to the lane in which the host vehicle is traveling, the visibility of the overtaking vehicle V3 can be improved.
すなわち、車両用周囲状況監視装置は、例えば図２０に示すように、画像ＶＭにおいて追越車両Ｖ３を検出した場合には、演算部１０５により、画像ＶＭ内において追越車両Ｖ３が占める領域については、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された映像に対する、後方カメラ１０１ａによって撮像されて視点変換されていない映像の合成比率を下げる。
That is, for example, as illustrated in FIG. 20, when the vehicle surrounding state monitoring device detects the overtaking vehicle V3 in the image VM, the
これにより、車両用周囲状況監視装置は、追越車両Ｖ３の視認性を向上させることができる。 Thereby, the surrounding condition monitoring apparatus for vehicles can improve the visibility of the overtaking vehicle V3.
［車線変更の推測］
また、車両用周囲状況監視装置は、自車両Ｖ１が車線変更を行う可能性を推測し、その推測結果に応じて、後続車両Ｖ２の視認性を向上させるような映像を生成するか、隣接車線に存在する追越車両Ｖ３やすり抜け車両の視認性を向上させるような映像を生成するかを決定する。
[Guide to lane change]
Further, the vehicular ambient condition monitoring device estimates the possibility that the host vehicle V1 will change lanes, and generates an image that improves the visibility of the following vehicle V2 according to the estimation result, or the adjacent lane. Whether to generate an image that improves the visibility of the passing vehicle V3 passing through the vehicle.
具体的には、車両用周囲状況監視装置は、演算部１０５により、例えば、道路の形状に関するカーナビゲーションシステムの地図データや、カーナビゲーションシステムに設定されている案内経路の情報等に基づいて、自車両Ｖ１が車線変更を行う可能性を推測する。
Specifically, the vehicular ambient condition monitoring device is automatically calculated by the
なお、自車両Ｖ１が車線変更を行う可能性を推測するために、道路の形状に関するカーナビゲーションシステムの地図データを用いるのは、自車両Ｖ１の進行方向の車線数が１車線であるときは車線変更を行う可能性が低いが、例えば高速道路のインターチェンジにおいて本線に合流する場合等、車線数が複数あるときは車線変更を行う可能性が高いことに基づくものである。また、自車両Ｖ１が車線変更を行う可能性を推測するために、カーナビゲーションシステムに設定されている案内経路の情報を用いるのは、設定されている経路の右左折ポイントが近付いている場合には、右左折のため又はその準備としての車線変更のために、後方の追越車両Ｖ３やすり抜け車両を確認したいという要求に基づくものである。 In order to estimate the possibility that the host vehicle V1 will change lanes, the map data of the car navigation system regarding the shape of the road is used when the number of lanes in the traveling direction of the host vehicle V1 is one lane. This is based on the fact that there is a high possibility of changing lanes when there are a plurality of lanes, such as when merging with the main road at an expressway interchange. In order to estimate the possibility that the host vehicle V1 will change the lane, the information on the guide route set in the car navigation system is used when the right / left turn point of the set route is approaching. Is based on a request to confirm a passing vehicle V3 passing through in order to make a right / left turn or to change lanes in preparation.
そして、車両用周囲状況監視装置は、自車両Ｖ１が車線変更を行う可能性を推測すると、車線変更の可能性が所定割合以上である場合には、演算部１０５により、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された映像の合成比率を上げ、先に図２０を用いて説明したように、追越車両Ｖ３やすり抜け車両の視認性を向上させるような映像を生成する。一方、車両用周囲状況監視装置は、車線変更の可能性が所定割合未満である場合には、演算部１０５により、先に図１５乃至図１９を用いて説明したように、後続車両Ｖ２の視認性を向上させるような映像を生成する。
And if the surroundings monitoring apparatus for vehicles presumes possibility that the own vehicle V1 will perform lane change, when the possibility of lane change is more than a predetermined ratio, the
これにより、車両用周囲状況監視装置は、単純であり且つそれが故に運転者にとって状況を把握しやすい映像を提示することができる。 As a result, the vehicular ambient situation monitoring device is simple and can therefore present an image that is easy for the driver to grasp the situation.
［矩形領域の制限］
さて、車両用周囲状況監視装置において、上述したような後続車両Ｖ２が検出された場合における処理は、いずれも、複数の後続車両Ｖ２が検出された場合には、検出された全ての後続車両Ｖ２に対して適用することができる。しかしながら、車両用周囲状況監視装置においては、複数の矩形領域Ａを設けると、演算部１０５による画像処理が複雑になり、また、ディスプレイ１０８に表示する映像においても、分割された異なる矩形領域Ａが複数存在することに起因してわかりにくくなる、といった問題が生じる。
[Restriction of rectangular area]
Now, in the vehicular ambient condition monitoring device, all of the processes when the following vehicle V2 is detected as described above are detected when a plurality of the following vehicles V2 are detected. Can be applied. However, if a plurality of rectangular areas A are provided in the vehicle surroundings monitoring apparatus, the image processing by the
そこで、車両用周囲状況監視装置は、複数の後続車両Ｖ２が検出された場合には、自車両Ｖ１との距離や自車両Ｖ１に対する位置、後続車両Ｖ２の車幅等、所定の条件を満たす一部の後続車両Ｖ２を選択し、その後続車両Ｖ２に対してのみ矩形領域Ａを算出し、当該条件を満たさない後続車両Ｖ２に対しては処理を行わないようにする。 Therefore, when a plurality of succeeding vehicles V2 are detected, the vehicle surroundings monitoring apparatus is one that satisfies predetermined conditions such as a distance from the own vehicle V1, a position with respect to the own vehicle V1, and a vehicle width of the following vehicle V2. The subsequent vehicle V2 is selected, the rectangular area A is calculated only for the subsequent vehicle V2, and the process is not performed for the subsequent vehicle V2 that does not satisfy the condition.
これにより、車両用周囲状況監視装置は、必要な画像処理を簡易化して処理の高速化を図ることができ、また、ディスプレイ１０８に表示する映像自体も、より簡便でわかりやすいものとすることができる。
As a result, the vehicular ambient condition monitoring device can simplify the necessary image processing to increase the processing speed, and the video displayed on the
なお、矩形領域Ａを設ける理由は、視点変換された映像において視認しにくい後続車両Ｖ２の視認性を向上させることであるが、後続車両Ｖ２のうち最も視認性が求められる車両は、自車両Ｖ１から最も近い位置に存在する後続車両Ｖ２である。また、ある程度以上の距離が離れている後続車両Ｖ２については、その検出精度も低下するのが一般的である。 The reason why the rectangular area A is provided is to improve the visibility of the following vehicle V2, which is difficult to visually recognize in the video whose viewpoint has been changed, but the vehicle that requires the most visibility among the following vehicles V2 is the host vehicle V1. Is the succeeding vehicle V2 that is present at the nearest position. Further, the detection accuracy of the following vehicle V2 that is separated by a certain distance or more is generally lowered.
そのため、車両用周囲状況監視装置は、複数の矩形領域Ａを設けて映像を分割し、複雑化してしまうよりも、演算部１０５により、自車両Ｖ１の後端からの距離が所定の閾値以下の車両を後続車両Ｖ２として選択して処理を行い、自車両Ｖ１との距離が離れているような重要度が低い後続車両Ｖ２については処理を行わない方が有益であることが多いといえる。
Therefore, the surrounding environment monitoring device for a vehicle has a distance from the rear end of the host vehicle V1 equal to or less than a predetermined threshold value by the
また、視点変換された映像において、乗用車やトラック等、ある程度の車幅がある後続車両Ｖ２の視認性が悪いのは、後続車両Ｖ２が自車両Ｖ１の真後ろに存在する場合ともいえる。これは、後続車両Ｖ２が自車両Ｖ１に対して左右のいずれかにずれて位置している場合には、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された映像によって視認することが可能となるからである。したがって、矩形領域Ａを設けるのがよいのは後続車両Ｖ２が自車両Ｖ１の真後ろに存在する場合である。
Further, in the video whose viewpoint has been changed, the low visibility of the following vehicle V2 having a certain vehicle width such as a passenger car or a truck can be said to be a case where the following vehicle V2 exists directly behind the host vehicle V1. This is because when the succeeding vehicle V2 is shifted to the left or right with respect to the host vehicle V1, the image is captured by the right
そこで、車両用周囲状況監視装置は、演算部１０５により、後続車両Ｖ２が自車両Ｖ１の真後ろに存在する旨を検出した場合には、その後続車両Ｖ２に対してのみ矩形領域Ａを算出するようにする。後続車両Ｖ２が自車両Ｖ１の真後ろに存在する旨を検出するための条件としては、後続車両Ｖ２が自車両Ｖ１の車幅方向中央と消失点Ｄとを結ぶ直線上に位置する車両であることや、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された映像領域内に後続車両Ｖ２がはみ出している距離が所定の閾値以下であること、として定義することができる。
Therefore, when the
さらに、車両用周囲状況監視装置は、後続車両Ｖ２が二輪車等の車幅が狭い車両である場合には、そのような後続車両Ｖ２を優先的に表示するような映像を生成する。これは、二輪車等は、乗用車やトラック等の大きな車両として比較して正面面積が小さいため、視点変換されて合成された画像においては、乗用車やトラック等よりもさらに視認性が悪くなることが多いためである。 Furthermore, when the subsequent vehicle V2 is a vehicle having a narrow vehicle width such as a two-wheeled vehicle, the surrounding state monitoring device for a vehicle generates an image that preferentially displays the subsequent vehicle V2. This is because motorcycles and the like have a smaller frontal area than large vehicles such as passenger cars and trucks, and therefore, in a composite image obtained by changing the viewpoint, visibility is often worse than passenger cars and trucks. Because.
そこで、車両用周囲状況監視装置は、同じ画像ＶＭ内に、後続車両Ｖ２として二輪車等の車幅が狭い車両と四輪車等の車幅が広い車両とが混在する場合には、車幅が所定の閾値以下の車両を優先するように、演算部１０５によって映像を生成する。
Therefore, the vehicle surroundings monitoring apparatus has a vehicle width of the same image VM when a vehicle having a narrow vehicle width such as a two-wheeled vehicle and a vehicle having a wide vehicle width such as a four-wheeled vehicle are mixed as the following vehicle V2. An image is generated by the
このように、車両用周囲状況監視装置は、複数の後続車両Ｖ２が検出された場合には、自車両Ｖ１との距離や自車両Ｖ１に対する位置、後続車両Ｖ２の車幅といった所定の条件を満たす一部の後続車両Ｖ２を選択し、その後続車両Ｖ２に対してのみ矩形領域Ａを算出することにより、処理の高速化を図ることができるとともに、ディスプレイ１０８に表示する映像を簡便でわかりやすいものとすることができる。
As described above, when a plurality of subsequent vehicles V2 are detected, the vehicle surroundings monitoring apparatus satisfies predetermined conditions such as a distance from the own vehicle V1, a position relative to the own vehicle V1, and a vehicle width of the subsequent vehicle V2. By selecting a part of the succeeding vehicle V2 and calculating the rectangular area A only for the succeeding vehicle V2, the processing speed can be increased, and the image displayed on the
なお、車両走行中においては、自車両Ｖ１の周囲に存在する後続車両Ｖ２も時々刻々と変化することから、後続車両Ｖ２の選択に用いる上述した条件による判断結果も頻繁に変化することになる。 Note that while the vehicle is traveling, the subsequent vehicle V2 existing around the host vehicle V1 also changes every moment, so that the determination result based on the above-described conditions used for selecting the subsequent vehicle V2 also changes frequently.
そこで、車両用周囲状況監視装置は、後続車両Ｖ２の選択に用いる上述した条件に基づいて、一度処理対象として認めた車両又は認めなかった車両については、検出ミスや一時的な相対位置の変化等に起因して条件が変化してしまったとしても、所定時間内はその前の判断を保持する。 Therefore, the vehicle ambient condition monitoring device, based on the above-described conditions used for selection of the succeeding vehicle V2, detects a detection error, a temporary change in relative position, etc. Even if the condition has changed due to the above, the previous judgment is held for a predetermined time.
これにより、車両用周囲状況監視装置は、画像が頻繁に変化して運転者に煩わしい感を与えてしまうのを防止することができる。 Thereby, the surrounding environment monitoring device for a vehicle can prevent the image from changing frequently and giving the driver an annoying feeling.
［実施形態の効果］
以上詳細に説明したように、本発明の実施形態として示した車両用周囲状況監視装置は、後方カメラ１０１ａ、右後側方カメラ１０１ｂ、及び、左後側方カメラ１０１ｃのそれぞれによって撮像された映像に基づいて、ディスプレイ１０８に表示する表示映像を生成する際に、演算部１０５により、後方カメラ１０１ａによって撮像された画像の消失線に基づいて表示領域を分割し、分割した表示領域に、当該後方カメラ１０１ａによって撮像されて視点変換していない画像と、右後側方カメラ１０１ｂ及び／又は左後側方カメラ１０１ｃによって撮像されて視点変換された画像と後方カメラ１０１ａによって撮像されて視点変換されていない画像とを重ね合わせて生成された合成画像とを表示するように、表示映像を生成する。
[Effect of the embodiment]
As described above in detail, the vehicular ambient situation monitoring device shown as the embodiment of the present invention is an image captured by each of the
これにより、この車両用周囲状況監視装置においては、表示映像に基づいて後続車両Ｖ２との距離感を正確に認識することができるようになる。したがって、この車両用周囲状況監視装置においては、自車両Ｖ１の後方に後続車両Ｖ２が接近し且つその接近によって発生する死角領域があるような状況であっても、当該自車両Ｖ１の運転者が後方の状況を瞬時且つ確実に認識することが可能となる。 Thereby, in this vehicle surrounding state monitoring device, it becomes possible to accurately recognize the sense of distance from the succeeding vehicle V2 based on the display image. Therefore, in this vehicle surrounding situation monitoring device, even if the following vehicle V2 approaches the rear of the host vehicle V1 and there is a blind spot area generated by the approach, the driver of the host vehicle V1 can It becomes possible to recognize the rear situation instantaneously and reliably.
具体的には、この車両用周囲状況監視装置においては、表示領域として、後方カメラ１０１ａによって撮像されて視点変換していない画像を表示する後方撮像画像（領域Ｃ）と、右後側方視点変換画像及び後方撮像画像（領域Ｒ）と、左後側方視点変換画像及び後方撮像画像（領域Ｌ）とのうち、後方撮像画像（領域Ｃ）と右後側方視点変換画像及び後方撮像画像（領域Ｒ）との２つの領域、後方撮像画像（領域Ｃ）と左後側方視点変換画像及び後方撮像画像（領域Ｌ）との２つの領域、又は、後方撮像画像（領域Ｃ）と右後側方視点変換画像及び後方撮像画像（領域Ｒ）と左後側方視点変換画像及び後方撮像画像（領域Ｌ）との３つの領域からなり、消失線を含む矩形領域Ａを含むものとすればよい。これにより、この車両用周囲状況監視装置においては、分かりやすい単一視点の映像でありながら、自車両Ｖ１の後方に発生する後続車両Ｖ２によるその左右の死角領域が少ない映像を提示し、自車両Ｖ１の運転者が後方の状況を瞬時且つ確実に認識することが可能となる。
Specifically, in this vehicle surroundings monitoring apparatus, as a display area, a rear captured image (area C) that displays an image captured by the
さらに、この車両用周囲状況監視装置において、演算部１０５は、右後側方カメラ１０１ｂによって撮像されて視点変換した画像と、左後側方カメラ１０１ｃによって撮像されて視点変換した画像とについて、矩形領域Ａと重複する部分がなくなるように、視点変換後に水平方向に圧縮した画像に置換する。これにより、この車両用周囲状況監視装置は、映像の半透明処理を行うことができない安価な画像処理装置であっても、死角領域が少ない映像を提示することができ、後続車両Ｖ２と追越車両Ｖ３とを同時に視認することができる画像を提示することができる。
Further, in this vehicle surroundings monitoring apparatus, the
さらにまた、この車両用周囲状況監視装置において、演算部１０５は、自車両Ｖ１の後端と後続車両Ｖ２との縦方向の距離を検出する後続車両検出部１２２によって検出された距離ｄだけ自車両Ｖ１の後端を後方へ移動した直線が矩形領域Ａの底辺となるように、表示映像内における当該矩形領域Ａの位置を設定し、さらに、矩形領域Ａの底辺と消失点Ｄとに基づいて、後方撮像画像（領域Ｃ），左後側方視点変換画像及び後方撮像画像（領域Ｌ），右後側方視点変換画像及び後方撮像画像（領域Ｒ）の３つの領域に当該矩形領域Ａを分割する。これにより、この車両用周囲状況監視装置は、後続車両Ｖ２との車間距離のみを検出する安価なシステムにより、死角領域が最も少ない映像を生成することができる。
Furthermore, in this vehicular ambient condition monitoring device, the
また、この車両用周囲状況監視装置において、演算部１０５は、自車両Ｖ１と後続車両Ｖ２との横方向の距離を検出する後続車両検出部１２２によって検出された後続車両Ｖ２の先端を地面に投影したときの位置Ｐに垂直の物体が存在したとした場合に当該物体が画像ＶＭ内において占める領域と、当該後続車両Ｖ２の画像ＶＭ内における位置Ｐを底辺とする領域との両方に属する領域を、矩形領域Ａとして設定し、物体が画面ＶＭ内において占める領域の部分領域を後方撮像画像（領域Ｃ）とし、矩形領域Ａから後方撮像画像（領域Ｃ）を除いた左右の領域をそれぞれ左後側方視点変換画像及び後方撮像画像（領域Ｌ）、右後側方視点変換画像及び後方撮像画像（領域Ｒ）とする。
Further, in this vehicle ambient condition monitoring apparatus, the
これにより、この車両用周囲状況監視装置は、後続車両Ｖ２が２重に見えてしまうような可能性を低減し、死角領域が最も少なく且つ後続車両Ｖ２の認識しやすさに優れる映像を生成することができる。 Thereby, this vehicle surroundings monitoring device reduces the possibility that the following vehicle V2 will appear double, and generates an image that has the smallest blind spot area and is easy to recognize the following vehicle V2. be able to.
さらに、この車両用周囲状況監視装置において、演算部１０５は、矩形領域Ａ内における後続車両Ｖ２の略ヘッドライト上端の高さまでは当該後続車両Ｖ２の映像を鮮明にするような映像を生成することにより、後続車両Ｖ２の視認性を大幅に向上させながらも、その後続車両Ｖ２による死角領域を最小化することができる。
Furthermore, in this vehicle surroundings monitoring apparatus, the
さらにまた、この車両用周囲状況監視装置において、演算部１０５は、矩形領域Ａのうち、後続車両Ｖ２の略ヘッドライト上端位置又は略ルーフ上端位置よりも上方であり且つ右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃの撮像範囲内の領域については、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換した画像の合成比率を上げる。これにより、車両用周囲状況監視装置は、後続車両Ｖ２の後方の状況を提示する領域を拡大することができるため、当該後続車両Ｖ２の視認性を殆ど低下させることなく、後方状況の全体的な視認性を大幅に向上させることができる。
Furthermore, in this vehicle ambient condition monitoring device, the
また、この車両用周囲状況監視装置において、演算部１０５は、隣接車線に存在する他車両を検出した場合には、画像ＶＭ内において当該他車両が占める領域については、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された映像に対する、後方カメラ１０１ａによって撮像されて視点変換されていない映像の合成比率を下げることにより、後続車両Ｖ２の死角領域に位置するような、隣接車線に存在する他車両の視認性を向上させることができる。
Further, in this vehicle surroundings monitoring apparatus, when the
さらに、この車両用周囲状況監視装置において、演算部１０５は、自車両Ｖ１が車線変更を行う可能性を推測し、その推測結果に応じて、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換した映像の合成比率を変化させることにより、追越車両Ｖ３等を把握する必要が少ない場合には後続車両Ｖ２の視認性を向上させることができ、単純であり且つそれが故に運転者にとって状況を把握しやすい映像を提示することができる。
Furthermore, in this vehicle surroundings monitoring apparatus, the
さらにまた、この車両用周囲状況監視装置において、演算部１０５は、複数の後続車両Ｖ２を検出した場合には、自車両Ｖ１の後端からの距離が所定の閾値以下の車両に対してのみ処理を行うことにより、最も死角領域が大きい後続車両Ｖ２を処理対象として優先し、自車両Ｖ１との距離が離れているような重要度が低い後続車両Ｖ２については処理を行う必要がなく、必要な画像処理を簡易化して処理の高速化を図ることができ、また、ディスプレイ１０８に表示する映像自体も、より簡便でわかりやすいものとすることができる。
Furthermore, in this vehicle surroundings monitoring apparatus, when detecting the plurality of succeeding vehicles V2, the
また、この車両用周囲状況監視装置において、演算部１０５は、複数の後続車両Ｖ２を検出した場合には、自車両Ｖ１の車幅方向中央と消失点Ｄとを結ぶ直線上に位置する車両に対してのみ処理を行うことにより、後続車両Ｖ２が自車両Ｖ１の真後ろに存在することによる当該後続車両Ｖ２の視認性の悪化を低減しつつ、自車両Ｖ１との距離が離れているような重要度が低い後続車両Ｖ２については処理を行う必要がないことから、必要な画像処理を簡易化して処理の高速化を図ることができ、また、ディスプレイ１０８に表示する映像自体も、より簡便でわかりやすいものとすることができる。
In this vehicular ambient situation monitoring device, when detecting a plurality of succeeding vehicles V2, the
さらに、この車両用周囲状況監視装置において、演算部１０５は、複数の後続車両Ｖ２を検出した場合には、右後側方カメラ１０１ｂ及び左後側方カメラ１０１ｃによって撮像されて視点変換された映像領域内に後続車両Ｖ２がはみ出している距離が所定の閾値以下である車両に対してのみ処理を行うことにより、後続車両Ｖ２が自車両Ｖ１の真後ろに存在することによる当該後続車両Ｖ２の視認性の悪化を低減しつつ、自車両Ｖ１との距離が離れているような重要度が低い後続車両Ｖ２については処理を行う必要がないことから、必要な画像処理を簡易化して処理の高速化を図ることができ、また、ディスプレイ１０８に表示する映像自体も、より簡便でわかりやすいものとすることができる。
Furthermore, in this vehicle surroundings monitoring apparatus, when the
さらにまた、この車両用周囲状況監視装置において、演算部１０５は、複数の後続車両Ｖ２を検出した場合には、視点変換画像において見落としやすい車幅が所定の閾値以下の車両を優先して処理を行うことにより、視認性が良好な車幅が広い後続車両Ｖ２については処理を行う必要がなく、必要な画像処理を簡易化して処理の高速化を図ることができ、また、ディスプレイ１０８に表示する映像自体も、より簡便でわかりやすいものとすることができる。
Furthermore, in this vehicular ambient condition monitoring apparatus, when detecting the plurality of succeeding vehicles V2, the
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施の形態に限定されることはなく、この実施の形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。 The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and even if it is a form other than this embodiment, as long as it does not depart from the technical idea according to the present invention, the design and the like Of course, various modifications are possible.
１０１ カメラ装置
１０１ａ 後方カメラ
１０１ｂ 右後側方カメラ
１０１ｃ 左後側方カメラ
１０２ 映像処理部
１０３ａ，１０３ｂ，１０３ｃ 映像入力部
１０４ａ，１０４ｂ，１０４ｃ 入力映像フレームメモリ
１０５ 演算部
１０６ 出力映像フレームメモリ
１０７ 映像出力部
１０８ ディスプレイ
１１０ センサ
１１１ 通信部
１２０ａ，１２０ｂ，１２０ｃ 視点変換及び左右反転処理部
１２１ 合成処理部
１２２ 後続車両検出部
１２３ クロップ・左右反転処理部
Ｖ１ 自車両
Ｖ２ 後続車両
Ｖ３ 追越車両
DESCRIPTION OF
Claims (14)
自車両右側及び自車両後側方を撮像可能な右後側方映像撮像手段と、
自車両左側及び自車両後側方を撮像可能な左後側方映像撮像手段と、
前記後方映像撮像手段、前記右後側方映像撮像手段、及び前記左後側方映像撮像手段のそれぞれによって撮像された映像に基づいて、自車両内部に設置された表示手段に表示する表示映像を生成する演算処理手段とを備え、
前記演算処理手段は、前記後方映像撮像手段によって撮像された後方撮像画像の消失線に基づいて前記表示手段の表示領域を分割し、分割した表示領域に、当該後方映像撮像手段によって撮像されて視点変換されていない後方撮像画像と、前記右後側方映像撮像手段又は前記左後側方映像撮像手段によって撮像されて視点変換された右後側方視点変換画像又は左後側方視点変換画像と前記後方映像撮像手段によって撮像されて視点変換されていない後方撮像画像とを合成した合成画像とを表示するように、前記表示映像を生成することを特徴とする車両用周囲状況監視装置。 A rear image capturing means capable of capturing the rear side of the host vehicle and the rear side of the host vehicle;
Right rear side image capturing means capable of capturing the right side of the host vehicle and the rear side of the host vehicle;
Left rear side image capturing means capable of capturing the left side of the host vehicle and the rear side of the host vehicle;
Display images to be displayed on display means installed inside the vehicle based on the images captured by each of the rear image capturing unit, the right rear side image capturing unit, and the left rear side image capturing unit. An arithmetic processing means for generating,
The arithmetic processing unit divides a display area of the display unit based on a disappearance line of a rear captured image captured by the rear video image capturing unit, and is captured by the rear video image capturing unit in the divided display region. A rear captured image that has not been converted, and a right rear side viewpoint converted image or a left rear side viewpoint converted image that has been imaged and converted by the right rear side image capturing unit or the left rear side image capturing unit. The vehicle surrounding state monitoring device for generating the display image so as to display a synthesized image obtained by synthesizing a rear captured image that has been captured by the rear image capturing unit and not subjected to viewpoint conversion.
前記演算処理手段は、前記後続車両検出手段によって検出された距離だけ前記自車両の後端を後方へ移動した直線が前記矩形領域の底辺となるように、前記表示映像内における当該矩形領域の位置を設定し、前記矩形領域の底辺と消失点とに基づいて、前記第１領域、前記第２領域、及び、前記第３領域の３つの領域に当該矩形領域を分割することを特徴とする請求項２又は請求項３に記載の車両用周囲状況監視装置。 Subsequent vehicle detection means for detecting a longitudinal distance between the rear end of the host vehicle and the subsequent vehicle,
The arithmetic processing means is arranged such that the position of the rectangular area in the display image is such that a straight line moved rearward of the rear end of the host vehicle by the distance detected by the subsequent vehicle detecting means becomes the bottom of the rectangular area. And dividing the rectangular area into three areas, the first area, the second area, and the third area, based on the base and vanishing point of the rectangular area. The vehicle surrounding state monitoring device according to claim 2 or claim 3.
前記演算処理手段は、前記後続車両検出手段によって検出された前記後続車両の先端を地面に投影したときの位置に垂直の物体が存在したとした場合に当該物体が画像内において占める領域と、当該後続車両の画像内における前記位置を底辺とする領域との両方に属する領域を、前記矩形領域として設定し、前記物体が画面内において占める領域の部分を前記第１領域とし、前記矩形領域から前記第１領域を除いた左右の領域をそれぞれ前記第２領域及び前記第３領域とすることを特徴とする請求項２又は請求項３に記載の車両用周囲状況監視装置。 Subsequent vehicle detection means for detecting a lateral distance between the host vehicle and the subsequent vehicle,
The arithmetic processing means includes an area occupied by the object in the image when a vertical object exists at a position when the tip of the subsequent vehicle detected by the subsequent vehicle detection means is projected on the ground, and A region belonging to both the region having the base in the image of the following vehicle is set as the rectangular region, a portion of the region occupied by the object in the screen is defined as the first region, and the rectangular region is The left and right areas excluding the first area are defined as the second area and the third area, respectively.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008046246A JP2009206747A (en) | 2008-02-27 | 2008-02-27 | Ambient condition monitoring system for vehicle, and video display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008046246A JP2009206747A (en) | 2008-02-27 | 2008-02-27 | Ambient condition monitoring system for vehicle, and video display method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009206747A true JP2009206747A (en) | 2009-09-10 |
Family
ID=41148596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008046246A Pending JP2009206747A (en) | 2008-02-27 | 2008-02-27 | Ambient condition monitoring system for vehicle, and video display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009206747A (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011151489A (en) * | 2010-01-19 | 2011-08-04 | Denso Corp | Vehicle periphery display device |
| WO2013121898A1 (en) * | 2012-02-14 | 2013-08-22 | 日産自動車株式会社 | Solid-object detection device |
| JP2013183298A (en) * | 2012-03-02 | 2013-09-12 | Nissan Motor Co Ltd | Rearward visibility support device for vehicle and rearward visibility support method for vehicle |
| JP2013211035A (en) * | 2013-05-20 | 2013-10-10 | Denso Corp | Vehicle periphery display device |
| WO2014068823A1 (en) * | 2012-10-30 | 2014-05-08 | 株式会社デンソー | Onboard image generator |
| WO2015151404A1 (en) * | 2014-03-31 | 2015-10-08 | 株式会社デンソー | Rear condition display device and rear condition display method |
| JP2016175586A (en) * | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program |
| JP2017005352A (en) * | 2015-06-05 | 2017-01-05 | アルパイン株式会社 | On-vehicle display device and vehicle rear-side video image display method |
| WO2018030491A1 (en) * | 2016-08-12 | 2018-02-15 | 株式会社デンソー | Peripheral inspection device |
| WO2018030285A1 (en) * | 2016-08-08 | 2018-02-15 | 株式会社小糸製作所 | Vehicle monitoring system employing plurality of cameras |
| WO2018135413A1 (en) * | 2017-01-23 | 2018-07-26 | 株式会社デンソー | Driving support system and driving support method |
| JPWO2018012299A1 (en) * | 2016-07-13 | 2019-05-16 | ソニー株式会社 | IMAGE GENERATION APPARATUS, IMAGE GENERATION METHOD, AND PROGRAM |
| JP2020028027A (en) * | 2018-08-10 | 2020-02-20 | トヨタ自動車株式会社 | Periphery display device for vehicle |
| WO2021192508A1 (en) * | 2020-03-23 | 2021-09-30 | パナソニックＩｐマネジメント株式会社 | Image composing device and image composing method |
| CN113844363A (en) * | 2020-06-26 | 2021-12-28 | 丰田自动车株式会社 | Vehicle periphery monitoring device, monitoring method, and non-transitory storage medium |
| DE102020135098B4 (en) | 2020-01-08 | 2023-07-20 | Denso Corporation | VEHICLE DISPLAY CONTROL DEVICE, VEHICLE DISPLAY CONTROL SYSTEM AND VEHICLE DISPLAY CONTROL METHOD |
-
2008
- 2008-02-27 JP JP2008046246A patent/JP2009206747A/en active Pending
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011151489A (en) * | 2010-01-19 | 2011-08-04 | Denso Corp | Vehicle periphery display device |
| WO2013121898A1 (en) * | 2012-02-14 | 2013-08-22 | 日産自動車株式会社 | Solid-object detection device |
| JPWO2013121898A1 (en) * | 2012-02-14 | 2015-05-11 | 日産自動車株式会社 | Three-dimensional object detection device |
| JP2013183298A (en) * | 2012-03-02 | 2013-09-12 | Nissan Motor Co Ltd | Rearward visibility support device for vehicle and rearward visibility support method for vehicle |
| CN104756486A (en) * | 2012-10-30 | 2015-07-01 | 株式会社电装 | Onboard image generator |
| WO2014068823A1 (en) * | 2012-10-30 | 2014-05-08 | 株式会社デンソー | Onboard image generator |
| JP2014090315A (en) * | 2012-10-30 | 2014-05-15 | Denso Corp | On-vehicle image generation apparatus |
| JP2013211035A (en) * | 2013-05-20 | 2013-10-10 | Denso Corp | Vehicle periphery display device |
| WO2015151404A1 (en) * | 2014-03-31 | 2015-10-08 | 株式会社デンソー | Rear condition display device and rear condition display method |
| JP2015198302A (en) * | 2014-03-31 | 2015-11-09 | 株式会社デンソー | Back situation display device and back situation display method |
| JP2016175586A (en) * | 2015-03-20 | 2016-10-06 | 株式会社デンソーアイティーラボラトリ | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program |
| JP2017005352A (en) * | 2015-06-05 | 2017-01-05 | アルパイン株式会社 | On-vehicle display device and vehicle rear-side video image display method |
| JP7010221B2 (en) | 2016-07-13 | 2022-01-26 | ソニーグループ株式会社 | Image generator, image generation method, and program |
| JPWO2018012299A1 (en) * | 2016-07-13 | 2019-05-16 | ソニー株式会社 | IMAGE GENERATION APPARATUS, IMAGE GENERATION METHOD, AND PROGRAM |
| WO2018030285A1 (en) * | 2016-08-08 | 2018-02-15 | 株式会社小糸製作所 | Vehicle monitoring system employing plurality of cameras |
| US10829044B2 (en) | 2016-08-08 | 2020-11-10 | Koito Manufacturing Co., Ltd. | Vehicle monitoring system using a plurality of cameras |
| CN109565573A (en) * | 2016-08-08 | 2019-04-02 | 株式会社小糸制作所 | Use the vehicle monitoring system of multiple video cameras |
| JP7055743B2 (en) | 2016-08-08 | 2022-04-18 | 株式会社小糸製作所 | Vehicle monitoring system using multiple cameras |
| JPWO2018030285A1 (en) * | 2016-08-08 | 2019-06-20 | 株式会社小糸製作所 | Vehicle monitoring system using multiple cameras |
| WO2018030491A1 (en) * | 2016-08-12 | 2018-02-15 | 株式会社デンソー | Peripheral inspection device |
| JP2018026757A (en) * | 2016-08-12 | 2018-02-15 | 株式会社デンソー | Perimeter monitoring device |
| CN110199518A (en) * | 2017-01-23 | 2019-09-03 | 株式会社电装 | Driving assistance system, driving assistance method |
| WO2018135413A1 (en) * | 2017-01-23 | 2018-07-26 | 株式会社デンソー | Driving support system and driving support method |
| CN110199518B (en) * | 2017-01-23 | 2021-01-05 | 株式会社电装 | Driving support system and driving support method |
| JP2020028027A (en) * | 2018-08-10 | 2020-02-20 | トヨタ自動車株式会社 | Periphery display device for vehicle |
| JP7052632B2 (en) | 2018-08-10 | 2022-04-12 | トヨタ自動車株式会社 | Peripheral display device for vehicles |
| DE102020135098B4 (en) | 2020-01-08 | 2023-07-20 | Denso Corporation | VEHICLE DISPLAY CONTROL DEVICE, VEHICLE DISPLAY CONTROL SYSTEM AND VEHICLE DISPLAY CONTROL METHOD |
| WO2021192508A1 (en) * | 2020-03-23 | 2021-09-30 | パナソニックＩｐマネジメント株式会社 | Image composing device and image composing method |
| CN113844363A (en) * | 2020-06-26 | 2021-12-28 | 丰田自动车株式会社 | Vehicle periphery monitoring device, monitoring method, and non-transitory storage medium |
| CN113844363B (en) * | 2020-06-26 | 2023-08-08 | 丰田自动车株式会社 | Vehicle periphery monitoring device, monitoring method, and non-transitory storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2009206747A (en) | Ambient condition monitoring system for vehicle, and video display method | |
| KR100936558B1 (en) | Perimeter monitoring apparatus and image display method for vehicle | |
| US7728879B2 (en) | Image processor and visual field support device | |
| US8885045B2 (en) | Device and method for monitoring vehicle surroundings | |
| JP5811804B2 (en) | Vehicle periphery monitoring device | |
| JP4248570B2 (en) | Image processing apparatus and visibility support apparatus and method | |
| US20160044284A1 (en) | Vehicle vision system with panoramic view | |
| US20090022423A1 (en) | Method for combining several images to a full image in the bird's eye view | |
| JP4315968B2 (en) | Image processing apparatus and visibility support apparatus and method | |
| US20170140542A1 (en) | Vehicular image processing apparatus and vehicular image processing system | |
| EP1227683A1 (en) | Monitor camera, method of adjusting camera, and vehicle monitor system | |
| JP5953824B2 (en) | Vehicle rear view support apparatus and vehicle rear view support method | |
| US8477191B2 (en) | On-vehicle image pickup apparatus | |
| JP7263731B2 (en) | Image processing device | |
| JP5966513B2 (en) | Rear side photographing device for vehicle | |
| US11833968B2 (en) | Imaging system and method | |
| JP2021114775A (en) | Image display device for moving body and method of the same | |
| US11377027B2 (en) | Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method | |
| US20230098424A1 (en) | Image processing system, mobile object, image processing method, and storage medium | |
| JP7467402B2 (en) | IMAGE PROCESSING SYSTEM, MOBILE DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM | |
| JP5831331B2 (en) | Rear side photographing device for vehicle | |
| JP7327171B2 (en) | Vehicle electronic mirror system | |
| JP5091882B2 (en) | Image processing apparatus and visibility support apparatus and method | |
| JP7301476B2 (en) | Image processing device | |
| JP2024007203A (en) | Camera system and control method thereof, and program |