JP5549436B2 - Vehicle monitoring device - Google Patents
Vehicle monitoring device Download PDFInfo
- Publication number
- JP5549436B2 JP5549436B2 JP2010153887A JP2010153887A JP5549436B2 JP 5549436 B2 JP5549436 B2 JP 5549436B2 JP 2010153887 A JP2010153887 A JP 2010153887A JP 2010153887 A JP2010153887 A JP 2010153887A JP 5549436 B2 JP5549436 B2 JP 5549436B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- virtual viewpoint
- viewed
- curved surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、一つ以上のカメラにより自車周囲の映像を撮像して表示する車両用監視装置に関する。 The present invention relates to a vehicle monitoring apparatus that captures and displays an image around a host vehicle with one or more cameras.
従来から、車載カメラによる撮影画像を曲面形状に投影し、この曲面形状を仮想視点から見た合成画像を生成する視点変換技術が知られている(特許文献1参照)。この視点変換技術において、上記した合成画像に自車の画像を含ませない場合、周囲の状況と自車との位置関係が分かりにくい。そこで、特許文献1では、この合成映像に自車の画像を加えることで、より違和感の少ない合成画像を生成している。
2. Description of the Related Art Conventionally, a viewpoint conversion technique for projecting an image captured by an in-vehicle camera onto a curved surface shape and generating a composite image in which the curved surface shape is viewed from a virtual viewpoint is known (see Patent Document 1). In this viewpoint conversion technique, when the image of the own vehicle is not included in the composite image, the positional relationship between the surrounding situation and the own vehicle is difficult to understand. Therefore, in
しかし、合成画像の中に自車を立体物として描くと、仮想視点から見て自車の奥側が死角となってしまう。また、自車の手前側の仮想視点に近い投影曲面も死角となってしまう。 However, if the subject vehicle is drawn as a three-dimensional object in the composite image, the rear side of the subject vehicle becomes a blind spot when viewed from a virtual viewpoint. Further, a projected curved surface close to the virtual viewpoint on the near side of the own vehicle also becomes a blind spot.
本発明は上記課題に鑑みて成されたものであり、その目的は、仮想視点から見た自車の周囲の死角を減らす車両用監視装置及び車両用監視方法を提供することである。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a vehicle monitoring device and a vehicle monitoring method that reduce blind spots around the host vehicle viewed from a virtual viewpoint.
本発明の特徴は、一つ以上のカメラにより自車の周囲の映像を撮像し、自車の周囲に形成される曲面の形状情報を生成し、自車の形状情報及び少なくとも第1の仮想視点に関する情報を読み出し、合成映像を生成して表示する車両用監視装置及び車両用監視方法である。先ず、カメラによる映像を前記した曲面に投影し、この曲面を第1の仮想視点から見た投影画像を生成する。第1の仮想視点から見た、自車の形状を示す自車の映像を生成する。カメラによる映像を投影した曲面を自車の車体外板に投影し、この車体外板を第1の仮想視点から見た二重投影映像を生成する。そして、投影画像、自車の映像及び二重投影映像を合成することにより、前記した合成映像を生成する。 Feature of the present invention captures an image of the peripheral area of the vehicle by one or more cameras to generate shape information of the curved surfaces formed on the peripheral area of the vehicle, the vehicle of the shape information and at least a first virtual viewpoint This is a vehicle monitoring apparatus and a vehicle monitoring method for reading out information related to the above and generating and displaying a composite image. First, a video image from the camera is projected onto the curved surface, and a projection image in which the curved surface is viewed from the first virtual viewpoint is generated. An image of the own vehicle showing the shape of the own vehicle viewed from the first virtual viewpoint is generated. A curved surface onto which an image from the camera is projected is projected onto the vehicle body outer plate of the own vehicle, and a double projection image in which the vehicle body outer plate is viewed from the first virtual viewpoint is generated. Then, the above-described synthesized video is generated by synthesizing the projection image, the video of the own vehicle , and the double projection video.
本発明の車両用監視装置及び車両用監視方法によれば、第1の仮想視点から見て自車の周囲の死角となっていた領域の映像を、第1の仮想視点から見える自車の車体外板に投影して表示することにより、死角を減らすことができる。 According to the vehicle monitoring apparatus and the vehicle monitoring method of the present invention, the vehicle body of the host vehicle viewed from the first virtual viewpoint can be viewed from the first virtual viewpoint of the image of the area around the host vehicle viewed from the first virtual viewpoint. By projecting and displaying on the outer plate, blind spots can be reduced.
以下図面を参照して、本発明の実施の形態を説明する。図面の記載において同一部分には同一符号を付している。 Embodiments of the present invention will be described below with reference to the drawings. In the description of the drawings, the same parts are denoted by the same reference numerals.
先ず、図1を参照して、本発明の実施の形態に係わる車両用監視装置の構成を説明する。本発明の実施の形態に係わる車両用監視装置は、一つ以上のカメラCa1〜CaNにより自車周囲の映像を撮像する撮像部11と、自車周囲に形成される曲面の形状情報を生成する曲面生成部12と、自車の形状情報を記憶する自車形状記憶部13と、少なくとも第1の仮想視点を決定する視点決定部14と、合成映像を生成する描画部15と、合成映像を表示する表示部16とを備える。
First, with reference to FIG. 1, the structure of the monitoring apparatus for vehicles concerning embodiment of this invention is demonstrated. The vehicle monitoring apparatus according to the embodiment of the present invention generates an
描画部15は、撮像部11による映像を曲面生成部12により生成された曲面に投影し、この曲面を第1の仮想視点から見た投影画像を生成する投影映像生成部17と、第1の仮想視点から見た、自車の形状を示す自車映像を生成する自車映像生成部18と、撮像部11による映像を投影した曲面を自車の車体外板に投影し、この車体外板を第1の仮想視点から見た二重投影映像を生成する二重投影映像生成部19と、投影画像、自車映像及び二重投影映像を合成した合成映像を生成する映像合成部20とを有する。
The
撮像部11は、N個のカメラCa1〜CaNを備え、各カメラCa1〜CaNは、自車21に搭載され、自車周囲の映像を撮像する。撮像された映各像データは描画部15へ転送される。
The
視点決定部14は、表示部16に表示される合成映像の仮想的な視点として、第1の仮想視点を決定する。具体的には、第1の仮想視点の位置、向き、視野角、歪曲特性を決定する。曲面生成部12は、各カメラCa1〜CaNの視点から第1の仮想視点への変換を行う際に基準となる立体的な曲面の形状を生成する。自車形状記憶部13は、第1の仮想視点から見た自車の映像を描画するするために使用される自車の立体的な形状を記憶する。
The
投影映像生成部17は、各カメラCa1〜CaNの特性を示すカメラパラメータのテーブルを格納したメモリを備える。各カメラCa1〜CaNの特性には、各カメラCa1〜CaNの位置、向き、視野角、歪曲特性などが含まれる。また、投影映像生成部17は、このカメラパラメータに基づいて、各カメラCa1〜CaNにより撮像された映像を3次元空間の空間モデルにマッピングした空間データを作成する。そして、この空間データ及び視点決定部14により決定された第1の仮想視点の位置、向き、視野角、歪曲特性を参照して、撮像部11による映像を投影した曲面を第1の仮想視点から見た投影画像を生成する。このようにして、投影映像生成部17は、各カメラCa1〜CaNにより撮像された映像から、第1の仮想視点から見た投影画像へ、視点変換することできる。
The projection
自車映像生成部18は、自車形状記憶部13に記憶されている自車の立体的な形状及び第1の仮想視点の位置、向き、視野角、歪曲特性に基づいて、第1の仮想視点から見た自車映像を生成する。自車映像生成部18の基本的な動作は、CAD(Computer Aided Design)やCG(コンピュータ・グラフィックス)などの技術として一般的に知られているものであり、立体的な形状のデータと視点が与えられているときに、その形状をその視点から見たときの映像を生成する。
The own vehicle
なお、曲面生成部12、視点決定部14及び描画部15は、データの演算装置、データを一時的に記憶するレジスタやメモリ装置、及び周辺機器とのインターフェースを行う入出力装置を備えるマイクロプロセッシングユニット(MPU)によって実行される機能的な構成を示している。また、自車形状記憶部13は、半導体メモリなどの記憶装置として構成すればよく、表示部16は、液晶表示装置などの表示装置として構成すればよい。
The curved
図2(a)及び図2(b)を参照して、図1のカメラCa1〜CaNの配置例を説明する。撮像部11は、N(=6)個のカメラCa1〜Ca6を備え、各カメラCa1〜Ca6は、自車21における所定の位置及び所定の角度に搭載され、自車周囲の映像を撮像する。カメラCa1は自車21の右斜め後方の領域を撮像し、カメラCa2は自車21の左斜め後方の領域を撮像し、カメラCa3は自車21の左側の領域を撮像する。そして、カメラCa4は自車21の左斜め前方の領域を撮像し、カメラCa5は自車21の右斜め前方の領域を撮像し、カメラCa6は自車21の右側の領域を撮像する。このように、自車21に複数個のカメラCa1〜Ca6を搭載し、各カメラCa1〜Ca6の位置及び角度を調整することにより、自車周囲のうち広い範囲の映像を取得することができる。
An arrangement example of the cameras Ca1 to CaN in FIG. 1 will be described with reference to FIGS. 2 (a) and 2 (b). The
図3に示すように、曲面生成部12により生成された立体的な曲面CSは、自車21を取り囲む半球状の形状を有し、自車21は、この半球状の形状の内側に位置している。自車21のタイヤは曲面CSの底部に接し、当該底部が、滑らかな曲面よって、自車21を取り囲む側面につながっている。
As shown in FIG. 3, the three-dimensional curved surface CS generated by the curved
図4は、自車21の進行方向に垂直な面における図3の曲面CS及び自車21の切断面を示す断面図である。自車21は半球状の曲面CSの内側に配置されている。自車21のベルトラインには複数個のカメラCa1〜Ca6が搭載され、図4のPCは、このうちの1つのカメラの視点を示している。また、図4のPV1は、描画部15により生成される合成映像における第1の仮想視点を示している。
FIG. 4 is a cross-sectional view showing the curved surface CS of FIG. 3 and the cut surface of the
投影映像生成部17は、各カメラCa1〜Ca6により撮像された映像を曲面CSに投影して映像BSを生成する。そして、曲面CSに投影した映像BSを第1の仮想視点PV1から見た投影画像を生成する。すなわち、カメラの視点PCから見た映像BSを、第1の仮想視点PV1から見た投影画像へ視点変換する。映像BSの生成及び視点変換の際、投影映像生成部17は、カメラCa1〜Ca6に関する情報(自車21に対する位置、向き、視野角、歪曲特性)、及び第1の仮想視点PV1に関する情報(自車21に対する位置、向きDV、視野角FV1、歪曲特性)を参照する。
The projection
図5を参照して、図1の二重投影映像生成部19による二重投影映像の生成方法について説明する。先ず、図1の視点決定部14は、第2の仮想視点PV2を決定する。具体的には、第2の仮想視点PV2の位置、向き、視野角、歪曲特性を決定する。図5の例において、第2の仮想視点PV2は自車21の略中心にある。
With reference to FIG. 5, a method of generating a double projection image by the double projection
そして、二重投影映像生成部19は、先ず、投影映像生成部17と同様にして、各カメラCa1〜CaNにより撮像された映像を曲面CSに投影し、この曲面CSを第2の仮想視点PV2から見た中間映像B1を生成する。そして、中間映像B1を自車21の車体外板に投影した映像B2を生成し、この車体外板に投影された映像B2を第1の仮想視点PV1から見た二重投影映像を生成する。すなわち、二重投影映像生成部19は、カメラの視点から第2の仮想視点PV2へ視点変換し、さらに、第2の仮想視点PV2から第1の仮想視点PV1へ視点変換する。これにより、車両のボディに反射している風景を模擬して広い視野を実現する二重投影映像を生成することができる。
Then, the double projection
映像合成部20は、この二重投影映像を、投影画像、自車映像とともに合成して、合成映像を生成する。
The
なお、二重投影映像生成部19は、曲面CSに投影された映像B1を自車21の車体外板のうちベルトラインBLから下方の部分に投影し、この下方部分に投影された映像B2を第1の仮想視点PV1から見た二重投影映像へ変換する。
The double projection
次に、図8を参照して、図1の車両用監視装置を用いた車両用監視方法について説明する。ここでは、図1における構成のうち、MPU(データ演算装置)としての動作を説明する。 Next, a vehicle monitoring method using the vehicle monitoring apparatus of FIG. 1 will be described with reference to FIG. Here, an operation as an MPU (data arithmetic unit) in the configuration in FIG. 1 will be described.
(イ)先ず、S01段階において、カメラCa1〜Ca6を備える撮像部11を用いて自車周囲の映像を撮像する。S03段階に進み、自車周囲に形成される曲面CSの形状情報を取得する。S05段階に進み、自車形状情報記憶部13から自車21の形状情報を読み出す。S07段階に進み、第1及び第2の仮想視点PV1、VP2を決定する。なお、前記したS01〜S07段階はどの順番に実施してもかまわない。
(A) First, in step S01, an image around the host vehicle is captured using the
(ロ)S09段階に進み、投影画像、自車映像及び二重投影映像を合成した合成映像を生成する。詳細には、先ず、S91段階において、撮像部11により撮像した映像を曲面CSに投影し、この曲面CSに投影された映像を第1の仮想視点PV1から見た投影画像を生成する。S93段階に進み、第1の仮想視点PV1から見た、自車21の形状を示す自車映像を生成する。S95段階に進み、撮像部11により撮像した映像を投影した曲面CSを自車21の車体外板に投影し、この車体外板を第1の仮想視点PV1から見た二重投影映像を生成する。そして、S97段階に進み、投影画像、自車映像及び二重投影映像を合成して合成映像を生成する。
(B) Proceeding to step S09, a composite image is generated by combining the projection image, the vehicle image, and the double projection image. Specifically, first, in step S91, the video imaged by the
(ハ)最後に、S11段階に進み、合成映像を表示部16に表示する。
(C) Finally, proceeding to step S11, the synthesized video is displayed on the
以上説明したように、本発明の実施の形態によれば、以下の作用効果が得られる。 As described above, according to the embodiment of the present invention, the following effects can be obtained.
図1の映像合成部20が、投影映像生成部17により生成された投影画像及び自車映像生成部18により生成された自車映像を合成した場合、図10に示すように、第1の仮想視点PV1から見て、自車21の奥側が死角となる。また、図11に示すように、自車21の手前側の第1の仮想視点PV1に近い曲面部分A1も死角となってしまう。例えば、第1の仮想視点PV1を自車21の真上に置けば、周囲全体が見渡せるようになるが、周囲の映像の歪曲などによりそのような第1の仮想視点PV1の設定が望ましくない場合がある。
When the
そこで、第1の仮想視点PV1から見て自車21の周囲の死角となっていた領域の映像を、第1の仮想視点PV1から見える自車21の車体外板に投影して表示することにより、死角を減らすことができる。
Therefore, by projecting and displaying an image of an area that has become a blind spot around the
二重投影映像生成部19は、図5に示したように、曲面CSを第2の仮想視点PV2に向かって自車21の車体外板に投影し、この車体外板を第1の仮想視点PV1から見た二重投影映像を生成する。これにより、自車21の周囲の死角となっていた映像を自車21に投影できるので、自車21の周囲の死角となっていた領域B1が、自車21の車体外板B2に反射しているように見え、高い視認性を実現できる。
As shown in FIG. 5, the double projection
図5の例において、第2の仮想視点PV2は自車21の略中心にある。これにより、自車21の周囲の映像を大きく、高い視認性で表示できる。第2の仮想視点PV2が映像B2の近い位置にある場合、映像B2は小さくなってしまう。
In the example of FIG. 5, the second virtual viewpoint PV <b> 2 is substantially at the center of the
二重投影映像生成部19は、曲面CSを自車21の車体外板のうちベルトラインBLから下方の部分に投影し、この下方部分を第1の仮想視点PV1から見た二重投影映像を生成する。これにより、ベルトラインよりも下の実際の車両では塗装面に当たる部分に投影することができる。よって、自車21の周囲の二重投影映像を、略垂直な面に高い視認性で表示できる。なお、実際の車両では、ベルトラインより上のガラス面に当たる部分では、室内の形状などの映像とも重なってしまうため、そこに表示しても分かりにくい。
The double projection
(その他の実施の形態)
上記のように、本発明は、1つの実施形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
(Other embodiments)
As described above, the present invention has been described by way of one embodiment, but it should not be understood that the discussion and drawings that form part of this disclosure limit the present invention. From this disclosure, various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art.
例えば、中間映像B1を自車21の車体外板に投影する際に、実際の光の反射を模擬するレイ・トレーシング手法を用いてもよい。そして、曲率が強いボディ形状における反射映像を計算するときのみ曲率が少ないボディ形状に置き換えて計算を行ってもよい。すなわち、二重投影映像生成部19は、第2の仮想視点PV2から見た鏡面反射映像よりも上下方向に拡大された二重投影映像を生成してもよい。これにより、自車21の周囲の二重投影映像を更に大きく、高い視認性で表示できる。
For example, when the intermediate video B1 is projected onto the vehicle body outer plate of the
同様にして、映像の縦方向の大きさだけでなく、横方向の大きさや位置についても調整してもかまわない。例えば、図6の上面図に示すように、二重投影映像を計算するための第2の仮想視点として、2つの仮想視点PV2、PV3を設定する。第2の仮想視点PV2から見た曲面CS2を自車21の車体外板FB2に投影する。もう一つの第2の仮想視点PV3から見た曲面CS3を自車21の車体外板FB3に投影する。そして、第1の仮想視点から見た、車体外板FB2及び車体外板FB3に投影された二重投影映像と、曲面CS1に投影された投影画像と、自車映像とを合成する。
Similarly, not only the vertical size but also the horizontal size and position of the image may be adjusted. For example, as shown in the top view of FIG. 6, two virtual viewpoints PV2 and PV3 are set as the second virtual viewpoint for calculating the double projection image. The curved surface CS2 viewed from the second virtual viewpoint PV2 is projected onto the vehicle body outer plate FB2 of the
ここで、車体外板FB2及び車体外板FB3に投影された二重投影映像は、第2の仮想視点PV2、PV3から見た鏡面反射映像と比べて横方向にオフセットしてもよい。二重投影映像の横方向の大きさや位置を調整することにより、全周囲の曲面CS1、CS2、CS3の映像を第1の仮想視点PV1から直接にまたは間接的に確認することができる。 Here, the double projection images projected on the vehicle body outer plate FB2 and the vehicle body outer plate FB3 may be offset in the lateral direction as compared with the specular reflection images viewed from the second virtual viewpoints PV2 and PV3. By adjusting the size and position of the double projection image in the horizontal direction, it is possible to directly or indirectly confirm the images of the entire surrounding curved surfaces CS1, CS2, and CS3 from the first virtual viewpoint PV1.
以上では、最終的な映像の視点となる第1の仮想視点PV1から見て、自車21の手前側の曲面CSの死角を減らす方法を述べたが、本発明によれば、自車21の奥側の投影面の死角を減らすこともできる。例えば、第2の仮想視点PV2を図7のように、第1の仮想視点PV1よりも上方の位置に設定し、曲面C1を自車21の車体外板C2の位置に投影してもよい。自車21からみて第1の仮想視点PV1と反対側の死角を車体外板C2の位置に表示できる。
In the above, the method of reducing the blind spot of the curved surface CS on the near side of the
二重投影映像生成部19は、曲面C1を自車21の車体外板のうちベルトラインから上方の部分C2に投影し、この上方部分C2を第1の仮想視点PV1から見た二重投影映像を生成してもい。自車21からみて第1の仮想視点PV1と反対側の死角を直感的に表示できる。このように、第1の仮想視点PV1と反対側の死角を自車21の車体外板上に投影する場合、実際の世界では車両のガラスの部分であるベルトラインの上の領域に投影するのが自然である。自車21からみて第1の仮想視点PV1と反対側の死角を直感的に表示できる。
The double projection
また、図9に示すように、二重投影映像生成部39は、自車21とその周囲の状況から注意すべき周囲の物体または方向を求める状況取得部41を備え、状況取得部41が求めた物体または方向の映像を含む二重投影映像を生成してもよい。自車21とその周囲の状況をセンシングし、特定の方向にて注意すべきものが存在するときのみ、自車21の車体外板上に二重投影映像を表示する。運転者の注意を特にひきつけることができる。特に注意すべき物体を強調して、運転者の注意を特にひきつけることができる。また、周囲の死角を減らすことができる。
Further, as shown in FIG. 9, the double projection
また、実施の形態では、撮像部11が備えるカメラの数が6個である場合を示したが、1〜5、あるいは7以上であってもかまわない。
In the embodiment, the case where the number of cameras included in the
11 撮像部
12 曲面生成部
13 自車形状記憶部
14 視点決定部
15 描画部
16 表示部
17 投影映像生成部
18 自車映像生成部
19、39 二重投影映像生成部
20 合成部
21 自車
41 状況取得部
PV1 第1の仮想視点
PV2、PV3 第2の仮想視点
Ca1〜CaN カメラ
CS 曲面
BL ベルトライン
DESCRIPTION OF
Claims (10)
前記自車の周囲に形成される曲面の形状情報を生成する曲面生成部と、
前記自車の形状情報及び少なくとも第1の仮想視点に関する情報を記憶する自車形状記憶部と、
合成映像を生成する描画部と、
前記合成映像を表示する表示部と、を備え、
前記描画部は、
前記撮像部による映像を前記曲面に投影し、この曲面を前記第1の仮想視点から見た投影画像を生成する投影映像生成部と、
前記第1の仮想視点から見た、前記自車の形状を示す前記自車の映像を生成する自車映像生成部と、
前記撮像部による映像を投影した前記曲面を前記自車の車体外板に投影し、この車体外板を前記第1の仮想視点から見た二重投影映像を生成する二重投影映像生成部と、
前記投影画像、前記自車の映像及び前記二重投影映像を合成した前記合成映像を生成する映像合成部と、を有する
ことを特徴とする車両用監視装置。 An imaging unit that captures an image of the surroundings of the vehicle with one or more cameras;
And surface generation unit for generating shape information of the curved surfaces formed on the periphery of the vehicle,
A host vehicle shape storage unit for storing information on the host vehicle shape information and at least information on the first virtual viewpoint ;
A drawing unit for generating a composite video;
A display unit for displaying the composite video,
The drawing unit
A projection video generation unit configured to project a video image from the imaging unit onto the curved surface and generate a projection image of the curved surface viewed from the first virtual viewpoint;
Viewed from the first virtual viewpoint, and the vehicle image generation unit for generating an image of the vehicle showing the vehicle shape,
Projecting the curved surface obtained by projecting an image by the imaging unit on the vehicle body outer panel of the vehicle, and a double projection image generator for generating a dual projection image viewed this body shell from said first virtual viewpoint ,
The projection image, the vehicle monitoring apparatus characterized by comprising: a video synthesizing unit, the generating the composite image obtained by combining the vehicle image and the double projection image.
前記二重投影映像生成部は、前記曲面を前記第2の仮想視点に向かって前記自車の車体外板に投影し、この車体外板を前記第1の仮想視点から見た前記二重投影映像を生成する
ことを特徴とする請求項1に記載の車両用監視装置。 The vehicle shape storage unit further stores information on a second virtual viewpoint different from the first virtual viewpoint,
The double projection video generation unit projects the curved surface onto the vehicle body outer plate of the host vehicle toward the second virtual viewpoint, and the double projection when the vehicle body outer plate is viewed from the first virtual viewpoint. The vehicle monitoring device according to claim 1, wherein an image is generated.
前記自車の周囲に形成される曲面の形状情報を取得し、
前記自車の形状情報及び少なくとも第1の仮想視点に関する情報を読み出し、
前記映像を前記曲面に投影し、この曲面を前記第1の仮想視点から見た投影画像を生成し、
前記第1の仮想視点から見た、前記自車の形状を示す前記自車の映像を生成し、
前記映像を投影した前記曲面を前記自車の車体外板に投影し、この車体外板を前記第1の仮想視点から見た二重投影映像を生成し、
前記投影画像、前記自車の映像及び前記二重投影映像を合成した合成映像を生成し、
前記合成映像を表示する
ことを特徴とする車両用監視方法。 The image of the peripheral area of the vehicle captured by the one or more cameras,
Acquires shape information of the curved surfaces formed on the periphery of the vehicle,
Read out information about the shape of the vehicle and at least the first virtual viewpoint ,
Projecting the video onto the curved surface, and generating a projected image of the curved surface viewed from the first virtual viewpoint;
Generating an image of the vehicle showing the shape of the vehicle viewed from the first virtual viewpoint;
Projecting the curved surface obtained by projecting the image on the vehicle body outer panel of the vehicle, it generates a double projection image viewed this body shell from said first virtual viewpoint,
The projection image, the generating a combined image obtained by combining the vehicle image and the double projection images,
The vehicle monitoring method, comprising displaying the composite image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010153887A JP5549436B2 (en) | 2010-07-06 | 2010-07-06 | Vehicle monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010153887A JP5549436B2 (en) | 2010-07-06 | 2010-07-06 | Vehicle monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012019274A JP2012019274A (en) | 2012-01-26 |
JP5549436B2 true JP5549436B2 (en) | 2014-07-16 |
Family
ID=45604211
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010153887A Active JP5549436B2 (en) | 2010-07-06 | 2010-07-06 | Vehicle monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5549436B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6785480B2 (en) * | 2019-01-28 | 2020-11-18 | パナソニックIpマネジメント株式会社 | Image synthesizer and control method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1115250B1 (en) * | 1998-07-31 | 2012-06-06 | Panasonic Corporation | Method and apparatus for displaying image |
JP3753681B2 (en) * | 2000-07-19 | 2006-03-08 | 松下電器産業株式会社 | Monitoring system |
JP5439890B2 (en) * | 2009-03-25 | 2014-03-12 | 富士通株式会社 | Image processing method, image processing apparatus, and program |
-
2010
- 2010-07-06 JP JP2010153887A patent/JP5549436B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012019274A (en) | 2012-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8817079B2 (en) | Image processing apparatus and computer-readable recording medium | |
CN106464847B (en) | Image compounding system and image synthesizing device and image synthesis method for it | |
JP3286306B2 (en) | Image generation device and image generation method | |
CN104871084B (en) | Self adaptation projector | |
JP3871614B2 (en) | Driving assistance device | |
US9591280B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP6149676B2 (en) | Image processing apparatus, image processing method, and program | |
US20200241731A1 (en) | Virtual reality vr interface generation method and apparatus | |
JP5299296B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
US20170011267A1 (en) | Image processing apparatus and method that synthesizes an all-round image of a vehicle's surroundings | |
US20130002809A1 (en) | Image generating apparatus, synthesis table generating apparatus, and computer readable storage medium | |
JP7182920B2 (en) | Image processing device, image processing method and program | |
US20180182160A1 (en) | Virtual object lighting | |
CN110419061A (en) | Mixed reality system with the synthesis of multi-source virtual content and the method using system generation virtual content | |
JP2015074436A (en) | Image processing device, image processing method, and program | |
JP2009151524A (en) | Image display method and image display apparatus | |
JP5521750B2 (en) | Simulation program, simulation apparatus, and simulation method | |
US11140364B2 (en) | Sensor fusion based perceptually enhanced surround view | |
JPWO2014033886A1 (en) | Image processing apparatus, image processing method, and program | |
JP7040485B2 (en) | Display control device and display control program | |
CN109764888A (en) | Display system and display methods | |
JP7084400B2 (en) | 3D surround view system | |
JP5549436B2 (en) | Vehicle monitoring device | |
CN112896045A (en) | Vehicle A-pillar blind area perspective method and system and vehicle | |
JP2015032936A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130530 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140422 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140505 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5549436 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |