JP4907883B2 - Vehicle periphery image display device and vehicle periphery image display method - Google Patents
Vehicle periphery image display device and vehicle periphery image display method Download PDFInfo
- Publication number
- JP4907883B2 JP4907883B2 JP2005064968A JP2005064968A JP4907883B2 JP 4907883 B2 JP4907883 B2 JP 4907883B2 JP 2005064968 A JP2005064968 A JP 2005064968A JP 2005064968 A JP2005064968 A JP 2005064968A JP 4907883 B2 JP4907883 B2 JP 4907883B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- overhead
- unit
- dimensional object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000012545 processing Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 9
- 239000007787 solid Substances 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 69
- 240000004050 Pentaglottis sempervirens Species 0.000 description 27
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 27
- 239000000203 mixture Substances 0.000 description 22
- 238000004364 calculation method Methods 0.000 description 14
- 230000002093 peripheral effect Effects 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000005484 gravity Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000002131 composite material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000037433 frameshift Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 101100492406 Caenorhabditis elegans unc-85 gene Proteins 0.000 description 1
- 101100436058 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) asf-1 gene Proteins 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Description
本発明は、車両周辺画像表示装置および車両周辺画像表示方法に係り、特に車両の周辺を撮像し運転者に安全な運転を可能とする画像を提供する車両周辺画像表示装置および車両周辺画像表示方法に関する。 The present invention relates to a vehicle periphery image display device and a vehicle periphery image display method, and more particularly to a vehicle periphery image display device and a vehicle periphery image display method that provide an image that captures the periphery of the vehicle and enables a driver to drive safely. About.
従来から、車両等の周辺に設けられた監視カメラによって車両等の周辺を撮像し、撮像された画像データを運転者に提供することで、より安全な運転を実現するための技術が種々開発され普及してきている。 Conventionally, various technologies for realizing safer driving have been developed by imaging the periphery of a vehicle or the like with a monitoring camera provided around the vehicle or the like and providing the captured image data to the driver. It has become widespread.
例えば、見通しの悪い交差点やＴ字路での左右確認の支援を行うブラインドモニタは、車両の先端部近傍に複数設けられた監視カメラの画像を表示するものである。 For example, a blind monitor that supports left and right confirmations at intersections and T-junctions with poor visibility displays images of a plurality of surveillance cameras provided near the front end of the vehicle.
また、サイドミラー等に取り付けられるサイドブラインドモニタは、左前輪付近から前方を監視するものが多く、狭い道路の通り抜けや障害回避、或いは幅寄せ等に効果を発揮している。 Further, many side blind monitors attached to side mirrors or the like monitor the front from the vicinity of the left front wheel, and are effective in passing through narrow roads, avoiding obstacles, or shifting in width.
さらに、後方車両ナンバプレート近傍に設置されるバックガイドモニタは、車庫入れや並列駐車等を支援するものとして普及している。 Furthermore, a back guide monitor installed in the vicinity of the rear vehicle number plate is widely used to support garage entry and parallel parking.
これらのブラインドモニタ等に用いられる監視カメラは、比較的画角が小さく、監視を所望する方向を指向する監視カメラを適宜手動或いは自動で切り換えて選択するものが多い。 Many of the surveillance cameras used for these blind monitors and the like have a relatively small angle of view and select a surveillance camera that is directed in a desired direction for monitoring by switching manually or automatically as appropriate.
監視カメラの画角を拡大する技術としては、例えば特許文献１には、魚眼レンズを用いた監視装置に関する技術が開示されている。特許文献１は、後方監視カメラの１つに魚眼レンズを用いて広い視野の画像を得ると同時に、魚眼画像を通常の画像に変換して運転者に違和感の無い画像に変換し、通常のバックミラー画像と重畳することによって車両後方の死角を排除する技術を開示している。
As a technique for enlarging the angle of view of the monitoring camera, for example,
また、特許文献２には、車両周辺を監視する複数の監視カメラを車両の周囲に設け、これら複数の監視カメラから得られる画像を例えば車両の上方の仮想視点から俯瞰した画像に変換・合成する技術が開示されている。
上述したブラインドモニタ、サイドブラインドモニタ、或いはバックガイドモニタは、比較的簡素な構成で実現できるため、今日広く普及している技術である。 The above-described blind monitor, side blind monitor, or back guide monitor can be realized with a relatively simple configuration, and thus is a widely used technology today.
しかしながら、これらの技術による監視画像は、運転状況に応じて適宜選択し切り換えることを前提としており、監視対象とする空間は限定されたものである。例えばブラインドモニタを用いて見通しの悪い交差点やＴ字路において前方左右方向を監視しているときには車両側方に接近している二輪車や通行者をモニタすることはできない。 However, monitoring images based on these techniques are premised on appropriate selection and switching according to driving conditions, and the space to be monitored is limited. For example, when a blind monitor is used to monitor the front left / right direction at an intersection or T-shaped road with poor visibility, it is not possible to monitor a motorcycle or a passerby approaching the side of the vehicle.
また、サイドブラインドモニタを選択している場合には、車両後方の障害物や車両後方に接近している通行者等をモニタすることができない。 In addition, when the side blind monitor is selected, it is impossible to monitor an obstacle behind the vehicle, a passerby approaching the vehicle rear, or the like.
バックガイドモニタは車庫入れや並列駐車の運転支援に有効であるが、車両後方の比較的車両に近接した空間をモニタしているため、車両とある程度離れた地点にいる接近車両は必ずしも十分にモニタすることはできない。 The back guide monitor is effective for driving support for garage parking and parallel parking, but because it monitors the space relatively close to the vehicle behind the vehicle, the approaching vehicle at a certain distance from the vehicle is not always sufficiently monitored. I can't do it.
このように、上記のブラインドモニタ等は、特定の運転状況において特定の監視範囲の画像を運転者に提供することで運転者を支援するものであり、監視方向や監視範囲は限定されたものとなっており車両周辺の部分的な画像を提供するに留まっている。 As described above, the blind monitor or the like supports the driver by providing the driver with an image of a specific monitoring range in a specific driving situation, and the monitoring direction and the monitoring range are limited. It is only providing partial images around the vehicle.
特許文献１は、後方監視カメラに魚眼レンズを用いて画角を拡大する実施形態を開示しているが、基本的には上記ブラインドモニタ等と同様に特定の監視方向をモニタするものである。
これに対して、特許文献２が開示する車両周辺画像表示装置は、車両周辺を監視する複数の監視カメラを車両の周囲に設け、これら複数の監視カメラから得られる画像を例えば車両の上方の仮想視点から俯瞰した俯瞰画像に変換・合成するもので、車両周辺の広い範囲の画像を選択や切り換え操作をすることなく１つの画像として提供するものである。このため、運転者等にユーザに対する利便性が向上するとしている。 On the other hand, the vehicle periphery image display device disclosed in Patent Document 2 is provided with a plurality of monitoring cameras for monitoring the periphery of the vehicle, and images obtained from the plurality of monitoring cameras are, for example, virtual above the vehicle. The image is converted and combined into a bird's-eye view image viewed from the viewpoint, and a wide range of images around the vehicle is provided as a single image without selection or switching operation. For this reason, it is said that the convenience for the user is improved for the driver or the like.
特許文献２が開示する車両周辺画像表示装置では、標準レンズ装着の通常のカメラを使用していると推定される。このため、車両周辺の全方位（３６０度）の合成画像を得るために８台の監視カメラ画像を合成する実施形態となっている。 In the vehicle periphery image display device disclosed in Patent Document 2, it is estimated that a normal camera with a standard lens is used. For this reason, in order to obtain a composite image of all directions (360 degrees) around the vehicle, it is an embodiment in which eight surveillance camera images are combined.
監視カメラに魚眼レンズ等の広画角レンズを用いることによって、より少ない監視カメラ、例えば４台程度の監視カメラであっても車両周辺の全方位（３６０度）を監視することが可能になると考えられる。 By using a wide-angle lens such as a fisheye lens for the surveillance camera, it is considered that even with fewer surveillance cameras, for example, about 4 surveillance cameras, it is possible to monitor all directions (360 degrees) around the vehicle. .
ところで、実際の監視カメラ、例えばバックミラー等に装着された監視カメラの画像を、車両上方にある仮想視点から俯瞰した俯瞰画像に正確に変換するためには対象物の３次元情報が必要である。 By the way, in order to accurately convert an image of an actual surveillance camera, for example, a surveillance camera mounted on a rearview mirror, into an overhead image viewed from a virtual viewpoint above the vehicle, three-dimensional information of the object is necessary. .
しかしながら、実際の監視カメラで得られる画像情報は、車両周辺の立体物（３次元情報）を２次元に投射した２次元情報として得られるため、１つの次元情報が欠落したものとなっている。複数の監視カメラを用いて同一の対象物を撮像することによって３次元情報を得ることも原理的には可能であるが、対象物が車両の全周囲に亘るような場合には、監視カメラの数も増加し処理も複雑になるため、現実的な解決方法とは言い難い。 However, since the image information obtained by an actual surveillance camera is obtained as two-dimensional information obtained by projecting a three-dimensional object (three-dimensional information) around the vehicle in two dimensions, one-dimensional information is missing. In principle, it is possible to obtain three-dimensional information by imaging the same object using a plurality of surveillance cameras. However, if the object covers the entire circumference of the vehicle, Since the number increases and the processing becomes complicated, it is not a realistic solution.
そこで、バックミラー等に装着された監視カメラの２次元画像を、車両上方にある仮想視点から俯瞰した俯瞰画像に変換する際には、対象物の立体形状（空間モデル）に対して所定の仮定を行うことがしばしば行われる。 Therefore, when a two-dimensional image of a surveillance camera mounted on a rearview mirror or the like is converted into an overhead image viewed from a virtual viewpoint above the vehicle, predetermined assumptions are made with respect to the three-dimensional shape (space model) of the object. Is often done.
具体的には、立体形状をなす対象物を路面平面等の面上に投射された投射画像（２次元形状）として扱う（特許文献２参照）。 Specifically, an object having a three-dimensional shape is treated as a projection image (two-dimensional shape) projected on a plane such as a road surface (see Patent Document 2).
この結果、俯瞰画像を見る運転者は、路上にある立体物を路面上の模様として誤認する虞が生じる。運転者が余裕をもって俯瞰画像を観察することができる場合であれば、対象画像の形状や色彩等から運転者のもつ経験に基づいて対象物が立体物であることを認識することが可能であろう。しかしながら、車両周辺画像表示装置が効果を発揮するような場面では、運転者に余裕をもって俯瞰画像を観察することが期待できない場合が多く、俯瞰画像に映し出された対象物が立体物であるか否かを瞬時に判断できる機能が要望されている。 As a result, the driver who sees the bird's-eye view image may misidentify a three-dimensional object on the road as a pattern on the road surface. If the driver can observe the bird's-eye view image with a margin, it is possible to recognize that the object is a three-dimensional object based on the experience of the driver from the shape and color of the object image. Let's go. However, in scenes where the vehicle periphery image display device is effective, it is often impossible to expect the driver to observe the overhead image with a margin, and whether or not the object displayed in the overhead image is a three-dimensional object. There is a demand for a function that can instantly determine whether or not.
また、視線方向の異なる２台のカメラの共通の視野領域に立体物が存在する場合には、２台のカメラから路面上に投射される位置が異なるため、路面に接している部分以外は分離した合成画像となってしまう。 Also, when there is a three-dimensional object in the common field of view of two cameras with different line-of-sight directions, the positions projected from the two cameras on the road surface are different, so the parts other than the part in contact with the road surface are separated. Will result in a composite image.
例えば、２台のカメラの共通の視野領域に１人の歩行者が入った場合には、路面上にある歩行者の足部では合致した画像が得られるものの、歩行者の胴体部や頭部の部分は分離した画像として合成されるため、あたかも２人の歩行者が存在するかのような誤認を生じる虞もある。 For example, if one pedestrian enters the common field of view of two cameras, a matching image can be obtained on the pedestrian's foot on the road surface, but the pedestrian's torso and head Since this part is synthesized as a separated image, there is a risk of misunderstanding as if there are two pedestrians.
特許文献２が開示する技術では、立体物と平面物とを容易に区別することができない。また、２台のカメラの共通の視野領域に存在する立体物の分離現象を防止できない。 The technique disclosed in Patent Document 2 cannot easily distinguish between a three-dimensional object and a planar object. In addition, the separation phenomenon of the three-dimensional object existing in the common visual field area of the two cameras cannot be prevented.
また、車両の全周囲を映し出す俯瞰画像が提供できたとしても、それだけでは運転者に十分な安全性を提供できたとは言えない。運転状況を自動的に把握し、運転状況に応じた最適な運転支援情報を俯瞰画像に加えて表示し、統合的に運転支援を行うことができる車両周辺画像表示装置が求められている。 Moreover, even if it is possible to provide a bird's-eye view image that reflects the entire periphery of the vehicle, it cannot be said that sufficient safety can be provided to the driver. There is a need for a vehicle periphery image display device that can automatically grasp a driving situation, display optimal driving assistance information according to the driving situation in addition to a bird's-eye view image, and perform driving assistance in an integrated manner.
本発明は上記事情に鑑みてなされたもので、車両周辺の立体物を識別可能にかつ適切に表示することができる俯瞰画像を生成すると共に、運転状況を自動的に把握し、運転状況に応じた最適な運転支援情報を俯瞰画像に加えて表示し統合的に運転支援を行うことができる車両周辺画像表示装置および車両周辺画像表示方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and generates a bird's-eye view image that can identify and appropriately display a three-dimensional object around the vehicle, automatically grasps the driving situation, and responds to the driving situation. Another object of the present invention is to provide a vehicle periphery image display device and a vehicle periphery image display method capable of displaying the optimum driving support information in addition to the overhead image and performing integrated driving support.
本発明に係る車両周辺画像表示装置は、上記課題を解決するため、請求項１に記載したように、車両の周辺を撮像する複数の魚眼カメラから得られる複数の画像を夫々通常の画像に正規化処理し正規化画像を生成する正規化処理部と、前記正規化画像から、車両上方の仮想視点から車両の周辺を俯瞰する俯瞰画像を生成する俯瞰画像生成部と、前記車両の運転を支援するための運転支援画像を生成する支援画像生成部と、前記運転支援画像と前記俯瞰画像とを合成する画像合成部と、前記俯瞰画像とともに前記運転支援画像を表示する表示部と、前記車両周辺の立体物の位置または方向を検出する立体物検出部と、を備え、前記支援画像生成部は、検出された前記立体物の位置または方向に応じて、前記立体物を撮像している前記正規化画像を前記運転支援画像として選択し、前記画像合成部は、前記俯瞰画像に含まれる前記障害物と前記運転支援画像とが相互に重ならないように、前記俯瞰画像中の前記障害物の位置に応じて前記俯瞰画像に合成される前記運転支援画像の表示位置を動的に決定する、ことを特徴とする。 In order to solve the above problems, a vehicle periphery image display device according to the present invention converts a plurality of images obtained from a plurality of fisheye cameras that capture the periphery of the vehicle into normal images. A normalization processing unit that generates a normalized image by performing a normalization process, an overhead image generation unit that generates an overhead view image that overlooks the periphery of the vehicle from a virtual viewpoint above the vehicle, and driving the vehicle. A support image generating unit that generates a driving support image for supporting, an image combining unit that combines the driving support image and the overhead image, a display unit that displays the driving support image together with the overhead image, and the vehicle A three-dimensional object detection unit that detects a position or direction of a surrounding three-dimensional object, and the support image generation unit images the three-dimensional object according to the detected position or direction of the three-dimensional object. Normalized image Selected as the driving support image, the image synthesizing unit, said as the obstacle included in the overhead image and said driving support image do not overlap with each other, depending on the position of the obstacle in the bird's-eye view image The display position of the driving support image combined with the overhead image is dynamically determined .
また、本発明に係る車両周辺画像表示方法は、上記課題を解決するため、請求項２に記載したように、車両の周辺を撮像する複数の魚眼カメラから得られる複数の画像を夫々通常の画像に正規化処理し正規化画像を生成するステップと、前記正規化画像から、車両上方の仮想視点から車両の周辺を俯瞰する俯瞰画像を生成するステップと、前記車両の運転を支援するための運転支援画像を生成するステップと、前記運転支援画像と前記俯瞰画像とを合成するステップと、前記俯瞰画像とともに前記運転支援画像を表示するステップと、前記車両周辺の立体物の位置または方向を検出するステップと、を備え、前記運転支援画像を生成するステップでは、検出された前記立体物の位置または方向に応じて、前記立体物を撮像している前記正規化画像を前記運転支援画像として選択し、前記合成するステップでは、前記俯瞰画像に含まれる前記障害物と前記運転支援画像とが相互に重ならないように、前記俯瞰画像中の前記障害物の位置に応じて前記俯瞰画像に合成される前記運転支援画像の表示位置を動的に決定する、ことを特徴とする。 In addition, in order to solve the above-described problem, the vehicle periphery image display method according to the present invention provides a plurality of images obtained from a plurality of fisheye cameras that capture images of the periphery of the vehicle. A step of normalizing the image to generate a normalized image, a step of generating an overhead view image for overlooking the periphery of the vehicle from a virtual viewpoint above the vehicle from the normalized image, and for supporting driving of the vehicle Generating a driving assistance image; synthesizing the driving assistance image and the overhead image; displaying the driving assistance image together with the overhead image; and detecting a position or direction of a three-dimensional object around the vehicle And normalizing imaging the three-dimensional object according to the detected position or direction of the three-dimensional object in the step of generating the driving assistance image. Select an image as the driving support image, wherein in the step of combining, as the obstacle included in the overhead image and said driving support image do not overlap each other, the position of the obstacle in the bird's-eye view image Accordingly, the display position of the driving support image combined with the overhead image is dynamically determined .
本発明に係る車両周辺画像表示装置および車両周辺画像表示方法によれば、車両周辺の立体物を識別可能にかつ適切に表示することができる俯瞰画像を生成すると共に、運転状況を自動的に把握し、運転状況に応じた最適な運転支援情報を俯瞰画像に加えて表示し統合的に運転支援を行うことができる。 According to the vehicle periphery image display device and the vehicle periphery image display method according to the present invention, a bird's-eye view image capable of identifying and appropriately displaying a three-dimensional object around the vehicle is generated and the driving situation is automatically grasped. In addition, the optimum driving support information corresponding to the driving situation can be displayed in addition to the bird's-eye view image and integrated driving support can be performed.
本発明に係る車両周辺画像表示装置及び車両周辺画像表示方法の実施形態について添付図面を参照して説明する。 Embodiments of a vehicle periphery image display device and a vehicle periphery image display method according to the present invention will be described with reference to the accompanying drawings.
（１）車両周辺画像表示装置及び車両周辺画像表示方法の概念と基本構成
図１（ａ）及び（ｂ）は、本発明の実施形態に係る車両周辺画像表示装置及び車両周辺画像表示方法を用いて車両１００の周辺画像を生成、表示する際の全体概念を示す図である。
(1) Concept and Basic Configuration of Vehicle Peripheral Image Display Device and Vehicle Peripheral Image Display Method FIGS. 1A and 1B use the vehicle peripheral image display device and the vehicle peripheral image display method according to the embodiment of the present invention. 2 is a diagram showing an overall concept when generating and displaying a peripheral image of a
図１（ａ）に示したように、車両１００の外周の適宜の部位に複数の監視カメラ（魚眼カメラ）２００が装着される。監視カメラ２００の台数や装着位置は特に限定するものではないが、例えば、車両１００の前方ナンバプレート近辺に前方監視カメラ２００ａが、後方ナンバプレート近辺に後方監視カメラ２００ｂが装着される。また、左サイドミラーには左側方監視カメラ２００ｃが、右サイドミラーには右側方監視カメラ２００ｄがそれぞれ装着される。
As shown in FIG. 1A, a plurality of monitoring cameras (fisheye cameras) 200 are attached to appropriate portions on the outer periphery of the
各監視カメラ２００ａ、２００ｂ、２００ｃ、及び２００ｄ（以下、これらの総称を意味する場合は単に監視カメラ２００と呼ぶ。）は、図１（ｂ）に示したように、車両１００の周辺領域、即ち前方領域Ａoa、後方領域Ａob、左側方領域Ａoc、及び右側方領域Ａodの各領域の画像を撮像する。
Each
監視カメラ２００の画角は特に限定するものではないが、少ない台数で車両１００の全集をカバーすることが可能であることから、広画角であることが好ましい。例えば水平方向の画角が約１８０度或いはそれ以上の魚眼レンズを用いた４台の監視カメラ２００によって、車両１００の周辺の総ての範囲（水平方向３６０度の範囲）を監視することができる。
Although the angle of view of the
監視カメラ２００のレンズが魚眼レンズ等の超広画角の場合は撮像された画像は歪みを伴った画像となるが、本発明の実施形態に係る車両周辺画像表示装置及び車両周辺画像表示方法では、適宜の歪み補正手段によって歪みの無い画像（以下、正規化画像と呼ぶ）に変換するものとしている。
When the lens of the
各監視カメラ２００ａ、２００ｂ、２００ｃ、及び２００ｄの撮像画像に対して歪みを補正した正規化画像は、対応する領域、即ち前方領域Ａoa、後方領域Ａob、左側方領域Ａoc、及び右側方領域Ａodの各領域を、それぞれの監視カメラ２００が装着されている視点から眺めた画像となっている。
The normalized images obtained by correcting the distortions for the captured images of the
各正規化画像は、車両１００の上方に設けた仮想視点Ｐから車両周辺を俯瞰した画像に変換される。この変換は、適宜のパラメータを備えた画像変換行列等を用いて行うことができる。さらに、個々の俯瞰画像を合成することによって、車両１００の全周囲を仮想視点Ｐから俯瞰した俯瞰画像Ｐddが生成される。
Each normalized image is converted from a virtual viewpoint P provided above the
このようにして生成された俯瞰画像Ｐddを、例えば運転席前部に設けられた画像表示部（表示部）１４０に表示して運転者に提供することで、車両１００の全周囲の障害物や通行者等の状況を運転者に対して瞬時に知らしめることが可能となり、運転の安全性を向上させることができる。 The bird's-eye view image Pdd generated in this way is displayed on, for example, an image display unit (display unit) 140 provided in the front part of the driver's seat and provided to the driver. It is possible to instantly inform the driver of the situation of the passerby and the like, and driving safety can be improved.
また、本発明の実施形態に係る車両周辺画像表示装置及び車両周辺画像表示方法では、俯瞰画像Ｐddの中に通行者等の立体物が存在する場合には、その立体物画像を識別し、運転者に視認容易に提示することで、運転の安全性をより一層向上させることができる。 Further, in the vehicle periphery image display device and the vehicle periphery image display method according to the embodiment of the present invention, when a three-dimensional object such as a passerby exists in the overhead image Pdd, the three-dimensional object image is identified and the driving is performed. The safety of driving can be further improved by presenting it easily to the user.
この他、運転状況をモニタし、運転状況に対応した運転支援情報や画像情報を俯瞰画像Ｐddに合成して表示させることによって、統合的な運転支援を提供することができる。 In addition, integrated driving support can be provided by monitoring driving conditions and combining and displaying driving support information and image information corresponding to the driving conditions on the overhead image Pdd.
図２は、本発明の実施形態に係る車両周辺画像表示装置１の基本構成を示す図である。
FIG. 2 is a diagram showing a basic configuration of the vehicle periphery
車両周辺画像表示装置１は、魚眼レンズを備える各監視カメラ２００ａ、２００ｂ、２００ｃ、及び２００ｄから入力される画像データを一時的に記憶する画像バッファ２、魚眼レンズで撮像された画像の歪みを補正し個々の（監視カメラ２００の数に対応した）正規化画像として出力する正規化処理部３、個々の正規化画像を仮想視点Ｐから俯瞰した画像に変換しさらに合成することによって車両１００の全周囲を俯瞰した俯瞰画像Ｐddを生成する俯瞰画像生成部４、俯瞰画像Ｐddを他の画像や運転支援画像と合成し画像表示部１４０へ出力する画像合成部６を備えている。
The vehicle peripheral
また、車両周辺画像表示装置１は、生成した俯瞰画像Ｐddの中に立体物が存在するか否かを識別し、立体物が存在する場合にはその立体物の画像を画像合成部６へ出力する立体物識別部５を備えている。
Further, the vehicle peripheral
さらにまた、車両周辺画像表示装置１は、車速や繰舵角等をモニタする車両センサ１１０や、車両１００の周辺の障害物を検出する立体物検出部１２０からの情報に基づいて、運転者が関心を向けるであろう関心方向や関心領域を推定する関心領域推定部７を備える。まあ、推定された関心領域の画像を正規化画像から抽出、拡大等して関心領域画像（部分画像）を生成する他、複数の正規化画像を正規化処理部３から入力し画像合成部６へ出力する支援画像生成部８を備えている。
Furthermore, the vehicle periphery
この他、車両周辺画像表示装置１は、低速運転時に車速や繰舵角等から車両１００の軌跡、例えば車両の前後左右の４隅の予想軌跡を算出する軌跡算出部９、算出された予想軌跡や車両１００の周辺の安全余裕領域を示すガイド線等の運転支援画像を生成し、画像合成部６へ出力するガイド線等生成部１０を備えている。
In addition, the vehicle periphery
上記のように構成された車両周辺画像表示装置１の動作について、各構成部の細部構成を参照しつつ説明する。
The operation of the vehicle periphery
（２）俯瞰画像生成部と立体物識別部の細部構成と動作
図３は、俯瞰画像生成部４の細部構成を示した図である。
(2) Detailed Configuration and Operation of Overhead Image Generation Unit and Solid Object Identification Unit FIG. 3 is a diagram illustrating a detailed configuration of the overhead view image generation unit 4.
俯瞰画像生成部４は、俯瞰画像変換部４０ａ、４０ｂ、４０ｃ、及び４０ｄ、変換パラメータ生成部４１，及び俯瞰画像統合部４２を備えて構成される。
The overhead image generation unit 4 includes an overhead
俯瞰画像生成部４には、正規化画像が入力される。正規化画像とは、例えば魚眼レンズを備え車両１００の周囲に装着された４台の監視カメラ２００で撮像された画像を正規化処理部３で補正した後の画像である。
The overhead image generation unit 4 receives a normalized image. The normalized image is, for example, an image obtained by correcting images captured by four
個々の正規化画像は、俯瞰画像変換部４０ａ、４０ｂ、４０ｃ、及び４０ｄにおいて、各監視カメラ２００の視点で見た画像から、仮想視点Ｐから俯瞰した個々の俯瞰画像に変換される。この変換は、各監視カメラ２００に関するパラメータと仮想視点Ｐに関するパラメータ等によって生成される変換パラメータに基づいて行うことができる。
Individual normalized images are converted from images viewed from the viewpoint of each
各監視カメラ２００に関するパラメータとは、各監視カメラ２００の位置情報、視線方向等であり、仮想視点Ｐに関するパラメータとは、仮想視点Ｐの位置情報、仮想視点から俯瞰する視線方向、視野範囲等であり、これらの変換パラメータは変換パラメータ生成部４１で生成される。
The parameters related to each
個々の俯瞰画像、例えば４台の監視カメラ２００に基づく４つの俯瞰画像は、俯瞰画像統合部４２において１つの俯瞰画像Ｐddに統合される。統合された俯瞰画像Ｐddは、車両１００の全周囲を仮想視点Ｐから俯瞰した画像となっている。
Individual overhead images, for example, four overhead images based on the four
生成された俯瞰画像Ｐddは、立体物識別部５及び画像合成部６へ出力される。
The generated overhead image Pdd is output to the three-dimensional
立体物識別部５は、俯瞰画像Ｐddの中に立体物が含まれるか否かを判定し、立体物が含まれる場合にはその立体物の画像を抽出し画像合成部６へ出力することを目的として設けられているものである。
The three-dimensional
監視カメラ２００が撮像する対象物は、平面物（路上の模様等を含む）に限らず立体物、例えば路上に設置されている障害物や路上を通行する通行者等を含むものである。
Objects to be imaged by the
しかしながら、図４に示したように、例えば左側方監視カメラ２００ｃが立体物Ｏｂ（例えば路上を通行する幼児等）を撮像する場合には、左側方監視カメラ２００ｃから得られる画像は立体物Ｏｂを路上に投射した投射画像として得られる。即ち、立体物Ｏｂの３次元情報は失われ、路面上に存在する２次元物として捉えられる。
However, as shown in FIG. 4, for example, when the left
このため、この投射画像を仮想視点Ｐから俯瞰した俯瞰画像Ｐddに変換したとしても、図４（ｂ）に示したように路面上に投射された俯瞰画像Ｐodとして得られることになる。もっとも、複数の監視カメラを用いて同一の対象物を撮像することによって３次元情報を取得することも原理的には可能であるが、対象物が車両の全周囲に亘るような場合には、監視カメラの数も増加し処理も複雑になるため、現実的な解決方法とは言い難い。 For this reason, even if this projection image is converted into an overhead image Pdd viewed from the virtual viewpoint P, it is obtained as an overhead image Pod projected on the road surface as shown in FIG. Of course, it is also possible in principle to acquire three-dimensional information by imaging the same object using a plurality of surveillance cameras, but when the object extends all around the vehicle, Since the number of surveillance cameras increases and the processing becomes complicated, it is difficult to say that this is a realistic solution.
そこで、本発明の実施形態では、監視カメラ２００で得られるの２次元画像を、車両上方にある仮想視点から俯瞰した俯瞰画像に変換する際には、対象物の立体形状（空間モデル）に対して、立体対象物は路面上に投射された２次元形状をなしているものとの仮定を行っている。このため、俯瞰画像Ｐddで得られる立体物の画像は路面上に投射された形状として表現される。
Therefore, in the embodiment of the present invention, when a two-dimensional image obtained by the
この結果、俯瞰画像を見る運転者は、路上にある立体物Ｏｂを路面上の模様として誤認する虞が生じる。運転者が余裕をもって俯瞰画像Ｐddを観察することができる場合であれば、対象画像の形状や色彩等から運転者のもつ経験に基づいて対象物Ｏｂが立体物であることを認識することが可能であろう。しかしながら、車両周辺画像表示装置１が効果を発揮するような場面では、運転者に余裕をもって俯瞰画像Ｏｂを観察することが期待できな場合多い。このため、立体物識別部５において俯瞰画像Ｐddに映し出された対象物が立体物であるか否か判定する機能を別途設ける構成としている。
As a result, the driver who views the bird's-eye view image may misidentify the three-dimensional object Ob on the road as a pattern on the road surface. If the driver can observe the overhead image Pdd with a margin, it is possible to recognize that the object Ob is a three-dimensional object based on the experience of the driver from the shape and color of the target image. Will. However, in a scene where the vehicle periphery
図５は、立体物識別部５の細部構成を示したものである。
FIG. 5 shows a detailed configuration of the three-dimensional
立体物識別部５は、俯瞰画像生成部４から入力される俯瞰画像Ｐddを例えば１フレーム分記憶し１フレーム時間だけ遅延させるフレームメモリ部５０と、１フレーム時間遅延された俯瞰画像Ｐddを、１フレーム時間に車両が移動する移動距離だけシフトさせるフレームシフト画像生成部５１を備える。
The three-dimensional
また、フレームシフトされた前フレームの俯瞰画像Ｐdd(N)’と新たなフレームの俯瞰画像Ｐdd(N)との差分画像Ｐdfを求める差分画像処理部５３と、差分画像と前記新たなフレームの俯瞰画像Ｐdd(N)との相関処理を行い立体物画像を抽出する相関処理部５４とを備える。
Further, the difference
この他、車両センサ１１０から入力される車速と、所定のフレーム時間とからフレーム時間あたりの移動量Ｄｆを算出するフレーム移動量演算部５２を備えている。
In addition, a frame movement
上記のように構成された立体物識別部５の動作について図６を用いて説明する。
The operation of the three-dimensional
まず、フレームメモリ部５０に、（Ｎ−１）フレーム目の俯瞰画像Ｐdd(N-1)が入力され、記憶される。フレームメモリ部５０は、俯瞰画像Ｐdd(N-1)を１フレーム時間だけ遅延させる。俯瞰画像Ｐdd(N-1)には、例えば、立体物Ｏｂが路面に投射された画像Ｉｍ１と、路面上に描かれた停止線の画像Ｉｍs1、及び同じく路面上に描かれた「徐行注意」の注意標識の画像Ｉｍs2とが含まれている。
First, the overhead image Pdd (N-1) of the (N-1) th frame is input and stored in the
一方、フレーム移動量演算部５２では、車速センサ１１０から入力される車速Ｖと所定のフレーム時間Ｔｆとから、フレーム時間Ｔｆでの車両１００の移動量Ｄｆを算出する。
On the other hand, the frame movement
次に、フレームシフト画像生成部５１において、俯瞰画像Ｐdd(N-1)に対して一律に前記移動量Ｄｆに基づいてシフト処理を行い、シフト俯瞰画像Ｐdd(N)’を生成する。シフト俯瞰画像Ｐdd(N)’は、（Ｎ）フレーム目の俯瞰画像Ｐdd(N)を予測するものである。
Next, the frame shift
他方、（Ｎ）フレーム目では、実際に撮像された新たな俯瞰画像Ｐdd(N)が入力される。この俯瞰画像Ｐdd(N)には、（Ｎ）フレーム目の監視カメラ２００の位置から撮像された立体物Ｏｂの投射画像Ｉｍ２と、路面上に描かれた停止線の画像Ｉｍs1、及び同じく路面上に描かれた「徐行注意」の注意標識の画像Ｉｍs2とが含まれている。
On the other hand, in the (N) th frame, a new overhead image Pdd (N) actually captured is input. The overhead image Pdd (N) includes a projection image Im2 of the three-dimensional object Ob captured from the position of the
停止線の画像Ｉｍs1および注意標識の画像Ｉｍs2については、車両の位置がＤｆだけ移動しているため（Ｎ−１）フレーム目で得られた俯瞰画像Ｐdd(N-1)に対して移動量Ｄｆだけシフトした相似画像が得られる。 For the stop line image Ims1 and the caution sign image Ims2, since the position of the vehicle has moved by Df (N-1), the movement amount Df with respect to the overhead image Pdd (N-1) obtained in the frame (N-1). A similar image that is shifted only by the distance is obtained.
これに対して、立体物Ｏｂの投射画像Ｉｍ２は監視カメラ２００の視線方向が車両の移動に伴って変化しているため、移動量Ｄｆだけシフトさせたとしても（Ｎ−１）フレーム目で得られた俯瞰画像Ｐdd(N-1)とは異なったものとなる。例えば、路面に接近した足部の画像はほぼ同一形状となるものの、路面から離れた胴脚部や頭部の画像の位置は移動量Ｄｆだけシフトさせたとしても一致しない。
On the other hand, the projection image Im2 of the three-dimensional object Ob is obtained at the (N-1) th frame even if the amount of movement Df is shifted because the line-of-sight direction of the
立体物識別部５では、この事象の原理を用いて以下のように立体物Ｏｂを識別する。
The three-dimensional
まず、差分画像処理部５３で、（Ｎ）フレーム目の実際の俯瞰画像Ｐdd(N)と、予測俯瞰画像Ｐdd(N)’との差分をとり、差分画像Ｐdfを生成する。差分画像Ｐdfでは、立体物Ｏｂに対して視線方向の異なる２つの投射画像Ｉｍ１およびＩｍ２が得られることになる。但し、足部の画像は双方で一致するため差分処理によって消去される。
First, the difference
なお、差分処理の際に生じる可能性のあるノイズ成分を差分処理の後に除去するノイズ除去処理を付加した形態としてもよい。 In addition, it is good also as a form which added the noise removal process which removes the noise component which may arise in the case of a difference process after a difference process.
次に、差分画像Ｐdfと（Ｎ）フレーム目の実際の俯瞰画像Ｐdd(N)との間で相関処理を行い相関画像Ｐcrを生成する。相関処理によって、（Ｎ）フレーム目の実際の俯瞰画像Ｐdd(N)に含まれる立体物の画像Ｉmspのみが識別、抽出される（差分画像Ｐdfに含まれる(N-1)フレーム目の画像から予測した立体物の画像Ｉｍ１が除去される）。厳密には路面から離れた胴脚部および頭部の部分が立体物として識別、抽出される。 Next, correlation processing is performed between the difference image Pdf and the actual overhead image Pdd (N) of the (N) th frame to generate a correlation image Pcr. Only the three-dimensional object Imsp included in the actual overhead image Pdd (N) in the (N) th frame is identified and extracted by the correlation process (from the (N-1) th frame image included in the difference image Pdf). The predicted three-dimensional object image Im1 is removed). Strictly speaking, a trunk leg portion and a head portion apart from the road surface are identified and extracted as a three-dimensional object.
このようにして、（Ｎ）フレーム目の実際の俯瞰画像Ｐdd(N)に含まれる立体物の画像Ｉmspが識別、抽出され、相関画像Ｐcrとして画像合成部６へ出力される。
In this way, the three-dimensional object Imsp included in the actual overhead image Pdd (N) of the (N) th frame is identified and extracted, and is output to the
画像合成部６では、この立体物の画像Ｉmspに対して視認容易にするため適宜着色等の処理を施した後、（Ｎ）フレーム目の実際の俯瞰画像Ｐdd(N)に重ね合わせ合成を行った後に画像表示部１４０に出力する。
The
本実施形態に係る立体物識別部５の立体物識別処理によれば、安全な運転を支援するために重要となる立体物の識別を、俯瞰画像Ｐddのフレーム間の差分情報（差分画像Ｐdf）に基づいて簡素な方法で識別、抽出することが可能となる。また、識別、抽出された立体物の画像Ｉmspに着色等を施して視認容易に表示させることで運転者の注意を喚起し、車両周辺の障害物や通行者等の立体物への衝突事故等を事前に回避することが容易となる。
According to the three-dimensional object identification process of the three-dimensional
ところで、立体物が上記の立体物識別処理によって識別されたとしても、監視カメラ２００の重複領域およびその近傍領域の画像表示には以下のような問題点がある。
By the way, even if the three-dimensional object is identified by the above-described three-dimensional object identification process, there are the following problems in the image display of the overlapping region of the
図７は、第１の問題点とその解決方法を説明したものである。 FIG. 7 explains the first problem and the solution.
図７（ａ）は、車両１００の左後方の領域に障害物や通行者等の立体物Ｏｂが存在する場合の状況を示したものである。車両１００の周囲４隅の領域は、各監視カメラ２００ａ、２００ｂ、２００ｃ、及び２００ｄのうち隣り合う監視カメラの双方で同一領域を重複して監視することができる領域である。この重複領域、例えば車両１００の左後方の重複領域Ａobcに立体物Ｏｂが存在した場合、監視カメラ２００ｂと監視カメラ２００ｃとでは立体物Ｏｂに対する視線方向が異なるため、路面に投射された像の向きや形状はそれぞれ異なったものとなる。
FIG. 7A shows a situation where there is a three-dimensional object Ob such as an obstacle or a passerby in the left rear area of the
このため、図７（ｂ）に示したように、個々の俯瞰画像を単純に重ね合わせ合成して俯瞰画像Ｐdd’を生成すると、俯瞰画像Ｐdd’では立体物Ｏｂが２つに分離して表示されることになる。 For this reason, as shown in FIG. 7B, when the overhead image Pdd ′ is generated by simply superimposing and synthesizing the individual overhead images, the three-dimensional object Ob is displayed separately in the overhead image Pdd ′. Will be.
このままの画像表示では、立体物Ｏｂが１つしか無い場合でもあたかも２つの立体物が存在するかのような誤認を運転者に与える虞が生じる。 In the image display as it is, there is a possibility that even if there is only one three-dimensional object Ob, the driver is misunderstood as if there are two three-dimensional objects.
そこで、本実施形態に係る車両周辺画像表示装置１では、監視カメラ２００の重複領域、例えば重複領域Ａobcにおいては、いずれか一方の監視カメラ２００、例えば監視カメラ２００ｂで監視する領域Ａobから得られる画像のみを選択して俯瞰画像Ｐddを合成するものとしている。即ち、監視カメラ２００ｂから得られる画像（重複領域Ａobcを含む領域Ａobの画像）と、監視カメラ２００ｃから得られる画像から重複領域Ａobcを除いた非重複領域Ａoc’の画像とを用いて俯瞰画像Ｐddを合成するものとしている。以下この処理を重複領域選択処理と呼ぶ。
Therefore, in the vehicle peripheral
この結果、図７（ｃ）に示したように、重複領域Ａobcを表示する俯瞰画像Ｐddは、監視カメラ２００ｂから得られる画像のみに基づいて生成されるため、同一の立体物Ｏｂが分離して表示されることが無くなり、運転者に対する誤認を回避することができる。
As a result, as shown in FIG. 7C, the overhead image Pdd displaying the overlapping area Aobc is generated based only on the image obtained from the
本実施形態では、俯瞰画像生成部４において重複領域選択処理を行っている。 In the present embodiment, the overhead image generation unit 4 performs an overlapping area selection process.
なお、車両がほぼ直進している場合には、左右側方にある監視カメラ２００ｃおよび２００ｄから得られる画像を優先的に選択することが好ましい。この結果、車両側方の立体物が非重複領域から重複領域に移った場合でも同一の監視カメラ２００で監視を継続することが可能となり、監視カメラの切り換えによる急激な画像の変化を避けることができる。同様の理由で、車両が大きく旋回する場合等、車両が左右方向に移動する場合には、前後方にある監視カメラ２００ａおよび２００ｂから得られる画像を優先的に選択することが好ましい。この他、優先的に選択する監視カメラ２００を、指示入力部１３０から入力されるコマンドによってユーザが適宜変更、選択できる形態でもよい。
In addition, when the vehicle is traveling substantially straight, it is preferable to preferentially select images obtained from the
図８は、重複領域およびその近傍領域に関する第２の問題点とその解決方法を説明したものである。 FIG. 8 explains the second problem relating to the overlapping region and its neighboring region and the solution thereof.
図８（ａ）は、車両１００の左後方の領域に障害物や通行者等の２つの立体物Ｏb1およびＯb2が存在する場合の状況を示したものである。立体物Ｏb1は監視カメラ２００ｂの視野内にはあるが監視カメラ２００ｃからは見えない位置にある。また、立体物Ｏb2は、監視カメラ２００ｃの視野内にはあるが監視カメラ２００ｂからは見えない位置にある。
FIG. 8A shows a situation where two three-dimensional objects Ob1 and Ob2 such as obstacles and passers-by exist in the left rear region of the
このような状況で、監視カメラ２００ｂ、及び２００ｃからの画像に基づいて単純に重ね合わせで俯瞰画像Ｐdd”を生成すると、図８（ｂ）に示したような画像が得られることになる。
In such a situation, when the overhead image Pdd ″ is simply generated based on the images from the
次に、俯瞰画像Ｐdd”に対して重複領域選択処理を施すと、図８（ｃ）に示した俯瞰画像Ｐdd’が得られることになる。監視カメラ２００ｂの視野内には、立体物Ｏb2は入っていない。従って、監視カメラ２００ｂの画像から生成される重複領域Ａobcの俯瞰画像Ｐdd’には立体物Ｏb2の路面への投射像は含まれない。
Next, when the overlapping area selection process is performed on the bird's-eye view image Pdd ″, the bird's-eye view image Pdd ′ shown in FIG. 8C is obtained. The solid object Ob2 is within the field of view of the
一方、監視カメラ２００ｃの画像については、非重複領域Ａoc’の画像のみが用いられて俯瞰画像Ｐddが生成される。
On the other hand, for the image of the
このため、図８（ｃ）に示したように、立体物Ｏb2が重複領域Ａobcに近接した非重複領域Ａoc’に存在するような場合には、立体物Ｏb2の路面近傍の一部、例えば通行者の足部の画像Ｉmc’のみが俯瞰画像Ｐdd’に表示されることになる。 For this reason, as shown in FIG. 8C, when the three-dimensional object Ob2 exists in the non-overlapping area Aoc ′ adjacent to the overlapping area Aobc, a part of the three-dimensional object Ob2 near the road surface, for example, traffic Only the image Imc ′ of the person's foot is displayed in the overhead image Pdd ′.
この結果、運転者は、立体物Ｏb2の一部の画像Ｉmc’を看過し、障害物や通行者等の立体物が２つ存在するにもかかわらず、１つの立体物しか存在しないと誤認する虞が高くなる。 As a result, the driver overlooks a part of the image Imc ′ of the three-dimensional object Ob2, and misidentifies that there is only one three-dimensional object even though there are two three-dimensional objects such as obstacles and passers-by. The fear increases.
そこで、この問題を解決するため本実施形態に係る車両周辺画像表示装置１では、重複領域選択処理に加えて、立体物延長表示処理を行っている。
Therefore, in order to solve this problem, the vehicle peripheral
立体物延長表示処理とは、図８の例で説明すると、重複領域Ａobcの近接領域に立体物Ｏb2が存在する場合において、立体物Ｏb2の画像Ｉmcが非重複領域Ａoc’から重複領域Ａobcに亘って延長している場合には、重複領域選択処理の後にその立体物Ｏb2の画像Ｉmcspを重複領域Ａobcに重ねて合成する処理をいう。 The three-dimensional object extension display processing will be described with reference to the example of FIG. If the image is extended, the image Imcsp of the three-dimensional object Ob2 is superimposed on the overlap area Aobc after the overlap area selection process.
画像Ｉmcが立体物の画像であるか否かの識別は、立体物識別部５において行われる。また、立体物識別部５において識別、抽出された立体物Ｏb2の画像Ｉmcが非重複領域Ａoc’から重複領域Ａobcに亘って延長しているか否かの判定（以下、この判定を延長判定と呼ぶ）は、識別された立体物の位置情報をもとに、俯瞰画像生成部４において判定される。この延長判定は個々の俯瞰画像の全領域で行う必要はない。立体物の大きさは通常ある範囲に限定されているため重複領域とその近傍領域で行えば十分であり、例えば図８（ｄ）に例示した判定領域Ａｄで判定する。これにより、個々の俯瞰画像の全領域、例えばＡocの全領域で判定する場合に比べて処理時間が短縮できる。
Whether or not the image Imc is an image of a three-dimensional object is determined by the three-dimensional
延長判定において、立体物Ｏb2の画像Ｉmcが非重複領域Ａoc’から重複領域Ａobcに亘って延長していると判定された場合には、判定された延長立体物画像Ｉmcspを俯瞰画像Ｐdd’重ね合わせ合成し、最終的な俯瞰画像Ｐddを生成する。 In the extension determination, when it is determined that the image Imc of the three-dimensional object Ob2 extends from the non-overlapping area Aoc ′ to the overlapping area Aobc, the determined extended three-dimensional object image Imcsp is superimposed on the overhead image Pdd ′. By combining, a final overhead image Pdd is generated.
（３）関心領域推定部と画像合成部の細部構成と動作
図９は、車両周辺画像表示装置１の関心領域推定部７への具体的な入力信号および出力信号を例示した図である。
(3) Detailed Configuration and Operation of Region of Interest Estimation Unit and Image Composition Unit FIG. 9 is a diagram illustrating specific input signals and output signals to the region of
関心領域推定部７には、車両センサ１１０のうち、車速センサ１１１からは車速が、ギアセンサ１１２からは車両の進行方向を示す情報、即ち「前進」又は「後進」が、繰舵角センサ１１３からは駆動輪の繰舵角がそれぞれ入力される。この他、ヨーレートセンサからヨーレート（地面方向に向かう車両の中心軸周りの角速度）を入力する形態としても良い。
The region-of-
また、関心領域推定部７には、車両１００が備える立体物検出部１２０で検出した障害物の位置情報（方位、距離等）が入力される。
Also, the position information (direction, distance, etc.) of the obstacle detected by the three-dimensional
この他、車両１００が備える指示入力部１３０からは、マイク、キーボード、スイッチ、タッチパネル等の適宜の入力手段を介してコマンド情報が入力される。
In addition, command information is input from the
関心領域推定部７では、車両センサ１１０から入力される各種情報から運転状況を自動的に判断し、この運転状況から運転者が関心を示すであろう方向（関心方向）を推定し、この関心方向の情報を画像合成部６に出力する。関心方向は、例えば、前方、後方、左側方、右側方である。
The region-of-
また、関心領域推定部７では、立体物検出部１２０から入力される障害物の位置情報から、運転者が関心を示すであろう障害物の領域（関心領域）を推定し、関心領域情報を画像合成部６に出力する。関心領域情報は、例えばその領域を示す方位角範囲、車両からの離隔距離範囲等である。
Further, the region of
図１０は、画像合成部６の細部構成を示したものである。
FIG. 10 shows a detailed configuration of the
画像合成部６は、画像選択部６０、表示画像決定部６１，表示位置決定部６２，および合成部６２を備えて構成される。
The
画像選択部６０では、表示画像決定部６１からの指示に基づいて、画像合成部６に入力される３種類の画像、即ち、俯瞰画像Ｐdd、正規化画像Ｐnn、および関心領域画像Ｐiiの中から単独或いは複数の画像を選択する。
In the
合成部６２では、画像選択部６０で選択された画像が複数ある場合に、表示位置決定部６２からの指示に基づいて指示された位置に配置して合成する。また、必要に応じて、ガイド線等生成部１０で生成されるガイド線、予想軌跡等の運転支援画像とさらに合成した後に画像表示部１４０に出力する。
In the case where there are a plurality of images selected by the
表示画像決定部６１は、関心領域推定部７から出力される関心方向情報および関心領域情報に基づいて表示すべき画像を特定し、画像選択部６０に対して選択画像を指示する。
The display
また、表示位置決定部６２は、選択画像が複数ある場合に、関心領域推定部７から出力される関心方向情報および関心領域情報に基づいて複数の選択画像のそれぞれの表示位置を、運転者が容易に視認できるように決定する。また、元の画像の大きさでは視認性が劣化すると判断される場合には、視認容易となるように特定の画像を縮小して表示するように合成部６３に対して指示する。
In addition, when there are a plurality of selection images, the display
図１１（ａ）は、関心領域推定部７における関心方向及び関心領域の具体的な推定方法を表の形で例示したものである。
FIG. 11A illustrates a specific method of estimating the direction of interest and the region of interest in the region of
また、図１１（ｂ）は、画像合成部６における表示画像の具体的な選択方法と位置決定方法を表の形で例示したものである。
FIG. 11B illustrates a specific display image selection method and position determination method in the
関心領域推定部７では、入力される車速、ギア、繰舵角等の情報から運転上状況を判定する。例えば、図１１（ａ）の表の第１行に例示したように運転状況が「低速・前進」と判定された場合には、見通しの悪い交差点やＴ字路に頭出している可能性が高い。そこで、運転者の関心方向は「前方」にあると推定する。
The region-of-
また、「低速・前進」で車両の頭出しを行っている場合には、運転者の最大の関心は前方の監視カメラ２００ａで撮像した正規化画像Ｐnn（前方）であり、この際には俯瞰画像Ｐddは特に必要性は認められないと考えられる。このため、図１１（ｂ）の表の第１行に例示したように、表示画像の選択では、関心方向（前方）の正規化画像のみを選択し、俯瞰画像Ｐddや関心領域画像は表示しないものとしている。
Further, when the vehicle is cued at “low speed / forward”, the driver's greatest interest is the normalized image Pnn (front) captured by the
図１２（ｂ）および図１３（ｂ）は、運転状況が「低速・前進」と判定された場合に、前方の正規化画像Ｐnn（前方）が選択されて、画像表示部１４０に表示される様子を示している。図１２と図１３との相違点は、俯瞰画像Ｐddにおける車両１００の向きが図１２では横表示、図１３では縦表示となっている点である。この選択は、例えば指示入力部１３０から入力される手動指示によって選択できる。なお、「低速・前進」では俯瞰画像Ｐddは選択されないため、図１２（ｂ）と図１３（ｂ）とは同一の画像となっている。
12B and 13B, when the driving state is determined to be “low speed / forward”, the forward normalized image Pnn (front) is selected and displayed on the
入力される車速、ギア、繰舵角等の情報から運転上状況が「低速・後進」と判定されると、図１１（ａ）の表の第２行に例示したように、運転者の「関心方向」は「後方」と判定される。この場合、画像合成部６では、俯瞰画像Ｐddと後方の正規化画像Ｐnn（後方）の２種類の画像が選択される。
When the driving situation is determined to be “low speed / reverse” from information such as the input vehicle speed, gear, steering angle, etc., as illustrated in the second row of the table of FIG. The “interesting direction” is determined as “backward”. In this case, the
図１２（ｃ）および図１３（ｃ）は、運転状況が「低速・後進」と判定された場合に、俯瞰画像Ｐddと後方の正規化画像Ｐnn（後方）とが選択されて、画像表示部１４０に表示される様子を示している。正規化画像Ｐnn（後方）は適度の大きさに縮小された後、俯瞰画像Ｐddの後方方向の表示に支障の無い位置に配置される。なお、俯瞰画像Ｐddと後方の正規化画像Ｐnn（後方）の表示位置関係は通常変化しないと考えられるため、「固定」としている。
FIGS. 12C and 13C show that when the driving state is determined to be “low speed / reverse”, the overhead image Pdd and the rear normalized image Pnn (rear) are selected and the
入力される車速、ギア、繰舵角等の情報から運転上状況が「低速・左旋回」或いは「低速・右旋回」と判定されると、運転者の「関心方向」はそれぞれ「左側方」或いは「右側方」と判定される。この場合、画像合成部６では、俯瞰画像Ｐddと正規化画像Ｐnn（左側方）或いは正規化画像Ｐnn（右側方）とが選択される。相互の位置関係は「固定」としている（図は省略した）。
If the driving situation is determined to be "low speed / left turn" or "low speed / right turn" from the input information such as vehicle speed, gear, turning angle, etc., the driver's "direction of interest" Or “right side”. In this case, the
立体物検出部１２０が障害物を検出し、関心領域推定部７に障害物の位置情報が入力されると、関心領域推定部７では運転状況は「障害物回避」と推定するとともに障害物の存在する領域（方向、距離等）が運転者にとっての「関心領域」であると推定する。
When the three-dimensional
一方、支援画像生成部８では、推定された関心領域の位置情報に基づいて、４つの正規化画像Ｐnnの中から関心領域をカバーする正規化画像Ｐnnを選択し、さらにその正規化画像Ｐnnに含まれる関心領域の部分を拡大処理する。関心領域が拡大された画像を関心領域画像（部分画像）Ｐiiと呼んでいる。
On the other hand, the support
運転状況が「障害物回避」であると推定されると、画像合成部６では、俯瞰画像Ｐddと関心領域画像Ｐiiとを選択する。
When it is estimated that the driving situation is “obstacle avoidance”, the
図１２（ｄ）および図１３（ｄ）は、運転状況が「障害物回避」と判定された場合に、俯瞰画像Ｐddと関心領域画像Ｐiiとが選択されて、画像表示部１４０に表示される様子を示している。
12D and 13D, when the driving situation is determined to be “obstacle avoidance”, the bird's-eye view image Pdd and the region-of-interest image Pii are selected and displayed on the
障害物はどこにあるかわからないため、立体物検出部１２０で検出された障害物と車両との位置関係に応じて、俯瞰画像Ｐdd中の障害物と関心領域画像Ｐiiとが相互に重ならないように関心領域画像Ｐiiの表示位置は動的に変化させる必要がある。
Since it is unknown where the obstacle is, the obstacle in the overhead image Pdd and the region-of-interest image Pii do not overlap each other according to the positional relationship between the obstacle detected by the three-dimensional
図１４は、「障害物回避」時の処理内容の細部を示したものである。 FIG. 14 shows the details of the processing content at the time of “obstacle avoidance”.
まず、立体物検出部１２０が障害物を検出し、障害物の位置情報を関心領域推定部７へ出力する（ステップＳＴ１）。
First, the three-dimensional
次に関心領域推定部７では、障害物のある領域を運転者の「関心領域」として推定する（ステップＳＴ２）。さらに、支援画像生成部８では、障害物をカバーするカメラの画像から生成される正規化画像Ｐnnを選択し、さらに関心領域部を拡大して関心領域画像Ｐiiを生成する（ステップＳＴ３）。
Next, the region-of-
画像合成部６では、俯瞰画像Ｐddの障害物の位置と、関心領域画像Ｐiiとが重ならないように関心領域画像Ｐiiの位置を決定する。また単に配置だけでは重なりを回避できない場合には適宜いずれかの画像を縮小する（ステップＳＴ４）。
The
双方の画像の位置や大きさを決定した後、２つの画像を重ねて合成し、画像表示部１４０へ出力する。
After determining the position and size of both images, the two images are superimposed and combined and output to the
図１５は、障害物、例えば通行者の位置が異なる場合の俯瞰画像Ｐddと関心領域画像Ｐiiとの位置関係を例示するものである。図１５（ａ）、（ｂ）、および（ｃ）のいずれの場合でも俯瞰画像Ｐdd中の通行者と関心領域画像Ｐiiとが重なり合わないように表示されている。 FIG. 15 illustrates the positional relationship between the overhead image Pdd and the region-of-interest image Pii when the positions of obstacles such as passersby are different. 15A, 15B, and 15C, the passerby in the overhead image Pdd and the region-of-interest image Pii are displayed so as not to overlap each other.
このように、障害物の位置に応じて関心領域画像Ｐiiに位置を動的に変化させ、運転者に対して視認容易に表示させることにより、運転者に対して障害物の位置を常に適切に知らしめることが可能となり、運転の安全性向上に資する。 In this way, by dynamically changing the position in the region-of-interest image Pii in accordance with the position of the obstacle and displaying it easily for the driver, the position of the obstacle is always appropriately determined for the driver. It will be possible to let them know and contribute to improving driving safety.
なお、関心領域推定部７で推定される関心方向や関心領域の範囲、或いは、画像合成部６で選択される表示画像の選択や画像の表示位置等については、指示入力部１３０から入力されるコマンドによっても適宜設定、変更できるように構成されている。
Note that the direction of interest and the range of the region of interest estimated by the region of
（４）ガイド線等生成部および軌跡算出部の動作
図１６は、ガイド線等生成部１０で生成され画像合成部６で合成される運転支援画像の一例を示す図である。
(4) Operation of Guide Line etc. Generation Unit and Trajectory Calculation Unit FIG. 16 is a diagram illustrating an example of a driving support image generated by the guide line etc.
駐車場等の狭いスペースに駐車等する際には、他の車両等との衝突を避けるため車両周辺の安全余裕が重要となる。駐車等の運転状況において運転者を支援するため、本実施形態に係る車両周辺画像表示装置１では、図１６（ａ）に示したように、車両１００の周辺の安全余裕領域Ａsf1を示すガイド線Ｌg1を車両１００の俯瞰画像Ｐddとともに表示する形態としている。
When parking in a narrow space such as a parking lot, a safety margin around the vehicle is important in order to avoid collision with other vehicles. In order to assist the driver in a driving situation such as parking, in the vehicle peripheral
また、駐車等の際には、運転ドア１５０を開いたときにクリアランスを考慮して駐車等する必要がある。本実施形態に係る車両周辺画像表示装置１では、図１６（ｂ）に示したように、運転ドア１５０の開放時のクリアランス領域Ａsf2を示すガイド線Ｌg2を車両１００の俯瞰画像Ｐddとともに表示する形態としている。
Further, when parking, etc., it is necessary to park in consideration of the clearance when the driving
これらのガイド線Ｌg1、Ｌg2が俯瞰画像Ｐddと共に表示されることによって、運転者は適切かつ安全な位置に駐車等することができる。 By displaying these guide lines Lg1 and Lg2 together with the overhead image Pdd, the driver can park at an appropriate and safe position.
本実施形態に係る車両周辺画像表示装置１は、この他、車両の予想軌跡を運転支援画像として表示するものとしている。狭いスペースに駐車する時や縦列駐車の時には、例えば車両の４隅の予想軌跡等が俯瞰画像Ｐddと共に表示されると運転者にとって便利である。ハンドルの状態（繰舵角）に応じて予想軌跡等を順次更新することによって、運転者の適切なハンドル操作を支援することが可能となる。
In addition to this, the vehicle periphery
車両１００の４隅の予想軌跡の算出は軌跡算出部９で行われる。４隅の予想軌跡の算出方法は特に限定するものではないが、例えば以下の手順で算出することができる。
The trajectory calculation unit 9 calculates the expected trajectories at the four corners of the
車両の重心位置を座標（Ｘ,Ｙ）とすると、重心位置（Ｘ,Ｙ）は式１で表すことができる。
式１は、低速運行時等、タイヤのスリップが無いときの２輪（例えば前輪）駆動モデルに適用されるものである。
図１７は、式１の各パラメータを説明する図である。図１７に示したように、車両の重心位置（Ｘ,Ｙ）は、地上固定座標系で表される。Ｖは、車両１００の走行速度（車速）を表し、車速センサ１１１から出力される。βは前輪舵角（繰舵角）を表し繰舵角センサ１１３から出力される。また、ｒはヨーレート（Ｚ軸まわりの角速度）を表しヨーレートセンサ１１４から出力される。θは、（ｘ，y）で表記される車両に固定の座標系（車両固定座標系）の基準軸（ｘ軸）と、地上固定座標系の基準軸（Ｘ軸）との差を表している。なお、上記のＶ、β、ｒはいずれも軌跡の予想計算開始時における値であり、以下の軌跡の予想計算においては、一定値として扱うものである。
FIG. 17 is a diagram illustrating each parameter of
式１を積分することで次の式２が得られる。
ここで、（Ｘo、Ｙo）は、予測計算開始時の車両１００の重心位置を示す座量であり、（Ｘ(t)、Ｙ(t)）が、重心位置の予測軌跡を表すものである。また、θ(t)は、次の式３で計算できるものである。
なお、車両の進行方向をＸ軸に合致させておくことにより、θo＝Ｘo＝Ｙo＝０とすることができる。 Note that by making the traveling direction of the vehicle coincide with the X axis, θo = Xo = Yo = 0.
式２、式３に基づいて重心位置の予測位置を算出することができるが、車両の４隅の予想軌跡を求めるためにはさらに次の計算が必要となる。 Although the predicted position of the center of gravity can be calculated based on Equations 2 and 3, the following calculation is further required to obtain the predicted trajectories at the four corners of the vehicle.
図１８に示したように、車両の重心位置から、左前方端、右前方端、左後方端、および右後方端へ向かう４隅の位置を示す各ベクトルを、車両固定座標で式４のように表記する。
次に、車両固定座標系から地上固定座標系に次の式５を用いて変換する。
式５によれば、例えば、地上固定座標で表記した左前方端の予想軌跡WPflは、次の式６で表される。
他の３つの端点についても同様にしてＷP□□（ｔ）が計算でき、車両１００の４隅の予想軌跡を算出することができる。
W P □□ (t) can be calculated in the same manner for the other three end points, and the expected trajectories at the four corners of the
図１９は、式２から式６の計算に基づいて算出された、右前方端及び左後方端の予想軌跡を例示したものである。 FIG. 19 exemplifies the expected trajectories of the right front end and the left rear end calculated based on the calculations of Expressions 2 to 6.
計算された４隅の予想軌跡はガイド線等生成部１０において画像化され、画像合成部６において俯瞰画像Ｐddと合成された後に画像表示部１４０に出力される。
The calculated predicted trajectories at the four corners are imaged in the guide line etc. generating
ガイド線等生成部１０で生成されるガイド線Ｌg1、Ｌg2や、車両１００の各４隅の予想軌跡の表示は、指示入力部１３０から入力されるコマンドにより、適宜表示或いは非表示を選択できる構成としている。
The display of the guide lines Lg1 and Lg2 generated by the guide line etc. generating
なお、本発明は上記の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。 Note that the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, the constituent elements over different embodiments may be appropriately combined.
１ 車両周辺画像表示装置
２ 画像バッファ
３ 正規化処理部
４ 俯瞰画像生成部
５ 立体物識別部
６ 画像合成部
７ 関心領域推定部
８ 支援画像生成部
９ 軌跡算出部
１０ ガイド線等生成部
１００ 車両
１１０ 車両センサ
１２０ 立体物検出部
１３０ 指示入力部
１４０ 画像表示部
２００ 監視カメラ（魚眼カメラ）
DESCRIPTION OF
Claims (2)
前記正規化画像から、車両上方の仮想視点から車両の周辺を俯瞰する俯瞰画像を生成する俯瞰画像生成部と、
前記車両の運転を支援するための運転支援画像を生成する支援画像生成部と、
前記運転支援画像と前記俯瞰画像とを合成する画像合成部と、
前記俯瞰画像とともに前記運転支援画像を表示する表示部と、
前記車両周辺の立体物の位置または方向を検出する立体物検出部と、
を備え、
前記支援画像生成部は、検出された前記立体物の位置または方向に応じて、前記立体物を撮像している前記正規化画像を前記運転支援画像として選択し、
前記画像合成部は、前記俯瞰画像に含まれる前記障害物と前記運転支援画像とが相互に重ならないように、前記俯瞰画像中の前記障害物の位置に応じて前記俯瞰画像に合成される前記運転支援画像の表示位置を動的に決定する、
ことを特徴とする車両周辺画像表示装置。 A normalization processing unit that normalizes a plurality of images obtained from a plurality of fisheye cameras that capture the periphery of the vehicle into normal images and generates a normalized image;
From the normalized image, an overhead image generation unit that generates an overhead image that overlooks the periphery of the vehicle from a virtual viewpoint above the vehicle;
A support image generating unit that generates a driving support image for supporting driving of the vehicle;
An image synthesis unit that synthesizes the driving support image and the overhead image;
A display unit for displaying the driving support image together with the overhead image;
A three-dimensional object detection unit that detects the position or direction of the three-dimensional object around the vehicle;
With
The support image generation unit selects, as the driving support image, the normalized image capturing the solid object according to the detected position or direction of the solid object ,
The image combining unit is combined with the overhead image according to the position of the obstacle in the overhead image so that the obstacle and the driving support image included in the overhead image do not overlap each other. Dynamically determine the display position of the driving assistance image,
The vehicle periphery image display apparatus characterized by the above.
前記正規化画像から、車両上方の仮想視点から車両の周辺を俯瞰する俯瞰画像を生成するステップと、
前記車両の運転を支援するための運転支援画像を生成するステップと、
前記運転支援画像と前記俯瞰画像とを合成するステップと、
前記俯瞰画像とともに前記運転支援画像を表示するステップと、
前記車両周辺の立体物の位置または方向を検出するステップと、
を備え、
前記運転支援画像を生成するステップでは、検出された前記立体物の位置または方向に応じて、前記立体物を撮像している前記正規化画像を前記運転支援画像として選択し、
前記合成するステップでは、前記俯瞰画像に含まれる前記障害物と前記運転支援画像とが相互に重ならないように、前記俯瞰画像中の前記障害物の位置に応じて前記俯瞰画像に合成される前記運転支援画像の表示位置を動的に決定する、
ことを特徴とする車両周辺画像表示方法。 Normalizing a plurality of images obtained from a plurality of fisheye cameras that capture the periphery of the vehicle into normal images, and generating normalized images;
Generating an overhead image from which the surroundings of the vehicle are viewed from a virtual viewpoint above the vehicle, from the normalized image;
Generating a driving support image for supporting driving of the vehicle;
Synthesizing the driving support image and the overhead image;
Displaying the driving assistance image together with the overhead view image;
Detecting a position or direction of a three-dimensional object around the vehicle;
With
In the step of generating the driving support image, the normalized image capturing the solid object is selected as the driving support image according to the detected position or direction of the solid object ,
In the synthesizing step, the obstacle included in the overhead image is synthesized with the overhead image according to the position of the obstacle in the overhead image so that the obstacle and the driving support image do not overlap each other. Dynamically determine the display position of the driving assistance image,
A vehicle periphery image display method characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005064968A JP4907883B2 (en) | 2005-03-09 | 2005-03-09 | Vehicle periphery image display device and vehicle periphery image display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005064968A JP4907883B2 (en) | 2005-03-09 | 2005-03-09 | Vehicle periphery image display device and vehicle periphery image display method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011027217A Division JP2011155651A (en) | 2011-02-10 | 2011-02-10 | Apparatus and method for displaying vehicle perimeter image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006253872A JP2006253872A (en) | 2006-09-21 |
| JP4907883B2 true JP4907883B2 (en) | 2012-04-04 |
Family
ID=37093910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005064968A Expired - Fee Related JP4907883B2 (en) | 2005-03-09 | 2005-03-09 | Vehicle periphery image display device and vehicle periphery image display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4907883B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10097772B2 (en) | 2014-10-31 | 2018-10-09 | Mitsubishi Electric Corporation | Image processing device and image processing method |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4797877B2 (en) * | 2006-08-14 | 2011-10-19 | 日産自動車株式会社 | VEHICLE VIDEO DISPLAY DEVICE AND VEHICLE AROUND VIDEO DISPLAY METHOD |
| JP4876862B2 (en) * | 2006-11-13 | 2012-02-15 | トヨタ自動車株式会社 | Image processing device |
| JP4969269B2 (en) * | 2007-02-21 | 2012-07-04 | アルパイン株式会社 | Image processing device |
| JP2009259215A (en) * | 2008-03-18 | 2009-11-05 | Zenrin Co Ltd | Road surface marking map generation method |
| JP5422902B2 (en) * | 2008-03-27 | 2014-02-19 | 三洋電機株式会社 | Image processing apparatus, image processing program, image processing system, and image processing method |
| JP5300309B2 (en) * | 2008-04-24 | 2013-09-25 | ダイハツ工業株式会社 | Obstacle recognition device |
| JP5083137B2 (en) * | 2008-09-11 | 2012-11-28 | 三菱自動車工業株式会社 | Driving assistance device |
| JP4876118B2 (en) * | 2008-12-08 | 2012-02-15 | 日立オートモティブシステムズ株式会社 | Three-dimensional object appearance detection device |
| JP2010245803A (en) * | 2009-04-06 | 2010-10-28 | Sanyo Electric Co Ltd | Image processing device |
| JP5165631B2 (en) * | 2009-04-14 | 2013-03-21 | 現代自動車株式会社 | Vehicle surrounding image display system |
| JP2010250640A (en) * | 2009-04-17 | 2010-11-04 | Sanyo Electric Co Ltd | Image processing device |
| CN101995239B (en) * | 2009-08-11 | 2012-05-23 | 财团法人车辆研究测试中心 | System and method for determining obstacle by using aerial view images |
| JP5187292B2 (en) * | 2009-09-28 | 2013-04-24 | 三菱自動車工業株式会社 | Vehicle periphery monitoring device |
| JP5341789B2 (en) * | 2010-01-22 | 2013-11-13 | 富士通テン株式会社 | Parameter acquisition apparatus, parameter acquisition system, parameter acquisition method, and program |
| JP2011159186A (en) * | 2010-02-03 | 2011-08-18 | Clarion Co Ltd | Drive support device and control method of drive support device |
| JP5479956B2 (en) | 2010-03-10 | 2014-04-23 | クラリオン株式会社 | Ambient monitoring device for vehicles |
| WO2012017560A1 (en) | 2010-08-06 | 2012-02-09 | 富士通株式会社 | Image processing device and image processing program |
| JP5269026B2 (en) * | 2010-09-29 | 2013-08-21 | 日立建機株式会社 | Work machine ambient monitoring device |
| JP5704902B2 (en) * | 2010-11-26 | 2015-04-22 | 東芝アルパイン・オートモティブテクノロジー株式会社 | Driving support device and driving support method |
| KR101748646B1 (en) * | 2011-01-26 | 2017-07-04 | 현대모비스 주식회사 | Apparatus And Method Detecting Side Vehicle Using Camera |
| JP5668857B2 (en) | 2011-07-29 | 2015-02-12 | 富士通株式会社 | Image processing apparatus, image processing method, and image processing program |
| EP2741270B1 (en) * | 2011-08-02 | 2020-11-25 | Nissan Motor Co., Ltd. | Driving assistance apparatus and driving assistance method |
| JP5809988B2 (en) * | 2012-01-10 | 2015-11-11 | 日立建機株式会社 | Travel support device for work machine |
| JP5667594B2 (en) | 2012-03-15 | 2015-02-12 | 株式会社小松製作所 | Dump truck with obstacle detection mechanism and obstacle detection method thereof |
| JP6205640B2 (en) | 2012-07-30 | 2017-10-04 | 市光工業株式会社 | Warning device for vehicle |
| JP2017118409A (en) * | 2015-12-25 | 2017-06-29 | 株式会社Ｊｖｃケンウッド | Display device for vehicle, and display method for vehicle |
| JP6699370B2 (en) | 2016-06-06 | 2020-05-27 | アイシン精機株式会社 | Vehicle image processing device |
| KR20180114546A (en) * | 2017-03-10 | 2018-10-18 | 바이두닷컴 타임즈 테크놀로지(베이징) 컴퍼니 리미티드 | Application of automatic steering control standard to solve understeering of autonomous vehicle |
| CN111032958B (en) * | 2017-08-08 | 2023-03-10 | 住友建机株式会社 | Road machine |
| JP2020043400A (en) * | 2018-09-06 | 2020-03-19 | アイシン精機株式会社 | Periphery monitoring device |
| US11926263B2 (en) | 2019-04-18 | 2024-03-12 | Mitsubishi Electric Corporation | Vehicle surrounding area image generation device, vehicle surrounding area display system, and vehicle surrounding area display method |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09202180A (en) * | 1996-01-29 | 1997-08-05 | Niles Parts Co Ltd | On-board camera device |
| JP4048511B2 (en) * | 1998-03-13 | 2008-02-20 | 富士通株式会社 | Fisheye lens camera device and image distortion correction method thereof |
| WO2000064175A1 (en) * | 1999-04-16 | 2000-10-26 | Matsushita Electric Industrial Co., Ltd. | Image processing device and monitoring system |
| JP3301421B2 (en) * | 1999-10-20 | 2002-07-15 | 松下電器産業株式会社 | Vehicle surrounding situation presentation device |
| JP3830025B2 (en) * | 2000-06-30 | 2006-10-04 | 松下電器産業株式会社 | Drawing device |
| JP2002019556A (en) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | Monitoring system |
| JP3753681B2 (en) * | 2000-07-19 | 2006-03-08 | 松下電器産業株式会社 | Monitoring system |
| JP2002104117A (en) * | 2000-10-03 | 2002-04-10 | Denso Corp | Driving support system for vehicle |
| JP3773433B2 (en) * | 2000-10-11 | 2006-05-10 | シャープ株式会社 | Ambient monitoring device for moving objects |
| JP3695319B2 (en) * | 2000-11-30 | 2005-09-14 | トヨタ自動車株式会社 | Vehicle periphery monitoring device |
| JP3819284B2 (en) * | 2001-11-29 | 2006-09-06 | クラリオン株式会社 | Vehicle perimeter monitoring device |
| JP3916958B2 (en) * | 2002-01-24 | 2007-05-23 | クラリオン株式会社 | Vehicle rear monitoring system and monitoring device |
| JP4067424B2 (en) * | 2003-02-21 | 2008-03-26 | 株式会社デンソー | Vehicle peripheral image processing apparatus, program, and recording medium |
| JP4192680B2 (en) * | 2003-05-28 | 2008-12-10 | アイシン精機株式会社 | Moving object periphery monitoring device |
| JP2005039599A (en) * | 2003-07-16 | 2005-02-10 | Nissan Motor Co Ltd | Vehicle periphery surveillance apparatus |
| JP4573242B2 (en) * | 2004-11-09 | 2010-11-04 | アルパイン株式会社 | Driving assistance device |
-
2005
- 2005-03-09 JP JP2005064968A patent/JP4907883B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10097772B2 (en) | 2014-10-31 | 2018-10-09 | Mitsubishi Electric Corporation | Image processing device and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006253872A (en) | 2006-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4907883B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
| JP7010221B2 (en) | Image generator, image generation method, and program | |
| JP4807104B2 (en) | Vehicle surrounding monitoring system and image display method | |
| JP4969269B2 (en) | Image processing device | |
| JP5436086B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
| JP4639753B2 (en) | Driving assistance device | |
| JP4883977B2 (en) | Image display device for vehicle | |
| JP5099451B2 (en) | Vehicle periphery confirmation device | |
| JP5003946B2 (en) | Parking assistance device | |
| JP5347257B2 (en) | Vehicle periphery monitoring device and video display method | |
| JP5132249B2 (en) | In-vehicle imaging device | |
| US20150042799A1 (en) | Object highlighting and sensing in vehicle image display systems | |
| JP2013541915A (en) | Blind Spot Zone Display Device and Method | |
| JP3663801B2 (en) | Vehicle rear view support device | |
| JP4797877B2 (en) | VEHICLE VIDEO DISPLAY DEVICE AND VEHICLE AROUND VIDEO DISPLAY METHOD | |
| JP2007089081A (en) | Image display device for vehicle | |
| US11601621B2 (en) | Vehicular display system | |
| JP2011155651A (en) | Apparatus and method for displaying vehicle perimeter image | |
| JP2013005233A (en) | Vehicle periphery monitoring device | |
| JP2002354467A (en) | Surrounding information display unit for vehicle | |
| JP2003104145A (en) | Operation support display device | |
| JP4600999B2 (en) | Vehicle perimeter monitoring device | |
| KR20200047257A (en) | Device and a method for displaying aerial view images of a vehicle | |
| KR20100005971A (en) | A vehicle around view monitorring system | |
| JP7006460B2 (en) | Vehicle display control device, vehicle display system, vehicle display control method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111213 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120112 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150120 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |