JP2008236403A - Driving support device for vehicle - Google Patents

Driving support device for vehicle Download PDF

Info

Publication number
JP2008236403A
JP2008236403A JP2007073482A JP2007073482A JP2008236403A JP 2008236403 A JP2008236403 A JP 2008236403A JP 2007073482 A JP2007073482 A JP 2007073482A JP 2007073482 A JP2007073482 A JP 2007073482A JP 2008236403 A JP2008236403 A JP 2008236403A
Authority
JP
Japan
Prior art keywords
vehicle
virtual camera
image
display
relative distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007073482A
Other languages
Japanese (ja)
Other versions
JP5045172B2 (en
Inventor
Taro Iwamoto
太郎 岩本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2007073482A priority Critical patent/JP5045172B2/en
Publication of JP2008236403A publication Critical patent/JP2008236403A/en
Application granted granted Critical
Publication of JP5045172B2 publication Critical patent/JP5045172B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a driving support device for vehicle capable of providing a driver with a bird's eye view image obtained by continuously changing a photographing parameter in accordance with a vehicle state and a posture change of the driver about an image around one's own vehicle. <P>SOLUTION: The vehicle 1 acquires image information around one's own vehicle from a peripheral photographing camera 8 and communication equipment 10, uses the image information to generate a virtual bird's eye view image photographed from a virtual camera installed at a virtual viewpoint that is higher than the one's own vehicle, and displays the bird's eye view image in a display device 11. In such a case, a traveling state of the one's own vehicle and a driving operation state are used to continuously change the photographing parameter of the virtual camera. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、自車両周囲を俯瞰画像により表示して運転支援を行う車両用運転支援装置に関する。   The present invention relates to a vehicular driving support apparatus that performs driving support by displaying the surroundings of a host vehicle as an overhead image.

ドライバが行う後退駐車は、車両の運転において最も緊張を強いられるシーンの１つであり、非常に負荷が大きい操作とされる。また、後退駐車に必要な情報を適切にドライバに示すことでドライバの負担を緩和する手段として、直接視界の確保、後方を映すミラーやカメラやその映像を表示するディスプレイの設置といった対応が行われている。また、後退駐車支援機能として、例えば特許文献１では、カメラから得られる第１視点画像を元にして第２視点からの画像（仮想画像）を生成し、これをドライバに提供する技術が提案されている。しかしながら、上記特許文献１に記載の技術では、余計に得られる視覚情報量が多く、また映像の視点が固定されていることによって、有効に機能しない場合がある。つまり、ドライバの認知に要する負荷が大きく、特に立体物の把握が困難な場合がある。これらの装備は後退時のみ機能するもので、前進走行中は有効ではない。   The reverse parking performed by the driver is one of the most stressful scenes in driving the vehicle, and is an operation with a very heavy load. In addition, as a means to alleviate the burden on the driver by properly showing the driver the information necessary for reverse parking, measures such as securing a direct field of view, installing a mirror that reflects the rear, a camera, and a display that displays the image are taken. ing. For example, Patent Document 1 proposes a technique for generating an image (virtual image) from the second viewpoint based on the first viewpoint image obtained from the camera and providing it to the driver as a backward parking support function. ing. However, the technique disclosed in Patent Document 1 may not function effectively due to the excessive amount of visual information obtained and the fixed viewpoint of the video. That is, the load required for the driver's recognition is large, and it may be particularly difficult to grasp the three-dimensional object. These equipment will only function when reversing, and will not be effective during forward travel.

これに対して、特許文献２では、自車両周囲の画像を用いて、自車両より高所の仮想視点から撮影された俯瞰画像（鳥瞰画像）を生成すると共に、車両状態に応じて仮想視点を変更する技術が提案されている。   On the other hand, in patent document 2, while generating the bird's-eye view image (bird's-eye view image) image | photographed from the virtual viewpoint higher than the own vehicle using the image around the own vehicle, a virtual viewpoint is set according to the vehicle state. Technology to change has been proposed.

また、ドライバの画像認識による仮想カメラの制御として、ユーザの頭部位置に応じて視点制御を行うことが、非特許文献１に公開されている。
特開２００５−０３５５４２号公報 特開２００５−１６７３０９号公報 「画像認識による身体動作入力にもとづく仮想カメラ視点の制御」インターネット＜ＵＲＬ：http://www.interaction-ipsj.org/archives/paper2003/pdf2003/008.pdf＞ Non-patent document 1 discloses that viewpoint control is performed according to a user's head position as control of a virtual camera by driver image recognition.
JP 2005-035542 A Japanese Patent Laying-Open No. 2005-167309 "Control of virtual camera viewpoint based on body motion input by image recognition" Internet <URL: http://www.interaction-ipsj.org/archives/paper2003/pdf2003/008.pdf>

ところで、自車両周囲の環境は車両の位置や運転状態に応じて刻々と変化しているため、ドライバが確認したい場所に応じて仮想視点だけでなく、仮想カメラのパラメータを変化させる必要がある。   By the way, since the environment around the host vehicle is constantly changing according to the position and driving state of the vehicle, it is necessary to change not only the virtual viewpoint but also the parameters of the virtual camera according to the location that the driver wants to check.

本発明は、上述の課題に鑑みてなされ、その目的は、自車両周囲の画像について、車両状態やドライバの姿勢変化に応じて撮影パラメータを連続的に変化させた俯瞰画像をドライバに提供でき、ドライバの要求や状況の変化に応じた適切な情報を提供できる車両用運転支援装置を実現することである。   The present invention has been made in view of the above-described problems, and the object of the present invention is to provide a driver with an overhead view image in which shooting parameters are continuously changed according to changes in the vehicle state and the driver's posture with respect to an image around the host vehicle. An object of the present invention is to realize a vehicle driving support device that can provide appropriate information according to changes in driver demands and circumstances.

上述の課題を解決し、目的を達成するために、本発明に係る第１の形態は、自車両周囲の画像情報を取得する画像取得手段と、前記画像情報を用いて、前記自車両より高所の仮想視点に設置された仮想カメラにより撮影された仮想の俯瞰画像を生成する俯瞰画像生成手段と、前記俯瞰画像を表示する表示手段と、自車両の走行状態及び運転操作状態を検出する車両状態検出手段と、検出された前記走行状態及び前記運転操作状態を用いて前記仮想カメラの撮影パラメータを連続的に変更するパラメータ変更手段と、を有する。   In order to solve the above-described problems and achieve the object, the first aspect of the present invention uses image acquisition means for acquiring image information around the host vehicle and the image information, and is higher than the host vehicle. Vehicle for generating a virtual bird's-eye view image taken by a virtual camera installed at a virtual viewpoint, a display unit for displaying the bird's-eye view image, and a vehicle for detecting the running state and driving operation state of the host vehicle State detection means, and parameter change means for continuously changing the shooting parameters of the virtual camera using the detected running state and driving operation state.

また、第２の形態は、自車両周囲の画像情報を取得する画像取得手段と、前記画像情報を用いて、前記自車両より高所の仮想視点に設置された仮想カメラにより撮影された仮想の俯瞰画像を生成する俯瞰画像生成手段と、前記俯瞰画像を表示する表示手段と、ドライバの頭部と前記表示手段との間の相対距離を検出する相対距離検出手段と、検出された前記相対距離を用いて前記仮想カメラの撮影パラメータを連続的に変更するパラメータ変更手段と、を有する。   Further, the second form is an image acquisition means for acquiring image information around the host vehicle, and a virtual camera photographed by a virtual camera installed at a virtual viewpoint higher than the host vehicle using the image information. An overhead image generation means for generating an overhead image, a display means for displaying the overhead image, a relative distance detection means for detecting a relative distance between a head of a driver and the display means, and the detected relative distance Parameter changing means for continuously changing the shooting parameters of the virtual camera.

これらの形態によれば、車両状態やドライバの姿勢変化に応じて確認したい場所が変化する自車両周囲の画像について、撮影パラメータを連続的に変化させた俯瞰画像をドライバに提供でき、ドライバの要求や状況の変化に応じた適切な情報を提供できる。   According to these forms, it is possible to provide the driver with a bird's-eye view image in which shooting parameters are continuously changed for an image around the host vehicle where the location to be confirmed changes according to the vehicle state or the driver's attitude change. And provide appropriate information according to changes in the situation.

第３の形態は、前記画像取得手段は、自車両周囲を撮影する周囲撮影カメラ、他車両との間で通信を行う車車間通信手段及び路面との間で通信を行う路車間通信手段の少なくともいずれかによって前記自車両周囲の画像情報を取得する。この形態によれば、自車両のみからでは得られない広範囲の情報を収集し、ドライバの要求や状況の変化に応じた適切な俯瞰画像を表示することができる。   According to a third aspect, the image acquisition means includes at least a surrounding photographing camera for photographing the surroundings of the host vehicle, a vehicle-to-vehicle communication means for communicating with another vehicle, and a road-to-vehicle communication means for communicating with a road surface. The image information around the host vehicle is acquired by either. According to this aspect, it is possible to collect a wide range of information that cannot be obtained only from the host vehicle, and to display an appropriate overhead image according to the driver's request or changes in the situation.

第４、第５の形態は、ドライバの頭部と前記表示手段との間の相対距離を検出する相対距離検出手段と、前記相対距離に応じて表示画面に対する前記俯瞰画像の表示密度を変更する表示密度変更手段と、を更に備える。これらの形態によれば、ドライバの視点位置の変化に応じた適切な俯瞰画像を表示することができる。   In the fourth and fifth embodiments, the relative distance detection means for detecting the relative distance between the head of the driver and the display means, and the display density of the overhead image with respect to the display screen are changed according to the relative distance. Display density changing means. According to these forms, it is possible to display an appropriate bird's-eye view image according to a change in the viewpoint position of the driver.

第６の形態は、前記パラメータ変更手段は、前記走行状態としての車速及び加減速度を用いて前記仮想カメラの位置を変更し、前記運転操作状態としてのアクセル開度及びステアリング舵角を用いて前記撮影パラメータとしてのチルト量、ズーム量及びパン量を変更する。この形態によれば、例えば、高速走行時又は高加速時は望遠側、低速走行時又は低加速時は広角側に変化せることで、車両の走行状態やドライバの運転操作に応じた適切な俯瞰画像を表示することができる。   In the sixth aspect, the parameter changing means changes the position of the virtual camera using the vehicle speed and acceleration / deceleration as the running state, and uses the accelerator opening and the steering angle as the driving operation state. The tilt amount, zoom amount, and pan amount as shooting parameters are changed. According to this aspect, for example, by changing to the telephoto side during high-speed driving or high acceleration and to the wide-angle side during low-speed driving or low acceleration, an appropriate overhead view according to the driving state of the vehicle and the driving operation of the driver is obtained. An image can be displayed.

第７の形態は、前記パラメータ変更手段は、前記走行状態としての車速及び加減速度を用いて前記仮想カメラの位置を変更し、前記相対距離を用いて前記撮影パラメータとしてのチルト量、ズーム量及びパン量を変更する。この形態によれば、例えば、ドライバの姿勢変化に応じて望遠側又は広角側に変化せることで、車両の走行状態やドライバの姿勢変化に応じた適切な俯瞰画像を表示することができる。   In a seventh aspect, the parameter changing means changes the position of the virtual camera using the vehicle speed and acceleration / deceleration as the running state, and uses the relative distance to set the tilt amount, zoom amount, and Change the pan amount. According to this aspect, for example, by changing to the telephoto side or the wide-angle side according to the change in the driver's posture, it is possible to display an appropriate overhead view image according to the running state of the vehicle or the change in the driver's posture.

第８の形態は、前記相対距離検出手段は、前記相対距離として、前記ドライの頭部と前記表示手段との間の直線距離、上下方向の離間距離、左右方向の離間距離を夫々検出し、前記パラメータ変更手段は、前記上下方向の離間距離を用いて前記撮影パラメータとしてのチルト量、前記直線距離を用いてズーム量、前記左右方向の距離を用いてパン量を夫々変更する。この形態によれば、例えば、ドライバの上下左右の姿勢変化に応じて望遠側又は広角側に変化せることで、車両の走行状態やドライバの姿勢変化に応じた適切な俯瞰画像を表示することができる。   In an eighth aspect, the relative distance detection unit detects, as the relative distance, a linear distance between the dry head and the display unit, a vertical separation distance, and a horizontal separation distance, respectively. The parameter changing means changes the tilt amount as the shooting parameter using the vertical distance, the zoom amount using the linear distance, and the pan amount using the left-right distance. According to this aspect, for example, by changing to the telephoto side or the wide-angle side according to the change in the vertical and horizontal posture of the driver, it is possible to display an appropriate bird's-eye view image according to the driving state of the vehicle or the change in the driver's posture. it can.

本発明によれば、自車両周囲の画像について、車両状態やドライバの姿勢変化に応じて撮影パラメータを連続的に変化させた俯瞰画像をドライバに提供でき、例えば、運転中に両手が塞がった状況でも仮想カメラのパラメータをドライバの要求や状況の変化に応じて適切に制御することができ、運転支援時の画像の視認性や操作性を向上することができる。   ADVANTAGE OF THE INVENTION According to this invention, about the image around the own vehicle, a bird's-eye view image in which the shooting parameters are continuously changed according to the vehicle state and the driver's posture change can be provided to the driver. However, it is possible to appropriately control the parameters of the virtual camera according to the driver's request and changes in the situation, and it is possible to improve the visibility and operability of the image at the time of driving support.

以下に、本発明の実施の形態について添付図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明は、その趣旨を逸脱しない範囲で下記実施形態を修正又は変形したものに適用可能である。   The embodiment described below is an example as means for realizing the present invention, and the present invention can be applied to a modified or modified embodiment described below without departing from the spirit of the present invention.

また、後述する各実施形態の制御に対応するコンピュータプログラムや当該コンピュータプログラムが格納された記憶媒体を、車両に搭載されたコンピュータに供給して、当該コンピュータが記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。   In addition, a computer program corresponding to the control of each embodiment to be described later and a storage medium storing the computer program are supplied to a computer mounted on the vehicle, and the computer reads out the program code stored in the storage medium. May be executed.

［第１の実施形態］
図１及び図２は、本発明に係る第１の実施形態の車両用運転支援装置の全体構成を示すブロック図である。 [First Embodiment]
1 and 2 are block diagrams showing the overall configuration of the vehicle driving support apparatus according to the first embodiment of the present invention.

図１及び図２に示すように、本実施形態の車両用運転支援装置が搭載される車両１には、カーナビゲーション装置に利用される現在位置情報ｘ（緯度、経度、高度）を検出するＧＰＳセンサ等の車両位置検出センサ２、ブレーキペダル踏込量ｂを検出するブレーキセンサ３、自車両の車速ｖを検出する車速センサ４、車両の前進又は後退を検出する走行レンジスイッチ５、アクセル開度ａを検出するアクセルセンサ６、ステアリング舵角ｓを検出する舵角センサ７、自車両周囲を撮影する周囲撮影カメラ８、車室内を撮影する距離検出カメラ９、他車両との車車間通信又は路面との間のＤＳＲＣ（狭域無線通信方式）等を用いた路車間通信を行う通信装置１０、後述する俯瞰画像を表示する表示装置１１、上記センサやカメラから取得し蓄積した情報及び／又は車車間通信や路車間通信により収集した情報から仮想の俯瞰画像を生成する画像処理装置１２を備える。   As shown in FIGS. 1 and 2, the vehicle 1 on which the vehicle driving support device of the present embodiment is mounted has a GPS that detects current position information x (latitude, longitude, altitude) used in the car navigation device. A vehicle position detection sensor 2 such as a sensor; a brake sensor 3 that detects a brake pedal depression amount b; a vehicle speed sensor 4 that detects a vehicle speed v of the host vehicle; a travel range switch 5 that detects forward or backward movement of the vehicle; An accelerator sensor 6 for detecting the steering angle, a steering angle sensor 7 for detecting the steering angle s, a surrounding photographing camera 8 for photographing the surroundings of the host vehicle, a distance detecting camera 9 for photographing the interior of the vehicle, inter-vehicle communication with other vehicles, or a road surface Acquired from the communication device 10 that performs road-to-vehicle communication using DSRC (narrow band wireless communication system), etc., the display device 11 that displays a bird's-eye view image to be described later, and the above-mentioned sensors and cameras From information and / or vehicle-to-vehicle information collected by the communication and road-vehicle communication and an image processing apparatus 12 for generating an overhead image of the virtual.

上記表示装置１１は、図１（ｂ）に示すように、車室内のドライバ頭部上方のサンバイザ付近に配置され、距離検出カメラ９は、図６で後述するようにドライバ頭部Ｈと表示装置１１との相対距離（離間距離Ｌ，上下方向距離ｕ，左右方向距離ｔ）を検出する。尚、距離検出カメラ９に代えて超音波センサ等を用いても良い。   As shown in FIG. 1B, the display device 11 is disposed in the vicinity of the sun visor above the driver head in the vehicle interior, and the distance detection camera 9 includes the driver head H and the display device as described later in FIG. 11 is detected (separation distance L, vertical distance u, horizontal distance t). An ultrasonic sensor or the like may be used instead of the distance detection camera 9.

上記通信装置１０は、他車両又はインフラ設備から周囲環境情報ｄ（自車両の周囲に存在する車両、地形、建物等の情報、画像情報等）を取得する。   The communication device 10 acquires ambient environment information d (information on vehicles, terrain, buildings, etc. existing around the host vehicle, image information, etc.) from other vehicles or infrastructure facilities.

図２に示すように、画像処理装置１２は、現在位置情報ｘ、ブレーキ踏込量ｂ、及び車速ｖを用いて仮想カメラ位置（高さｈ、後退量ｚ）を算出する仮想カメラ位置算出部１３と、仮想カメラ位置ｈ，ｚ、現在位置情報ｘ、車速ｖ、走行レンジ情報、アクセル開度ａ、ステアリング舵角ｓを用いて仮想カメラパラメータ（チルト量θ、ズーム量ｆ、パン量Φ）を算出する仮想カメラパラメータ算出部１４と、距離検出カメラ９により検出されたドライバ頭部と表示装置１１との相対距離Ｌ，ｕ，ｔから俯瞰画像の表示密度ｎを算出する俯瞰画像表示密度算出部１５と、仮想カメラ位置ｈ，ｚ、仮想カメラパラメータθ，ｆ，Φ、俯瞰画像の表示密度ｎ、及び周囲環境情報ｄから３次元画像生成に用いる既存のコンピュータグラフィックスのライブラリ（例えば、インターネット＜ＵＲＬ：http://dl.cybernet.co.jp/matlab/support/manual/r14/toolbox/matlab/visualize/?/matlab/support/manual/r14/toolbox/matlab/visualize/chview7.shtml#72077＞や＜http://www.image.esys.tsukuba.ac.jp/~kitahara/data/pubs/2005_JSAI2005_sakamoto.pdf＞参照）を利用して俯瞰画像を生成する俯瞰画像生成部１６と、を有する。   As shown in FIG. 2, the image processing apparatus 12 uses a current position information x, a brake depression amount b, and a vehicle speed v to calculate a virtual camera position (height h, reverse amount z). And virtual camera parameters (tilt amount θ, zoom amount f, pan amount Φ) using virtual camera position h, z, current position information x, vehicle speed v, travel range information, accelerator opening a, and steering angle s. The virtual camera parameter calculation unit 14 to calculate, and the overhead image display density calculation unit to calculate the display density n of the overhead image from the relative distances L, u, t between the driver head detected by the distance detection camera 9 and the display device 11. 15, a virtual camera position h, z, virtual camera parameters θ, f, Φ, a bird's eye image display density n, and an existing computer graphics line used for generating a three-dimensional image from ambient environment information d. Internet (for example, Internet <URL: http://dl.cybernet.co.jp/matlab/support/manual/r14/toolbox/matlab/visualize/?/matlab/support/manual/r14/toolbox/matlab/visualize/ chview7.shtml # 72077> and <http://www.image.esys.tsukuba.ac.jp/~kitahara/data/pubs/2005_JSAI2005_sakamoto.pdf>)) 16 and.

図３は、第１の実施形態による仮想カメラ位置（ａ）及び仮想カメラパラメータ（ｂ）の算出方法を例示している。   FIG. 3 illustrates a method for calculating the virtual camera position (a) and the virtual camera parameter (b) according to the first embodiment.

尚、本実施形態で利用する仮想カメラパラメータとして、カメラの水平方向の旋回を「pan：パン」、カメラの垂直方向の旋回を「tilt：チルト」、カメラの焦点距離の変化は「zoom：ズーム」とする。   The virtual camera parameters used in this embodiment are “pan: pan” for horizontal turning of the camera, “tilt” for vertical turning of the camera, and “zoom: zoom” for the change in the focal length of the camera. "

また、仮想カメラの視点を変化させる画像生成技術として、例えば、「２．自由視点映像」インターネット＜ＵＲＬ：http://www.image.esys.tsukuba.ac.jp/~kitahara/data/pubs/2005_JSAI2005_sakamoto.pdf＞に公開された方法を利用する。   As an image generation technique for changing the viewpoint of a virtual camera, for example, “2. Free viewpoint video” Internet <URL: http://www.image.esys.tsukuba.ac.jp/~kititahara/data/pubs/ Use the method published in 2005_JSAI2005_sakamoto.pdf>.

［第２の実施形態］
図４は、本発明に係る第２の実施形態の車両用運転支援装置のブロック図である。 [Second Embodiment]
FIG. 4 is a block diagram of the vehicle driving support apparatus according to the second embodiment of the present invention.

図４の構成は、図１及び図２からアクセルセンサ６及び舵角センサ７を省略した以外は、図１及び図２と同様である。   The configuration of FIG. 4 is the same as that of FIGS. 1 and 2 except that the accelerator sensor 6 and the steering angle sensor 7 are omitted from FIGS.

本実施形態では、現在位置情報ｘ、ブレーキ踏込量ｂ、及び車速ｖを用いて仮想カメラ位置を算出すると共に、ドライバ頭部Ｈと表示装置１１の相対距離ｕ，Ｌ，ｔからチルト量θ、パン量Φ、ズーム量ｆを決定する。   In the present embodiment, the virtual camera position is calculated using the current position information x, the brake depression amount b, and the vehicle speed v, and the tilt amount θ and the relative distances u, L, and t between the driver head H and the display device 11 are calculated. The pan amount Φ and the zoom amount f are determined.

図５は、第２の実施形態による仮想カメラ位置（ａ）及びカメラパラメータ（ｂ）の算出方法を例示している。図６は、ドライバ頭部Ｈと表示装置１１との間の相対距離として、平面視（ａ）での直線距離Ｌ、平面視（ｂ）での左右方向（車幅方向）距離ｔ、側面視（ｃ）での上下方向（鉛直方向）距離ｕを夫々示している。   FIG. 5 illustrates a method for calculating the virtual camera position (a) and the camera parameter (b) according to the second embodiment. FIG. 6 shows the relative distance between the driver head H and the display device 11 as a linear distance L in plan view (a), a left-right direction (vehicle width direction) distance t in plan view (b), and a side view. The vertical direction (vertical direction) distance u in (c) is shown.

図５及び図６に示すように、本実施形態の画像処理装置１２は、仮想カメラパラメータ算出部１４によって、ドライバ頭部Ｈと表示装置１１の上下方向距離ｕからチルト量θ、ドライバ頭部Ｈと表示装置１１の直線距離Ｌからズーム量ｆ、ドライバ頭部Ｈと表示装置１１の左右方向距離ｔからパン量Φを夫々算出する。また、仮想カメラ位置算出部１３によって、仮想カメラ位置ｈ，ｚ、表示密度ｎが図３（ａ）及び（ｂ）に示した計算式を用いて算出される。   As shown in FIGS. 5 and 6, the image processing apparatus 12 according to the present embodiment uses the virtual camera parameter calculation unit 14 to calculate the tilt amount θ and the driver head H from the vertical distance u between the driver head H and the display device 11. Then, the zoom amount f is calculated from the linear distance L of the display device 11, and the pan amount Φ is calculated from the driver head H and the horizontal distance t of the display device 11. Further, the virtual camera position calculation unit 13 calculates the virtual camera positions h and z and the display density n using the calculation formulas shown in FIGS.

＜俯瞰画像の表示処理＞
図７は、本実施形態の画像処理装置による俯瞰画像の表示処理を示すフローチャートである。 <Overhead image display processing>
FIG. 7 is a flowchart showing the overhead image display processing by the image processing apparatus of the present embodiment.

図７において、画像処理装置１２は、現在位置情報ｘ、周囲環境情報ｄ、車両走行情報（車速ｖ、進行方向、姿勢）、運転操作情報（アクセル開度ａ、ブレーキ踏込量ｂ、ステアリング舵角ｓ、及びこれらの単位時間当たりの変化量Δａ，Δｂ，Δｓ）、ドライバ頭部Ｈと表示装置１１との相対距離（Ｌ，ｕ，ｔ）を取得する（Ｓ１〜Ｓ５）。   In FIG. 7, the image processing device 12 includes current position information x, ambient environment information d, vehicle travel information (vehicle speed v, traveling direction, posture), driving operation information (accelerator opening a, brake depression amount b, steering rudder angle). s, and the variations Δa, Δb, Δs) per unit time, and the relative distance (L, u, t) between the driver head H and the display device 11 are acquired (S1 to S5).

次に、画像処理装置１２は、仮想カメラ位置算出部１３によって、図３（ａ）の計算式から仮想カメラ位置ｈ，ｚを算出する（Ｓ６）。   Next, the image processing apparatus 12 calculates the virtual camera positions h and z from the calculation formula of FIG. 3A by the virtual camera position calculation unit 13 (S6).

次に、画像処理装置１２は、仮想カメラパラメータ算出部１４によって、図３（ｂ）又は図６の計算式から仮想カメラパラメータθ，ｆ，Φを算出する（Ｓ７）。ここで、第１の実施形態では車両走行情報及び運転操作情報から仮想カメラパラメータを演算し、第２の実施形態ではドライバ頭部Ｈと表示装置１１の相対距離ｕ，Ｌ，ｔから仮想カメラパラメータを算出する。   Next, the image processing apparatus 12 calculates the virtual camera parameters θ, f, and Φ from the calculation formula of FIG. 3B or FIG. 6 by the virtual camera parameter calculation unit 14 (S7). Here, in the first embodiment, virtual camera parameters are calculated from vehicle travel information and driving operation information, and in the second embodiment, virtual camera parameters are calculated from the relative distances u, L, t between the driver head H and the display device 11. Is calculated.

次に、画像処理装置１２は、俯瞰画像表示密度算出部１５及び俯瞰画像生成部１６によって、上記仮想カメラパラメータにより制御された仮想カメラの視点から撮影された仮想の俯瞰画像を生成する（Ｓ８）。   Next, the image processing apparatus 12 uses the overhead image display density calculation unit 15 and the overhead image generation unit 16 to generate a virtual overhead image captured from the viewpoint of the virtual camera controlled by the virtual camera parameters (S8). .

次に、画像処理装置１２は、図３（ｂ）の計算式から表示密度ｎを演算し、その表示密度ｎでの俯瞰画像を表示装置１１に表示する（Ｓ９）。   Next, the image processing device 12 calculates the display density n from the calculation formula of FIG. 3B, and displays an overhead image at the display density n on the display device 11 (S9).

尚、上述した表示処理は、１０Ｈｚ以上（１００ｍｓｅｃ以下）の周期で実行する。   The display process described above is executed at a cycle of 10 Hz or more (100 msec or less).

＜第１の実施形態による後退時の仮想カメラパラメータ制御例及び俯瞰画像表示例＞
図８及び図９は、第１の実施形態による後退時の仮想カメラパラメータ制御例及び俯瞰画像表示例を示している。 <Example of virtual camera parameter control and bird's-eye view image display during retreat according to the first embodiment>
8 and 9 show a virtual camera parameter control example and a bird's-eye view image display example when retreating according to the first embodiment.

車両後退時に、図８（ａ）に示す状態（車速０ｋｍ／ｈ）から図８（ｂ）に示す状態（車速２ｋｍ／ｈ、アクセル開度５％）に変化した場合、仮想カメラ位置はＰ１（ｈ１，ｚ１）から車速ｖ（＝２ｋｍ／ｈ）及びブレーキ踏込量ｂ（＝０ｍｍ）から算出されるＰ２（ｈ２，ｚ２）に移動し、アクセル開度ａ（＝５％）から算出されるチルト量及びズーム量がθ１，ｆ１に制御される。また、図８（ｂ）に示す状態から図８（ｃ）に示す状態（車速０ｋｍ／ｈ、ブレーキ踏込量２０ｍｍ）に変化した場合、仮想カメラ位置はＰ２から車速ｖ（＝０ｋｍ／ｈ）及びブレーキ踏込量ｂ（＝２０ｍｍ）から算出されるＰ３（ｈ３，ｚ３）に移動し、アクセル開度ａ（＝０％）から算出されるチルト量θ及びズーム量ｆに制御される。   When the vehicle reverses and the state shown in FIG. 8A (vehicle speed 0 km / h) changes to the state shown in FIG. 8B (vehicle speed 2 km / h, accelerator opening 5%), the virtual camera position is P1 ( It moves from h1, z1) to P2 (h2, z2) calculated from vehicle speed v (= 2 km / h) and brake depression amount b (= 0 mm), and tilt calculated from accelerator opening a (= 5%) The amount and the zoom amount are controlled to θ1, f1. When the state shown in FIG. 8B is changed to the state shown in FIG. 8C (vehicle speed 0 km / h, brake depression amount 20 mm), the virtual camera position changes from P2 to the vehicle speed v (= 0 km / h) and It moves to P3 (h3, z3) calculated from the brake depression amount b (= 20 mm), and is controlled to the tilt amount θ and the zoom amount f calculated from the accelerator opening a (= 0%).

このとき、仮想カメラ位置Ｐ１，Ｐ２，Ｐ３並びに後退完了時に表示される各俯瞰画像を図９（ａ）、（ｂ）、（ｃ）、（ｄ）に示す。後退を開始すると、図９（ｂ）に示すように、ズーム量ｆが望遠側に制御されると共に、チルトして周囲の把握を促すような俯瞰画像が表示される。また、ブレーキを踏み込むと、図９（ｃ）に示すように、ズーム量ｆが広角側に制御されて、後部バンパー付近の詳細な俯瞰画像が表示される。   At this time, the virtual camera positions P1, P2, P3 and the overhead images displayed when the backward movement is completed are shown in FIGS. 9A, 9B, 9C, and 9D. When the backward movement is started, as shown in FIG. 9B, the zoom amount f is controlled to the telephoto side, and a bird's-eye view image that is tilted to promote grasping of the surroundings is displayed. When the brake is depressed, as shown in FIG. 9C, the zoom amount f is controlled to the wide-angle side, and a detailed overhead image near the rear bumper is displayed.

＜第１の実施形態による前進時の仮想カメラパラメータ制御例及び俯瞰画像表示例＞
図１０及び図１１は、第１の実施形態による前進時の仮想カメラパラメータ制御例及び俯瞰画像表示例を示している。 <Example of virtual camera parameter control and bird's-eye view image display during forward movement according to the first embodiment>
10 and 11 show a virtual camera parameter control example and a bird's-eye view image display example during forward movement according to the first embodiment.

車両発進時に、図１０（ａ）に示す状態（車速０ｋｍ／ｈ、ブレーキ踏込量２０ｍｍ、チルト量θ２、ズーム量ｆ２）から図１０（ｂ）に示す加速状態（車速２０ｋｍ／ｈ、アクセル開度４０％）に変化した場合、仮想カメラ位置はＰ４（ｈ４，ｚ４）から車速ｖ（＝２０ｋｍ／ｈ）及びブレーキ踏込量ｂ（＝０ｍｍ）から算出されるＰ５（ｈ５，ｚ５）に移動し、アクセル開度ａ（＝４０％）から算出されるチルト量及びズーム量がθ３、ｆ３に制御される。また、図１０（ｂ）に示す状態から図１０（ｃ）に示す高速走行状態（車速５０ｋｍ／ｈ、アクセル開度２０％）に変化した場合、仮想カメラ位置はＰ５（ｈ５，ｚ５）から車速ｖ（＝５０ｋｍ／ｈ）及びブレーキ踏込量ｂ（＝０ｍｍ）から算出されるＰ６（ｈ６，ｚ６）に移動し、アクセル開度ａ（＝２０％）から算出されるチルト量及びズーム量がθ４，ｆ４に制御される。   From the state shown in FIG. 10A (vehicle speed 0 km / h, brake depression amount 20 mm, tilt amount θ 2, zoom amount f 2), the acceleration state shown in FIG. 10B (vehicle speed 20 km / h, accelerator opening) 40%), the virtual camera position moves from P4 (h4, z4) to P5 (h5, z5) calculated from the vehicle speed v (= 20 km / h) and the brake depression amount b (= 0 mm), The tilt amount and zoom amount calculated from the accelerator opening a (= 40%) are controlled to θ3 and f3. When the state shown in FIG. 10B changes to the high speed running state shown in FIG. 10C (vehicle speed 50 km / h, accelerator opening 20%), the virtual camera position changes from P5 (h5, z5) to the vehicle speed. It moves to P6 (h6, z6) calculated from v (= 50 km / h) and the brake depression amount b (= 0 mm), and the tilt amount and zoom amount calculated from the accelerator opening a (= 20%) are θ4. , F4.

このとき、仮想カメラ位置Ｐ４，Ｐ５，Ｐ６並びに操舵時に表示される各俯瞰画像を図１１（ａ）、（ｂ）、（ｃ）、（ｄ）に示す。発進加速を開始すると、図１１（ｂ）に示すように、ズーム量ｆが望遠側に制御されると共に、チルトして周囲の把握を促すような俯瞰画像が表示される。また、高速走行時には、図１１（ｃ）に示すように、仮想カメラ高さｈが高くなる方向に移動して視点が高くなる。また、図１１（ｃ）から操舵が行われると、図１１（ｄ）に示すように、パンした俯瞰画像が表示される。   At this time, the virtual camera positions P4, P5, P6 and the overhead images displayed at the time of steering are shown in FIGS. 11 (a), 11 (b), 11 (c), and 11 (d). When starting acceleration is started, as shown in FIG. 11B, the zoom amount f is controlled to the telephoto side, and a bird's-eye view image that tilts and prompts to grasp the surroundings is displayed. Further, during high speed traveling, as shown in FIG. 11C, the viewpoint is increased by moving in the direction in which the virtual camera height h is increased. Further, when the steering is performed from FIG. 11C, a panned overhead image is displayed as shown in FIG. 11D.

＜第２の実施形態による前進時の仮想カメラパラメータ制御例及び俯瞰画像表示例＞
図１２は、第２の実施形態による前進時の仮想カメラパラメータ制御例を示している。 <Example of virtual camera parameter control and bird's-eye view image display during forward movement according to the second embodiment>
FIG. 12 shows an example of virtual camera parameter control during forward movement according to the second embodiment.

車両発進時に、図１２（ａ）に示す状態（車速０ｋｍ／ｈ、ブレーキ踏込量２０ｍｍ、ｕ＝２００ｍｍ（但し、Δｕ＝０））から図１２（ｂ）に示す加速状態（車速２０ｋｍ／ｈ、アクセル開度４０％、ｕ＝４００ｍｍ（但し、Δｕ＝０））に変化した場合、仮想カメラ位置はＰ７（ｈ７，ｚ７）から車速ｖ（＝２０ｋｍ／ｈ）及びブレーキ踏込量ｂ（＝０ｍｍ）から算出されるＰ８（ｈ８，ｚ８）に移動し、上下方向距離ｕ（＝４００ｍｍ）から算出されるチルト量が２０°から４０°に変更される。また、図１２（ｂ）に示す加速状態から図１２（ｃ）に示す高速走行状態（車速５０ｋｍ／ｈ、アクセル開度２０％、ｕ＝３００ｍｍ（但し、Δｕ＝０））に変化した場合、仮想カメラ位置はＰ８（ｈ８，ｚ８）から車速ｖ（＝５０ｋｍ／ｈ）及びブレーキ踏込量ｂ（＝０ｍｍ）から算出されるＰ９（ｈ９，ｚ９）に移動し、上下方向距離ｕ（＝３００ｍｍ）から算出されるチルト量が４０°から３０°に変更される。   When the vehicle starts, the acceleration state shown in FIG. 12B (vehicle speed 20 km / h, vehicle speed 0 km / h, brake depression amount 20 mm, u = 200 mm (where Δu = 0)) is shown in FIG. When the accelerator opening degree is changed to 40% and u = 400 mm (where Δu = 0), the virtual camera position changes from P7 (h7, z7) to the vehicle speed v (= 20 km / h) and the brake depression amount b (= 0 mm). Is moved to P8 (h8, z8) calculated from the above, and the tilt amount calculated from the vertical distance u (= 400 mm) is changed from 20 ° to 40 °. When the acceleration state shown in FIG. 12B is changed to the high speed running state shown in FIG. 12C (vehicle speed 50 km / h, accelerator opening 20%, u = 300 mm (where Δu = 0)), The virtual camera position moves from P8 (h8, z8) to P9 (h9, z9) calculated from the vehicle speed v (= 50 km / h) and the brake depression amount b (= 0 mm), and the vertical distance u (= 300 mm). Is changed from 40 ° to 30 °.

上記実施形態によれば、仮想カメラの位置やカメラパラメータを連続的に変化させた俯瞰画像を表示する。この表示処理は、単眼立体視の能力（運動要因による三次元構造の復元）などといった人間の空間把握特性にマッチしていることから、立体的な位置関係、画像内における有益な情報の認知を容易にする。よって、車両状態やドライバの姿勢変化に応じて確認したい場所が変化する自車両周囲の画像について、撮影パラメータを連続的に変化させた俯瞰画像をドライバに提供でき、ドライバの要求や状況の変化に応じた適切な情報を提供できる。   According to the above-described embodiment, an overhead image in which the position of the virtual camera and the camera parameters are continuously changed is displayed. This display process matches the characteristics of human spatial grasping, such as the ability of monocular stereoscopic vision (reconstruction of three-dimensional structures by movement factors), so it is possible to recognize stereoscopic positional relationships and useful information in images. make it easier. Therefore, it is possible to provide the driver with a bird's-eye view image in which the shooting parameters are continuously changed for the image around the host vehicle where the location to be confirmed changes according to the vehicle state or the driver's posture change, and the driver's request or situation changes. Appropriate information can be provided.

特に、第１の実施形態では、仮想カメラ位置及びカメラパラメータを、車速ｖ、ブレーキ踏込量ｂ、アクセル開度ａ、ステアリング舵角ｓなどを利用して制御することにより、空間把握の容易化に寄与すると同時に、ドライバが必要とする方向、距離、ズーム倍率の俯瞰画像が表示されるので、車両の走行状態やドライバの運転操作に応じた適切な俯瞰画像を表示でき、ドライバの確認負担を軽減できる。   In particular, in the first embodiment, the virtual camera position and the camera parameters are controlled using the vehicle speed v, the brake depression amount b, the accelerator opening a, the steering angle s, and the like, thereby facilitating space grasp. At the same time, the bird's-eye view of the direction, distance, and zoom magnification required by the driver is displayed, so it is possible to display an appropriate bird's-eye view image according to the driving state of the vehicle and the driver's driving operation, reducing the driver's burden of confirmation. it can.

更に、第２の実施形態では、カメラパラメータを、ドライバ頭部と表示装置の相対距離を利用して制御することにより、例えば、相対距離が表示装置に対して近づくほど詳細な画像を表示し、また上下方向や左右方向にずれた場合はその距離に応じてチルト量やパン量を変化させる。これにより、ドライバの視点や姿勢の変化、意図をより反映した俯瞰画像が表示できる。   Furthermore, in the second embodiment, by controlling the camera parameter using the relative distance between the driver head and the display device, for example, a detailed image is displayed as the relative distance approaches the display device. Further, when the position is shifted in the vertical direction or the horizontal direction, the tilt amount and the pan amount are changed according to the distance. As a result, a bird's-eye view image that more reflects the driver's viewpoint, posture change, and intention can be displayed.

また、俯瞰画像を後退時のみならず、前進時にも表示するので、ドライバは前進走行中にも後退時と同様に直接視界からは認識できない視覚情報を得ることが可能となる。また、俯瞰画像は速度計やエンジン回転計と同様に、運転操作のフィードバックを視覚的に提供することに他ならず、現行のエンジン回転計がもたらすものと同様の運転操作感や爽快感をドライバに与えることが可能である。   Further, since the bird's-eye view image is displayed not only at the time of reverse but also at the time of forward movement, the driver can obtain visual information that cannot be recognized directly from the field of view as in the case of backward movement during forward traveling. In addition, the bird's-eye view image, like the speedometer and engine tachometer, not only provides feedback on driving operation, but also provides the driver with the same driving feeling and exhilaration as that provided by the current engine tachometer. It is possible to give

また、自車両の周囲環境情報ｄを車車間通信手段や路車間通信手段を用いて取得するので、自車両のみからでは得られない広範囲の情報を収集し、ドライバの要求や状況の変化に応じた適切な俯瞰画像を表示することができる。   In addition, since the surrounding environment information d of the own vehicle is acquired by using the vehicle-to-vehicle communication means and the road-to-vehicle communication means, a wide range of information that cannot be obtained from the own vehicle alone is collected, and the driver's request or situation changes It is possible to display an appropriate overhead image.

［特許請求の範囲の記載と明細書との対応関係］
請求項１，２における、画像取得手段は周囲撮影カメラ８及び通信装置１０、俯瞰画像生成手段は俯瞰画像生成部１６、表示手段は表示装置１１、パラメータ変更手段は仮想カメラパラメータ算出部１４に対応している。 [Correspondence between claims and description]
The image acquisition means corresponds to the surrounding camera 8 and the communication device 10, the overhead image generation means corresponds to the overhead image generation unit 16, the display means corresponds to the display device 11, and the parameter change means corresponds to the virtual camera parameter calculation unit 14. is doing.

請求項１における、車両状態検出手段は車両位置検出センサ２、ブレーキセンサ３、車速センサ４、走行レンジスイッチ５、アクセルセンサ６、及び舵角センサ７に対応している。   The vehicle state detection means in claim 1 corresponds to the vehicle position detection sensor 2, the brake sensor 3, the vehicle speed sensor 4, the travel range switch 5, the accelerator sensor 6, and the steering angle sensor 7.

請求項２における、相対距離検出手段は距離検出カメラ９に対応している。   In the second aspect, the relative distance detecting means corresponds to the distance detecting camera 9.

請求項３における、車車間通信手段及び路車間通信手段は通信装置１０に対応している。   In the third aspect, the vehicle-to-vehicle communication means and the road-to-vehicle communication means correspond to the communication device 10.

請求項４における相対距離検出手段は距離検出カメラ９、請求項４，５における表示密度変更手段は俯瞰画像表示密度算出部１５に対応している。   The relative distance detection means in claim 4 corresponds to the distance detection camera 9, and the display density changing means in claims 4 and 5 corresponds to the overhead image display density calculation unit 15.

請求項６は、画像処理装置１２による図３を用いた仮想カメラ位置及びカメラパラメータの算出に対応している。   Claim 6 corresponds to the calculation of the virtual camera position and camera parameters using FIG. 3 by the image processing apparatus 12.

請求項７，８は、画像処理装置１２による図５を用いた仮想カメラ位置及びカメラパラメータの算出に対応している。   Claims 7 and 8 correspond to the calculation of the virtual camera position and camera parameters using FIG. 5 by the image processing apparatus 12.

尚、上記各手段は上述した構成に限定されるものではなく、上記した各機能を有するものであれば、どのような構成や形態であってもよい。   Each means is not limited to the above-described configuration, and any configuration or form may be used as long as it has the above-described functions.

本発明に係る第１の実施形態の車両用運転支援装置が車両に搭載された状態での構成を示す図である。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram illustrating a configuration in a state where a vehicle driving support device according to a first embodiment of the present invention is mounted on a vehicle. 本発明に係る第１の実施形態の車両用運転支援装置の構成を示すブロック図である。1 is a block diagram illustrating a configuration of a vehicle driving support device according to a first embodiment of the present invention. 第１の実施形態による仮想カメラ位置（ａ）及び仮想カメラパラメータ（ｂ）の算出方法を例示する図である。It is a figure which illustrates the calculation method of the virtual camera position (a) and virtual camera parameter (b) by 1st Embodiment. 本発明に係る第２の実施形態の車両用運転支援装置のブロック図である。It is a block diagram of the driving assistance device for vehicles of a 2nd embodiment concerning the present invention. 第２の実施形態による仮想カメラ位置（ａ）及びカメラパラメータ（ｂ）の算出方法を例示する図である。It is a figure which illustrates the calculation method of the virtual camera position (a) and camera parameter (b) by 2nd Embodiment. ドライバ頭部Ｈと表示装置１１との間の相対距離として、平面視（ａ）での直線距離Ｌ、平面視（ｂ）での左右方向距離ｔ、側面視（ｃ）での上下方向距離ｕを夫々示す図である。As a relative distance between the driver head H and the display device 11, a linear distance L in a plan view (a), a left-right direction distance t in a plan view (b), and a vertical distance u in a side view (c). FIG. 本実施形態の画像処理装置による俯瞰画像の表示処理を示すフローチャートである。It is a flowchart which shows the display process of the bird's-eye view image by the image processing apparatus of this embodiment. 第１の実施形態による後退時の仮想カメラパラメータ制御例を示す図である。It is a figure which shows the virtual camera parameter control example at the time of the reverse by 1st Embodiment. 第１の実施形態による後退時の俯瞰画像表示例を示す図である。It is a figure which shows the example of a bird's-eye view image display at the time of retreat by 1st Embodiment. 第１の実施形態による前進時の仮想カメラパラメータ制御例を示す図である。It is a figure which shows the virtual camera parameter control example at the time of advance by 1st Embodiment. 第１の実施形態による前進時の俯瞰画像表示例を示す図である。It is a figure which shows the example of a bird's-eye view image display at the time of advance by 1st Embodiment. 第２の実施形態による前進時の仮想カメラパラメータ制御例を示す図である。It is a figure which shows the virtual camera parameter control example at the time of advance by 2nd Embodiment.

符号の説明Explanation of symbols

１ 車両
２ 車両位置検出センサ
３ ブレーキセンサ
４ 車速センサ
５ 走行レンジスイッチ
６ アクセルセンサ
７ 舵角センサ
８ 周囲撮影カメラ
９ 距離検出カメラ
１０ 通信装置
１１ 表示装置
１２ 画像処理装置
１３ 仮想カメラ位置算出部
１４ 仮想カメラパラメータ算出部
１５ 俯瞰画像表示密度算出部
１６ 俯瞰画像生成部 DESCRIPTION OF SYMBOLS 1 Vehicle 2 Vehicle position detection sensor 3 Brake sensor 4 Vehicle speed sensor 5 Traveling range switch 6 Acceleration sensor 7 Steering angle sensor 8 Surrounding camera 9 Distance detection camera 10 Communication apparatus 11 Display apparatus 12 Image processing apparatus 13 Virtual camera position calculation part 14 Virtual Camera parameter calculation unit 15 Overhead image display density calculation unit 16 Overhead image generation unit

Claims (8)

自車両周囲の画像情報を取得する画像取得手段と、
前記画像情報を用いて、前記自車両より高所の仮想視点に設置された仮想カメラにより撮影された仮想の俯瞰画像を生成する俯瞰画像生成手段と、
前記俯瞰画像を表示する表示手段と、
自車両の走行状態及び運転操作状態を検出する車両状態検出手段と、
検出された前記走行状態及び前記運転操作状態を用いて前記仮想カメラの撮影パラメータを連続的に変更するパラメータ変更手段と、を有することを特徴とする車両用運転支援装置。 Image acquisition means for acquiring image information around the host vehicle;
Using the image information, an overhead image generation means for generating a virtual overhead image captured by a virtual camera installed at a virtual viewpoint higher than the own vehicle;
Display means for displaying the overhead image;
Vehicle state detecting means for detecting the traveling state and driving operation state of the host vehicle;
Parameter change means for continuously changing the shooting parameters of the virtual camera using the detected running state and driving operation state. 自車両周囲の画像情報を取得する画像取得手段と、
前記画像情報を用いて、前記自車両より高所の仮想視点に設置された仮想カメラにより撮影された仮想の俯瞰画像を生成する俯瞰画像生成手段と、
前記俯瞰画像を表示する表示手段と、
ドライバの頭部と前記表示手段との間の相対距離を検出する相対距離検出手段と、
検出された前記相対距離を用いて前記仮想カメラの撮影パラメータを連続的に変更するパラメータ変更手段と、を有することを特徴とする車両用運転支援装置。 Image acquisition means for acquiring image information around the host vehicle;
Using the image information, an overhead image generation means for generating a virtual overhead image captured by a virtual camera installed at a virtual viewpoint higher than the own vehicle;
Display means for displaying the overhead image;
A relative distance detecting means for detecting a relative distance between the head of the driver and the display means;
And a parameter changing means for continuously changing the imaging parameter of the virtual camera using the detected relative distance. 前記画像取得手段は、自車両周囲を撮影する周囲撮影カメラ、他車両との間で通信を行う車車間通信手段及び路面との間で通信を行う路車間通信手段の少なくともいずれかによって前記自車両周囲の画像情報を取得することを特徴とする請求項１又は２に記載の車両用運転支援装置。   The image acquisition means includes the own vehicle by at least one of a surrounding photographing camera for photographing the periphery of the own vehicle, an inter-vehicle communication means for communicating with another vehicle, and a road-to-vehicle communication means for communicating with a road surface. The vehicle driving support device according to claim 1, wherein surrounding image information is acquired. ドライバの頭部と前記表示手段との間の相対距離を検出する相対距離検出手段と、
前記相対距離に応じて表示画面に対する前記俯瞰画像の表示密度を変更する表示密度変更手段と、を更に備えることを特徴とする請求項１に記載の車両用運転支援装置。 A relative distance detecting means for detecting a relative distance between the head of the driver and the display means;
The vehicle driving support apparatus according to claim 1, further comprising: a display density changing unit that changes a display density of the overhead image with respect to a display screen according to the relative distance. 前記相対距離に応じて表示画面に対する前記俯瞰画像の表示密度を変更する表示密度変更手段、を更に備えることを特徴とする請求項２に記載の車両用運転支援装置。   The vehicle driving support device according to claim 2, further comprising: a display density changing unit that changes a display density of the overhead image with respect to a display screen according to the relative distance. 前記パラメータ変更手段は、前記走行状態としての車速及び加減速度を用いて前記仮想カメラの位置を変更し、前記運転操作状態としてのアクセル開度及びステアリング舵角を用いて前記撮影パラメータとしてのチルト量、ズーム量及びパン量を変更することを特徴とする請求項１に記載の車両用運転支援装置。   The parameter changing means changes the position of the virtual camera using the vehicle speed and acceleration / deceleration as the running state, and the tilt amount as the shooting parameter using the accelerator opening and the steering angle as the driving operation state The vehicle driving support device according to claim 1, wherein the zoom amount and the pan amount are changed. 前記パラメータ変更手段は、前記走行状態としての車速及び加減速度を用いて前記仮想カメラの位置を変更し、前記相対距離を用いて前記撮影パラメータとしてのチルト量、ズーム量及びパン量を変更することを特徴とする請求項２に記載の車両用運転支援装置。   The parameter changing means changes the position of the virtual camera using the vehicle speed and acceleration / deceleration as the running state, and changes the tilt amount, zoom amount, and pan amount as the shooting parameters using the relative distance. The vehicle driving support device according to claim 2, wherein: 前記相対距離検出手段は、前記相対距離として、前記ドライの頭部と前記表示手段との間の直線距離、上下方向の離間距離、左右方向の離間距離を夫々検出し、
前記パラメータ変更手段は、前記上下方向の離間距離を用いて前記撮影パラメータとしてのチルト量、前記直線距離を用いてズーム量、前記左右方向の距離を用いてパン量を夫々変更することを特徴とする請求項７に記載の車両用運転支援装置。 The relative distance detection means detects, as the relative distance, a linear distance between the dry head and the display means, a vertical separation distance, and a horizontal separation distance, respectively.
The parameter changing means changes the tilt amount as the shooting parameter using the vertical separation distance, the zoom amount using the linear distance, and the pan amount using the left-right distance, respectively. The vehicle driving support device according to claim 7.
JP2007073482A 2007-03-20 2007-03-20 Vehicle driving support device Expired - Fee Related JP5045172B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007073482A JP5045172B2 (en) 2007-03-20 2007-03-20 Vehicle driving support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007073482A JP5045172B2 (en) 2007-03-20 2007-03-20 Vehicle driving support device

Publications (2)

Publication Number Publication Date
JP2008236403A true JP2008236403A (en) 2008-10-02
JP5045172B2 JP5045172B2 (en) 2012-10-10

Family

ID=39908638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007073482A Expired - Fee Related JP5045172B2 (en) 2007-03-20 2007-03-20 Vehicle driving support device

Country Status (1)

Country Link
JP (1) JP5045172B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010228471A (en) * 2009-03-25 2010-10-14 Denso Corp Display device
WO2010137680A1 (en) * 2009-05-29 2010-12-02 富士通テン株式会社 Image processing device, electronic device, and image processing method
JP2012023658A (en) * 2010-07-16 2012-02-02 Toshiba Alpine Automotive Technology Corp Image display device for vehicle
JPWO2011030699A1 (en) * 2009-09-11 2013-02-07 アイシン精機株式会社 Vehicle periphery monitoring device
JP2015065659A (en) * 2009-05-29 2015-04-09 富士通テン株式会社 Image processing system, electronic device, and image processing method
EP2464113A4 (en) * 2009-08-03 2016-11-16 Aisin Seiki Vehicle peripheral image generation device
JP2017114237A (en) * 2015-12-22 2017-06-29 株式会社Ｊｖｃケンウッド Bird's-eye video generation device, bird's-eye video generation system, bird's-eye video generation method and program
CN108140318A (en) * 2015-10-22 2018-06-08 日产自动车株式会社 Display control method and display control unit
JP2019125193A (en) * 2018-01-17 2019-07-25 アイシン精機株式会社 Periphery monitoring device
CN114095664A (en) * 2020-11-06 2022-02-25 北京京东乾石科技有限公司 Camera parameter adjusting method and device
US20220236787A1 (en) * 2015-03-24 2022-07-28 Intel Corporation Augmentation modification based on user interaction with augmented reality scene

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03189683A (en) * 1989-12-19 1991-08-19 Mita Ind Co Ltd Information processor
JPH0744143A (en) * 1993-07-27 1995-02-14 Canon Inc Information processor
JPH115488A (en) * 1997-06-18 1999-01-12 Nissan Motor Co Ltd Device for displaying peripheral condition of vehicle
JP3300334B2 (en) * 1999-04-16 2002-07-08 松下電器産業株式会社 Image processing device and monitoring system
JP2006264507A (en) * 2005-03-24 2006-10-05 Nissan Motor Co Ltd Indicating method and device for vehicle
JP2006285692A (en) * 2005-03-31 2006-10-19 Honda Motor Co Ltd Inter-vehicle communication system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03189683A (en) * 1989-12-19 1991-08-19 Mita Ind Co Ltd Information processor
JPH0744143A (en) * 1993-07-27 1995-02-14 Canon Inc Information processor
JPH115488A (en) * 1997-06-18 1999-01-12 Nissan Motor Co Ltd Device for displaying peripheral condition of vehicle
JP3300334B2 (en) * 1999-04-16 2002-07-08 松下電器産業株式会社 Image processing device and monitoring system
JP2006264507A (en) * 2005-03-24 2006-10-05 Nissan Motor Co Ltd Indicating method and device for vehicle
JP2006285692A (en) * 2005-03-31 2006-10-19 Honda Motor Co Ltd Inter-vehicle communication system

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010228471A (en) * 2009-03-25 2010-10-14 Denso Corp Display device
US10339811B2 (en) 2009-05-29 2019-07-02 Fujitsu Ten Limited Image processing apparatus, electronic apparatus, and image processing method
WO2010137680A1 (en) * 2009-05-29 2010-12-02 富士通テン株式会社 Image processing device, electronic device, and image processing method
JP2011008762A (en) * 2009-05-29 2011-01-13 Fujitsu Ten Ltd Image processor, electronic device, and image processing method
CN102450007A (en) * 2009-05-29 2012-05-09 富士通天株式会社 Image processing apparatus, electronic apparatus, and image processing method
JP2015065659A (en) * 2009-05-29 2015-04-09 富士通テン株式会社 Image processing system, electronic device, and image processing method
US9077861B2 (en) 2009-05-29 2015-07-07 Fujitsu Ten Limited Image processing apparatus, electronic apparatus, and image processing method
EP2464113A4 (en) * 2009-08-03 2016-11-16 Aisin Seiki Vehicle peripheral image generation device
JPWO2011030699A1 (en) * 2009-09-11 2013-02-07 アイシン精機株式会社 Vehicle periphery monitoring device
JP2012023658A (en) * 2010-07-16 2012-02-02 Toshiba Alpine Automotive Technology Corp Image display device for vehicle
US20220236787A1 (en) * 2015-03-24 2022-07-28 Intel Corporation Augmentation modification based on user interaction with augmented reality scene
CN108140318A (en) * 2015-10-22 2018-06-08 日产自动车株式会社 Display control method and display control unit
JP2017114237A (en) * 2015-12-22 2017-06-29 株式会社Ｊｖｃケンウッド Bird's-eye video generation device, bird's-eye video generation system, bird's-eye video generation method and program
JP2019125193A (en) * 2018-01-17 2019-07-25 アイシン精機株式会社 Periphery monitoring device
CN114095664A (en) * 2020-11-06 2022-02-25 北京京东乾石科技有限公司 Camera parameter adjusting method and device

Also Published As

Publication number Publication date
JP5045172B2 (en) 2012-10-10

Similar Documents

Publication Publication Date Title
JP5045172B2 (en) Vehicle driving support device
US10710504B2 (en) Surroundings-monitoring device and computer program product
US7554461B2 (en) Recording medium, parking support apparatus and parking support screen
CN107614308B (en) Robot system and method for driving a vehicle to a destination
JP5182042B2 (en) Image processing apparatus, image processing method, and computer program
CN102474597B (en) Vehicle peripheral image generation device
KR100721560B1 (en) System and method for provision of 3-dimensional car information with arbitrary viewpoint
JP5412979B2 (en) Peripheral display device
CN110786004B (en) Display control device, display control method, and storage medium
WO2019008764A1 (en) Parking assistance method and parking assistance device
EP3271207B1 (en) Method for operating a communication device for a motor vehicle during an autonomous drive mode, communication device as well as motor vehicle
JP5327025B2 (en) Vehicle travel guidance device, vehicle travel guidance method, and computer program
JP2005242606A (en) Image generation system, image generation program and image generation method
JP7371629B2 (en) Information processing device, information processing method, program, and vehicle
EP3770898A1 (en) Image display system, information processing device, information processing method, program, and moving body
WO2018150642A1 (en) Surroundings monitoring device
JP4192680B2 (en) Moving object periphery monitoring device
JPH10175482A (en) Vehicle rear view field support device
JP2006054662A (en) Drive support device
JP2004147083A (en) Driving support apparatus
US20210327113A1 (en) Method and arrangement for producing a surroundings map of a vehicle, textured with image information, and vehicle comprising such an arrangement
JP2005038225A (en) Lane follow-up device
JP6595647B2 (en) Travel control device, vehicle, and travel control method
JP2007110177A (en) Image processing apparatus and program
JP2008213647A (en) Parking assist method and parking assist system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100115

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20101001

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120702

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5045172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees