JP3468658B2

JP3468658B2 - Perimeter recognition device for vehicles

Info

Publication number: JP3468658B2
Application number: JP06616797A
Authority: JP
Inventors: 善紀見市; 美鈴山本; 哲志御室
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 1997-03-19
Filing date: 1997-03-19
Publication date: 2003-11-17
Anticipated expiration: 2017-03-19
Also published as: JPH10258682A

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、車両の前部または
後部に搭載されて該車両の左右側方の視界を撮像し、左
右側方の視野画像を運転者に提示する車両用周辺視認装
置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle peripheral visual recognition device which is mounted on a front portion or a rear portion of a vehicle, images the left and right side visual fields of the vehicle, and presents left and right side visual field images to a driver. Regarding

【０００２】[0002]

【関連する背景技術】近時、車両の前部または後部に搭
載されたカメラにて該車両の左右側方の視界を撮像し、
該車両の室内に設けられたディスプレイを用いてその画
像を表示する車両用周辺視認装置の開発が進められてい
る。この種の装置によれば、例えば図５に示すように、
車両１が路地等から交差点に進入する際、道路（路地）
両側の壁２等によって視界が遮られ、運転者からは直接
見ることのできない車両前方の左右視界を、該車両の前
部に設けられたカメラにより得られる画像から確認する
ことができるので、その交差点への進入時における安全
性を高めることができる等の効果が奏せられる。Related Background Art Recently, a camera mounted on a front portion or a rear portion of a vehicle captures a field of view on the left and right sides of the vehicle,
Development of a vehicle peripheral visual recognition device that displays an image using a display provided inside the vehicle is underway. According to this type of device, for example, as shown in FIG.
When the vehicle 1 enters an intersection from an alley or the like, the road (alley)
Since the field of view is blocked by the walls 2 on both sides and cannot be seen directly by the driver, the left and right field of view in front of the vehicle can be confirmed from the image obtained by the camera provided in the front part of the vehicle. It is possible to improve safety when entering an intersection.

【０００３】[0003]

【発明が解決しようとする課題】ところでこの種の車両
用周辺視認装置においてカメラにより撮像される左右側
方の画像は、通常、その視界（視野角とその向き）が一
義的に定められている。しかしながら、見通しの悪い交
差点等に進入する際、交差道路の幅や、その交差点にお
ける左右の見通しの善し悪しによっては、必ずしも左右
の側方視界を同一条件で確認する必要はない。むしろ危
険度が大きいと判断される向きの側方視界の情報をより
多く得て、その安全性を確認することが望ましい。By the way, the visual field (viewing angle and direction) of the left and right lateral images taken by the camera in this type of vehicle peripheral visual recognition device is usually uniquely determined. . However, when entering an intersection with poor visibility, it is not always necessary to check the left and right lateral views under the same conditions depending on the width of the intersection road and the right and left visibility at the intersection. Rather, it is desirable to obtain more information on the lateral field of view in the direction in which the degree of danger is judged to be greater, and to confirm its safety.

【０００４】例えば側道から片側２車線の幹線道路に進
入するような場合、該幹線道路における車両の走行方向
が定まっていることから、左側方については幹線道路の
路肩に沿った歩道を見通す程度の狭い視野領域の視界を
確保すれば十分であるが、右側方については上記歩道の
みならず幹線道路を含む広い視野領域の視界を確保する
ことが望ましい。For example, when entering a highway with two lanes on each side from a side road, since the traveling direction of the vehicle on the highway is fixed, the left side is a degree of looking through the sidewalk along the shoulder of the highway. It is sufficient to secure the field of view in the narrow field of view, but it is desirable to secure the field of view in the wide field including the main road as well as the sidewalk on the right side.

【０００５】このようにして左側方と右側方との視野領
域を変える場合、例えば左右側方の視界をそれぞれ撮像
するカメラの撮像視野角を変更することが考えられる。
具体的にはカメラにズームレンズを装着し、その焦点距
離を可変することで撮像視野角を変更することが考えら
れる。しかしながら、このようにして撮像視野角（視野
領域）を可変すると、これに伴って撮像入力した画像の
尺度が変化する。そしてその画像は、同じ被写体であっ
ても視野角が狭い程、その被写体像が大きくなり、また
その遠近感が損なわれるので、その表示画像を誤認識し
易くなる等の弊害が生じる。しかもズームレンズを用い
ると、カメラ自体の構成が複雑化することのみならず、
その制御系も複雑化する等の問題が生じる。When the left and right visual field regions are changed in this manner, it is conceivable to change the imaging visual field angles of the cameras which respectively capture the left and right visual fields.
Specifically, it is conceivable to attach a zoom lens to a camera and change the imaging viewing angle by changing the focal length. However, if the imaging viewing angle (viewing area) is changed in this manner, the scale of the image input by imaging changes accordingly. In the image, the narrower the viewing angle of the same subject, the larger the subject image and the impaired perspective, and thus the display image is likely to be erroneously recognized. Moreover, using a zoom lens not only complicates the configuration of the camera itself,
There arises a problem that the control system becomes complicated.

【０００６】本発明はこのような事情を考慮してなされ
たもので、その目的は、左右側方の各視野画像の尺度を
変えることなく、交差点の状況や見通し状況等に応じて
上記左右側方の視野領域の大きさを適切に変更すること
のできる簡易で実用性の高い構成の車両用周辺視認装置
を提供することにある。The present invention has been made in consideration of such a situation, and an object thereof is to adjust the left and right sides according to the situation of intersections, the situation of line-of-sight, etc. without changing the scales of the left and right visual field images. Another object of the present invention is to provide a vehicle peripheral visual recognition device having a simple and highly practical configuration capable of appropriately changing the size of the other visual field region.

【０００７】[0007]

【課題を解決するための手段】上述した目的を達成する
べく本発明に係る車両用周辺視認装置は、車両の前部ま
たは後部に取り付けられて該車両の左右側方における所
定の視界、例えば視野角９０°未満の自然目視に相当す
る視野をそれぞれ撮像する撮像手段と、この撮像手段に
て撮像された前記左右側方の各視界画像中における注目
視野範囲の画像を左視野画像および右視野画像としてそ
れぞれ抽出し、これらの左視野画像および右視野画像を
並べて１枚の表示画像を形成する画像合成手段と、前記
車両の室内に設けられて前記表示画像を表示する表示手
段とを具備し、更に車両の走行環境を検出する環境検出
手段と、前記撮像手段にて撮像する左右側方の各視界中
における注目視野の範囲を設定して前記各視界画像中か
ら抽出する左視野画像と右視野画像との画面比率を決定
する視野設定手段と、設定された画面比率を前記走行環
境に応じて記憶する学習手段と、前記環境検出手段にて
検出された走行環境と前記学習手段にて記憶された情報
とに従って前記画面比率を変更する表示制御手段とを備
えたことを特徴としている。[Summary of the peripheral visual confirmation apparatus for a vehicle according to the present invention in order to achieve the above object, a predetermined field of view is attached to the front or rear of the vehicle at left and right sides of the vehicle, for example, the field of view An image pickup unit for picking up a visual field corresponding to a natural visual angle of less than 90 °, and an image of a visual field range of interest in each of the left and right visual field images picked up by the image pickup unit is a left visual field image and a right visual field image. And an image synthesizing unit that forms a single display image by arranging the left-view image and the right-view image, respectively, and a display unit that is provided inside the vehicle to display the display image. Further environment detection to detect the driving environment of the vehicle
Means and a field-of-view setting for determining the screen ratio of the left-view image and the right-view image extracted from each view image by setting the range of the view field of interest in each of the left and right views captured by the image pickup means. Means and the set screen ratio to the running ring.
With learning means to store according to the boundary and the environment detection means
Detected driving environment and information stored by the learning means
And display control means for changing the screen ratio according to the above .

【０００８】特に請求項２に記載するように前記視野設
定手段に、手動操作される選択スイッチの操作を受けて
前記左右側方の各視界画像における注目視野の範囲を可
変設定する手段を設けたことを特徴としており、また請
求項３に記載するように前記視野設定手段に、環境検出
手段によって検出される車両の走行環境の情報、例えば
ナビゲーション情報によって示される交差点への車両の
進入角情報や車両のハンドル角情報等に従って前記左右
側方の視界画像における注目視野の範囲を可変設定する
手段を設けたことを特徴としている。この際、上述した
如く設定された左視野画像と右視野画像との画面比率
を、その交差点に対応付けて記憶することが好ましい。 Particularly, as described in claim 2, the visual field setting means is provided with means for variably setting the range of the visual field of interest in each of the left and right visual field images in response to the operation of the manually operated selection switch. According to a third aspect of the present invention, the visual field setting means includes information on the traveling environment of the vehicle detected by the environment detection means, for example, information on the approach angle of the vehicle to the intersection indicated by the navigation information, It is characterized in that means is provided for variably setting the range of the visual field of interest in the left and right side view images according to the steering wheel angle information of the vehicle and the like. At this time, it is preferable to store the screen ratio of the left visual field image and the right visual field image set as described above in association with the intersection .

【０００９】即ち、本発明に係る車両用周辺視認装置
は、撮像手段（カメラ）にて撮像される車両の左右側方
における各視界画像中から、左視野画像と右視野画像と
を部分的に抽出して、これらの視野画像を並べて１枚の
表示画像を形成して表示手段（ディスプレイ）に表示す
るに際し、交差点の状況に応じて左右の注目すべき視野
領域の範囲を、例えば選択スイッチの手動操作に応じ
て、或いはナビゲーション情報によって示される交差点
の情報等に応じて設定し、また設定された画面比率を前
記走行環境に応じて記憶し、この学習結果と走行環境と
に従って前記左視野画像と右視野画像との画面比率を可
変設定するようにしたことを特徴としている。[0009] That is, the peripheral visual confirmation apparatus for a vehicle according to the present invention, the in each field image in the right and left sides of the vehicle to be imaged by the imaging means (camera), and a left view image and the right view image partially When extracting and arranging these visual field images to form one display image for display on a display means (display), the range of the visual field regions to be noticed on the left and right depending on the situation of the intersection is selected, for example, by a selection switch. upon a manual operation, or set according to information of an intersection, such as indicated by the navigation information, also before the set screen ratio
Memorized according to the driving environment,
According to the above, the screen ratio between the left-view image and the right-view image is variably set.

【００１０】更には上記左視野画像と右視野画像との画
面比率を、その交差点に対応付けて記憶することで、同
一交差点における視野範囲の設定の自動化を図るように
したものである。Further, the screen ratio between the left-view image and the right-view image is stored in association with the intersection so that the setting of the view range at the same intersection can be automated.

【００１１】[0011]

【発明の実施の形態】以下、図面を参照して本発明の一
実施形態に係る車両用周辺視認装置を、ノーズビュー装
置を例に説明する。尚、ここでは車両の前部に設けたカ
メラにて該車両の左右側方の視界を撮像するノーズビュ
ー装置を例に説明するが、車両の後部に設けたカメラに
て該車両の左右側方の視界を撮像する車両後方左右ビュ
ー装置にも同様に適用できる。BEST MODE FOR CARRYING OUT THE INVENTION A vehicle peripheral visual recognition apparatus according to an embodiment of the present invention will be described below with reference to the drawings, taking a nose view apparatus as an example. Although a nose view device that captures the field of view of the left and right sides of the vehicle with a camera provided at the front of the vehicle will be described as an example, the left and right sides of the vehicle with a camera provided at the rear of the vehicle will be described. The same can be applied to a vehicle rear left and right view device that images the field of view of the vehicle.

【００１２】図１はノーズビュー装置の機能的な概略構
成を示す図で、１１,１２は車両の前部に取り付けられ
て該車両の左右側方の視界をそれぞれ撮像する撮像手段
としての左視界カメラおよび右視界カメラである。これ
らの各カメラ１１,１２は、例えば車両のフロントフェ
ンダの前側に、特にフロントバンパの延長線上の切り込
み部分等に組み込まれており、各カメラ１１,１２によ
って図２に示すように車両１０の前部左右側方の視界が
それぞれ撮像されるものとなっている。FIG. 1 is a diagram showing a functional schematic structure of a nose view device. Reference numerals 11 and 12 are left visual fields as image pickup means which are attached to the front part of a vehicle and respectively image the visual fields on the left and right sides of the vehicle. A camera and a right-view camera. Each of these cameras 11 and 12 is incorporated, for example, on the front side of the front fender of the vehicle, in particular, at a notch on the extension line of the front bumper, and the like. The fields of view on the left and right sides of the part are respectively imaged.

【００１３】これらの各カメラ１１,１２の撮像視野角
ＦL,ＦRは、例えば水平方向９０°未満の自然目視（人
間が自然な状態で視認できる視野）の範囲に設定されて
おり、所謂広角レンズから標準レンズに相当する視野角
として定められている。つまり各カメラ１１,１２の視
野角ＦL,ＦRは、車両１０の前部における左右側方の視
界を、その視野方向（水平方向）に関して幾何学的な歪
みを殆ど生じることなく一括して撮像し得る視野角とし
て定められている。The image pickup viewing angles FL and FR of the cameras 11 and 12 are set within a range of, for example, a natural visual field of less than 90 ° in the horizontal direction (a visual field which can be visually recognized by a human in a natural state). Is defined as a viewing angle corresponding to a standard lens. In other words, the viewing angles FL and FR of the cameras 11 and 12 collectively capture the left and right fields of view in the front part of the vehicle 10 with almost no geometric distortion in the field of view (horizontal direction). It is defined as the viewing angle to obtain.

【００１４】一方、画像の表示手段としてのディスプレ
イ１３は車両１０の室内、特に運転席前方のインストル
メントパネルやコンソールパネル等に組み込まれるもの
で、例えば液晶ディスプレイからなる。このディスプレ
イ１３は、前述した左右側方の視界画像の表示に供せら
れると共に、後述するナビゲーションシステム１４によ
るナビゲーション情報（自車周辺の道路と自車位置等を
示す地図情報等）の表示等にも用いられる。On the other hand, the display 13 as an image display means is incorporated in the interior of the vehicle 10, particularly in the instrument panel or console panel in front of the driver's seat, and is composed of, for example, a liquid crystal display. The display 13 is used for displaying the left and right side view images described above and also for displaying navigation information (map information indicating the road around the vehicle and the vehicle position etc.) by the navigation system 14 described later. Is also used.

【００１５】さてこの装置が特徴とするところは、マイ
クロプロセッサ等によって構築されるノーズビューシス
テム１５において、特にノーズビュー選択制御機能１
６，左右視野合成比率制御機能１７，左右視野変更機能
１８を備えている点であり、更に補助的機能として学習
部（メモリ）１９を備えている点にある。上記ノーズビ
ュー選択制御機能１６は、前述したカメラ１１,１２に
よって撮像入力される車両１０の前部左右側方の視界画
像ＶL,ＶRに基づく画像表示を前記ディスプレイ１３を
用いて実行するか否かを制御する機能であり、後述する
ようにナビゲーションシステム１４から与えられる交差
点の情報やノーズビュー選択スイッチからの指示情報等
に基づいてその選択制御を実行する。The feature of this apparatus is that in the nose view system 15 constructed by a microprocessor or the like, in particular, the nose view selection control function 1
6, a left / right visual field synthesis ratio control function 17, a left / right visual field changing function 18, and a learning unit (memory) 19 as an auxiliary function. Whether or not the nose view selection control function 16 uses the display 13 to perform image display based on the view images VL and VR of the front left and right sides of the vehicle 10 imaged and input by the cameras 11 and 12 described above. Is a function of controlling the selection, and executes the selection control based on the information of the intersection given from the navigation system 14 and the instruction information from the nose view selection switch as will be described later.

【００１６】また左右視野合成比率制御機能１７は、前
記カメラ１１,１２によって撮像入力された車両１０の
前部左右側方の視界画像ＶL,ＶRから、後述するように
それぞれ切り出された左右の視野画像ＤL,ＤRを並べて
１枚の表示画像Ｄを形成するに際し、合成比率スイッチ
からの指示に従って左視野画像ＤLと右視野画像ＤRとの
画面比率（合成比率）を設定する役割を担う。そしてこ
の左右視野合成比率制御機能１７は、上記の如く設定さ
れた画面比率に従って前記前部左右側方の視界画像ＶL,
ＶRから所定の視野幅で左右の視野画像ＤL,ＤRをそれぞ
れ抽出し、これらの視野画像ＤL,ＤRを横並びにして１
枚の表示画像Ｄを形成する。この表示画像Ｄが前記ノー
ズビュー選択制御機能１６に制御の下で前記ディスプレ
イ１３に表示され、運転者に提示される。The left and right visual field synthesis ratio control function 17 also has left and right visual fields cut out from the visual images VL and VR on the front left and right sides of the vehicle 10 imaged and input by the cameras 11 and 12, respectively, as will be described later. When the images DL and DR are arranged side by side to form one display image D, it plays a role of setting the screen ratio (combining ratio) of the left visual field image DL and the right visual field image DR according to an instruction from the compositing ratio switch. The left / right visual field synthesis ratio control function 17 operates in accordance with the screen ratio set as described above to obtain the front left / right side view images VL,
Left and right visual field images DL, DR are extracted from VR with a predetermined visual field width, and these visual field images DL, DR are arranged side by side to 1
A single display image D is formed. This display image D is displayed on the display 13 under the control of the nose view selection control function 16 and presented to the driver.

【００１７】更に前記左右視野変更機能１８は、上記前
部左右側方の視界画像ＶL,ＶRから前述した如く設定さ
れた画面比率に従って左右の視野画像ＤL,ＤRを選択的
に抽出する際、視界画像ＶL,ＶR中のどの領域の画像を
抽出するか、つまりどの向きの視野領域の画像を抽出す
るかを変更設定する役割を担う。この視野領域の向きの
変更は、例えばハンドル角信号や視野選択スイッチから
の指示情報に従って行われる。Further, the left and right visual field changing function 18 is used to selectively extract the left and right visual field images DL, DR from the front left and right lateral visual field images VL, VR according to the screen ratio set as described above. It plays a role of changing and setting which region of the images VL and VR is extracted, that is, which direction of the visual field region is extracted. The change of the orientation of the visual field region is performed in accordance with, for example, a steering wheel angle signal or instruction information from the visual field selection switch.

【００１８】尚、前記学習部１９は、上記各機能１６,
１７,１８の作動の形態（動作状態）を、例えばナビゲ
ーションシステム１４から得られる走行環境等に応じて
学習するものである。この学習部１９によって、例えば
特定の交差点におけるノーズビュー機能の使用と、その
使用の状況（形態）等が履歴情報として収集され、どの
交差点でどの様な形態でノーズビュー機能が用いられる
かが学習される。具体的には、左視野画像ＤLと右視野
画像ＤRとの画面比率，および左視野画像ＤLと右視野画
像ＤRの各視野の向きが、交差点に対応付けて記憶され
る。この学習結果は、前記ノーズビュー・システム１５
における前記各機能１６,１７,１８の自動制御に利用さ
れる。The learning unit 19 includes the functions 16,
The operation mode (operation state) of 17, 18 is learned in accordance with, for example, the traveling environment obtained from the navigation system 14. The learning unit 19 collects, for example, the use of the nose view function at a specific intersection and the usage state (form) of the use as history information, and learns at which intersection the nose view function is used and in what form. To be done. Specifically, the screen ratio between the left visual field image DL and the right visual field image DR and the directions of the visual fields of the left visual field image DL and the right visual field image DR are stored in association with the intersection. This learning result is the same as the nose view system 15 described above.
It is used for automatic control of each of the functions 16, 17, and 18 in the above.

【００１９】このように構築される車両用周辺視認装置
（ノーズビュー装置）の特徴的な機能と、その作用につ
いて図３に示す基本的な制御フローに従って更に詳しく
説明すると、ノーズビュー処理は、基本的にはノーズビ
ュー選択スイッチが選択（オン）されているか否かを判
定することから開始される［ステップＳ１］。ノーズビ
ュー選択スイッチが非選択（オフ）である場合には、該
ノーズビュー選択スイッチが選択（オン）されるまでこ
の処理を中止するか、或いは特に制御フローを示されな
いが前記学習部１９による学習結果に基づいてノーズビ
ュー制御を実行する。この学習結果に基づくノーズビュ
ー制御については後述する。The characteristic functions of the vehicle peripheral visual recognition device (nose view device) constructed in this way and the operation thereof will be described in more detail according to the basic control flow shown in FIG. Specifically, it is started by determining whether or not the nose view selection switch is selected (turned on) [step S1]. If the nose view selection switch is not selected (OFF), this process is stopped until the nose view selection switch is selected (ON), or the learning by the learning unit 19 although no control flow is shown. Nose view control is executed based on the result. The nose view control based on this learning result will be described later.

【００２０】しかしてノーズビュー選択スイッチが選択
（オン）されている場合には、次に車速信号に基づい
て、例えばそのときの車速が２０ｋｍ／ｈ以下の低速で
あるか否かを判定する［ステップＳ２］。この判定は、
ノーズビューが必要な運転環境が、例えば見通しの悪い
交差点への進入時等、低速走行しているときであり、高
速走行時には車両前部の左右視界の確認が殆ど不要であ
ることに立脚している。換言すれば車両前部の左右視界
の確認が必要な場合には、当然に減速し、低速走行、若
しくは一時停止している状態であることに立脚してい
る。従って車両１０が高速走行している場合には、ノー
ズビュー処理が中止される。When the nose view selection switch is selected (turned on), it is then determined based on the vehicle speed signal whether or not the vehicle speed at that time is a low speed of 20 km / h or less [for example]. Step S2]. This decision is
Based on the fact that the driving environment that requires a nose view is when traveling at low speeds, such as when entering an intersection with poor visibility, and it is almost unnecessary to check the left and right views of the front of the vehicle when traveling at high speeds. There is. In other words, when it is necessary to check the left and right field of view of the front portion of the vehicle, it is naturally based on the fact that the vehicle is decelerating, traveling at a low speed, or temporarily stopped. Therefore, when the vehicle 10 is traveling at high speed, the nose view process is stopped.

【００２１】このようなノーズビュー選択スイッチのオ
ン・オフ判定、および車速判定によるノーズビュー機能
の作動に対する選択制御は、前記ノーズビュー選択制御
機能１６によって実行される。そしてこのノーズビュー
選択制御機能１６によってノーズビュー機能を作動させ
る上での必要条件が判定されたならば、次にナビゲーシ
ョンシステム１４から得られる車両１０の位置情報に従
い、該車両１０が位置する交差点が前記学習部１９に記
憶されている特定の交差点であるか否かを判定する［ス
テップＳ３］。そして既に記憶されている交差点である
ならば、左右の視野画像ＤL,ＤRの画面比率を可変設定
するための合成比率スイッチが作動状態（オン）である
か否かを判定する［ステップＳ４］。The nose view selection control function 16 executes the selection control for the on / off judgment of the nose view selection switch and the operation of the nose view function based on the vehicle speed judgment. Then, if the necessary condition for operating the nose view function is determined by the nose view selection control function 16, next, according to the position information of the vehicle 10 obtained from the navigation system 14, the intersection where the vehicle 10 is located is determined. It is determined whether the intersection is a specific intersection stored in the learning unit 19 [step S3]. If the intersection is already stored, it is determined whether or not the composite ratio switch for variably setting the screen ratios of the left and right visual field images DL, DR is in the operating state (ON) [step S4].

【００２２】しかして車両１０が進入しようとする交差
点が、既に学習部１９に登録された交差点でない場合、
或いは既に登録された交差点であっても前記合成比率ス
イッチがオンである場合には、該合成比率スイッチから
の指示に従って前記視界画像ＶL,ＶR中からそれぞれ抽
出する左視野画像ＤLと右視野画像ＤRの領域幅（水平方
向の画像幅）を可変設定し、表示画像Ｄを形成する上で
の前記左視野画像ＤLと右視野画像ＤRとの画面比率を設
定する。そしてこの画面比率によって決定される画面幅
（領域幅）で、前記各視界画像ＶL,ＶR中から左視野画
像ＤLと右視野画像ＤRとをそれぞれ切り出し、これらの
左視野画像ＤLおよび右視野画像ＤRを横に並べて１枚の
表示画像Ｄを形成し、これをディスプレイ１３に表示す
る［ステップＳ５］。If the intersection where the vehicle 10 is about to enter is not the intersection already registered in the learning section 19,
Alternatively, if the composition ratio switch is on even at an already registered intersection, the left visual field image DL and the right visual field image DR extracted from the visual field images VL and VR respectively according to an instruction from the composite ratio switch. The area width (horizontal image width) is variably set, and the screen ratio of the left visual field image DL and the right visual field image DR in forming the display image D is set. Then, with the screen width (region width) determined by this screen ratio, the left visual field image DL and the right visual field image DR are respectively cut out from the respective visual field images VL, VR, and these left visual field image DL and right visual field image DR are cut out. Are arranged side by side to form one display image D, which is displayed on the display 13 [step S5].

【００２３】尚、車両１０が進入しようとする交差点
が、既に記憶部１９に登録された交差点であって、且つ
前記合成比率スイッチがオフ状態である場合には、左視
野画像ＤLと右視野画像ＤRとの画面比率の設定変更が不
要であることが示されるので、前記学習部１９に記憶さ
れている画面比率に従って前記各視界画像ＶL,ＶR中か
ら左視野画像ＤLと右視野画像ＤRとをそれぞれ切り出
し、１枚の表示画像Ｄを形成してディスプレイ１３に表
示する［ステップＳ６］。When the intersection where the vehicle 10 is about to enter is an intersection already registered in the storage unit 19 and the combination ratio switch is in the OFF state, the left visual field image DL and the right visual field image are displayed. Since it is indicated that it is not necessary to change the setting of the screen ratio with respect to DR, the left visual field image DL and the right visual field image DR are selected from the visual field images VL and VR according to the screen ratio stored in the learning unit 19. Each is cut out to form one display image D and displayed on the display 13 [step S6].

【００２４】尚、この際、例えば手動操作される視野選
択スイッチからの指示に従って左右側方の各視界ＦL,Ｆ
Rにおける注目視野の向きＡL,ＡRを変更設定し、設定さ
れた視野の向きＡL,ＡRを基準として前記画面比率の下
で定まる所定視野角ＰL,ＰRの画像を、前記左右の視野
画像ＤL,ＤRとして前記前部左右側方の視界画像ＶL,ＶR
中からそれぞれ選択的に抽出するようにしても良い。At this time, for example, according to an instruction from a manually operated field-of-view selection switch, the left and right visual fields FL, F are set.
By changing and setting the directions AL and AR of the visual field of interest in R, the images of the predetermined visual field angles PL and PR determined under the screen ratio with reference to the set visual field directions AL and AR are set to the left and right visual field images DL, Field images VL and VR of the front left and right sides as DR
You may make it selectively extract from each.

【００２５】また注目視野の向きに対する変更指示が与
えられていない場合には、例えばデフォルト値として定
められている注目視野の向きＡL,ＡRに従って、或いは
ハンドル角に応じて設定される注目視野の向きＡL,Ａ
R、またはナビゲーション情報によって示される交差点
への進入角度に応じて設定される注目視野の向きＡL,Ａ
Rに従って、前記視界画像ＶL,ＶR中から切り出す視野画
像ＤL,ＤRの領域を特定するようにすれば良い。When no instruction to change the direction of the field of interest is given, the direction of the field of interest set according to the directions AL and AR of the field of view set as default values or according to the steering wheel angle. AL, A
R, or direction AL, A of the visual field of interest set according to the approach angle to the intersection indicated by the navigation information
According to R, the areas of the visual field images DL and DR cut out from the visual field images VL and VR may be specified.

【００２６】以上のようにして視界画像ＶL,ＶR中から
切り出した視野画像ＤL,ＤRからなる表示画像Ｄをディ
スプレイ１３に表示したならば、次にこの表示に用いた
画面比率を記憶するか否かを判定する［ステップＳ
７］。この判定は、例えば既に記憶された交差点に関す
るノーズビューの画面比率であるか否か、その画面比率
が変更されたか否か、更には運転者によって記憶指示が
なされたか否か等を調べることによってなされる。つま
り通勤等で頻繁に通過する交差点であるか否かを判定
し、その判定結果に応じて前記画面比率を当該交差点に
対応付けて記憶するか否かを判断する。When the display image D consisting of the visual field images DL and DR cut out from the visual field images VL and VR is displayed on the display 13 as described above, the screen ratio used for this display is stored next. It is judged [Step S
7]. This determination is made, for example, by checking whether or not the screen ratio of the nose view regarding the intersection that has already been stored, whether or not the screen ratio has been changed, and further whether or not a memory instruction has been given by the driver. It In other words, it is determined whether or not the intersection is a frequently-passed intersection such as commuting, and it is determined whether or not the screen ratio is stored in association with the intersection according to the determination result.

【００２７】そしてこの判断結果に応じて前記学習部１
９を起動し、前記画面比率をそのときの交差点に対応付
けて記憶する［ステップＳ８］。或いはその交差点に関
して既に画面比率が記憶されているならば、変更設定さ
れた新たな画面比率にてその記憶データを更新する。
尚、学習部１９において記憶する情報としては、例えば
交差点およびその交差点への進入の向きを特定する情報
と、そのときにディスプレイ表示した視野画像ＤL,ＤR
の画面比率およびその視野領域の向きＡL,ＡRの情報と
すれば良い。また画面比率の情報として、視界画像ＶL,
ＶR中における視野画像ＤL,ＤRの切り出し幅ＷL,ＷR
と、その切り出し位置とを直接的に記憶するようにして
も良い。Then, according to the result of this judgment, the learning unit 1
9 is activated, and the screen ratio is stored in association with the intersection at that time [step S8]. Alternatively, if the screen ratio has already been stored for that intersection, the stored data is updated with the new screen ratio that has been changed and set.
The information stored in the learning unit 19 is, for example, information that identifies an intersection and the direction of approach to the intersection, and the visual field images DL and DR displayed on the display at that time.
Information of the screen ratio and the directions AL and AR of the field of view. Further, as the information of the screen ratio, the visual field image VL,
Cutout widths WL and WR of the visual field images DL and DR during VR
And the cut-out position may be directly stored.

【００２８】さて上述した左右側方の各視界画像ＶL,Ｖ
R中からの左視野画像ＤLおよび右視野画像ＤRの選択的
な抽出と、抽出した視野画像ＤL,ＤRの合成について今
少し詳しく説明すると、この処理は図４に示すようにカ
メラ１１,１２によって撮像入力された視界ＦL,ＦRによ
って示される左右側方の視界画像ＶL,ＶR中から、注目
視野の向きＡL,ＡRと、画面比率によって定まる視野角
ＰL,ＰRとによって特定される領域の部分画像を視野画
像ＤL,ＤRとしてそれぞれ切り出すことによって実現さ
れる。Now, the above-mentioned left and right visual field images VL, V
The selective extraction of the left-view image DL and the right-view image DR from within R and the combination of the extracted view images DL and DR will now be described in a little more detail. This process is performed by the cameras 11 and 12 as shown in FIG. A partial image of the area specified by the directions AL and AR of the visual field of interest and the viewing angles PL and PR determined by the screen ratio from the left and right visual field images VL and VR indicated by the input visual fields FL and FR. Is cut out as the visual field images DL and DR, respectively.

【００２９】即ち、注目視野の向きＡL,ＡRは、前述し
たように視野選択スイッチの手動操作や、ハンドル角，
またはナビゲーション情報によって示される交差点への
進入角度に応じて設定される。また視野角ＰL,ＰRは、
視野画像ＤL,ＤRの幅（水平方向の画像領域幅）ＷL,ＷR
を特定するものであり、前述した合成比率スイッチの手
動操作によって可変設定される。特に視野画像ＤL,ＤR
の幅ＷL,ＷRは、１枚の表示画像Ｄの幅が規定されてい
ることから、例えば左視野画像ＤLの幅ＷLを広くした
分、右視野画像ＤRの幅ＷRを狭くする等、その全体の幅
Ｗが一定となるように互いに関連させて決定される。こ
の場合、視野画像ＤL,ＤRの最小幅を予め規定しておく
ようにしても良い。従って視野画像ＤL,ＤRの幅ＷL,ＷR
がそれぞれ決定されたならば、これによって上記各視野
画像ＤL,ＤRの画面比率が決定されることになる。That is, the directions AL and AR of the visual field of interest are, as described above, the manual operation of the visual field selection switch, the steering wheel angle,
Alternatively, it is set according to the approach angle to the intersection indicated by the navigation information. Also, the viewing angles PL and PR are
Widths of view images DL, DR (horizontal image area widths) WL, WR
Is specified and is variably set by the manual operation of the above-described composition ratio switch. Field of view images DL, DR
Since the widths of one display image D are defined, the widths WL and WR of the whole are reduced, for example, by increasing the width WL of the left visual field image DL and narrowing the width WR of the right visual field image DR. Are determined in association with each other so that the width W of each is constant. In this case, the minimum width of the visual field images DL and DR may be defined in advance. Therefore, the widths WL and WR of the visual field images DL and DR
, Respectively, the screen ratios of the visual field images DL and DR are determined.

【００３０】しかして上記画面比率に基づく左右側方の
各視界画像ＶL,ＶR中からの視野画像ＤL,ＤRの切り出し
は、図４に示すように視野画像ＤL,ＤRとして部分的に
切り出す画像領域の幅ＷL,ＷRを決定することに相当す
る。また注目視野の向きＡL,ＡRに応じた視野角ＰL,ＰR
の視野画像ＤL,ＤRを切り出すことは、丁度、前記幅Ｗ
L,ＷRで示される画像領域の位置を、注目視野の向きＡ
L,ＡRに応じて左右にスライドさせることに相当する。However, the cutout of the visual field images DL, DR from the respective visual field images VL, VR on the left and right sides based on the screen ratio is partially cut out as the visual field images DL, DR as shown in FIG. This corresponds to determining the widths WL and WR of the. In addition, the viewing angles PL, PR according to the directions AL, AR of the target visual field
Cutting out the visual field images DL and DR of just the width W
Set the position of the image area indicated by L and WR to A
This is equivalent to sliding to the left or right according to L and AR.

【００３１】そこでこの実施形態に係るノーズビュー装
置は、カメラ１１,１２によって固定的に撮像入力され
る左右側方の視界画像ＶL,ＶR中から、前述した如く設
定される注目視野の向きＡL,ＡRに応じた視野画像ＤL,
ＤRを、画面比率に応じてそれぞれ選択的に抽出し、こ
れらの視野画像ＤL,ＤRを並べることで１枚の表示画像
Ｄを形成し、これをディスプレイ１３にて表示してい
る。Therefore, the nose-view device according to this embodiment uses the directions AL, A of the visual field of interest set as described above, from the left and right visual field images VL, VR fixedly imaged and input by the cameras 11, 12. Field of view image DL according to AR,
One of the display images D is formed by selectively extracting DR according to the screen ratio and arranging the visual field images DL and DR, and the display image D is displayed on the display 13.

【００３２】従って本装置によれば、進入しようとする
交差点の状況によって、例えば右側方の視野画像ＤRを
幅広い角度で得、右側方の情報をより多く得てその安全
確認を確実に行うことが可能となる。特にこの場合、情
報量をさほど多く必要としない左側方の視野画像ＤLの
幅を狭くすることで、該左側方の視野画像ＤLによって
示される必要な情報を確保しながら、右側方の視野画像
ＤRとして多くの情報を得ることができる。しかも前述
したように、視界画像ＶL,ＶR中から部分的に切り出す
左右の視野画像ＤL,ＤRの幅ＷL,ＷRを、画面比率によっ
て可変設定するだけなので、上記左右の視野画像ＤL,Ｄ
Rの幅ＷL,ＷRを変えたとしてもその画像尺度が殆ど変化
することがない。これ故、視野画像ＤL,ＤRの幅ＷL,ＷR
を変えても視覚的な違和感を伴うことがない。従って交
差点の応じた的確な左右側方の安全確認が可能となる。Therefore, according to the present device, depending on the condition of the intersection to be approached, for example, the right-side view image DR can be obtained at a wide angle, more right-side information can be obtained, and the safety confirmation can be surely performed. It will be possible. In this case, in particular, by narrowing the width of the left-side visual field image DL that does not require a large amount of information, the right-side visual field image DR is secured while securing the necessary information indicated by the left-side visual field image DL. As much information as you can get. Moreover, as described above, since the widths WL and WR of the left and right visual field images DL and DR that are partially cut out from the visual field images VL and VR are simply variably set according to the screen ratio, the left and right visual field images DL and D are set.
Even if the widths W L and W R of R are changed, the image scale hardly changes. Therefore, the widths WL and WR of the visual field images DL and DR
There is no visual discomfort even if is changed. Therefore, it is possible to accurately check the right and left side safety according to the intersection.

【００３３】また交差点への車両１０の進入角度が傾い
ている場合であっても、前述した如く視野画像ＤL,ＤR
の切り出し位置を変えるので、その進入角度に応じた向
きの車両側方の画像を得ることができる。しかもカメラ
１１,１２自体の視界の向きを変えることなしに、車両
側方の所望とする視野方向の画像ＤL,ＤRを得ることが
できる。従ってカメラ１１,１２の視野の向きを変える
ための機構部等が全く不要であり、前述したようにカメ
ラ１１,１２をフロントフェンダ等に固定的に取り付け
ておけば良いので、その構成の大幅な簡素化を図り得
る。Even if the approach angle of the vehicle 10 to the intersection is inclined, the visual field images DL and DR are as described above.
Since the cutout position of is changed, it is possible to obtain an image of the side of the vehicle in the direction corresponding to the approach angle. Moreover, it is possible to obtain the images DL and DR in the desired visual field direction on the side of the vehicle without changing the directions of the visual fields of the cameras 11 and 12 themselves. Therefore, there is no need for a mechanism or the like for changing the directions of the fields of view of the cameras 11 and 12, and as described above, the cameras 11 and 12 can be fixedly attached to the front fenders, etc. It can be simplified.

【００３４】更には前述したように左右側方の視界画像
ＶL,ＶR自体がその視野方向（水平方向）に関して殆ど
歪みのないものであるから、視野画像ＤL,ＤRの切り出
し位置に応じて歪み補正を施すことが不要であり、単に
視界画像ＶL,ＶR中から所定の幅の視野画像ＤL,ＤRを切
り出すだけで自然性の高い、つまり違和感のない車両側
方画像を得ることができる。Further, as described above, since the left and right visual field images VL and VR themselves have almost no distortion in the visual field direction (horizontal direction), distortion correction is performed according to the cutout positions of the visual field images DL and DR. It is not necessary to perform the above process, and by simply cutting out the visual field images DL and DR having a predetermined width from the visual field images VL and VR, it is possible to obtain a vehicle side image with high naturalness, that is, without a sense of discomfort.

【００３５】更には本装置においては、ナビゲーション
情報に基づいて特定の交差点であることが判定された場
合には、その情報に基づいて画面比率等が自動設定され
るようになっている。従って通勤等によって日常的に通
過する交差点への進入時に、その都度、ノーズビューに
対する設定操作を行う等の煩わしさを解消することがで
きる等の効果が奏せられる。Further, in the present apparatus, when it is determined that the intersection is a specific intersection based on the navigation information, the screen ratio and the like are automatically set based on the information. Therefore, it is possible to eliminate the inconvenience of performing the setting operation for the nose view each time when entering an intersection that is routinely passed by commuting or the like.

【００３６】尚、本発明は上述した実施形態に限定され
るものではない。例えば車両後部のクォータパネルアウ
タ等にカメラを組み込み。車両後部における左右側方視
界を同様に撮像して画像表示するようにしても良い。ま
た左視界に対する注目視野の向きＡLの設定に連動させ
て右視界に対する注目視野の向きＡRを設定したり、或
いはその逆の関係で注目視野の向きＡL,ＡRを互いに連
動させて設定するようにしても良い。またこれらの左右
の各視界に対する注目視野の向きＡL,ＡRを互いに独立
に設定するようにしても良い。The present invention is not limited to the above embodiment. For example, a camera is built into the outer quarter panel of the vehicle. The left and right side visual fields in the rear part of the vehicle may be similarly imaged and displayed as an image. Further, the direction AR of the visual field of interest with respect to the right visual field is set in association with the setting of the direction AL of the visual field of interest with respect to the left visual field, or the directions AL, AR of the visual field of interest are set in association with each other in the opposite relationship. May be. Further, the directions AL and AR of the visual fields of interest with respect to the left and right visual fields may be set independently of each other.

【００３７】また上記注目視野の向きＡL,ＡRについて
は、左右の視野画像ＤL,ＤRの画面比率の設定に連動さ
せて、その基準となる向きを自動設定するようにしてお
くことが好ましい。つまり画面比率が変更設定されたと
き、車両側方の或る角度を基準として視野画像ＤL,ＤR
の切り出し領域を決定するようにしておけば良い。その
他、本発明はその要旨を逸脱しない範囲で種々変形して
実施することができる。Regarding the directions AL and AR of the visual fields of interest, it is preferable to automatically set the reference directions in association with the setting of the screen ratio of the left and right visual images DL and DR. That is, when the screen ratio is changed and set, the visual field images DL, DR are referenced with respect to a certain angle on the side of the vehicle.
It suffices to determine the cutout area of. In addition, the present invention can be variously modified and implemented without departing from the scope of the invention.

【００３８】[0038]

【発明の効果】以上説明したように本発明によれば、車
両の前部または後部に取り付けられたカメラにて該車両
の左右側方における所定の視界をそれぞれ撮像された各
視界画像中から、注目視野領域の部分画像を左右の視野
画像としてそれぞれ抽出し、これらの視野領域の画像を
並べて、ディスプレイに表示する１枚の表示画像を形成
するに際し、交差点の状況等に応じて表示画像上におけ
る左右の視野画像の画面比率を可変設定すると共に、こ
の設定された画面比率を前記走行環境に応じて記憶し、
この学習結果と走行環境とに従ってこの画面比率の下で
前記各視界画像中からの左右の視野画像の切り出しを制
御するものとなっている。As described above, according to the present invention, from the respective visual field images in which the predetermined visual fields on the left and right sides of the vehicle are respectively imaged by the cameras attached to the front or rear of the vehicle, When partial images of the visual field of interest are extracted as the left and right visual field images respectively, and the images of these visual field regions are arranged side by side to form one display image to be displayed on the display, according to the situation of the intersection, etc. The screen ratio of the left and right field images can be variably set and
The screen ratio set for is stored according to the running environment,
According to the learning result and the traveling environment, the cutout of the left and right visual field images from the respective visual field images is controlled under this screen ratio.

【００３９】従って本発明によれば、カメラ自体の視野
の向きを可変したり、或いはカメラの視野角を変更する
ことなく、所望とする視野幅の側方画像を得、これを１
枚の画像に合成して一括表示することができる。従って
交差点等の状況に応じて簡易にして的確に、必要とする
車両側方の状況を確認することができ、安全性確認の上
で多大なる効果が奏せられる。Therefore, according to the present invention, a side image having a desired visual field width is obtained without changing the direction of the visual field of the camera itself or changing the visual field angle of the camera.
It can be combined into a single image and displayed together. Therefore, it is possible to simply and accurately check the required situation on the side of the vehicle according to the situation such as an intersection, and a great effect can be obtained in terms of safety confirmation.

【００４０】特に前記視野設定手段においては、選択ス
イッチの手動操作に従って各視界画像における注目視野
領域の幅を可変設定し、更には環境検出手段によって検
出される車両の走行環境に従って注目視野領域の幅を設
定するので、交差点等の状況に応じた視野幅の車両側方
視野画像を確実に得ることができる等の効果が奏せられ
る。In particular, in the visual field setting means, the width of the visual field of interest in each visual field image is variably set according to the manual operation of the selection switch, and further, the width of the visual field of interest in accordance with the traveling environment of the vehicle detected by the environment detection means. Is set, it is possible to obtain an effect such that a vehicle side view image having a view width corresponding to a situation such as an intersection can be reliably obtained.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の一実施形態に係る車両用周辺視認装置
の一例であるノーズビュー装置の機能的な概略構成図。FIG. 1 is a functional schematic configuration diagram of a nose view device that is an example of a vehicle surrounding visual recognition device according to an embodiment of the present invention.

【図２】図１に示すノーズビュー装置に組み込まれた左
視界カメラおよび右視界カメラによる車両前部における
左右側方視界と、注目視野領域との関係を示す図。FIG. 2 is a diagram showing a relationship between a left and right lateral field of view at the front of the vehicle by a left field of view camera and a right field of view camera incorporated in the nose view device shown in FIG.

【図３】本発明の実施形態における基本的な制御手順の
流れを示す図。FIG. 3 is a diagram showing a flow of a basic control procedure in the embodiment of the present invention.

【図４】左右側方の視界画像ＶL,ＶRと、これらの視界
画像ＶL,ＶRから切り出される視野画像ＤL,ＤRと、その
合成画像Ｄとの関係を示す図。FIG. 4 is a diagram showing a relationship between left and right visual field images VL and VR, visual field images DL and DR cut out from these visual field images VL and VR, and a composite image D thereof.

【図５】交差点におけるノーズビュー装置の機能を示す
図。FIG. 5 is a diagram showing a function of a nose view device at an intersection.

【符号の説明】[Explanation of symbols]

１０車両１１左視界カメラ１２右視界カメラ１３ディスプレイ１４ナビゲーションシステム１５ノーズビューシステム１６ノーズビュー選択制御機能１７左右視野合成比率制御機能１８左右視野変更機能１９学習部（メモリ） 10 vehicles 11 Left-view camera 12 Right-view camera 13 Display 14 Navigation system 15 Nose View System 16 Nose view selection control function 17 Left and right visual field combination ratio control function 18 Left and right view change function 19 Learning section (memory)

───────────────────────────────────────────────────── フロントページの続き (72)発明者御室哲志東京都港区芝五丁目33番８号三菱自動車工業株式会社内 (56)参考文献特開平８−18949（ＪＰ，Ａ) 特開平６−227318（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) B60R 1/00 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Satoshi Omuro 5-3-8 Shiba, Minato-ku, Tokyo Mitsubishi Motors Corporation (56) Reference JP-A-8-18949 (JP, A) JP Flat 6-227318 (JP, A) (58) Fields surveyed (Int.Cl. ⁷ , DB name) B60R 1/00

Claims

(57)【特許請求の範囲】(57) [Claims]

【請求項１】車両の前部または後部に取り付けられて
該車両の左右側方の視界をそれぞれ撮像する撮像手段
と、この撮像手段にて撮像された前記左右側方の各視界
画像中における注目視野範囲の画像を左視野画像および
右視野画像としてそれぞれ抽出し、これらの左視野画像
および右視野画像を並べて１枚の表示画像を形成する画
像合成手段と、前記車両の室内に設けられて前記表示画
像を表示する表示手段と、車両の走行環境を検出する環
境検出手段と、前記撮像手段にて撮像する左右側方の各
視界中における注目視野の範囲を設定して前記各視界画
像中から抽出する左視野画像と右視野画像との画面比率
を決定する視野設定手段と、設定された画面比率を前記
走行環境に応じて記憶する学習手段と、前記環境検出手
段にて検出された走行環境と前記学習手段にて記憶され
た情報とに従って前記画面比率を変更する表示制御手段
とを具備したことを特徴とする車両用周辺視認装置。1. An image pickup means attached to a front portion or a rear portion of a vehicle for picking up images of the left and right side fields of view of the vehicle, respectively, and attention in each of the left and right side view images picked up by the image pickup means. Image combining means for extracting images in the visual field range as a left visual field image and a right visual field image, respectively, and arranging the left visual field image and the right visual field image to form one display image; Display means for displaying the display image and a ring for detecting the traveling environment of the vehicle.
The boundary detection means and the range of the visual field of interest in the left and right visual fields imaged by the imaging means are set to determine the screen ratio of the left visual field image and the right visual field image extracted from the visual field images. The field of view setting means and the set screen ratio
Learning means for storing according to the driving environment, and the environment detection hand
It is stored in the running environment detected by the step and the learning means.
Display control means for changing the screen ratio according to the information
A peripheral visibility device for a vehicle, comprising:

【請求項２】前記視野設定手段は、手動操作される選
択スイッチを備え、この選択スイッチの操作を受けて前
記左右側方の視界画像における注目視野の幅を可変設定
する手動設定手段を備えていることを特徴とする請求項
１に記載の車両用周辺視認装置。Wherein said field setting means comprises a manual setting unit that includes a selection switch which is manually operated, variably setting the width of the target field in the field image of the left and right sides receiving operation of the selection switch The vehicle peripheral visual recognition device according to claim 1, wherein:

【請求項３】前記視野設定手段は、前記環境検出手段
によって求められる情報に従って前記左右側方の視界画
像における注目視野の幅を可変設定する自動設定手段を
備えていることを特徴とする請求項１に記載の車両用周
辺視認装置。3. The visual field setting means comprises automatic setting means for variably setting the width of the visual field of interest in the left and right side view images in accordance with the information obtained by the environment detecting means. The vehicle peripheral visual recognition device according to claim 1.