JP4788406B2 - Parking support method and parking support device - Google Patents
Parking support method and parking support device Download PDFInfo
- Publication number
- JP4788406B2 JP4788406B2 JP2006061597A JP2006061597A JP4788406B2 JP 4788406 B2 JP4788406 B2 JP 4788406B2 JP 2006061597 A JP2006061597 A JP 2006061597A JP 2006061597 A JP2006061597 A JP 2006061597A JP 4788406 B2 JP4788406 B2 JP 4788406B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- vehicle
- image data
- image
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、駐車支援方法及び駐車支援装置に関する。 The present invention relates to a parking assistance method and a parking assistance device.
従来、自動車を駐車させる際の運転操作を支援する装置として、車両後端に取り付けられた車載カメラにて駐車位置までの画像データを複数取得し、その複数の画像データを加工して、駐車している自動車を上方から見た俯瞰図を作成し、その作成した俯瞰図をディスプレイに出力する駐車支援装置が提案されている（例えば、特許文献１参照）。
ところで、車両を所定の駐車位置に駐車する場合、駐車が完了するまでの間、運転者はブレーキを操作しながら運転する。そのため、駐車位置に停止するまでの間には、何度もブレーキランプが点いたり消えたりする。従って、その時々で車載カメラが撮像し記憶手段に蓄積する各画像データには、連続した背景を映すものの、ブレーキランプの反射光が映った画像データと、ブレーキランプの反射光が映っていない画像データとが混在する。 By the way, when the vehicle is parked at a predetermined parking position, the driver drives while operating the brake until the parking is completed. Therefore, the brake lamp turns on and off many times before stopping at the parking position. Therefore, the image data captured by the in-vehicle camera and stored in the storage means from time to time shows a continuous background, but the image data that reflects the reflected light from the brake lamp and the image that does not reflect the reflected light from the brake lamp Mixed with data.
一般に、ブレーキランプの点灯時に撮像した画像は、ブレーキランプの消灯時に撮像した画像と相違して、ブレーキランプの赤色の光が路面に反射しその赤色の反射光が撮像される。従って、ブレーキランプの反射光が映った画像データと、ブレーキランプの反射光が映ってない画像データとを俯瞰変換して加工して画像（俯瞰画像）を生成すると、その俯瞰画像は、例えば路面が色の異なる路面（斑模様の路面）となり、表示品質が低下する。特に、夜、悪天候時等の回りが暗い場合には、反射光が強く表れて表示品質を落としていた。 In general, an image captured when the brake lamp is turned on is different from an image captured when the brake lamp is turned off, and the red light of the brake lamp is reflected on the road surface and the red reflected light is captured. Therefore, when the image data that reflects the reflected light of the brake lamp and the image data that does not reflect the reflected light of the brake lamp are subjected to overhead conversion and an image (overhead image) is generated, the overhead image is, for example, a road surface Becomes road surfaces of different colors (spotted road surfaces), and the display quality deteriorates. In particular, when the surroundings are dark, such as at night or in bad weather, the reflected light appears strongly and the display quality is lowered.
また、ハザードランプ、ウィンカー、テールランプ、ヘッドランプ等、車両周辺を照明する光源の点滅による外光の変化によっても同様な問題があった。
本発明は、上記問題点に鑑みてなされたものであり、その目的は、撮像手段がその時々で撮像した各画像データにおいて外光が異なった状態で撮像された画像データが混在していても、その時々の外光の変化に影響を受けない高品質な周辺画像を生成することができる駐車支援方法及び駐車支援装置を提供することにある。
In addition, there is a similar problem due to changes in external light caused by blinking of a light source that illuminates the periphery of the vehicle, such as a hazard lamp, a blinker, a tail lamp, and a head lamp.
The present invention has been made in view of the above-described problems, and the object of the present invention is to obtain image data captured in a state where the external light is different in each image data captured by the image capturing unit from time to time. Another object of the present invention is to provide a parking support method and a parking support apparatus capable of generating a high-quality peripheral image that is not affected by changes in external light at that time.
請求項１の発明は、車両に設けられた撮像手段を用いて前記車両の進行とともにその進行方向の画像を定期的に撮像し、その時々の画像データの各々を蓄積し、蓄積した複数の画像データを用いて前記車両の現在位置の周辺画像データを生成した後、生成した周辺画像データに基づく周辺画像を表示手段に表示するようにした駐車支援方法において、前記車両の周辺の照度を検出して、その照度が予め定められた基準照度よりも暗いか否かを判定する照度判定工程と、前記車両の周辺を照明する車両に設けた光源が点灯しているか否かを判定する点灯判定工程と、前記照度判定工程及び前記点灯判定工程における判定結果が共に肯定であるときに撮像された前記画像データを輝度補正する輝度補正工程と、前記輝度補正工程で輝度補正された画像データを用いて前記周辺画像データを生成する周辺画像データ生成工程とを有する。 According to the first aspect of the present invention, the image of the traveling direction is periodically imaged with the traveling of the vehicle using the imaging means provided in the vehicle, each of the image data at that time is accumulated, and a plurality of accumulated images In the parking support method, wherein the surrounding image data of the current position of the vehicle is generated using the data, and the surrounding image based on the generated surrounding image data is displayed on the display means, the illuminance around the vehicle is detected. An illuminance determination step for determining whether the illuminance is darker than a predetermined reference illuminance, and a lighting determination step for determining whether a light source provided in the vehicle that illuminates the periphery of the vehicle is lit And a luminance correction step for correcting the luminance of the image data captured when the determination results in the illuminance determination step and the lighting determination step are both positive, and the luminance correction is performed in the luminance correction step. And a peripheral image data generating process of generating the surrounding image data using the image data.
請求項２の発明は、車両に設けられた撮像手段を用いて前記車両の進行とともにその進行方向の画像を定期的に撮像し、その時々の画像データの各々を画像処理して変換データを生成して蓄積し、前記蓄積した複数の変換データを用いて前記車両の現在位置の周辺を俯瞰した俯瞰画像の俯瞰画像データを生成した後、前記俯瞰画像データに基づく俯瞰画像と、前記車両の現在位置を示す指標とを表示手段に表示するようにした駐車支援方法において、前記車両の周辺の照度を検出して、その照度が予め定められた基準照度よりも暗いか否かを判定する照度判定工程と、前記車両の周辺を照明する車両に設けた光源が点灯しているか否かを判定する点灯判定工程と、前記照度判定工程及び前記点灯判定工程における判定結果が共に肯定であるときに撮像された前記画像データに対する前記変換データを輝度補正する輝度補正工程と、前記輝度補正工程で輝度補正された変換データを用いて俯瞰画像データを生成する俯瞰画像データ生成工程とを有する。
The invention according to
請求項３の発明は、請求項２に記載の駐車支援方法において、前記光源が点灯した場合と点灯しない場合とにおける前記変換データの各画素データの輝度差を求め、該輝度差に基づいて前記輝度補正を行うべき補正領域と、当該補正領域の前記画素データにおける前記ＲＧＢ輝度データを下げる値とを求める輝度補正データ算出工程を有し、前記輝度補正工程では、前記輝度補正データ決定工程において求められた前記補正領域及び前記ＲＧＢ輝度データを下げる値に基づいて、変換データを構成する各画素データのＲＧＢ輝度データの値を下げる補正をする。
請求項４の発明は、車両に設けられた撮像手段が定期的に撮像した画像の画像データを取得する画像データ取得手段と、画像データ取得手段が取得した各画像データの各々を用いて、現在の車両の周辺画像の周辺画像データを生成する周辺画像データ生成手段と、前記周辺画像データに基づく周辺画像を表示手段に表示する表示出力手段とを備えた駐車支援装置において、前記車両の周辺の照度を検出する照度センサと、前記照度センサによって検出された照度が予め定められた基準照度よりも暗いか否かを判定する照度判定手段と、前記車両の周辺を照明する車両に設けた光源が点灯しているか否かを判定する点灯判定手段と、前記照度判定手段及び前記点灯判定手段による判定結果が共に肯定であるときに撮像された前記画像データを輝度補正する画像データ補正手段とを設けた。
According to a third aspect of the present invention, in the parking support method according to the second aspect , a luminance difference between the pixel data of the conversion data when the light source is turned on and when the light source is not turned on is obtained, and the luminance difference is calculated based on the luminance difference. A luminance correction data calculation step for obtaining a correction region to be subjected to luminance correction and a value for lowering the RGB luminance data in the pixel data of the correction region, wherein the luminance correction step is obtained in the luminance correction data determination step; Based on the correction area and the value for decreasing the RGB luminance data, correction is performed to decrease the value of the RGB luminance data of each pixel data constituting the conversion data.
The invention according to
請求項５の発明は、車両に設けられた撮像手段が定期的に撮像した画像の画像データを取得する画像データ取得手段と、画像データ取得手段が取得した各画像データの各々について、予め定めた領域を抽出し画像処理した変換データを生成する第１画像処理手段と、前記第１画像処理手段が生成した各変換データを用いて、現在の車両の周辺を俯瞰した俯瞰画像データを生成する第２画像処理手段と、前記俯瞰画像データに基づく俯瞰画像と、前記車両の現在位置を示す指標とを表示手段に表示する表示出力手段とを備えた駐車支援装置において、前記車両の周辺の照度を検出する照度センサと、前記照度センサによって検出された照度が予め定められた基準照度よりも暗いか否かを判定する照度判定手段と、前記車両の周辺を照明する車両に設けた光源が点灯しているか否かを判定する点灯判定手段と、前記照度判定手段及び前記点灯判定手段による判定結果が共に肯定であるときに撮像された前記画像データに対する前記変換データを輝度補正する第３画像処理手段とを設けた。
The invention according to
請求項６の発明は、請求項５に記載の駐車支援装置において、前記第１画像処理手段は、前記各画像データの各々について、予め定めた抽出領域のデータを抽出し、その抽出した各抽出データをそれぞれ視点変換処理して変換データを生成するものである。 According to a sixth aspect of the present invention, in the parking assist device according to the fifth aspect , the first image processing means extracts data of a predetermined extraction area for each of the image data, and extracts each extracted Each piece of data is subjected to viewpoint conversion processing to generate conversion data.
請求項７の発明は、請求項６に記載の駐車支援装置において、前記第３画像処理手段の各変換データの輝度補正は、前記画像データ、前記抽出データ、又は、変換データにいずれかに対して輝度補正することによって行われる。 According to a seventh aspect of the present invention, in the parking assist device according to the sixth aspect , the luminance correction of each conversion data of the third image processing means is performed on either the image data, the extracted data, or the conversion data. This is done by correcting the brightness.
請求項８の発明は、前記第３画像処理手段は、前記変換データについての輝度補正として、予め記憶手段に記憶された輝度補正テーブルに基づいて、前記変換データを構成する各画素データのＲＧＢ輝度データの値を下げる補正をし、前記輝度補正テーブルには、前記変換データにおいて前記輝度補正を行うべき補正領域と、当該補正領域の画素データにおける前記ＲＧＢ輝度データを下げる値とが予め示されている。
請求項９の発明は、請求項５〜８のいずれか一つに記載の駐車支援装置において、前記変換データを格納する画像メモリが設けられ、前記第３画像処理手段は、前記照度判定手段及び前記点灯判定手段による判定結果が共に肯定であるときに撮像された前記画像データに対する前記変換データに、前記輝度補正を行う旨のデータを関連付けて前記画像メモリに格納し、その後、前記画像メモリに格納された前記変換データのうち、前記第２画像処理における俯瞰画像データの生成に用いられる変換データであって前記輝度補正を行う旨のデータが関連付けられた変換データについて前記輝度補正を行い、前記第２画像処理手段は、輝度補正を行った前記変換データを用いて前記俯瞰画像データを生成する。
According to an eighth aspect of the present invention, the third image processing unit performs RGB luminance of each pixel data constituting the conversion data based on a luminance correction table stored in advance in the storage unit as luminance correction for the conversion data. Correction for lowering the value of the data is performed, and the brightness correction table includes a correction area to be subjected to the brightness correction in the converted data and a value for lowering the RGB brightness data in the pixel data of the correction area. Yes .
The invention of
請求項１の発明によれば、撮像手段が画像を定期的に撮像している時、その時々で車両周辺の照度や光源の点灯状態が変化した場合、その各画像データは、これら車両周辺の照度や光源の点灯状態の変化に応じた輝度データとなるが、前記照度や点灯状態を判定しているため、これらの状態に応じて輝度補正をすることができる。従って、前後の画像データは、車両周辺の照度や光源の点灯状態の変化に対する輝度データの変動分を消去できることから、各画像データにおいて異なった状態で撮像された画像データが混在していても、その時々の変化に影響を受けない車両周辺画像を表示手段に表示することができる。その結果、高品質の車両周辺画像を表示することができる。 According to the present invention, when the image pickup means is regularly captured images, if the lighting state of the moment around the vehicle illumination or light source is changed, the respective image data, these vehicle periphery Although the luminance data corresponds to the change in the illuminance and the lighting state of the light source, since the illuminance and the lighting state are determined , the luminance correction can be performed according to these states. Thus, image data before and after, since it can be erased variation of luminance data with respect to a change in lighting state of illumination and the light source around the vehicle, though the image data imaged are mixed in a condition that different Te respective image data odor also, it is possible to display the vehicle peripheral image that is not affected from time to time of change on the display means. As a result, a high-quality vehicle periphery image can be displayed.
請求項２の発明によれば、撮像手段が画像を定期的に撮像している時、その時々で車両周辺の照度や光源の点灯状態が変化した場合、その各画像データ（変換データ）は、これら車両周辺の照度や光源の点灯状態の変化に応じた輝度データとなるが、前記照度や点灯状態を判定しているため、これらの状態に応じて輝度補正をすることができる。従って、前後の変換データは、車両周辺の照度や光源の点灯状態の変化に対する輝度データの変動分を消去できることから、各画像データにおいて異なった状態で撮像された画像データが混在していても、その時々の変化に影響を受けない俯瞰画像を表示手段に表示することができる。その結果、高品質の俯瞰画像を表示することができる。 According to the second aspect of the present invention, when the imaging means regularly captures an image, and the illuminance around the vehicle and the lighting state of the light source change from time to time, each image data (conversion data) is: Although the luminance data corresponds to changes in the illuminance around the vehicle and the lighting state of the light source, since the illuminance and lighting state are determined , the luminance can be corrected in accordance with these states. Therefore, before and after the conversion data, since it can be erased variation of luminance data with respect to a change in lighting state of illumination and the light source around the vehicle, though the image data imaged are mixed in a condition that different Te respective image data odor also, it is possible to display a bird's-eye view image that is not affected from time to time of change on the display means. As a result, a high-quality overhead image can be displayed.
請求項３の発明によれば、前記変換データの輝度補正は、変換データを構成する各画素データのＲＧＢ輝度データの値を補正するだけなので、輝度補正処理の負荷が軽減される。しかも、ブレーキランプ等の光源光を俯瞰画像から除去することができ、より高品質の俯瞰画像を生成することができる。
According to the invention of
請求項４の発明によれば、車両の進行とともに撮像手段が画像を撮像する毎に、車両周辺の照度や光源の点灯状態が変化した場合、画像データ取得手段が取得した画像データは、車両周辺の照度や光源の点灯状態の変化に応じた輝度データとなる。この時、車両周辺の照度が基準照度よりも低いか否か、光源が点灯しているか否かについての判定を行う。画像データ補正手段は、これらの判定結果が共に肯定であるときに画像データを輝度補正し、車両周辺の照度や光源の点灯状態の変化に対する輝度データの変動分を抑制させる。従って、周辺画像データ生成手段は、撮像手段がその時々で異なった状態で撮像した画像が混在していても、その時々の変化に影響を受けない周辺画像データを生成することができる。その結果、高品質の周辺画像を表示手段に表示することができる。
According to the invention of
請求項５の発明によれば、車両の進行とともに撮像手段が画像を撮像する毎に、車両周辺の照度や光源の点灯状態が変化した場合、第１画像処理手段が生成した変換データは、車両周辺の照度や光源の点灯状態の変化に応じた輝度データとなる。この時、車両周辺の照度が基準照度よりも低いか否か、光源が点灯しているか否かについての判定を行う。第３画像処理手段は、これらの判定結果が共に肯定であるときに変換データを輝度補正し、車両周辺の照度や光源の点灯状態の変化に対する輝度データの変動分を抑制させる。従って、第２画像処理手段は、撮像手段がその時々で異なった状態で撮像した画像が混在していても、その時々の変化に影響を受けない俯瞰画像データを生成することができる。その結果、高品質の俯瞰画像を表示手段に表示することができる。 According to the fifth aspect of the present invention, when the illuminance around the vehicle and the lighting state of the light source change each time the imaging unit captures an image as the vehicle travels, the conversion data generated by the first image processing unit is the vehicle The luminance data corresponds to changes in ambient illuminance and lighting state of the light source . At this time, it is determined whether or not the illuminance around the vehicle is lower than the reference illuminance and whether or not the light source is lit. The third image processing unit corrects the luminance of the converted data when both of these determination results are affirmative, and suppresses the variation of the luminance data with respect to the change in the illumination around the vehicle and the lighting state of the light source . Therefore, the second image processing means, even if a mix of images captured in a state in which the imaging means becomes different at any given time, it is possible to generate an overhead image data that is not affected to prevailing changes. As a result, a high-quality overhead image can be displayed on the display means.
請求項６の発明によれば、第１画像処理手段は、視点変換処理した変換データを、前記各画像データの予め定めた抽出領域のデータを抽出し、その抽出した各抽出データから生成する。 According to a sixth aspect of the present invention, the first image processing means extracts the conversion data subjected to the viewpoint conversion processing by extracting data of a predetermined extraction area of each image data and generates the extracted data from the extracted data.
請求項７の発明によれば、第３画像処理手段は、判定結果に基づいて画像データ、抽出データ又は変換データのいずれかに対して輝度補正を行うことによって、視点変換された変換データは輝度補正される。これによって、各変換データは、既に輝度補正されたデータになっているため、第２画像処理手段による俯瞰画像の生成は直ちに行うことができる。 According to the invention of claim 7, the third image processing means, image data based on the determination result, by performing the brightness correction for either the extracted data or conversion data, converted data viewpoint conversion is The brightness is corrected. Thereby, since each conversion data has already been subjected to luminance correction, the overhead image can be generated immediately by the second image processing means.
請求項８の発明によれば、第３画像処理手段による変換データの輝度補正は、変換データを構成するＲＧＢ輝度データの値を補正するだけなので、輝度補正処理の負荷が軽減される。しかも、光源の光を俯瞰画像から除去することができ、より高品質の俯瞰画像を生成することができる。
請求項９の発明によれば、俯瞰画像データの生成に用いられる変換データに対して輝度補正を行うことができる。
According to the eighth aspect of the present invention, the luminance correction of the conversion data by the third image processing means only corrects the value of the RGB luminance data constituting the conversion data, so the load of the luminance correction processing is reduced. Moreover, the light from the light source can be removed from the overhead image, and a higher quality overhead image can be generated.
According to the invention of
（第１実施形態）
以下、本発明の駐車支援方法及び駐車支援装置を、車両（自動車）に実装されたナビゲーション装置に具体化した第１実施形態を図１〜図１６に従って説明する。図１は、ナビゲーション装置１の構成を説明するブロック図である。
(First embodiment)
Hereinafter, a first embodiment in which the parking support method and the parking support apparatus of the present invention are embodied in a navigation device mounted on a vehicle (automobile) will be described with reference to FIGS. FIG. 1 is a block diagram illustrating the configuration of the
図１に示すように、駐車支援装置としてのナビゲーション装置１は、制御装置２及び表示手段としてのディスプレイ３を備えている。制御装置２は、外光判定手段を構成する制御部４、メインメモリ５及びＲＯＭ６を有している。制御部４は、図示しないＣＰＵ等を備えており、ＲＯＭ６に格納された経路案内プログラム、駐車支援プログラム等、各種プログラムに従って各種処理の主制御を行う。メインメモリ５は、制御部４の演算結果を一時記憶するとともに、駐車支援のための各種変数、フラグが格納されている。
As shown in FIG. 1, the
ＲＯＭ６には、輪郭データ６ａが格納されている。輪郭データ６ａは、ナビゲーション装置１を実装した車両Ｃ（図２参照）の輪郭をディスプレイ３に出力するためのデータである。この輪郭データ６ａをディスプレイ３に出力すると、図３に示すような指標としての車両輪郭線３０が表示される。車両輪郭線３０は、車体の外郭を示す外郭描画線３１と、前輪及び後輪の位置を示す車輪描画線３２とを有している。外郭描画線３１は、車両Ｃの車幅及び長さに応じて生成され、サイドミラーの輪郭線等、車両Ｃの前方又は後方が区別可能な輪郭線である。この車両輪郭線３０は、図１５に示す駐車確認画面４５をディスプレイ３に表示するときに、周辺画像としての俯瞰画像４６（図１４参照）と重ね合わせて使用される。
The
また、ＲＯＭ６には、輝度補正テーブル６ｂが格納されている。輝度補正テーブル６ｂは、俯瞰画像４６（図１４及び図１５参照）の周辺画像データとしての俯瞰画像データＧ
４を生成する際に、車両Ｃに設けた光源としてのブレーキランプＬ（図２参照）が点灯した場合にその反射光が映り込まれないようにするための輝度補正データである。
The
4 is luminance correction data for preventing reflected light from being reflected when a brake lamp L (see FIG. 2) as a light source provided in the vehicle C is turned on.
ナビゲーション装置１に備えられたディスプレイ３は、タッチパネルであって、車両Ｃが前進する際には、制御部４による駆動制御により、図示しない地図データ記憶部から地図描画データを出力して、図１に示す地図画面３ａを表示する。ディスプレイ３には操作スイッチ７が設けられ、操作スイッチ７がユーザにより入力操作されると、制御装置２に備えられたユーザ入力インターフェース部（ユーザＩ／Ｆ部８）がその入力操作に応じた入力信号を制御部４に出力する。
The
また、制御装置２は、ＧＰＳ受信部９を備えている。ＧＰＳ受信部９はＧＰＳ衛星からの電波を受信し、制御部４は、ＧＰＳ受信部９から入力した位置検出信号に基づいて、緯度・経度・高度等の車両Ｃの絶対位置を定期的に算出する。
The
また、制御装置２は、音声出力部１０を備えている。音声出力部１０は、音声ファイルを格納した図示しないメモリやデジタル／アナログ変換器等を備え、その音声ファイルを使用して、ナビゲーション装置１が具備するスピーカ１１から案内音声や警告音を出力する。
In addition, the
さらに、制御装置２は、車両側インターフェース部（車両側Ｉ／Ｆ部１２）を備えている。制御部４は、この車両側Ｉ／Ｆ部１２を介して、車両Ｃに設けられた車速センサ２０及びジャイロ２１から、車速パルスＶＰ及び方位検出信号ＧＲＰを入力する。制御部４は、この車速パルスＶＰの波形により、車両Ｃの前進及び後退を判断し、その入力パルス数により車両Ｃの移動量を算出し、メインメモリ５に割り当てた記憶領域に格納された変数であるパルスカウント値Ｔと移動距離を更新する。また、制御部４は、入力した方位検出信号ＧＲＰに基づき車両Ｃの方位を算出し、メインメモリ５に割り当てられた記憶領域に格納された変数である現在方位ＧＲを更新する。さらに、制御部４は、車速パルスＶＰと方位検出信号ＧＲＰを用い、自律航法により、基準位置からの相対位置及び相対方位を演算し、ＧＰＳ受信部９に基づく自車位置を補正して、精度の高い自車位置を算出する。尚、本実施形態では、車両Ｃの後輪軸の位置を自車位置として算出するが、他の位置でもよい。
Furthermore, the
また、制御部４は、車両側Ｉ／Ｆ部１２を介して、車両Ｃのニュートラルスタートスイッチ２２からシフトポジション信号ＳＰＰを入力し、変速機のシフトポジションを算出し、メインメモリ５に割り当てられた記憶領域に格納された変数であるシフトポジションＳＰを更新する。さらに、制御部４は、車両側Ｉ／Ｆ部１２を介して、ステアリング舵角センサ２３から、ステアリングセンサ信号ＳＴＰを入力する。制御部４は、このステアリングセンサ信号ＳＴＰに基づき操舵角を算出し、メインメモリ５に割り当てられた記憶領域に格納された変数である車両Ｃの現在舵角ＳＴを更新する。
Further, the
さらに、制御部４は、車両側Ｉ／Ｆ部１２を介して、光源点灯検出手段を構成する各種ランプ駆動装置２４から、車両ＣのブレーキランプＬ（図２参照）の点灯・消灯状態を示す点滅検出信号ＬＰＳを入力する。制御部４は、この点滅検出信号ＬＰＳに基づきブレーキランプＬの点滅の有無を判定し、メインメモリ５に割り当てられた点灯有無のフラグの内容を更新する。本実施形態では、各種ランプ駆動装置２４はブレーキランプＬの点滅検出信号ＬＰＳを制御部４に出力したが、ウィンカー、ハザードランプ等、駐車に際して使用されると思われる各種のランプの点滅検出信号ＬＰＳを制御部４に出力するようにしてもよい。また、ブレーキランプＬの点灯・消灯状態を示す点滅検出信号は、ブレーキペダルの操作を検出し、それをブレーキランプＬの点灯・消灯状態を示す点滅検出信号ＬＰＳとして用いても良い。
Further, the
さらにまた、制御部４は、車両側Ｉ／Ｆ部１２を介して、照度センサ２５から照度検出信号ＬＸＳを入力する。照度センサ２５は、本実施形態では、車両Ｃのルームミラーのフロントガラス側に設けられ、車両Ｃの周辺の明るさ（照度）を検出する。制御部４は、この照度検出信号ＬＸＳに基づき照度（車両周辺の明るさ）を算出し、メインメモリ５に割り当てられた記憶領域に格納された変数である照度を更新する。そして、制御部４は、算出した照度に基づいて車両Ｃの周辺が明るいか暗いかを判定し、メインメモリ５に割り当てられたフラグの内容（明暗の判断結果）を更新する。
Furthermore, the
また、制御装置２は、画像データ入力部１３を備えている。画像データ取得手段を構成する画像データ入力部１３は、制御部４の制御に従って、車両Ｃに設けられた撮像手段としてのバックモニタカメラ（以下、単にカメラ２６という）を駆動制御して、画像データＧを逐次取得する。
In addition, the
カメラ２６は、図２に示すように、車両Ｃのバックドア等、車両の後端に光軸を下方に向けて取り付けられている。このカメラ２６は、カラー画像を撮像するデジタルカメラであって、広角レンズ、ミラー等から構成される光学機構と、ＣＣＤ撮像素子（いずれも図示せず）とを備えている。カメラ２６は、例えば左右１４０度の視野を有し、車両Ｃの後端を含む、後方数メートルを撮像範囲Ｚとしている。画像データ入力部１３は、カメラ２６によってアナログ／デジタル変換された画像データＧを、制御部４の制御に基づき取得して、制御装置２に備えられた画像メモリ１４に一時格納する。
As shown in FIG. 2, the
また、制御装置２は、周辺画像データ生成手段、画像データ補正手段、第１画像処理手段、第２画像処理手段及び第３画像処理手段を構成する画像処理部１５と表示出力手段を構成する画像出力部１６とを備えている。画像処理部１５は、車両Ｃが後退している間は、画像メモリ１４に一時格納された画像データＧを画像出力部１６を介してディスプレイ３に出力して、図４に示す、バックモニタ画面３３を表示する。バックモニタ画面３３には、後方背景画像３４と、後端画像３５とが表示されている。後方背景画像３４は、車両Ｃの後方の後方背景を撮像した画像であって、バックミラーで後方を視認した場合と合わせるため、画像が反転されている。また、後方背景画像３４は、カメラ２６が広角レンズを搭載していることから、周辺部が歪む歪曲収差が生じている。後端画像３５は、図２に示す車両ＣのリヤバンパーＲＢの中央部ＢＭを撮像した画像であって、リヤバンパーＲＢの隅部ＢＣは死角となっている。
The
さらに、画像処理部１５は、このバックモニタ画面３３に、車幅延長線３６と、予想軌跡線３７とからなるガイド線３８を描画するようになっている。車幅延長線３６は、車両Ｃの車幅を後方に延長した指標である。予想軌跡線３７は、その時の現在舵角ＳＴ及び車幅に基づき、後退する車両Ｃの走行軌跡を予想した指標であって、車両Ｃから予め定めた距離（例えば、２．７ｍ）までの予想軌跡を示す。
Further, the
また、画像処理部１５は、車両Ｃが画像記録距離Ｄ１（本実施形態では、２００ｍｍ）毎に設定された各撮像地点で撮像した画像データＧを、変換処理して画像メモリ１４に格納する。具体的には、例えば、図５に示すように、車両Ｃが、白線１０１で区画された駐車目標領域１００に向って、後退を開始した初期位置Ａに位置するとき、制御部４の制御により、画像処理部１５は、画像データ入力部１３から画像データＧを取得する。このとき取得された画像データＧは、図６（ａ）に示すように、車両Ｃの後方の路面１０２の撮像範囲Ｚの撮像データであって、例えば、図６（ｂ）に示すような後方背景画像３４を撮像したデータである。
Further, the
画像処理部１５は、初期位置Ａで撮像した画像データＧのうち、予め設定された所定領
域としての抽出領域４０のデータを抽出し、抽出データＧ１を生成する。抽出領域４０は、図６（ｂ）及び（ｄ）に示すように、ディスプレイ３の表示領域３ｚとほぼ同じ幅（画面座標系のｙ軸方向の長さ）を有している。また、抽出領域４０の高さは、車両Ｃの後退方向に相当するｘ軸方向において、表示領域３ｚの略中央部の領域に設定されている。この抽出領域４０内の画像データＧ（抽出データＧ１）は、車両Ｃから比較的近い領域を撮像しているため、鮮明な画像を表示可能であるとともに、中央部を抽出していることにより、カメラ２６のレンズによる歪みが小さくなっている。この抽出領域４０を、路面１０２上の座標を示す車両座標系（Ｘ，Ｙ）においては、図６（ａ）に示すように、撮像範囲Ｚの一部であって、路面１０２のほぼ５００ｍｍの領域１０３に相当する。
The
さらに、画像処理部１５は、抽出データＧ１を視点変換して、変換データＧ２を生成する。詳述すると、図６（ｃ）に示すように、上記した路面１０２上の領域１０３のうち、中央部の鉛直方向上方に、仮想視点１０４を設定する。この仮想視点１０４の高さは、カメラ２６高さとほぼ同じ高さに設定されている。そして、抽出データＧ１のうち中央部を用いて、その仮想視点１０４から領域１０３を俯瞰したようなデータに座標変換する。
Further, the
具体的には、画像処理部１５は、抽出データＧ１の各画素座標に対応する画素値を、ＲＯＭ６等に格納した変換テーブルにより紐付けられた座標にマッピングする。その結果、初期位置Ａのカメラ視点から仮想視点１０４に視点変換された変換データＧ２が生成され、例えば、図６（ｅ）に示す画像４１のような変換データＧ２が生成される。この変換データＧ２は、抽出データＧ１の中央部を用いているので、路面上の略２００ｍｍの領域に相当する。
Specifically, the
さらに、画像処理部１５は、制御部４に基づき、図７（ａ）に示すように、生成した変換データＧ２に、初期位置Ａを示す位置データとしての撮像位置データ１７と、初期位置Ａで入力した現在方位ＧＲに基づく方位データ１８と、メインメモリ５に割り当てられた車速パルスカウンタのパルスカウント値Ｔとを添付して、画像メモリ１４に格納する。そして、以後、車両Ｃが画像記録距離Ｄ１を移動する度に、図７（ａ）に示すような、その位置で撮像された画像データＧに基づく変換データＧ２が格納される。
Further, based on the
また、この時、画像処理部１５は、初期位置Ａ及び車両Ｃが画像記録距離Ｄ１移動する度に、カメラ２６が画像を撮像する時、前記制御部４によるその時の車両周辺の照度の検出結果及びブレーキランプＬの点灯の有無の結果に基づいて、図７（ｂ）に示すように、輝度補正有無データＫＤを作成し画像メモリ１４に格納する。
At this time, the
詳述すると、画像処理部１５は、車両Ｃの周辺が暗い状態でブレーキランプＬが点灯した場合、そのブレーキランプＬの反射光が画像データに映り込まれるかを判定し、その判定結果（輝度補正フラグの内容）を輝度補正有無データＫＤとして画像メモリ１４に格納する。そして、画像処理部１５は、図７（ｂ）に示すように、判定結果である輝度補正有無データＫＤに、車速パルスカウンタのパルスカウント値Ｔを添付して、画像メモリ１４に格納する。従って、図７（ａ）に示す画像メモリ１４に格納された各変換データＧ２の各々は、対応する輝度補正有無データＫＤがパルスカウント値Ｔを介して関連づけられている。
More specifically, when the brake lamp L is lit when the periphery of the vehicle C is dark, the
画像処理部１５は、変換データＧ２が画像メモリ１４に所定枚数（本実施形態では、２４枚）蓄積された状態で、制御部４から合成命令を入力すると、各変換データＧ２を合成処理し、画像出力部１６を介してディスプレイ３に表示するようになっている。この時、各変換データＧ２は、輝度補正有無データＫＤに基づいて輝度補正処理を行うかどうか判断され、行うと判断された変換データＧ２のみ輝度補正処理を行った後、合成処理がなされ俯瞰画像４６（図１４及び図１５参照）の俯瞰画像データＧ４が生成される。
When a predetermined number of conversion data G2 is stored in the image memory 14 (24 in the present embodiment), the
次に、本実施形態の処理手順について、図５に示すように、車両Ｃが駐車目標領域１００に後退する動作に沿って説明する。
まず、制御部４は、ＲＯＭ６に格納された駐車支援プログラムに従って、図８に示すように、開始トリガの入力を待つ（ステップＳ１）。開始トリガは、本実施形態では、イグニッションモジュールの起動、又はナビゲーション装置１の起動による入力信号である。開始トリガを入力すると、制御部４の制御により、システム起動管理処理（ステップＳ２）、記録用画像データ入力処理（ステップＳ３）、変換データ生成処理（ステップＳ４）を行う。そして、制御部４は、終了トリガの入力があるか否かを判断して（ステップＳ５）、入力が無い場合には、ステップＳ２に戻る。本実施形態では、終了トリガは、イグニッションモジュールのオフ状態、又はナビゲーション装置１のシャットダウンによる入力信号である。
（システム起動管理処理）
次に、システム起動管理処理Ｓ２について図９に従って説明する。まず、制御部４は、車両側Ｉ／Ｆ部１２を介してシフトポジション信号ＳＰＰを入力し、メインメモリ５に格納された変数であるシフトポジションＳＰを更新する（ステップＳ２−１）。続いて、制御部４は、シフトポジションＳＰがリバースであるか否かを判断するとともに、車両Ｃが駐車操作停止状態であるかどうかを判断する（ステップＳ２−２）。ここで、駐車操作停止状態とは、駐車目標領域１００に車両Ｃが駐車した状態、又は駐車目標領域１００に向って車両Ｃが進行する過程で駐車操作をやり直す状態である。具体的には、本実施形態においては、車両Ｃの進行方向が、駐車目標領域１００に向って後退する方向と異なる方向に変更された場合であって、車両ＣのシフトポジションＳＰがリバースからリバース以外になった状態である。
Next, the processing procedure of the present embodiment will be described along the operation in which the vehicle C moves backward to the
First, the
(System startup management process)
Next, the system activation management process S2 will be described with reference to FIG. First, the
ステップＳ２−２において、制御部４が、シフトポジションＳＰが、ドライブ又はパーキングレンジ等であって、リバースでないと判断した場合（ステップＳ２−２においてＮＯ）、制御部４は、システム起動フラグＦＳがオン状態であるか否かを判断する（ステップＳ２−１６）。ここで、システム起動フラグＦＳは、変換データＧ２を生成するための合成モードの起動を示すフラグであって、初期状態では「待機」を示す「０」（オフ状態）に設定されている。車両Ｃが前進している場合等には、システム起動フラグＦＳがオフ状態であるので（ステップＳ２−１６でＮＯ）、ステップＳ５に戻り、終了トリガの入力の有無を判断する。
In step S2-2, when the
一方、例えば、図５に示すように、車両Ｃが駐車目標領域１００に向って後退を開始する初期位置Ａに位置する場合には、シフトポジションＳＰはリバースである（ステップＳ２−２でＹＥＳ）。このため、制御部４の制御により、画像処理部１５は、画像データ入力部１３から、初期位置Ａで撮像した画像データＧを取得し、ディスプレイ３に出力して、バックモニタ画面３３（図４参照）を表示する（ステップＳ２−３）。従って、車両Ｃが停車せずに後退する間は、ディスプレイ３には現在の車両Ｃの周辺状況が反映されたバックモニタ画面３３が表示される。
On the other hand, for example, as shown in FIG. 5, when the vehicle C is located at the initial position A where the vehicle C starts to move backward toward the
そして、制御部４は、メインメモリ５に格納されたシステム起動フラグＦＳがオフ状態であるか否かを判断する（ステップＳ２−４）。システム起動フラグＦＳがオフ状態である場合には（ステップＳ２−４でＹＥＳ）、制御部４は合成モードがまだ起動していないので、そのシステム起動フラグＦＳを「起動」を示す「１」（オン）に設定する（ステップＳ２−５）。続いて、制御部４は、メインメモリ５に格納された変数である後退移動距離ΔＤＭ及び車速パルスカウンタのパルスカウント値Ｔを「０」にそれぞれ初期化する（ステップＳ２−６）。
And the
この後退移動距離ΔＤＭは、車速パルスＶＰに基づいて算出され、基準位置から車両Ｃ
が後退した距離を示し、上記した変換データＧ２を生成するタイミングを判断するために用いられる。車速パルスカウンタのパルスカウント値Ｔは、この車両側Ｉ／Ｆ部１２を介して車速センサ２０からの車速パルスＶＰのパルス数であって、車両Ｃの後退移動距離ΔＤＭを示し、生成した変換データＧ２が初期位置Ａを基準にどの位置で撮像された変換データＧ２かを関連づけるために用いられる。
The backward movement distance ΔDM is calculated based on the vehicle speed pulse VP, and the vehicle C is calculated from the reference position.
Indicates the backward distance, and is used to determine the timing for generating the conversion data G2. The pulse count value T of the vehicle speed pulse counter is the number of vehicle speed pulses VP from the
さらに、制御部４の制御により、画像処理部１５は、画像データ入力部１３から、後退を開始した位置、即ち初期位置Ａで撮像した画像データＧを入力する（ステップＳ２−７）。さらに、画像処理部１５は、ステップＳ２−７で入力した画像データＧのうち、上記したように抽出領域４０を抽出して、抽出データＧ１を生成する（ステップＳ２−８）。そして、抽出データＧ１を、上記した仮想視点１０４に視点変換して、変換データＧ２を生成する（ステップＳ２−９）。
Further, under the control of the
また、制御部４は、車両側Ｉ／Ｆ部１２を介して、初期位置Ａで方位検出信号ＧＲＰを入力し、メインメモリ５に格納された現在方位ＧＲを更新する。そして、初期位置Ａを示す撮像位置データ１７と、現在方位ＧＲに基づく方位データ１８と、その時の車速パルスカウンタのパルスカウント値Ｔ（＝０）とを、ステップＳ２−９で生成した変換データＧ２に添付して、画像メモリ１４に格納する（ステップＳ２−１０）。
Further, the
続いて、制御部４は、車両側Ｉ／Ｆ部１２を介して、点滅検出信号ＬＰＳ及び照度センサ２５から照度検出信号ＬＸＳを入力し、前記ステップＳ２−７で画像データ入力部１３が初期位置Ａで撮像した画像データＧを入力した時の車両Ｃの周囲の外光状態を判定する。まず、制御部４は、照度検出信号ＬＸＳに基づいて、撮像した画像データＧを入力した時、車両Ｃの周辺が暗いかどうか判定する（Ｓ２−１１）。
Subsequently, the
ここで、車両Ｃの周辺が暗いかどうかの判定は、以下の理由で行っている。カメラ２６が撮像した画像データＧは、ブレーキランプＬが点灯している時、そのブレーキランプＬの光は路面に照射され反射する。その反射光は、周辺が明るい場合と暗い場合では、カメラ２６が撮像した画像データＧに与える影響が異なる。つまり、周辺が明るい場合には反射光は目立たないことから、カメラ２６が撮像した画像データＧにはその反射光の影響を受けない画像の画像データとなる。反対に、周辺が暗い場合には反射光が目立つことになるから、カメラ２６が撮像した画像データＧにはその反射光の影響を大きく受けて赤みを帯びた反射光が映った画像の画像データとなる。
Here, it is determined whether or not the periphery of the vehicle C is dark for the following reason. When the brake lamp L is lit, the image data G captured by the
そのため、本実施形態では、ブレーキランプＬの反射光が、撮像した画像データＧに影響を与える暗さかどうかを判断する。そして、本実施形態では、暗いかどうかの判断基準値は、照度センサ２５を用いて反射光が映り込まれる暗さ（照度）を予め実験等で求め、その求めた値（基準照度）が使われる。そして、制御部４は、基準照度とその時の照度検出信号ＬＸＳに基づく実際の照度とを比較することによって、反射光が映る暗さかどうか判定している。
Therefore, in this embodiment, it is determined whether or not the reflected light of the brake lamp L is dark enough to affect the captured image data G. In this embodiment, the darkness (illuminance) in which reflected light is reflected is obtained in advance through experiments or the like using the
そして、車両Ｃの周辺が暗くないと判定すると（Ｓ２−１１でＮＯ）、制御部４は、メインメモリ５に割り当てられた輝度補正フラグを「０」（オフ状態）にする（ステップＳ２−１３）。つまり、制御部４は、画像データＧに反射光が映り込まれていないと判定する。
If it is determined that the periphery of the vehicle C is not dark (NO in S2-11), the
反対に、車両Ｃの周辺が暗いと判定すると（Ｓ２−１１でＹＥＳ）、制御部４は、点滅検出信号ＬＰＳに基づいて、撮像した画像データＧを入力した時、ブレーキランプＬが点灯していたかどうか判定する（Ｓ２−１２）。ブレーキランプＬが点灯していないと判定すると（Ｓ２−１２でＮＯ）、制御部４はステップＳ２−１３に移り、制御部４は輝度補
正フラグを「０」（オフ状態）にする。一方、ブレーキランプＬが点灯していると判定すると（Ｓ２−１２でＹＥＳ）、制御部４は、制御部４は輝度補正フラグを「１」（オン状態）にする（ステップＳ２−１４）。つまり、制御部４は、画像データＧに反射光が映り込まれていると判定する。
On the contrary, if it is determined that the periphery of the vehicle C is dark (YES in S2-11), the
制御部４は、ステップ２−１３又はステップＳ２−１４において、輝度補正フラグを「０」又は「１」にすると、その時の輝度補正フラグの内容を輝度補正有無データＫＤとし、その輝度補正有無データＫＤに、その時の車速パルスカウンタのパルスカウント値Ｔ（＝０）を添付して画像メモリ１４に格納する（ステップＳ２−１５）。つまり、前記ステップＳ２−１０で画像メモリ１４に格納した変換データＧ２と輝度補正有無データＫＤとがカウント値Ｔ（＝０）によって関連づけられるようにしている。
When the brightness correction flag is set to “0” or “1” in step 2-13 or step S2-14, the
初期位置Ａでの変換データＧ２と輝度補正有無データＫＤとが格納されると、制御部４はステップＳ２−１に戻る。そして、ステップＳ２−４において、システム起動フラグＦＳが先のステップＳ２−５でオン状態にされているので（ステップＳ２−４でＮＯ）、記録用画像データ入力処理（ステップＳ３）に進む。
（記録用データ入力処理）
次に、記録用データ入力処理について図１０に従って説明する。制御部４は、車両側Ｉ／Ｆ部１２を介して入力した車速パルスＶＰに基づき、基準位置からの移動量Δｄを演算する（ステップＳ３−１）。ここで、基準位置とは、前回のステップＳ３−１で移動量Δｄを演算した時点の車両Ｃの位置である。
When the conversion data G2 and the luminance correction presence / absence data KD at the initial position A are stored, the
(Recording data input process)
Next, the recording data input process will be described with reference to FIG. The
移動量Δｄを演算すると、制御部４は、上記した後退移動距離ΔＤＭに、ステップＳ３−１で演算した移動量Δｄを加算する（ステップＳ３−２）。さらに、制御部４は、更新した後退移動距離ΔＤＭが、画像記録距離Ｄ１（２００ｍｍ）以上であるか否かを判断する（ステップＳ３−３）。後退移動距離ΔＤＭが画像記録距離Ｄ１に到達していない場合（ステップＳ３−３でＮＯ）、ステップ２−１に戻り、上記の処理を繰り返す。つまり、制御部４は、ステップＳ２−１〜ステップＳ２−４、ステップＳ３−１〜ステップＳ３−３の処理を繰り返す。
When the movement amount Δd is calculated, the
やがて、図１３（ａ）に示すように、車両Ｃが初期位置Ａから、画像記録距離Ｄ１だけ後退した位置Ｂに到達している場合、後退移動距離ΔＤＭは、画像記録距離Ｄ１になっているので（ステップＳ３−３でＹＥＳ）、制御部４の制御により、画像処理部１５は、位置Ｂで撮像した画像データＧを入力する（ステップＳ３−４）。初期位置Ａ以外の撮像位置で撮像された、記録用の画像データＧを入力すると、画像処理部１５は、変換データ生成処理（ステップＳ４）に進む。
（変換データ生成処理）
次に、変換データ生成処理について図１１に従って説明する。画像処理部１５は、制御部４の制御により、位置Ｂで撮像した画像データＧのうち、図１３（ｂ）及び（ｄ）に示すように、抽出領域４０を抽出して、抽出データＧ１を生成する（ステップＳ４−１）。そして、図１３（ｃ）に示すように、抽出データＧ１を、抽出領域４０に相当する路面１０２上の領域１０５の鉛直方向上方に設定された仮想視点１０６に視点変換する。これにより、抽出データＧ１の中央部を用いて、図１３（ｅ）に示す画像４１のような変換データＧ２を生成する（ステップＳ４−２）。
Eventually, as shown in FIG. 13A, when the vehicle C has arrived at the position B which is retracted from the initial position A by the image recording distance D1, the backward movement distance ΔDM is the image recording distance D1. Therefore (YES in step S3-3), the
(Conversion data generation processing)
Next, the conversion data generation process will be described with reference to FIG. Under the control of the
さらに、画像処理部１５は、制御部４から、その変換データＧ２を撮像した位置（ここでは位置Ｂ）の自車位置と、現在方位ＧＲと、その時の車速パルスカウンタのパルスカウント値Ｔとを入力する（ステップＳ４−３）。そして、入力した自車位置、現在方位ＧＲ及びパルスカウント値Ｔを、それぞれ撮像位置データ１７、方位データ１８及びパルスカウント値Ｔとし、変換データＧ２に添付して、変換データＧ２を画像メモリ１４に格納す
る（ステップＳ４−４）。
Further, the
続いて、制御部４は、点滅検出信号ＬＰＳ及び照度検出信号ＬＸＳを入力し、前記ステップＳ３−４で画像データ入力部１３が位置Ｂで撮像した画像データＧを入力した時の車両Ｃの周辺の外光状態を前記と同様に判断する。
Subsequently, the
まず、制御部４は、照度検出信号ＬＸＳに基づいて、撮像した画像データＧを入力した時、車両Ｃの周辺が暗いかどうか判定する（Ｓ４−５）。そして、車両Ｃの周辺が暗くないと判定すると（Ｓ４−５でＮＯ）、制御部４は、メインメモリ５に割り当てられた輝度補正フラグを「０」（オフ状態）にする（ステップＳ４−７）。
First, based on the illuminance detection signal LXS, the
反対に、車両Ｃの周辺が暗いと判定すると（Ｓ４−５でＹＥＳ）、制御部４は、点滅検出信号ＬＰＳに基づいて、撮像した画像データＧを入力した時、ブレーキランプＬが点灯していたかどうか判定する（Ｓ４−６）。ブレーキランプＬが点灯していないと判定すると（Ｓ４−６でＮＯ）、制御部４はステップＳ４−７に移り、制御部４は輝度補正フラグを「０」（オフ状態）にする。一方、ブレーキランプＬが点灯していると判定すると（Ｓ４−６でＹＥＳ）、制御部４は、制御部４は輝度補正フラグを「１」（オン状態）にする（ステップＳ４−８）。
On the contrary, if it is determined that the periphery of the vehicle C is dark (YES in S4-5), the
制御部４は、ステップ４−７又はステップＳ４−８において、輝度補正フラグを「０」又は「１」にすると、その時の輝度補正フラグの内容（輝度補正有無データＫＤ）に、その時の車速パルスカウンタのパルスカウント値Ｔを添付して画像メモリ１４に格納する（ステップＳ４−９）。つまり、前記と同様に、前記ステップＳ４−４で画像メモリ１４に格納した変換データＧ２と輝度補正有無データＫＤとがカウント値Ｔによって関連づけられる。
When the brightness correction flag is set to “0” or “1” in step 4-7 or step S4-8, the
位置Ｂでの変換データＧ２と輝度補正有無データＫＤとが格納されると、制御部４は画像メモリ１４内に、変換データＧ２が所定枚数（本実施形態では２４枚）以上格納されたか否か判断する（ステップＳ４−１０）。
When the conversion data G2 at the position B and the luminance correction presence / absence data KD are stored, the
位置Ｂでの変換データＧ２を生成した際には、初期位置Ａ及び位置Ｂで生成された２枚の変換データＧ２が蓄積されているため、所定数の変換データＧ２が蓄積されていないと判断して（ステップＳ４−１０でＮＯ）、ステップＳ４−１２に移る。 When the conversion data G2 at the position B is generated, since the two pieces of conversion data G2 generated at the initial position A and the position B are stored, it is determined that the predetermined number of conversion data G2 is not stored. (NO in step S4-10), then the process moves to step S4-12.
ステップＳ４−１２では、制御部４は、後退移動距離ΔＤＭを「０」に初期化する。後退移動距離ΔＤＭを初期化すると、終了トリガの有無を判断し（ステップＳ５）、終了トリガが無いと判断すると（ステップＳ５でＮＯ）、ステップＳ２−１に戻る。
In step S4-12, the
そして、車両Ｃが初期位置Ａから駐車目標領域１００に向って後退する過程で、画像記録距離Ｄ１ごとに、変換データＧ２が画像メモリ１４に蓄積されていく。車両Ｃが初期位置Ａからさらに後退し、その蓄積されたデータ数が、所定数（２４枚）になると、制御部４は、ステップＳ４−１０において、所定数の変換データＧ２が蓄積されたと判断して、表示可能フラグをオン状態（「１」）にする（ステップＳ４−１１）。この表示可能フラグは、所定数の変換データＧ２が蓄積されているか否かを示すフラグである。
Then, in the process in which the vehicle C moves backward from the initial position A toward the
そして、図５に示すように、車両Ｃが初期位置Ａから駐車目標領域１００に向って後退し、図５中終端位置Ｅに到達したり、後退する途中で駐車をやり直す場合、運転者は、シフトポジションをリバースレンジから、ドライブレンジ又はパーキングレンジに切替える。このとき、ステップＳ２−２において、制御部４は、シフトポジションＳＰがリバースから他のシフトポジションに切り替わったと判断する（ステップＳ２−２においてＮＯ）
。
Then, as shown in FIG. 5, when the vehicle C moves backward from the initial position A toward the
.
続いて、制御部４は、上記したように、システム起動フラグＦＳがオン状態であるか否かを判断する（ステップＳ２−１６）。終端位置Ｅに到達したり、後退する途中でシフトポジションを切替えた直後は、システム起動フラグＦＳはオン状態であると判断されるため（ステップＳ２−１６でＹＥＳ）、ステップＳ２−１７に進む。
Subsequently, as described above, the
ステップＳ２−１７では、制御部４は、表示可能フラグがオン状態であるか否かを判断する。初期位置Ａから後退した終端位置Ｅでは、所定数（２４枚）の変換データＧ２が蓄積されているので、制御部４は、表示可能フラグがオン状態であると判断し（ステップＳ２−１７でＹＥＳ）、俯瞰画像表示処理を行う（ステップＳ２−１８）。
In step S2-17, the
この俯瞰画像表示処理について、図１２に従って説明する。制御部４は、車両側Ｉ／Ｆ部１２を介して方位検出信号ＧＲＰを入力し、現在方位ＧＲを更新する（ステップＳ２−１８−１）。また、画像処理部１５は、画像データ入力部１３を制御して、車両Ｃの現在位置で撮像された画像データＧ（以下、現在画像データＧＰという）を入力する（ステップＳ２−１８−２）。
This overhead view image display process will be described with reference to FIG. The
さらに、画像処理部１５は、取得した現在画像データＧＰのうち、現在位置に応じた領域を抽出して、抽出した領域に応じた仮想視点に視点変換して、変換データＧ２を生成する（ステップＳ２−１８−３）。この視点変換の際の仮想視点は、抽出したデータに相当する路面１０２上の領域の鉛直方向上方の位置に設定する。
Further, the
続いて、制御部４は、点滅検出信号ＬＰＳ及び照度検出信号ＬＸＳを入力し、撮像した現在画像データＧＰを入力した時の車両Ｃの周辺の状況を前記と同様に判定する（ステップＳ２−１８−４〜ステップＳ２−１８−７）。
Subsequently, the
次に、画像処理部１５は、制御部４の制御により、輝度補正フラグの内容（輝度補正有無データＫＤ）に基づいて現在画像データＧＰの変換データＧ２及び画像メモリ１４に蓄積した各変換データＧ２について輝度補正処理を行う（ステップＳ２−１８−８）。
Next, the
画像処理部１５による輝度補正処理は、以下のように行う。まず、変換データＧ２において、パルスカウント値Ｔにて関連づけられた輝度補正フラグの内容（輝度補正有無データＫＤ）が「０」（オフ状態）のときには、その変換データＧ２の輝度補正は行わない。これは、変換データＧ２がブレーキランプＬの反射光が映り込まれていない画像データＧから生成されたとして、輝度補正をしない。
The luminance correction process by the
一方、変換データＧ２において、パルスカウント値Ｔにて関連づけられた輝度補正フラグの内容（輝度補正有無データＫＤ）が「１」（オン状態）のときには、ＲＯＭ６に予め格納された輝度補正テーブル６ｂの輝度補正データを使って変換データＧ２の輝度補正を行う。これは、変換データＧ２がブレーキランプＬの赤色の反射光が映り込まれた画像データＧから生成されていて、その赤色の反射光を除き、反射光が映り込まれていない前後の変換データＧ２と整合をとるためである。つまり、反射光の映っていない俯瞰画像４６を生成するためのものである。
On the other hand, when the content of the luminance correction flag (luminance correction presence / absence data KD) associated with the pulse count value T is “1” (on state) in the conversion data G2, the luminance correction table 6b stored in the
本実施形態では、変換データＧ２中の各画素の画素データを構成するＲ（赤）、Ｇ（緑）、Ｂ（青）の各画素の輝度データ（Ｒ値、Ｇ値、Ｂ値からなるＲＧＢ輝度データ）のうち、所定領域の画素の画素データについてそのＲ値を下げる処理を行う。所定領域の各画素は、本実施形態では以下のように求めている。まず、予め実験等で、ブレーキランプＬの反射光の強度分布を求める。その強度分布から、ブレーキランプＬを点灯した場合と、
点灯しない場合とのＲ値に関する輝度差を求め、その輝度差からブレーキランプＬの反射光の影響を受ける領域を決定するとともに、その領域の画素に対するＲ値を下げる値も予め求めて輝度補正データとする。そして、その各画素の輝度補正データを輝度補正テーブル６ｂにしてＲＯＭ６に予め記憶されている。
In the present embodiment, luminance data (R value, G value, and B value RGB) of each pixel of R (red), G (green), and B (blue) constituting the pixel data of each pixel in the conversion data G2. Among the luminance data), a process of lowering the R value of the pixel data of the pixels in the predetermined area is performed. In the present embodiment, each pixel in the predetermined area is obtained as follows. First, the intensity distribution of the reflected light from the brake lamp L is obtained in advance through experiments or the like. From the intensity distribution, when the brake lamp L is lit,
A brightness difference related to the R value with respect to the case where the lamp is not lit is obtained, and an area affected by the reflected light of the brake lamp L is determined from the brightness difference, and a value for lowering the R value for the pixels in the area is also obtained in advance. And The luminance correction data of each pixel is stored in advance in the
従って、各変換データＧ２は、ＲＯＭ６に記憶された輝度補正テーブル６ｂを用いて、輝度補正がされ、その反射光が除かれた変換データＧ２に補正され画像メモリ１４に格納される。その結果、この時点で、変換データＧ２の全てが、ブレーキランプＬの反射光が映り込まれていない輝度補正された変換データＧ２となる。
Therefore, each conversion data G2 is subjected to luminance correction using the luminance correction table 6b stored in the
続いて、画像処理部１５は、更新した現在方位ＧＲに基づき、各変換データＧ２を回転変換し、回転変換データＧ３を生成する（ステップＳ２−１８−９）。
詳述すると、画像処理部１５は、画像メモリ１４に蓄積された変換データＧ２のうち、車両Ｃの現在位置に近い２４枚、車両Ｃの現在位置から所定距離範囲内の位置で撮像された変換データＧ２を読出す。そして、それらの変換データＧ２に添付された方位データ１８と、現在方位ＧＲとの相対角度を算出し、その相対角度に基づいた回転変換テーブルをＲＯＭ６からそれぞれ読出す。尚、ＲＯＭ６には、各相対角度ごとに回転変換テーブルがそれぞれ格納され、各回転変換テーブルは、アフィン変換等、公知の座標変換を短時間で処理するために格納されたテーブルである。
Subsequently, the
More specifically, the
そして、変換データＧ２の各座標の画素値を、各回転変換テーブルで紐付けられた変換先の座標にマッピングする。これにより、各撮像位置でのカメラ２６の向きで撮像された変換データＧ２は、現在の車両Ｃのカメラ２６の視野で見たような画像データに回転変換される。その結果、初期位置Ａ及び位置Ｂで撮像された変換データＧ２は、図１４に示す回転変換画像４２のような、回転変換データＧ３となる。
Then, the pixel value of each coordinate of the conversion data G2 is mapped to the coordinate of the conversion destination associated with each rotation conversion table. Thereby, the conversion data G2 imaged in the direction of the
さらに、画像処理部１５は、現在画像データＧＰに基づく変換データＧ２と回転変換データＧ３とを、所定の順番で連続させて、俯瞰画像データＧ４を生成する（ステップＳ２−１８−１０）。本実施形態では、車両Ｃの進行方向に相当する方向（ｘ軸方向）に並べて合成する。具体的には、現在画像データＧＰを、ディスプレイ３の表示領域３ｚのうち最も下側になるように配置する。そして、現在画像データＧＰの上側に、各回転変換データＧ３を順番に並べる。このとき、回転変換データＧ３のうち、車両Ｃの現在位置から遠い位置（比較的過去の時点）で撮像された回転変換データＧ３が、表示領域３ｚの上側になるように並べる。換言すると、車両Ｃの前方にあたる領域が、表示領域３ｚの上方になるようになっている。その結果、図１４に示すような俯瞰画像４６を表示する俯瞰画像データＧ４が生成される。
Further, the
この俯瞰画像データＧ４は、２００ｍｍごとに撮像及び変換された２４枚の回転変換データＧ３と、現在画像データＧＰとから構成され、車両全体の領域に相当する路面１０２の画像データとなっている。しかも、２４枚の回転変換データＧ３及び現在画像データＧＰの変換データＧ２は輝度補正されたものであるため、俯瞰画像データＧ４は、ブレーキランプＬの反射光が映り込まれていないものになっている。
This bird's-eye view image data G4 is composed of 24 pieces of rotation conversion data G3 imaged and converted every 200 mm and the current image data GP, and is image data of the
次に、画像処理部１５は、俯瞰画像データＧ４をディスプレイ３に出力する（ステップＳ２−１８−１１）。このとき、画像処理部１５は、制御部４から入力した自車位置データに基づき、俯瞰画像データＧ４の上に、車両輪郭線３０を描画する。その結果、図１５に示すように、駐車確認画面４５がディスプレイ３に表示される。このとき、運転中の不定期なブレーキ操作で発光されるブレーキランプＬの反射光が映り込まれていない高品質な駐車確認画面４５がディスプレイ３に表示される。
Next, the
また、俯瞰画像４６には、自車位置を示す車両輪郭線３０が重畳されている。これにより、運転者は、車両Ｃの駐車位置を確認できる。運転者は、この車両輪郭線３０と、俯瞰画像４６に表示された駐車目標領域１００の画像とのずれを確認して、車両Ｃが駐車目標領域１００からはみ出していないか、さらには車体が駐車目標領域１００内で真っ直ぐに駐車されているか否かを判断できる。
In addition, a
尚、例えば、運転者が、駐車操作を完了する前に、後退途中で駐車をやり直す場合（ステップＳ２−２でＮＯ）にも、制御部４は、ステップＳ２−１６及びステップＳ２−１７を介して俯瞰画像表示処理が実行される。そして、例えば図１６に示すような駐車確認画面４５が表示される。従って、駐車確認画面４５にて、駐車目標領域１００に対する自車位置を把握することにより、前進すべき距離、舵角の取り方等の目安を付けることができる。このとき、図１６の駐車確認画面４５に表示された操作部４５ａの入力操作等により、予想軌跡線３７等を表示するようにしてもよい。
Note that, for example, also when the driver reparks in the middle of retreating before completing the parking operation (NO in step S2-2), the
画像処理部１５は、このような駐車確認画面４５を所定時間（例えば、１０秒）又は操作スイッチ７が操作されるまで、継続して表示する。そして、俯瞰画像表示処理を終了すると、ステップＳ２−１９に戻り、駐車確認画面４５を消去して、地図画面３ａ等の他の画面に切替える。さらに、制御部４は、各変数データを初期値にリセットし（ステップＳ２−２０）、システム起動フラグＦＳをオフ状態にする（ステップＳ２−２１）。そして、制御部４はステップＳ２−１に戻る。
The
そして、シフトポジションＳＰがリバースレンジでなく（ステップＳ２−２でＮＯ）、システム起動フラグＳＦがオフ状態と判断すると（ステップＳ２―１６でＮＯ）、制御部４は、上記したように、イグニッションモジュールのオフ等の終了トリガを入力したか否かを判断する（Ｓ５）。例えば、駐車確認画面４５で駐車位置を確認して、駐車をやり直す場合（Ｓ５でＮＯ）、終了トリガを入力しないので、ステップＳ２−１に戻り、上記した処理を繰り返す。反対に、駐車を完了し、終了トリガを入力した場合（Ｓ５でＹＥＳ）、そのまま処理を終了する。
Then, when the shift position SP is not in the reverse range (NO in step S2-2) and the system activation flag SF is determined to be in the off state (NO in step S2-16), the
上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、車両Ｃに設けられたカメラ２６から画像データＧを取得し、その画像データＧから抽出データＧ１を生成する。そして、その抽出データＧ１を視点変換処理した変換データＧ２を生成し、その変換データＧ２を撮像位置データ１７及び方位データ１８を添付して画像メモリ１４に格納した。そして、制御部４は、車両ＣのシフトポジションＳＰがリバースでないと判断した際に、画像処理部１５を制御して、各変換データＧ２及び現在画像データＧＰを用いて俯瞰画像データＧ４を生成し、俯瞰画像データＧ４及び車両Ｃの現在位置を示す車両輪郭線３０を出力して駐車確認画面４５をディスプレイ３に表示するようにした。
According to the above embodiment, the following effects can be obtained.
(1) In the above embodiment, the image data G is acquired from the
従って、駐車操作をやり直す場合等に、的確なタイミングで、車体と駐車目標領域１００とのずれ量等を把握可能な画面を表示できる。また、駐車が完了したときに、車体と駐車目標領域１００とのずれが大きいか否か、車体が駐車目標領域１００内に真っ直ぐに駐車されているか等の最終確認を行うことができる画面を表示できる。
Accordingly, when the parking operation is performed again, it is possible to display a screen capable of grasping a deviation amount between the vehicle body and the
（２）上記実施形態では、運転中の不定期なブレーキ操作で発光されるブレーキランプＬの反射光が映り込まれた画像データＧが混在していても、反射光が映り込まれた変換データＧ２について、画像処理部１５は、輝度補正テーブル６ｂを用いてその映り込まれた反射光を除く輝度補正をした。従って、反射光が映り込まれていない俯瞰画像データＧ４を生成することができ、連続性のある高品質な俯瞰画像をディスプレイ３に表示することができる。しかも、輝度補正テーブル６ｂを用いて輝度補正をしたので、画像処理部１５
による輝度補正処理の負荷を軽減することができる。
(2) In the above embodiment, even if there is a mixture of image data G in which the reflected light of the brake lamp L emitted by an irregular braking operation during driving is reflected, the converted data in which the reflected light is reflected. For G2, the
It is possible to reduce the load of the luminance correction processing due to.
（３）上記実施形態では、周辺が暗い状態であってブレーキランプＬが点灯した時の画像データＧの変換データＧ２についてのみ輝度補正するようにしたので、画像処理部１５による輝度補正処理の負荷を軽減することができる。 (3) In the above embodiment, the luminance correction is performed only for the conversion data G2 of the image data G when the periphery is dark and the brake lamp L is lit. Can be reduced.
（４）上記実施形態では、ブレーキランプＬの反射光が映り込まれたかどうかの判断を、即ち反射光の有無を、各種ランプ駆動装置２４の点滅検出信号ＬＰＳに基づいて判断するため、ブレーキランプＬの反射光を直接検出するための特別な検出装置を設ける必要がない。
（第２実施形態）
つぎに、本発明の第２実施形態を図１７〜図２６に従って説明する。本実施形態は、輝度補正の方法に特徴を有し、その特徴部分のみが前記第１実施形態と相違する。従って、説明の便宜上、本実施形態では、その特徴部分について詳細に説明し、その他の第１実施形態と共通する部分はその説明は省略する。
(4) In the above embodiment, the brake lamp L is used to determine whether or not the reflected light of the brake lamp L is reflected, that is, the presence or absence of the reflected light based on the blink detection signal LPS of the various
(Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIGS. The present embodiment has a feature in the luminance correction method, and only the feature portion is different from the first embodiment. Therefore, for the sake of convenience of explanation, in this embodiment, the characteristic part will be described in detail, and the description of the parts common to the other first embodiment will be omitted.
本実施形態では、１日の日照の変化、光が反射する路面に種類を考慮した輝度補正を行うとともに、光源としてのランプを複数考慮に入れて輝度補正を行っている。また、輝度補正するにあって、予め複数の補正のためのテンプレートを用意し、外光条件によって複数のテンプレートの中から所望のテンプレートを選択し、その選択したテンプレートで輝度補正をするようにしている。 In the present embodiment, the luminance correction is performed in consideration of the change of the daylight and the road surface on which light is reflected in consideration of the type, and the luminance correction is performed in consideration of a plurality of lamps as light sources. In addition, when correcting brightness, a plurality of templates for correction are prepared in advance, a desired template is selected from a plurality of templates according to the external light conditions, and brightness correction is performed using the selected template. Yes.
従って、本実施形態では、制御部４は、何月何日何時何分を計時できるカレンダ機能を有したタイマを内蔵している。また、本実施形態のＲＯＭ６には、図１７に示すように、色合い補正テーブル６ｃ、日照補正テーブル６ｄを備えている。また、路面を検出する路面検出センサ２７が設けられ、その路面検出センサ２７は車両Ｃに設けられ、その路面検出信号ＲＳを車両側Ｉ／Ｆ部１２を介して制御部４に出力するようになっている。制御部４は、路面検出信号ＲＳに基づいて、移動中の路面がコンクリート路面、アスファルト路面、又はレンガ路面かどうかを検出するようになっている。
Therefore, in the present embodiment, the
図１８、図１９、及び図２０は、色合い補正テーブル６ｃのデータ構造を説明するための模式図である。色合い補正テーブル６ｃは、メインテーブル６１、サブテーブル６２及び色補正用テンプレート６３とから構成されている。
18, 19 and 20 are schematic diagrams for explaining the data structure of the hue correction table 6c. The hue correction table 6 c includes a main table 61, a sub table 62, and a
メインテーブル６１は、図１８に示すように、ブレーキランプ、ウィンカー、車幅灯、プレート照明、リアフォグランプ、バックランプの各ランプに対して、コンクリート路面、アスファルト路面、レンガ路面についてのサブテーブル６２のアドレスとから構成されている。 As shown in FIG. 18, the main table 61 has a sub table 62 for concrete road surface, asphalt road surface, and brick road surface with respect to brake lamps, blinkers, vehicle width lights, plate lights, rear fog lights, and back lamps. It consists of an address.
サブテーブル６２は、図１９に示すように、路面の数（３種類）にランプの種類（６種類）を掛けた数（本実施形態では１８個（＝３×６））だけ有し、それぞれ各照度ＬＸに対する色補正用テンプレート６３のアドレスから構成されている。
As shown in FIG. 19, the sub-table 62 has a number obtained by multiplying the number of road surfaces (three types) by the type of ramp (six types) (18 in this embodiment (= 3 × 6)). It is composed of addresses of the
色補正用テンプレート６３は、１つのサブテーブル６２に対して、１０種類のテンプレートが用意されている。つまり、１つのサブテーブル６２において、車両周辺の照度の最小最大を０〜１００に正規化しその０〜１００を１０段階に区分し、その区分した範囲での車両周辺の照度に対して１つの色補正用テンプレート６３が用意され、各照度に対するその色補正用テンプレート６３のアドレスが割り当てられている。従って、全てのサブテーブル６２をカバーするために、本実施形態では、図２０に示すように、１８０種類の色補正用テンプレート６３が用意されている。
For the
つまり、移動中の路面がコンクリート路面であってブレーキランプＬが点灯しているとき、メインテーブル６１を用いて、コンクリート路面に対するブレーキランプのサブテーブル６２のアドレスが読み出される。続いて、その読み出したサブテーブル６２のアドレスから、対応するサブテーブル６２が読み出され、その選択されたサブテーブル６２を用いて、その時の照度ＬＸが属する照度範囲の色補正用テンプレート６３のアドレスが読み出される。そして、最後に読み出された色補正用テンプレート６３のアドレスに基づいて対応する色補正用テンプレート６３が読み出されるようになっている。
That is, when the moving road surface is a concrete road surface and the brake lamp L is lit, the address of the brake lamp sub-table 62 for the concrete road surface is read using the main table 61. Subsequently, the corresponding
１８０種類の色補正用テンプレート６３は、その時々の外光条件（前記各ランプの点灯）に基づいて選択され、変換データＧ２をランプ点灯による反射光を除去する色補正（輝度補正）するためのテンプレートであって、予め実験で求められたものである。
The 180 types of
ここで、色補正用テンプレート６３の生成方法について説明する。また説明の便宜上、車両周辺を予め設定した所定の照度であって、移動中の路面がコンクリート路面であってブレーキランプＬが点灯しているとき、色補正用テンプレート６３について図２１に従って説明する。
Here, a method of generating the
実験室内に敷設したコンクリート路面に車両Ｃを配置する。そして、ブレーキランプＬを点灯状態と消灯状態との２つの状態を、車両Ｃに設けたカメラ２６で画像を撮像し、図２１（ａ）に示すように、この２つの画像データＧＡ，ＧＢを取得する。この一対の画像データＧＡ，ＧＢを車両Ｃの周辺照度を実験室内の設置した照明灯にて変更（１０段階に変更）して１０種類生成する。
The vehicle C is placed on the concrete road surface laid in the laboratory. Then, the
そして、図２１（ａ）に示すように、一対の画像データＧＡ，ＧＢから、それぞれ抽出データＧＡ１，ＧＢ１を第１実施形態と同様の方法で生成する。図２１（ｂ）に示すように、生成した一対の抽出データＧＡ１，ＧＢ１をそれぞれ視点変換して変換データＧＡ２，ＧＢ２を生成する。次に、図２１（ｃ）に示すように、一対の変換データＧＡ２，ＧＢ２について、それら全画素について対応する画素同士の画素データ（Ｒ、Ｇ、Ｂ値）をそれぞれ減算する。詳述すると、点灯状態の変換データＧＡ２の画素データ（Ｒ、Ｇ、Ｂ値）から消灯状態の変換データＧＢ２の画素データ（Ｒ、Ｇ、Ｂ値）を減算し、その全画素の減算値（補正値）からなる色補正用データを色補正用テンプレート６３として生成する。
Then, as shown in FIG. 21A, extraction data GA1 and GB1 are generated from a pair of image data GA and GB, respectively, by the same method as in the first embodiment. As shown in FIG. 21 (b), the pair of generated extracted data GA1 and GB1 are subjected to viewpoint conversion to generate converted data GA2 and GB2, respectively. Next, as shown in FIG. 21 (c), the pixel data (R, G, B values) of the corresponding pixels are subtracted for each of the pair of conversion data GA2, GB2. More specifically, the pixel data (R, G, B value) of the conversion data GB2 in the unlit state is subtracted from the pixel data (R, G, B value) of the conversion data GA2 in the lighting state, and the subtraction value ( Correction data) is generated as a
つまり、点灯状態の変換データＧＡ２（Ｇ２）の全画素の画素データの各々を、色補正用テンプレート６３の対応する画素の補正値でそれぞれ減算することによって、点灯状態の変換データＧＡ２（Ｇ２）は、消灯状態の変換データＧＢ２（Ｇ２）に輝度補正される。
That is, by subtracting each pixel data of all the pixels of the lighting state conversion data GA2 (G2) by the correction value of the corresponding pixel of the
そして、上記と同様な方法で、コンクリート路面に対するウィンカー、車幅灯、リアフォグランプ、バックランプのための色補正用テンプレート６３を生成する。また、アスファルト路面に対するブレーキランプＬ、ウィンカー、車幅灯、リアフォグランプ、バックランプのための色補正用テンプレート６３も同様に生成する。さらに、レンガ路面に対するブレーキランプＬ、ウィンカー、車幅灯、リアフォグランプ、バックランプのための色補正用テンプレート６３も同様に生成する。
Then, the
図２２〜図２４は、日照補正テーブル６ｄのデータ構造を説明するための模式図である。日照補正テーブル６ｄは、メインテーブル７１、サブテーブル７２及び日照補正用テンプレート７３とから構成されている。
22 to 24 are schematic diagrams for explaining the data structure of the sunshine correction table 6d. The sunshine correction table 6d includes a main table 71, a sub table 72, and a
メインテーブル７１は、図２２に示すように、１年の各月（１２月）に対する、１日（０時から２４時間）を１時間毎に区分し、その区分した各時間毎のサブテーブル６２のアドレスとから構成されている。 As shown in FIG. 22, the main table 71 divides a day (24 hours from 0:00) for each month (December) of the year every hour, and the sub-table 62 for each divided hour. Address.
サブテーブル７２は、図２３に示すように、１年の各月（１２月）に一日を区分した数（２４個）を掛けた数（本実施形態では２８８個（＝１２×２４））だけ有し、それぞれ各照度ＬＸに対する日照補正用テンプレート７３のアドレスから構成されている。
As shown in FIG. 23, the sub-table 72 is obtained by multiplying each month (December) of the year by the number of divided days (24) (288 in this embodiment (= 12 × 24)). Each of which is composed of addresses of the
日照補正用テンプレート７３は、１つのサブテーブル７２に対して、１０種類のテンプレートが用意されている。つまり、前記と同様に、１つのサブテーブル７２において、車両周辺の照度の最小最大を０〜１００に正規化しその正規化した０〜１００を１０段階に区分し、その区分した範囲での周辺照度に対して１つの日照補正用テンプレート７３が用意され、各照度ＬＸに対するその日照補正用テンプレート７３のアドレスが割り当てられている。従って、全てのサブテーブル７２をカバーするために、本実施形態では、図２４に示すように、２８８０（＝２８８×１０）種類の日照補正用テンプレート７３が用意されている。
As the
つまり、例えば、今、９月１日の午後１７時３０分のとき、メインテーブル７１を用いて、９月の１７時〜１８時のサブテーブル７２のアドレスが読み出される。続いて、その読み出したサブテーブル７２のアドレスから、対応するサブテーブル７２が読み出され、その選択されたサブテーブル７２を用いて、その時の照度ＬＸが属する照度範囲の日照補正用テンプレート７３のアドレスが読み出される。そして、最後に読み出された日照補正用テンプレート７３のアドレスに基づいて対応する日照補正用テンプレート７３が読み出されるようになっている。
That is, for example, at 17:30 pm on September 1, the address of the sub-table 72 from 17:00 to 18:00 in September is read using the main table 71. Subsequently, the corresponding
２８８０種類の日照補正用テンプレート７３は、月毎にその時々の外光条件（日照の有無及び日照の向き等）に基づいて選択され、変換データＧ２から、日照の有無及び日照の向きによって映り込まれる陰影を除去する日照補正（輝度補正）するためのテンプレートであって、予め実験で求められたものである。
The 2880 types of
ここで、日照補正用テンプレート７３の生成方法について説明する。なお、説明の便宜上、９月の１５時〜１６時の間の、日照補正用テンプレート７３について図２１に従って説明する。
Here, a method for generating the
実験室内において、９月の１５時〜１６時の間の各種の外光条件を作る。このとき、車両Ｃの前方は南を向いているものとするとともに、９月の１５時〜１６時の太陽の位置を予め暦等で設定し太陽光の向き（車両Ｃにそそがれる光の向き）を設定する。この条件下で、晴天、薄曇り、曇天、雨、明るい室内駐車場、薄暗い室内駐車場等のさらに細かい各種条件を実験室内の照明を使って作る。なお、晴天、薄曇り、曇天、雨、明るい室内駐車場、薄暗い室内駐車場等は、それぞれ車両周辺の照度で判別することができ、各条件を作ったときその時の車両周辺の照度を前記照度センサ２５にて検出しておく。 In the laboratory, various outside light conditions are created between 15:00 and 16:00 in September. At this time, it is assumed that the front of the vehicle C is facing south, and the position of the sun from 15:00 to 16:00 in September is set in advance in a calendar or the like, and the direction of sunlight (the direction of the light that strikes the vehicle C) ) Is set. Under these conditions, various finer conditions such as clear sky, light cloudy, cloudy weather, rain, bright indoor parking lot, dim indoor parking lot, etc. are created using lighting in the laboratory. In addition, clear sky, light cloudy, cloudy weather, rain, bright indoor parking lot, dim indoor parking lot, etc. can be distinguished by the illuminance around the vehicle, respectively. It is detected at 25.
そして、各種条件のもとで、カメラ２６で画像を撮像し、図２５（ａ）に示すように、画像データＧＣを取得する。
そして、図２５（ａ）に示すように、画像データＧＣから、それぞれ抽出データＧＣ１を第１実施形態と同様の方法で生成する。図２５（ｂ）に示すように、生成した抽出データＧＣ１をそれぞれ視点変換して変換データＧＣ２を生成する。次に、その時の外光条件での、変換データＧＣ２について、陰影分布をそれら全画素の画素データ（Ｒ、Ｇ、Ｂ値）から求める。その外光条件での変換データＧＣ２の画像が陰影のない一様な画像となるための補正データを作成する。
Then, an image is picked up by the
Then, as shown in FIG. 25A, the extracted data GC1 is generated from the image data GC by the same method as in the first embodiment. As shown in FIG. 25B, the generated extracted data GC1 is subjected to viewpoint conversion to generate converted data GC2. Next, for the conversion data GC2 under the external light conditions at that time, a shadow distribution is obtained from the pixel data (R, G, B values) of all the pixels. Correction data is generated so that the image of the conversion data GC2 under the external light condition becomes a uniform image without shading.
本実施形態では、変換データＧＣ２の全画素の画素データ（Ｒ、Ｇ、Ｂ値）の平均値を求める。そして、図２５（Ｃ）に示すように、変換データＧＡ２の各画素データ（Ｒ、Ｇ、Ｂ値）を平均値で減算し、その全画素の減算値（補正値）からなる補正用データを日照補正用テンプレート７３として生成する。
In the present embodiment, an average value of pixel data (R, G, B values) of all the pixels of the conversion data GC2 is obtained. Then, as shown in FIG. 25C, each pixel data (R, G, B value) of the conversion data GA2 is subtracted by the average value, and correction data consisting of the subtraction values (correction values) of all the pixels is obtained. It is generated as a
つまり、ある日照条件の変換データＧＣ２（Ｇ２）の全画素の画素データの各々を、日照補正用テンプレート７３の対応する画素の補正値でそれぞれ減算することによって、ある日照条件の変換データＧＣ２（Ｇ２）は、日照条件によって生成されてしまうことがある陰影がない変換データＧＣ２（Ｇ２）に輝度補正される。
In other words, the conversion data GC2 (G2) of a certain sunshine condition is obtained by subtracting the pixel data of all the pixels of the conversion data GC2 (G2) of a certain sunshine condition by the correction value of the corresponding pixel of the
そして、上記と同様な方法で、各月の各時間帯ごとに、上記と同様な方法で日照補正用テンプレート７３を生成する。
次に、この色合い補正テーブル６ｃ及び日照補正テーブル６ｄを用いて、制御部４がＲＯＭ６に格納された駐車支援プログラムに従って行う処理動作を図２６に従って説明する。
Then, the
Next, processing operations performed by the
本実施形態では、前記第１実施形態の、図９で示すシステム起動処理におけるステップＳ２−１１〜ステップＳ２−１５、図１１で示す変換データ生成処理におけるステップＳ４−５〜ステップＳ４−９、及ぶ図１２で示す俯瞰画像処理におけるステップＳ２−１８−４〜ステップＳ２−１８−８での処理動作が相違する。従って、説明の便宜上、異なる部分について説明する。 In this embodiment, steps S2-11 to S2-15 in the system activation process shown in FIG. 9 of the first embodiment, steps S4-5 to S4-9 in the conversion data generation process shown in FIG. Processing operations in steps S2-18-4 to S2-18-8 in the overhead image processing shown in FIG. 12 are different. Therefore, different parts will be described for convenience of explanation.
図２６において、まず、ステップＳ２−１０（ステップＳ４−４又はステップＳ２−１８−３）において変換データＧ２が格納または生成されると、制御部４は、内蔵したタイマから、現在の月・日及び時・分を割出す（ステップＳ５−１）。続いて、制御部４は、照度センサ２５からの照度検出信号ＬＸＳに基づいてその時の車両周辺の照度を算出する（ステップＳ５−２）。
In FIG. 26, first, when the conversion data G2 is stored or generated in step S2-10 (step S4-4 or step S2-18-3), the
次に、制御部４は、ランプ駆動装置２４からの検出信号にＬＰＳに基づいて各種ランプの有無を割り出す（ステップＳ５−３）。さらに、制御部４は、路面検出センサ２７からの路面検出信号ＲＳに基づいて路面の種類を割り出す（ステップＳ５−４）。
Next, the
次に、制御部４は、色合い補正テーブル６ｃから色補正用テンプレート６３を読み出す（ステップＳ５−５）。制御部４による色補正用テンプレート６３の読み出しは、まずメインテーブル６１から割り出した路面に対する点灯しているランプのサブテーブル６２を選択する。サブテーブル６２が選択されると、制御部４は、そのサブテーブル６２に基づいて算出した照度に対する色補正用テンプレート６３のアドレスを求め、そのアドレスから所定の色補正用テンプレート６３を特定し読み出す。尚、ブレーキランプＬとウィンカーが点灯している場合に、その２つのランプに対するサブテーブル６２がそれぞれ選択され、それらサブテーブル６２からそれぞれ１つの色補正用テンプレート６３が特定され読み出される。尚、各種ランプが全て点灯しない時には、制御部４は、メインテーブル６１からサブテーブル６２を選択しないので、１つも色補正用テンプレート６３が読み出されず、次のステップに移る。
Next, the
色補正用テンプレートが読み出されると、制御部４は、日照補正テーブル６ｄから日照補正用テンプレート７３を読み出す（ステップＳ５−６）。制御部４による日照補正用テンプレート７３の読み出しは、まずメインテーブル７１から割り出した月に対するその時に割り出した時・分（時間帯）のサブテーブル７２を選択する。サブテーブル７２が選択されると、制御部４は、そのサブテーブル７２に基づいて算出した照度に対する日照補正
用テンプレート７３のアドレスを求め、そのアドレスから所定の日照補正用テンプレート７３を特定し読み出す。
When the color correction template is read, the
色補正用テンプレート６３と日照補正用テンプレート７３が読み出されると、制御部４は、まず、画像処理部１５を制御して、変換データＧ２に対して色補正用テンプレート６３を用いて輝度補正処理を行う（ステップＳ５−７）。従って、この時点で、変換データＧ２は、点灯したランプの反射光が除かれた変換データに補正される。ここで、ステップＳ５−５で１つも色補正用テンプレート６３が読み出されていなかった場合には、画像処理部１５は、次のステップに移る。
When the
続いて、制御部４は、画像処理部１５を制御して、色補正用テンプレート６３で輝度補正処理された変換データＧ２に対して日照補正用テンプレート７３を用いて輝度補正処理を行う（ステップＳ５−８）。従って、この時点で、色補正用テンプレート６３を用いて輝度補正された変換データＧ２は、日照条件によって生成される陰影が除かれた変換データに補正される。つまり、ランプの反射光及び日照条件によって生成される陰影が除かれた変換データＧ２が生成される。
Subsequently, the
次に、画像処理部１５は、色補正用テンプレート６３及び日照補正用テンプレート７３を用いて輝度補正された変換データＧ２を、その時の撮像位置データ１７と方位データ１８を添付して画像メモリ１４に格納する（ステップＳ５−９）。
Next, the
ステップＳ５−９の処理が完了すると、システム起動処理のおいては、ステップＳ２−１に、変換データ生成処理ではステップ４−１０に、俯瞰画像表示処理ではステップＳ２−１８−９にそれぞれ移るようになっている。 When the process of step S5-9 is completed, the system startup process proceeds to step S2-1, the conversion data generation process to step 4-10, and the overhead image display process to step S2-18-9. It has become.
そして、ランプの反射光及び日照条件によって生成される陰影が除かれた変換データＧ２を用いて生成された俯瞰画像データＧ４による俯瞰画像４６は、反射光や陰影が無い高品質な俯瞰画像が生成される。
Then, the
上記実施形態によれば、以下のような効果を得ることができる。
（１）上記実施形態では、その時々の日照条件によって映り込まれる陰影を除くことができ、日照条件に関係なく陰影の無い高品質な俯瞰画像を生成することができる。しかも、あわせて、ランプの点灯によって映り込まれる反射光を除くように補正処理したので、ランプの反射光の無いより高品質な俯瞰画像を生成することができる。
According to the above embodiment, the following effects can be obtained.
(1) In the above embodiment, it is possible to remove shadows reflected by the sunshine conditions at that time, and it is possible to generate a high-quality overhead image without shadows regardless of the sunshine conditions. In addition, since correction processing is performed so as to exclude the reflected light reflected when the lamp is turned on, it is possible to generate a higher-quality overhead image without the reflected light of the lamp.
（２）上記実施形態では、予め用意した色補正用テンプレート６３を用いて変換データＧ２を輝度補正をしたので、ランプの反射光を除く画像処理が容易で短時間で済み、画像処理動作の負荷を軽減することができる。
(2) In the above embodiment, since the brightness correction is performed on the conversion data G2 using the
（３）上記実施形態では、予め用意した色補正用テンプレート６３は、ブレーキランプＬ、ウィンカー、車幅灯、プレート照明、リアフォアランプ、バックランプに対するテンプレートをそれぞれ用意した。従って、異なるランプが発した光が路面に反射しその反射光の映り込まれている位置や色合い及びその強さがそれぞれ相違しても、色補正用テンプレート６３にて確実に補正することができる。
(3) In the above-described embodiment, the template for
しかも、各色補正用テンプレート６３は、コンクリート、アスファルト、レンガに対するテンプレートをそれぞれ用意した。従って、同じランプが発する光であっても、路面によってその反射光の強さがそれぞれ相違しても、色補正用テンプレート６３にて確実に補正することができる。
Moreover, as the
さらに、各色補正用テンプレート６３は、車両周辺の照度に応じてそれぞれ用意した。従って、同じランプが発する光であっても、回りの明るさ（車両周辺の照度）によってそのランプの反射光の映り込まれる強さがそれぞれ相違しても、色補正用テンプレート６３にて確実に補正することができる。
Further, each
（４）上記実施形態では、日照補正用テンプレート７３を用いて変換データＧ２を輝度補正をしたので、日照条件によって生成される陰影を除く画像処理が容易で短時間で済み、画像処理動作の負荷を軽減することができる。
(4) In the above embodiment, the brightness correction is performed on the conversion data G2 using the
（５）上記実施形態では、予め用意した日照補正用テンプレート７３は、１月〜１２月までの各月に対するテンプレートを用意した。従って、その月々で、日の出・日の入り、日の向き、日照時間が異なり、車両周辺の明るさや陰影の位置がそれぞれ相違しても、日照補正用テンプレート７３にて確実に補正することができる。
(5) In the above embodiment, the
しかも、各日照補正用テンプレート７３は、０時〜２４時までを１時間間隔で２４の時間帯に区分し、その２４の時間帯に対してそれぞれ用意した。従って、各月での各時間帯で車両周辺の明るさや陰影の位置がそれぞれ相違しても、日照補正用テンプレート７３にて確実に補正することができる。
Moreover, each
さらに、各日照補正用テンプレート７３は、車両周辺の照度に応じてそれぞれ用意した。従って、天候、場所によって各月の各時間帯での車両周辺の明るさや陰影の位置がそれぞれ相違しても、日照補正用テンプレート７３にて確実に補正することができる。
Furthermore, each
尚、本実施形態は以下のように変更してもよい。
・第１実施形態では、変換データＧ２中の各画素に対する輝度データの輝度補正値（Ｒ値の輝度補正値）を記憶した輝度補正テーブル６ｂを用いて変換データＧ２中の各画素に対に対して輝度補正を行った。これを、反射光が映った変換データＧ２に対して、変換データＧ２中の全ての画素の輝度データを一定の値の輝度補正値で補正してもよい。この場合、輝度補正値のデータ量を少なくすることができるとともに、輝度補正の演算処理が簡単になる。
In addition, you may change this embodiment as follows.
In the first embodiment, each pixel in the conversion data G2 is paired with each other in the conversion data G2 using the luminance correction table 6b that stores the luminance correction value (R value luminance correction value) of the luminance data for each pixel in the conversion data G2. Brightness correction. Alternatively, the luminance data of all the pixels in the conversion data G2 may be corrected with a fixed luminance correction value for the conversion data G2 in which reflected light is reflected. In this case, the data amount of the brightness correction value can be reduced, and the brightness correction calculation process is simplified.
また、反射光が映った変換データＧ２に対して、変換データＧ２中の反射光の影響が少ない画素の輝度データを読み出す。そして、その画素の輝度データのＲ値を読み出し、その読み出したＲ値に他の画素の輝度データのＲ値を置き換えて輝度補正するようにしてもよい。尚、反射光の影響が少ない画素は、例えば、変換データＧ２中の中央領域にある画素が考えられる。これは、ブレーキランプＬは、車両Ｃの左右両端に設けられているため、ブレーキランプＬの反射光の車両Ｃの内側方向への回り込みが極めて少なくなり反射光の映り込みがない、また、あったとしても極めて少ないところとなっている。 Further, the luminance data of the pixel that is less affected by the reflected light in the converted data G2 is read out with respect to the converted data G2 in which the reflected light is reflected. Then, the R value of the luminance data of the pixel may be read, and the luminance correction may be performed by replacing the read R value with the R value of the luminance data of other pixels. In addition, the pixel in the center area | region in the conversion data G2 can be considered as a pixel with little influence of reflected light, for example. This is because the brake lamps L are provided at both the left and right ends of the vehicle C, so that the reflected light of the brake lamp L hardly wraps around the inside of the vehicle C, and there is no reflection of the reflected light. Even if it is, it is very few places.
さらに、反射光が映った変換データＧ２に対して、変換データＧ２中の全ての画素の輝度データを読み出し、その全ての画素の中から、輝度データのＲ値の最も小さい値を探し出す。そして、全ての画素の輝度データのＲ値を、その最小値になるように輝度補正値してもよい。 Further, with respect to the conversion data G2 in which reflected light is reflected, the luminance data of all the pixels in the conversion data G2 are read, and the smallest value of the R value of the luminance data is searched from all the pixels. Then, the luminance correction value may be set so that the R value of the luminance data of all the pixels becomes the minimum value.
・第１実施形態では、輝度補正テーブル６ｂを用いて輝度補正を行った。これを、反射光が映った変換データＧ２に対して、最も近い位置であって反射光が映ってない撮像された画像データＧから生成された変換データＧ２を読み出す。そして、両変換データＧ２中の対応する各画素間であってその両画素の輝度データのＲ値を比較し、反射光が映った変換データＧ２の画素のＲ値を、反射光が映ってない変換データＧ２中の対応する画素のＲ値にそれぞれして輝度補正をするようにしてもよい。この場合にも、反射光が映った変換
データＧ２は、反射光が除かれ、高品質の俯瞰画像を表示することができる。
In the first embodiment, luminance correction is performed using the luminance correction table 6b. From this, the conversion data G2 generated from the captured image data G that is the closest position and does not reflect the reflected light with respect to the converted data G2 that reflects the reflected light is read out. Then, between the corresponding pixels in both conversion data G2, the R value of the luminance data of both pixels is compared, and the R value of the pixel of the conversion data G2 in which the reflected light is reflected is not reflected in the reflected light. Luminance correction may be performed for each R value of the corresponding pixel in the conversion data G2. Also in this case, the conversion data G2 in which the reflected light is reflected can be displayed with a high-quality overhead image by removing the reflected light.
・第１実施形態では、俯瞰画像データを生成する時に、画像メモリ１４から変換データＧ２を読み出し輝度補正をした。これを、俯瞰画像データを生成する時ではなく、視点変換処理した後に、その変換データＧ２について輝度補正し、その輝度補正した変換データＧ２を画像メモリ１４に蓄積するようにして実施してもよい。画像メモリ１４に格納された各変換データＧ２は、既に輝度補正されているため、各変換データＧ２を輝度補正することなく直ちに俯瞰画像データを生成することができる。
In the first embodiment, when the overhead image data is generated, the conversion data G2 is read from the
・第１実施形態では、画像メモリ１４に記憶した視点変換した変換データＧ２に対して輝度補正をした。これを、視点変換処理をする前の画像メモリ１４に記憶した抽出データＧ１に対して輝度補正し、その輝度補正した抽出データＧ１を視点変換処理して変換データＧ２を画像メモリ１４に記憶してもよい。この場合も、各変換データＧ２は、既に輝度補正されているため、各変換データＧ２を輝度補正することなく直ちに俯瞰画像データを生成することができる。
In the first embodiment, the luminance correction is performed on the conversion data G2 subjected to viewpoint conversion stored in the
・第１実施形態では、変換データＧ２を生成した後に、当該変換データＧ２に対する輝度補正有無データＫＤを生成したが、先に輝度補正有無データＫＤを作成した後に、抽出データＧ１及び変換データＧ２を生成してもよい。また、輝度補正有無データＫＤと変換データＧ２をそれぞれ別々に記憶し、これらをパルスカウント値Ｔで関連づけるようにした。これを、作成した抽出データＧ１又は変換データＧ２に輝度補正有無データＫＤを添付して関連づけて実施してもよい。 In the first embodiment, after the conversion data G2 is generated, the brightness correction presence / absence data KD for the conversion data G2 is generated. However, after the brightness correction presence / absence data KD is created first, the extracted data G1 and the conversion data G2 are It may be generated. Further, the brightness correction presence / absence data KD and the conversion data G2 are stored separately, and these are associated with each other by the pulse count value T. This may be performed by attaching the brightness correction presence / absence data KD to the created extracted data G1 or converted data G2 and associating them.
・第１実施形態では、輝度補正有無データＫＤの生成は、周辺の暗さも条件に入れたが、この暗さの条件を省略し、ブレーキランプＬの点灯の有無だけで輝度補正有無データＫＤを生成してもよい。 In the first embodiment, the generation of the brightness correction presence / absence data KD includes the surrounding darkness as a condition, but this darkness condition is omitted, and the brightness correction presence / absence data KD is determined only by whether the brake lamp L is lit or not. It may be generated.
・第１実施形態では、ブレーキランプＬの反射光に対する輝度補正であった。これを、ブレーキランプＬ以外のウィンカー、ハザードランプ等、その他の車両Ｃに設けられたランプの光に対する輝度補正を合わせて、又は、単独で行ってもよい。 -In 1st Embodiment, it was brightness correction with respect to the reflected light of the brake lamp L. FIG. This may be performed together with brightness correction for the light of lamps provided in other vehicles C such as blinkers other than the brake lamps L, hazard lamps, etc., or alone.
・第１実施形態では、ブレーキランプＬの反射光が映り込まれたかどうかの判断を、各種ランプ駆動装置２４の点滅検出信号ＬＰＳに基づいて行った。これを、ブレーキランプＬの反射光を直接検出する光センサを用いて実施してもよい。
In the first embodiment, whether the reflected light of the brake lamp L is reflected is determined based on the blink detection signal LPS of the various
・第１実施形態では、画像処理部１５は、画像データＧを抽出して抽出データＧ１を生成し、その抽出データＧ１を視点変換するようにした。これを、画像データを視点変換したデータのうち、一部分を抽出するようにしてもよい。
In the first embodiment, the
・第１実施形態では、仮想視点１０４を、抽出領域４０に相当する路面上の領域１０３，１０５を鉛直方向上方であって、カメラ２６高さと同じ位置に設定するようにしたが、車両Ｃのルーフよりも高い位置等、その他の位置に適宜設定して実施してもよい。
In the first embodiment, the
・第２実施形態では、視点変換して変換データＧ２を生成した時点で、色補正用テンプレート６３及び日照補正用テンプレート７３を選択し読み出して補正処理したが、回転変換する前に、まとめて各変換データＧ２を補正処理するようにしてもよい。
In the second embodiment, when the viewpoint conversion is performed and the conversion data G2 is generated, the
・第２実施形態では、変換データＧ２に対して色補正用テンプレート６３及び日照補正用テンプレート７３を用いて補正処理した。これを抽出データＧ１の段階で補正処理するようにしてもよい。この場合、抽出データＧ１に対する色補正用テンプレート及び日照補
正用テンプレートを予め用意する必要がある。
In the second embodiment, the conversion data G2 is corrected using the
また、画像データＧの段階で補正処理するようにしてもよい。この場合、画像データＧに対する色補正用テンプレート及び日照補正用テンプレートを予め用意する必要がある。
さらに、例えば、画像データＧ、抽出データＧ１又は変換データＧ２のいずれかの段階で、例えば色補正用テンプレートを使って補正し、残る２つの段階の一つで日照補正用テンプレートを用いて補正してもよい。
Further, correction processing may be performed at the stage of the image data G. In this case, it is necessary to prepare in advance a color correction template and a sunshine correction template for the image data G.
Further, for example, correction is performed using, for example, a color correction template at any stage of the image data G, the extracted data G1, or the conversion data G2, and correction is performed using a sunshine correction template at one of the remaining two stages. May be.
上記第２実施形態では、色補正用テンプレート６３及び日照補正用テンプレート６４を使って２種類の補正処理を行った。これを、いずれか一方だけの補正処理で実施してもよい。
In the second embodiment, two types of correction processing are performed using the
・第１及び第２実施形態では、変換データＧ２に対し、後で回転変換するために方位データ１８を添付するようにしたが、舵角データ１９を添付するようにしてもよい。この場合、ナビゲーション装置１が、駐車を完了又は一時休止したと判断したときの舵角と、各変換データＧ２に添付された舵角データ１９との相対角度に基づき、それらの変換データＧ２を回転変換する。
In the first and second embodiments, the azimuth data 18 is attached to the conversion data G2 for rotational conversion later, but the steering angle data 19 may be attached. In this case, the
・第１及び第２実施形態では、駐車支援装置を、ナビゲーション装置１に具体化したが、その他の車載装置に具体化してもよい。この場合、ＧＰＳ受信部９や、地図データ記憶部等が省略される。
-In 1st and 2nd embodiment, although the parking assistance apparatus was actualized in the
・第１及び第２実施形態では、抽出データＧ１を視点変換して、変換データＧ２を生成する際に、仮想視点１０４を、路面１０２上の領域１０３のうち中央部の鉛直方向上方に設定したが、仮想視点の位置、方向はこの位置に限定されない。例えば、俯瞰画像を表示する際の車両Ｃに設置されたカメラ２６の設置位置、車両Ｃの中心の鉛直方向上方等にしてもよい。
In the first and second embodiments, when the extracted data G1 is subjected to viewpoint conversion and the converted data G2 is generated, the
１…駐車支援装置としてのナビゲーション装置、３…表示手段としてのディスプレイ、３ｚ…表示領域、４…制御部、６ｂ…輝度補正テーブル、６ｃ…色合い補正テーブル、６ｄ…日照補正テーブル、９…ＧＰＳ受信部、１２…車両情報入力手段としての車両側Ｉ／Ｆ部、１３…画像データ取得手段としての画像データ入力部、１４…画像データ記憶手段としての画像メモリ、１５…画像処理部、１７…位置データとしての撮像位置データ、１８…方位データ、１９…舵角データ、２３…各種ランプ駆動装置、２５…照度センサ、２６…撮像手段としてのカメラ、３０…指標としての車両輪郭線、４０…所定領域としての抽出領域、４６…俯瞰画像、６３…色補正用テンプレート、７３…日照補正テンプレート、Ｃ…車両、Ｇ，ＧＡ，ＧＢ，ＧＣ…画像データ、Ｇ１，ＧＡ１，ＧＢ１，ＧＣ１…抽出データ、Ｇ２，ＧＡ２，ＧＢ２，ＧＣ２…変換データ、Ｇ４…俯瞰画像データ、ＧＰ…現在画像データ、ＫＤ…輝度補正有無データ、Ｌ…ブレーキランプ。
DESCRIPTION OF
Claims (9)
前記車両の周辺の照度を検出して、その照度が予め定められた基準照度よりも暗いか否かを判定する照度判定工程と、
前記車両の周辺を照明する車両に設けた光源が点灯しているか否かを判定する点灯判定工程と、
前記照度判定工程及び前記点灯判定工程における判定結果が共に肯定であるときに撮像された前記画像データを輝度補正する輝度補正工程と、
前記輝度補正工程で輝度補正された画像データを用いて前記周辺画像データを生成する周辺画像データ生成工程と
を有することを特徴とする駐車支援方法。 The image of the traveling direction is periodically imaged with the traveling of the vehicle using an imaging means provided in the vehicle, each of the image data at that time is accumulated, and the plurality of accumulated image data is used to store the vehicle. In the parking support method in which the peripheral image based on the generated peripheral image data is displayed on the display means after generating the peripheral image data of the current position.
An illuminance determination step of detecting illuminance around the vehicle and determining whether the illuminance is darker than a predetermined reference illuminance;
A lighting determination step of determining whether or not a light source provided in a vehicle that illuminates the periphery of the vehicle is lit;
A luminance correction step of correcting the luminance of the image data captured when the determination results in the illuminance determination step and the lighting determination step are both affirmative;
A peripheral image data generation step for generating the peripheral image data using the image data subjected to the luminance correction in the luminance correction step;
The parking assistance method characterized by having .
前記車両の周辺の照度を検出して、その照度が予め定められた基準照度よりも暗いか否かを判定する照度判定工程と、
前記車両の周辺を照明する車両に設けた光源が点灯しているか否かを判定する点灯判定工程と、
前記照度判定工程及び前記点灯判定工程における判定結果が共に肯定であるときに撮像された前記画像データに対する前記変換データを輝度補正する輝度補正工程と、
前記輝度補正工程で輝度補正された変換データを用いて俯瞰画像データを生成する俯瞰画像データ生成工程と
を有することを特徴とする駐車支援方法。 The imaging means provided in the vehicle is used to periodically take images in the traveling direction as the vehicle travels, and each time of the image data is subjected to image processing to generate and accumulate conversion data, and the accumulation After generating overhead image data of an overhead image that overlooks the periphery of the current position of the vehicle using the plurality of converted data, an overhead image based on the overhead image data and an index indicating the current position of the vehicle are displayed In the parking support method that is displayed on the means,
An illuminance determination step of detecting illuminance around the vehicle and determining whether the illuminance is darker than a predetermined reference illuminance;
A lighting determination step of determining whether or not a light source provided in a vehicle that illuminates the periphery of the vehicle is lit;
A luminance correction step for correcting the luminance of the conversion data for the image data captured when the determination results in the illuminance determination step and the lighting determination step are both affirmative;
An overhead image data generation step of generating overhead image data using the conversion data subjected to the luminance correction in the luminance correction step;
The parking assistance method characterized by having .
前記光源が点灯した場合と点灯しない場合とにおける前記変換データの各画素データの輝度差を求め、該輝度差に基づいて前記輝度補正を行うべき補正領域と、当該補正領域の前記画素データにおける前記ＲＧＢ輝度データを下げる値とを求める輝度補正データ算出工程を有し、
前記輝度補正工程では、前記輝度補正データ決定工程において求められた前記補正領域及び前記ＲＧＢ輝度データを下げる値に基づいて、変換データを構成する各画素データのＲＧＢ輝度データの値を下げる補正をすることを特徴とする駐車支援方法。 In the parking assistance method according to claim 2 ,
A luminance difference between the pixel data of the conversion data when the light source is turned on and when the light source is not turned on is obtained, a correction area to be subjected to the luminance correction based on the luminance difference, and the pixel data in the pixel data of the correction area A luminance correction data calculation step for obtaining a value for lowering the RGB luminance data;
In the luminance correction step, correction is performed to lower the RGB luminance data value of each pixel data constituting the conversion data , based on the correction area obtained in the luminance correction data determination step and the value to lower the RGB luminance data. A parking assistance method characterized by that.
画像データ取得手段が取得した各画像データの各々を用いて、現在の車両の周辺画像の周辺画像データを生成する周辺画像データ生成手段と、
前記周辺画像データに基づく周辺画像を表示手段に表示する表示出力手段と
を備えた駐車支援装置において、
前記車両の周辺の照度を検出する照度センサと、
前記照度センサによって検出された照度が予め定められた基準照度よりも暗いか否かを判定する照度判定手段と、
前記車両の周辺を照明する車両に設けた光源が点灯しているか否かを判定する点灯判定手段と、
前記照度判定手段及び前記点灯判定手段による判定結果が共に肯定であるときに撮像された前記画像データを輝度補正する画像データ補正手段と
を設けたことを特徴とする駐車支援装置。 Image data acquisition means for acquiring image data of images periodically taken by an imaging means provided in the vehicle;
Using each of the image data acquired by the image data acquisition means, peripheral image data generation means for generating peripheral image data of the peripheral image of the current vehicle,
In a parking assistance device comprising display output means for displaying a peripheral image based on the peripheral image data on a display means,
An illuminance sensor for detecting the illuminance around the vehicle;
Illuminance determination means for determining whether the illuminance detected by the illuminance sensor is darker than a predetermined reference illuminance;
Lighting determination means for determining whether or not a light source provided in a vehicle that illuminates the periphery of the vehicle is lit;
A parking assistance device , comprising: image data correction means for correcting the brightness of the image data captured when the determination results by the illuminance determination means and the lighting determination means are both positive .
画像データ取得手段が取得した各画像データの各々について、予め定めた領域を抽出し画像処理した変換データを生成する第１画像処理手段と、
前記第１画像処理手段が生成した各変換データを用いて、現在の車両の周辺を俯瞰した俯瞰画像データを生成する第２画像処理手段と、
前記俯瞰画像データに基づく俯瞰画像と、前記車両の現在位置を示す指標とを表示手段に表示する表示出力手段と
を備えた駐車支援装置において、
前記車両の周辺の照度を検出する照度センサと、
前記照度センサによって検出された照度が予め定められた基準照度よりも暗いか否かを判定する照度判定手段と、
前記車両の周辺を照明する車両に設けた光源が点灯しているか否かを判定する点灯判定手段と、
前記照度判定手段及び前記点灯判定手段による判定結果が共に肯定であるときに撮像された前記画像データに対する前記変換データを輝度補正する第３画像処理手段と
を設けたことを特徴とする駐車支援装置。 Image data acquisition means for acquiring image data of images periodically taken by an imaging means provided in the vehicle;
A first image processing unit for generating conversion data obtained by extracting a predetermined region and performing image processing on each of the image data acquired by the image data acquiring unit;
Second image processing means for generating overhead image data overlooking the periphery of the current vehicle, using each conversion data generated by the first image processing means;
In a parking assistance device comprising: a bird's-eye view image based on the bird's-eye view image data; and a display output means for displaying an indicator indicating the current position of the vehicle on a display means.
An illuminance sensor for detecting the illuminance around the vehicle;
Illuminance determination means for determining whether the illuminance detected by the illuminance sensor is darker than a predetermined reference illuminance;
Lighting determination means for determining whether or not a light source provided in a vehicle that illuminates the periphery of the vehicle is lit;
And a third image processing means for correcting the brightness of the converted data for the image data picked up when both the determination results by the illuminance determination means and the lighting determination means are affirmative. .
前記第１画像処理手段は、前記各画像データの各々について、予め定めた抽出領域のデータを抽出し、その抽出した各抽出データをそれぞれ視点変換処理して変換データを生成するものであることを特徴とする駐車支援装置。 In the parking assistance device according to claim 5 ,
The first image processing means extracts data of a predetermined extraction area for each of the image data, and generates converted data by performing viewpoint conversion processing on the extracted data. A parking assist device.
前記第３画像処理手段の各変換データの輝度補正は、前記画像データ、前記抽出データ、又は、前記変換データに対して輝度補正することによって行われることを特徴とする駐車支援装置。 In the parking assistance device according to claim 6 ,
The parking assistance device according to claim 1, wherein the brightness correction of each conversion data of the third image processing means is performed by correcting the brightness of the image data, the extracted data, or the conversion data.
前記第３画像処理手段は、前記変換データについての輝度補正として、予め記憶手段に記憶された輝度補正テーブルに基づいて、前記変換データを構成する各画素データのＲＧＢ輝度データの値を下げる補正をし、
前記輝度補正テーブルには、前記変換データにおいて前記輝度補正を行うべき補正領域と、当該補正領域の画素データにおける前記ＲＧＢ輝度データを下げる値とが予め示されていることを特徴とする駐車支援装置。 In the parking assistance device according to any one of claims 5 to 7 ,
The third image processing means performs a correction for lowering the RGB brightness data value of each pixel data constituting the conversion data based on a brightness correction table stored in advance in the storage means as the brightness correction for the conversion data. And
The parking assistance device, wherein the brightness correction table preliminarily indicates a correction area to be subjected to the brightness correction in the conversion data, and a value for decreasing the RGB brightness data in the pixel data of the correction area. .
前記変換データを格納する画像メモリが設けられ、
前記第３画像処理手段は、前記照度判定手段及び前記点灯判定手段による判定結果が共に肯定であるときに撮像された前記画像データに対する前記変換データに、前記輝度補正を行う旨のデータを関連付けて前記画像メモリに格納し、その後、前記画像メモリに格納された前記変換データのうち、前記第２画像処理における俯瞰画像データの生成に用いられる変換データであって前記輝度補正を行う旨のデータが関連付けられた変換データについて前記輝度補正を行い、
前記第２画像処理手段は、輝度補正を行った前記変換データを用いて前記俯瞰画像データを生成することを特徴とする駐車支援装置。 In the parking assistance device according to any one of claims 5 to 8,
An image memory for storing the converted data is provided,
The third image processing unit associates data indicating that the luminance correction is performed with the conversion data for the image data captured when the determination results by the illuminance determination unit and the lighting determination unit are both positive. Among the converted data stored in the image memory and thereafter stored in the image memory, there is converted data used for generating overhead image data in the second image processing and data indicating that the luminance correction is performed. The brightness correction is performed on the associated conversion data,
The parking support apparatus, wherein the second image processing means generates the overhead image data using the converted data subjected to luminance correction .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006061597A JP4788406B2 (en) | 2006-03-07 | 2006-03-07 | Parking support method and parking support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006061597A JP4788406B2 (en) | 2006-03-07 | 2006-03-07 | Parking support method and parking support device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007243463A JP2007243463A (en) | 2007-09-20 |
| JP4788406B2 true JP4788406B2 (en) | 2011-10-05 |
Family
ID=38588572
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006061597A Expired - Fee Related JP4788406B2 (en) | 2006-03-07 | 2006-03-07 | Parking support method and parking support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4788406B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5437855B2 (en) * | 2010-03-02 | 2014-03-12 | パナソニック株式会社 | Obstacle detection device, obstacle detection system including the same, and obstacle detection method |
| JP5944170B2 (en) * | 2011-05-11 | 2016-07-05 | アイキューブド研究所株式会社 | Image processing apparatus, image processing method, and program |
| KR101888970B1 (en) * | 2011-12-02 | 2018-08-16 | 엘지이노텍 주식회사 | A camera module for automatically adjusting brightness |
| WO2014083825A1 (en) * | 2012-11-27 | 2014-06-05 | 日産自動車株式会社 | Driving assistance device and driving assistance method |
| JP6227874B2 (en) * | 2013-01-29 | 2017-11-08 | 京セラ株式会社 | Image processing apparatus and driving support method |
| JP2015171106A (en) * | 2014-03-10 | 2015-09-28 | 株式会社デンソー | Vehicle peripheral image display device and vehicle peripheral image display method |
| JP6477444B2 (en) * | 2015-11-25 | 2019-03-06 | 株式会社デンソー | Display control apparatus and display control program |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2914066B2 (en) * | 1993-01-12 | 1999-06-28 | 日産自動車株式会社 | Automatic dimming head-up display for vehicles |
| JPH08339498A (en) * | 1995-06-09 | 1996-12-24 | Yazaki Corp | Vehicle periphery monitor device |
| JPH09321972A (en) * | 1996-05-28 | 1997-12-12 | Canon Inc | Image synthesis device and method |
| JP3847547B2 (en) * | 2000-10-17 | 2006-11-22 | 三菱電機株式会社 | Vehicle periphery monitoring support device |
| JP3297040B1 (en) * | 2001-04-24 | 2002-07-02 | 松下電器産業株式会社 | Image composing and displaying method of vehicle-mounted camera and apparatus therefor |
| JP3591535B2 (en) * | 2003-03-24 | 2004-11-24 | 日本精機株式会社 | Display device for vehicles |
| JP2005001570A (en) * | 2003-06-12 | 2005-01-06 | Equos Research Co Ltd | Parking support device |
| JP2005014788A (en) * | 2003-06-26 | 2005-01-20 | Calsonic Kansei Corp | Head-up display |
-
2006
- 2006-03-07 JP JP2006061597A patent/JP4788406B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007243463A (en) | 2007-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4802769B2 (en) | Parking support method and parking support device | |
| JP4788406B2 (en) | Parking support method and parking support device | |
| JP4765524B2 (en) | Vehicle display device | |
| JP6032248B2 (en) | Vehicle lighting device | |
| CN101081608B (en) | Driving assist method and driving assist apparatus | |
| JP2005184225A (en) | Vehicular display | |
| US20120320213A1 (en) | Image display device | |
| JP2020121717A (en) | Indirect view system for vehicle | |
| EP2476588A1 (en) | Vehicle surrounding monitor apparatus | |
| CN110869940B (en) | Method for controlling a pixel headlight of a motor vehicle located on a roadway | |
| JP2012138828A (en) | Image providing device | |
| WO2018167844A1 (en) | Head-up display device and image display method thereof | |
| JP4534871B2 (en) | Vehicle lighting device | |
| JP2010188826A (en) | Display device for vehicle | |
| JP2008306546A (en) | Vehicle-periphery monitoring system | |
| JP2001150977A (en) | Display for vehicle | |
| US20060186347A1 (en) | Vehicle night vision system | |
| JP4735090B2 (en) | Infrared imaging device | |
| WO2013157250A1 (en) | Image processing device and driving assisting method | |
| JP2011008459A (en) | In-vehicle camera device | |
| JP2016084020A (en) | Onboard display control unit and onboard display system | |
| JP2007085864A (en) | On-vehicle display device | |
| JP2005050139A (en) | Display controller for vehicle | |
| JP7162427B2 (en) | Vehicle rear image display device | |
| JP2014021543A (en) | Visual field support device and program for vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080225 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110621 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110704 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |