JP2010122821A - Vehicle driving support device - Google Patents
Vehicle driving support device Download PDFInfo
- Publication number
- JP2010122821A JP2010122821A JP2008294743A JP2008294743A JP2010122821A JP 2010122821 A JP2010122821 A JP 2010122821A JP 2008294743 A JP2008294743 A JP 2008294743A JP 2008294743 A JP2008294743 A JP 2008294743A JP 2010122821 A JP2010122821 A JP 2010122821A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mirror
- vehicle
- curve
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Steering Control In Accordance With Driving Conditions (AREA)
- Regulating Braking Force (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両運転者の運転を支援する車両運転支援装置に関する。 The present invention relates to a vehicle driving support device that supports driving of a vehicle driver.
一般に、道路の交差点やカーブなどには、例えば図7に示すように、カーブミラー(コーナーミラー)100が設置されている。自動車等の車両の運転者は、そのカーブミラー100に映る像を見て、歩行者,車両等の接近物体を視認すると、制動を掛けたりハンドル操作を行なったりして、交差点やカーブでの出合い頭の事故を未然に防止している。
In general, a curve mirror (corner mirror) 100 is installed at an intersection or a curve of a road, for example, as shown in FIG. When a driver of a vehicle such as an automobile looks at an image reflected on the
このようなカーブミラー100は、通常、凸面鏡であるため、広い視野角を有するが、ミラー中央部に映る像は小さく、運転者は、カーブミラー100にかなり接近しなければ、カーブミラー100内に映る接近物体を視認することが難しい。このため、運転者がカーブミラー100に映る接近車両や歩行者を見落とし、出合い頭の事故に至るケースが少なくない。しかしながら、走行中の運転者に対しカーブミラー100内に映った鏡像を見やすくするような技術は開発されていない。
Since such a
なお、例えば、下記特許文献1には、広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換技術が開示されている。しかし、この技術は、あくまで広角レンズ画像の歪みを取り除くものであって、車両走行中に運転者によって視認されるべきカーブミラー内画像(凸面鏡像)に適用されるものではない。
本発明は、このような状況に鑑み創案されたもので、走行中の運転者に対しカーブミラー内に映った鏡像を見やすくしたり、カーブミラー内における接近物体を自動的に認識して運転者に対する警報や車両制御を可能にしたりして、交差点やカーブでの出合い頭の事故を未然に且つ確実に防止できるようにすることを目的としている。 The present invention was devised in view of such a situation, and makes it easy for a traveling driver to see a mirror image reflected in a curved mirror, or automatically recognizes an approaching object in the curved mirror to the driver. The purpose of this is to make it possible to prevent and prevent accidents at the intersections and curves at the beginning of the vehicle.
上記目的を達成するために、本発明の車両運転支援装置(請求項1)は、車両前方を撮像する撮像手段と、前記撮像手段によって撮像された車両前方画像からカーブミラーを認識して特定する特定手段と、前記特定手段によって特定された前記カーブミラーにおけるミラー内画像を取得するミラー内画像取得手段と、前記ミラー内画像取得手段によって取得された前記ミラー内画像を正面から見た正視画像に変換する画像変換手段と、前記画像変換手段によって得られた前記正視画像に対しミラー周辺部の画像歪み補正を行なう画像歪み補正手段と、前記画像歪み補正手段によって得られた補正後正視画像を前記車両の運転者に対し表示する表示手段とをそなえて構成されていることを特徴とする。 In order to achieve the above object, a vehicle driving support device according to the present invention (Claim 1) recognizes and identifies a curve mirror from an image pickup means for picking up an image in front of the vehicle and a vehicle forward image picked up by the image pickup means. A specular image, an in-mirror image acquisition unit that acquires an in-mirror image of the curved mirror specified by the specification unit, and an orthographic image obtained by viewing the in-mirror image acquired by the in-mirror image acquisition unit from the front. An image converting means for converting, an image distortion correcting means for correcting image distortion at the periphery of a mirror for the orthographic image obtained by the image converting means, and a corrected orthoscopic image obtained by the image distortion correcting means. It is characterized by comprising display means for displaying to the driver of the vehicle.
また、本発明の車両運転支援装置(請求項2)は、上述した撮像手段,特定手段,ミラー内画像取得手段,画像変換手段および画像歪み補正手段をそなえるとともに、前記画像歪み補正手段によって得られた補正後正視画像から接近物体を認識する認識手段と、前記画像歪み補正手段によって得られた前記補正後正視画像と前記撮像手段によって撮像された前記車両前方画像とに基づき、前記車両と前記認識手段によって認識された前記接近物体との衝突可能性を危険度として算出する危険度算出手段と、前記危険度算出手段によって算出された前記危険度に応じ、前記車両の運転者に対する警報もしくは前記車両の制動もしくは前記車両の操舵による危険回避制御を行なう制御手段とをそなえて構成されていることを特徴とする。このような車両運転支援装置において、前記危険度算出手段は、前記車両前方画像から算出される前記カーブミラーの取付角度と前記補正後正視画像とに基づいて前記接近物体と前記カーブミラーとの距離を算出するとともに、前記車両前方画像に基づいて前記車両と前記カーブミラーとの距離を算出し、これらの距離に基づいて前記危険度を算出してもよい(請求項3)。 The vehicle driving support apparatus according to the present invention (Claim 2) includes the above-described imaging means, identification means, in-mirror image acquisition means, image conversion means, and image distortion correction means, and is obtained by the image distortion correction means. A recognition means for recognizing an approaching object from the corrected orthographic image, the post-correction orthographic image obtained by the image distortion correction means, and the vehicle forward image captured by the imaging means, and the recognition of the vehicle. A risk level calculating means for calculating a possibility of collision with the approaching object recognized by the means as a risk level, and an alarm for the driver of the vehicle or the vehicle according to the risk level calculated by the risk level calculation means And control means for performing risk avoidance control by braking the vehicle or steering the vehicle. In such a vehicle driving support apparatus, the risk degree calculation means is configured to determine a distance between the approaching object and the curve mirror based on the mounting angle of the curve mirror calculated from the vehicle front image and the corrected normal image. In addition, the distance between the vehicle and the curve mirror may be calculated based on the vehicle front image, and the degree of risk may be calculated based on these distances.
上述した本発明の車両運転支援装置によれば、車両前方画像からカーブミラーが特定されると、そのカーブミラーのミラー内画像が取得され、そのミラー内画像は、正視画像に変換されてからミラー周辺部の画像歪み補正を施され、補正後正視画像が運転者に対して表示される。これにより、運転者に対し、カーブミラーに映った鏡像が平面鏡のように見やすく表示されるため、運転者は、カーブミラーに映る接近物体との距離や、その接近速度を判断しやすくなり、交差点やカーブでの出合い頭の事故を未然に且つ確実に防止することができる。 According to the vehicle driving support device of the present invention described above, when a curve mirror is specified from the vehicle front image, the in-mirror image of the curve mirror is acquired, and the in-mirror image is converted into a normal image before the mirror. The peripheral image distortion correction is performed, and a post-correction orthographic image is displayed to the driver. As a result, the mirror image displayed on the curve mirror is displayed to the driver in an easy-to-see manner like a plane mirror, making it easier for the driver to determine the distance to the approaching object reflected on the curve mirror and its approach speed. It is possible to prevent an accident at the head of a car or a curve in advance.
また、本発明の車両運転支援装置によれば、車両前方画像からカーブミラーが特定されると、そのカーブミラーのミラー内画像が取得され、そのミラー内画像は、正視画像に変換されてからミラー周辺部の画像歪み補正を施される。そして、補正後正視画像から接近物体が認識されると、補正後正視画像と車両前方画像とに基づき、車両と接近物体との衝突可能性が危険度として算出され、その危険度に応じ、運転者に対する警報もしくは車両の制動もしくは車両の操舵による危険回避制御が行なわれる。このように画像認識処理を行なって接近物体の検知が容易に行なわれる。従って、カーブミラー内における接近物体を自動的に認識して運転者に対する警報や車両制御が可能になり、交差点やカーブでの出合い頭の事故を未然に且つより確実に防止することができる。 According to the vehicle driving support device of the present invention, when a curve mirror is specified from the vehicle front image, the in-mirror image of the curve mirror is acquired, and the in-mirror image is converted into a normal image before the mirror. Peripheral image distortion correction is performed. Then, when an approaching object is recognized from the corrected orthographic image, the possibility of collision between the vehicle and the approaching object is calculated as a risk based on the corrected orthographic image and the vehicle front image, and driving according to the risk A risk avoidance control is performed by an alarm to the person, braking of the vehicle, or steering of the vehicle. Thus, an image recognition process is performed and an approaching object is easily detected. Therefore, it is possible to automatically recognize an approaching object in the curve mirror and perform a warning and vehicle control for the driver, and it is possible to prevent an accident at the head of the vehicle at an intersection or a curve.
以下、図面を参照して本発明の実施の形態を説明する。
〔1〕本実施形態の構成
図1は本発明の一実施形態としての車両運転支援装置の機能構成を示すブロック図で、この図1に示す本実施形態の車両運転支援装置1は、自動車等の車両に装備され、車両運転者の運転を支援するものである。そして、本実施形態の車両運転支援装置1は、第1カメラ10a,第2カメラ10b,カメラコントローラ11,処理部20,データベース30,ディスプレイ40,LEDランプ51およびスピーカ52をそなえ、ディスプレイ40によるカーブミラー内画像表示や、ディスプレイ40,LEDランプ51およびスピーカ52を用いた運転者に対する警告や、ブレーキ61,操舵系62およびエンジン63による車両制御を行なうものである。
Embodiments of the present invention will be described below with reference to the drawings.
[1] Configuration of this Embodiment FIG. 1 is a block diagram showing a functional configuration of a vehicle driving support apparatus as an embodiment of the present invention. The vehicle
なお、データベース30には、(a1)後述するごとく車両前方画像からカーブミラーを認識して特定するために用いられるカーブミラーパターン(規格化されている複数種類のカーブミラーについての形状/サイズ)や、(a2)規格化されている複数種類のカーブミラーについての鏡面湾曲率に関する情報や、(a3)後述するごとく接近物体を認識するために用いられるテンプレートや、(a4)後述するごとく危険度を算出・判定するための基準情報や、(a5)後述するごとく危険度に応じた警報/制御態様(アクション)を定義するテーブル(図5参照)が、予め登録されている。
The
第1カメラ(撮像手段)10aは、車両走行中に、車両前方を広く撮像して車両前方画像(例えば図2参照)を取得するものである。この第1カメラ10aとしては、本車両運転支援装置専用のものを設けてもよいし、例えばドライブレコーダ用のカメラ等を兼用することも可能である。
第2カメラ10bは、後述するごとくカーブミラー100をズームして撮像するためのもので、第1カメラ10aに比べ視野は狭いが高解像度のものが用いられる。
The first camera (imaging means) 10a captures the front of the vehicle widely while the vehicle is running, and acquires a vehicle front image (see, for example, FIG. 2). As the first camera 10a, a dedicated one for the vehicle driving support apparatus may be provided, or for example, a camera for a drive recorder can also be used.
As will be described later, the
カメラコントローラ(ミラー内画像取得手段)11は、処理部20と第1カメラ10aおよび第2カメラ10bとの間に設けられ、これらの第1カメラ10aおよび第2カメラ10bの撮像動作を制御するものである。特に、カメラコントローラ11は、後述する特定手段21aやミラー内画像取得手段21bでの処理結果に応じて、第2カメラ10bを制御し、この第2カメラ10bに、カーブミラー100のズーム画像(例えば図3参照)を撮像させるものである。
The camera controller (in-mirror image acquisition means) 11 is provided between the
処理部(CPU)20は、画像認識処理部21,判断処理部22および出力制御系23としての機能を果たすものである。この処理部20としては、本車両運転支援装置専用のものを設けてもよいし、例えば車両制御用CPUあるいはカーナビゲーションシステム用CPUなどを兼用することも可能である。
画像認識処理部21は、特定手段21a,ミラー内画像取得手段21b,画像変換手段21cおよび画像歪み補正手段21dとしての機能を有している。
The processing unit (CPU) 20 functions as an image
The image
特定手段21aは、第1カメラ10aによって撮像された車両前方画像からカーブミラー100を認識して特定するものである。より具体的に、特定手段21aは、データベース30に登録されたカーブミラーパターン(a1)を用いたパターンマッチング処理により、例えば図2に示すような車両前方画像の中からカーブミラー100の存在する領域A1を探索する。カーブミラー100は、規格化されており形状もサイズも決まっているので、その形状やサイズの特徴からパターンマッチング処理によって容易に探索することができる。また、カーブミラー100は、通常、目線よりも少し上に設置されているので、車両前方画像のうちの、目線よりも少し上の領域を対象にしてパターンマッチング処理を行なうことにより、迅速かつ効率的にカーブミラー100を認識して特定することができる。なお、図2は本実施形態の第1カメラ10aで撮像された車両前方画像の一例を示す図である。
The specifying
ミラー内画像取得手段21bは、特定手段21aによって特定されたカーブミラー100におけるミラー内画像を取得するものである。より具体的に、ミラー内画像取得手段21bは、カメラコントローラ11を介し、車両前方画像の中でカーブミラー100の存在する領域A1(図2参照)を、第2カメラ10bによってズームして撮像させ、カーブミラー100内に映る画像(ミラー内画像;図3の領域A2内の画像)を取得する。なお、図3は本実施形態の第2カメラ10bで撮像されたカーブミラー100のズーム画像の一例を示す図である。
The in-mirror image acquisition unit 21b acquires an in-mirror image in the
ここで、通常、自車(本車両運転支援装置1を装備された車両)はカーブミラー100に接近しながら走行しているので、その走行状況に応じて、カメラコントローラ11が、第2カメラ10bによるズーム倍率を変えたり第2カメラ10bの向きを調整したりする。また、第1カメラ10aの解像度が十分に高い場合には、第2カメラ10bをそなえる必要はない。さらに、後述するように、第1カメラ10aがズーミング機能を有している場合にも、第2カメラ10bをそなえることなく、第1カメラ10aのズーミング機能を用いてカーブミラー100におけるミラー内画像を取得することが可能である。
Here, since the own vehicle (vehicle equipped with the vehicle driving support device 1) normally travels while approaching the
また、本実施形態において、上述したミラー内画像取得手段21bは、カーブミラー100の取付角度を算出する取付角度算出手段としての機能も果たすものとする。つまり、ミラー内画像取得手段21bは、図3に示すようなカーブミラー100のズーム画像に基づき、そのカーブミラー100の見た目の形状から、自車から見たカーブミラー100の角度を算出する。前述した通り、カーブミラー100は規格化されており、そのミラー100を正面から見た時の形状(以下、「正視形状」という)やサイズは、カーブミラーの種類毎にデータベース30に登録されている。従って、ミラー内画像取得手段21bは、ズーム画像中のカーブミラー100の形状と、データベース30に登録されている正視形状とに基づいて、カーブミラー100をどの角度から見たズーム画像であるか、つまり、カーブミラー100の取付角度を算出することが可能である。このとき、取付角度としては、例えば、俯角(上下方向の取付角度;水平軸まわりの角度)と、自車進行方向に対するミラー100の角度(左右方向の取付角度;鉛直軸まわりの角度)とが算出される。この取付角度は、後述する危険度算出手段22bにおいてミラー内距離を算出する際に用いられる。
In the present embodiment, the in-mirror image acquisition unit 21b described above also functions as an attachment angle calculation unit that calculates the attachment angle of the
画像変換手段21cは、ミラー内画像取得手段21bによって取得されたミラー内画像(図3の領域A2参照)を正面から見た正視画像に変換するものである。より具体的に、画像変換手段21cは、今回特定されたカーブミラー100の正視形状をデータベース30から取得し、ミラー内画像取得手段21bによって取得されたミラー内画像(図3の領域A2内の画像)を、取得された正視形状の領域に写像するように、例えばアフィン変換による座標変換を行なう。この画像変換手段21cにより、ミラー内画像取得手段21bによって取得されたミラー内画像(図3の領域A2参照)が、斜めから見た状態から、正面から見た状態(正視画像)に変換されることになる。
The image converting means 21c converts the in-mirror image (see area A2 in FIG. 3) acquired by the in-mirror image acquiring means 21b into a normal image viewed from the front. More specifically, the image conversion means 21c acquires the specular shape of the
画像歪み補正手段21dは、画像変換手段21cによって得られた正視画像に対しミラー周辺部の画像歪み補正を行なうものである。画像変換手段21cによって得られた正視画像は、カーブミラー100を正面から見た状態になっているが、その画像のミラー周辺部には、カーブミラー100が凸面鏡であることに起因する歪みが生じている。この画像歪補正手段21dは、このような歪を取り除く補正を、画像変換手段21cによって得られた正視画像に対して行なうものである。
The image
その補正手法としては、例えば、高辻誠也ほか「グレイコードパターンを利用したレンズ歪みの補正手法」 (URL: http://www.am.sanken.osaka-u.ac.jp/~echigo/miru2005.pdf#search='グレイコードパターンを利用したレンズ歪みの補正手法') や、関海克ほか「デジタルカメラにおける画像補正技術」 (Ricoh Technical Report No.31, pp.103-110, DECEMBER, 2005) などに開示された画像変換技術(画像補正技術)を用いることができる。また、上記補正に際しては、画像歪み補正手段21dは、データベース30に登録された、当該カーブミラー100に対応する種類のカーブミラーの鏡面湾曲率(a2)を読み出して用いることができる。
As the correction method, for example, Seiya Takatsuki et al. “Lens distortion correction method using gray code pattern” (URL: http://www.am.sanken.osaka-u.ac.jp/~echigo/miru2005. pdf # search = 'Lens distortion correction method using gray code pattern'), Katsumi Seki and others "Image correction technology in digital cameras" (Ricoh Technical Report No.31, pp.103-110, DECEMBER, 2005) The image conversion technique (image correction technique) disclosed in the above can be used. In the above correction, the image
この画像歪み補正手段21dにより、凸面鏡であることに起因するミラー周辺部の歪みが補正され、カーブミラー100に映った画像が、平面鏡に映したような見やすい画像(例えば図4参照)に座標変換されることになる。なお、図4は本実施形態においてディスプレイ40に表示される歪み補正後正視画像の一例を示す図であり、この図4に示すように、画像歪み補正手段21dによって得られた補正後正視画像は、後述する出力制御系23の表示制御部23aによってディスプレイ(表示手段)40に表示される。
The image distortion correction means 21d corrects the distortion of the peripheral part of the mirror due to the convex mirror, and the coordinate conversion of the image reflected on the
判断処理部22は、接近物体認識手段22a,危険度算出手段22bおよび制御手段22cとしての機能を有している。
接近物体認識手段(認識手段)22aは、画像歪み補正手段21dによって得られた補正後正視画像から、車両,バイク,歩行者などの接近物体101(図4参照)を認識するものである。この接近物体認識手段22aは、既存の種々の物体認識手法、例えば、テンプレートマッチング(データベース30に予め登録されたテンプレート(a3)を用いたマッチング処理),ニューロなどの形状認識手法や移動物体認識手法を用いて、カーブミラー100に映る補正後正視画像から接近物体101を認識する。ここで適用される認識手法としては、車両前方を撮像するカメラによって得られた画像から移動物体(車らしき形状)を認識する技術として一般的に知られているものを用いることができる。
The
The approaching object recognizing means (recognizing means) 22a recognizes the approaching object 101 (see FIG. 4) such as a vehicle, a motorcycle, or a pedestrian from the corrected front-view image obtained by the image distortion correction means 21d. The approaching
危険度算出手段22bは、画像歪み補正手段21dによって得られた補正後正視画像と第1カメラ10aによって撮像された車両前方画像とに基づき、自車と接近物体認識手段22aによって認識された接近物体101との衝突可能性を危険度として算出するものである。より具体的に、危険度算出手段22bは、車両前方画像から算出されるカーブミラー100の取付角度(ミラー内画像取得手段21bの機能によって算出された取付角度)と補正後正視画像とに基づいて接近物体101とカーブミラー100との距離d1を算出するとともに、車両前方画像に基づいて自車とカーブミラー100との距離d2を算出し、これらの距離d1,d2に基づいて危険度の算出(危険度レベルの判定)を行なう。
The risk level calculation means 22b is based on the corrected front-view image obtained by the image distortion correction means 21d and the vehicle front image taken by the first camera 10a, and the approaching object recognized by the own vehicle and the approaching object recognition means 22a. The possibility of collision with 101 is calculated as the degree of danger. More specifically, the risk
ここで、自車とカーブミラー100との距離d2は、第1カメラ10aの取付位置や指向方向が判明していれば、図2に示すように、第1カメラ10aによって撮像された車両前方画像のY軸座標から算出することが可能である。第1カメラ10aの取付位置や指向方向は、通常、既知の値として提供される。また、第1カメラ10aとしてステレオカメラを用いている場合には、視差(視野角)によって自車とカーブミラー100との距離d2を算出することも可能である。
Here, the distance d2 between the own vehicle and the
また、接近物体101とカーブミラー100との距離d1は、カーブミラー100の取付角度が判明していれば、図4に示すように、画像歪み補正手段21dによって得られた補正後正視画像のY軸座標から算出することが可能である。カーブミラー100の取付角度は、上述したように、ミラー内画像取得手段21bの取付角度算出機能によって算出される。そして、距離d1の時間微分値が、接近物体101の接近速度v1となる。
In addition, the distance d1 between the approaching
危険度算出手段22bは、上述のごとく算出された距離d1,d2,接近速度v1および自車の速度v2(例えば速度センサから得られる値)に基づき、衝突の危険性(可能性)について、例えば下記のような5段階の危険度レベル(b1)〜(b5)での判定を行なう。
危険度レベル(b1):危険性なし
危険度レベル(b2):危険移行過程(危険状態に移行しつつある状態)
危険度レベル(b3):危険状態(そのまま何もせずに走ると衝突に至る状態)
危険度レベル(b4):危険臨界(緊急に回避行動をしないと衝突に至る状態)
危険度レベル(b5):衝突不可避(物理的に衝突回避は不可能な状態)
Based on the distances d1 and d2, the approach speed v1 and the speed v2 of the host vehicle (for example, a value obtained from the speed sensor), the risk
Danger level (b1): No danger Danger level (b2): Danger transition process (state that is moving to a dangerous state)
Danger level (b3): Dangerous state (a state where a collision occurs if you run without doing anything)
Danger level (b4): Criticality (a condition that will lead to a collision if evasive action is not taken urgently)
Danger level (b5): Collision inevitable (physical collision avoidance is impossible)
ここで、距離d1,d2,接近速度v1および自車の速度v2と、上記5段階の危険度レベル(b1)〜(b5)との対応関係は、データベース30に基準情報(a4)として予め登録されている。実際には、自車と接近物体101との距離D(=d1+d2)、および、自車に対する接近物体101の接近速度V(=v1+v2)と、上記5段階の危険度レベル(b1)〜(b5)との対応関係が、基準情報(a4)として予め登録されている。
Here, the correspondence between the distances d1, d2, the approach speed v1 and the speed v2 of the host vehicle and the above five levels of risk levels (b1) to (b5) is registered in the
危険度算出手段22bは、自車と接近物体101との現在の距離Dおよび接近速度Vを、上記基準情報(a4)に照らし、現在の状況が危険度レベル(b1)〜(b5)のいずれに該当するかを算出・判定する。例えば、距離Dが所定値以上で且つ速度Vが十分に遅い場合(例えば距離Dが50m以上で速度Vが10km/h以下)には、危険度レベル(b1)「危険性なし」と判定する。また、距離Dが所定値未満で且つ速度Vが速い場合(例えば距離Dが50m未満で速度Vが60km/h以上;この場合5秒以内に衝突)には、危険度レベル(b5)「衝突不可避」と判定する。このように基準情報(a4)を距離Dおよび接近速度Vについて段階的に適宜設定しておくことにより、危険度算出手段22bは、距離Dおよび接近速度Vに基づく危険度レベルの算出・判定を行なうことが可能になっている。
The risk level calculation means 22b illuminates the current distance D and the approach speed V between the host vehicle and the approaching
制御手段22cは、危険度算出手段22bによって算出された危険度レベルに応じ、自車の運転者に対する警報や、自車の制動/操舵/エンジン制御による危険回避制御を行なうものである。上述した5段階の危険度レベル(b1)〜(b5)と各危険度レベルに応じた警報/制御態様(アクション)との対応関係は、データベース30に、図5に示すようなテーブル(a5)として予め登録されている。制御手段22cは、そのテーブル(a5)を参照し、危険度算出手段22bで得られた危険度レベルに応じた警報/制御態様(アクション)を認識し、認識した警報/制御態様(アクション)を、出力制御系23を介して実行させる。なお、図5は本実施形態における危険度に応じた警報/制御態様(アクション)を定義するテーブル(a5)の一例を示す図である。
The control means 22c performs a warning avoidance control by a warning to the driver of the own vehicle or braking / steering / engine control of the own vehicle according to the risk level calculated by the risk calculating means 22b. The correspondence relationship between the five levels of risk levels (b1) to (b5) and the alarm / control mode (action) corresponding to each risk level is stored in the
図5に示すテーブル(a5)の定義によれば、制御手段22cは、危険度レベル(b1)〜(b5)に応じて、例えば、以下のような制御動作(c1)〜(c5)を行なうようになっている。なお、図5に示すテーブル(a5)において、◎は必須アクションであることを示し、△は必要に応じて行なってもよいアクションであることを示している。 According to the definition of the table (a5) shown in FIG. 5, the control means 22c performs, for example, the following control operations (c1) to (c5) according to the risk levels (b1) to (b5). It is like that. In the table (a5) shown in FIG. 5, “◎” indicates an essential action, and “Δ” indicates an action that may be performed as necessary.
(c1) 危険度レベル(b1)「危険性なし」の場合、何ら制御動作を行なわない。
(c2) 危険度レベル(b2)「危険移行過程」の場合、危険状態に移行しつつある状態であることを運転者に通知する情報提供を行なう。具体的に、制御手段22cは、出力制御系系23の表示制御部23aを介し、ディスプレイ40によって危険状態に移行しつつある状態である旨を表示させる制御を行ない、運転者に対する情報提供を行なうとともに、出力制御系23の警報制御部23bを介しLEDランプ51の色/点滅/点灯制御を行なったりスピーカ52からビープ音や人工音声を出力させる制御を行なって、上記情報提供を行なう。
(c1) If the risk level is (b1) “No danger”, no control action is performed.
(c2) Risk level (b2) In the case of “dangerous transition process”, information is provided to notify the driver that the state is about to transition to a dangerous state. Specifically, the control means 22c controls the
(c3) 危険度レベル(b3)「危険状態」の場合、そのまま何もせずに走ると衝突に至る状態であることを運転者に認識させる注意喚起を行なう。具体的に、制御手段22cは、出力制御系系23の表示制御部23aを介し、ディスプレイ40によって上記注意喚起の表示を行なわせるとともに、出力制御系23の警報制御部23bを介しLEDランプ51の色/点滅/点灯制御を行なったりスピーカ52からビープ音や人工音声を出力させる制御を行なって、上記注意喚起を行なう。このときのLEDランプ51やスピーカ52による注意喚起動作は、上記情報提供時よりも緊急度(危険度)が高いことが運転者に対して明確になるように、例えばLEDランプ51の点滅間隔やスピーカ52によるビープ音鳴動間隔を上記情報提供時よりも短くする。また、必要に応じて、制御手段22cは、出力制御系23の制動制御部23c,操舵制御部23dおよびエンジン制御部23eを介し、ブレーキ61の制動制御や操舵系62の操舵制御やエンジン63の動作制御を行なって衝突回避制御(介入制御)を行なってもよい。
(c3) In case of danger level (b3) “Dangerous state”, alert the driver to recognize that it is a state that will cause a collision if you run without doing anything. Specifically, the control means 22c causes the
(c4) 危険度レベル(b4)「危険臨界」の場合に緊急に回避行動をしないと衝突に至る状態であることを運転者に認識させる警報を行なう。具体的に、制御手段22cは、出力制御系系23の表示制御部23aを介し、ディスプレイ40によって上記警報の表示を行なわせるとともに、出力制御系23の警報制御部23bを介しLEDランプ51の色/点滅/点灯制御を行なったりスピーカ52からビープ音や人工音声を出力させる制御を行なって、上記警報を行なう。このときのLEDランプ51やスピーカ52による警報動作は、上記注意喚起時よりも緊急度(危険度)が高いことが運転者に対して明確になるように、例えばLEDランプ51の点滅間隔やスピーカ52によるビープ音鳴動間隔を上記注意喚起時よりもさらに短くする。また、この時も、必要に応じて、制御手段22cは、出力制御系23の制動制御部23c,操舵制御部23dおよびエンジン制御部23eを介し、ブレーキ61の制動制御や操舵系62の操舵制御やエンジン63の動作制御を行なって衝突回避制御(介入制御)を行なってもよい。
(c4) When the risk level is (b4) “Danger criticality”, a warning is given to the driver to recognize that a collision will occur if no evasive action is taken urgently. Specifically, the control means 22c causes the
(c5) 危険度レベル(b5)「衝突不可避」の場合、物理的に衝突回避は不可能な状態であるため、警報のみならず強制的な衝突回避制御(介入制御)を行なう。具体的に、制御手段22cは、出力制御系系23の表示制御部23aを介し、ディスプレイ40によって衝突不可避状態であることを示す警報を出力させるとともに、出力制御系23の警報制御部23bを介しLEDランプ51の色/点滅/点灯制御を行なったりスピーカ52からビープ音や人工音声を出力させる制御を行なって、上記警報を行なう。この警報制御と同時に、制御手段22cは、出力制御系23の制動制御部23c,操舵制御部23dおよびエンジン制御部23eを介し、ブレーキ61の制動制御や操舵系62の操舵制御やエンジン63の動作制御を行なって衝突回避制御(介入制御)を強制的に行なう。
(c5) When the risk level is (b5) “collision inevitable”, collision avoidance is physically impossible, so forced collision avoidance control (intervention control) is performed as well as an alarm. Specifically, the control means 22c outputs an alarm indicating that the collision is inevitable by the
なお、出力制御系23は、表示制御部23a,警報制御部23b,制動制御部23c,操舵制御部23dおよびエンジン制御部23eとしての機能を有している。
表示制御部23aは、ディスプレイ(表示手段)40の表示状態を制御するもので、画像歪み補正手段21dによって得られた補正後正視画像を、運転者に対して提示すべく、ディスプレイ40に表示させる機能を有するほか、上記制御動作(c2)〜(c5)に伴う制御手段22cからの指示に応じた、ディスプレイ40の表示制御を行なう機能を有している。
The output control system 23 has functions as a
The
警報制御部23bは、LEDランプ51およびスピーカ52の動作を制御するもので、上記制御動作(c2)〜(c5)に伴う制御手段22cからの指示に応じた、LEDランプ51およびスピーカ52の動作制御を行なう機能を有している。
The
制動制御部23cは、ブレーキ61による制動を制御するもので、上記制御動作(c3)〜(c5)に伴う制御手段22cからの指示に応じた、ブレーキ61の制動制御(衝突回避のための介入制御)を行なう機能を有している。
The
操舵制御部23dは、操舵系62による操舵を制御するもので、上記制御動作(c3)〜(c5)に伴う制御手段22cからの指示に応じた、操舵系62による操舵制御(衝突回避のための介入制御)を行なう機能を有している。
The
エンジン制御部23eは、エンジン63の動作を制御するもので、上記制御動作(c3)〜(c5)に伴う制御手段22cからの指示に応じた、エンジン63の動作制御(衝突回避のための介入制御)を行なう機能を有している。
The
〔2〕本実施形態の動作
次に、図6に示すフローチャート(ステップS11〜S32)に従って、上述のごとく構成された本実施形態の車両運転支援装置1の動作について説明する。
自車の走行中、第1カメラ10aによって撮像された車両前方画像は、常時、カメラコントローラ11を介し処理部20(特定手段21a)に入力され、特定手段21aによって、その車両前方画像中におけるカーブミラーの有無が調べられる(ステップS11)。
[2] Operation of the present embodiment Next, the operation of the vehicle driving
While the host vehicle is traveling, the vehicle front image captured by the first camera 10a is always input to the processing unit 20 (
特定手段21aによって車両前方画像中にカーブミラー100の存在する領域A(図2参照)が特定されると(ステップS11のYESルート)、特定手段21aの特定結果に基づき、カメラコントローラ11によって第2カメラ10bがカーブミラー100の方向に向けられ(ステップS12)、さらに、カメラコントローラ11によって第2カメラ10bをカーブミラー100にズームし(ステップS13)、第2カメラによって、カーブミラー100のズーム画像(図3参照)を撮像・取得する(ステップS14)。
When the region A (see FIG. 2) where the
この後、ミラー内画像取得手段21bの取付角度算出手段としての機能により、カーブミラー100の取付角度が算出される(ステップS15)。その際、ステップS14で取得されたズーム画像中のカーブミラー100の形状と、データベース30に登録されている正視形状とに基づいて、カーブミラー100をどの角度から見たズーム画像であるか、つまり、カーブミラー100の取付角度として、俯角と、自車進行方向に対するミラー100の角度とが算出される。
Thereafter, the mounting angle of the
一方、ミラー内画像取得手段21bによって、ステップS14で取得されたズーム画像から、例えば図3の領域A2で示すミラー内画像が取得されると(ステップS16)、画像変換手段21cによって、ステップS16で取得されたミラー内画像(図3の領域A2参照)が、座標変換され、斜めから見た状態から、正面から見た状態(正視画像)に変換される(ステップS17)。 On the other hand, when the in-mirror image shown by area A2 in FIG. 3, for example, is acquired from the zoom image acquired in step S14 by the in-mirror image acquisition means 21b (step S16), the image conversion means 21c in step S16 The acquired in-mirror image (see region A2 in FIG. 3) is coordinate-converted and converted from a state viewed from an oblique direction to a state viewed from the front (an orthographic image) (step S17).
そして、画像歪み補正手段21dによって、ステップS17で得られた正視画像を平面鏡の画像に座標変換することにより、その正視画像に対しミラー周辺部の画像歪み補正が施され、ミラー内画像のミラー周辺部に生じている、カーブミラー100が凸面鏡であることに起因する歪みが除去される(ステップS18)。
Then, the image distortion correction means 21d performs coordinate conversion of the orthographic image obtained in step S17 into an image of a plane mirror, whereby the image distortion correction of the mirror peripheral portion is performed on the orthographic image, and the mirror periphery of the in-mirror image Distortion caused by the
ステップS18で得られた補正後正視画像は、表示制御部23aによって、ディスプレイ40に表示され、運転者に対して提示される(ステップS19)。これにより、運転者に対し、カーブミラー100に映った鏡像が平面鏡のように見やすく表示されることになる。
The corrected stereographic image obtained in step S18 is displayed on the
さらに、接近物体認識手段22aによって、例えばテンプレートマッチング,ニューロなどの形状認識手法や移動物体認識手法を用い、ステップS18で得られた補正後正視画像(変換画像)から、車両,バイク,歩行者などの接近物体101(図4参照)が認識される(ステップS20)。ここで、接近物体101が認識されない場合には、例えばステップS11の処理に戻り上述と同様の処理を繰り返す。
Further, the approaching object recognition means 22a uses, for example, a shape recognition method such as template matching or neurology or a moving object recognition method, and the vehicle, motorcycle, pedestrian, etc. from the corrected front-view image (converted image) obtained in step S18. The approaching object 101 (see FIG. 4) is recognized (step S20). Here, when the approaching
ステップS20で接近物体101が認識されると、危険度算出手段22bによって、ステップS18で得られた補正後正視画像のY軸座標に基づき、接近物体101とカーブミラー100との距離d1が算出されるとともに、その接近物体101の速度v1が、距離d1の時間微分値として算出される(ステップS21)。
When the approaching
また、危険度算出手段22bによって、第1カメラ10aで撮像された車両前方画像のY軸座標に基づき、自車とカーブミラー100との距離d2が算出されるとともに、自車の走行速度v2が自車の速度センサによって得られる(ステップS22)。
Further, the risk level calculation means 22b calculates the distance d2 between the host vehicle and the
この後、危険度算出手段22bによって、自車と接近物体101との現在の距離D(=d1+d2)および接近速度V(=v1+v2)が、データベース30における上記基準情報(a4)に照らし合わされ、現在の状況が危険度レベル(b1)〜(b5)のいずれに該当するかが衝突可能性として算出・判定される(ステップS23)
Thereafter, the current distance D (= d1 + d2) and the approach speed V (= v1 + v2) between the host vehicle and the approaching
そして、制御手段22cによって、ステップS23で算出された危険度レベルに応じ、自車の運転者に対する警報や、自車の制動/操舵/エンジン制御による危険回避制御が実行される(ステップS24〜S32)。 Then, according to the risk level calculated in step S23, the control means 22c executes warning for the driver of the own vehicle and risk avoidance control by braking / steering / engine control of the own vehicle (steps S24 to S32). ).
つまり、危険度レベル(b5)「衝突不可避」の場合(ステップS24のYESルート)、物理的に衝突回避は不可能な状態であるため、警報のみならず強制的な衝突回避制御(介入制御)が行なわれる。具体的には、制御動作(c5)として上述したように、ディスプレイ40,LEDランプ51およびスピーカ52による、運転者に対する警報が行なわれるとともに、ブレーキ61の制動制御や操舵系62の操舵制御やエンジン63の動作制御が行なわれ衝突回避制御(介入制御)が強制的に行なわれる(ステップS25)。
That is, in the case of the danger level (b5) “inevitable collision” (YES route of step S24), since collision avoidance is physically impossible, not only alarm but also forced collision avoidance control (intervention control) Is done. Specifically, as described above as the control operation (c5), an alarm is given to the driver by the
危険度レベル(b4)「危険臨界」の場合(ステップS24のNOルートおよびステップS26のYESルート)、緊急に回避行動をしないと衝突に至る状態であることを運転者に認識させる警報が行なわれる。具体的には、制御動作(c4)として上述したように、ディスプレイ40,LEDランプ51およびスピーカ52による、運転者に対する警報が行なわれる(ステップS27)。このとき、警報と同時に、ブレーキ61の制動制御や操舵系62の操舵制御やエンジン63の動作制御を行なって、衝突回避制御(介入制御)を行なってもよい。
In the case of the danger level (b4) “danger criticality” (NO route in step S24 and YES route in step S26), an alarm is issued to make the driver recognize that a collision will occur if no avoidance action is taken urgently. . Specifically, as described above as the control operation (c4), a warning is given to the driver by the
危険度レベル(b3)「危険状態」の場合(ステップS26のNOルートおよびステップS28のYESルート)、そのまま何もせずに走ると衝突に至る状態であることを運転者に認識させる注意喚起が行なわれる。具体的には、制御動作(c3)として上述したように、ディスプレイ40,LEDランプ51およびスピーカ52による、運転者に対する注意喚起が行なわれる(ステップS29)。このときも、注意喚起と同時に、ブレーキ61の制動制御や操舵系62の操舵制御やエンジン63の動作制御を行なって、衝突回避制御(介入制御)を行なってもよい。
In the case of the danger level (b3) “dangerous state” (NO route in step S26 and YES route in step S28), a warning is issued to let the driver recognize that it is in a state where a collision will occur if nothing is done as it is. It is. Specifically, as described above as the control operation (c3), the driver is alerted by the
危険度レベル(b2)「危険移行過程」の場合(ステップS28のNOルートおよびステップS30のYESルート)、危険状態に移行しつつある状態であることを運転者に通知する情報提供が行なわれる。具体的には、制御動作(c2)として上述したように、ディスプレイ40,LEDランプ51およびスピーカ52による、運転者に対する情報提供が行なわれる(ステップS31)。
In the case of the risk level (b2) “danger transition process” (NO route in step S28 and YES route in step S30), information is provided to notify the driver that the vehicle is in a dangerous state. Specifically, as described above as the control operation (c2), information is provided to the driver through the
危険度レベル(b1)「危険性なし」の場合(ステップS30のNOルート)、直前までステップS25,S27,S29,S31のいずれかの衝突回避処理を実行していれば、その衝突回避処理を解除してから(ステップS32)、ステップS11の処理に戻る一方、直前に衝突回避処理を行なっていないければ、何ら制御動作を行なうことなくステップS11の処理に戻る。 When the risk level (b1) is “no danger” (NO route of step S30), if the collision avoidance process of any of steps S25, S27, S29, and S31 has been executed until immediately before, the collision avoidance process is performed. After canceling (step S32), the process returns to the process of step S11. On the other hand, if the collision avoidance process is not performed immediately before, the process returns to the process of step S11 without performing any control operation.
なお、図6に示す例では、迅速性を要求される危険度レベルの高い場合についての判定および衝突回避処理を優先的に行なっている。 In the example shown in FIG. 6, the determination and the collision avoidance process are preferentially performed when the risk level requiring high speed is high.
〔3〕本実施形態の効果
このように、本発明の一実施形態としての車両運転支援装置1によれば、車両前方画像からカーブミラー100が特定されると、そのカーブミラー100のミラー内画像が取得され、そのミラー内画像は、正視画像に変換されてからミラー周辺部の画像歪み補正を施され、補正後正視画像がディスプレイ40によって運転者に対して表示される。これにより、運転者に対し、カーブミラー100に映った鏡像が平面鏡のように見やすく表示されるため、運転者は、カーブミラー100に映る接近物体101との距離や、その接近速度を判断しやすくなり、交差点やカーブでの出合い頭の事故を未然に且つ確実に防止することができる。
[3] Effects of the Embodiment As described above, according to the vehicle driving
また、補正後正視画像から接近物体101が認識されると、補正後正視画像と車両前方画像とに基づき、自車と接近物体101との衝突可能性が危険度として算出され、その危険度に応じ、運転者に対する警報もしくは自車の制動/操舵/エンジン制御による危険回避制御(衝突回避制御)が行なわれる。このように画像認識処理を行なって接近物体101の検知が容易に行なわれる。従って、カーブミラー100内における接近物体101を自動的に認識し、運転者に対する警報や、運転者の意思に関係なく強制的な車両制御(危険回避制御/衝突回避制御)が可能になり、交差点やカーブでの出合い頭の事故を未然に且つより確実に防止することができる。
Further, when the approaching
さらに、ミラー内画像取得手段としての第2カメラ10bがズーミング機能を有する場合、走行に伴って自車がカーブミラー100に近づいても第2カメラ10bによって撮像されるズーム画像上でカーブミラー100が常に同じ大きさになるように、カメラコントローラ11が第2カメラ10bのズーム倍率を自動的に調整することにより、認識エンジン(画像認識処理部21)側で画像の大きさを調節する処理を行なう必要がなくなり、認識エンジン側の負荷を大幅に軽減することができる。
Further, when the
〔4〕本実施形態の変形例
上述した実施形態では、車両前方を広く撮像して車両前方画像を取得する第1カメラ10aと、第1カメラ10aに比べ視野は狭いが高解像度の第2カメラ10bとの2台のカメラをそなえた場合について説明したが、以下のように、1台のカメラによっても上述と同様の作用効果を得ることが可能である。
[4] Modified Example of Embodiment In the above-described embodiment, the first camera 10a that captures a wide area in front of the vehicle and obtains the vehicle front image, and the second camera that has a narrower field of view than the first camera 10a but has a high resolution. Although the case where two
例えば、撮像手段としての第1カメラ10aがズーミング機能を有するものであれば、このズーミング機能によってカーブミラー100のズーム画像を取得することが可能であり、このズーミング機能を有する第1カメラ10aによって、カーブミラー100におけるミラー内画像を取得することできる。このとき、カメラコントローラ11によって第1カメラ10aのズーミング機能が制御され、カーブミラー100が第1カメラ10aによって捕捉追従される。この場合、ズーミング機能を用いるため、第2カメラ10bが不要となるだけでなく、第1カメラ10aとして高解像度のものを用いる必要もなくなり、装置コストを大幅に削減することができる。
For example, if the first camera 10a as the imaging means has a zooming function, it is possible to acquire a zoom image of the
また、撮像手段としての第1カメラ10aが、上述のようにズーミング機能を有する場合、走行に伴って自車がカーブミラー100に近づいても第1カメラ10aによって撮像されるズーム画像上でカーブミラー100が常に同じ大きさになるように、第1カメラ10aのズーム倍率を自動的に調整する機能(カメラコントローラ11によって実現可能)をそなえる。このような機能をそなえることにより、認識エンジン(画像認識処理部21)側で画像の大きさを調節する処理を行なう必要がなくなり、認識エンジン側の負荷を大幅に軽減することができる。
In addition, when the first camera 10a as the imaging unit has a zooming function as described above, the curve mirror on the zoom image captured by the first camera 10a even when the vehicle approaches the
さらに、車両前方画像を撮像する撮像手段としての第1カメラ10aを、上述した第2カメラ10bと同程度に高解像度のものとして構成した場合、第2カメラ10bを不要にすることができるほか、一つの高解像度の車両前方画像から、同時に2以上のカーブミラーのミラー内画像を取得し、その2以上のミラー内画像に対する画像変換処理や画像歪み補正を行なうことができる。
Furthermore, in the case where the first camera 10a as an imaging means for capturing a front image of the vehicle is configured to have a resolution as high as that of the
〔5〕その他
なお、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述した実施形態では、カーブミラー100の形状が矩形である場合について説明しているが、本発明は、これに限定されるものではなく、予め規格化されているカーブミラーであれば、その形状は矩形に限定されるものではなく円形やその他の形であってもよく、いずれの場合も、上述した実施形態と同様の作用効果を得られることはいうまでもない。また、上述した実施形態では、危険度レベルが(b1)〜(b5)の5段階である場合について説明したが、このような5段階に限定されるものではない。
[5] Others The present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the spirit of the present invention.
For example, in the above-described embodiment, the case where the shape of the
また、上述した画像認識処理部21(特定手段21a,ミラー内画像取得手段21b,画像変換手段21cおよび画像歪み補正手段21d),判断処理部22(接近物体認識手段22a,危険度算出手段22bおよび制御手段22c)および出力制御系23(表示制御部23a,警報制御部23b,制動制御部23c,操舵制御部23dおよびエンジン制御部23e)としての機能(全部もしくは一部の機能)は、コンピュータ(CPU,情報処理装置,各種端末を含む)が所定のアプリケーションプログラム(車両運転支援プログラム)を実行することによって実現される。
Further, the above-described image recognition processing unit 21 (identifying
そのプログラムは、例えばフレキシブルディスク,CD(CD−ROM,CD−R,CD−RWなど),DVD(DVD−ROM,DVD−RAM,DVD−R,DVD−RW,DVD+R,DVD+RWなど),ブルーレイディスク等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体から車両運転支援プログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。また、そのプログラムを、例えば磁気ディスク,光ディスク,光磁気ディスク等の記憶装置(記録媒体)に記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。 The program is, for example, a flexible disk, CD (CD-ROM, CD-R, CD-RW, etc.), DVD (DVD-ROM, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.), Blu-ray Disc And the like recorded in a computer-readable recording medium. In this case, the computer reads the vehicle driving support program from the recording medium, transfers it to an internal storage device or an external storage device, and uses it. Further, the program may be recorded in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.
ここで、コンピュータとは、ハードウエアとOS(オペレーティングシステム)とを含む概念であり、OSの制御の下で動作するハードウエアを意味している。また、OSが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウエアは、少なくとも、CPU等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とをそなえている。上記車両運転支援プログラムとしてのアプリケーションプログラムは、上述のようなコンピュータに、上述した画像認識処理部21,判断処理部22および出力制御系23としての機能を実現させるプログラムコードを含んでいる。また、その機能の一部は、アプリケーションプログラムではなくOSによって実現されてもよい。
Here, the computer is a concept including hardware and an OS (operating system), and means hardware operating under the control of the OS. Further, when the OS is unnecessary and the hardware is operated by the application program alone, the hardware itself corresponds to the computer. The hardware includes at least a microprocessor such as a CPU and means for reading a computer program recorded on a recording medium. The application program as the vehicle driving support program includes a program code that causes the above-described computer to realize the functions as the image
1 車両運転支援装置
10a 第1カメラ(撮像手段)
10b 第2カメラ(ミラー内画像取得手段)
11 カメラコントローラ(ミラー内画像取得手段)
20 処理部(CPU)
21 画像認識処理部
21a 特定手段
21b ミラー内画像取得手段(取付角度算出手段)
21c 画像変換手段
21d 画像歪み補正手段
22 判断処理部
22a 接近物体認識手段(認識手段)
22b 危険度算出手段
22c 制御手段
23 出力制御系
23a 表示制御部
23b 警報制御部
23c 制動制御部
23d 操舵制御部
23e エンジン制御部
30 データベース
40 ディスプレイ(表示手段)
51 LEDランプ
52 スピーカ
61 ブレーキ
62 操舵系
63 エンジン
100 カーブミラー(コーナーミラー)
101 接近物体(車両)
DESCRIPTION OF
10b Second camera (in-mirror image acquisition means)
11 Camera controller (in-mirror image acquisition means)
20 Processing unit (CPU)
21 Image
21c Image conversion means 21d Image distortion correction means 22
22b Risk calculation means 22c Control means 23
51
101 Approaching object (vehicle)
Claims (3)
前記撮像手段によって撮像された車両前方画像からカーブミラーを認識して特定する特定手段と、
前記特定手段によって特定された前記カーブミラーにおけるミラー内画像を取得するミラー内画像取得手段と、
前記ミラー内画像取得手段によって取得された前記ミラー内画像を正面から見た正視画像に変換する画像変換手段と、
前記画像変換手段によって得られた前記正視画像に対しミラー周辺部の画像歪み補正を行なう画像歪み補正手段と、
前記画像歪み補正手段によって得られた補正後正視画像を前記車両の運転者に対し表示する表示手段とをそなえて構成されていることを特徴とする、車両運転支援装置。 Imaging means for imaging the front of the vehicle;
Identifying means for recognizing and identifying a curve mirror from a vehicle front image captured by the imaging means;
In-mirror image acquisition means for acquiring an in-mirror image in the curved mirror specified by the specifying means;
Image conversion means for converting the in-mirror image acquired by the in-mirror image acquisition means into a normal image viewed from the front;
Image distortion correction means for correcting image distortion at the periphery of the mirror for the orthographic image obtained by the image conversion means;
A vehicle driving support apparatus, comprising: a display means for displaying a corrected front-view image obtained by the image distortion correction means to a driver of the vehicle.
前記撮像手段によって撮像された車両前方画像からカーブミラーを認識して特定する特定手段と、
前記特定手段によって特定された前記カーブミラーにおけるミラー内画像を取得するミラー内画像取得手段と、
前記ミラー内画像取得手段によって取得された前記ミラー内画像を正面から見た正視画像に変換する画像変換手段と、
前記画像変換手段によって得られた前記正視画像に対しミラー周辺部の画像歪み補正を行なう画像歪み補正手段と、
前記画像歪み補正手段によって得られた補正後正視画像から接近物体を認識する認識手段と、
前記画像歪み補正手段によって得られた前記補正後正視画像と前記撮像手段によって撮像された前記車両前方画像とに基づき、前記車両と前記認識手段によって認識された前記接近物体との衝突可能性を危険度として算出する危険度算出手段と、
前記危険度算出手段によって算出された前記危険度に応じ、前記車両の運転者に対する警報もしくは前記車両の制動もしくは前記車両の操舵による危険回避制御を行なう制御手段とをそなえて構成されていることを特徴とする、車両運転支援装置。 Imaging means for imaging the front of the vehicle;
Identifying means for recognizing and identifying a curve mirror from a vehicle front image captured by the imaging means;
In-mirror image acquisition means for acquiring an in-mirror image in the curved mirror specified by the specifying means;
Image conversion means for converting the in-mirror image acquired by the in-mirror image acquisition means into a normal image viewed from the front;
Image distortion correction means for correcting image distortion at the periphery of the mirror for the orthographic image obtained by the image conversion means;
Recognizing means for recognizing an approaching object from the corrected orthographic image obtained by the image distortion correcting means;
Risk of collision between the vehicle and the approaching object recognized by the recognizing unit based on the post-corrected normal image obtained by the image distortion correcting unit and the vehicle front image captured by the imaging unit A risk calculating means for calculating the degree,
Control means for performing warning avoidance control by warning to the vehicle driver or braking of the vehicle or steering of the vehicle according to the risk calculated by the risk calculation means. A vehicle driving support device as a feature.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008294743A JP2010122821A (en) | 2008-11-18 | 2008-11-18 | Vehicle driving support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008294743A JP2010122821A (en) | 2008-11-18 | 2008-11-18 | Vehicle driving support device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010122821A true JP2010122821A (en) | 2010-06-03 |
Family
ID=42324120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008294743A Withdrawn JP2010122821A (en) | 2008-11-18 | 2008-11-18 | Vehicle driving support device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010122821A (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4865095B1 (en) * | 2011-03-03 | 2012-02-01 | 富士重工業株式会社 | Vehicle driving support device |
JP2013097480A (en) * | 2011-10-31 | 2013-05-20 | Hitachi Consumer Electronics Co Ltd | Collision risk prediction device for vehicle and collision risk prediction system for vehicle |
WO2017056821A1 (en) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | Information acquiring device and information acquiring method |
JP2017215887A (en) * | 2016-06-02 | 2017-12-07 | マツダ株式会社 | Vehicle control device |
JP2017220923A (en) * | 2016-06-07 | 2017-12-14 | パナソニックIpマネジメント株式会社 | Image generating apparatus, image generating method, and program |
CN108241851A (en) * | 2016-12-27 | 2018-07-03 | 松下电器(美国)知识产权公司 | Information processing unit, information processing method and program |
JP2018106667A (en) * | 2016-12-27 | 2018-07-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Information processor, information processing method and program |
CN108629281A (en) * | 2018-03-28 | 2018-10-09 | 深圳市路畅智能科技有限公司 | Utilize the automatic safe driving assistance method of bend corner mirror |
JP2019100787A (en) * | 2017-11-30 | 2019-06-24 | パイオニア株式会社 | Data structure of transmission data, determination device, determination method and determination program |
JP2020088591A (en) * | 2018-11-26 | 2020-06-04 | 国立大学法人 筑波大学 | Image processing system and image processing apparatus |
DE112017007672T5 (en) | 2017-06-22 | 2020-06-10 | Showa Corporation | Obstacle detection device, vehicle and obstacle detection system |
WO2020202559A1 (en) * | 2019-04-05 | 2020-10-08 | 三菱電機株式会社 | Autonomous moving body movement assistance device, autonomous moving body, and map information distribution device |
WO2022249504A1 (en) * | 2021-05-25 | 2022-12-01 | 株式会社Nttデータオートモビリジェンス研究所 | Vehicle information processing device |
CN115472027A (en) * | 2021-06-10 | 2022-12-13 | 欧温星球控股股份有限公司 | Remote assistance system and remote assistance method |
-
2008
- 2008-11-18 JP JP2008294743A patent/JP2010122821A/en not_active Withdrawn
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4865095B1 (en) * | 2011-03-03 | 2012-02-01 | 富士重工業株式会社 | Vehicle driving support device |
JP2013097480A (en) * | 2011-10-31 | 2013-05-20 | Hitachi Consumer Electronics Co Ltd | Collision risk prediction device for vehicle and collision risk prediction system for vehicle |
WO2017056821A1 (en) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | Information acquiring device and information acquiring method |
CN108028892A (en) * | 2015-09-30 | 2018-05-11 | 索尼公司 | Information acquisition equipment and information obtaining method |
JPWO2017056821A1 (en) * | 2015-09-30 | 2018-07-19 | ソニー株式会社 | Information acquisition apparatus and information acquisition method |
CN108028892B (en) * | 2015-09-30 | 2021-02-09 | 索尼公司 | Information acquisition apparatus and information acquisition method |
US10839248B2 (en) | 2015-09-30 | 2020-11-17 | Sony Corporation | Information acquisition apparatus and information acquisition method |
JP2017215887A (en) * | 2016-06-02 | 2017-12-07 | マツダ株式会社 | Vehicle control device |
JP2017220923A (en) * | 2016-06-07 | 2017-12-14 | パナソニックIpマネジメント株式会社 | Image generating apparatus, image generating method, and program |
CN108241851A (en) * | 2016-12-27 | 2018-07-03 | 松下电器(美国)知识产权公司 | Information processing unit, information processing method and program |
JP2018106667A (en) * | 2016-12-27 | 2018-07-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Information processor, information processing method and program |
JP7051326B2 (en) | 2016-12-27 | 2022-04-11 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Information processing equipment, information processing methods and programs |
DE112017007672T5 (en) | 2017-06-22 | 2020-06-10 | Showa Corporation | Obstacle detection device, vehicle and obstacle detection system |
JP2019100787A (en) * | 2017-11-30 | 2019-06-24 | パイオニア株式会社 | Data structure of transmission data, determination device, determination method and determination program |
CN108629281A (en) * | 2018-03-28 | 2018-10-09 | 深圳市路畅智能科技有限公司 | Utilize the automatic safe driving assistance method of bend corner mirror |
JP2020088591A (en) * | 2018-11-26 | 2020-06-04 | 国立大学法人 筑波大学 | Image processing system and image processing apparatus |
JP7181589B2 (en) | 2018-11-26 | 2022-12-01 | 国立大学法人 筑波大学 | Video processing system and video processing device |
WO2020202559A1 (en) * | 2019-04-05 | 2020-10-08 | 三菱電機株式会社 | Autonomous moving body movement assistance device, autonomous moving body, and map information distribution device |
JPWO2020202559A1 (en) * | 2019-04-05 | 2021-12-23 | 三菱電機株式会社 | Autonomous mobile movement support device, autonomous mobile device, and map information distribution device |
JP7143940B2 (en) | 2019-04-05 | 2022-09-29 | 三菱電機株式会社 | MOVEMENT SUPPORT DEVICE FOR AUTONOMOUS MOBILE AND AUTONOMOUS MOBILE |
WO2022249504A1 (en) * | 2021-05-25 | 2022-12-01 | 株式会社Nttデータオートモビリジェンス研究所 | Vehicle information processing device |
JP2022181025A (en) * | 2021-05-25 | 2022-12-07 | 株式会社Nttデータオートモビリジェンス研究所 | Information processor for vehicles |
JP7422704B2 (en) | 2021-05-25 | 2024-01-26 | 株式会社Nttデータオートモビリジェンス研究所 | Vehicle information processing device |
CN115472027A (en) * | 2021-06-10 | 2022-12-13 | 欧温星球控股股份有限公司 | Remote assistance system and remote assistance method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2010122821A (en) | Vehicle driving support device | |
JP6611353B2 (en) | Image processing device, external recognition device | |
JP5143235B2 (en) | Control device and vehicle surrounding monitoring device | |
JP4687160B2 (en) | Perimeter monitoring device | |
JP6379779B2 (en) | Vehicle display device | |
JP4687411B2 (en) | Vehicle peripheral image processing apparatus and program | |
JP3897305B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, control program, and readable recording medium | |
JP2006215642A (en) | Apparatus and method for monitoring area around moving object, control program, and readable recording medium | |
JP2009037622A (en) | Method and device for evaluating image | |
JP6205640B2 (en) | Warning device for vehicle | |
JP4893212B2 (en) | Perimeter monitoring device | |
JP2012071635A (en) | Parking assistance device | |
JP2003150938A (en) | Image recognizing device | |
JP2002319091A (en) | Device for recognizing following vehicle | |
JP2011048520A (en) | Device and method for monitoring vehicle periphery | |
JP3952305B2 (en) | Moving object periphery monitoring device, moving object periphery monitoring method, control program, and readable recording medium | |
JP2009231938A (en) | Surrounding monitoring device for vehicle | |
JP2007323578A (en) | Vehicle periphery monitoring device | |
JP2017129973A (en) | Driving support apparatus and driving support method | |
JP4848644B2 (en) | Obstacle recognition system | |
JP2006341713A (en) | System and method for changing irradiation direction of head lamp | |
JP2018074286A (en) | Driving support device | |
JP2008004989A (en) | Vehicle perimeter display apparatus | |
JP2010124300A (en) | Image processing apparatus and rear view camera system employing the same | |
JP2011191859A (en) | Apparatus for monitoring surroundings of vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111020 |
|
A072 | Dismissal of procedure |
Free format text: JAPANESE INTERMEDIATE CODE: A073 Effective date: 20130312 |
|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130402 |