JP2011071932A - Vehicle surroundings monitoring apparatus - Google Patents
Vehicle surroundings monitoring apparatus Download PDFInfo
- Publication number
- JP2011071932A JP2011071932A JP2009223513A JP2009223513A JP2011071932A JP 2011071932 A JP2011071932 A JP 2011071932A JP 2009223513 A JP2009223513 A JP 2009223513A JP 2009223513 A JP2009223513 A JP 2009223513A JP 2011071932 A JP2011071932 A JP 2011071932A
- Authority
- JP
- Japan
- Prior art keywords
- processing unit
- obstacle
- feature point
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、自車両に対する俯瞰画像上の障害物を表示し運転支援を行う車両周辺監視装置に関する。 The present invention relates to a vehicle periphery monitoring device that displays an obstacle on a bird's-eye view image of a host vehicle and performs driving support.
従来、自動車に複数の撮像装置を設け、各撮像装置により撮像した画像を合成し、自動車の周囲全周の俯瞰画像を生成し運転席のモニタに表示することで、駐車場などにおける運転操作を容易かつ安全に行えるようにした車両周辺監視装置がある。
このような従来の車両周辺監視装置では、車両に前方カメラ、後方カメラ、右カメラおよび左カメラが取り付けられている。
そして、これら前方カメラ、後方カメラ、右カメラおよび左カメラにより撮像された映像を視点変換し、さらに画像合成して俯瞰画像を生成する。
このようにして生成された俯瞰画像は俯瞰画像表示画面へ表示され、運転操作の支援に活用される。
Conventionally, a vehicle is provided with a plurality of imaging devices, and images taken by the imaging devices are combined, an overhead view image of the entire circumference of the vehicle is generated and displayed on a driver's seat monitor, thereby enabling driving operations in a parking lot or the like. There is a vehicle periphery monitoring device that can be easily and safely performed.
In such a conventional vehicle periphery monitoring device, a front camera, a rear camera, a right camera, and a left camera are attached to the vehicle.
Then, the viewpoint images of the images captured by the front camera, the rear camera, the right camera, and the left camera are subjected to viewpoint conversion, and further an image synthesis is performed to generate an overhead view image.
The bird's-eye view image generated in this way is displayed on the bird's-eye view image display screen and is used to support driving operations.
このような車両周辺監視装置として、撮像部と、運転者に情報を提供する表示部とを有し、始動シーン選択部と、車速センサと、シフト位置検出部と、ウインカー検出部と、操舵角センサと、画面モード切替部とを備えたものが提供されている。
そして、この車両周辺監視装置は、ウインカーの情報やハンドル操舵角の情報により後側方の見せる領域を変更することが可能であり、特に、高速モード時にウインカー入力を検出した場合、ウインカー方向の合成画像を拡大表示する。
なお、前記撮像部は、車両に設置した複数のカメラ設置部に取り付けられた個々のカメラにより車両周囲を撮像し、前記表示部は運転者に情報を提供するものである。
また、前記始動シーン選択部は、複数の運転シーンの中からエンジン始動時に通常走行シーンを選択し、前記車速センサでは車速を検出し、前記シフト位置検出部ではシフト位置を検出するものである。
前記ウインカー検出部は、ウインカーの方向を検出し、前記操舵角センサはハンドルの操舵角を検出し、前記画面モード切替部では各センサおよび各検出部により検出された情報より表示画面構成を切り替える。(特許文献1参照)。
As such a vehicle periphery monitoring device, it has an imaging unit, a display unit that provides information to the driver, a start scene selection unit, a vehicle speed sensor, a shift position detection unit, a winker detection unit, a steering angle, A device including a sensor and a screen mode switching unit is provided.
The vehicle periphery monitoring device can change the rear side area based on the blinker information and the steering wheel steering angle information. In particular, when the blinker input is detected in the high speed mode, the turn signal direction synthesis is performed. Zoom in on the image.
In addition, the said imaging part images the vehicle periphery with each camera attached to the several camera installation part installed in the vehicle, and the said display part provides a driver | operator with information.
The start scene selection unit selects a normal travel scene from a plurality of driving scenes when starting the engine, the vehicle speed sensor detects a vehicle speed, and the shift position detection unit detects a shift position.
The winker detection unit detects the direction of the winker, the steering angle sensor detects a steering angle of the steering wheel, and the screen mode switching unit switches a display screen configuration based on information detected by each sensor and each detection unit. (See Patent Document 1).
したがって、従来の車両周辺監視装置では、視点変換され画像合成された俯瞰画像上の境界付近の着目したい目標物、特に立体的な目標物に関しては、画像合成の処理段階において瞰映像上の境界で画像がほとんど表示されない状態が生じる。そのため、瞰映像上の境界付近の目標物が俯瞰画像表示画面上で見落とされてしまうという課題があった。 Therefore, in the conventional vehicle periphery monitoring device, a target to be noticed in the vicinity of the boundary on the bird's-eye view image that has undergone viewpoint conversion and image synthesis, particularly a three-dimensional target, is detected at the boundary on the viewpoint video at the image synthesis processing stage. A state occurs in which almost no image is displayed. For this reason, there is a problem that a target near the boundary on the viewpoint image is overlooked on the overhead image display screen.
本発明は、このような事情に鑑みてなされたものであり、俯瞰画像上で全体が表示されていない目標物に対し、俯瞰画像上の境界線を変更し全体を表示できるようにした車両周辺監視装置を提供することを目的とする。
また、自車両の予想経路上に位置している目標物を判定し適切な運転支援を行うことのできる車両周辺監視装置を提供することを目的とする。
The present invention has been made in view of such circumstances, and for a target that is not entirely displayed on the overhead image, the boundary around the overhead image can be changed to display the entire vehicle periphery. An object is to provide a monitoring device.
It is another object of the present invention to provide a vehicle periphery monitoring device that can determine a target located on an expected route of the host vehicle and perform appropriate driving support.
請求項1に記載の発明は、車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、前記障害物検知処理部により検知した障害物の位置が前記複数の撮像装置が互いに共通する視野領域とする前記俯瞰画像上の共通領域に含まれるか否かを判定する障害物表示領域判定部と、前記障害物表示領域判定部で判定された前記共通領域に含まれる障害物についての前記特徴点の予想軌跡と、前記共通領域を互いに共通する前記視野領域とする各撮像装置に、前記予想軌跡で移動する前記障害物が“写る/写らない”の予測結果とをもとに、前記共通領域について前記障害物をより広範囲に写す撮像装置による部分俯瞰画像を優先させた俯瞰画像を前記俯瞰画像合成処理部に再合成させ、前記俯瞰画像表示手段に再表示させるカメラ画像優先処理部とを備えたことを特徴とする。 According to the first aspect of the present invention, the vehicle is mounted from a plurality of imaging devices that are mounted at a plurality of locations in the vehicle and that images the surroundings of the vehicle in different directions from the locations, and the vehicle surroundings captured by the imaging devices. A bird's-eye view image composition processing unit that synthesizes a bird's-eye view image, a bird's-eye view image display unit that displays the bird's-eye view image synthesized by the bird's-eye view image composition processing unit, and the bird's-eye view image composition processing unit A feature point extraction unit that extracts a point having a comparatively easy characteristic in tracking of a change in position in image processing technology, such as an image corner or an image edge, and a time-series video of the overhead image The feature point tracking processing unit that tracks the change in the position of the feature point on the overhead image extracted by the feature point extraction unit from the feature point, and the feature point tracked by the feature point tracking processing unit A three-dimensional measurement processing unit for calculating feature point information including three-dimensional coordinate information of the feature point and relative motion information with respect to the vehicle based on a change in position on the eye-view image; and the three-dimensional measurement process An obstacle detection processing unit for determining whether the image from which the feature point has been extracted is an obstacle based on the feature point information calculated by the unit, and an obstacle detected by the obstacle detection processing unit An obstacle display area determination unit that determines whether or not a position is included in a common area on the bird's-eye view that is a visual field area in which the plurality of imaging devices are common to each other, and the obstacle display area determination unit The obstacle moving in the predicted locus is “shot / does not appear” in each imaging device that uses the predicted locus of the feature point for the obstacle included in the common area and the visual field area that is common to the common area. Based on the prediction results A camera image priority processing unit that causes a bird's-eye view image composition processing unit to re-synthesize a bird's-eye view image obtained by prioritizing a partial bird's-eye view image obtained by an imaging device that captures the obstacle in a wider range with respect to the common region, It is characterized by comprising.
請求項4に記載の発明は、車両の複数箇所に搭載され、それら箇所からそれぞれ異なる方向の車両周囲を撮像する複数の撮像装置と、前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、車速、ハンドル操作角、トランスミッションのシフト位置、アクセル開度の全てを含む前記車両の状態情報をもとに前記車両の予想経路の判定を行う予想経路判定処理部と、予想経路判定処理部で判定した前記車両の予想経路上に、障害物検知処理部で検知された障害物が位置しているか否かを判定する予想経路上障害物判定処理部と、前記予想経路上障害物判定処理部において前記車両の予想経路上に障害物が位置していると判定されると警報を出力する警報出力手段とを備えたことを特徴とする。 According to a fourth aspect of the present invention, the vehicle is mounted from a plurality of imaging devices that are mounted at a plurality of locations of the vehicle and that images the surroundings of the vehicle in different directions from the locations, and the vehicle surroundings captured by the imaging devices. A bird's-eye view image composition processing unit that synthesizes a bird's-eye view image, a bird's-eye view image display unit that displays the bird's-eye view image synthesized by the bird's-eye view image composition processing unit, and the bird's-eye view image composition processing unit A feature point extraction unit that extracts a point having a comparatively easy characteristic in tracking of a change in position in image processing technology, such as an image corner or an image edge, and a time-series video of the overhead image The feature point tracking processing unit that tracks the change in the position of the feature point on the overhead image extracted by the feature point extraction unit from the feature point, and the feature point tracked by the feature point tracking processing unit A three-dimensional measurement processing unit for calculating feature point information including three-dimensional coordinate information of the feature point and relative motion information with respect to the vehicle based on a change in position on the eye-view image; and the three-dimensional measurement process An obstacle detection processing unit for determining whether the image from which the feature point is extracted is an obstacle based on the feature point information calculated by the unit, a vehicle speed, a steering operation angle, a transmission shift position, an accelerator Detecting an obstacle on the predicted route of the vehicle determined by the predicted route determination processing unit and the predicted route determination processing unit that determines the predicted route of the vehicle based on the vehicle state information including all the opening degrees An obstacle determination processing unit on an expected route that determines whether or not an obstacle detected by the processing unit is located, and an obstacle is located on the predicted route of the vehicle in the obstacle determination processing unit on the predicted route Alarm when it is determined Characterized by comprising an alarm output means for outputting.
本発明によれば、瞰映像上の境界付近に位置し俯瞰画像上で全体が表示されていない目標物に対し、俯瞰画像上の境界線を変更し全体を表示でき、適切な運転支援を行うことのできる車両周辺監視装置を提供できる効果がある。
また、自車両の予想経路上に位置している目標物を判定し適切な運転支援を行うことのできる車両周辺監視装置を提供できる効果がある。
According to the present invention, for a target that is located near the boundary on the viewpoint image and is not entirely displayed on the overhead image, the boundary line on the overhead image can be changed and displayed as a whole, and appropriate driving support is performed. There is an effect that it is possible to provide a vehicle periphery monitoring device that can be used.
Further, there is an effect that it is possible to provide a vehicle periphery monitoring device that can determine a target located on the predicted route of the host vehicle and perform appropriate driving support.
以下、本発明の実施の形態について説明する。図1は、本発明の実施の形態である車両周辺監視装置の構成を示すブロック図である。この車両周辺監視装置は、前方カメラ1、後方カメラ2、右カメラ3および左カメラ4と、フレームメモリ11,12,13,14と、視点変換部21,22,23,24と、俯瞰画像合成処理部31を備えている。
また、特徴点抽出部41、特徴点追跡処理部42、三次元計測処理部43、障害物検知処理部44、障害物境界領域判定部45およびカメラ画像優先処理部46を備えている。
また、予想経路判定処理部51、予想経路上障害物判定処理部52、警告出力制御部53、警告音出力部54、ブザー55、俯瞰画像表示部56、ディスプレイ57および急加速抑制制御部59を備えている。
前方カメラ1は、例えば車両前部のフロントグリル中央に取り付けられて自車両の前方を撮像するカメラである。
後方カメラ2は、例えばリアウィンドウが設けられた車両後部に取り付けられて自車両の後方を撮像するカメラである。
右カメラ3は、例えば右側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両の右側方を撮像するカメラである。
左カメラ4は、例えば左側ドアミラーを支持するドアミラー支持部突端に取り付けられて車両の左側方を撮像するカメラである。
フレームメモリ11は、前方カメラ1により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
フレームメモリ12は、後方カメラ2により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
フレームメモリ13は、右カメラ3により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
フレームメモリ14は、左カメラ4により撮像されデジタルデータに変換された画像信号をフレーム単位で一時的に記憶する。
視点変換部21は,前方カメラ1により撮像した画像の視点位置を、前方カメラ1の取り付け位置から自車両上方の仮想視点位置へ変換する。
視点変換部22は,後方カメラ2により撮像した画像の視点位置を、後方カメラ2の取り付け位置から自車両上方の仮想視点位置へ変換する。
視点変換部23は,右カメラ3により撮像した画像の視点位置を、右カメラ3の取り付け位置から自車両上方の仮想視点位置へ変換する。
視点変換部24は,左カメラ4により撮像した画像の視点位置を、左カメラ4の取り付け位置から自車両上方の仮想視点位置へ変換する。
俯瞰画像合成処理部31は、前方カメラ1により撮像され視点変換部21により視点変化された画像と、後方カメラ2により撮像され視点変換部22により視点変化された画像と、右カメラ3により撮像され視点変換部23により視点変化された画像と、左カメラ4により撮像され視点変換部24により視点変化された画像とを合成し、自車両を前記仮想視点位置から見たときの俯瞰画像を生成する。
Embodiments of the present invention will be described below. FIG. 1 is a block diagram showing a configuration of a vehicle periphery monitoring apparatus according to an embodiment of the present invention. This vehicle periphery monitoring apparatus includes a
Further, a feature
The predicted route
The
The
The
The
The frame memory 11 temporarily stores an image signal captured by the
The frame memory 12 temporarily stores an image signal captured by the
The frame memory 13 temporarily stores an image signal captured by the
The
The
The
The
The
The overhead image
図2は、車両101に取り付けられた前方カメラ1、後方カメラ2、右カメラ3および左カメラ4により撮像される撮像範囲と、これら撮像範囲の画像を視点変換し画像合成して生成された、自車両101を中心としてモニタ装置のディスプレイ57に表示される俯瞰画像を示す説明図である。
図中、符号111は前方カメラ1による撮像範囲、符号112は後方カメラ2による撮像範囲、符号113は右カメラ3による撮像範囲、符号114は左カメラ4による撮像範囲を示す。
また、符号116は、前方カメラ1の撮像範囲と右カメラ3の撮像範囲とが重なっている領域である共有視野領域を示している。また、符号117は、右カメラ3の撮像範囲と後方カメラ2の撮像範囲とが重なっている共有視野領域を示している。また、符号118は、後方カメラ2の撮像範囲と左カメラ4の撮像範囲とが重なっている共有視野領域を示している。また、符号119は、左カメラ4の撮像範囲と前方カメラ1の撮像範囲とが重なっている共有視野領域を示している。
符号121は前方カメラ1の撮像範囲111の画像から視点変換部21により視点変換され前記モニタ装置のディスプレイ57に表示された前方部分俯瞰画像を示す。
符号122は後方カメラ2の撮像範囲112の画像から同様に視点変換され前記モニタ装置のディスプレイ57に表示された右側方部分俯瞰画像を示す。
符号123は右カメラ3の撮像範囲113の画像から同様に視点変換され前記モニタ装置のディスプレイ57に表示された後方部分俯瞰画像を示す。
符号124は左カメラ4の撮像範囲114の画像から同様に視点変換され前記モニタ装置のディスプレイ57に表示された左側方部分俯瞰画像を示す。
これら前方部分俯瞰画像121、右側方部分俯瞰画像123、後方部分俯瞰画像122および左側方部分俯瞰画像124は、自車両101を中心として前記仮想視点位置から自車両周囲を俯瞰したときの俯瞰画像として俯瞰画像合成部31により画像合成される。
また、図2において、符号126は前方部分俯瞰画像121と右側方部分俯瞰画像123とが重畳する共通領域、符号127は右側方部分俯瞰画像123と後方部分俯瞰画像122とが重畳する共通領域、符号128は後方部分俯瞰画像122と左側方部分俯瞰画像124とが重畳する共通領域、符号129は前方部分俯瞰画像121と左側方部分俯瞰画像124とが重畳する共通領域を示す。
FIG. 2 shows the imaging ranges captured by the
In the figure,
The front partial
In FIG. 2,
図1に戻り、特徴点抽出部41は、俯瞰画像合成処理部31により合成した前記俯瞰画像に対し、たとえば画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する。
特徴点追跡処理部42は、前記俯瞰画像の時刻変化に伴う特徴点の移動位置の変化を追跡する。
三次元計測処理部43は、前記俯瞰映像上における前記特徴点の移動位置の変化からその特徴点の相対運動情報および三次元座標情報を算出する。
この相対運動情報および三次元座標情報は、次に示す俯瞰画像上の対象物体の動きをモデル化した式(1)、(2)を用いて算出する。
Returning to FIG. 1, the feature
The feature point
The three-dimensional
The relative motion information and the three-dimensional coordinate information are calculated using equations (1) and (2) that model the movement of the target object on the overhead image shown below.
障害物検知処理部44は、前記算出した相対運動情報および三次元座標情報をもとに障害物を判定する。この障害物の判定は、自車両に対する距離による障害物エリアと、衝突予想時間による障害物エリアとにおける特徴点から障害物の検知を行う。
The obstacle
障害物表示領域判定部45は、障害物検知処理部44により検知した障害物の位置が図2で説明した俯瞰画像の共通領域126,127,128,129に含まれるか、さらに前記共通領域のうちのどの共通領域に入っているかを判定する。
カメラ画像優先処理部46は、前記共通領域の特徴点について三次元計測処理部43で算出された相対運動情報および三次元座標情報をもとに、一定の経過時間を想定したときの前記特徴点の予想軌跡を求める。
そして、この予想軌跡で前記障害物が移動したときの、障害物表示領域判定部45で判定した前記共通領域を互いに視野領域とするカメラ、たとえは共通領域129であれば前方カメラ1と左カメラ4のように撮像範囲が重畳する各カメラに写る/写らないの予測結果を得る。
さらに、前記共通領域について、前記障害物をより広範囲に写すカメラの部分俯瞰画像を優先させ、俯瞰画像合成処理部31に俯瞰画像を画像合成させる。
予想経路判定処理部51は、車速、ハンドル操作角、トランスミッションのシフト位置およびアクセル開度の各パラメータの全て、あるいは前記各パラメータのいずれか1つを含む自車両の状態情報をもとに自車両の予想経路の判定を行う。
予想経路上障害物判定処理部52は、予想経路判定処理部51で判定した自車両の予想経路上に、障害物検知処理部44で検知された障害物が位置しているか否かを判定する。
警告出力制御部53は、予想経路上障害物判定処理部52において自車両の予想経路上に障害物が位置していると判定されると、警告音出力部54へ警報音の出力を指示する警報音出力制御信号を出力する。
また、俯瞰画像を表示してるモニタ装置のディスプレイ57へ自車両の予想経路上に障害物が位置している旨の警告表示を行うための警告表示制御信号を俯瞰画像表示部56へ出力する。
警告音出力部54は、前記警報音出力制御信号をもとにブザー55を動作させて警報音を出力させる。
俯瞰画像表示部56は、俯瞰画像合成処理部31で合成した俯瞰画像をディスプレイ57へ表示し、また警告出力制御部53から出力される前記警告表示制御信号をもとに、ディスプレイ57へ警告表示を行う。
急加速抑制制御部59は、予想経路上障害物判定処理部52で自車両の予想経路上に障害物が位置していると判定されたときに急激なアクセル操作があると急加速を抑制する急加速抑制要求をエンジンECU60へ出力してエンジンを制御させ、急加速を抑制させる。
この急激なアクセル操作の検出は、たとえば、次のように実現することができる。
すなわち、アクセル開度の変化率がある基準値を超えるか否かを判定し、前記アクセル開度の変化率がある基準値を超えると急加速アクセル操作判定信号を出力するセンサ回路をアクセル操作検出手段として設ける。
あるいは、アクセル操作検出手段としてキックダウンスイッチの出力をもとに急激なアクセル操作があったか否かを検出することも可能である。
視点変換部21,22,23,24および俯瞰画像合成処理部31、特徴点抽出部41、特徴点追跡処理部42、三次元計測処理部43、障害物検知処理部44、障害物表示領域判定部45は、マイクロコンピュータを主要な構成とするECUにより実現される。
また、カメラ画像優先処理部46、予想経路判定処理部51、予想経路上障害物判定処理部52、警告出力制御部53、俯瞰画像表示部56および急加速抑制制御部59は、マイクロコンピュータを主要な構成とするECUにより実現される。
このECUは、前方カメラ1、後方カメラ2、右カメラ3および左カメラ4により撮像した画像の視点変換処理および画像合成処理を含む、この車両周辺監視装置特有の機能を実現するための各種処理を行う。
The obstacle display
The camera image
Then, when the obstacle moves in the predicted locus, the cameras having the common area determined by the obstacle display
Further, with respect to the common region, priority is given to a partial overhead view image of a camera that captures the obstacle in a wider range, and the overhead view image
The predicted route
The obstacle
The warning
In addition, a warning display control signal for displaying a warning indicating that an obstacle is located on the predicted route of the host vehicle is output to the overhead
The warning
The overhead
The sudden acceleration
Detection of this rapid accelerator operation can be realized as follows, for example.
That is, it is determined whether or not the change rate of the accelerator opening exceeds a certain reference value, and when the change rate of the accelerator opening exceeds a certain reference value, a sensor circuit that outputs a sudden acceleration accelerator operation determination signal is detected for the accelerator operation. Provide as a means.
Alternatively, it is possible to detect whether or not there has been a sudden accelerator operation based on the output of the kick-down switch as an accelerator operation detection means.
The camera image
The ECU performs various processes for realizing functions unique to the vehicle periphery monitoring device, including viewpoint conversion processing and image synthesis processing of images captured by the
ここで、三次元計測処理部43、障害物検知処理部44により障害物を検知するときの俯瞰映像上の3次元物体の動きモデルを示す式(2)の導出と、式(2)から式(3)の導出について説明する。
Here, the derivation of the equation (2) indicating the motion model of the three-dimensional object on the overhead image when the obstacle is detected by the three-dimensional
図6に示すように、特徴点pの3次元実空間上の位置ベクトルXpを[Xp ,Yp ,Zp ]T とし、時刻tにてカメラは[0,0,H]の位置にあるとする。ここで,Hはカメラの路面に対する高さである。
特徴点pの俯瞰映像上の位置ベクトルxp を[xp ,yp ,0]T としたとき、ベクトルXp=[Xp ,Yp ,Zp ]T とベクトルxp =[xp ,yp ,0]T との間には式(1)が成立する。
ここでkp =H/(H−Zp )とおけば、式(1)は以下に示す式(4)のように書き換えることができる。
As shown in FIG. 6, [X p, Y p , Z p] the position vector Xp of a three-dimensional real space of the feature point p is T, the camera at time t [0,0, H] to the position of Suppose there is. Here, H is the height of the camera with respect to the road surface.
[X p, y p, 0 ] position vector x p on the overhead image of the feature point p when T, the vector Xp = [X p, Y p , Z p] T and the vector x p = [x p, Equation (1) holds between y p , 0] and T.
Here, if k p = H / (H−Z p ), Expression (1) can be rewritten as Expression (4) shown below.
一方、真の俯瞰映像とはカメラは無限の高さにあるときで(H=∞)、kp =1となり、式(4)より、式(5)のようになる。 On the other hand, a true bird's-eye view image is when the camera is at an infinite height (H = ∞), and k p = 1, and from Equation (4), Equation (5) is obtained.
つまり、俯瞰映像に映る特徴点位置ベクトルxp =[xp ,yp ,0]T は、真の俯瞰映像の位置[Xp ,Yp ,0]T に対して、カメラ高と特徴点の高さに応じた係数kp だけ乗じたものである。
今、対象物pはカメラに対して、時刻tにおいて3次元実空間ではベクトルXp=[Xp ,Yp ,Zp ]T の位置にあり、ヨーレートω、相対速度VX 、VY の相対運動で移動していたとする。なお、バウンシング・ロール・ピッチング運動はなかったとする。
このとき、時刻t+Δtでの対象物pの3次元実空間上の位置ベクトルXp(t+Δt)=[Xp (t+Δt),Yp (t+Δt),Zp (t+Δt)]T は、以下のように式(6)で与えられる。
That is, the feature point position vector x p = [x p , y p , 0] T reflected in the overhead view video is the camera height and the feature point with respect to the true overhead view position [X p , Y p , 0] T. Is multiplied by a coefficient k p corresponding to the height of.
Now, the object p is at the position of the vector Xp = [X p , Y p , Z p ] T in the three-dimensional real space at time t with respect to the camera, and is relative to the yaw rate ω and the relative velocities V X and V Y. Suppose you were moving by exercise. It is assumed that there was no bouncing, roll, or pitching movement.
At this time, the position vector Xp (t + Δt) of the object p at the time t + Δt in the three-dimensional real space = [X p (t + Δt), Y p (t + Δt), Z p (t + Δt)] T is given by equation (6) as follows.
式(6)より、バウンシング・ロール・ピッチング運動がなかったとすれば、Zp (t)=Zp (t+Δt)であり、kp =H/(H−Zp )より、係数kp は時間によらず一定となる。式(6)は以下のように式(7)のように書き換えることができる。 From Equation (6), if there is no bouncing, roll, or pitching motion, Z p (t) = Z p (t + Δt), and k p = H / (H−Z p ), the coefficient k p Is constant regardless of time. Equation (6) can be rewritten as Equation (7) as follows.
ところで、時刻tとt+Δtでの対象物pの俯瞰映像上の位置ベクトルxp =[xp (t),yp (t),0]T 、ベクトルxp =[xp (t+Δt),yp (t+Δt),0]T は、係数kp は時間によらず一定となるため、式(5)より以下の式(8)のように与えられる。 By the way, the position vector x p = [x p (t), y p (t), 0] T on the bird's-eye view image of the object p at time t and t + Δt, the vector x p = [x p (t + Δt). , Y p (t + Δt), 0] T is given by the following equation (8) from equation (5) because the coefficient k p is constant regardless of time.
時刻t+Δtでの対象物pの俯瞰映像上の位置ベクトルxp (t+Δt)=[xp (t+Δt),yp (t+Δt),0]T を、式(7),(8)に代入すると、式(9)に示すようになる。 A position vector x p (t + Δt) = [x p (t + Δt), y p (t + Δt), 0] T on the bird's-eye view image of the object p at time t + Δt is expressed by Equation (7). , (8), the result is as shown in equation (9).
この結果、時刻tとt+Δtでの対象物pの俯瞰映像上の位置ベクトルxp (t)=[xp (t),yp (t),0]T 、ベクトルxp (t+Δt)=[xp (t+Δt),yp (t+Δt),0]T には、以下の関係式(10)が成立する。 As a result, the position vector x p (t) = [x p (t), y p (t), 0] T on the bird's-eye view image of the object p at the times t and t + Δt, the vector x p (t + Δt) = [x p (t + Δt), y p (t + Δt), 0] The following relational expression (10) holds for T.
さて、対象物pのカメラに対する相対運動は、実際には対象物pは静止物であり、カメラが移動して生じたものとする。つまり、自車両の動きによって生じたものとする。また、俯瞰映像に映る静止物中の特徴点は、対象物pの他に、全部でP個あったとする。
このとき、静止物に対する相対運動は共通であるため、時刻tとt+Δtでの特徴点の俯瞰映像上の位置ベクトルxp (t)=[xp (t),yp (t),0]T 、ベクトルxp (t+Δt)=[xp (t+Δt),yp (t+Δt),0]T 、1<p<Pは式(10)より以下のように式(11)で与えられる。
Now, it is assumed that the relative motion of the object p with respect to the camera is caused by the fact that the object p is a stationary object and the camera moves. In other words, it is caused by the movement of the host vehicle. Further, it is assumed that there are P feature points in the stationary object shown in the overhead view video in addition to the object p.
At this time, since the relative motion to the stationary object is common, the position vector x p (t) = [x p (t), y p (t), 0] T , vector x p (t + Δt) = [x p (t + Δt), y p (t + Δt), 0] T , 1 <p <P is obtained from equation (10) as follows: It is given by (11).
式(11)は以下のように式(12)に書き換えることができる。 Equation (11) can be rewritten as Equation (12) as follows.
ここで、次に示す式(13)、式(14)であり、ベクトルm(t+Δt)、n(t+Δt)およびcx (t+Δt)、cy (t+Δt)は時刻tから時刻t+Δtでのカメラと対象物との回転運動と併進運動の相対運動を示し、ベクトルsp (t)は式(4)から実質上は時刻tでの特徴点pの3次元実空間上の位置と見なすことができる。 Here, the following expressions (13) and (14) are satisfied , and the vectors m (t + Δt), n (t + Δt), c x (t + Δt), and cy (t + Δt) are times. It shows the relative movement rotational motion and the translational motion of the camera and the object at time t + Delta] t from t, the vector s p (t) is the three-dimensional feature point p at substantially time t from equation (4) It can be regarded as a position in real space.
ところで、時刻tから時刻t+2Δtでのカメラと対象物との相対運動情報m(t+2Δt)、n(t+2Δt)、cx (t+2Δt)、cy (t+2Δt)を得たならば、時刻t+2Δtでの、俯瞰映像上の特徴点の位置ベクトルxp (t+2Δt)=[xp (t+2Δt),yp (t+2Δt),0]T 、1<p<Pは式(12)より、以下のように式(15)で与えられる。 By the way, relative motion information m (t + 2Δt), n (t + 2Δt), c x (t + 2Δt), and c y (t + 2Δt) between the camera and the object from time t to time t + 2Δt are obtained. If obtained, the position vector x p (t + 2Δt) = [x p (t + 2Δt), y p (t + 2Δt), 0] T at the time t + 2Δt, 1 <p <P is given by equation (15) as follows from equation (12).
式(12)、(15)をまとめると、次に示す式(16)となる。 When formulas (12) and (15) are put together, formula (16) shown below is obtained.
今、時間間隔Δtで時刻tからt+FΔtにわたり、俯瞰映像上において、全部でP個の特徴点の位置が観測されたとする。なお、この観測は特徴点抽出・追跡にて行う。すると式(16)を拡張して、以下の関係式(17)が得られる。 Now, it is assumed that the positions of P feature points in total are observed on the bird's-eye view video from time t to t + FΔt at time interval Δt. This observation is performed by extracting and tracking feature points. Then, equation (16) is expanded to obtain the following relational equation (17).
式(17)が俯瞰映像上の3次元物体の動きの数式モデルである。
なお、式(17)は以下に示す式(18)のように行列の積として書き換えることができる。
Expression (17) is a mathematical model of the movement of the three-dimensional object on the overhead view video.
Equation (17) can be rewritten as a matrix product as shown in Equation (18) below.
ここで、行列W、M、Sは以下に示す式(19)のように与えられ、行列Wは特徴点抽出・追跡で得られた時刻tからt+FΔtの俯瞰映像上の各特徴点の位置を示し、行列Mは時刻tからt+FΔtの相対運動を示し、行列Sは時刻tでの各特徴点の3次元実空間上の位置を示す。 Here, the matrices W, M, and S are given as shown in the following equation (19), and the matrix W represents the feature points on the overhead video from time t to t + FΔt obtained by feature point extraction / tracking. The matrix M represents the relative motion from time t to t + FΔt, and the matrix S represents the position of each feature point in the three-dimensional real space at time t.
式(18)の関係式を利用して、俯瞰映像上の特徴点の位置の変化から、相対運動と3次元実空間の位置を得る。 Using the relational expression of Expression (18), the relative motion and the position of the three-dimensional real space are obtained from the change of the position of the feature point on the overhead image.
次に、モデル推定方法の概略について説明する。
式(18)に示すW=MSより、俯瞰映像上の特徴点の位置の変化を示す行列Wから、相対運動を示す行列Mと3次元形状を示す行列Sに分割するには以下の手順で行う。
式(19)より、行列Wは2F×Pの大きさの行列である。行列Mは、ベクトルm、nが2次元であるため2F×3の大きさの行列であり、行列Sはベクトルsが3次元であるため3×Pの大きさの行列である。つまり、行列Wは階数3の行列である。そこで、以下のように、一旦、行列Wに対して特異値分解を行う。
Next, an outline of the model estimation method will be described.
In order to divide the matrix W indicating the change of the position of the feature point on the overhead view video into the matrix M indicating the relative motion and the matrix S indicating the three-dimensional shape from W = MS shown in Expression (18), the following procedure is used. Do.
From Equation (19), the matrix W is a matrix having a size of 2F × P. The matrix M is a 2F × 3 matrix because the vectors m and n are two-dimensional, and the matrix S is a 3 × P matrix because the vector s is three-dimensional. That is, the matrix W is a
ここで、Uは2F×Hの直交行列、ΣはH×Hの対角行列、VT はH×Pの直交行列であり、HはH=min{2F,P}と与えられる。また、Σの対角要素は
σ1 >σ2 >…σp と降順に並んでいるとする。
行列Wは階数3の行列となるため、σ4 以降はノイズ成分とみなせることより、式(21)に示すように行列Uの3列分を抽出する。
Here, U is a 2F × H orthogonal matrix, Σ is a H × H diagonal matrix, VT is a H × P orthogonal matrix, and H is given as H = min {2F, P}. Further, it is assumed that diagonal elements of Σ are arranged in descending order as σ 1 > σ 2 >... Σ p .
Since the matrix W is a matrix of
ここから、式(22)に示すように仮の分解結果を得ることができる。 From this, a temporary decomposition result can be obtained as shown in equation (22).
次に拘束行列の計算を行う。式(22)の分解結果は図14の(式1)を満たすが、得られた図14の行列(1)は、一般には図14の(式2)を満たさない。例えば、適当な3×3の大きさの行列Aを用いて、図14の(行列1)を以下に示す式(23)のように変換しても、W=MSを満たしてしまう。つまり、行列Aを適切に選択する必要がある。
Next, the constraint matrix is calculated. The decomposition result of Expression (22) satisfies (Expression 1) of FIG. 14, but the obtained matrix (1) of FIG. 14 generally does not satisfy (Expression 2) of FIG. For example, even if (matrix 1) in FIG. 14 is converted as shown in the following equation (23) using a
行列Aを適切に選択するため、以下の拘束条件を導入する。
(a)回転成分の拘束条件
式(19)より行列Mは以下の式(24)で示すように構成される。
In order to select the matrix A appropriately, the following constraint conditions are introduced.
(A) From the constraint equation (19) of the rotation component, the matrix M is configured as shown by the following equation (24).
ここで、ベクトルmnは式(13)を例に示すとおり、回転成分を示すため、以下の拘束条件が存在する。 Here, since the vector mn indicates a rotational component as shown in the equation (13), the following constraint condition exists.
(b)路面の拘束条件
式(19)より行列Sは以下のように構成される。
(B) Road surface constraint condition From equation (19), the matrix S is constructed as follows.
また、ベクトルSP (t)は式(14)よりSP (t)=[xp (t) yp (t) kp ]T であり、kp はkp =H/(H-Zp )と与えられる。ここで、kp はZp <Hの条件で、Zp が増加すれば、kp も増加する。つまり対象物がカメラより下にある限り、対象物が高ければ高いほど、kp は大きな値を有する。
kp が最小となるのは、対象物が路面にあるとき、つまりZp =0であり、そのときkp =1となる。俯瞰映像は常時路面を撮影しているため、俯瞰映像上には、kp =1を満たす特徴点が必ず存在する。すなわち、kp に対して以下の拘束条件が存在する。
Further, the vector S P (t) is S P (t) = [x p (t) y p (t) k p ] T from the equation (14), and k p is k p = H / (H−Z p ). Here, k p is a condition of Z p <H, and if Z p increases, k p also increases. That is, as long as the object is below the camera, the higher the object, the greater the value of k p .
k p is minimized when the object is on the road surface, that is, Z p = 0, and then k p = 1. Since the bird's-eye view video always shoots the road surface, there is always a feature point that satisfies k p = 1 on the bird's-eye view video. That is, the following constraints exist for k p.
以上、式(25)および式(27)を満たすように、行列Aを定めればよい。 As described above, the matrix A may be determined so as to satisfy the expressions (25) and (27).
次に動作について説明する。
図6は、この実施の形態の車両周辺監視装置における障害物検知を説明するための対象物の三次元空間座標と俯瞰画像上の位置との関係を示す説明図である。
図6に示すように、カメラ201はz軸上の高さHの位置に配置されている。図6において、符号300は対象物を示しその三次元空間座標は[Xp ,Yp ,Zp ]Tである。また、符号301は俯瞰画像上の対象物映像であり、その三次元空間座標は[xp ,yp ,0]Tである。また、符号302は撮像された対象物が含まれた平面的な俯瞰映像を示している。
対象物と自車両とが相対速度[VX,VY]T、ヨーレートωで相対運動をしていたとき、上述した式(2)で示す関係が成立する。
式(2)のベクトルm(t+Δt)、n(t+Δt)は相対速度とヨーレートとを格納する相対運動であり、ベクトルSPは上述した式(1)から、特徴点Pの三次元座標への変換が一意に可能である。
この実施の形態では、式(1)および式(2)の関係を用いて、俯瞰画像上の特徴点Pを三次元座標へ変換し、自車両に対する立体物を判定して障害物の検知を行う。そして、前記検知した障害物が前記俯瞰画像上の前記共通領域内にあってその画像が俯瞰画像上で全体表示されていない場合、前記障害物の予想軌跡から前記障害物をより広範囲に写すことのできるカメラの画像を優先させ、前記障害物全体が表示されるように前記俯瞰画像の境界線を変更し、俯瞰画像を再表示する。
また、前記検知した障害物が自車両の予想経路上にあるか否かを判定し、予想経路上にある場合には表示や音で注意喚起し、さらに急なアクセル操作があると急加速を抑制するエンジン制御を実現する。
Next, the operation will be described.
FIG. 6 is an explanatory diagram showing the relationship between the three-dimensional spatial coordinates of the object and the position on the overhead image for explaining the obstacle detection in the vehicle periphery monitoring apparatus of this embodiment.
As shown in FIG. 6, the
When the object and the vehicle are moving relative to each other at the relative speed [V X , V Y ] T and the yaw rate ω, the relationship expressed by the above equation (2) is established.
The vectors m (t + Δt) and n (t + Δt) in equation (2) are relative motions that store the relative velocity and yaw rate, and the vector SP is obtained from the above equation (1) to the three-dimensional coordinates of the feature point P. Conversion is possible uniquely.
In this embodiment, using the relationship of Expression (1) and Expression (2), the feature point P on the bird's-eye view image is converted into three-dimensional coordinates, and a solid object with respect to the host vehicle is determined to detect an obstacle. Do. When the detected obstacle is in the common area on the overhead image and the image is not entirely displayed on the overhead image, the obstacle is copied more widely from the expected locus of the obstacle. Priority is given to the image of the camera which can perform, the boundary line of the bird's-eye view image is changed so that the whole obstacle is displayed, and the bird's-eye view image is displayed again.
Also, it is determined whether or not the detected obstacle is on the predicted route of the host vehicle. If the detected obstacle is on the predicted route, a warning is given by a display or sound. The engine control which suppresses is realized.
以下、図9に示すフローチャートを参照し、この実施の形態の車両周辺監視装置における障害物の検知と、前記障害物全体が表示されるように前記俯瞰画像の境界線を変更し、俯瞰画像を再表示するときの動作について説明する。
図2に示すように前方カメラ1、後方カメラ2、右カメラ3および左カメラ4によりそれぞれ撮像された画像は、視点変換部21,22,23,24により視点変換され、さらに俯瞰画像合成処理部31により画像合成され俯瞰画像が生成される。この俯瞰画像は、一定の時間間隔Δtごとに生成され俯瞰画像合成処理部31から出力される(ステップS1)。俯瞰画像合成処理部31から出力された俯瞰画像は俯瞰画像表示部56によりディスプレイ57へ表示出力される。一方、また、俯瞰画像合成処理部31から出力された俯瞰画像は特徴点抽出部41へ供給され特徴点Pが抽出される(ステップS2)。特徴点抽出部41における特徴点Pの抽出は、たとえば画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点Pとして抽出する。
Hereinafter, with reference to the flowchart shown in FIG. 9, the obstacle detection in the vehicle periphery monitoring device of this embodiment, and the boundary line of the overhead image is changed so that the entire obstacle is displayed, The operation when redisplaying will be described.
As shown in FIG. 2, the images captured by the
図7は、この実施の形態の車両周辺監視装置における時刻tと時刻t+FΔtにおける俯瞰画像の一例を示す説明図である。図7において符号Pは特徴点抽出部41において抽出される特徴点を示している。
図7(A)、(B)に示されているように、特徴点抽出部41において抽出された特徴点Pがどのような動きをするかを特徴点追跡処理部42において追跡処理する。
この特徴点追跡処理部42の追跡処理は次のように行う。
つまり、図7(A)に示す時刻tにおける俯瞰画像上の特徴点Pと、同図(B)に示す時刻t+FΔtにおける俯瞰画像上の特徴点Pとの位置関係から、特徴点Pがどのような動きをしてどのような位置へ移動したかを追跡処理する(ステップS3)。
この特徴点Pの追跡処理では、特徴点Pのオプティカルフローを計算することで、その動きベクトルを求める。
図8は、図7に示す俯瞰画像から抽出した特徴点の動きベクトルを示す説明図である。
特徴点Pのオプティカルフローの計算処理は次のように行う。
所定の周期、時間間隔で撮像された前記俯瞰画像上の、互いに共通する特徴点Pの座標変化を検出し、その特徴点Pが移動しているか否か、座標が変化している場合には、特徴点Pの移動、座標変化の向きとその大きさがどの程度かをそれぞれ計算する。
FIG. 7 is an explanatory diagram showing an example of an overhead view image at time t and time t + FΔt in the vehicle periphery monitoring device of this embodiment. In FIG. 7, a symbol P indicates a feature point extracted by the feature
As shown in FIGS. 7A and 7B, the feature point
The tracking process of the feature point
That is, what is the feature point P from the positional relationship between the feature point P on the overhead image at time t shown in FIG. 7A and the feature point P on the overhead image at time t + FΔt shown in FIG. A tracking process is performed to determine the position of the movement (step S3).
In the tracking process of the feature point P, the motion vector is obtained by calculating the optical flow of the feature point P.
FIG. 8 is an explanatory diagram showing motion vectors of feature points extracted from the overhead image shown in FIG.
The calculation process of the optical flow of the feature point P is performed as follows.
When a coordinate change of a feature point P that is common to each other is detected on the overhead image captured at a predetermined period and time interval, whether the feature point P is moving or not, Then, the movement of the feature point P, the direction of the coordinate change and the extent of the magnitude are calculated.
次に、三次元計測処理部43において、式(2)を用いて俯瞰画像上の特徴点Pの位置の変化から自車両と特徴点Pとの相対運動情報と、前記特徴点Pの三次元座標情報を算出する(ステップS4)。
さらに、障害物検知処理部44において、前記三次元計測処理部43で算出した前記相対運動情報と前記三次元座標情報とから障害物を検知する(ステップS5)。
Next, in the three-dimensional
Further, the obstacle
ここで、三次元計測処理部43の三次元計測処理および障害物検知処理部44の障害物検知処理についてさらに説明する。
図12は、俯瞰画像から得られた立体物の三次元情報と相対運動情報とから検知した自車両101に対する距離による障害物エリアAと、衝突予想時間による障害物エリアBとを示す説明図である。
図13は、この実施の形態の車両周辺監視装置における三次元計測処理部43、障害物検知処理部44および予想経路判定処理部51の動作を示すフローチャートである。
図15は予想経路判定処理部51において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部53の動作説明図である。
図16、図17は、予想経路判定処理部51において判定される自車両の予想経路、特徴点の予想軌跡に応じた警告出力制御部53および俯瞰画像表示部56の動作説明図である。
三次元計測処理部43の三次元計測処理では、俯瞰画像上の特徴点の三次元座標情報と、前記特徴点と自車両11との相対運動情報とを前述したように式(1)および式(2)から算出する(ステップS41)。
この特徴点の三次元座標情報は、三次元位置行列Sとして求められ(ステップS42)、また前記特徴点と自車両101との相対運動情報とは、相対運動行列Mとして求められる(ステップS43)。
そして、三次元位置行列Sとして求めた特徴点の三次元座標情報に対してはz軸方向の高さによる閾値処理を行う(ステップS44)。
この閾値処理では、z軸方向の高さ情報が零でなくある値を有している特徴点を所定の高さ基準値をもとに障害物候補特徴点とし(ステップS45)、またz軸方向の高さ情報が零である特徴点を非障害物特徴点とする(ステップS46)。
そして、前記障害物候補特徴点については、その特徴点の三次元座標情報をもとに自車両101との間の距離が明らかになることから、自車両101と障害物候補特徴点との間の距離に対し所定の距離基準値をもとに閾値処理を行う(ステップS47)。そして、遠距離障害物特徴点と近距離障害物特徴点とに識別を行う(ステップS48、ステップS49)。
近距離障害物特徴点として識別した特徴点は、例えば図12に示す障害物エリアAに含まれる特徴点である。
Here, the three-dimensional measurement processing of the three-dimensional
FIG. 12 is an explanatory diagram showing an obstacle area A based on the distance to the
FIG. 13 is a flowchart showing the operations of the three-dimensional
FIG. 15 is an operation explanatory diagram of the warning
16 and 17 are explanatory diagrams of operations of the warning
In the three-dimensional measurement process of the three-dimensional
The three-dimensional coordinate information of the feature points is obtained as a three-dimensional position matrix S (step S42), and the relative motion information between the feature points and the
Then, threshold processing based on the height in the z-axis direction is performed on the three-dimensional coordinate information of the feature points obtained as the three-dimensional position matrix S (step S44).
In this threshold value processing, feature points having a value whose height information in the z-axis direction is not zero are determined as obstacle candidate feature points based on a predetermined height reference value (step S45). A feature point whose direction height information is zero is set as a non-obstacle feature point (step S46).
And about the said obstacle candidate feature point, since the distance between the
The feature points identified as short-distance obstacle feature points are, for example, feature points included in the obstacle area A shown in FIG.
また、遠距離障害物特徴点として識別した特徴点については、ステップS43において求めた相対運動行列Mをもとに、衝突予想時間に対し所定の衝突予想時間基準値をもとに閾値処理を行う(ステップS51)。そして、低危険度障害物特徴点と早期到達障害物特徴点とに識別する(ステップS52、ステップS53)。
早期到達障害物特徴点は、例えば図12に示す障害物エリアBに含まれる特徴点である。
続くステップS61、ステップS62、ステップS71、ステップS72、ステップS81は予想経路判定処理部51における自車両の予想経路、特徴点の予想軌跡の判定処理を示している。
予想経路判定処理部51では自車両の予想経路、特徴点の予想軌跡の判定結果をもとに警告を出力するか否か、どのカメラの画像を優先させ、俯瞰画像の境界線を変更するかを判定する。
警告出力制御部53では、図15に示すように予想経路判定処理部51の前記判定結果をもとに警告出力の制御を行い、俯瞰画像表示部56では、図16、図17に示すように予想経路判定処理部51の前記判定結果をもとに俯瞰画像の境界線を変更する。
すなわち、予想経路判定処理部51は、自車両の車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む状態情報と、前記三次元計測処理部43で算出された前記特徴点の相対運動情報とをもとに、自車両の予想経路および前記特徴点の予想軌跡の判定を行い、予想経路上障害物判定処理部52は、予想経路判定処理部51で判定した自車両の予想経路上に、同じく予想経路判定処理部51で予想軌跡が判定され、障害物検知処理部44で障害物として検知された特徴点が位置しているか否かを判定する。
For the feature points identified as long-distance obstacle feature points, threshold processing is performed based on a predetermined expected collision time reference value for the expected collision time based on the relative motion matrix M obtained in step S43. (Step S51). Then, the feature points are identified as low-risk obstacle feature points and early-arrival obstacle feature points (steps S52 and S53).
The early-arrival obstacle feature points are, for example, feature points included in the obstacle area B shown in FIG.
Subsequent Step S61, Step S62, Step S71, Step S72, and Step S81 show processing for determining the predicted route of the host vehicle and the predicted trajectory of the feature point in the predicted route
The predicted route
The warning
That is, the predicted route
また、図17に示すように、特徴点、障害物が同じ相対運動であっても、特徴点、障害物と自車両との位置関係によって警告を出力するか否か、俯瞰画像の境界線の変更についての判定結果は異なってくる。
したがって、予想経路判定処理部51は、自車両の車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む状態情報と、三次元計測処理部43で算出された前記特徴点の相対運動情報と、自車両と前記特徴点との位置関係とをもとに、自車両の予想経路および前記特徴点の予想軌跡の判定を行い、予想経路上障害物判定処理部52は、予想経路判定処理部51で判定した自車両の予想経路上に、同じく予想経路判定処理部51で予想軌跡が判定され、障害物検知処理部44で障害物として検知された特徴点が位置しているか否かを判定する。
In addition, as shown in FIG. 17, even if a feature point and an obstacle have the same relative motion, whether or not a warning is output depending on the positional relationship between the feature point and the obstacle and the host vehicle, Judgment results for changes vary.
Therefore, the predicted route
図9のフローチャートに戻り、前記検知した障害物について障害物表示領域判定部45により俯瞰画像上の前記障害物が、図2に示す共通領域126,127,128,129のうちのどの共通領域に含まれているかを、前記障害物の特徴点から判定する(ステップS6)。
障害物表示領域判定部45により、前記障害物の特徴点が共通領域126,127,128,129のいずれかの共通領域、たとえば共通領域129に含まれていると判定されると、カメラ画像優先処理部46は、次のように動作する。
カメラ画像優先処理部46は、三次元計測処理部43において算出した自車両と前記障害物の特徴点Pとの相対運動情報と、前記障害物の特徴点Pの三次元位置情報とから、時間Δtが経過したときの前記障害物の特徴点Pの三次元位置、予想軌跡を算出する。
そして、前記障害物の特徴点が含まれていると判定された共通領域129を互いに共通する視野領域とする前方カメラ1と左カメラ4について、前記算出した三次元位置において前記障害物が写っているか否かを一定の経過時間を想定して前記障害物の特徴点について判定する。
そして、前記想定した一定の経過時間での前方カメラ1にしか写っていない前記特徴点の重み付け平均と、左カメラ4にしか写っていない前記特徴点の重み付け平均との大小関係から、前記障害物をより広範囲に写すことのできるカメラの画像を決定する。
さらに、前記障害物全体が表示されるように、前記俯瞰画像の共通領域について前記決定したカメラの画像を優先させ、俯瞰画像の境界線を変更する(ステップS7)。
そして、俯瞰画像合成処理部31において前記障害物の全体が含まれる俯瞰画像を再表示する(ステップS8)。
Returning to the flowchart of FIG. 9, the obstacle display
If the obstacle display
The camera image
Then, for the
Then, from the magnitude relationship between the weighted average of the feature points that appear only in the
Further, priority is given to the determined camera image for the common area of the overhead image so that the entire obstacle is displayed, and the boundary line of the overhead image is changed (step S7).
Then, the bird's-eye view image
図3は、俯瞰画像上で障害物の全体が表示されない場合、前記障害物全体が表示されるように前記俯瞰画像の境界線を変更したときの、俯瞰画像の一例を示す説明図である。
図3(A)は障害物の全体が表示されていない俯瞰画像を示し、符号131は全体が表示されていない障害物を示している。
前方カメラ1には全体像がほとんど写らないが、左カメラ4にはその全体像が写る共通領域129に障害物があるとき、一例を示すと図2で符号132で示す位置に障害物が位置している場合について説明する。
このとき、俯瞰画像の境界線で規定される各領域の配置形態が図3(A)に示す構成であると障害物131は俯瞰画像上にその一部が表示されるだけである。
なお、前記俯瞰画像の境界線で規定される各領域とは、図2の前方部分俯瞰画像121、後方部分俯瞰画像122、右側方部分俯瞰画像123、左側方部分俯瞰画像124の領域である。
このような現象は、図2の符号116,117,118,119で示す共有視野領域の周辺の障害物131の位置と、このときの前記部分俯瞰画像の各領域の配置形態とに応じて発生し、図3に示すように障害物131は俯瞰画像上にその一部が表示されるだけとなる。
このため、図2に示す前記共有視野領域をカバーする前記共通領域126,127,128,129に障害物131が位置していると、自車両と前記障害物の特徴点Pとの相対運動情報、前記障害物の三次元位置情報をもとに求めた、一定の経過時間を想定したときの予想軌跡から前記障害物の予想位置を算出する。
そして、前記算出した予想位置の前記障害物が前記共通領域を互いに共通する視野領域とする各カメラに写るか写らないかの予測結果から、前記共通領域について、前記障害物をより広範囲に写すことのできるカメラの部分俯瞰画像を決定する。
さらに、前記共通領域について前記決定したカメラの部分俯瞰画像を優先させ、俯瞰画像を再表示する。
この結果、前方部分俯瞰画像121、後方部分俯瞰画像122、右側方部分俯瞰画像123、左側方部分俯瞰画像124の配置形態が変更され、前記共通領域129について前記障害物をより広範囲に写すことのできる左カメラ4の部分俯瞰画像が優先され、図3(B)に示すように前記障害物の全体が含まれる俯瞰画像が再表示される。
つまり、図3(A)の前記部分俯瞰画像の各領域の配置形態では障害物131はその一部しか俯瞰画像に表示されていないのに対し、同図(B)では障害物131はその全体が表示される。
すなわち、自車両と前記障害物の特徴点Pとの相対運動情報、前記障害物の三次元位置情報をもとに一定の経過時間について想定した前記障害物の予想軌跡から、前記共通領域を互いに共通する視野領域とする各カメラについて“障害物131を写せる”、あるいは“写せない”を予測する。
そして、前記共通領域について、前記予測結果から“障害物131をより広範囲に写せる”と予測したカメラの部分俯瞰画像を優先させ、俯瞰画像の境界を変更する。
FIG. 3 is an explanatory diagram illustrating an example of an overhead image when a boundary line of the overhead image is changed so that the entire obstacle is displayed when the entire obstacle is not displayed on the overhead image.
FIG. 3A shows an overhead image in which the entire obstacle is not displayed, and
When the
At this time, if the arrangement form of each region defined by the boundary line of the overhead image has the configuration shown in FIG. 3A, the
Note that the areas defined by the boundary lines of the overhead image are areas of the front partial
Such a phenomenon occurs according to the position of the
For this reason, if the
Then, from the prediction result of whether or not the obstacle at the calculated predicted position is reflected in each camera having the common area as a common visual field area, the obstacle is copied in a wider range for the common area. To determine a partial overhead view of the camera.
Further, priority is given to the determined partial overhead view image of the camera for the common area, and the overhead view image is redisplayed.
As a result, the arrangement of the front partial
That is, in the arrangement form of each area of the partial overhead image in FIG. 3A, only a part of the
That is, the common area is determined from the predicted trajectory of the obstacle assumed for a certain elapsed time based on the relative motion information between the own vehicle and the feature point P of the obstacle, and the three-dimensional position information of the obstacle. It is predicted that “the
Then, for the common region, priority is given to the partial overhead view image of the camera that is predicted from the prediction result that “the
ここで、俯瞰画像の境界線を変更するためのカメラ画像優先処理についてさらに説明する。
このカメラ画像優先処理は、共通領域に位置する障害物と判定された画像から抽出された複数の特徴点に対し、その予想軌跡、時刻変化をもとに、前記共通領域を互いに共通する視野領域とする各カメラについて“前記特徴点が写る/写らない”を予測し、その予測結果を得る。
前記予想軌跡、時刻変化は、三次元計測処理部43において得られた相対運動情報による一定の経過時間を想定したときの予想軌跡と時刻変化である。
そして、この予測結果から、前記特徴点が抽出された障害物131の全体像、あるいは、より広範囲に前記障害物を写している左カメラ4による左側方部分俯瞰画像124を優先させ、フィードフォワード的に俯瞰画像の繋ぎ目、境界線を変更する。
このための処理手順は次のようなものである。
まず、特徴点iがカメラAとカメラBの共有視野範囲にあるとして、三次元計測結果から特徴点iの三次元位置をベクトルXi =[Xi ,Yi ,Zi ]とし、ベクトルV=[Vx ,Vy ],ωを相対速度およびヨーレートとする(ステップS21)。次に、相対運動情報V,ωと三次元位置から、計測してから時間tだけ経過したときの特徴点iの三次元位置ベクトルX´i (t)=[X´i (t),Y´i (t),Z´i (t)]を求める(ステップS22)。
さらに、時刻tでの特徴点iの三次元座標ベクトルX´i (t)から、時刻tでのカメラAおよびカメラBによる特徴点iの俯瞰画像上の位置ベクトルx(a) i (t),ベクトルx(b) i (t)を求める(ステップS23)。
そして、ベクトルx(a) i (t),ベクトルx(b) i (t)から、特徴点iがカメラA、カメラBの俯瞰画像に映っているかいないかを判定し、式(28)、(29)で示す関数Ra (ベクトルx(a) i (t)),Rb (ベクトルx(b) i (t))を得る(ステップS24)。ここで関数Ra (ベクトルx(a) i (t)),Rb (ベクトルx(b) i (t))は見えやすさに応じて“0”以上“1”以下の実数を与えてもよい。
次に、関数Ra (ベクトルx(a) i (t)),Rb (ベクトルx(b) i (t))から、特徴点iがカメラAにしか映っていないことを示す式(30)で示す関数Sa (ベクトルx(a) i (t))と、カメラBにしか映っていないことを示す式(31)で示すSb (ベクトルx(b) i (t))を得る(ステップS25)。
続いて、関数Sa (ベクトルx(a) i (t))とSb (ベクトルx(b) i (t))とから、式(32)で示す計測してから時間T経過するまでのカメラAにしか映っていない特徴点数の重み付け平均Na と、式(33)で示すカメラBにしか映っていない特徴点数の重み付け平均Nb を求める。ここでw(t)はw(0)=1,w(T)=0を満たす、時間経過に応じて減少する重み関数である(ステップS26)。
そして、Na とNb の大小関係から、Na >Nb のとき共通領域にはカメラAの俯瞰画像を使用する。また、Na =Nb のとき共通領域にはカメラAとカメラBのうちのデフォルト値として定めたカメラの俯瞰画像を使用する。また、Na <Nb のとき共通領域にはカメラBの俯瞰画像を使用する。
なお、共通領域はカメラA、カメラBの俯瞰画像の輝度の重み付け合成するようにしてもよい。すなわち、Na /Nb >kのとき共通領域はカメラAの俯瞰画像を適用する。また、1/k≦Na /Nb ≦kのとき共通領域はカメラA、カメラBの俯瞰画像の重み付け平均を適用する。この俯瞰画像の重み付け平均は、式(34)、式(35)に示すようになる。このときIa がカメラAの俯瞰画像、Ib がカメラBの俯瞰画像であり、kはk>1を満たす適当な定数であり、Iは合成後の俯瞰画像である。また、Na /Nb <1/kのとき共通領域はカメラBの俯瞰画像を適用する。
Here, the camera image priority process for changing the boundary line of the overhead image will be further described.
This camera image priority processing is a visual field region in which the common region is shared by a plurality of feature points extracted from an image determined as an obstacle located in the common region based on the expected trajectory and time change. Is predicted for each camera, and the prediction result is obtained.
The expected trajectory and time change are the expected trajectory and time change when a certain elapsed time is assumed based on the relative motion information obtained in the three-dimensional
Then, from this prediction result, priority is given to the whole image of the
The processing procedure for this is as follows.
First, assuming that the feature point i is in the shared visual field range of the camera A and the camera B, the three-dimensional position of the feature point i is set as a vector X i = [X i , Y i , Z i ] from the three-dimensional measurement result, and the vector V = [V x , V y ], ω is a relative speed and a yaw rate (step S21). Next, the three-dimensional position vector X ′ i (t) = [X ′ i (t), Y of the feature point i when the time t has elapsed since the measurement from the relative motion information V, ω and the three-dimensional position. ' I (t), Z' i (t)] is obtained (step S22).
Further, from the three-dimensional coordinate vector X ′ i (t) of the feature point i at time t, the position vector x (a) i (t) on the overhead image of the feature point i by the camera A and camera B at time t. , Vector x (b) i (t) is obtained (step S23).
Then, it is determined from the vectors x (a) i (t) and the vectors x (b) i (t) whether or not the feature point i is reflected in the overhead images of the camera A and the camera B, and Expression (28), Functions R a (vector x (a) i (t)) and R b (vector x (b) i (t)) shown in (29) are obtained (step S24). Here, the functions R a (vector x (a) i (t)) and R b (vector x (b) i (t)) give a real number of “0” or more and “1” or less depending on the visibility. Also good.
Next, from the functions R a (vector x (a) i (t)), R b (vector x (b) i (t)), an expression (30) indicating that the feature point i is reflected only in the camera A ) To obtain a function S a (vector x (a) i (t)) represented by () and S b (vector x (b) i (t)) represented by equation (31) indicating that only the camera B is reflected. (Step S25).
Subsequently, from the function S a (vector x (a) i (t)) and S b (vector x (b) i (t)) until the time T elapses after the measurement shown in the equation (32). A weighted average N a of the number of feature points reflected only in the camera A and a weighted average N b of the number of feature points reflected only in the camera B shown in Expression (33) are obtained. Here, w (t) is a weighting function that satisfies w (0) = 1 and w (T) = 0 and decreases with time (step S26).
From the magnitude relationship between N a and N b , the overhead image of camera A is used for the common area when N a > N b . When N a = N b , a camera overhead image determined as a default value of the cameras A and B is used for the common area. When N a <N b , the overhead image of the camera B is used for the common area.
The common area may be weighted and combined with the luminance of the overhead images of the cameras A and B. That is, when N a / N b > k, the overhead image of camera A is applied to the common area. When 1 / k ≦ N a / N b ≦ k, the weighted average of the overhead images of the cameras A and B is applied to the common area. The weighted average of the bird's-eye view image is as shown in Expression (34) and Expression (35). At this time, Ia is an overhead image of camera A, Ib is an overhead image of camera B, k is an appropriate constant that satisfies k> 1, and I is an overhead image after synthesis. When N a / N b <1 / k, the overhead image of camera B is applied to the common area.
次に、図10に示すフローチャートを参照し、自車両の予想経路上に障害物があるときの警告表示あるいは警告音による注意喚起と、急なアクセル操作に対する急加速抑制動作について説明する。
なお、図10において図9と同一または相当の処理については同一の符号を付し説明を省略する。
ステップS1、ステップS2、ステップS3、ステップS4およびステップS5の各処理については図9の説明と同等である。
続く予想経路判定処理では、予想経路判定処理部51において自車両の車両情報から一定の時間Δt経過後の自車両101の位置、車速、進行方向、向きを含む状態情報、車両101の予想軌跡を計算し、予想経路151を判定する(ステップS16)。
なお、前記車両情報は、現在の車速、ハンドル操作角、トランスミッションのシフト位置、アクセル開度、車両寸法の全て、あるいはいづれか1つを含む。
続いて予想経路上障害物判定処理部52において、障害物検知処理部44で検知した障害物について前記予想経路151上にあるか否かを判定する(ステップS17)。
この予想経路上にあるか否かの判定は、三次元計測処理部43において前記障害物の特徴点の三次元位置情報が得られていることから、この特徴点の三次元位置情報が前記予想経路151内に含まれるか否かを判定することで可能になる。
Next, with reference to a flowchart shown in FIG. 10, a warning display or alerting by a warning sound when there is an obstacle on the predicted route of the host vehicle, and a rapid acceleration suppression operation for a sudden accelerator operation will be described.
In FIG. 10, the same or equivalent processes as those in FIG. 9 are denoted by the same reference numerals and description thereof is omitted.
Each process of step S1, step S2, step S3, step S4 and step S5 is equivalent to the description of FIG.
In the subsequent predicted route determination process, the predicted route
The vehicle information includes all or one of the current vehicle speed, steering wheel operation angle, transmission shift position, accelerator opening, and vehicle dimensions.
Subsequently, the obstacle
The determination as to whether or not the route is on the predicted path is based on the fact that the three-dimensional position information of the feature point of the obstacle is obtained by the three-dimensional
図4は、共通領域内に位置している障害物が予想経路151内に含まれるときの俯瞰画像を示す説明図である。
図4に示すように、障害物131が共通領域129内に位置していると、カメラ画像優先処理部46は前記共通領域129にある特徴点に対し、三次元計測処理部43において得られた相対運動情報をもとに一定の経過時間を想定したときの予想軌跡を求める。
そして、時刻変化をもとに、前記共通領域129を互いに共通する視野領域とする各カメラについて“障害物131を写せる”、あるいは“写せない”との予測結果を得る。
さらに、前記障害物131の全体像が映し出されるように、前記予測結果をもとに、前記各カメラについて前記障害物131をより広範囲に写すことの出来るカメラを決定する。
図4に示す例では、共通領域129を互いに共通する視野領域とするカメラは前方カメラ1と左カメラ4であり、障害物131をより広範囲に写すことの出来るカメラは左カメラ4である。
そして、前記共通領域の俯瞰画像として左カメラ4による左側方部分俯瞰画像124を優先させる。
図4に示す俯瞰画像では、さらに障害物131が予測経路151内に位置していると、予想経路上障害物判定処理部52において障害物が予想経路151上にあると判定され、警告出力制御部53は、警告音出力部54によりブザー55を駆動させ警報音を出力する。
さらに、警告出力制御部53は、俯瞰画像表示部56によりディスプレイ57へ警告を表示させる(ステップS18)。
FIG. 4 is an explanatory diagram showing an overhead image when an obstacle located in the common area is included in the predicted
As shown in FIG. 4, when the
Based on the time change, a prediction result that “the
Further, a camera capable of capturing the
In the example shown in FIG. 4, the cameras that use the
Then, the left partial
In the bird's-eye view image shown in FIG. 4, when the
Further, the warning
図5は、障害物が共通領域外に位置しているときの俯瞰画像を示す説明図である。
図5に示すように障害物が共通領域内に位置していないときには俯瞰画像の境界線の変更は行われず、また警告表示や警告音も出力されない。
続いて、急激なアクセル操作が行われたか否かを判定する(ステップS19)。
この急激なアクセル操作の判定は、たとえばアクセル開度の変化率がある基準値を超えるか超えないかを検出し、前記アクセル開度の変化率がある基準値を超えると急加速アクセル操作判定信号を出力するセンサ回路(アクセル操作検出手段)により実現可能である。
あるいは、キックダウンスイッチの出力をもとに検出することも可能である。
そして、障害物検知処理部44で検知した障害物が予想経路151上にあると判定されると、急加速抑制制御部59は、前記センサ回路から出力された急加速アクセル操作判定信号をもとにエンジンECU60へ急加速抑制要求を出力し、車両の急加速を抑制する(ステップS20)。
この結果、障害物が予想経路151上にあると急激なアクセル操作が行われても車両の急加速が抑制される。
FIG. 5 is an explanatory diagram showing an overhead image when the obstacle is located outside the common area.
As shown in FIG. 5, when the obstacle is not located in the common area, the boundary line of the overhead image is not changed, and a warning display and a warning sound are not output.
Subsequently, it is determined whether or not a rapid accelerator operation has been performed (step S19).
This rapid accelerator operation determination is performed, for example, by detecting whether the rate of change of the accelerator opening exceeds a certain reference value, and when the rate of change of the accelerator opening exceeds a certain reference value, a rapid acceleration accelerator operation determination signal Can be realized by a sensor circuit (accelerator operation detecting means) that outputs.
Alternatively, it can be detected based on the output of the kick-down switch.
When it is determined that the obstacle detected by the obstacle
As a result, when the obstacle is on the expected
ここで特徴点抽出処理部41における特徴点Pの抽出についてさらに説明を行う。
図11は、俯瞰画像上の画像の一例を示す説明図である。
例えばカメラによって撮像された俯瞰画像上の画像が図11に示すように画像データの左上を原点として横軸をx軸、縦軸をy軸と定めた座標上にあるものとする。
まず特徴点抽出処理部3は、図18に示すように画像Iのx軸およびy軸方向に対する偏微分Aおよび偏微分Bをそれぞれ求める。次いでこの画像Iでの全ての画素における空間配列行列を求める。
そして特徴点抽出処理部4は、空間配列行列に対する固有値λmin(p)およびλmax(p)を計算し、特徴を有すると認められる所定の値を抽出して特徴点と定める。
Here, the extraction of the feature point P in the feature point
FIG. 11 is an explanatory diagram illustrating an example of an image on the overhead image.
For example, it is assumed that the image on the bird's-eye view image captured by the camera is on coordinates where the horizontal axis is the x-axis and the vertical axis is the y-axis with the upper left of the image data as the origin as shown in FIG.
First, the feature point
Then, the feature point
次いで上述したようにして得られた俯瞰画像上の画像における特徴点の時間変化を特徴点追跡処理部42が追跡する。
Next, the feature point
従ってこの実施の形態の車両周辺監視装置では、自車両と前記障害物の特徴点Pとの相対運動情報、前記障害物の三次元位置情報をもとに決定した、障害物131全体を写し出すカメラの部分俯瞰画像を優先させた俯瞰画像上へ、本来ほとんど表示されなかった共通領域に位置する障害物の全体像を表示できる。
Therefore, in the vehicle periphery monitoring device of this embodiment, a camera that captures the
この実施の形態によれば、予想経路上に障害物が位置していると、俯瞰画像上で前記障害物を検知し、視覚的あるいは聴覚的に表示や音で運転者に注意を喚起し、さらに急なアクセル操作があると急加速を抑制するエンジン制御を実現できる。 According to this embodiment, when an obstacle is located on the expected route, the obstacle is detected on the overhead image, and the driver is alerted visually or audibly with a display or sound, Furthermore, if there is a sudden accelerator operation, engine control that suppresses sudden acceleration can be realized.
1……前方カメラ(撮像装置)、2……後方カメラ(撮像装置)、3……右カメラ(撮像装置)、4……左カメラ(撮像装置)、21,22,23,24……視点変換部、31……俯瞰画像合成処理部、41……特徴点抽出処理部、42……特徴点追跡処理部、43……三次元計測処理部、44……障害物検知処理部、45……障害物表示領域判定部、46……カメラ画像優先処理部、51……予想経路判定処理部、52……予想経路上障害物判定処理部、53……警告出力制御部(警報出力手段)、54……警告音出力部(警報出力手段)、55……ブザー(警報出力手段)、57……ディスプレイ(警報出力手段)、56……俯瞰画像表示部(俯瞰画像表示手段)、59……急加速抑制制御部、60……エンジンECU、101……自車両(車両)、131……障害物。
DESCRIPTION OF
Claims (7)
前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、
前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、
前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、
前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、
前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、
前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、
前記障害物検知処理部により検知した障害物の位置が前記複数の撮像装置が互いに共通する視野領域とする前記俯瞰画像上の共通領域に含まれるか否かを判定する障害物表示領域判定部と、
前記障害物表示領域判定部で判定された前記共通領域に含まれる障害物についての前記特徴点の予想軌跡と、前記共通領域を互いに共通する前記視野領域とする各撮像装置に、前記予想軌跡で移動する前記障害物が“写る/写らない”の予測結果とをもとに、前記共通領域について前記障害物をより広範囲に写す撮像装置による部分俯瞰画像を優先させた俯瞰画像を前記俯瞰画像合成処理部に再合成させ、前記俯瞰画像表示手段に再表示させるカメラ画像優先処理部と、
を備えたことを特徴とする車両周辺監視装置。 A plurality of imaging devices that are mounted in a plurality of locations of the vehicle and that image the vehicle periphery in different directions from those locations;
An overhead image synthesis processing unit that synthesizes an overhead image centered on the vehicle from an image around the vehicle imaged by each imaging device;
An overhead image display means for displaying the overhead image synthesized by the overhead image synthesis processing unit;
Extracting, as a feature point, a portion having a relatively easy to track position change in the image processing technique, such as an image corner or an image edge on the overhead image synthesized by the overhead image synthesis processing unit. A feature point extraction unit;
A feature point tracking processing unit that tracks a change in the position of the feature point on the overhead image extracted from the time series video of the overhead image by the feature point extraction unit;
Feature point information including three-dimensional coordinate information of the feature point and relative motion information with respect to the vehicle based on a change in the position of the feature point tracked by the feature point tracking processing unit on the overhead image. A three-dimensional measurement processing unit to calculate,
Based on the feature point information calculated by the three-dimensional measurement processing unit, an obstacle detection processing unit that determines whether the image from which the feature point has been extracted is an obstacle,
An obstacle display area determination unit that determines whether or not the position of the obstacle detected by the obstacle detection processing unit is included in a common area on the overhead image as a field of view area common to the plurality of imaging devices; ,
The predicted trajectory of the feature point for the obstacle included in the common area determined by the obstacle display area determination unit and each imaging device that uses the common area as the visual field area common to each other in the predicted trajectory. Based on the prediction result that the moving obstacle is “imaged / not imaged”, the overhead image obtained by giving priority to the partial overhead image by the imaging device that captures the obstacle in a wider range in the common area A camera image priority processing unit that is recombined in the processing unit and redisplayed on the overhead image display unit;
A vehicle periphery monitoring device comprising:
前記予想経路判定処理部で判定した前記車両の予想経路上に、前記障害物検知処理部で検知された障害物が位置しているか否かを判定する予想経路上障害物判定処理部と、
前記予想経路上障害物判定処理部において前記車両の予想経路上に障害物が位置していると判定されると警報を出力する警報出力手段と、
を備えたことを特徴とする請求項1記載の車両周辺監視装置。 A predicted route determination processing unit for determining a predicted route of the vehicle based on the vehicle state information including all of the vehicle speed, the steering wheel operation angle, and the transmission shift position;
An obstacle determination processing unit on the expected route that determines whether or not an obstacle detected by the obstacle detection processing unit is located on the predicted route of the vehicle determined by the predicted route determination processing unit;
An alarm output means for outputting an alarm when it is determined that an obstacle is located on the predicted route of the vehicle in the obstacle determination processing unit on the expected route;
The vehicle periphery monitoring device according to claim 1, further comprising:
前記各撮像装置で撮像した前記車両周囲の映像から前記車両を中心とする俯瞰画像を合成する俯瞰画像合成処理部と、
前記俯瞰画像合成処理部により合成された俯瞰画像を表示する俯瞰画像表示手段と、
前記俯瞰画像合成処理部により合成された俯瞰画像上の画像のコーナまたは画像のエッジ等の、画像処理技術上において位置の変化の追跡が比較的な容易な特徴を有する箇所を特徴点として抽出する特徴点抽出部と、
前記俯瞰画像の時系列映像から前記特徴点抽出部で抽出した前記特徴点の前記俯瞰画像上での位置の変化を追跡する特徴点追跡処理部と、
前記特徴点追跡処理部で追跡した前記特徴点の前記俯瞰画像上での位置の変化をもとに前記特徴点の三次元座標情報および前記車両との間の相対運動情報を含む特徴点情報を算出する三次元計測処理部と、
前記三次元計測処理部で算出した前記特徴点情報をもとに、前記特徴点を抽出した画像が障害物であるか否かを判定する障害物検知処理部と、
車速、ハンドル操作角、トランスミッションのシフト位置の全てを含む前記車両の状態情報をもとに前記車両の予想経路の判定を行う予想経路判定処理部と、
予想経路判定処理部で判定した前記車両の予想経路上に、障害物検知処理部で検知された障害物が位置しているか否かを判定する予想経路上障害物判定処理部と、
前記予想経路上障害物判定処理部において前記車両の予想経路上に障害物が位置していると判定されると警報を出力する警報出力手段と、
を備えたことを特徴とする車両周辺監視装置。 A plurality of imaging devices that are mounted in a plurality of locations of the vehicle and that image the vehicle periphery in different directions from those locations;
An overhead image synthesis processing unit that synthesizes an overhead image centered on the vehicle from an image around the vehicle imaged by each imaging device;
An overhead image display means for displaying the overhead image synthesized by the overhead image synthesis processing unit;
Extracting, as a feature point, a portion having a relatively easy to track position change in the image processing technique, such as an image corner or an image edge on the overhead image synthesized by the overhead image synthesis processing unit. A feature point extraction unit;
A feature point tracking processing unit that tracks a change in the position of the feature point on the overhead image extracted from the time series video of the overhead image by the feature point extraction unit;
Feature point information including three-dimensional coordinate information of the feature point and relative motion information with respect to the vehicle based on a change in the position of the feature point tracked by the feature point tracking processing unit on the overhead image. A three-dimensional measurement processing unit to calculate,
Based on the feature point information calculated by the three-dimensional measurement processing unit, an obstacle detection processing unit that determines whether the image from which the feature point has been extracted is an obstacle,
A predicted route determination processing unit for determining a predicted route of the vehicle based on the vehicle state information including all of the vehicle speed, the steering wheel operation angle, and the transmission shift position;
An obstacle determination processing unit on the expected route for determining whether an obstacle detected by the obstacle detection processing unit is located on the predicted route of the vehicle determined by the predicted route determination processing unit;
An alarm output means for outputting an alarm when it is determined that an obstacle is located on the predicted route of the vehicle in the obstacle determination processing unit on the expected route;
A vehicle periphery monitoring device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223513A JP5187292B2 (en) | 2009-09-28 | 2009-09-28 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009223513A JP5187292B2 (en) | 2009-09-28 | 2009-09-28 | Vehicle periphery monitoring device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012268373A Division JP5418661B2 (en) | 2012-12-07 | 2012-12-07 | Vehicle periphery monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011071932A true JP2011071932A (en) | 2011-04-07 |
JP5187292B2 JP5187292B2 (en) | 2013-04-24 |
Family
ID=44016725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009223513A Expired - Fee Related JP5187292B2 (en) | 2009-09-28 | 2009-09-28 | Vehicle periphery monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5187292B2 (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013029995A (en) * | 2011-07-28 | 2013-02-07 | Clarion Co Ltd | Imaging system |
JP2014221641A (en) * | 2014-09-02 | 2014-11-27 | 株式会社小松製作所 | Dump track |
US9291709B2 (en) | 2011-06-07 | 2016-03-22 | Komatsu Ltd. | Dump truck |
JP2017126847A (en) * | 2016-01-13 | 2017-07-20 | 株式会社Jvcケンウッド | Display device for vehicle and display method for vehicle |
JP2019185381A (en) * | 2018-04-10 | 2019-10-24 | クラリオン株式会社 | Vehicle periphery image generation device |
JP2020516100A (en) * | 2017-01-13 | 2020-05-28 | エルジー イノテック カンパニー リミテッド | Around view providing device |
JP2020136755A (en) * | 2019-02-14 | 2020-08-31 | 株式会社デンソー | Electronic control device |
EP3862990A4 (en) * | 2018-10-05 | 2021-08-18 | Panasonic Intellectual Property Corporation of America | Information processing method, and information processing system |
CN113379096A (en) * | 2020-02-25 | 2021-09-10 | 本田技研工业株式会社 | Single SHOT (SINGLE SHOT) prediction based on synthesized fields |
CN113395449A (en) * | 2021-06-16 | 2021-09-14 | 国网山东省电力公司武城县供电公司 | Abnormity monitoring system with resource self-adaptive adjustment |
CN114155732A (en) * | 2021-12-28 | 2022-03-08 | 东风汽车有限公司东风日产乘用车公司 | Vehicle surrounding obstacle monitoring method, electronic device, and storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000255351A (en) * | 1999-03-08 | 2000-09-19 | Mazda Motor Corp | Warning device of vehicle |
JP2006253872A (en) * | 2005-03-09 | 2006-09-21 | Toshiba Corp | Apparatus and method for displaying vehicle perimeter image |
JP2008172535A (en) * | 2007-01-11 | 2008-07-24 | Sanyo Electric Co Ltd | Operation supporting system, image processing device, and deviation detecting method |
JP2009009209A (en) * | 2007-06-26 | 2009-01-15 | Nippon Soken Inc | Image recognition device and image recognition processing method |
JP2009137353A (en) * | 2007-12-04 | 2009-06-25 | Alpine Electronics Inc | Device and method for generating drive supporting image |
-
2009
- 2009-09-28 JP JP2009223513A patent/JP5187292B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000255351A (en) * | 1999-03-08 | 2000-09-19 | Mazda Motor Corp | Warning device of vehicle |
JP2006253872A (en) * | 2005-03-09 | 2006-09-21 | Toshiba Corp | Apparatus and method for displaying vehicle perimeter image |
JP2008172535A (en) * | 2007-01-11 | 2008-07-24 | Sanyo Electric Co Ltd | Operation supporting system, image processing device, and deviation detecting method |
JP2009009209A (en) * | 2007-06-26 | 2009-01-15 | Nippon Soken Inc | Image recognition device and image recognition processing method |
JP2009137353A (en) * | 2007-12-04 | 2009-06-25 | Alpine Electronics Inc | Device and method for generating drive supporting image |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9291709B2 (en) | 2011-06-07 | 2016-03-22 | Komatsu Ltd. | Dump truck |
JP2013029995A (en) * | 2011-07-28 | 2013-02-07 | Clarion Co Ltd | Imaging system |
JP2014221641A (en) * | 2014-09-02 | 2014-11-27 | 株式会社小松製作所 | Dump track |
JP2017126847A (en) * | 2016-01-13 | 2017-07-20 | 株式会社Jvcケンウッド | Display device for vehicle and display method for vehicle |
JP7242531B2 (en) | 2017-01-13 | 2023-03-20 | エルジー イノテック カンパニー リミテッド | Around view providing device |
JP2020516100A (en) * | 2017-01-13 | 2020-05-28 | エルジー イノテック カンパニー リミテッド | Around view providing device |
US11661005B2 (en) | 2017-01-13 | 2023-05-30 | Lg Innotek Co., Ltd. | Apparatus for providing around view |
JP2019185381A (en) * | 2018-04-10 | 2019-10-24 | クラリオン株式会社 | Vehicle periphery image generation device |
EP3862990A4 (en) * | 2018-10-05 | 2021-08-18 | Panasonic Intellectual Property Corporation of America | Information processing method, and information processing system |
US11869279B2 (en) | 2018-10-05 | 2024-01-09 | Panasonic Intellectual Property Corporation Of America | Information processing method and information processing system |
JP7279390B2 (en) | 2019-02-14 | 2023-05-23 | 株式会社デンソー | electronic controller |
JP2020136755A (en) * | 2019-02-14 | 2020-08-31 | 株式会社デンソー | Electronic control device |
CN113379096A (en) * | 2020-02-25 | 2021-09-10 | 本田技研工业株式会社 | Single SHOT (SINGLE SHOT) prediction based on synthesized fields |
CN113379096B (en) * | 2020-02-25 | 2024-05-14 | 本田技研工业株式会社 | Single SHOT (SINGLE SHOT) prediction based on a composite field |
CN113395449A (en) * | 2021-06-16 | 2021-09-14 | 国网山东省电力公司武城县供电公司 | Abnormity monitoring system with resource self-adaptive adjustment |
CN113395449B (en) * | 2021-06-16 | 2022-06-24 | 国网山东省电力公司武城县供电公司 | Abnormity monitoring system with self-adaptive resource adjustment |
CN114155732A (en) * | 2021-12-28 | 2022-03-08 | 东风汽车有限公司东风日产乘用车公司 | Vehicle surrounding obstacle monitoring method, electronic device, and storage medium |
CN114155732B (en) * | 2021-12-28 | 2023-04-21 | 东风汽车有限公司东风日产乘用车公司 | Method for monitoring obstacle around vehicle, electronic device, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP5187292B2 (en) | 2013-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5187292B2 (en) | Vehicle periphery monitoring device | |
JP5418661B2 (en) | Vehicle periphery monitoring device | |
JP5240149B2 (en) | Vehicle periphery monitoring device | |
JP5323910B2 (en) | Collision prevention apparatus and method for remote control of mobile robot | |
JP3833241B2 (en) | Monitoring device | |
JP4809019B2 (en) | Obstacle detection device for vehicle | |
CN102834853B (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and vehicle device | |
JP5109691B2 (en) | Analysis device | |
JP2003051016A (en) | System, method and program for detecting approach | |
US8452528B2 (en) | Visual recognition area estimation device and driving support device | |
JP2007213561A (en) | Vehicle periphery supervisory unit | |
JP5054612B2 (en) | Approaching object detection device and approaching object detection method | |
JP2005222425A (en) | Vehicle periphery monitoring system, vehicle periphery monitoring method, control program, and readable recording medium | |
JP5915923B2 (en) | Image processing apparatus and driving support system | |
JP2001216520A (en) | Surroundings monitor device for vehicle | |
JP2007028363A (en) | Top view image generating apparatus and top view image display method | |
JP2008238927A (en) | Display device of vehicle peripheral image | |
JP5251814B2 (en) | Driving assistance device | |
JP5172482B2 (en) | Vehicle periphery monitoring device | |
JP6080735B2 (en) | Driving assistance device | |
JP4677820B2 (en) | Predicted course display device and predicted course display method | |
JP2011191859A (en) | Apparatus for monitoring surroundings of vehicle | |
JP2012256159A (en) | Approaching object detecting device and method for detecting approaching object | |
JP3226699B2 (en) | Perimeter monitoring device for vehicles | |
JP2000251199A (en) | Rear side part monitoring device for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110907 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121009 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130107 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5187292 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |