JP2015225546A - Object detection device, drive support apparatus, object detection method, and object detection program - Google Patents
Object detection device, drive support apparatus, object detection method, and object detection program Download PDFInfo
- Publication number
- JP2015225546A JP2015225546A JP2014110527A JP2014110527A JP2015225546A JP 2015225546 A JP2015225546 A JP 2015225546A JP 2014110527 A JP2014110527 A JP 2014110527A JP 2014110527 A JP2014110527 A JP 2014110527A JP 2015225546 A JP2015225546 A JP 2015225546A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- feature line
- feature
- object detection
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、物体検出装置、運転支援装置、物体検出方法、および物体検出プログラムに関する。 The present invention relates to an object detection device, a driving support device, an object detection method, and an object detection program.
自車に設置され、自車の前方の道路状況を撮影する撮影手段と、撮影手段により撮影された画像状況を基に、自車が走行している自車レーンと自車レーンに隣接した隣接レーンとの境界線を検出する境界線検出手段と、撮影手段により撮影された画像状況を基に、隣接レーンを走行している隣接先行車両を認識し、隣接先行車両の進行形態を検出する車両検出手段と、境界線検出手段と車両検出手段との検出結果を基に、境界線に対する隣接先行車両の進行方向の傾きを検出する傾き角検出手段と、境界線に対する隣接先行車両の進行方向の傾き角の大きさに基づいて、隣接先行車両は自車レーンに割り込もうとしている割込車であるか否かを判断する割込車判断手段を備えたことを特徴とする車両認識装置が知られている(例えば、特許文献1参照)。 Based on the shooting means that is installed in the vehicle and shoots the road conditions ahead of the vehicle, and the image lane that is taken by the shooting means, the vehicle lane in which the vehicle is traveling and the adjacent to the vehicle lane Boundary line detecting means for detecting a boundary line with a lane, and a vehicle for recognizing an adjacent preceding vehicle traveling in an adjacent lane and detecting a traveling form of the adjacent preceding vehicle based on an image situation photographed by the photographing means Based on the detection results of the detection means, the boundary line detection means and the vehicle detection means, an inclination angle detection means for detecting the inclination of the traveling direction of the adjacent preceding vehicle relative to the boundary line, and the traveling direction of the adjacent preceding vehicle relative to the boundary line What is claimed is: 1. A vehicle recognition apparatus comprising: an interrupting vehicle determining means for determining whether an adjacent preceding vehicle is an interrupting vehicle that is about to interrupt an own vehicle lane based on an inclination angle Known (eg patent text Reference 1).
しかしながら、従来の装置では、自車両の走行車線への他車両の進入を精度良く認識することができない場合があった。境界線に対する隣接先行車両の進行方向の傾き角を監視するだけでは、他車両のふらつきのみでも割り込みと誤判定してしまう場合があるからである。
本発明は、このような事情を考慮してなされたものであり、自車両の走行車線への他車両の進入を精度良く認識することができる物体検出装置、運転支援装置、物体検出方法、および物体検出プログラムを提供することを目的の一つとする。
However, in the conventional apparatus, there is a case where the approach of another vehicle to the traveling lane of the own vehicle cannot be recognized with high accuracy. This is because simply monitoring the inclination angle of the adjacent preceding vehicle with respect to the boundary line may erroneously determine an interruption even if the other vehicle fluctuates.
The present invention has been made in consideration of such circumstances, and an object detection device, a driving support device, an object detection method, and an object detection method capable of accurately recognizing the entry of another vehicle into the traveling lane of the host vehicle, and An object is to provide an object detection program.
請求項1記載の発明は、自車両周辺を撮像する撮像部(10)と、前記撮像部により撮像された画像から、他車両の側方下端部を表すと推定される第1の特徴線と、前記他車両の前端部を表すと推定される第2の特徴線であって前記第1の特徴線と画像上の傾きが異なる第2の特徴線とを抽出する特徴線抽出部(21、22、23、24、25、30、31)と、前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定する判定部(40、41、42)と、を備える物体検出装置(5)である。
The invention according to
請求項2記載の発明は、請求項1記載の物体検出装置であって、前記判定部は、前記交点の位置が、前記撮像部により撮像された画像から認識可能な前記自車両の走行車線または進行予定軌跡に接近し、接触し、または進入するのに応じて、前記自車両の走行車線への他車両の進入を判定するものである。
Invention of Claim 2 is the object detection apparatus of
請求項3記載の発明は、請求項1または2記載の物体検出装置であって、前記撮像部により撮像された画像から特徴点を抽出する特徴点抽出部(21)を備え、前記特徴線抽出部は、前記特徴点抽出部により異なる撮像フレームの画像から抽出された特徴点の間で、同一の物体を表すと推定される特徴点の組を抽出し、前記特徴点の組を結んで生成される直線と略同方向である特徴線を、前記第1の特徴線として選択するものである。
The invention according to claim 3 is the object detection device according to
請求項4記載の発明は、請求項1から3のうちいずれか1項に記載の物体検出装置であって、前記特徴線抽出部は、複数の第2の特徴線候補が存在する場合、前記複数の第2の特徴線候補の中から、前記撮像部により撮像された画像から認識可能な前記自車両の走行車線に最も近い第2の特徴線候補を、前記第2の特徴線として選択するものである。
Invention of Claim 4 is an object detection apparatus of any one of
請求項5記載の発明は、請求項1から4のうちいずれか1項に記載の物体検出装置と、前記判定部の判定結果に基づいて前記車両の運転支援を行う運転支援部と、を備える運転支援装置(1)である。 A fifth aspect of the invention includes the object detection device according to any one of the first to fourth aspects, and a driving support unit that supports driving of the vehicle based on a determination result of the determination unit. It is a driving assistance device (1).
請求項6記載の発明は、自車両周辺を撮像する撮像部と、前記撮像部により撮像された画像から、第1の特徴線と、前記第1の特徴線と画像上の傾きが異なる第2の特徴線とを抽出する特徴線抽出部と、前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定する判定部と、を備える物体検出装置である。 According to a sixth aspect of the present invention, there is provided an imaging unit that captures an image of the periphery of the host vehicle, and an image captured by the imaging unit. A feature line extraction unit that extracts a feature line of the vehicle, a determination unit that determines an approach of another vehicle to the traveling lane of the host vehicle based on an intersection of the first feature line and the second feature line, , An object detection apparatus.
請求項7記載の発明は、物体検出装置が、自車両周辺を撮像し、前記撮像された画像から、他車両の側方下端部を表すと推定される第1の特徴線と、前記他車両の前端部を表すと推定される第2の特徴線であって前記第1の特徴線と画像上の傾きが異なる第2の特徴線とを抽出し、前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定する、物体検出方法である。 According to the seventh aspect of the present invention, the object detection device captures an image of the periphery of the own vehicle, and the first feature line is estimated from the captured image to represent a side lower end of the other vehicle, and the other vehicle. A second feature line estimated to represent the front end of the first feature line and a second feature line having a different inclination on the image are extracted, and the first feature line and the second feature line are extracted. This is an object detection method for determining the approach of another vehicle to the traveling lane of the host vehicle based on the intersection with the feature line.
請求項8記載の発明は、物体検出装置の制御コンピュータに、自車両周辺を撮像した画像から、他車両の側方下端部を表すと推定される第1の特徴線と、前記他車両の前端部を表すと推定される第2の特徴線であって前記第1の特徴線と画像上の傾きが異なる第2の特徴線とを抽出させ、前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定させる、物体検出プログラムである。 According to an eighth aspect of the present invention, the control computer of the object detection apparatus has a first characteristic line estimated to represent a side lower end portion of another vehicle from an image obtained by imaging the periphery of the own vehicle, and a front end of the other vehicle. And extracting the first feature line and the second feature line that are different from the first feature line and having a different inclination on the image. This is an object detection program for determining the approach of another vehicle to the traveling lane of the host vehicle based on the intersection with the line.
請求項1、7,8に記載の発明によれば、特徴線抽出部が、他車両の側方下端部を表すと推定される第1の特徴線と、他車両の前端部を表すと推定される第2の特徴線であって第1の特徴線と画像上の傾きが異なる第2の特徴線とを抽出し、判定部が、第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定するため、自車両の走行車線への他車両の進入を精度良く認識することができる。 According to the first, seventh, and eighth aspects of the invention, the feature line extraction unit is estimated to represent the first feature line that is estimated to represent the side lower end portion of the other vehicle and the front end portion of the other vehicle. A second feature line that is different from the first feature line and having a different inclination on the image, and the determination unit determines whether the first feature line and the second feature line are Since the approach of the other vehicle to the traveling lane of the host vehicle is determined based on the intersection, the approach of the other vehicle to the traveling lane of the host vehicle can be accurately recognized.
請求項2に記載の発明によれば、判定部は、交点の位置が、撮像部により撮像された画像から認識可能な自車両の走行車線または進行予定軌跡に接近し、接触し、または進入するのに応じて、自車両の走行車線への他車両の進入を判定するため、自車両の走行車線への他車両の進入を、更に精度良く認識することができる。 According to the second aspect of the present invention, the determination unit approaches, touches, or enters the travel lane or the planned travel path of the host vehicle whose position of the intersection is recognizable from the image captured by the imaging unit. Accordingly, since the approach of the other vehicle to the traveling lane of the host vehicle is determined, the approach of the other vehicle to the traveling lane of the host vehicle can be recognized with higher accuracy.
請求項3に記載の発明によれば、特徴線抽出部は、特徴点抽出部により異なる撮像フレームの画像から抽出された特徴点の間で、同一の物体を表すと推定される特徴点の組を抽出し、特徴点の組を結んで生成される直線と略同方向である第1の特徴線を、他車両の側方下端部を表すものとして選択するため、より精度良く第1の特徴線を抽出することができる。これにより、自車両の走行車線への他車両の進入を、更に精度良く認識することができる。 According to the invention described in claim 3, the feature line extraction unit is a set of feature points estimated to represent the same object between the feature points extracted from images of different imaging frames by the feature point extraction unit. And the first feature line that is substantially in the same direction as the straight line generated by connecting the set of feature points is selected as the one that represents the side lower end of the other vehicle. Lines can be extracted. Thereby, the approach of the other vehicle to the traveling lane of the own vehicle can be recognized with higher accuracy.
請求項4に記載の発明によれば、特徴点抽出部は、複数の第2特徴線候補の中から、撮像部により撮像された画像から認識可能な自車両の走行車線に最も近い第2の特徴線候補を、第2の特徴線として選択することで、より精度良く第2の特徴線を抽出することができる。これにより、自車両の走行車線への他車両の進入を、更に精度良く認識することができる。 According to the fourth aspect of the present invention, the feature point extraction unit is the second closest to the traveling lane of the host vehicle that can be recognized from the image captured by the imaging unit among the plurality of second feature line candidates. By selecting the feature line candidate as the second feature line, the second feature line can be extracted with higher accuracy. Thereby, the approach of the other vehicle to the traveling lane of the own vehicle can be recognized with higher accuracy.
請求項5に記載の発明によれば、物体検出装置によって精度良く認識された自車両の走行車線への他車両の進入に基づいて、好適な運転支援を行うことができる。 According to the fifth aspect of the present invention, it is possible to provide suitable driving assistance based on the approach of another vehicle to the traveling lane of the host vehicle recognized with high accuracy by the object detection device.
〔構成〕
以下、図面を参照し、本発明の一実施形態に係る物体検出装置5を含む運転支援装置1の実施形態について説明する。
図1は、本発明の一実施形態に係る物体検出装置5を含む運転支援装置1の構成の一例を模式的に示す図である。運転支援装置1は、例えば、自車両Mに搭載される装置であり、カメラ10と、制御装置20とを備える。以下、物体検出装置5が搭載される車両を「自車両」と称する。また、自車両の走行車線に対して隣接する車線を、自車両と同じ方向に走行している他車両を、「隣接車両」と称する。
〔Constitution〕
Hereinafter, an embodiment of a
FIG. 1 is a diagram schematically illustrating an example of a configuration of a
カメラ10は、例えば、フロントウインドシールドの上部やルームミラーの裏面等に取り付けられている。カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、例えば、所定周期で車両の前方を繰り返し撮像し、撮像した画像のデータを制御装置20に出力する。また、カメラ10は、制御装置20により抽出された特徴点や特徴線などの移動に応じて、カメラ10の姿勢を推定する。
The
制御装置20は、例えば、CPU(Central Processing Unit)等のプロセッサ、ROM(Read Only Memory)やRAM(Random Access Memory)、HDD(Hard Disk Drive)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、フラッシュメモリ等の記憶装置、車内で他装置と通信を行うための通信インターフェース等が内部バスによって接続されたコンピュータ装置である。
The
図2は、物体検出装置5を含む運転支援装置1の機能構成例を示す図である。物体検出装置5の制御装置20は、特徴点抽出部21と、特徴点対応判定部22と、姿勢推定処理部23と、隣接車両フロー抽出部24と、フローグループ化処理部25と、特徴線抽出部30と、隣接車両特徴線選択部31と、交点座標算出部40と、車両位置算出部41と、割り込み判定部42とを備える。また、これらの機能部は、例えば、プロセッサが記憶装置に格納されたプログラムを実行することにより機能するソフトウェア機能部である。これらの機能部は、適宜、統合または分割されてよい。プロセッサが実行するプログラムは、自車両Mの出荷時に予め記憶装置に格納されていてもよいし、可搬型記憶媒体に記憶されたプログラムが制御装置20の記憶装置にインストールされてもよい。また、プログラムは、車載インターネット設備によって他のコンピュータ装置からダウンロードされ、制御装置20の記憶装置にインストールされてもよい。また、上記機能部のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェア機能部であってもよい。また、制御装置20は、車両制御部50と警告表示制御部52に接続される。車両制御部50と警告表示制御部52は、制御装置20と同じコンピュータの別機能であってもよいし、制御装置20とは別体のコンピュータの機能であってもよい。
FIG. 2 is a diagram illustrating a functional configuration example of the
以下、図2を参照して、制御装置20の各機能部の機能について説明する。また、後述する図3、図4を参照して、特徴点、第1の特徴線、第2の特徴線、および、これらの交点について説明する。
Hereinafter, functions of the respective functional units of the
特徴点抽出部21は、カメラ10により撮像された画像(以下、「撮像画像」と称する)から特徴点を抽出する。特徴点とは、例えば、上下左右に隣接する画素の間の輝度勾配の例えば平均値が所定値よりも大きい画素であり、物体の角や線の交わりなど、時系列に撮像した画像データを対比したときに対応の取りやすい点である。特徴点を抽出する手法としては、Harris作用素やSUSAN作用素などの公知手法、あるいは新規の手法を適宜利用することができる。なお、特徴点抽出部21に相当する機能部は、カメラ10に内蔵または付設されるコンピュータ装置によって実現されてもよい。図3は、撮像画像IM中の特徴点CPと消失点VPを例示した図である。図示するように、特徴点CPは、検出対象物である自車両の周辺を走行する隣接車両OBの車体における縁部やコーナー部などから抽出されやすい傾向にある。
The feature
特徴点対応判定部22は、複数の撮像画像間(例えば、連続する2フレームの撮像画像間)で、特徴点抽出部21により抽出された特徴点の対応関係を判定する。特徴点対応判定部22は、特徴点抽出部21が抽出した前フレームの特徴点と、現フレームの特徴点とを対応づける。特徴点の対応関係を判定する方法として、前回のフレームで抽出した特徴点の周辺(例えば特徴点を中心として5×5画素や7×7画素程度)の画素群の輝度分布を求め、次の画像の同じ位置の周辺に、その輝度分布と同じ分布を持った画素群が無いかを探し、最も輝度分布が一致する画素群の中心を今回の特徴点として抽出するブロックマッチング手法を利用できる。また、公知技術であるKLT(Kanade Lucas Tomasi)追跡手法や、新規の手法を適宜利用できる。また、特徴点対応判定部22は、複数フレームに亘る画像の特徴点の対応関係に基づいて、特徴点の三次元座標を算出する。
The feature point
図4は、撮像画像IMを拡大して示す図であり、撮像画像IM中の隣接車両フローと、第1の特徴線と、第2の特徴線等を例示した図である。図4の例では、異なる時間に撮像された隣接車両OBを、便宜的に1つのフレームで表している。隣接車両OB0は、時刻T0のときに撮像されたものであり、隣接車両OB1は、時刻T0よりも後の時刻T1のときに撮像されたものである。 FIG. 4 is an enlarged view of the captured image IM, and illustrates the adjacent vehicle flow, the first feature line, the second feature line, and the like in the captured image IM. In the example of FIG. 4, the adjacent vehicle OB captured at different times is represented by one frame for convenience. The adjacent vehicle OB0 is imaged at time T0, and the adjacent vehicle OB1 is imaged at time T1 after time T0.
図4におけるCPa0とCPb0は、時刻T0のときに撮像された隣接車両OB0の異なる箇所を表す特徴点である。また、図4におけるCPa1とCPb1は、時刻T1のときに撮像された隣接車両OB1の異なる箇所を表す特徴点である。特徴点CPa0とCPa1、特徴点CPb0とCPb1は、それぞれ隣接車両OBの同じ箇所を表す特徴点である。特徴点対応判定部22は、異なる撮像フレームの画像から抽出した特徴点の間で、同一の物体(或いは物体における特定の箇所)を表すと推定される特徴点の組を抽出する。図4の例では、特徴点対応判定部22は、特徴点CPa0とCPa1、特徴点CPb0とCPb1をそれぞれ対応づけ、組とする。
CPa0 and CPb0 in FIG. 4 are feature points representing different portions of the adjacent vehicle OB0 imaged at time T0. Further, CPa1 and CPb1 in FIG. 4 are characteristic points representing different portions of the adjacent vehicle OB1 imaged at time T1. The feature points CPa0 and CPa1 and the feature points CPb0 and CPb1 are feature points that represent the same part of the adjacent vehicle OB, respectively. The feature point
姿勢推定処理部23は、複数の撮像画像間の特徴点の対応関係からカメラ10の姿勢(ピッチ角、パン角、ロール角等)を推定する。図4の例では、姿勢推定処理部23は、例えば、特徴点対応判定部22が対応づけた、特徴点CPa0とCPa1の関係、および特徴点CPb0とCPb1の関係からカメラ10の姿勢を推定する。
The posture
隣接車両フロー抽出部24は、特徴点対応判定部22により対応づけられた特徴点の組を結んで直線を生成する。この直線を、以下、「隣接車両フロー」と称する。ここで、隣接車両フローとは、複数の撮像画像間において、特徴点対応判定部22により対応づけられた特徴点を結び、空間上の有向線分としたものである。隣接車両フロー抽出部24は、例えば、特徴点を結んだ空間上の有向線分の中から、線分の傾きが、線分の位置から消失点VPに向かう方向に対して所定角度以内であり、且つ消失点VPよりも画像上で下側に存在する有向線分を、隣接車両フローとして抽出する。
The adjacent vehicle
図4の例では、隣接車両フロー抽出部24は、2つの撮像画像間において、特徴点対応判定部22により、対応づけされたそれぞれの特徴点「CPa0とCPa1」「CPb0とCPb1」を結び、空間上の有向線分とした「Fa」「Fb」を隣接車両フローとして抽出する。隣接車両フロー「Fa」「Fb」は、画像周辺から消失点に向かう方向であり、且つ消失点よりも画像上で下側に存在している。
In the example of FIG. 4, the adjacent vehicle
フローグループ化処理部25は、隣接車両フロー抽出部24により抽出された各隣接車両フローをグループ化する。フローグループ化処理部25は、例えば、クラスタリング処理によって特徴点フローをグループ化する。フローグループ化処理部25は、隣接車両フロー抽出部24により抽出された各隣接車両フローの座標位置、長さ、傾き等から同一物体とみなせる隣接車両フローをクラスタリングすることによってグループ化する。これについては既に種々の手法が公知となっているため、説明を省略する。図4の例では、フローグループ化処理部25は、各隣接車両フロー「Fa」「Fb」を座標位置、長さ、傾きに基づき、クラスタリングすることによって、一つのグループとしてグループ化することができる。
The flow
特徴線抽出部30は、隣接車両フロー群に近いIMの範囲で、消失点VPに向かう方向に近い傾きを有する特徴線である「斜めエッジ」と、撮像画像IMにおける垂直方向に近い傾きを有する特徴線である「垂直エッジ」とをそれぞれ抽出する。「近い」とは、例えば方向と傾きのなす角度が所定の角度範囲内にあることをいう。斜めエッジと垂直エッジとしては、直線または曲率が一定以下の曲線が選択される。自車両と隣接車両の位置関係から、隣接車両の側方下端部は、斜めエッジとして抽出され、隣接車両の前端部は、垂直エッジとして抽出される可能性が高い。そして、斜めエッジと垂直エッジとは、傾きが異なる特徴線となる。斜めエッジとは、例えば、撮像画像IMにおける隣接車両フロー群に近い領域内で、消失点に向かう方向に直交する方向の輝度勾配が所定値よりも大きい画素を連ねた線である。また、垂直エッジとは、例えば、撮像画像IMにおける隣接車両フロー群に近い領域内で、画像の横方向(水平方向)の輝度勾配が所定値よりも大きい画素を連ねた線である。また、特徴線は、特徴点抽出部21により抽出される特徴点を連ねた線であってもよいし、その他の手法により画像から抽出される線であってもよい。特徴線を抽出する手法として、例えば、特徴点強調による線や輪郭線を検出する公知技術であるCanny手法や、新規の手法を適宜利用できる。
The feature
特徴線抽出部30は、隣接車両OBに対応するグループ化された隣接車両フロー群「Fa」「Fb」に近い領域内で、斜めエッジと垂直エッジを抽出する。なお、特徴線抽出部30は、すべてのグループ化された隣接車両フロー群を、順次、選択して、選択した隣接車両フロー群に近い領域内の斜めエッジと垂直エッジの抽出、および後述する処理を繰り返してもよい。
The feature
隣接車両特徴線選択部31は、特徴線抽出部30により抽出された斜めエッジから、隣接車両の側方下端部を表すと推定される斜めエッジである隣接車両斜めエッジ(第1の特徴線)を選択する。他車両の「下端」とは、例えば、ロッカーパネル部や、路面と他車両との接地面、他車両の影などが車両の側方下端部に相当する。図4の例では、隣接車両OBに対応するグループ化された隣接車両フロー「Fa」「Fb」に近い傾きを持ち、隣接車両の側方下端部を示すと推定される特徴線「A1」が、隣接車両斜めエッジとして選択される。
The adjacent vehicle feature
また、隣接車両特徴線選択部31は、特徴線抽出部30により抽出された垂直エッジから、隣接車両の前端部を表すと推定され、隣接車両斜めエッジと画像上の傾きが異なる垂直エッジである隣接車両垂直エッジ(第2の特徴線)を選択する。ここで、隣接車両OBの「前端部」とは、隣接車両OBのフロントグリル近傍、及び/又はフロントバンパー近傍が形成する部分である。図4の例では、隣接車両特徴線選択部31は、特徴線「B1」を、隣接車両垂直エッジとして選択する。
The adjacent vehicle feature
隣接車両特徴線選択部31は、垂直エッジが1つのみ抽出された場合には、その1つの垂直エッジを隣接車両垂直エッジとして選択するが、複数の垂直エッジが抽出された場合には、下記に例示する手法によって隣接車両垂直エッジを選択する。図5は、複数の垂直エッジから隣接車両垂直エッジを選択する例を説明するための図である。図中、A2は、隣接車両特徴線選択部31により選択された隣接車両斜めエッジであり、B2、B3は、特徴線抽出部30により抽出された垂直エッジである。この場合、隣接車両特徴線選択部31は、撮像部10により撮像された画像から認識可能な自車両の走行車線に最も近い垂直エッジB2を、隣接車両垂直エッジとして選択する。
When only one vertical edge is extracted, the adjacent vehicle feature
ここで「自車両の走行車線に最も近い垂直エッジ」は、例えば、複数の垂直エッジ(ここでは長さを有する線分とする)B2、B3から自車両の走行車線を区画する区画線L1までの最短距離r2、r3を求め、最短距離が短い方(図5)では垂直エッジB2を選択することで決定される。また、これに限らず、撮像画像IM上で左右方向に関する中心線に最も近い点を含む垂直エッジを隣接車両垂直エッジとして選択してもよい。 Here, the “vertical edge closest to the traveling lane of the host vehicle” is, for example, from a plurality of vertical edges (here, line segments having lengths) B2 and B3 to a lane line L1 that divides the traveling lane of the host vehicle. The shortest distances r2 and r3 are obtained, and the shortest distance (FIG. 5) is determined by selecting the vertical edge B2. The vertical edge including the point closest to the center line in the left-right direction on the captured image IM may be selected as the adjacent vehicle vertical edge.
交点座標算出部40は、隣接車両斜めエッジと隣接車両垂直エッジの交点を算出する。図4の例では、交点座標算出部40は、隣接車両斜めエッジA1と隣接車両垂直エッジB1の交点X1を算出する。
The intersection coordinate
車両位置算出部41は、交点座標算出部40により算出された交点の画像上の位置と、姿勢推定処理部23で推定したカメラ10の姿勢とに基づいて、交点の三次元位置を算出する。
The vehicle position calculation unit 41 calculates the three-dimensional position of the intersection based on the position on the image of the intersection calculated by the intersection coordinate
割り込み判定部42は、車両位置算出部41により算出された交点の三次元位置に基づいて、隣接車両OBが割り込み車両であるか否かを判定する。割り込み判定部42は、例えば、算出された交点の三次元位置と、自車両の進行予定軌跡(自車両の左右端から前方に延出する線で区画される領域)とが重なっているかどうか判断し、重なっている場合に隣接車両OBが割り込み車両であると判定する。また、割り込み判定部42は、自車両が走行している車線を区画する区画線L1(図4、5)を交点が跨いだ場合に、隣接車両OBが割り込み車両と判定しても良い。
The
割り込み判定部42は、上記の処理に代えて、隣接車両OBが割り込み車両であることの可能性を示す指標値(連続値または段階値)を算出してもよい。この場合、割り込み判定部は、距離(図4、α及び/又はβ)が短くなるのに応じて指標値を大きく算出する。また、割り込み判定部42は、例えば、距離αと距離βの差分(すなわち交点と区画線L1の距離の時間的変化)およびその変化程度、距離αと距離βとの比、交点の移動方向などを複合的に組み合わせて、自車両が走行する車線へ隣接車両OBが進入する可能性を判定してもよい。
The interrupt
また、割り込み判定部42が指標値等を算出する場合、割り込み判定部42は、種々の状態値に基づいて、指標値の補正を行ってもよい。割り込み判定部42は、例えば、自車両と隣接車両との進行方向の距離、または衝突時間(TTC;Time To Collision)が長い場合には、隣接車両の自車線への進入の可能性を大きく補正し、自車両と隣接車両との進行方向の距離、または衝突時間が短い場合には、隣接車両の自車線への進入の可能性を小さく補正してもよい。こうすれば、自車両と隣接車両が近い位置に相対し、緊急性が高い場合には、自車両が走行する車線へ隣接車両が進入する可能性を大きく補正することで、自車両の制御が必要であるか否かを考慮した隣接車両の車線変更を判定することができる。
When the interrupt
車両制御部50は、割り込み判定部42により算出された隣接車両の位置情報に基づいて、車両のドライバーが安全に運転できるように種々の安全制御を行う。例えば、制御装置20によって検出された隣接車両の位置や速度に応じて、隣接車両との距離を一定に保つように、自車両の速度制御を行ってもよいし、検出対象物の位置に基づいて自車両の自動ブレーキ制御や自動操舵制御を行ってもよい。
The
警告表示制御部52は、割り込み判定部42により算出された隣接車両の位置情報に基づいて、車内に注意または警告喚起を示す情報を液晶ディスプレイ等の表示装置に表示させる。また、注意または警告喚起を示す情報は、シートベルトの締め付けやアラーム音、振動などによって運転者に伝えてもよい。
Based on the position information of the adjacent vehicle calculated by the interrupt
〔動作フロー〕
図6は、本実施形態の制御装置20により実行される処理の流れの一例を示すフローチャートである。図6を参照して、運転支援装置1が行う処理について説明する。
[Operation flow]
FIG. 6 is a flowchart illustrating an example of a flow of processing executed by the
まず、特徴点抽出部21が、撮像画像から特徴点を抽出する(ステップS100)。次に、特徴点対応判定部22が、複数の撮像画像間で、特徴点抽出部21により抽出された特徴点の対応関係を判定する(ステップS102)。次に、姿勢推定処理部23が、複数の撮像画像間の特徴点の対応関係からカメラ10の姿勢(ピッチ角、パン角、ロール角等)を推定する。(ステップS104)。次に、隣接車両フロー抽出部24が、特徴点対応判定部22により対応づけられた特徴点の対応関係から隣接車両の隣接車両フローを抽出する。(ステップS106)。次に、フローグループ化処理部25が、隣接車両フロー抽出部24により抽出された各隣接車両フローをグループ化する。(ステップS108)。そして、特徴線抽出部30が、選択したグループの隣接車両フロー群に近い領域内で、撮像画像IMにおける消失点VPに向かう方向に近い傾きを有する特徴線である「斜めエッジ」と、撮像画像IMにおける垂直方向に近い傾きを有する特徴線である「垂直エッジ」とをそれぞれ抽出する(ステップS110)。
First, the feature
次に、隣接車両特徴線選択部31が、特徴線抽出部30により抽出された斜めエッジから隣接車両の側方下端部を表すと推定される斜めエッジである隣接車両斜めエッジ(第1の特徴線)を選択すると共に、特徴線抽出部30により抽出された垂直エッジから隣接車両の前端部を表すと推定される隣接車両垂直エッジ(第2の特徴線)を選択する(ステップS112)。次に、交点座標算出部40が、隣接車両斜めエッジと隣接車両垂直エッジの交点を算出する(ステップS114)。次に、車両位置算出部41が、交点座標値と、姿勢推定処理部23で推定したカメラ10姿勢とから、画像に対応する三次元座標における交点座標値を算出する(ステップS116)。次に、特徴線抽出部30が、未選択の隣接車両フロー群が存在するか否かを判定する(ステップS118)。他のグループ化された隣接車両フロー群が存在する場合には、ステップS110へ戻り、他の特徴点フロー群が存在しない場合には、ステップS120へ進む。
Next, the adjacent vehicle feature
次に、割り込み判定部42が、隣接車両の交点の三次元座標値から割り込み車両であるか否かを判定する(ステップS120)。割り込み車両であると判定された場合は、車両制御部50が、割り込み判定部42により算出された隣接車両の位置情報に基づいて、車両のドライバーが安全に運転できるように種々の安全制御を行う(ステップS122)。これによって、本フローチャートの処理が終了する。
Next, the
以上説明した本実施形態の物体検出装置5によれば、制御装置20が、他車両の側方下端部を表すと推定される隣接車両斜めエッジ(第1の特徴線)と、他車両の前端部を表すと推定される隣接車両垂直エッジ(第2の特徴線)であって、隣接車両斜めエッジ(第1の特徴線)と画像上の傾きが異なる垂直エッジ(第2の特徴線)とを抽出し、割り込み判定部42が、隣接車両斜めエッジ(第1の特徴線)と隣接車両垂直エッジ(第2の特徴線)との交点に基づいて、自車両の走行車線への他車両の接近や進入を判定するため、精度良く自車両の走行車線への他車両の進入を判定することができる。
According to the
また、本実施形態の運転支援装置1によれば、物体検出装置5によって精度良く認識された自車両の走行車線への他車両の進入に基づいて、好適な運転支援を行うことができる。この結果、安全運転に寄与することができる。
Moreover, according to the driving
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 As mentioned above, although the form for implementing this invention was demonstrated using embodiment, this invention is not limited to such embodiment at all, In the range which does not deviate from the summary of this invention, various deformation | transformation and substitution Can be added.
1…運転支援装置、5…物体検出装置、10…カメラ、20…制御装置、21…特徴点抽出部、22…特徴点対応判定部、23…姿勢推定処理部、24…隣接車両フロー抽出部、25…フローグループ化処理部、30…特徴線抽出部、31…隣接車両特徴線選択部、40…交点座標算出部、41…車両位置算出部、42…割り込み判定部、50…車両制御部
52…警告表示制御部、M…自車両、IM…撮像画像、OB…隣接車両、CP…特徴点、VP…消失点、Fa、Fb…隣接車両フロー、A0、A1、A2…隣接車両斜めエッジ(第1の特徴線)、B0、B1…隣接車両垂直エッジ(第2の特徴線)、X0、X1…交点、L1…区画線、B2、B3…垂直エッジ(第2の特徴線候補)
DESCRIPTION OF
Claims (8)
前記撮像部により撮像された画像から、他車両の側方下端部を表すと推定される第1の特徴線と、前記他車両の前端部を表すと推定される第2の特徴線であって前記第1の特徴線と画像上の傾きが異なる第2の特徴線とを抽出する特徴線抽出部と、
前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定する判定部と、
を備える物体検出装置。 An imaging unit for imaging the periphery of the vehicle;
A first feature line estimated from the image captured by the imaging unit to represent a side lower end portion of another vehicle and a second feature line estimated to represent a front end portion of the other vehicle; A feature line extraction unit for extracting the first feature line and a second feature line having a different inclination on the image;
A determination unit that determines an approach of another vehicle to the traveling lane of the host vehicle based on an intersection of the first feature line and the second feature line;
An object detection apparatus comprising:
請求項1記載の物体検出装置。 The determination unit determines whether the position of the intersecting point approaches, touches, or enters the travel lane or planned travel path of the host vehicle that can be recognized from the image captured by the imaging unit. Determining the entry of another vehicle into the vehicle lane,
The object detection apparatus according to claim 1.
前記特徴線抽出部は、前記特徴点抽出部により異なる撮像フレームの画像から抽出された特徴点の間で、同一の物体を表すと推定される特徴点の組を抽出し、前記特徴点の組を結んで生成される直線と略同方向である特徴線を、前記第1の特徴線として選択する、
請求項1または2記載の物体検出装置。 A feature point extraction unit that extracts a feature point from the image captured by the imaging unit;
The feature line extraction unit extracts a set of feature points estimated to represent the same object between feature points extracted from images of different imaging frames by the feature point extraction unit, and the set of feature points A feature line that is substantially in the same direction as a straight line generated by connecting the two is selected as the first feature line.
The object detection apparatus according to claim 1 or 2.
請求項1から3のうちいずれか1項に記載の物体検出装置。 When there are a plurality of second feature line candidates, the feature line extraction unit travels the host vehicle that can be recognized from an image captured by the imaging unit from among the plurality of second feature line candidates. Selecting the second feature line candidate closest to the lane as the second feature line;
The object detection device according to claim 1.
前記判定部の判定結果に基づいて前記車両の運転支援を行う運転支援部と、
を備える運転支援装置。 The object detection device according to any one of claims 1 to 4,
A driving support unit that supports driving of the vehicle based on the determination result of the determination unit;
A driving support apparatus comprising:
前記撮像部により撮像された画像から、第1の特徴線と、前記第1の特徴線と画像上の傾きが異なる第2の特徴線とを抽出する特徴線抽出部と、
前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定する判定部と、
を備える物体検出装置。 An imaging unit for imaging the periphery of the vehicle;
A feature line extraction unit that extracts a first feature line and a second feature line having a different inclination on the image from the image captured by the imaging unit;
A determination unit that determines an approach of another vehicle to the traveling lane of the host vehicle based on an intersection of the first feature line and the second feature line;
An object detection apparatus comprising:
自車両周辺を撮像し、
前記撮像された画像から、他車両の側方下端部を表すと推定される第1の特徴線と、前記他車両の前端部を表すと推定される第2の特徴線であって前記第1の特徴線と画像上の傾きが異なる第2の特徴線とを抽出し、
前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定する、
物体検出方法。 Object detection device
Take an image of the area around your vehicle,
From the captured image, a first feature line that is estimated to represent a lower side end portion of another vehicle and a second feature line that is estimated to represent a front end portion of the other vehicle, the first feature line And a second feature line having a different inclination on the image,
Based on the intersection of the first feature line and the second feature line, it is determined whether the other vehicle has entered the traveling lane of the host vehicle.
Object detection method.
自車両周辺を撮像した画像から、他車両の側方下端部を表すと推定される第1の特徴線と、前記他車両の前端部を表すと推定される第2の特徴線であって前記第1の特徴線と画像上の傾きが異なる第2の特徴線とを抽出させ、
前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定させる、
物体検出プログラム。 In the control computer of the object detection device,
A first feature line that is estimated to represent a lower side portion of a side of the other vehicle from an image of the periphery of the host vehicle, and a second feature line that is estimated to represent a front end of the other vehicle, Extracting a first feature line and a second feature line having a different inclination on the image;
Based on the intersection of the first feature line and the second feature line, the approach of another vehicle to the traveling lane of the host vehicle is determined.
Object detection program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014110527A JP6139465B2 (en) | 2014-05-28 | 2014-05-28 | Object detection device, driving support device, object detection method, and object detection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014110527A JP6139465B2 (en) | 2014-05-28 | 2014-05-28 | Object detection device, driving support device, object detection method, and object detection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015225546A true JP2015225546A (en) | 2015-12-14 |
JP6139465B2 JP6139465B2 (en) | 2017-05-31 |
Family
ID=54842229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014110527A Expired - Fee Related JP6139465B2 (en) | 2014-05-28 | 2014-05-28 | Object detection device, driving support device, object detection method, and object detection program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6139465B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101795270B1 (en) * | 2016-06-09 | 2017-11-07 | 현대자동차주식회사 | Method and Apparatus for Detecting Side of Object using Information for Ground Boundary of Obstacle |
WO2018158875A1 (en) * | 2017-03-01 | 2018-09-07 | 本田技研工業株式会社 | Vehicle control system, vehicle control method, and vehicle control program |
CN108801133A (en) * | 2018-04-25 | 2018-11-13 | 上汽大众汽车有限公司 | The detection method of vehicle body feature line position drop |
JP2019209701A (en) * | 2018-05-31 | 2019-12-12 | マツダ株式会社 | Vehicle control device and vehicle control method |
WO2021166169A1 (en) * | 2020-02-20 | 2021-08-26 | 日本電信電話株式会社 | Vehicle condition estimation method, vehicle condition estimation device and vehicle condition estimation program |
WO2022107549A1 (en) * | 2020-11-19 | 2022-05-27 | 株式会社デンソー | Traveling support device |
WO2022201698A1 (en) * | 2021-03-26 | 2022-09-29 | パナソニックIpマネジメント株式会社 | Control device, warning control method, and program |
JP2023057675A (en) * | 2021-10-12 | 2023-04-24 | 本田技研工業株式会社 | Vehicle control unit, vehicle control method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000242900A (en) * | 1999-02-24 | 2000-09-08 | Mitsubishi Motors Corp | Device for detecting interruption vehicle |
JP2003281700A (en) * | 2002-03-25 | 2003-10-03 | Toshiba Corp | Cutting-in vehicle detecting device and method |
JP2004280194A (en) * | 2003-03-12 | 2004-10-07 | Toshiba Corp | Forward monitor and method therefor |
JP2008117073A (en) * | 2006-11-01 | 2008-05-22 | Fuji Heavy Ind Ltd | Interruption vehicle detection device |
JP2009012493A (en) * | 2007-06-29 | 2009-01-22 | Hitachi Ltd | Vehicle driving assist apparatus |
-
2014
- 2014-05-28 JP JP2014110527A patent/JP6139465B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000242900A (en) * | 1999-02-24 | 2000-09-08 | Mitsubishi Motors Corp | Device for detecting interruption vehicle |
JP2003281700A (en) * | 2002-03-25 | 2003-10-03 | Toshiba Corp | Cutting-in vehicle detecting device and method |
JP2004280194A (en) * | 2003-03-12 | 2004-10-07 | Toshiba Corp | Forward monitor and method therefor |
JP2008117073A (en) * | 2006-11-01 | 2008-05-22 | Fuji Heavy Ind Ltd | Interruption vehicle detection device |
JP2009012493A (en) * | 2007-06-29 | 2009-01-22 | Hitachi Ltd | Vehicle driving assist apparatus |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107491065B (en) * | 2016-06-09 | 2021-05-25 | 现代自动车株式会社 | Method and apparatus for detecting side surface of object using ground boundary information of obstacle |
CN107491065A (en) * | 2016-06-09 | 2017-12-19 | 现代自动车株式会社 | The method and apparatus of the side of the ground boundary information detection object of Use barriers thing |
US10013618B2 (en) | 2016-06-09 | 2018-07-03 | Hyundai Motor Company | Method and apparatus for detecting side of object using ground boundary information of obstacle |
KR101795270B1 (en) * | 2016-06-09 | 2017-11-07 | 현대자동차주식회사 | Method and Apparatus for Detecting Side of Object using Information for Ground Boundary of Obstacle |
WO2018158875A1 (en) * | 2017-03-01 | 2018-09-07 | 本田技研工業株式会社 | Vehicle control system, vehicle control method, and vehicle control program |
JPWO2018158875A1 (en) * | 2017-03-01 | 2019-12-12 | 本田技研工業株式会社 | Vehicle control system, vehicle control method, and vehicle control program |
US11247682B2 (en) | 2017-03-01 | 2022-02-15 | Honda Motor Co., Ltd. | Vehicle control system, vehicle control method, and vehicle control program |
CN108801133A (en) * | 2018-04-25 | 2018-11-13 | 上汽大众汽车有限公司 | The detection method of vehicle body feature line position drop |
CN108801133B (en) * | 2018-04-25 | 2020-03-10 | 上汽大众汽车有限公司 | Method for detecting vehicle body characteristic line position drop |
JP2019209701A (en) * | 2018-05-31 | 2019-12-12 | マツダ株式会社 | Vehicle control device and vehicle control method |
WO2021166169A1 (en) * | 2020-02-20 | 2021-08-26 | 日本電信電話株式会社 | Vehicle condition estimation method, vehicle condition estimation device and vehicle condition estimation program |
JPWO2021166169A1 (en) * | 2020-02-20 | 2021-08-26 | ||
JP7380824B2 (en) | 2020-02-20 | 2023-11-15 | 日本電信電話株式会社 | Vehicle state estimation method, vehicle state estimation device, and vehicle state estimation program |
WO2022107549A1 (en) * | 2020-11-19 | 2022-05-27 | 株式会社デンソー | Traveling support device |
JP2022081350A (en) * | 2020-11-19 | 2022-05-31 | 株式会社デンソー | Driving support device |
JP7331824B2 (en) | 2020-11-19 | 2023-08-23 | 株式会社デンソー | Driving support device |
WO2022201698A1 (en) * | 2021-03-26 | 2022-09-29 | パナソニックIpマネジメント株式会社 | Control device, warning control method, and program |
JP2023057675A (en) * | 2021-10-12 | 2023-04-24 | 本田技研工業株式会社 | Vehicle control unit, vehicle control method, and program |
JP7324819B2 (en) | 2021-10-12 | 2023-08-10 | 本田技研工業株式会社 | VEHICLE CONTROL DEVICE, VEHICLE CONTROL METHOD, AND PROGRAM |
Also Published As
Publication number | Publication date |
---|---|
JP6139465B2 (en) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6139465B2 (en) | Object detection device, driving support device, object detection method, and object detection program | |
US20200293058A1 (en) | Data processing method, apparatus and terminal | |
JP6163453B2 (en) | Object detection device, driving support device, object detection method, and object detection program | |
CN106663193B (en) | System and method for curb detection and pedestrian hazard assessment | |
JP5267596B2 (en) | Moving body detection device | |
US11288833B2 (en) | Distance estimation apparatus and operating method thereof | |
JP4702569B2 (en) | Image processing apparatus for vehicle | |
JP7077910B2 (en) | Bound line detection device and lane marking method | |
JP2008123462A (en) | Object detector | |
JP2009009209A (en) | Image recognition device and image recognition processing method | |
JP2015179368A (en) | Road marking recognition device and road marking recognition program | |
JP2018048949A (en) | Object recognition device | |
JP2009033743A (en) | Method for recognition of object | |
JP4721278B2 (en) | Lane departure determination device, lane departure prevention device, and lane tracking support device | |
JP2009245042A (en) | Traffic flow measurement device and program | |
JP6483360B2 (en) | Object recognition device | |
JP7095559B2 (en) | Bound line detection device and lane marking method | |
US10789727B2 (en) | Information processing apparatus and non-transitory recording medium storing thereon a computer program | |
JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
JP5832850B2 (en) | Lane monitoring system and lane monitoring method | |
JP5345999B2 (en) | Lane mark recognition device | |
KR101595317B1 (en) | Precise positioning of the vehicle for detecting a road surface display method and system | |
CN110570680A (en) | Method and system for determining position of object using map information | |
JP6132808B2 (en) | Recognition device | |
JP7058128B2 (en) | Information processing equipment and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170427 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6139465 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |