JP6939198B2 - Object detection method and object detection device - Google Patents
Object detection method and object detection device Download PDFInfo
- Publication number
- JP6939198B2 JP6939198B2 JP2017146357A JP2017146357A JP6939198B2 JP 6939198 B2 JP6939198 B2 JP 6939198B2 JP 2017146357 A JP2017146357 A JP 2017146357A JP 2017146357 A JP2017146357 A JP 2017146357A JP 6939198 B2 JP6939198 B2 JP 6939198B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- image
- feature points
- road surface
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、物体検出方法及び物体検出装置に関する。 The present invention relates to an object detection method and an object detection device.
特許文献1は、ステレオカメラの撮像画像から視差画像を生成し、横軸を視差画像の各画素の視差値、縦軸を視差画像の垂直方向の座標として画素の頻度を分布させたVマップから、直線を検出することにより路面に対応する画素を抽出する方法を開示する。 Patent Document 1 is based on a V-map in which a parallax image is generated from an image captured by a stereo camera, the horizontal axis is the parallax value of each pixel of the parallax image, and the vertical axis is the vertical coordinates of the parallax image. , Disclose a method of extracting a pixel corresponding to a road surface by detecting a straight line.
しかしながら、特許文献1は、例えばステレオカメラが先行車に近づいた場合等、画像に路面が十分映らない場合において、Vマップにおける直線の検出が困難となるため、路面の検出に失敗する可能性がある。 However, in Patent Document 1, when the road surface is not sufficiently reflected in the image, for example, when the stereo camera approaches the preceding vehicle, it becomes difficult to detect the straight line on the V map, so that the detection of the road surface may fail. be.
本発明は、上記問題点を鑑み、路面の検出精度を向上させることができる物体検出方法及び物体検出装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an object detection method and an object detection device capable of improving the detection accuracy of the road surface.
本発明の一態様によれば、画像センサにより第1時刻における車両の周囲の画像を取得し、画像中の複数の特徴点を抽出し、車両から第1時刻における複数の特徴点に対応する対象までの距離を取得し、第1時刻における距離及び画像の複数の特徴点の垂直座標の関係から、第1時刻の路面平面を検出し、第1時刻から第2時刻までの間の画像センサの運動を検出し、センサの運動を用いて、第1時刻の路面平面から第2時刻の路面平面を設定することを特徴とする物体検出方法及び物体検出装置が提供される。 According to one aspect of the present invention, an image sensor acquires an image of the surroundings of the vehicle at the first time, extracts a plurality of feature points in the image, and corresponds to a plurality of feature points at the first time from the vehicle. The road surface plane at the first time is detected from the relationship between the distance at the first time and the vertical coordinates of a plurality of feature points of the image, and the image sensor between the first time and the second time An object detection method and an object detection device are provided, which detect motion and use the motion of a sensor to set a road surface plane at a first time to a road surface plane at a second time.
本発明によれば、路面の検出精度を向上させることができる物体検出装置方法及び物体検出装置を提供できる。 According to the present invention, it is possible to provide an object detection device method and an object detection device that can improve the detection accuracy of the road surface.
以下、図面を参照して、本発明の実施形態を説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付し、重複する説明を省略する。各図面は模式的なものであり、現実のものとは異なる場合が含まれる。以下に示す実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、下記の実施形態に例示した装置や方法に特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the description of the drawings, the same or similar parts are designated by the same or similar reference numerals, and duplicate description will be omitted. Each drawing is schematic and may differ from the actual one. The embodiments shown below exemplify devices and methods for embodying the technical idea of the present invention, and the technical idea of the present invention is specified to the devices and methods exemplified in the following embodiments. Not something to do. The technical idea of the present invention can be modified in various ways within the technical scope described in the claims.
(運転支援装置)
本発明の実施形態に係る運転支援装置1は、物体検出装置10、車両挙動センサ群20、車両走行コントローラ30及び車両制御アクチュエータ群40を備える。物体検出装置10は、車両の周囲に存在する物体を検出し、検出結果を車両走行コントローラ30に出力したり検出結果に応じた情報を乗員に提示したりする。物体検出装置10は、周囲環境センサ群11、コントローラ12及びユーザインタフェース(I/F)装置13を備える。
(Driving support device)
The driving support device 1 according to the embodiment of the present invention includes an
運転支援装置1は、車両(以下、「自車両」と表記する)に搭載され、自車両の周囲の走行環境に基づき自車両を自動的に操舵、駆動、制動の少なくとも1つの制御を行う走行支援制御、又は運転者が関与せずに自車両を自動で運転する自動運転制御を行う。走行支援制御は、先行車追従制御や車線逸脱防止制御であってもよい。 The driving support device 1 is mounted on a vehicle (hereinafter referred to as "own vehicle"), and automatically steers, drives, and brakes the own vehicle based on the driving environment around the own vehicle. Assistance control or automatic driving control that automatically drives the own vehicle without the involvement of the driver is performed. The traveling support control may be a preceding vehicle follow-up control or a lane departure prevention control.
周囲環境センサ群11は、自車両の周囲環境、例えば自車両の周囲の物体を検出するセンサ群である。自車両の周囲環境は、少なくとも自車両の前方の環境を含み得る。例えば周囲環境センサ群11は、ステレオカメラ50及びレーダ53を備える。
The ambient
ステレオカメラ50は、自車両の周囲のステレオ画像を自車両の周囲環境の情報として生成する。ステレオカメラ50は、ステレオカメラ50の撮影方向と直交する方向に沿って互いの視野が重なるように配置された第1画像センサ51と、第2画像センサ52を備える。例えば、第1画像センサ51はステレオカメラ50の撮影方向を向いたときに左側に配置され、第2画像センサ52は右側に配置されてよい。ステレオカメラ50は、例えば、光軸が自車両、即ち自車両が走行する路面に対して平行になるように前方に向けて、画角内に自車両が走行する路面が含まれるように設置される。
The
レーダ53としては、ミリ波レーダ、超音波レーダ又はレーザレンジファインダ(LRF)等の測距レーダが使用可能である。レーダ53は、自車両の周囲に存在する物体の有無、自車両に対する物体の相対位置を、自車両の周囲環境の情報として検出する。周囲環境センサ群11は、検出した周囲環境の情報(周囲環境情報)をコントローラ12と車両走行コントローラ30へ出力する。
As the
コントローラ12は、ステレオカメラ50が生成したステレオ画像から物体を検出する処理を実行する電子制御ユニット(ECU)である。コントローラ12は、プロセッサ55と、記憶装置56等の周辺部品を含む。プロセッサ55は、例えばCPU(Central Processing Unit)、やMPU(Micro-Processing Unit)であってよい。なお、汎用の半導体集積回路中に設定される機能的な論理回路でコントローラ12を実現してもよい。例えば、コントローラ12はフィールド・プログラマブル・ゲート・アレイ(FPGA)等のプログラマブル・ロジック・デバイス(PLD)等を有していてもよい。
The
記憶装置56は、半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。記憶装置56は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM(Read Only Memory)及びRAM(Random Access Memory)等のメモリを含んでよい。記憶装置56には、プロセッサ55上で実行されて、物体を検出する処理をコントローラ12に実行させるためのコンピュータプログラムが記憶される。
The
ユーザインタフェース装置13は、コントローラ12による制御に応じて所定の情報を乗員に提示する。ユーザインタフェース装置13は、音により情報を乗員に提示するスピーカやブザー等の発音装置であってもよく、画像や文字、光等により情報を運転者に提示するディスプレイ装置やランプ等の視覚信号出力装置であってもよい。ユーザインタフェース装置13が乗員に提示する情報は、例えば乗員に対する警報信号である。ユーザインタフェース装置13は、自車両のステアリングホイールや座席に振動を付与するバイブレータや、アクセルペダルやステアリングホイール等に反力を与えるアクチュエータであってもよく、これら振動や反力を警報信号として与えてもよい。
The
車両挙動センサ群20は、自車両の車両挙動を検出するセンサ群である。車両挙動センサ群20は、車速センサ21、加速度センサ22、ジャイロセンサ23及び操舵角センサ24を備える。車速センサ21は、自車両の車輪速を検出し、車輪速に基づき自車両の速度を算出する。加速度センサ22は、自車両の前後方向の加速度及び車幅方向の加速度を検出する。ジャイロセンサ23は、ロール軸、ピッチ軸及びヨー軸を含む3軸回りの自車両の角速度を検出する。操舵角センサ24は、操舵操作子であるステアリングホイールの現在の回転角度(操舵操作量)である現在操舵角を検出する。これら車速、加速度、角速度及び操舵角の情報を、総称して「車両挙動情報」と表記することがある。車両挙動センサ群20は、車両挙動情報を車両走行コントローラ30へ出力する。
The vehicle
車両走行コントローラ30は、自車両の自動運転制御又は運転支援制御を行うECUである。車両走行コントローラ30は、プロセッサと、記憶装置等の周辺部品とを含む。車両走行コントローラ30のプロセッサは例えばCPUやMPUであってよい。なお、汎用の半導体集積回路中に設定される機能的な論理回路で車両走行コントローラ30を実現してもよい。例えば、車両走行コントローラ30は、FPGA等のPLD等を有していてもよい。車両走行コントローラ30の記憶装置は、記憶媒体として半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。車両走行コントローラ30の記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM及びRAM等のメモリを含んでよい。
The
車両走行コントローラ30は、周囲環境センサ群11から出力された周囲環境情報と、車両挙動センサ群20から出力された車両挙動情報とに基づき車両制御アクチュエータ群40を駆動することにより、自車両の走行支援制御又は自動運転制御を実行する。更に車両走行コントローラ30は、コントローラ12から出力される警報信号に応じて、コントローラ12が検出した物体との接触を回避するための走行支援制御又は自動運転制御を行う。例えば車両走行コントローラ30は、自動ブレーキによる減速や停車、又は物体を回避する自動操舵を実施する。
The
車両制御アクチュエータ群40は、車両走行コントローラ30からの制御信号に応じて、自車両の走行を制御する。車両制御アクチュエータ群40は、ステアリングアクチュエータ41、アクセル開度アクチュエータ42及びブレーキ制御アクチュエータ43を備える。ステアリングアクチュエータ41は、自車両の操舵方向及び操舵量を制御する。アクセル開度アクチュエータ42は、自車両のアクセル開度を制御する。ブレーキ制御アクチュエータ43は、自車両のブレーキ装置の制動動作を制御する。
The vehicle
コントローラ12は、図2に示すように、画像補正部61及び62と、特徴点抽出部63及び64と、距離算出部60と、オプティカルフロー算出部65と、3次元座標算出部66と、センサ運動検出部67と、対象判定部68と、路面平面設定部69と、路面平面メモリ70と、路面抽出部71等の論理ブロックを機能的又は物理的なハードウェア資源として備える。コントローラ12を構成する各部は、単一のハードウェアから構成されてもよく、それぞれ別個のハードウェアから構成されてもよい。画像補正部61及び62と、特徴点抽出部63及び64と、オプティカルフロー算出部65と、3次元座標算出部66と、センサ運動検出部67と、対象判定部68と、路面平面設定部69と、路面抽出部71の各機能は、コントローラ12のプロセッサ55が、記憶装置56に格納されたコンピュータプログラムを実行することによって実現されてよい。
As shown in FIG. 2, the
ステレオカメラ50を構成する第1画像センサ51と第2画像センサ52は、自車両の周囲のステレオ画像を所定周期で逐次撮影する。第1画像センサ51と第2画像センサ52は同期しており、同時刻の画像が取得される。以下、第1画像センサ51の撮像画像を「第1画像」と表記し、第2画像センサ52の撮像画像を「第2画像」と表記することがある。画像補正部61には第1画像が逐次入力され、画像補正部62には第2画像が逐次入力される。
The
画像補正部61及び62は、第1画像及び第2画像の補正処理をそれぞれ行う。例えば画像補正部61及び62は、第1画像及び第2画像のレンズ歪みを補正してよい。画像補正部61及び62は、第1画像及び第2画像のエピポーラ線が互いに平行になるようにアフィン変換等の補正処理を行う。画像補正部61及び62は、第1画像センサ51及び第2画像センサ52の共通の視野内の実空間における同一点の像が、第1画像及び第2画像の同一走査線上に位置するように変換する平行化を行ってよい。
The
特徴点抽出部63及び64は、第1画像及び第2画像のそれぞれにおいて、それぞれ周囲の画素と区別可能な特徴を持つ画素である複数の特徴点を抽出する。特徴点の抽出には、例えば非特許文献「Jianbo Shi and Carlo Tomasi, "Good Features to Track," 1994 IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94), 1994, pp. 593 - 600.」に記載の手法を用いてよい。第1画像で抽出された特徴点は、オプティカルフロー算出部65に一時的に記憶される。
The feature
距離算出部60は、過去の特徴点に対応する実空間中の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出する。距離算出部60は、互いに関連する第1画像の特徴点と第2画像の特徴点との視差(ずれ量)から、ステレオカメラ50(自車両)から特徴点に対応する対象までの距離を算出する。その他、距離算出部60は、特徴点抽出部63,64の少なくともいずれかにより抽出された特徴点に対応する対象までの距離を、ステレオカメラ50に限らず、レーダ53を用いて算出するようにしてもよい。例えば、距離算出部60は、第1画像センサにより取得される画像の各画素と、レーダ53により検出される対象の方位とを予め対応させておくことにより、画像上の特徴点までの距離を算出することができる。
The
オプティカルフロー算出部65は、第1画像で抽出された各特徴点の動きベクトルの分布であるオプティカルフローを算出する。オプティカルフロー算出部65は、現時点より所定期間前の過去の第1画像で抽出された特徴点と、現時点の第1画像で抽出された特徴点と関連付けする。以下、過去の第1画像で検出された特徴点を「過去の特徴点」と表記し、現時点の第1画像で検出された特徴点を「現在の特徴点」と表記することがある。
The optical
オプティカルフロー算出部65は、過去の特徴点に対応する実空間中の対象と同一の対象に対応する現在の特徴点を、関連する特徴点として検出する。オプティカルフロー算出部65は、互いに関連する過去の特徴点と現在の特徴点の組み合わせをオプティカルフローとして抽出する。オプティカルフローの抽出には、例えば非特許文献「Bruce D. Lucas and Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981」に記載の手法を用いてよい。
The optical
3次元座標算出部66は、互いに関連する第1画像の特徴点と第2画像の特徴点との視差(ずれ量)を算出する。3次元座標算出部66は、第1画像の特徴点に対応する実空間中の対象と同一の対象に対応する第2画像の特徴点を、関連する特徴点として検出する。第1画像及び第2画像には、画像補正部61及び62による平行化処理を施されているため、空間中の同一点の像が第1画像及び第2画像の同一走査線上に位置する。したがって、1次元の探索処理により互いに関連する特徴点を探索できる。特徴点の視差は、ステレオカメラ50から特徴点に対応する対象までの距離に対応し、視差が大きい程、対象までの距離は短い。
The three-dimensional coordinate
3次元座標算出部66は、算出した視差と、第1画像センサ51と第2画像センサ52の画角、取り付け位置、光軸方向等のパラメータとに基づき、ステレオカメラ50から互いに関連する特徴点に対応する実空間内の対象までの距離及び方位を算出する。3次元座標算出部66は、互いに関連する特徴点のそれぞれに対応する対象の距離及び方位から、ステレオカメラ50を基準とする特徴点の3次元座標を算出する。3次元座標算出部66は、特徴点に対応する対象までの距離として、距離算出部60により算出された距離を使用してもよい。
The three-dimensional coordinate
センサ運動検出部67は、ステレオカメラ50(第1画像センサ51)の運動、即ち、3軸並進運動及び3軸回転運動を検出(推定)する。3軸並進運動は、自車両の前後方向、車幅方向、上下方向の運動である。3軸回転運動は、ロール軸、ピッチ軸及びヨー軸を含む3軸回りの回転運動である。
The sensor
センサ運動検出部67は、例えば、時系列の第1画像及び第2画像に基づいてステレオカメラ50の運動を検出してもよい。センサ運動検出部67は、所定期間前の過去の複数の特徴点の3次元座標と現在の特徴点の複数の特徴点とから、ステレオカメラ50の運動を検出し得る。即ち、センサ運動検出部67は、過去の複数の特徴点の3次元座標とそれぞれ関連する現在の第1画像中の特徴点を、オプティカルフロー算出部65が算出したオプティカルフローに基づいて選択する。センサ運動検出部67は、過去の複数の特徴点の3次元座標とそれぞれ関連する現時点の特徴点の第1画像上の位置を求める。センサ運動検出部67は、過去の複数の特徴点の3次元座標のそれぞれが、現在の画像上のそれぞれの位置に投影された場合に、画像上の位置誤差が最小になるステレオカメラ50の3軸並進運動及び3軸回転運動を検出する。センサ運動検出部67は、過去の複数の特徴点の3次元座標と現在の複数の特徴点の3次元座標とからステレオカメラ50の3軸並進運動及び3軸回転運動を検出するようにしてもよい。
The sensor
ステレオカメラ50の運動の検出方法として、例えば非特許文献「Geiger, Andreas, Julius Ziegler, and Christoph Stiller. "Stereoscan: Dense 3d reconstruction in real-time." Intelligent Vehicles Symposium (IV), 2011 IEEE. Ieee, 2011.」に記載の方法を用いてよい。また、センサ運動検出部67は、単位時刻前に検出した運動を用いて、現在のステレオカメラ50の運動を検出してもよい。
As a method for detecting the motion of the
このように、画像を用いてステレオカメラ50の運動を求めることの利点として、車両挙動センサ群20を用いないため、ステレオカメラ50と車両挙動センサ群20との間の同期が不要になることが挙げられる。よって、高速なステレオカメラ50を用いることにより、短いサンプリング周期でステレオカメラ50の運動を検出することが可能となる。
As described above, as an advantage of obtaining the motion of the
対象判定部68は、3次元座標算出部により視差が算出された複数の特徴点のそれぞれの、第1画像における水平座標及び特徴点に対応する対象までの距離の関係から、特徴点に対応する対象が路面候補か否かを判定する。例えば、対象判定部68は、図3に示すように、各特徴点を、横軸を第1画像Jの水平座標u、縦軸を視差dとするu−d画像Kに投影する。対象判定部68は、第1画像Jの水平座標uを示す横軸及び視差dを示す縦軸を一定の大きさのセルに区切ったグリッドマップを用意し、第1画像Jの各特徴点について、その水平座標u及び視差dに対応するセルに投票する。各セルに投票された特徴点の数が記録されることで、u−d画像Kが生成される。
The
図3に示すu−d画像Kおいて、濃い色で示されるほど、投票された特徴点の数が多いことを意味する。また、視差dは距離に対応しており、視差dの値が小さい、即ち図3のu−d画像Kにおいて上方に位置するほど、対象までの距離が遠いことを意味する。立体物が路面に対して垂直に立っていると仮定すると、立体物の特徴点は、同一の視差を有するため、水平座標uが同一の特徴点であれば同一のセルに投票される。よって、対象判定部68は、1つのセルに投票された特徴点の数が所定の閾値N以上の場合、該当する特徴点を立体物候補としてラベリングし、閾値N未満の場合、該当する特徴点を路面候補としてラベリングする。なお、図3に示す第1画像Jにおいて、立体物候補となった特徴点が含まれる領域の明度を高く表現している。
In the ud image K shown in FIG. 3, the darker the color, the larger the number of voted feature points. Further, the parallax d corresponds to the distance, and the smaller the value of the parallax d, that is, the higher the parallax d is located in the ud image K of FIG. 3, the farther the distance to the target is. Assuming that the three-dimensional object stands perpendicular to the road surface, the feature points of the three-dimensional object have the same parallax, and therefore, if the horizontal coordinates u are the same feature points, they are voted for the same cell. Therefore, when the number of feature points voted in one cell is equal to or greater than a predetermined threshold value N, the
路面平面設定部69は、対象判定部68により路面候補と判定された複数の特徴点のそれぞれの、特徴点に対応する対象までの距離及び第1画像における垂直座標の関係から、自車両が走行する路面平面を検出する。例えば、路面平面設定部69は、図4に示すように、路面候補と判定された各特徴点を、横軸を視差d、縦軸を第1画像の垂直座標vとするd−v画像Lに投影する。路面平面設定部69は、視差dを示す横軸及び第1画像の垂直座標vを示す縦軸を一定の大きさに区切ったグリッドマップを用意し、第1画像Jの各特徴点について、その視差d及び垂直座標vに対応するセルに投票する。各セルに投票された特徴点の数が記録されることで、d−v画像Lが生成される。
The road surface
図4に示すd−v画像Lにおいて、プロットは、特徴点が投票されたセルであることを意味する。また、視差dの値が小さい、即ち図4のd−v画像Lにおいて左方に位置するほど、対象までの距離が遠いことを意味する。路面がステレオカメラ50の撮影方向に対して平行且つ平面であると仮定すると、路面に対応する特徴点は、図4に示すように、右下がりの直線上に並ぶ。路面平面設定部69は、この直線の方程式を路面平面として検出することで自車両が走行する路面の平面を検出する。
In the dv image L shown in FIG. 4, the plot means that the feature points are the voted cells. Further, the smaller the value of the parallax d, that is, the more to the left in the dv image L of FIG. 4, the farther the distance to the target is. Assuming that the road surface is parallel to the shooting direction of the
d−v画像Lにおける直線検出の方法は、例えば非特許文献「Martin A. Fischler & Robert C. Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography" . Comm. of the ACM. 24 (6): 381-395.」に記載されるRANSAC法を用いてもよい。 The method of linear detection in dv image L is, for example, the non-patent document "Martin A. Fischler & Robert C. Bolles (June 1981)." Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography " . Comm. Of the ACM. 24 (6): 381-395. ”, The RANSAC method may be used.
図5に示すように、d−v画像Lにおいて、垂直方向に延伸するように投票された複数の特徴点Pは、路面から垂直方向に延伸して存在する立体物に対応する。RANSAC法では、このような特徴点Pを外れ値として除去し、直線を当てはめることで直線Mを検出する。この場合、路面に対応する特徴点が一定以上抽出されないと、直線検出が成功しない。よって、例えば自車両と先行車との距離が短く、ステレオカメラ50により路面が撮影されない場合等、路面平面の検出に失敗してしまう。また、ステレオカメラ50により撮影される路面の領域が少ない場合、路面平面と他の平面との判別が困難となる。
As shown in FIG. 5, in the dv image L, the plurality of feature points P voted to extend in the vertical direction correspond to a three-dimensional object existing extending in the vertical direction from the road surface. In the RANSAC method, such a feature point P is removed as an outlier, and a straight line M is detected by fitting a straight line. In this case, the straight line detection will not succeed unless the feature points corresponding to the road surface are extracted above a certain level. Therefore, for example, when the distance between the own vehicle and the preceding vehicle is short and the road surface is not photographed by the
これに対して、路面平面設定部69は、過去に検出された路面平面から、センサ運動検出部67により検出されたステレオカメラ50の運動を用いて現在の路面平面を設定(推定)する。このため、路面平面メモリ70は、路面平面設定部69により検出された路面平面を逐次循環的に記憶する。路面平面設定部69は、路面平面メモリ70から、所定期間前の過去の路面平面を読み出し、センサ運動検出部67により検出された過去から現在までのステレオカメラ50の運動を用いて現在の路面平面を設定する。
On the other hand, the road surface
更に、路面平面設定部69は、d−v画像Lにおいて、設定された路面平面を示す直線上のセルに所定値αの投票を行う。路面平面設定部69は、所定値αの投票がされたd−v画像Lにおいて直線検出を行うことにより、現在の路面平面として検出する。検出された路面平面は、路面平面メモリ70に記憶され、所定期間後の路面平面設定に使用される。これにより、現在の第1画像に路面が写っていない場合や、写っている路面が少ない場合であっても、過去に検出された路面平面を用いることにより、現在の路面平面を検出することができる。
Further, the road surface
路面抽出部71は、d−v画像Lにおいて、路面平面設定部69により検出された路面平面を示す直線上に投票された特徴点を路面の点として抽出し、第1画像において路面を示す特徴点が分布する領域を路面領域として抽出する。また、路面抽出部71は、第1画像において路面領域に位置する特徴点を路面点、他の特徴点を立体物点として外部に出力する。路面抽出部71から出力された路面点及び立体物点の情報は、例えば、画像認識のための画像領域の限定や、走行可能領域の特定、対象の自車両への接近に対する警報の出力等に使用することができる。
The road
また例えば、路面抽出部71は、ステレオカメラ50(第1画像センサ)により取得された画像において、パターン認識等により道路標示や車線境界線等の路面標示を検出し、路面標示に対応する特徴点を用いて、路面領域から自車両が走行する走行可能領域を抽出するようにしてもよい。或いは、路面抽出部71は、縁石に対応する特徴点を用いて、路面領域から自車両が走行する走行可能領域を抽出するようにしてもよい。縁石は、ステレオカメラ50やレーダ53により取得される距離データにより検出されればよい。
Further, for example, the road
(物体検出方法)
次に、図6のフローチャートを参照して、本発明の実施形態に係る物体検出装置10を用いた物体検出方法の一例を説明する。図6に示す一連の処理は、例えば所定の単位時刻を周期として繰り返し実行される。なお周期は、必ずしも一定とは限らず、例えば周囲環境に応じて可変であってもよい。
(Object detection method)
Next, an example of the object detection method using the
先ず、ステップS101において、ステレオカメラ50は、自車両の前方のステレオ画像を所定の周期で取得する。ステップS102において、画像補正部61及び62は、ステレオ画像に含まれる第1画像及び第2画像の各レンズ歪み等を補正する補正処理をそれぞれ行う。ステップS103において、特徴点抽出部63及び64は、第1画像及び第2画像それぞれにおいて特徴点を検出し、検出した特徴点を記憶装置56に記憶する。
First, in step S101, the
ステップS104において、オプティカルフロー算出部65は、第1画像で抽出された各特徴点のオプティカルフローを算出する。具体的には、オプティカルフロー算出部65は、物体検出装置10の起動後の初回のステップS104ではオプティカルフローを算出せず、2回目以降のステップS104において、前回、即ち1周期前のステップS103において抽出された過去の特徴点と、今回のステップS103において抽出された現在の特徴点とを関連付け、互いに関連する特徴点の動きベクトルの分布をオプティカルフローとして算出する。
In step S104, the optical
ステップS105において、3次元座標算出部66は、互いに関連する第1画像の特徴点と第2画像の特徴点との視差を算出し、視差から算出される、各特徴点に対応する対象の、ステレオカメラ50に対する相対距離及び方位から、各特徴点の3次元座標を算出する。
In step S105, the three-dimensional coordinate
ステップS106において、センサ運動検出部67は、ステレオカメラ50の3軸並進運動及び3軸回転運動を検出する。センサ運動検出部67は、初回のステップS106では、ステレオカメラ50の運動を検出しない。センサ運動検出部67は、2回目以降のステップS106において、前回のステップS105において算出された過去の複数の特徴点の3次元座標と、今回のステップS103において抽出された現在の複数の特徴点とから、ステレオカメラ50の運動を検出する。
In step S106, the sensor
ステップS107において、対象判定部68は、ステップS105で算出されたステレオ画像の視差から、複数の特徴点のそれぞれの、第1画像における水平座標u及び特徴点に対応する対象までの距離の関係を示すu−d画像Kを生成する。
In step S107, the
ステップS108において、対象判定部68は、u−d画像Kにおいて投票された特徴点の数、即ち、第1画像における水平座標u及び視差dが互いに類似する特徴点の数が所定の閾値N以上の特徴点を立体物候補、閾値N未満の特徴点を路面候補と判定する。
In step S108, the
ステップS109において、路面平面設定部69は、過去の路面平面から、ステレオカメラ50の運動を用いて現在の路面平面を設定する。即ち、路面平面設定部69は、初回のステップS109において路面平面を設定しない。2回目以降のステップS109における路面平面の設定については後述する。
In step S109, the road surface
ステップS110において、路面平面設定部69は、ステップS108で路面候補と判定された特徴点のそれぞれの、特徴点に対応する対象までの距離及び第1画像における垂直座標vの関係を示すd−v画像を生成する。
In step S110, the road surface
ステップS111において、路面平面設定部69は、ステップS110で生成されたd−v画像から、直線検出を行うことにより、路面平面を検出する。路面平面設定部69により検出された路面平面は、路面平面メモリ70に逐次記憶される。
In step S111, the road surface
ステップS112において、路面抽出部71は、ステップS111で検出された路面平面を示す直線上に投票された特徴点が分布する第1画像における領域を路面領域として抽出する。ステップS113において、路面抽出部71は、ステップS112で抽出された路面領域に含まれる特徴点を路面点、他の特徴点を立体物点として外部に出力する。
In step S112, the road
2回目以降のステップS109においては、路面平面設定部69は、前回のステップS111で路面平面メモリ70に記憶された路面平面から、今回のステップS106で検出されたステレオカメラ50の運動を用いて、現在の路面平面を設定する。そして、次のステップS110において、路面平面設定部69は、d−v画像Lにおいて、設定された路面平面を示す直線上のセルに所定値αの投票を行った上で、現在の路面平面を示す直線検出を行う。
In the second and subsequent steps S109, the road
以上のように、物体検出装置10によれば、第1時刻から第2時刻までのステレオカメラ50の運動を用いて、第1時刻の路面平面から第2時刻の路面平面を設定することができる。これにより、自車両と先行車との距離が短い場合等、第2時刻においてステレオカメラ50から路面が見えない場面であっても、第2時刻においてステレオカメラ50から見えるであろう路面平面を過去の情報を用いて設定することが可能となるため、路面の検出精度を向上させることができる。
As described above, according to the
また物体検出装置10によれば、各特徴点の視差d(距離に対応)及び第1画像における垂直座標の関係を示す第2時刻のd−v画像、第1時刻から第2時刻までのステレオカメラ50の運動、並びに、第1時刻の路面平面より、第2時刻の路面平面を設定することができる。これにより、第2時刻においてステレオカメラ50から路面が完全に見えない場面であっても、第2時刻においてステレオカメラ50から見えるであろう路面平面を過去の情報を用いて補足して設定することが可能となるため、路面の検出精度を向上させることができる。
Further, according to the
また、物体検出装置10によれば、第1時刻における特徴点の3次元座標と、第2時刻における特徴点の3次元座標とから、ステレオカメラ50の運動を検出するため、車両挙動センサ群20により検出された運動を用いる必要がない。よって、ステレオカメラ50と車両挙動センサ群20との間の同期が不要であり、高速なステレオカメラ50を用いることが容易となる。
Further, according to the
また、物体検出装置10によれば、ステレオカメラ50から特徴点に対応する対象までの距離を互いに関連する特徴点の視差から算出する。このため、他のレーダ53により検出された距離データを用いる必要がない。よって、ステレオカメラ50とレーダ53との間の同期が不要であり、高速なステレオカメラ50を用いることが容易となる。
Further, according to the
また、物体検出装置10によれば、各特徴点の視差d(距離に対応)及び第1画像における垂直座標の関係を示すd−v画像から、立体物に対応する特徴点を除去して、直線を路面平面として検出する。よって、直線検出の精度が向上されるため、路面の検出精度が向上される。
Further, according to the
また、物体検出装置10によれば、各特徴点の第1画像における水平座標u及び視差d(距離に対応)の関係を示すu−d画像から、路面候補を抽出し、路面候補から生成されたd−v画像を用いて路面平面を検出する。よって、予め粗分離された路面候補の特徴のみを用いて路面平面の検出を行うことが可能であるため、路面の検出精度が向上される。
Further, according to the
また、物体検出装置10によれば、路面標示や縁石に対応する特徴点を用いて路面領域から自車両の走行可能領域を抽出することができる。これにより、自動運転制御や走行支援制御における走行可能領域の検出精度を向上させることができる。
Further, according to the
(その他の実施形態)
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
(Other embodiments)
Although embodiments of the invention have been described above, the statements and drawings that form part of this disclosure should not be understood to limit the invention. Various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art from this disclosure.
例えば、上述の実施形態において、センサ運動検出部67は、画像の特徴点の変化に基づいてステレオカメラ50の運動を検出したが、他の方法によりステレオカメラ50の運動を検出するようにしてもよい。例えば、センサ運動検出部67は、車両挙動センサ群20により取得される自車両の3軸並進運動及び3軸回転運動から、ステレオカメラ50の設置条件を用いてステレオカメラ50の運動を検出するようにしてもよい。また、センサ運動検出部67は、少なくともピッチ軸回りの運動を検出するようにしても、路面平面設定部69は、路面平面を高精度に設定可能である。検出する運動の軸を低減することにより、ステレオカメラ50の運動検出及び路面平面設定における処理負荷を低減することができる。
For example, in the above-described embodiment, the sensor
また、路面平面設定部69は、対象判定部68により判定された路面候補の数や割合が一定以下の場合において限定的に、路面平面メモリ70から、所定期間前の過去の路面平面を読み出し、センサ運動検出部67により検出された過去から現在までのステレオカメラ50の運動を用いて現在の路面平面を設定するようにしてもよい。これにより、路面平面設定部69の処理負荷を低減することができる。
Further, the road surface
その他、上記の実施形態において説明される各構成を任意に応用した構成等、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。 In addition, it goes without saying that the present invention includes various embodiments not described here, such as a configuration in which each configuration described in the above-described embodiment is arbitrarily applied. Therefore, the technical scope of the present invention is defined only by the matters specifying the invention relating to the reasonable claims from the above description.
10 物体検出装置
12 コントローラ
50 ステレオカメラ
51 第1画像センサ
52 第2画像センサ
61,62 画像補正部
63,64 特徴点抽出部
65 オプティカルフロー算出部
66 3次元座標算出部
67 センサ運動検出部
68 対象判定部
69 路面平面設定部
70 路面平面メモリ
71 路面抽出部
10
Claims (9)
前記第1時刻の前記画像中の複数の特徴点を抽出し、
前記車両から前記第1時刻における前記複数の特徴点に対応する対象までの距離を取得し、
前記第1時刻における、前記距離及び前記画像の前記複数の特徴点の垂直座標の関係から、前記第1時刻の路面平面を検出し、
前記第1時刻から、前記第1時刻より後の第2時刻までの間の前記画像センサの運動を検出し、
前記画像センサの運動を用いて、前記第1時刻の路面平面から前記第2時刻の路面平面を設定する
ことを特徴とする物体検出方法。 An image sensor mounted on the vehicle acquires an image of the surroundings of the vehicle at the first time.
A plurality of feature points in the image at the first time are extracted.
The distance from the vehicle to the target corresponding to the plurality of feature points at the first time is acquired.
The road surface plane at the first time is detected from the relationship between the distance and the vertical coordinates of the plurality of feature points of the image at the first time.
The motion of the image sensor from the first time to the second time after the first time is detected.
An object detection method characterized in that the road surface plane at the second time is set from the road surface plane at the first time by using the motion of the image sensor.
前記第2時刻の前記画像中の前記複数の特徴点を抽出し、
前記車両から前記第2時刻における前記複数の特徴点に対応する対象までの距離を取得し、
前記第2時刻における、前記複数の特徴点までの距離及び前記画像の前記複数の特徴点の垂直座標の関係、前記画像センサの運動、及び、前記第1時刻の路面平面から、前記第2時刻の路面平面を設定する
ことを特徴とする請求項1に記載の物体検出方法。 The image sensor acquires an image of the surroundings of the vehicle at the second time.
The plurality of feature points in the image at the second time are extracted.
The distance from the vehicle to the target corresponding to the plurality of feature points at the second time is acquired.
From the relationship between the distances to the plurality of feature points and the vertical coordinates of the plurality of feature points in the image at the second time, the motion of the image sensor, and the road surface plane at the first time, the second time. The object detection method according to claim 1, wherein the road surface plane is set.
前記第2時刻の前記画像中の前記複数の特徴点を抽出し、
前記第2時刻における、前記車両から前記複数の特徴点に対応する対象までの距離を取得し、
前記第1時刻の前記複数の特徴点のそれぞれの前記距離から、前記第1時刻の前記複数の特徴点の3次元座標を算出し、
前記第2時刻の前記複数の特徴点のそれぞれの前記距離から、前記第2時刻の前記複数の特徴点の3次元座標を算出し、
前記第1時刻の3次元座標と前記第2時刻の3次元座標とから、前記画像センサの運動を検出することを特徴とする請求項1又は2に記載の物体検出方法。 The image sensor acquires an image of the surroundings of the vehicle at the second time.
The plurality of feature points in the image at the second time are extracted.
The distance from the vehicle to the target corresponding to the plurality of feature points at the second time is acquired.
The three-dimensional coordinates of the plurality of feature points at the first time are calculated from the distances of the plurality of feature points at the first time.
The three-dimensional coordinates of the plurality of feature points at the second time are calculated from the distances of the plurality of feature points at the second time.
The object detection method according to claim 1 or 2, wherein the motion of the image sensor is detected from the three-dimensional coordinates of the first time and the three-dimensional coordinates of the second time.
前記距離は、前記ステレオカメラの視差により取得されることを特徴とする請求項1乃至3のいずれか1項に記載の物体検出方法。 The image sensor constitutes a stereo camera together with other image sensors.
The object detection method according to any one of claims 1 to 3, wherein the distance is acquired by the parallax of the stereo camera.
前記路面候補の、前記距離及び前記画像における垂直座標の関係から、前記第1時刻の路面平面を検出することを特徴とする請求項1乃至5の何れか1項に記載の物体検出方法。 The feature points that are road surface candidates are extracted from the relationship between the horizontal coordinates and the distance in the image of each of the plurality of feature points at the first time.
The object detection method according to any one of claims 1 to 5, wherein the road surface plane at the first time is detected from the relationship between the distance and the vertical coordinates in the image of the road surface candidate.
前記路面標示に対応する前記特徴点を用いて、前記第2時刻の路面平面から前記車両が走行する走行可能領域を抽出することを特徴とする請求項1乃至6の何れか1項に記載の物体検出方法。 The feature points corresponding to the road markings are extracted from the image, and the feature points are extracted.
The aspect according to any one of claims 1 to 6, wherein a travelable area in which the vehicle travels is extracted from the road surface plane at the second time using the feature points corresponding to the road markings. Object detection method.
前記縁石に対応する前記特徴点を用いて、前記第2時刻の路面平面から前記車両が走行する走行可能領域を抽出することを特徴とする請求項1乃至6の何れか1項に記載の物体検出方法。 The feature points corresponding to the curb are extracted from the distances of the plurality of feature points at the first time.
The object according to any one of claims 1 to 6, wherein a travelable area in which the vehicle travels is extracted from the road surface plane at the second time using the feature points corresponding to the curb. Detection method.
前記第1時刻の前記画像中の複数の特徴点を抽出する特徴点抽出部と、
前記車両から前記第1時刻における前記複数の特徴点に対応する対象までの距離を取得する距離算出部と、
前記第1時刻における、前記距離及び前記画像の前記複数の特徴点の垂直座標の関係から、前記第1時刻の路面平面を検出する路面平面設定部と、
前記第1時刻から、前記第1時刻より後の第2時刻までの間の前記画像センサの運動を検出するセンサ運動検出部と、
を備え、
前記路面平面設定部は、前記画像センサの運動を用いて、前記第1時刻の路面平面から前記第2時刻の路面平面を設定することを特徴とする物体検出装置。 An image sensor that acquires an image of the surroundings of the vehicle at the first time,
A feature point extraction unit that extracts a plurality of feature points in the image at the first time, and a feature point extraction unit.
A distance calculation unit that acquires the distance from the vehicle to the target corresponding to the plurality of feature points at the first time, and
A road surface plane setting unit that detects the road surface plane at the first time from the relationship between the distance and the vertical coordinates of the plurality of feature points of the image at the first time.
A sensor motion detection unit that detects the motion of the image sensor from the first time to the second time after the first time.
With
The road surface plane setting unit is an object detection device that uses the motion of the image sensor to set the road surface plane at the second time from the road surface plane at the first time.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017146357A JP6939198B2 (en) | 2017-07-28 | 2017-07-28 | Object detection method and object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017146357A JP6939198B2 (en) | 2017-07-28 | 2017-07-28 | Object detection method and object detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019028653A JP2019028653A (en) | 2019-02-21 |
JP6939198B2 true JP6939198B2 (en) | 2021-09-22 |
Family
ID=65476303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017146357A Active JP6939198B2 (en) | 2017-07-28 | 2017-07-28 | Object detection method and object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6939198B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7258432B2 (en) * | 2019-05-30 | 2023-04-17 | アルパイン株式会社 | Road surface detection system, personal mobility and road surface detection method |
CN112882014B (en) * | 2021-01-20 | 2023-08-22 | 东风汽车集团股份有限公司 | Boss pit identification method and system |
US20240083346A1 (en) * | 2021-01-27 | 2024-03-14 | Koito Manufacturing Co., Ltd. | Gating camera, vehicle sensing system, and vehicle lamp |
KR20240002559A (en) * | 2022-06-29 | 2024-01-05 | 삼성전자주식회사 | Electronic device for image display and method thereof |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014130429A (en) * | 2012-12-28 | 2014-07-10 | Ricoh Co Ltd | Photographing device and three-dimensional object area detection program |
JP6150164B2 (en) * | 2013-07-01 | 2017-06-21 | 株式会社リコー | Information detection apparatus, mobile device control system, mobile object, and information detection program |
JP2015184929A (en) * | 2014-03-24 | 2015-10-22 | 株式会社東芝 | Three-dimensional object detection apparatus, three-dimensional object detection method and three-dimensional object detection program |
-
2017
- 2017-07-28 JP JP2017146357A patent/JP6939198B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019028653A (en) | 2019-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3732657B1 (en) | Vehicle localization | |
JP6939198B2 (en) | Object detection method and object detection device | |
US8744169B2 (en) | Voting strategy for visual ego-motion from stereo | |
US20180131924A1 (en) | Method and apparatus for generating three-dimensional (3d) road model | |
JP3719095B2 (en) | Behavior detection apparatus and gradient detection method | |
CN118115557A (en) | Associating LIDAR data and image data | |
JP7005978B2 (en) | Trajectory estimation method and trajectory estimation device | |
JP5023186B2 (en) | Object motion detection system based on combination of 3D warping technique and proper object motion (POM) detection | |
JP2018523865A (en) | Information processing method, device, and terminal | |
Oeljeklaus et al. | A fast multi-task CNN for spatial understanding of traffic scenes | |
KR102569437B1 (en) | Apparatus and method tracking object based on 3 dimension images | |
Pidurkar et al. | Monocular camera based computer vision system for cost effective autonomous vehicle | |
JP2016148956A (en) | Positioning device, positioning method and positioning computer program | |
JP7081098B2 (en) | Driving environment recognition device, driving environment recognition method, program | |
JP7031157B2 (en) | Object detection method and object detection device | |
JP2024019629A (en) | Prediction device, prediction method, program and vehicle control system | |
JP6886136B2 (en) | Alignment device, alignment method and computer program for alignment | |
JP2023116424A (en) | Method and device for determining position of pedestrian | |
US20230154013A1 (en) | Computer vision system for object tracking and time-to-collision | |
WO2018123640A1 (en) | Imaging device | |
US20220334259A1 (en) | Information processing apparatus, information processing method, and program | |
JP7223587B2 (en) | Object motion estimation method and object motion estimation device | |
JP7205049B2 (en) | Movement vector calculation method and movement vector calculation device | |
JP2020076714A (en) | Position attitude estimation device | |
Aladem et al. | Evaluation of a Stereo Visual Odometry Algorithm for Passenger Vehicle Navigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190401 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210615 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210816 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6939198 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |