JP6416712B2 - ピッチ角推定装置 - Google Patents
ピッチ角推定装置 Download PDFInfo
- Publication number
- JP6416712B2 JP6416712B2 JP2015155898A JP2015155898A JP6416712B2 JP 6416712 B2 JP6416712 B2 JP 6416712B2 JP 2015155898 A JP2015155898 A JP 2015155898A JP 2015155898 A JP2015155898 A JP 2015155898A JP 6416712 B2 JP6416712 B2 JP 6416712B2
- Authority
- JP
- Japan
- Prior art keywords
- pitch angle
- frequency component
- low frequency
- unit
- estimation device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 claims description 55
- 238000001914 filtration Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002620 method output Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
<第1の実施形態>
1.ピッチ角推定装置1の構成
ピッチ角推定装置1の構成を図1に基づき説明する。ピッチ角推定装置1は車両に搭載される車載装置である。以下では、ピッチ角推定装置1を搭載する車両を自車両とする。ピッチ角推定装置1は、CPU、RAM、ROM等を備える公知のコンピュータであり、ROMに記憶されたプログラムにより後述する処理を実行する。
ピッチ角推定装置1が所定時間ごとに繰り返し実行する処理を図2〜図10に基づき説明する。図2のステップ1では、画像取得ユニット3がカメラ17を用いて画像を取得する。以下では、1枚の画像をフレームと呼ぶこともある。また、最新の本ステップ1で取得したフレームを現フレームと呼び、その1回前の本ステップ1で取得したフレームを前フレームと呼ぶこともある。
ステップ23では、移動量算出ユニット5が、オプティカルフローの原理に基づき、現フレームで抽出した特徴点と対応する(類似度が高い、あるいは一致する)特徴点を、前フレームにおいて探索する。この処理の例を図4A、図4Bに示す。図4Aは前フレームと、そこで抽出された特徴点F1〜F4とを表す。図4Bは現フレームと、そこで抽出された特徴点F5〜F9とを表す。本ステップ23では、現フレームにおける特徴点F5と対応する特徴点を前フレームの特徴点F1〜F4の中から探索する。同様に、現フレームにおける特徴点F6〜F9に対応する特徴点も、前フレームにおいて探索する。
(数式1) P=P’+KΔY
ここで、P’は、前フレームにおけるピッチ角である。前フレームにおけるピッチ角P’は、前回のステップ3において、前フレーム、さらにその1つ前のフレームを用いて算出したピッチ角である。Kは予め設定された正の定数である。Kは1であってもよいし、1より小さい値であってもよいし、1より大きい値であってもよい。KΔYは、前フレームの取得時から現フレームの取得時までのピッチ角の変化量である。なお、前フレームにおけるピッチ角P’が存在しない場合は、その代わりに初期値P0(固定値)を用いる。
(数式2) P=(1−α)P’+KΔY
ここでαは忘却係数であり、0より大きく、1より小さい値である。数式2に基づくピッチ角Pの算出は、図5に示す、忘却係数αを設定した積分器を用い、移動量ΔYを積算することで行うことができる。数式2を用いると、何らかの原因でピッチ角P’が不正確な値であっても、ピッチ角Pに対するその影響を小さくすることができる。
ピッチ角推定装置1は、予め複数のフィルタを備えている。複数のフィルタは、それぞれ、有限インパルス応答フィルタ又は無限インパルス応答フィルタである。複数のフィルタは、時定数がそれぞれ異なる。
勾配路開始条件J1:現フレームを含む、直近のN1フレームにおいて、低周波成分の大きさが連続して上限値Hを超える。上限値Hは予め設定された固定値である。また、N1は自然数であり、例えば、1、2、3・・・・とすることができる。
勾配路終了条件J2:現フレームを含む直近のN2フレームにおいて、低周波成分の大きさが、連続して予め設定された下限値L未満である。下限値Lは予め設定された固定値であり、上限値Hより小さい値である。また、N2は自然数であり、例えば、1、2、3・・・・とすることができる。
ステップ8では、出力ユニット9が、前記ステップ3で算出した現フレームのピッチ角Pを白線認識装置19及び車両認識装置21に出力する。
(1A)ピッチ角推定装置1は、ピッチ角Pにおける低周波成分を算出し、その低周波成分の大きさに基づき、自車両が走行中の道路が勾配路であるか否かを判断する。そして、ピッチ角推定装置1は、自車両が走行中の道路が勾配路であると判断した場合、ピッチ角Pを出力しない。
(1B)ピッチ角推定装置1は、自車両が走行中の道路が勾配路であるか否か(すなわち、ピッチ角Pを出力するか否か)を、勾配路開始条件J1、勾配路終了条件J2、J3を充足するか否かにより判断する。そのことにより、自車両が走行中の道路が勾配路であるか否かを一層正確に判断することができる。
(1E)ピッチ角推定装置1は、ピッチ角に対し、有限インパルス応答フィルタ又は無限インパルス応答フィルタであるフィルタを用いてフィルタリングを行うことで低周波成分を算出する。そのことにより、低周波成分を容易且つ正確に算出することができる。
<第2の実施形態>
1.第1の実施形態との相違点
第2の実施形態は、基本的な構成は第1の実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。
ピッチ角推定装置101が所定時間ごとに繰り返し実行する処理を図12に基づき説明する。図12のステップ41〜45の処理は、第1の実施形態における前記ステップ1〜5の処理と同様である。ただし、ステップ45の判断は、補正判断ユニット33が行う。
以上詳述した第2の実施形態によれば、前述した第1実施形態の効果(1B)、(1D)〜(1H)に加え、以下の効果が得られる。
また、ピッチ角推定装置101は、必ずしも他のセンサと組み合わせる必要がないため、装置構成を簡略化できる。
<その他の実施形態>
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
(6)前記第1、第2の実施形態において、カメラ17は、自車両の後方を撮影して画像を作成してもよい。
Claims (12)
- 車両の前方又は後方を撮像した画像を取得する画像取得ユニット(3)と、
前記画像における特徴点の上下方向での移動量を算出する移動量算出ユニット(5)と、
前記移動量に基づき前記車両のピッチ角を算出するピッチ角算出ユニット(7)と、
前記ピッチ角を出力する出力ユニット(9)と、
前記ピッチ角算出ユニットが算出する前記ピッチ角における低周波成分を算出する低周波成分算出ユニット(11)と、
前記低周波成分の大きさに基づき、前記出力ユニットによる前記ピッチ角の出力を行うか否かを決定する出力決定ユニット(13)と、
を備えることを特徴とするピッチ角推定装置(1)。 - 請求項1に記載のピッチ角推定装置であって、
前記出力ユニットが前記ピッチ角の出力を行っている状態において、前記低周波成分の大きさが、N1フレームの前記画像で連続して予め設定された上限値を越えると、前記出力決定ユニットは前記ピッチ角の出力を停止し、
前記出力ユニットが前記ピッチ角の出力を停止している状態において、前記低周波成分の大きさが、N2フレームの前記画像で連続して予め設定された下限値未満であり、且つ、現フレームとN3前のフレームとで、前記低周波成分の大きさにおける変化量が予め設定された閾値未満であると、前記出力決定ユニットは前記ピッチ角の出力を開始することを特徴とするピッチ角推定装置(N1、N2、N3はそれぞれ自然数)。 - 請求項1又は2に記載のピッチ角推定装置であって、
前記特徴点の前記画像における移動パターンを取得し、その移動パターンが予め設定された異常パターンに該当するか否かを判断する移動パターン判断ユニット(15)を備え、
前記出力決定ユニットは、前記移動パターンが前記異常パターンに該当すると前記移動パターン判断ユニットが判断したとき、前記ピッチ角の出力を停止することを特徴とするピッチ角推定装置。 - 車両の前方又は後方を撮像した画像を取得する画像取得ユニット(3)と、
前記画像における特徴点の上下方向での移動量を算出する移動量算出ユニット(5)と、
前記移動量に基づき前記車両のピッチ角を算出するピッチ角算出ユニット(7)と、
前記ピッチ角を出力する出力ユニット(9)と、
前記ピッチ角算出ユニットが算出する前記ピッチ角における低周波成分を算出する低周波成分算出ユニット(11)と、
前記低周波成分算出ユニットが算出した前記低周波成分を用いて、前記ピッチ角算出ユニットが算出した前記ピッチ角における低周波成分を低減する補正を行う補正ユニット(35)と、
を備え、
前記出力ユニットは、前記補正ユニットにより補正した後の前記ピッチ角を出力することを特徴とするピッチ角推定装置(101)。 - 請求項4に記載のピッチ角推定装置であって、
前記補正ユニットは、前記ピッチ角算出ユニットが算出した前記ピッチ角から、前記低周波成分、又はそれに係数を乗じた値を差し引くことで補正を行うことを特徴とするピッチ角推定装置。 - 請求項1〜5のいずれか1項に記載のピッチ角推定装置であって、
前記移動量算出ユニットは、前記特徴点のオプティカルフローを用いて前記移動量を算出することを特徴とするピッチ角推定装置。 - 請求項1〜6のいずれか1項に記載のピッチ角推定装置であって、
前記ピッチ角算出ユニットは、0より大きい忘却係数を設定した積分器を用いて前記移動量を積算することにより前記ピッチ角を算出することを特徴とするピッチ角推定装置。 - 請求項1〜7のいずれか1項に記載のピッチ角推定装置であって、
前記低周波成分算出ユニットは、前記ピッチ角算出ユニットが算出する前記ピッチ角に対し、有限インパルス応答フィルタ又は無限インパルス応答フィルタであるフィルタを用いてフィルタリングを行うことで前記低周波成分を算出することを特徴とするピッチ角推定装置。 - 請求項8に記載のピッチ角推定装置であって、
前記低周波成分算出ユニットは、時定数が異なる複数の前記フィルタを備え、その複数のフィルタの中から選択したフィルタを用いることを特徴とするピッチ角推定装置。 - 請求項9に記載のピッチ角推定装置であって、
前記車両が走行中の道路における勾配変化を推定する勾配変化推定ユニット(12)を備え、
前記勾配変化推定ユニットで推定した前記勾配変化が大きいほど、前記低周波成分算出ユニットは、時定数が小さい前記フィルタを選択することを特徴とするピッチ角推定装置。 - 請求項10に記載のピッチ角推定装置であって、
前記勾配変化推定ユニットは、前記画像における他の車両の上下動、又は前記画像に表示された車線境界線の形状に基づき前記勾配変化を推定することを特徴とするピッチ角推定装置。 - 請求項9に記載のピッチ角推定装置であって、
前記低周波成分算出ユニットは、前記ピッチ角算出ユニットにより算出した前記ピッチ角と、前記フィルタを用いて算出した前記低周波成分との差の所定数のフレームにおける積算値が最小となるように、前記フィルタを選択することを特徴とするピッチ角推定装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015155898A JP6416712B2 (ja) | 2015-08-06 | 2015-08-06 | ピッチ角推定装置 |
US15/230,208 US10037470B2 (en) | 2015-08-06 | 2016-08-05 | Pitch angle estimation apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015155898A JP6416712B2 (ja) | 2015-08-06 | 2015-08-06 | ピッチ角推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017034623A JP2017034623A (ja) | 2017-02-09 |
JP6416712B2 true JP6416712B2 (ja) | 2018-10-31 |
Family
ID=57989047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015155898A Active JP6416712B2 (ja) | 2015-08-06 | 2015-08-06 | ピッチ角推定装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10037470B2 (ja) |
JP (1) | JP6416712B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6975945B2 (ja) * | 2016-02-24 | 2021-12-01 | パナソニックIpマネジメント株式会社 | 判定装置、判定方法、プログラムおよびプログラムを記録した記録媒体 |
JP6889005B2 (ja) | 2017-04-05 | 2021-06-18 | 株式会社Soken | 道路パラメータ推定装置 |
CN109086650B (zh) * | 2017-06-14 | 2022-04-12 | 现代摩比斯株式会社 | 校准方法和校准设备 |
JP7005978B2 (ja) * | 2017-07-19 | 2022-02-10 | 日産自動車株式会社 | 軌跡推定方法及び軌跡推定装置 |
JP7044513B2 (ja) * | 2017-10-23 | 2022-03-30 | 株式会社Soken | 道路認識装置 |
JP6756327B2 (ja) * | 2017-11-10 | 2020-09-16 | 株式会社Soken | 姿勢検出装置、及び姿勢検出プログラム |
KR102485378B1 (ko) * | 2018-09-05 | 2023-01-05 | 현대자동차주식회사 | 차량 및 그 제어방법 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3765862B2 (ja) * | 1996-02-15 | 2006-04-12 | 本田技研工業株式会社 | 車両用環境認識装置 |
JPH1137730A (ja) * | 1997-07-18 | 1999-02-12 | Nissan Motor Co Ltd | 道路形状推定装置 |
US6282496B1 (en) * | 1999-10-29 | 2001-08-28 | Visteon Technologies, Llc | Method and apparatus for inertial guidance for an automobile navigation system |
JP2001216519A (ja) * | 2000-02-04 | 2001-08-10 | Fujitsu Ltd | 交通監視装置 |
US6535114B1 (en) | 2000-03-22 | 2003-03-18 | Toyota Jidosha Kabushiki Kaisha | Method and apparatus for environment recognition |
JP2005300294A (ja) * | 2004-04-09 | 2005-10-27 | Denso Corp | 道路形状検出装置および道路形状検出方法 |
US8164628B2 (en) * | 2006-01-04 | 2012-04-24 | Mobileye Technologies Ltd. | Estimating distance to an object using a sequence of images recorded by a monocular camera |
US8462988B2 (en) * | 2007-01-23 | 2013-06-11 | Valeo Schalter Und Sensoren Gmbh | Method and system for universal lane boundary detection |
US20090140887A1 (en) * | 2007-11-29 | 2009-06-04 | Breed David S | Mapping Techniques Using Probe Vehicles |
JP5267794B2 (ja) * | 2008-12-26 | 2013-08-21 | 株式会社リコー | 画像処理装置及び車載カメラ装置 |
JP4887400B2 (ja) * | 2009-05-27 | 2012-02-29 | 本田技研工業株式会社 | 車両周辺監視装置 |
JP2011130262A (ja) * | 2009-12-18 | 2011-06-30 | Honda Motor Co Ltd | 車両の周辺監視装置 |
JP2013213792A (ja) * | 2012-04-04 | 2013-10-17 | Toyota Motor Corp | 路面状態推定装置 |
-
2015
- 2015-08-06 JP JP2015155898A patent/JP6416712B2/ja active Active
-
2016
- 2016-08-05 US US15/230,208 patent/US10037470B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017034623A (ja) | 2017-02-09 |
US10037470B2 (en) | 2018-07-31 |
US20170039433A1 (en) | 2017-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6416712B2 (ja) | ピッチ角推定装置 | |
JP6130809B2 (ja) | 車線認識装置 | |
JP6158779B2 (ja) | 画像処理装置 | |
JP5895955B2 (ja) | 車線境界線検出装置 | |
WO2015125298A1 (ja) | 自己位置算出装置及び自己位置算出方法 | |
JP4155780B2 (ja) | 画像処理方法 | |
JP6462557B2 (ja) | 車両ピッチ角推定装置 | |
CN112862899B (zh) | 用于图像获取设备的外参标定方法、装置和*** | |
JP2010191661A (ja) | 走行路認識装置、自動車及び走行路認識方法 | |
WO2014002692A1 (ja) | ステレオカメラ | |
JP2014107697A (ja) | 車載用制御装置 | |
KR102521656B1 (ko) | 객체를 인식하는 방법 및 장치 | |
JP2020067698A (ja) | 区画線検出装置及び区画線検出方法 | |
JP6105524B2 (ja) | 走行区画線認識装置及び走行区画線認識プログラム | |
JP2017058274A (ja) | 計測装置、方法及びプログラム | |
CN114550042A (zh) | 一种道路消失点提取方法、车载传感器标定方法及装置 | |
JP2005214914A (ja) | 移動速度検出装置および移動速度検出方法 | |
JP6299651B2 (ja) | 画像処理装置 | |
JP6398218B2 (ja) | 自己位置算出装置及び自己位置算出方法 | |
JP5936527B2 (ja) | 画像処理装置および画像処理方法 | |
JP7169075B2 (ja) | 撮像制御装置および撮像制御方法 | |
EP3435286A1 (en) | Imaging control device and imaging control method | |
JP6398217B2 (ja) | 自己位置算出装置及び自己位置算出方法 | |
JP2017020942A (ja) | 推定装置及び推定プログラム | |
JP5493705B2 (ja) | 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181004 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6416712 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |