JP6035774B2 - 画像処理装置、画像処理方法、及び車両 - Google Patents
画像処理装置、画像処理方法、及び車両 Download PDFInfo
- Publication number
- JP6035774B2 JP6035774B2 JP2012038774A JP2012038774A JP6035774B2 JP 6035774 B2 JP6035774 B2 JP 6035774B2 JP 2012038774 A JP2012038774 A JP 2012038774A JP 2012038774 A JP2012038774 A JP 2012038774A JP 6035774 B2 JP6035774 B2 JP 6035774B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- search range
- parallax
- parallax calculation
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
Description
運転支援システムは、例えば、車の前方に設置したステレオカメラによって車両前方を監視し、歩行者、他車両、障害物等との距離を測定し、それらに衝突する可能性がある場合は、運転者に報知したり、車両のブレーキを作動させて減速させたり停止させたりすることができる。
このような運転支援システムでは、高い空間分解能や高精度化が求められており、処理負荷が増大する一方、衝突回避などのために演算時間の短縮も求められている。
特許文献1には、ステレオ画像を処理して得られる画素を単位とする視差に起因する遠距離での測距分解能の低下を解消し、近距離から遠距離まで測距分解能の向上を図るようにしたステレオ画像による測距装置が開示されている。
特許文献2には、処理速度と距離精度の両立を図る目的で、縮小画像で対応箇所探索を行い、大きな視差を探索できるようにしたステレオ画像処理装置が開示されている。
また引用文献1の測距装置では、近距離と遠距離で視差演算のロジックを変更することで演算負荷を抑制しているが、複数のロジックを切り替える手法ではハードウェアで視差演算を行う場合に回路規模が大きくなるという問題があった。
また引用文献2のステレオ画像処理装置では、縮小画像を生成する必要があるため、やはり回路規模が大きくなるという問題点があった。
本発明は、上記したような問題点を鑑みてなされたものであり、回路規模を増大させることなく単純な処理で演算時間の増大を抑えて近距離から遠距離まで視差演算を行うことができる画像処理装置を提供することを目的とする。
図1は、本発明の実施形態に係るステレオ画像処理装置の構成を示したブロック図である。この図1に示すステレオ画像処理装置1は、ステレオカメラ10、ステレオ画像校正部20、ステレオ画像記憶部30、視差演算処理部40、視差データ記憶部50、探索範囲設定部60、距離演算処理部70等により構成される。
ステレオカメラ10は、ある焦点距離のレンズ光学系と撮像素子からなる二台の単眼カメラ10a、10bを備えて構成される。なお、ステレオカメラの原理については後述する。
これら二つの単眼カメラ10a、10bは、露光時間やゲインが可変のCCD(Charge Coupled Device)カメラであり、両者は互いに同期し、同一タイミングで画像を取得する。なお、撮像素子はCCDに限らず、CMOS(complementary metal oxide semiconductor)等の撮像素子でも構わない。なお、ステレオカメラ10は、二つの単眼カメラ10a、10bを画像15のX方向に沿ってある所定の基線長のもとに平行に配置して構成する水平ステレオカメラとなる。
なお、本実施形態では、ステレオカメラ10として、二つの単眼カメラ10a、10bを備えている場合を例に挙げて説明したが、これはあくまでも一例であり、三つ以上単眼カメラを用いて構成しても良いことは言うまでもない。
図2は、ステレオカメラの測距原理を説明する図である。
ステレオカメラ10は、異なる視点位置から同じ対象物体を撮影した時に、撮影画像上での結像位置が物体の距離によって変化することを利用して物体の距離や位置を計測する。
ここで、単眼カメラ10a、10b間の距離を基線長B、焦点距離f、及び、視差d(視点による物体の結像点の位置の差)から、物体までの距離Zは以下の式で表すことができる。
Z=B・f/d …(1)
視差dの算出には、左右の単眼カメラ10a、10bから得られた一対の画像のある小領域の相関値を計算し、最も相関が高い画素位置が得られた際の画像間のシフト量を視差として算出するブロックマッチングがよく用いられる。
ステレオ画像記憶部30は、ステレオ画像校正部20において校正された画像を視差演算のための元画像として記憶する。
視差演算処理部40は、ステレオ画像記憶部30に記憶された一方の単眼カメラ(左カメラ)10aにより撮影された撮影画像データを基準画像、他方の単眼カメラ(右カメラ)10bにより撮影された撮影画像データを比較画像として、両画像の小領域ごとの相違度を求めることで対応点を検出するステレオマッチングを用い、両画像間の対応点の画素のずれ(視差)を算出する。このときステレオマッチングの探索範囲は探索範囲設定部60から入力される。
視差データ記憶部50は、視差演算処理部40において算出された距離情報算出のための視差データを記憶する。
探索範囲設定部60は、視差演算処理部40のブロックマッチングの探索範囲を変更する。
距離演算処理部70は、視差データ記憶部50に記憶された視差データに基づいて対象物である物体までの距離を算出する。算出した距離情報は車両制御や認識処理等に利用されることになる。
視差演算処理部40は、ステレオ画像記憶部30から入力された左右画像に対して、探索範囲設定部60から入力された探索範囲でステレオマッチングを行う。
本実施形態では、図3に示すように、入力された左画像(基準画像)の撮像画面100の垂直下方の例えば左隅の位置101から視差演算を開始する。
なお、本実施形態では、視差演算開始位置を撮影画面100の下方左隅として説明したが、撮像画面100の下方領域から開始すれば必ずしも左隅から開始する必要はない。
次に、視差演算処理部40は、入力画像を小領域の探索ブロックに分割し、基準画像の探索ブロックに対して比較画像の探索ブロックの位置を、画像の水平方向に1画素ずつずらしながら相関値の計算を行う。
ブロックの位置を探索範囲wmaxまでずらしたところで相関値の計算を終了し、最も相関値の高い画素位置が、ピクセル単位での視差値dintとなる。算出された相関値を用いて、サブピクセル単位での視差値dsubを算出する。なお、相関値としてはSSD(Sum of Squared Difference)やSAD(Sum of Absolute Difference)の値などが知られている。
視差値dintと視差値dsubを加算した値が視差値dとなり、視差データ記憶部50に記憶される。
なお、本実施形態では、ステレオカメラ10を車両等に設置したときに撮影される撮影画像のうち、地平線111より下方の撮影領域を下方領域112、地平線111より上方の撮影領域を上方領域113として説明する。
この場合、探索範囲設定部60は、視差演算処理部40において撮影画像100の下方領域102に位置する探索ブロックの視差演算を行う際は、近距離の物体を探索可能な第1の探索範囲に設定する。
これは立体物の連続性から、接地面に近距離のものがなければ、その上方には近距離の物体は存在しないので、探索範囲を小さくしてもよいからである。
例えば、探索ブロックの位置(id,jd)の探索範囲を決定する際、探索ブロックの位置が画面最下部だった場合は、探索範囲をwmaxに設定する。
探索範囲wmaxはステレオカメラ10の測距レンジの最短距離Zminに対応する視差値より大きい必要があるため、式(1)より
wmax≧B・f/Zmin …(2)
となる。
まず探索ブロックの垂直方向の位置jによって決まる探索範囲wjは、探索ブロックの位置に地面が写った時の距離Lgに対する視差値dgと探索範囲wmaxの小さい方となる。
距離Lgは、ステレオカメラ10の接地高さによって決まり、ステレオカメラ10が地面からhの位置に設置されている場合、距離Lgは、
Lg=j・h/f …(3)
となり、式(1)より
dg=B・f/Lg …(4)
となる。
j=jd−1、id−Δi<i<id+Δiの条件を満たす2Δi+1ピクセルの視差値の最大値をdmax_lowとなる。
なお、Δiはステレオカメラ10の測定レンジや想定される対象物の最大の幅で決まる。
また、撮像画面100の左右端に関しては下方の視差値に関わらずwmaxを使ってもよい。そうすることで、図5に示すように、入力された比較画像の立体物110’の全体が画面内に入っていない場合でも、未測距となることを防ぐことができる。
この視差値は、図2および式(1)に示した視差dに対応し、焦点距離f、基線長Bを用いて測定対象物までの3次元距離情報を得ることが出来る。
本実施形態のステレオカメラ画像処理装置1では、上記した視差演算処理部40、探索範囲設定部60、及び視差演算処理部70等の画像処理部を、バス接続されたCPU(Central Processing Unit)、DRAM(Dynamic Random Access Memory)メモリ、不揮発性フラッシュメモリなどから構成される一般的な電子計算機により構成することができる。その場合は、画像処理機能はフラッシュメモリに記録され、CPU、DRAMなどを利用して実行されるソフトウェアプログラムの形態で実装化される。
この場合、画像処理部は、入力される撮像画面の下方から視差演算を開始する(S1)。
次に、画像処理部は、視差演算を行う画素が下方領域か否かの判別を行い(S2)、下方領域と判別した場合は探索範囲を第1の探索範囲に設定する(S3)。この後、左右画像間の対応点の画素のずれ(視差)を演算する(S4)。
一方、ステップS2において、視差演算を行う画素が下方領域でないと判別した場合、すなわち視差演算を行う画素が上方領域の場合は、探索範囲を第1の探索範囲より狭い第2の探索範囲に設定する(S5)。この後、ステップS4に進み、左右画像間の対応点の画素のずれ(視差)を演算すればよい。
一方、撮像画面100の上方領域の視差演算を行う際のブロックマッチングの探索範囲は、下方領域の視差演算結果が得られたか否かで上方領域の視差演算を行う際のブロックマッチングの探索範囲を変更するようにした。
このように構成すると、近距離の被写体が存在しない場所は探索範囲を狭くすることができるので、視差演算時間を短縮することができる。また、近距離の被写体があるかどうかを判定するために使う条件が簡易なため、回路規模を増大させる必要がなく演算負荷を低減することができる。
なお、本実施形態では、地平線を基準にして複数の単眼カメラにより撮影された撮影画像データを上方領域と下方領域とに分けるようにしているが、これはあくまでも一例であり適宜変更可能である。
図7は、本実施形態のステレオカメラ画像処理装置1と、その画像処理システムが搭載された車両の模式図である。
図7に示す画像処理システムは、車両前方の画像を取得するための撮像ユニット71と、取得した画像に基づいて車両70の前方に存在する他の車両までの距離を算出する等の処理を行う画像解析ユニット72を有している。撮像ユニット71は、車両70が走行する前方の画像を撮像できるように、座席のルームミラー位置等に設置されている。撮像ユニット71で撮像された車両前方の画像は、画像信号化されて画像解析ユニット72に入力される。画像解析ユニット72は、撮像ユニット71から出力された画像信号を解析する。
撮像ユニット71として、上記実施形態のステレオカメラ10を適用できる。
また、画像解析ユニット72の一部の機能として、上記実施形態の画像処理装置を適用することが出来る。
車両走行制御ユニット73は、画像解析ユニット72で計算された距離に基づいてハンドルやブレーキの制御も行うことが出来る。
Claims (4)
- 複数の単眼カメラと、
前記複数の単眼カメラによりそれぞれ撮影された撮影画像データを複数の探索ブロックに分割し、視差演算を行う範囲で探索ブロックのマッチングを行うことにより視差データを算出する視差演算部と、
前記視差演算部において視差演算を行う範囲を探索範囲として設定する探索範囲設定部と、を備え、
前記視差演算部は、前記撮影画像データの下方領域から視差演算を行い、
前記探索範囲設定部は、前記探索ブロックの下方近傍の参照位置にある視差値に基づいた第1の探索範囲と、前記探索ブロックの垂直方向の位置によって決まる第2の探索範囲とのうちの大きい方を前記探索範囲とすることを特徴とする画像処理装置。 - 前記視差演算部が前記撮影画像データの左右端近傍の視差演算を行う際には、前記探索範囲設定部は、前記視差演算を行う画素位置の下方近傍に近距離の物体が検出されるか否かに拘わらず、前記探索範囲を前記第1の探索範囲に設定することを特徴とする請求項1に記載の画像処理装置。
- 複数の単眼カメラによりそれぞれ撮影された撮影画像データを複数の探索ブロックに分割し、視差演算を行う範囲で探索ブロックのマッチングを行うことにより視差データを算出する画像処理方法であって、
画像処理部が、
視差演算を行う範囲を探索範囲として設定するステップと、
前記撮影画像データの下方領域から視差演算を行うステップと、
前記探索ブロックの下方近傍の参照位置にある視差値に基づいた第1の探索範囲と、前記探索ブロックの垂直方向の位置によって決まる第2の探索範囲とのうちの大きい方を前記探索範囲とするステップと、を含むことを特徴とする画像処理方法。 - 請求項1又は2に記載の画像処理装置を備えたことを特徴とする車両。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012038774A JP6035774B2 (ja) | 2012-02-24 | 2012-02-24 | 画像処理装置、画像処理方法、及び車両 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012038774A JP6035774B2 (ja) | 2012-02-24 | 2012-02-24 | 画像処理装置、画像処理方法、及び車両 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013174494A JP2013174494A (ja) | 2013-09-05 |
JP6035774B2 true JP6035774B2 (ja) | 2016-11-30 |
Family
ID=49267524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012038774A Active JP6035774B2 (ja) | 2012-02-24 | 2012-02-24 | 画像処理装置、画像処理方法、及び車両 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6035774B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5982298B2 (ja) | 2013-02-21 | 2016-08-31 | シャープ株式会社 | 障害物検出装置および障害物検出方法 |
JP6668594B2 (ja) | 2014-02-25 | 2020-03-18 | 株式会社リコー | 視差演算システム、情報処理装置、情報処理方法及びプログラム |
EP3330664B1 (en) | 2015-07-29 | 2021-01-27 | KYOCERA Corporation | Parallax calculating device, stereo camera device, vehicle, and parallax calculating method |
CN106856004A (zh) * | 2015-12-07 | 2017-06-16 | 朱森 | 一种摄像机标定方法 |
JP6723079B2 (ja) | 2016-06-08 | 2020-07-15 | 日立オートモティブシステムズ株式会社 | 物体距離検出装置 |
JP6843552B2 (ja) * | 2016-08-23 | 2021-03-17 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム。 |
JP7293100B2 (ja) * | 2019-12-17 | 2023-06-19 | 日立Astemo株式会社 | カメラシステム |
JP7397744B2 (ja) * | 2020-04-10 | 2023-12-13 | 株式会社デンソー | 物体検出装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09106500A (ja) * | 1995-10-12 | 1997-04-22 | Fuji Heavy Ind Ltd | 車輌の運転支援装置 |
JP3263931B2 (ja) * | 1999-09-22 | 2002-03-11 | 富士重工業株式会社 | ステレオマッチング装置 |
JP3936313B2 (ja) * | 2002-07-02 | 2007-06-27 | 本田技研工業株式会社 | 画像認識装置 |
JP2004245701A (ja) * | 2003-02-14 | 2004-09-02 | Toyota Central Res & Dev Lab Inc | 距離分布検知装置 |
JP2004279031A (ja) * | 2003-03-12 | 2004-10-07 | Toyota Central Res & Dev Lab Inc | 距離分布検知装置及び距離分布検知方法 |
JP2007022209A (ja) * | 2005-07-13 | 2007-02-01 | Denso Corp | 前方車両減速予想装置、および前方車両減速予想システム |
JP2008309637A (ja) * | 2007-06-14 | 2008-12-25 | Konica Minolta Holdings Inc | 障害物計測方法、障害物計測装置及び障害物計測システム |
JP2011108175A (ja) * | 2009-11-20 | 2011-06-02 | Alpine Electronics Inc | 運転支援装置、運転支援方法および運転支援プログラム |
-
2012
- 2012-02-24 JP JP2012038774A patent/JP6035774B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013174494A (ja) | 2013-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6035774B2 (ja) | 画像処理装置、画像処理方法、及び車両 | |
JP6167525B2 (ja) | 距離計測装置及び車両 | |
JP5468426B2 (ja) | ステレオカメラ装置 | |
JP5760559B2 (ja) | ステレオカメラ装置、視差画像生成方法 | |
US9747524B2 (en) | Disparity value deriving device, equipment control system, movable apparatus, and robot | |
JP2008039491A (ja) | ステレオ画像処理装置 | |
US20160301912A1 (en) | Disparity value deriving device, movable apparatus, robot, disparity value producing method, and computer program | |
JP6970577B2 (ja) | 周辺監視装置および周辺監視方法 | |
EP2887313B1 (en) | Image processing apparatus, system, image processing method, and computer-readable recording medium | |
JP2011013064A (ja) | 位置検出装置 | |
US9813694B2 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value deriving method | |
US11889047B2 (en) | Image processing device and image processing method | |
JP6337504B2 (ja) | 画像処理装置、移動体、ロボット、機器制御方法およびプログラム | |
JPWO2016063545A1 (ja) | ステレオカメラ装置及びステレオカメラ装置を備える車両 | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP2008309637A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
JP6040782B2 (ja) | 画像処理装置及びプログラム | |
JP2015230703A (ja) | 物体検出装置及び物体検出方法 | |
JP6519138B2 (ja) | 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム | |
JP2016009427A (ja) | 画像処理装置、画像処理方法、機器制御システム | |
JP6459487B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6443502B2 (ja) | 画像処理装置、撮影装置、制御システム、移動体、及びプログラム | |
JP6311238B2 (ja) | 撮像装置、撮像システムおよび車両 | |
JP6936557B2 (ja) | 探索処理装置、及びステレオカメラ装置 | |
EP2919191B1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160705 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160805 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161017 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6035774 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |