JP7152880B2 - 測距装置、測距システムおよび測距方法 - Google Patents
測距装置、測距システムおよび測距方法 Download PDFInfo
- Publication number
- JP7152880B2 JP7152880B2 JP2018104431A JP2018104431A JP7152880B2 JP 7152880 B2 JP7152880 B2 JP 7152880B2 JP 2018104431 A JP2018104431 A JP 2018104431A JP 2018104431 A JP2018104431 A JP 2018104431A JP 7152880 B2 JP7152880 B2 JP 7152880B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- dissimilarity
- image
- comparison
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
Description
[形態1]
本開示の一形態によれば、測距装置(30)が提供される。この測距装置は、複数の画像のうちの一つの画像である基準画像(PL,PL2)から抽出した一つの画素である基準画素(La)の画素値と、前記複数の画像のうち前記基準画像とは別の画像である比較画像(PR,PR2)から抽出した比較画素(Ra,Rb,Rc)の画素値との類似度の逆数により求められる前記基準画素と前記比較画素との非類似度を、前記基準画素のそれぞれについて演算する非類似度計算部(32)と、得られた前記基準画素に対する複数の前記比較画素の前記非類似度を用いて、前記基準画素または前記比較画素の少なくともいずれか一方が外乱である確率(P 0 )を、前記基準画素のそれぞれについて演算する外乱推定部(34)と、前記確率によって重み付けした前記非類似度である重み付け非類似度を、前記基準画素のそれぞれについて演算する重み付け部(36)と、前記重み付け非類似度を用いて、前記基準画素のそれぞれに対応する前記比較画素である対応点を設定する対応点設定部(38)と、を備える。前記基準画素と前記対応点とのずれ量を用いて、前記基準画像に含まれる対象までの距離を決定する。
図1に示す自動運転車両100は、駆動部制御とブレーキ制御と操舵角制御のすべてを自動で実行する車両である。自動運転車両100は、測距システム20と、制御部50とを備えている。測距システム20は、車両の前方を撮像し、その撮像画像に写った対象までの距離を算出する機能を有する。測距システム20は、画像取得部22と、測距装置30とを備える。本明細書において、「自動運転」とは、ドライバ(運転者)が車両の運転操作を行うことなく、駆動部制御とブレーキ制御と操舵角制御のすべてを自動で実行する運転を意味する。
Y=0.299R+0.587G+0.144B …(a)
B1.他の実施形態1:
上記実施形態の測距システム20では、各部の機能は使用される環境によって制限されることなく稼働する態様を例として示した。これに対して、測距システムを使用する環境に応じて外乱推定部34、重み付け部36、対応点設定部38との各処理が実行される態様であってもよい。上述したように、外乱とは、画像取得部の左右のカメラのうち、一方のカメラのみに撮像されたオブジェクトを意味する。車両の走行において、外乱の影響が大きいと考えられる環境としては、例えば次のような場合が想定される。測距システムを夜間に使用する場合、自動運転車両に備えられるワイパを稼働する場合、自動運転車両に備えられるライトを点灯する場合、降雪の激しい場合などである。測距システムは、これらの環境のうち少なくともいずれか一つの場合の環境に該当するときに、外乱推定部、重み付け部、対応点設定部との各処理を実行し、これらの環境のいずれにも該当しないときには各処理を実行しない態様であってもよい。このような態様においては、外乱の影響が小さい環境での処理の負荷が低減されることができる。
上記実施形態の測距システム20では、外乱推定部34は、最小の非類似度の値c1と、2番目に小さい非類似度の値c2とを用いて算出した信頼度CMSMと信頼度CPKRNとを用いて、外乱である確率Poを求めた。これに対して、測距システムによる信頼度の算出は、例えば、最小の非類似度のみを用いる態様や、最小の非類似度と2番目に小さい非類似度に加え、3番目に小さい非類似度を用いる態様など、外れ値の影響を低減する種々の組み合わせによって外乱である確率Poを求める態様であってもよい。
上記実施形態の測距システム20では、対応点設定部38は、X方向において隣り合う基準画素に対応する節点間の位置ズレ量である視差変化量を用いて対応点の組み合わせを決定する。これに対して、視差変化量を考慮せず、重み付け非類似度のみによって対応点を設定する態様であってもよい。このような態様においては、より小さな重み付け非類似度が選択される態様であることが好ましい。
上記実施形態の測距システム20では、対応点設定部38は、重み付け非類似度と接続コストとの和が最小となる組み合わせを対応点として設定する。これに対して、測距システムは、例えば、測距システムを使用する環境に応じて、重み付け非類似度と接続コストとのいずれか一方に更に重み付けをして足し合わせた総和が最小となる組み合わせを対応点として設定してもよいし、重み付け非類似度のみの総和が最小となる組み合わせを対応点として設定してもよい。
上記実施形態の測距システム20では、平滑処理部40は、距離画像生成部39によって作成された視差画像に対してメディアンフィルタを利用し、視差画像の視差値を平滑化する処理によって視差画像を補正する。これに対して、視差画像の生成前に平滑処理部によって平滑化を行った後に、距離画像生成部によって視差画像を生成する態様であってもよい。また、測距システム20は、平滑処理部を備えず、メディアンフィルタを利用しない態様であってもよい。このような態様においては、加重平均フィルタや移動平均フィルタなどの種々のフィルタによって平滑化するなど、生成する画像の画素ごとの濃度値のノイズの影響を低減する態様であることが好ましい。
上記実施形態では、測距システム20が自動運転車両100に備えられる態様を例として説明した。これに対して、測距システムは、手動運転車両に備えられる態様であってもよい。なお、「手動運転」とは、駆動部制御のための操作(アクセルペダルの踏込)と、ブレーキ制御のための操作(ブレーキベダルの踏込)と、操舵角制御のための操作(ステアリングホイールの回転)を、ドライバが実行する運転を意味する。
Claims (8)
- 測距装置(30)であって、
複数の画像のうちの一つの画像である基準画像(PL,PL2)から抽出した一つの画素である基準画素(La)の画素値と、前記複数の画像のうち前記基準画像とは別の画像である比較画像(PR,PR2)から抽出した比較画素(Ra,Rb,Rc)の画素値との類似度の逆数により求められる前記基準画素と前記比較画素との非類似度を、前記基準画素のそれぞれについて演算する非類似度計算部(32)と、
得られた前記基準画素に対する複数の前記比較画素の前記非類似度を用いて、前記基準画素または前記比較画素の少なくともいずれか一方が外乱である確率(P0)を、前記基準画素のそれぞれについて演算する外乱推定部(34)と、
前記確率によって重み付けした前記非類似度である重み付け非類似度を、前記基準画素のそれぞれについて演算する重み付け部(36)と、
前記重み付け非類似度を用いて、前記基準画素のそれぞれに対応する前記比較画素である対応点を設定する対応点設定部(38)と、を備え、
前記基準画素と前記対応点とのずれ量を用いて、前記基準画像に含まれる対象までの距離を決定する、
測距装置。 - 請求項1に記載の測距装置であって、
前記外乱推定部は、複数の前記非類似度のうち、最も低い前記非類似度(c1)と、2番目に低い前記非類似度(c2)とを用いて、前記確率を求める、測距装置。 - 請求項1または請求項2に記載の測距装置であって、
前記対応点設定部は、前記基準画素のそれぞれに対して前記比較画素を一つずつ選択し、一の基準画素に対して選択された一の比較画素の視差値と、前記一の基準画素に隣接する他の基準画素に対して選択された他の比較画素の視差値との差によって求められる視差変化量を用いて、前記基準画素のそれぞれに対応する前記対応点の組み合わせを決定する、測距装置。 - 請求項3に記載の測距装置であって、
前記対応点設定部は、選択された前記比較画素の前記重み付け非類似度と、前記視差変化量との和が最小となるように前記組み合わせを決定する、測距装置。 - 請求項1から請求項4のいずれか一項に記載の測距装置であって、
更に、前記基準画素ごとの前記ずれ量を平滑化する処理を行って前記ずれ量を補正する平滑処理部を備える、測距装置。 - 請求項1から請求項5のいずれか一項に記載の測距装置であって、
前記測距装置は、車両(100)に搭載され、
前記測距装置が夜間に使用される第一の場合、前記車両に備えられるワイパを稼働する第二の場合、前記車両に備えられるライトを点灯する第三の場合、のうち少なくともいずれか一つの場合に該当するときに、前記外乱推定部と前記重み付け部と前記対応点設定部との前記各処理を実行し、前記第一の場合と前記第二の場合と前記第三の場合とのいずれの場合にも該当しないときに、前記外乱推定部と前記重み付け部と前記対応点設定部との前記各処理を実行しない、測距装置。 - 複数の画像を取得する画像取得部(22)と、
前記請求項1から請求項6のいずれか一項に記載の測距装置と、を備える、
測距システム(20)。 - 複数の画像を取得する画像取得部を備える測距装置の測距方法であって、
前記複数の画像のうちの一つの画像である基準画像から抽出した一つの画素である基準画素の画素値と、前記複数の画像のうち前記基準画像とは別の画像である比較画像から抽出した比較画素の画素値との類似度の逆数により求められる前記基準画素と前記比較画素との非類似度を、前記基準画素のそれぞれについて演算する工程と、
得られた前記基準画素に対する複数の前記比較画素の前記非類似度を用いて、前記基準画素または前記比較画素の少なくともいずれか一方が外乱である確率を、前記基準画素のそれぞれについて演算する工程と、
前記確率によって重み付けした前記非類似度である重み付け非類似度を、前記基準画素のそれぞれについて演算する工程と、
前記重み付け非類似度を用いて、前記基準画素のそれぞれに対応する前記比較画素である対応点を設定する工程と、を備える、測距装置の測距方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018104431A JP7152880B2 (ja) | 2018-05-31 | 2018-05-31 | 測距装置、測距システムおよび測距方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018104431A JP7152880B2 (ja) | 2018-05-31 | 2018-05-31 | 測距装置、測距システムおよび測距方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019211219A JP2019211219A (ja) | 2019-12-12 |
JP7152880B2 true JP7152880B2 (ja) | 2022-10-13 |
Family
ID=68844046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018104431A Active JP7152880B2 (ja) | 2018-05-31 | 2018-05-31 | 測距装置、測距システムおよび測距方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7152880B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011210246A (ja) | 2010-03-12 | 2011-10-20 | Mitsubishi Electric Research Laboratories Inc | ステレオ画像においてオクルージョンをハンドリングするための方法 |
JP2015114269A (ja) | 2013-12-13 | 2015-06-22 | 株式会社日本自動車部品総合研究所 | 対応点探索方法および距離測定装置 |
WO2017104574A1 (ja) | 2015-12-14 | 2017-06-22 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
-
2018
- 2018-05-31 JP JP2018104431A patent/JP7152880B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011210246A (ja) | 2010-03-12 | 2011-10-20 | Mitsubishi Electric Research Laboratories Inc | ステレオ画像においてオクルージョンをハンドリングするための方法 |
JP2015114269A (ja) | 2013-12-13 | 2015-06-22 | 株式会社日本自動車部品総合研究所 | 対応点探索方法および距離測定装置 |
WO2017104574A1 (ja) | 2015-12-14 | 2017-06-22 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2019211219A (ja) | 2019-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3082066B1 (en) | Road surface gradient detection device | |
US10129521B2 (en) | Depth sensing method and system for autonomous vehicles | |
JP3868876B2 (ja) | 障害物検出装置及び方法 | |
US8406474B2 (en) | Method and apparatus for identifying obstacle in image | |
JP6353289B2 (ja) | 測距補正装置 | |
JP4697101B2 (ja) | 車両検出装置、およびライト制御装置 | |
US7623700B2 (en) | Stereoscopic image processing apparatus and the method of processing stereoscopic images | |
JP6377970B2 (ja) | 視差画像生成装置及び視差画像生成方法 | |
JP5402828B2 (ja) | 車線境界検出装置、車線境界検出プログラム | |
JP2009009331A (ja) | 白線検出装置および白線検出方法 | |
JP6890350B2 (ja) | V2v通信を介して取得した情報とカメラを介して取得した情報とを融合してカメラのピッチキャリブレーションをより精巧に遂行することによって、カメラ基盤のロバスト物体距離の予測を提供する方法、及びこれを利用した装置 | |
US11132530B2 (en) | Method for three-dimensional graphic reconstruction of a vehicle | |
CN112700486B (zh) | 对图像中路面车道线的深度进行估计的方法及装置 | |
US10043106B2 (en) | Corresponding point searching method and distance detection device | |
WO2019058582A1 (ja) | 距離推定装置及び方法 | |
CN110876053A (zh) | 图像处理装置、驾驶支援***及记录介质 | |
JP2019066308A (ja) | 視差算出装置 | |
JP4394487B2 (ja) | ステレオ画像処理装置 | |
JP7152880B2 (ja) | 測距装置、測距システムおよび測距方法 | |
CN108292441A (zh) | 用于机动车辆的视觉***和控制视觉***的方法 | |
JP6645936B2 (ja) | 状態推定装置 | |
JP2019128153A (ja) | 距離算出装置及び車両制御装置 | |
CN111260538A (zh) | 基于长基线双目鱼眼相机的定位及车载终端 | |
JP2017020942A (ja) | 推定装置及び推定プログラム | |
JP2015210609A (ja) | レーンマーク認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220930 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7152880 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |