JP2015203703A - ステレオオブジェクト検出及び距離計算のためのシステム及び方法 - Google Patents
ステレオオブジェクト検出及び距離計算のためのシステム及び方法 Download PDFInfo
- Publication number
- JP2015203703A JP2015203703A JP2015083589A JP2015083589A JP2015203703A JP 2015203703 A JP2015203703 A JP 2015203703A JP 2015083589 A JP2015083589 A JP 2015083589A JP 2015083589 A JP2015083589 A JP 2015083589A JP 2015203703 A JP2015203703 A JP 2015203703A
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- vehicle
- image
- matrix
- stereo camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004364 calculation method Methods 0.000 title claims description 21
- 238000001514 detection method Methods 0.000 title description 3
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 238000013507 mapping Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 7
- 230000002085 persistent effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 description 9
- 230000002776 aggregation Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000772415 Neovison vison Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本出願は、2014年4月16日出願の印度国仮特許出願第1347/MUM/2014号の優先権を主張するものであり、その全体が参照の上、本明細書に組み込まれる。
Nx(x、y)は、最右列の無い周辺ウインドウ、
Ny(x、y)は、最下行の無い周辺ウインドウ、
▽xは、右への正勾配、および、
▽yは、底への正勾配である。
104 ステレオカメラ
106 ネットワーク
108 乗物
202 プロセッサ
204 インタフェース
206 メモリ
208 モジュール
210 受信モジュール
212 ソベルフィルタ
214 補間モジュール
216 セミグローバルマッチングモジュール
218 距離計算モジュール
220 他のモジュール
222 データ
224 データストア
226 他のデータ
Claims (7)
- 乗物と、乗物の経路に現れるオブジェクトとの間の距離を計測するための方法において、
乗物の経路に現れるオブジェクトを含む左画像及び右画像をプロセッサにより受信するステップであって、左画像及び右画像は乗物と結合するステレオカメラにより捕獲され、左画像及び右画像は第1のセットのピクセルと第2のセットのピクセルを夫々含み、第1のセットのピクセルと第2のセットのピクセルは第1のマトリクスと第2のマトリクスの夫々に分離して配置され、第1のマトリクスと第2のマトリクスは行と列を含む、ステップと、
第1のセットのピクセルのサブセットを第2のセットのピクセルのサブセットとマッチングすることであって、第1のセットのピクセルのサブセットは第1のマトリクス内の所定の行と所定の列に対応する、ことと、
マッピングに基づいて視差マップを生成することであって、視差マップが第1のセットのピクセルのサブセットと第2のセットのピクセルのサブセットとのマッピングに基づく視差値を含む、こととにより、
左画像及び右画像上にセミグローバルマッチング技術をプロセッサで適用するステップと、
三角測量技術を用いることにより、視差値、ステレオカメラの焦点距離、及びステレオカメラのベースラインに基づいて、オブジェクトと乗物との間の距離を計算するステップと
を含む
方法。 - 更に、ソベルフィルタを用いて左画像及び右画像のエッジを判別するステップを含む
請求項1に記載の方法。 - 更に、正規化後、ステレオカメラのパラメータ及びオブジェクトのターゲット距離に基づく所定のレベルへ左画像及び右画像を補完するステップを含む
請求項1に記載の方法。 - 乗物(108)と、乗物(108)の経路に現れるオブジェクトとの間の距離を計測するためのシステム(102)において、
プロセッサ(202)と、
プロセッサ(202)へ結合するメモリ(206)であって、メモリ(206)はプロセッサ(202)により実行可能である、内部に格納された複数のモジュール(208)を有し、複数のモジュール(208)は、
乗物の経路に現れるオブジェクトを含む左画像及び右画像を受信する受信モジュール(210)であって、左画像及び右画像は乗物と結合するステレオカメラにより捕獲され、左画像及び右画像は第1のセットのピクセルと第2のセットのピクセルを夫々含み、第1のセットのピクセルと第2のセットのピクセルは第1のマトリクスと第2のマトリクスの夫々に分離して配置され、第1のマトリクスと第2のマトリクスは行と列を含む、受信モジュール(210)と、
第1のセットのピクセルのサブセットを第2のセットのピクセルのサブセットとマッチングすることであって、第1のセットのピクセルのサブセットは第1のマトリクス内の所定の行と所定の列に対応する、ことと、
マッピングに基づいて視差マップを生成することであって、視差マップが第1のセットのピクセルのサブセットと第2のセットのピクセルのサブセットとのマッピングに基づく視差値を含む、こととにより、
左画像及び右画像上にセミグローバルマッチング技術を適用するセミグローバルマッチングモジュール(216)と、
三角測量技術を用いることにより、視差値、ステレオカメラの焦点距離、及びステレオカメラのベースラインに基づいて、オブジェクトと乗物との間の距離を計算する距離計算モジュール(218)と
を含む
システム(102)。 - 更に、左画像及び右画像のエッジを判別するソベルフィルタ(212)を含む
請求項4に記載のシステム(102)。 - 更に、ステレオカメラのパラメータ及びオブジェクトのターゲット距離に基づく所定のレベルへ左画像及び右画像を補完する補間モジュール(214)であって、補間により左画像及び右画像のサブピクセルレベルの処理が可能になる
請求項4に記載のシステム(102)。 - 乗物と、乗物の経路に現れるオブジェクトとの間の距離を計測するための計算装置で実行可能なプログラムを統合する持続性コンピュータ読み取り可能媒体において、
プログラムは、
乗物の経路に現れるオブジェクトを含む左画像及び右画像を受信するプログラムコードであって、左画像及び右画像は乗物と結合するステレオカメラにより捕獲され、左画像及び右画像は第1のセットのピクセルと第2のセットのピクセルを夫々含み、第1のセットのピクセルと第2のセットのピクセルは第1のマトリクスと第2のマトリクスの夫々に分離して配置され、第1のマトリクスと第2のマトリクスは行と列を含む、プログラムコードと、
第1のセットのピクセルのサブセットを第2のセットのピクセルのサブセットとマッチングすることであって、第1のセットのピクセルのサブセットは第1のマトリクス内の所定の行と所定の列に対応する、ことと、
マッピングに基づいて視差マップを生成することであって、視差マップが第1のセットのピクセルのサブセットと第2のセットのピクセルのサブセットとのマッピングに基づく視差値を含む、こととにより、
左画像及び右画像上にセミグローバルマッチング技術を適用するプログラムコードと、
三角測量技術を用いることにより、視差値、ステレオカメラの焦点距離、及びステレオカメラのベースラインに基づいて、オブジェクトと乗物との間の距離を計算するプログラムコードと
を含む
持続性コンピュータ読み取り可能媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN1347/MUM/2014 | 2014-04-16 | ||
IN1347MU2014 | 2014-04-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015203703A true JP2015203703A (ja) | 2015-11-16 |
JP6352216B2 JP6352216B2 (ja) | 2018-07-04 |
Family
ID=54597203
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015083589A Active JP6352216B2 (ja) | 2014-04-16 | 2015-04-15 | ステレオオブジェクト検出及び距離計算のためのシステム及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6352216B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109784353A (zh) * | 2017-11-14 | 2019-05-21 | 北京三星通信技术研究有限公司 | 一种无向图匹配的方法、设备和存储介质 |
CN111275817A (zh) * | 2018-12-04 | 2020-06-12 | 赫尔环球有限公司 | 提供特征三角测量的方法和装置 |
WO2023241374A1 (zh) * | 2022-06-17 | 2023-12-21 | 梅卡曼德(北京)机器人科技有限公司 | 双目立体匹配方法、计算机存储介质以及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006322797A (ja) * | 2005-05-18 | 2006-11-30 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
JP2011191905A (ja) * | 2010-03-12 | 2011-09-29 | Hitachi Automotive Systems Ltd | ステレオカメラ装置 |
US20120002866A1 (en) * | 2009-03-12 | 2012-01-05 | Deutsches Zentrum Fuer Luft- Und Raumfahrt E.V. | Method and apparatus for reducing the memory requirement for determining disparity values for at least two stereoscopically recorded images |
US20130121561A1 (en) * | 2011-11-11 | 2013-05-16 | Texas Instruments Incorporated | Method, System and Computer Program Product for Detecting an Object in Response to Depth Information |
JP2013250891A (ja) * | 2012-06-01 | 2013-12-12 | Univ Of Tokyo | 超解像方法及び装置 |
WO2014054124A1 (ja) * | 2012-10-02 | 2014-04-10 | トヨタ自動車株式会社 | 路面標示検出装置及び路面標示検出方法 |
-
2015
- 2015-04-15 JP JP2015083589A patent/JP6352216B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006322797A (ja) * | 2005-05-18 | 2006-11-30 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
US20120002866A1 (en) * | 2009-03-12 | 2012-01-05 | Deutsches Zentrum Fuer Luft- Und Raumfahrt E.V. | Method and apparatus for reducing the memory requirement for determining disparity values for at least two stereoscopically recorded images |
JP2011191905A (ja) * | 2010-03-12 | 2011-09-29 | Hitachi Automotive Systems Ltd | ステレオカメラ装置 |
US20130121561A1 (en) * | 2011-11-11 | 2013-05-16 | Texas Instruments Incorporated | Method, System and Computer Program Product for Detecting an Object in Response to Depth Information |
JP2013250891A (ja) * | 2012-06-01 | 2013-12-12 | Univ Of Tokyo | 超解像方法及び装置 |
WO2014054124A1 (ja) * | 2012-10-02 | 2014-04-10 | トヨタ自動車株式会社 | 路面標示検出装置及び路面標示検出方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109784353A (zh) * | 2017-11-14 | 2019-05-21 | 北京三星通信技术研究有限公司 | 一种无向图匹配的方法、设备和存储介质 |
CN111275817A (zh) * | 2018-12-04 | 2020-06-12 | 赫尔环球有限公司 | 提供特征三角测量的方法和装置 |
WO2023241374A1 (zh) * | 2022-06-17 | 2023-12-21 | 梅卡曼德(北京)机器人科技有限公司 | 双目立体匹配方法、计算机存储介质以及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP6352216B2 (ja) | 2018-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107798699B (zh) | 用立体图像进行深度图估计 | |
JP2021185548A (ja) | 物体検出装置、物体検出方法およびプログラム | |
JP6589926B2 (ja) | 物体検出装置 | |
JP6111745B2 (ja) | 車輌検知方法及び装置 | |
US10977816B2 (en) | Image processing apparatus, image processing program, and driving assistance system | |
JP7380824B2 (ja) | 車両状態推定方法、車両状態推定装置、及び車両状態推定プログラム | |
CN111507158B (zh) | 利用语义分割检测停车区域的方法和装置 | |
US10936851B2 (en) | Method and apparatus for recognizing object | |
JP6352216B2 (ja) | ステレオオブジェクト検出及び距離計算のためのシステム及び方法 | |
JP7343054B2 (ja) | 位置推定方法、位置推定装置、および位置推定プログラム | |
US9767361B2 (en) | Bathymetric techniques using satellite imagery | |
CN112461257A (zh) | 一种车道线信息的确定方法及装置 | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
US20230093553A1 (en) | Navigation apparatus and operation method of navigation apparatus | |
JP2023068009A (ja) | 地図情報作成方法 | |
EP4102464A1 (en) | Method and apparatus with calibration | |
WO2017093057A1 (fr) | Procede de caracterisation d'une scene par calcul d'orientation 3d | |
KR101911860B1 (ko) | 깊이 영상에서 카메라 모델 및 필터를 이용한 도로 검출 방법 및 장치 | |
JP5959682B2 (ja) | オブジェクトと車両との間の距離を算出するためのシステムおよび方法 | |
JP2022190173A (ja) | 位置推定装置 | |
JP2020030466A (ja) | 物体検知装置 | |
KR102621257B1 (ko) | 차량 및 그 제어방법 | |
JP7064400B2 (ja) | 物体検知装置 | |
JP5089448B2 (ja) | 反射特性評価装置、反射特性評価方法および反射特性評価プログラム | |
CN117152694A (zh) | 自动驾驶***光学攻击检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170214 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170713 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20171003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180205 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180320 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6352216 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |