JP6574611B2 - 立体画像に基づいて距離情報を求めるためのセンサシステム - Google Patents
立体画像に基づいて距離情報を求めるためのセンサシステム Download PDFInfo
- Publication number
- JP6574611B2 JP6574611B2 JP2015108573A JP2015108573A JP6574611B2 JP 6574611 B2 JP6574611 B2 JP 6574611B2 JP 2015108573 A JP2015108573 A JP 2015108573A JP 2015108573 A JP2015108573 A JP 2015108573A JP 6574611 B2 JP6574611 B2 JP 6574611B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- filter
- sensor
- correlation
- sensor system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 51
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 20
- 238000009826 distribution Methods 0.000 description 16
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 239000002131 composite material Substances 0.000 description 6
- 230000002596 correlated effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
文献「画像相関を計算するための非パラメトリック局部変換」ザビーおよびウッドフィル、(1994, Proceedings of the third European conference on Computer Vision, Vol. II)は、パッチ相関を改良するために画像についてランクおよび全数変換(rank and census transform)を紹介する。ランク変換した画像を加算された絶対値または自乗した差分と突き合わせ、全数変換した画像をハミング距離と突き合わせることが提案されている。
深さ = fb/視差
ここで、f はセンサの焦点距離であり、b はベースラインである。ベースラインは少なくとも2つのセンサの間の(3D)距離である。
この発明によって評価、処理、維持、調整、および実行(たとえば動き変更コマンドまたは駆動コマンド)のために必要とされる計算および変形は、一つまたは複数のプロセッサ(CPU)のような処理モジュール3、信号処理ユニットその他の計算、処理(processing)または計算ハードウェアおよび/またはソフトウェアによって実行されることができ、これらは並列処理で行われてもよい。処理および計算は標準の出来合いの(off-the-shelf、OTS)ハードウェア上または特別に設計されたハードウェアコンポーネント上で実行することができる。プロセッサのCPUは計算を実行し、メインメモリ(RAM、ROM)、制御ユニット、および演算論理ユニット(ALU)を備えることができる。それは特殊化されたグラフィックプロセッサをアドレスすることもでき、これは必要な計算を取り扱うための専用メモリおよび処理能力を提供する。
ステレオカメラ:
ステレオカメラは、2つのレンズを持つタイプのカメラで、各レンズが別々の画像センサを持つ。しばしば、実際にステレオカメラは装置(rig)に取り付けられた2つの別々のカメラからなる。この場合、カメラは固定でも可動でもよい。固定の場合、カメラは画像センサと同一平面(並列設定)になるよう位置合わせされている。可動の場合、ステレオカメラは、通常、人の目のよせ運動(vergence、両眼離反運動)をまねるのに使用される。
(マッチング)パッチまたは(マッチング)フィルタとも呼ばれる。ステレオプロセスでは、これは画像の小さいサブ部分(画像パッチ)のことをいう。典型的には、一つの画像からのマッチングウィンドウは他の画像の同じサイズおよび形状のマッチングウィンドウと比較される。しばしば、画像フィルタリングによって複数のこれらの比較が一緒に行われ、ウィンドウ自身がしばしばフィルタと呼ばれる。したがって、フィルタサイズ、ウィンドウサイズ、およびパッチサイズは、同じものであり、マッチングウィンドウのサイズをいう。
Claims (17)
- センサシステムから物理的オブジェクトまでの距離を求める距離測定方法であって、
前記センサシステムが備えるセンサから、前記物理的オブジェクトを含むステレオ画像を構成する少なくとも1対の画像を取得するステップであって、前記1対の画像は第1の画像と第2の画像とで構成されるステップと、
前記第1の画像の少なくとも一部分の各エレメントおよび前記第2の画像の少なくとも一部分の各エレメントに、それぞれ少なくとも2つの予め定められた異なる形状を有するフィルタを適用するステップと、
前記各フィルタについて、当該フィルタを適用することにより前記第1および第2の画像から抽出される画像パッチについて、さまざまな視差についての相関値を求めるステップと、
前記各フィルタについて求められた前記相関値を組み合わせて、前記フィルタのセットについての合成相関値を求めるステップと、
さまざまな視差についての前記合成相関値を、当該合成相関値の極値に関して評価するステップと、
前記極値が生じる視差の値に基づいて前記距離を算出するステップと、
前記距離を出力するステップと、
を含む距離測定方法。 - 前記センサシステムが少なくとも2つの映像センサ及び又は光学センサを備え、前記センサの少なくとも一つがカメラ、レーダセンサ、ライダセンサ、赤外線センサ、または熱センサである、請求項1に記載の方法。
- 前記フィルタが長方形で画像の一つの次元にそって一つの空間方向に長く、特に垂直方向または水平方向に長い、請求項1または2に記載の方法。
- 前記相関値が正規化され、たとえば一つのエレメントのための各フィルタの相関値が、該フィルタ相関値の組み合わせ前に該エレメントのための該フィルタのすべての相関値の和によって正規化される、請求項1から3のいずれか1項に記載の方法。
- 前記相関値が正規化された相互相関、加算された正規化相互、全数変換画像のハミング距離、またはランク変換画像の絶対差によって計算される、請求項1から4のいずれか1項に記載の方法。
- 異なるフィルタの前記相関値がたとえばべき乗によって重み付けられる、請求項1から5のいずれか1項に記載の方法。
- 前記エレメントがピクセルである、請求項1から6のいずれか1項に記載の方法。
- 前記センサシステムが2以上の画像を供給する2以上のセンサを有し、一つのセンサが基準センサとして使われる、請求項1から7のいずれか1項に記載の方法。
- 前記極値が最大値である、請求項1から8のいずれか1項に記載の方法。
- 前記合成相関値は、前記各フィルタについて求められた前記相関値を互いに乗算することにより算出される、請求項1から9のいずれか1項に記載の方法。
- 前記センサが受動センサ、特に光学センサである、請求項1から10のいずれか1項に記載の方法。
- 複数の前記1対の画像が、前記センサシステムから連続して供給され、前記方法は、連続して供給される複数の前記1対の画像のそれぞれに対して実行される、請求項1から11のいずれか1項に記載の方法。
- センサシステムであって、
物理的オブジェクトを含むステレオ画像を構成する少なくとも1対の画像を取得するための少なくとも2つのセンサであって、前記1対の画像は第1の画像と第2の画像とで構成されるセンサと、
前記第1の画像の少なくとも一部分の各エレメント、および前記第2の画像の少なくとも一部分の各エレメントに、少なくとも2つの予め定められた異なる形状を有するフィルタを適用する手段と、
前記各フィルタについて、当該フィルタを適用することにより前記第1および第2の画像から抽出される画像パッチについて、さまざまな視差についての相関値を求める手段と、
前記各フィルタについて求められた前記相関値を組み合わせて、前記フィルタのセットについての合成相関値を求める手段と、
さまざまな視差についての前記合成相関値を、当該合成相関値の極値に関して評価する手段と、
前記極値が生じる視差の値に基づいて前記センサシステムから前記物理的オブジェクトまでの距離を算出する手段と、
前記距離を出力する手段と、
を備える、センサシステム。 - 請求項13に記載のセンサシステムを備えた、陸、空、海または宇宙の乗り物またはロボットデバイス。
- 前記乗り物はロボット、モーターサイクル、スクーターその他の2輪乗り物、乗用車、航空機、または芝刈り機である、請求項14に記載の乗り物。
- 請求項13に記載の前記センサシステムを備える、乗り物のドライバ支援システム。
- コンピュータ上で実行されるとき、請求項1から12のいずれか1項に記載の方法を実施するコンピュータ・プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14173827.8 | 2014-06-25 | ||
EP14173827.8A EP2960858B1 (en) | 2014-06-25 | 2014-06-25 | Sensor system for determining distance information based on stereoscopic images |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016009487A JP2016009487A (ja) | 2016-01-18 |
JP2016009487A5 JP2016009487A5 (ja) | 2019-07-04 |
JP6574611B2 true JP6574611B2 (ja) | 2019-09-11 |
Family
ID=50982805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015108573A Active JP6574611B2 (ja) | 2014-06-25 | 2015-05-28 | 立体画像に基づいて距離情報を求めるためのセンサシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9513108B2 (ja) |
EP (1) | EP2960858B1 (ja) |
JP (1) | JP6574611B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014221888A1 (de) * | 2014-10-28 | 2016-04-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Lokalisierung eines Fahrzeugs in seinem Umfeld |
TWI555997B (zh) * | 2015-04-17 | 2016-11-01 | 原相科技股份有限公司 | 測距系統及測量距離的方法 |
WO2016185458A1 (en) * | 2015-05-17 | 2016-11-24 | Inuitive Ltd. | A method for estimating aggregation results for generating three dimensional images |
US10282623B1 (en) * | 2015-09-25 | 2019-05-07 | Apple Inc. | Depth perception sensor data processing |
CN109314774B (zh) * | 2016-07-06 | 2021-05-25 | 深圳市大疆创新科技有限公司 | 用于立体成像的***和方法 |
JP7062898B2 (ja) * | 2017-09-07 | 2022-05-09 | 株式会社デンソー | 衝突回避装置 |
JP7204536B2 (ja) * | 2019-03-05 | 2023-01-16 | 株式会社Soken | 距離画像生成装置 |
WO2020218683A1 (ko) * | 2019-04-23 | 2020-10-29 | 이지스로직 주식회사 | 라이다를 이용한 3차원 영상 획득 시스템 |
US20210168347A1 (en) * | 2019-12-02 | 2021-06-03 | ClairLabs Ltd. | Cross-Modality Face Registration and Anti-Spoofing |
CN111443704B (zh) * | 2019-12-19 | 2021-07-06 | 苏州智加科技有限公司 | 用于自动驾驶***的障碍物定位方法及装置 |
EP4201061A1 (en) * | 2020-07-22 | 2023-06-28 | Blue River Technology Inc. | Methods and apparatus for using filtering to improve image patch matching |
EP3985446B1 (fr) | 2020-10-14 | 2023-05-24 | The Swatch Group Research and Development Ltd | Dispositif de determination de position d'afficheur d'horlogerie |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3465988B2 (ja) * | 1994-04-27 | 2003-11-10 | 松下電器産業株式会社 | 動き及び奥行き推定方法及びその装置 |
JP2004184240A (ja) * | 2002-12-03 | 2004-07-02 | Topcon Corp | 画像測定装置、画像測定方法、画像処理装置 |
JP4772494B2 (ja) * | 2005-12-26 | 2011-09-14 | 富士重工業株式会社 | データ処理装置 |
EP2386998B1 (en) | 2010-05-14 | 2018-07-11 | Honda Research Institute Europe GmbH | A Two-Stage Correlation Method for Correspondence Search |
-
2014
- 2014-06-25 EP EP14173827.8A patent/EP2960858B1/en active Active
-
2015
- 2015-05-28 JP JP2015108573A patent/JP6574611B2/ja active Active
- 2015-06-19 US US14/744,345 patent/US9513108B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9513108B2 (en) | 2016-12-06 |
EP2960858B1 (en) | 2018-08-08 |
JP2016009487A (ja) | 2016-01-18 |
EP2960858A1 (en) | 2015-12-30 |
US20150377607A1 (en) | 2015-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6574611B2 (ja) | 立体画像に基づいて距離情報を求めるためのセンサシステム | |
JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
US20210004646A1 (en) | Systems and methods for weakly supervised training of a model for monocular depth estimation | |
WO2020094033A1 (en) | Method and system for converting point cloud data for use with 2d convolutional neural networks | |
WO2019230339A1 (ja) | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 | |
CN109334563B (zh) | 一种基于道路前方行人和骑行者的防碰撞预警方法 | |
JP5782088B2 (ja) | 歪みのあるカメラ画像を補正するシステム及び方法 | |
CN112889071B (zh) | 用于确定二维图像中深度信息的***和方法 | |
US11120280B2 (en) | Geometry-aware instance segmentation in stereo image capture processes | |
US20150199818A1 (en) | Method for analyzing related images, image processing system, vehicle comprising such system and computer program product | |
CN112997187A (zh) | 基于鸟瞰图点云的二维对象边界框信息估计 | |
WO2020237942A1 (zh) | 一种行人3d位置的检测方法及装置、车载终端 | |
KR20200060194A (ko) | 차선들의 깊이값을 예측하는 방법, 3차원 차선들을 출력하는 방법 및 그 장치 | |
CN113228043A (zh) | 移动平台基于神经网络的障碍物检测及关联的***和方法 | |
CN108645375B (zh) | 一种用于车载双目***快速车辆测距优化方法 | |
CN114419098A (zh) | 基于视觉变换的运动目标轨迹预测方法及装置 | |
CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
Yeol Baek et al. | Scene understanding networks for autonomous driving based on around view monitoring system | |
CN116310673A (zh) | 一种基于点云与图像特征融合的三维目标检测方法 | |
CN114648639B (zh) | 一种目标车辆的检测方法、***及装置 | |
JP2021092996A (ja) | 計測システム、車両、計測方法、計測装置及び計測プログラム | |
US20230294729A1 (en) | Method and system for assessment of sensor performance | |
CN113569803A (zh) | 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及*** | |
JP7501481B2 (ja) | 距離推定装置、距離推定方法、および距離推定用コンピュータプログラム | |
CN111815667B (zh) | 一种相机移动条件下高精度检测运动目标的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170802 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170804 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190523 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20190523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6574611 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |