JP2019002787A - ステレオカメラ装置 - Google Patents
ステレオカメラ装置 Download PDFInfo
- Publication number
- JP2019002787A JP2019002787A JP2017117336A JP2017117336A JP2019002787A JP 2019002787 A JP2019002787 A JP 2019002787A JP 2017117336 A JP2017117336 A JP 2017117336A JP 2017117336 A JP2017117336 A JP 2017117336A JP 2019002787 A JP2019002787 A JP 2019002787A
- Authority
- JP
- Japan
- Prior art keywords
- image
- reference image
- parallax
- stereo
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】ステレオカメラ装置10は、基準画像と参照画像の視差を算出するステレオマッチング回路3031を備え、ステレオマッチング回路3031は、2次元画像をブロックライン単位で読み出す1次元変換部305を有し、参照画像を複数のブロックラインそれぞれで探索し、基準画像に対する参照画像の垂直ずれを検知する。
【選択図】図1
Description
以上のように、図5と図6では基本的な処理は同じであるため、サブピクセル処理部3035でどちらも処理が可能である。
20 撮影部
21 左カメラ
22 右カメラ
50 画像メモリ
60 CPU
70 内部リバス
90 SoC
210 ソース画像左
220 ソース画像右
302 アフィン変換部
303 視差演算部
304 垂直ずれ検知部
305 1次元変換部
306 評価結果メモリB
307 基準画像バッファB
502 視差画像
503 垂直ずれ検知結果
601 垂直ずれ調整値設定処理
2110 アフィン変換後左画像
2210 アフィン変換後右画像
3020 垂直ずれ調整値レジスタ
3030 参照画像ラインバッファ
3031 ステレオマッチング回路
3032 基準画像バッファA
3033 評価結果メモリA
3034 一致度評価部
3035 サブピクセル処理部
3050 参照画像ブロックメモリ
3051 ブロックラインバッファ
Claims (5)
- 基準画像と参照画像の視差を算出するステレオマッチング回路を備え、
該ステレオマッチング回路は、2次元画像をブロックライン単位で読み出す1次元変換部を有し、
前記参照画像を複数の前記ブロックラインそれぞれで探索し、
前記基準画像に対する前記参照画像の垂直ずれを検知することを特徴とするステレオカメラ装置。 - 前記1次元変換部は、参照画像の垂直位置をずらしながら抽出された1ライン分のブロックラインデータを保持するブロックラインバッファを有することを特徴とする、請求項1に記載のステレオカメラ装置。
- 前記ステレオマッチング回路は、複数の前記探索した前記ブロックラインの結果を保持するメモリを有し、
該メモリから前記基準画像との一致度が最も大きい前記参照画像の位置をマッチング位置とし、
前記マッチング位置のマッチング結果と、前記マッチング位置の上下の前記ブロックラインに位置するマッチング結果とを用いて、垂直方向にサブピクセルを算出することを特徴とする、請求項1又は2に記載のステレオカメラ装置。 - 垂直ずれ検知に使用した画像の垂直ずれを調整し、前記調整された画像で視差を算出する、請求項1乃至3のいずれかに記載のステレオカメラ装置。
- 前記視差を算出する処理の消費電力と、前記垂直ずれの検知する処理の消費電力との差が所定値以下であることを特徴とする、請求項1乃至4のいずれかに記載のステレオカメラ装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017117336A JP6789888B2 (ja) | 2017-06-15 | 2017-06-15 | ステレオカメラ装置 |
PCT/JP2018/020661 WO2018230340A1 (ja) | 2017-06-15 | 2018-05-30 | ステレオカメラ装置 |
EP18818696.9A EP3640585B1 (en) | 2017-06-15 | 2018-05-30 | Stereo camera device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017117336A JP6789888B2 (ja) | 2017-06-15 | 2017-06-15 | ステレオカメラ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019002787A true JP2019002787A (ja) | 2019-01-10 |
JP6789888B2 JP6789888B2 (ja) | 2020-11-25 |
Family
ID=64659144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017117336A Active JP6789888B2 (ja) | 2017-06-15 | 2017-06-15 | ステレオカメラ装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3640585B1 (ja) |
JP (1) | JP6789888B2 (ja) |
WO (1) | WO2018230340A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020166403A1 (ja) * | 2019-02-12 | 2020-08-20 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
JP7492372B2 (ja) | 2020-05-08 | 2024-05-29 | 株式会社Subaru | 画像処理装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7109386B2 (ja) * | 2019-01-22 | 2022-07-29 | 日立Astemo株式会社 | 画像処理装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05114099A (ja) * | 1991-10-22 | 1993-05-07 | Fuji Heavy Ind Ltd | 車輌用距離検出装置 |
JP2003256875A (ja) * | 2002-02-27 | 2003-09-12 | Fuji Heavy Ind Ltd | ステレオ画像の位置ずれ調整装置、位置ずれ調整方法、およびステレオ式監視装置 |
JP2005009883A (ja) * | 2003-06-16 | 2005-01-13 | Calsonic Kansei Corp | ステレオカメラ装置 |
JP2011118509A (ja) * | 2009-12-01 | 2011-06-16 | Fuji Heavy Ind Ltd | 道路認識装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5768404A (en) * | 1994-04-13 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods |
JP3280001B2 (ja) * | 1999-09-16 | 2002-04-30 | 富士重工業株式会社 | ステレオ画像の位置ずれ調整装置 |
US6674892B1 (en) * | 1999-11-01 | 2004-01-06 | Canon Kabushiki Kaisha | Correcting an epipolar axis for skew and offset |
JP5792662B2 (ja) * | 2011-03-23 | 2015-10-14 | シャープ株式会社 | 視差算出装置、距離算出装置及び視差算出方法 |
-
2017
- 2017-06-15 JP JP2017117336A patent/JP6789888B2/ja active Active
-
2018
- 2018-05-30 EP EP18818696.9A patent/EP3640585B1/en active Active
- 2018-05-30 WO PCT/JP2018/020661 patent/WO2018230340A1/ja unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05114099A (ja) * | 1991-10-22 | 1993-05-07 | Fuji Heavy Ind Ltd | 車輌用距離検出装置 |
JP2003256875A (ja) * | 2002-02-27 | 2003-09-12 | Fuji Heavy Ind Ltd | ステレオ画像の位置ずれ調整装置、位置ずれ調整方法、およびステレオ式監視装置 |
JP2005009883A (ja) * | 2003-06-16 | 2005-01-13 | Calsonic Kansei Corp | ステレオカメラ装置 |
JP2011118509A (ja) * | 2009-12-01 | 2011-06-16 | Fuji Heavy Ind Ltd | 道路認識装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020166403A1 (ja) * | 2019-02-12 | 2020-08-20 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
JP2020128955A (ja) * | 2019-02-12 | 2020-08-27 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
JP7492372B2 (ja) | 2020-05-08 | 2024-05-29 | 株式会社Subaru | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2018230340A1 (ja) | 2018-12-20 |
EP3640585B1 (en) | 2022-11-23 |
EP3640585A4 (en) | 2021-03-10 |
JP6789888B2 (ja) | 2020-11-25 |
EP3640585A1 (en) | 2020-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5293131B2 (ja) | 車両用複眼距離測定装置及び複眼距離測定方法 | |
EP2642447A2 (en) | Device for the calibration of a stereo camera | |
EP2642448A1 (en) | Range-finding system | |
JP6707022B2 (ja) | ステレオカメラ | |
US20060227041A1 (en) | Apparatus, method and computer program product for calibrating image transform parameter, and obstacle detection apparatus | |
KR20150101749A (ko) | 객체의 3차원 형상을 산출하는 장치 및 방법 | |
JP6708730B2 (ja) | 移動体 | |
JP6515650B2 (ja) | 校正装置、距離計測装置及び校正方法 | |
WO2018230340A1 (ja) | ステレオカメラ装置 | |
JP5365387B2 (ja) | 位置検出装置 | |
JP6035774B2 (ja) | 画像処理装置、画像処理方法、及び車両 | |
WO2017033422A1 (ja) | 画像処理装置および画像処理方法 | |
JP6673160B2 (ja) | 距離測定装置 | |
CN111989541B (zh) | 立体摄像机装置 | |
JP6040782B2 (ja) | 画像処理装置及びプログラム | |
JP7004971B2 (ja) | 校正装置、校正方法及び校正プログラム | |
US10726528B2 (en) | Image processing apparatus and image processing method for image picked up by two cameras | |
JP2014138331A (ja) | 撮影装置及びプログラム | |
JP6241083B2 (ja) | 撮像装置及び視差検出方法 | |
JP2023125506A (ja) | 計測装置、移動装置、計測方法、及びコンピュータプログラム | |
JP7152506B2 (ja) | 撮像装置 | |
JP7134780B2 (ja) | ステレオカメラ装置 | |
JPH09126759A (ja) | 車載カメラによる測距方法およびそれを用いる測距装置 | |
EP4030746A1 (en) | Image processing device and stereo camera device using same | |
JP2019158759A (ja) | 撮像装置、車両、及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170616 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6789888 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |