JP5918684B2 - ステレオ画像処理装置及びステレオ画像処理方法 - Google Patents
ステレオ画像処理装置及びステレオ画像処理方法 Download PDFInfo
- Publication number
- JP5918684B2 JP5918684B2 JP2012237592A JP2012237592A JP5918684B2 JP 5918684 B2 JP5918684 B2 JP 5918684B2 JP 2012237592 A JP2012237592 A JP 2012237592A JP 2012237592 A JP2012237592 A JP 2012237592A JP 5918684 B2 JP5918684 B2 JP 5918684B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- image
- image processing
- area
- stereo image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 152
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims description 45
- 230000000873 masking effect Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 description 17
- 238000011156 evaluation Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Measurement Of Optical Distance (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
[第1の実施例]
図1は、車両に搭載されたステレオ画像処理装置の一例を示す。
距離算出部240は、視差算出部230によって算出された視差δ[pixel]に基づいて、例えば、「Z=bf/δF」という式から、車両前方の物体までの距離Z[m]を算出する。距離算出部240によって算出された距離Zは、ブレーキ制御装置,エンジン制御装置などに出力され、例えば、オートクルーズコントロールなどに使用される。
ステップ5では、左画像ブロックマスク部170及び右画像ブロックマスク部180が、左画像処理ブロック及び右画像処理ブロックをマスクするマスク量の初期値として、最大サイズのマスク量を設定する。従って、ブロックマッチングを開始する位置においては、左画像処理ブロック及び右画像処理ブロックの有効画像領域は最小となる。
ステップ8では、左画像ブロック設定部150が、右画像処理ブロックとブロックマッチングを行う左画像のブロック位置を設定する。ブロックマッチングの開始位置では、図5に示すように、ブロック位置は右画像処理ブロックの位置と同一位置となる。
ステップ11では、左画像ブロック設定部150が、左画像メモリ130の揮発性メモリに取り込んだ左画像データから、左画像のブロック位置において最大サイズのブロックによって区画される領域の左画像処理ブロックを切り出す。
ステップ18では、距離算出部240が、視差δに基づいて、物体までの距離Zを算出する。
ステップ20では、右画像ブロック設定部160が、右画像のブロック位置のずらし量が閾値Bより大きくなったか否かを判定する。ここで、閾値Bは、右画像の右端までブロックマッチングを行ったか否かを判定するためのものであって、例えば、右画像の解像度及びブロックの最大サイズに応じた値とすることができる。そして、右画像ブロック設定部160は、ブロック位置のずらし量が閾値Bより大きいと判定すれば処理をステップ21へと遷移させる一方(Yes)、ブロック位置のずらし量が閾値B以下であると判定すれば処理をステップ3へと遷移させる(No)。
ステレオ画像処理装置100が起動されると、左画像メモリ130及び右画像メモリ140には、図4に示すように、複数ライン分の左画像データ及び右画像データが夫々取り込まれる。右画像メモリ140に取り込まれた右画像データから、図5に示すように、ブロックマッチングを行う最大サイズのブロックによって区画される領域の右画像処理ブロックが切り出され、これが揮発性メモリに保持される。揮発性メモリに保持された右画像処理ブロックは、図6に示すように、左右方向の中央部に最小の有効画像領域が設定されるように両端部がマスクされ、これが揮発性メモリに保持される。一方、左画像メモリ130に取り込まれた左画像データから、図5に示すように、ブロックマッチングを行う最大サイズのブロックによって区画される領域の左画像処理ブロックが切り出される。左画像処理ブロックは、図6に示すように、左右方向の中央部に最小の有効画像領域が設定されるように両端部がマスクされる。そして、マスクされた左画像処理ブロックと右画像処理ブロックとがブロックマッチングされ、右画像処理ブロックに対する左画像処理ブロックの類似度を表すスコアが算出される。
ステレオ画像処理装置100の基本構成は、第1の実施例と同一であるので、その説明は省略する。そして、以下の説明では、重複説明を排除する観点から、第1の実施例と異なる部分についてのみ説明する。
ステレオ画像処理装置100の基本構成は、第1の実施例と同一であるので、その説明は省略する。そして、以下の説明では、重複説明を排除する観点から、第1の実施例と異なる部分についてのみ説明する。
110 左カメラ
120 右カメラ
150 左画像ブロック設定部
160 右画像ブロック設定部
170 左画像ブロックマスク部
180 右画像ブロックマスク部
210 マッチング処理部
220 正規化処理部
230 視差算出部
240 距離算出部
Claims (10)
- ステレオ画像を撮像する一対のカメラと、
前記ステレオ画像からブロックマッチングにより物体の視差を算出する手段と、
前記物体の視差から物体までの距離を算出する手段と、
を有し、
前記物体の視差を算出する手段は、前記ステレオ画像を所定サイズのブロックで分割し、各ブロックの画像をマスクすることで、ブロックマッチングの進行状況に応じて、前記ブロックマッチングで使用するブロックのサイズを変更する、
ことを特徴とするステレオ画像処理装置。 - 前記物体の視差を算出する手段は、前記ステレオ画像のブロックマッチングの結果を前記ブロックのサイズに応じて正規化し、正規化されたブロックマッチングの結果から対応する画像を特定して視差を算出する、
ことを特徴とする請求項1に記載のステレオ画像処理装置。 - 前記ブロックマッチングで使用するブロックのサイズは、前記ブロックマッチングが進行するにつれて大きくなる、
ことを特徴とする請求項1又は請求項2に記載のステレオ画像処理装置。 - 前記ブロックのサイズは階段状に大きくなる、
ことを特徴とする請求項3に記載のステレオ画像処理装置。 - 前記各ブロックの画像をマスクした領域は、前記マスク領域に応じたサイズのブロック、又は、前記画像の領域外にはみ出たブロックによりブロックマッチングされる、
ことを特徴とする請求項3又は請求項4に記載のステレオ画像処理装置。 - ステレオ画像を撮像する一対のカメラを有するステレオ画像処理装置が、
前記ステレオ画像からブロックマッチングにより物体の視差を算出する処理と、
前記物体の視差から物体までの距離を算出する処理と、
を実行するときに、
前記ステレオ画像を所定サイズのブロックで分割し、各ブロックの画像をマスクすることで、前記ブロックマッチングの進行状況に応じて、前記ブロックマッチングで使用するブロックのサイズを変更する、
ことを特徴とするステレオ画像処理方法。 - 前記ステレオ画像処理装置が、前記ステレオ画像のブロックマッチングの結果を前記ブロックのサイズに応じて正規化し、正規化されたブロックマッチングの結果から対応する画像を特定して視差を算出する、
ことを特徴とする請求項6に記載のステレオ画像処理方法。 - 前記ブロックマッチングで使用するブロックのサイズは、前記ブロックマッチングが進行するにつれて大きくなる、
ことを特徴とする請求項6又は請求項7に記載のステレオ画像処理方法。 - 前記ブロックのサイズは階段状に大きくなる、
ことを特徴とする請求項8に記載のステレオ画像処理方法。 - 前記ステレオ画像処理装置が、前記各ブロックの画像をマスクした領域を、前記マスク領域に応じたサイズのブロック、又は、前記画像の領域外にはみ出たブロックでブロックマッチングする、
ことを特徴とする請求項8又は請求項9に記載のステレオ画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012237592A JP5918684B2 (ja) | 2012-10-29 | 2012-10-29 | ステレオ画像処理装置及びステレオ画像処理方法 |
PCT/JP2013/077418 WO2014069196A1 (ja) | 2012-10-29 | 2013-10-09 | ステレオ画像処理装置及びステレオ画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012237592A JP5918684B2 (ja) | 2012-10-29 | 2012-10-29 | ステレオ画像処理装置及びステレオ画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014089498A JP2014089498A (ja) | 2014-05-15 |
JP2014089498A5 JP2014089498A5 (ja) | 2014-06-26 |
JP5918684B2 true JP5918684B2 (ja) | 2016-05-18 |
Family
ID=50627110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012237592A Active JP5918684B2 (ja) | 2012-10-29 | 2012-10-29 | ステレオ画像処理装置及びステレオ画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5918684B2 (ja) |
WO (1) | WO2014069196A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101690645B1 (ko) * | 2015-09-21 | 2016-12-29 | 경북대학교 산학협력단 | 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치 |
CN109643437B (zh) * | 2016-08-23 | 2023-01-10 | 株式会社日立制作所 | 图像处理装置、立体照相机装置以及图像处理方法 |
KR102297147B1 (ko) * | 2019-08-12 | 2021-09-03 | 고려대학교 산학협력단 | 어류의 시기능 평가를 위한 3차원 영상 분석 방법 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3524826B2 (ja) * | 1999-09-16 | 2004-05-10 | 日本電信電話株式会社 | 三次元画像処理方法、装置、および三次元画像処理プログラムを記録した記録媒体 |
JP4537597B2 (ja) * | 2001-02-22 | 2010-09-01 | オリンパス株式会社 | 視差量測定装置 |
JP2004234423A (ja) * | 2003-01-31 | 2004-08-19 | Seiko Epson Corp | ステレオ画像処理方法およびステレオ画像処理装置、並びにステレオ画像処理プログラム |
JP4550081B2 (ja) * | 2007-03-27 | 2010-09-22 | 株式会社トプコン | 画像測定方法 |
CN102859551A (zh) * | 2011-04-07 | 2013-01-02 | 松下电器产业株式会社 | 图像处理装置及图像处理方法 |
-
2012
- 2012-10-29 JP JP2012237592A patent/JP5918684B2/ja active Active
-
2013
- 2013-10-09 WO PCT/JP2013/077418 patent/WO2014069196A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2014069196A1 (ja) | 2014-05-08 |
JP2014089498A (ja) | 2014-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5870273B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP6577565B2 (ja) | 深度画像処理用の方法及び装置 | |
JP4832227B2 (ja) | 物体検出装置および物体検出方法 | |
JP6158779B2 (ja) | 画像処理装置 | |
US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
CN111314689B (zh) | 识别影像中前景物件的方法与电子装置 | |
JP4521235B2 (ja) | 撮影画像の変化抽出装置及び方法 | |
JP6035774B2 (ja) | 画像処理装置、画像処理方法、及び車両 | |
JP2011118509A (ja) | 道路認識装置 | |
JP6810009B2 (ja) | 視差算出装置 | |
JP5918684B2 (ja) | ステレオ画像処理装置及びステレオ画像処理方法 | |
JPH11351862A (ja) | 前方車両検出方法及び装置 | |
US10043106B2 (en) | Corresponding point searching method and distance detection device | |
WO2020209046A1 (ja) | 物体検出装置 | |
JP2010224918A (ja) | 環境認識装置 | |
CN117253234B (zh) | 扫描笔连续图像拼接方法、装置、介质及计算机设备 | |
US10789489B2 (en) | Vehicle exterior environment recognition apparatus | |
US10810757B2 (en) | Vehicle exterior environment recognition apparatus | |
CN112069924A (zh) | 车道线检测方法、装置及计算机可读存储介质 | |
JP7058128B2 (ja) | 情報処理装置およびプログラム | |
KR101229376B1 (ko) | 렌즈 왜곡 보정에 사용된 보간 패턴 검출을 통한 촬영 카메라 식별 방법 및 장치 | |
JP2009187138A (ja) | 対応点探索装置 | |
JP2015215235A (ja) | 物体検出装置及び物体検出方法 | |
JP5921596B2 (ja) | 画像処理装置および画像処理方法 | |
JP7322576B2 (ja) | 情報処理装置、撮像装置および移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140305 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20140528 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160408 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5918684 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |