JP2017084259A - 対応点探索方法、および距離測定装置 - Google Patents
対応点探索方法、および距離測定装置 Download PDFInfo
- Publication number
- JP2017084259A JP2017084259A JP2015214460A JP2015214460A JP2017084259A JP 2017084259 A JP2017084259 A JP 2017084259A JP 2015214460 A JP2015214460 A JP 2015214460A JP 2015214460 A JP2015214460 A JP 2015214460A JP 2017084259 A JP2017084259 A JP 2017084259A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- corresponding point
- images
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
[本実施形態の構成]
本発明が適用された距離検出装置1は、複数の撮像画像の視差を検出することによって撮像画像中の各点(物体)までの距離を検出する装置である。なお、視差とは、同一の物体を見る場所によって見える方向が異なることを示す。特に、本実施形態では、異なる位置にて撮像された物体が撮像画像中において撮像される位置が異なること、またこの際の位置のずれを視差という。
このように構成された距離検出装置1において、処理部10(CPU11)は、図2以下に示す距離演算処理を実施する。距離演算処理は、撮像画像中の各画素が示す各点までの距離を演算する処理である。距離演算処理は、例えば距離検出装置1の電源が投入されると開始され、その後、一定周期毎に繰り返し実施される。
続いて、空領域抽出処理を実施する(S40)。空領域抽出処理は、撮像画像に写る空を示す画素の集合である空領域を抽出する処理である。ここで、空領域は、例えば図3に示すように、建物の間等、撮像画像の上方において検出される。また、後述する道路領域においては、撮像画像の下方において検出される。
続いて、図2に戻り、道路面抽出処理を実施する(S50)。道路面抽出処理は、撮像画像に写る道路を示す画素の集合である道路領域を抽出する処理である。この際、道路面抽出処理では、図5に示すように、道路面よりも地中側、すなわち、鉛直方向下側に位置する領域を後述する対応点探索処理にて探索(計算)しなくてもよい領域に設定する。
また、視差drが0でなければ(S340:NO)、道路面よりも地中側となる視差の範囲を道路外領域の視差として設定する(S350)。この際、例えばこの画素の位置の情報等、この画素を特定するための情報を対応付けて、この画素についての道路外領域の視差をメモリ12に記録させる。
続いて、図2に戻り、対応点探索処理を実施する(S60)。対応点探索処理は、対応点を関連付ける処理である。ここで、対応点とは、基準画像を構成する各画素に対して、基準画像を除く撮像画像である比較画像(例えば撮像部22による撮像画像)を構成する各画素において同じものが写っている画素を示す。
このような処理が終了するとS415の処理に戻る。また、S480の処理にて高解像画像が選択されていれば(S480:YES)、対応点探索処理を終了する。
上記の距離検出装置1において処理部10は、複数の画像に含まれる画素において道路を示す道路領域および空を示す空領域のうちの少なくとも一方を示す領域を特定領域として抽出する。また、通常探索工程では、複数の画像から特定領域を除外した通常領域について、複数の画像のうちの基準画像中の画素毎に複数の画像間の対応点を探索する。また、特定探索工程では、特定領域について、通常領域において対応点を探索するときよりも探索範囲を狭くして複数の画像間の対応点を探索する。
上記の距離検出装置1において処理部10は、基準画像における画素とその周囲の画素との関係において平均輝度および輝度の分散がそれぞれ予め設定された判定範囲内である領域を空領域として抽出する。
上記の距離検出装置1において処理部10は、空領域を示す画素について予め設定された画素を対応点とする。
このような距離検出装置1によれば、道路領域を簡素な処理で抽出することができる。
このような距離検出装置1によれば、道路面よりも地中側となる範囲について対応点の探索を省略するので、対応点を探索する際の処理負荷をより軽減することができる。
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の一部を、課題を解決できる限りにおいて省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
上記実施形態において処理部10は、本発明でいう画像処理装置に相当する。また、処理部10が実行する処理のうちのS10〜S100の処理は本発明でいう対応点探索方法に相当し、上記実施形態においてS30の処理は本発明でいう複数解像度画像生成工程に相当する。
Claims (8)
- 視差を有する複数の画像を画像処理する画像処理装置(10)にて実行され、複数の画像間における対応点を探索する対応点探索方法(S10〜S100)であって、
前記複数の画像に含まれる画素において道路を示す道路領域および空を示す空領域のうちの少なくとも一方を示す領域を特定領域として抽出する特定領域抽出工程(S40,S50)と、
前記複数の画像から前記特定領域を除外した通常領域について、前記複数の画像のうちの基準画像中の画素毎に前記複数の画像間の対応点を探索する通常探索工程(S60)と、
前記特定領域について、前記通常領域において対応点を探索するときよりも探索範囲を狭くして前記複数の画像間の対応点を探索する特定探索工程(S60)と、
を実施する対応点探索方法。 - 請求項1に記載の対応点探索方法において、
前記特定領域抽出工程では、前記基準画像における画素とその周囲の画素との関係において平均輝度および輝度の分散がそれぞれ予め設定された判定範囲内である画素を前記空領域を構成する画素として抽出する
対応点探索方法。 - 請求項2に記載の対応点探索方法において、
前記特定探索工程では、前記空領域を示す画素について予め設定された画素を前記対応点とする
対応点探索方法。 - 請求項1〜請求項3の何れか1項に記載の対応点探索方法において、
前記特定領域抽出工程では、前記基準画像において道路面よりも地中側の部位が含まれる可能性がある画素を前記道路領域として抽出する
対応点探索方法。 - 請求項4に記載の対応点探索方法において、
前記特定探索工程では、前記道路領域を示す画素において道路面よりも地中側となる範囲について対応点の探索を省略する
対応点探索方法。 - 請求項1〜請求項5の何れか1項に記載の対応点探索方法において、
前記複数の撮像画像のそれぞれから解像度の異なる複数組の任意解像度画像を生成する複数解像度画像生成工程(S30)、を実施し、
前記特定領域抽出工程では、前記複数組の任意解像度画像のうちの最も解像度が高い任意解像度画像以外の何れかを表す特定解像度画像から前記特定領域を抽出する
対応点探索方法。 - 請求項1〜請求項6の何れか1項に記載の対応点探索方法において、
前記通常探索工程および前記特定探索工程では、
前記基準画像中のある画素を表す基準画素において該画素の特徴を表す画素情報と、前記基準画像を除く他の画像中の画素を表す比較画素における画素情報と、の差異に基づく画素コストを、前記基準画素および前記比較画素を変更しつつ、前記基準画素毎に演算する画素コスト演算工程(S420)と、
前記基準画素を変更する際において前記基準画素と前記比較画素との座標差である視差の変化量に対するコストを表す視差コストを、前記基準画素毎に演算し、前記各基準画素に対して、前記画素コストと前記視差コストとの和を表す合計コストが最小値となる際の比較画素との組み合わせを演算する最小コスト画素演算工程(S430,S440)と、
前記各基準画素に対応する比較画素を、前記各基準画素に対応する対応点として設定する対応点設定工程(S450)と、
を実行する対応点探索方法。 - 複数の撮像画像に基づいて撮像画像中の物体までの距離を検出する距離検出装置(1)であって、
前記複数の画像に含まれる画素において道路を示す道路領域および空を示す空領域のうちの少なくとも一方を示す領域を特定領域として抽出する特定領域抽出部(S40,S50)と、
前記複数の画像から前記特定領域を除外した通常領域について、前記複数の画像のうちの基準画像中の画素毎に前記複数の画像間の対応点を探索する通常探索部(S60)と、
前記特定領域について、前記通常領域において対応点を探索するときよりも探索範囲を狭くして前記複数の画像間の対応点を探索する特定探索部(S60)と、
前記各基準画素と対応点との関係に基づいて前記各基準画素が示す物体までの距離を演算する距離演算部(S70)と、
を備えたことを特徴とする距離検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015214460A JP6571492B2 (ja) | 2015-10-30 | 2015-10-30 | 対応点探索方法、および距離測定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015214460A JP6571492B2 (ja) | 2015-10-30 | 2015-10-30 | 対応点探索方法、および距離測定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017084259A true JP2017084259A (ja) | 2017-05-18 |
JP6571492B2 JP6571492B2 (ja) | 2019-09-04 |
Family
ID=58713035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015214460A Expired - Fee Related JP6571492B2 (ja) | 2015-10-30 | 2015-10-30 | 対応点探索方法、および距離測定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6571492B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021015035A1 (ja) * | 2019-07-19 | 2021-01-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像配信システム、および画像処理方法 |
JP2022024676A (ja) * | 2020-07-28 | 2022-02-09 | 株式会社Soken | 測距装置 |
JP2023170536A (ja) * | 2022-05-19 | 2023-12-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、移動体、及びコンピュータプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003085566A (ja) * | 2001-09-10 | 2003-03-20 | Nippon Hoso Kyokai <Nhk> | 対応点探索方法及びこれを用いたマッチング装置 |
JP2006054681A (ja) * | 2004-08-11 | 2006-02-23 | Tokyo Institute Of Technology | 移動体周辺監視装置 |
JP2010191637A (ja) * | 2009-02-17 | 2010-09-02 | Mazda Motor Corp | 車両用運転支援装置 |
JP2012118698A (ja) * | 2010-11-30 | 2012-06-21 | Fuji Heavy Ind Ltd | 画像処理装置 |
JP2012150730A (ja) * | 2011-01-20 | 2012-08-09 | Panasonic Corp | 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置 |
JP2013164351A (ja) * | 2012-02-10 | 2013-08-22 | Toyota Motor Corp | ステレオ視差算出装置 |
JP2015114269A (ja) * | 2013-12-13 | 2015-06-22 | 株式会社日本自動車部品総合研究所 | 対応点探索方法および距離測定装置 |
-
2015
- 2015-10-30 JP JP2015214460A patent/JP6571492B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003085566A (ja) * | 2001-09-10 | 2003-03-20 | Nippon Hoso Kyokai <Nhk> | 対応点探索方法及びこれを用いたマッチング装置 |
JP2006054681A (ja) * | 2004-08-11 | 2006-02-23 | Tokyo Institute Of Technology | 移動体周辺監視装置 |
JP2010191637A (ja) * | 2009-02-17 | 2010-09-02 | Mazda Motor Corp | 車両用運転支援装置 |
JP2012118698A (ja) * | 2010-11-30 | 2012-06-21 | Fuji Heavy Ind Ltd | 画像処理装置 |
JP2012150730A (ja) * | 2011-01-20 | 2012-08-09 | Panasonic Corp | 特徴抽出装置、特徴抽出方法、特徴抽出プログラム、および画像処理装置 |
JP2013164351A (ja) * | 2012-02-10 | 2013-08-22 | Toyota Motor Corp | ステレオ視差算出装置 |
JP2015114269A (ja) * | 2013-12-13 | 2015-06-22 | 株式会社日本自動車部品総合研究所 | 対応点探索方法および距離測定装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021015035A1 (ja) * | 2019-07-19 | 2021-01-28 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像配信システム、および画像処理方法 |
JP2021018575A (ja) * | 2019-07-19 | 2021-02-15 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像配信システム、および画像処理方法 |
JP7385385B2 (ja) | 2019-07-19 | 2023-11-22 | 株式会社ソニー・インタラクティブエンタテインメント | 画像配信システムおよび画像配信方法 |
US11847715B2 (en) | 2019-07-19 | 2023-12-19 | Sony Interactive Entertainment Inc. | Image processing apparatus, image distribution system, and image processing method |
JP2022024676A (ja) * | 2020-07-28 | 2022-02-09 | 株式会社Soken | 測距装置 |
JP2023170536A (ja) * | 2022-05-19 | 2023-12-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、移動体、及びコンピュータプログラム |
JP7483790B2 (ja) | 2022-05-19 | 2024-05-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、移動体、及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6571492B2 (ja) | 2019-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5870273B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
US11295516B2 (en) | Reconstruction method, reconstruction device, and generation method for generating a three-dimensional (3D) model | |
JP6179639B2 (ja) | 道路境界物の検出方法及び検出装置 | |
JP5752618B2 (ja) | ステレオ視差算出装置 | |
JP6358160B2 (ja) | 走行路面検出装置及び走行路面検出方法 | |
JP6326641B2 (ja) | 画像処理装置および画像処理方法 | |
JP6201148B2 (ja) | キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム | |
CN107392080B (zh) | 影像评估方法以及其电子装置 | |
JP6571492B2 (ja) | 対応点探索方法、および距離測定装置 | |
JP6031819B2 (ja) | 画像処理装置、画像処理方法 | |
WO2020017334A1 (ja) | 車載環境認識装置 | |
CN108074250B (zh) | 匹配代价计算方法和装置 | |
JP6212021B2 (ja) | 距離検出装置 | |
JP7136721B2 (ja) | 演算装置、視差算出方法 | |
JP2020173584A (ja) | 物体検出装置 | |
KR101907852B1 (ko) | 스테레오 영상 처리 방법 및 장치 | |
JP2017219351A (ja) | 視差検出装置 | |
JP2018059767A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6730214B2 (ja) | 視差演算装置 | |
JP6550014B2 (ja) | 路面検出装置 | |
JP5446516B2 (ja) | 画像処理装置 | |
CN117115242B (zh) | 标志点的识别方法、计算机存储介质和终端设备 | |
JP7066580B2 (ja) | 画像処理装置 | |
JP2018116620A (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
JP2018072942A (ja) | 画像処理装置、画像処理方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190716 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6571492 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |