JP2016001841A - 視差画像生成装置、視差画像生成方法及び画像 - Google Patents
視差画像生成装置、視差画像生成方法及び画像 Download PDFInfo
- Publication number
- JP2016001841A JP2016001841A JP2014121668A JP2014121668A JP2016001841A JP 2016001841 A JP2016001841 A JP 2016001841A JP 2014121668 A JP2014121668 A JP 2014121668A JP 2014121668 A JP2014121668 A JP 2014121668A JP 2016001841 A JP2016001841 A JP 2016001841A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- parallax image
- pixel
- value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
Description
を更に含み、前記視差画像生成ステップにおいて、前記対応付けステップで対応付けされた画素間で、前記第一補正ステップの処理により最適化された前記第一視差画像と、前記第二補正ステップの処理により最適化された前記第二視差画像とを、画素ごとに比較することで、前記所望の視差画像が算出されることが好ましい。
図3〜図15を参照して、本発明に係る視差画像生成装置の構成について説明する。ここで、図3は、本発明に係る視差画像生成装置の構成を示す図である。図4〜図11は、本実施形態における視差最適化処理の一例を示す図である。図12は、本実施形態における対応付け処理の一例を示す図である。図13は、本実施形態における視差画像比較処理の一例を示す図である。図14は、本実施形態における判定閾値の一例を示す図である。図15は、本実施形態において生成される画像の一例を示す図である。
pは、画素位置を示す。画素位置pは、単一画素の中心位置であっても、複数の画素から構成される画素領域の中心位置であってもよい。
Dpは、画素位置pに対応する視差値を示す。
C(p,Dp)は、コスト関数を示す。
Npは、画素位置pの近傍画素領域を示す。近傍画素領域Npは、画素位置pに対応する画素領域を含まないように設定される。近傍画素領域Npは、図4〜10に示す画素経路のように、種々のパターンに従って設定される。
qは、近傍画素領域Npを構成する画素位置を示す。
Tは、論理演算子を示す。論理演算子Tは、設定された条件が「真」である場合は値「1」をとる一方、設定された条件が「偽」である場合は値「0」をとる。
Dthは、予め設定される閾値(固定値)を示す。閾値Dthは、画素位置pに対応する視差値Dpと、近傍画素領域Npを構成する画素位置qに対応する視差値Dqと、の差が大きいか小さいかを区別するために設定される。
P1,P2は、それぞれ重み付け定数を示す。重み付け定数P1と重み付け定数P2は、P1<P2となるように設定される。
1a 右カメラ
1b 左カメラ
2 車両運動量検出装置
2a 車速センサ
2b ヨーレートセンサ
2c 加速度センサ
3 ECU
3a 輝度画像取得部
3b 視差画像取得部
3c 第一補正部
3d 第二補正部
3e 車両情報取得部
3f 対応付け部
3g 視差画像生成部
3h 対象物検出部
3i 車両制御部
4 アクチュエータ
Claims (10)
- 車両の周囲環境の撮像結果に基づいて視差画像を取得する視差画像取得手段と、
前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路である第一画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第一補正手段と、
前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路であり且つ前記第一画素経路と異なる画素経路である第二画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第二補正手段と、
第一時刻に前記視差画像取得手段によって取得された第一視差画像に対して、前記第一補正手段による最適化を適用し、前記第一時刻より後の時刻である第二時刻に前記視差画像取得手段によって取得された第二視差画像に対して、前記第二補正手段による最適化を適用し、前記第一補正手段により最適化された前記第一視差画像と、前記第二補正手段により最適化された前記第二視差画像との比較に基づいて所望の視差画像を算出して生成する視差画像生成手段と、
を備えることを特徴とする視差画像生成装置。 - 前記車両の運動情報を取得する車両情報取得手段と、
前記車両情報取得手段によって取得された前記第一時刻から前記第二時刻までの運動情報に基づいて、前記第一視差画像を構成する所定の画素位置と、前記第二視差画像を構成する所定の画素位置と、が同一の撮像位置となるように対応付ける対応付け手段と、
を更に備え、
前記視差画像生成手段は、
前記対応付け手段によって対応付けされた画素間で、前記第一補正手段により最適化された前記第一視差画像と、前記第二補正手段により最適化された前記第二視差画像とを、画素ごとに比較することで、前記所望の視差画像を算出する請求項1に記載の視差画像生成装置。 - 前記視差画像生成手段は、
前記第一補正手段により最適化された前記第一視差画像の視差値と、前記第二補正手段により最適化された前記第二視差画像の視差値との差を、画素ごとに比較することで前記所望の視差画像を算出して生成するときに、
前記視差値の差が、所定の判定閾値以上である場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用することを抑制する一方で、
前記視差値の差が、前記判定閾値より小さい場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用することを促進する請求項1または請求項2に記載の視差画像生成装置。 - 前記視差画像生成手段は、
前記視差値の差が、前記判定閾値以上である場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用しない一方で、前記視差値の差が、前記判定閾値より小さい場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用する請求項3に記載の視差画像生成装置。 - 前記視差画像生成手段は、
前記視差値の差が、前記判定閾値以上である場合は、前記第二視差画像における同画素の視差値を信頼度の低い視差値として前記所望の視差画像に設定する一方で、前記視差値の差が、前記判定閾値より小さい場合は、前記第二視差画像における同画素の視差値を信頼度の高い視差値として前記所望の視差画像に設定する請求項3に記載の視差画像生成装置。 - 前記所定の判定閾値は、視差値が大きくなると閾値も大きくなるように規定したマップを参照することで視差値に応じて決定される判定閾値、または、予め固定値として設定された判定閾値である請求項3から5のうちいずれか一項に記載の視差画像生成装置。
- 車両の周囲環境の撮像結果に基づいて視差画像を取得する視差画像取得ステップと、
前記視差画像取得ステップで取得された前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路である第一画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第一補正ステップと、
前記視差画像取得ステップで取得された前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路であり且つ前記第一画素経路と異なる画素経路である第二画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第二補正ステップと、
第一時刻に前記視差画像取得ステップで取得された第一視差画像に対して、前記第一補正ステップの処理による最適化を適用し、前記第一時刻より後の時刻である第二時刻に前記視差画像取得ステップで取得された第二視差画像に対して、前記第二補正ステップの処理による最適化を適用し、前記第一補正ステップの処理により最適化された前記第一視差画像と、前記第二補正ステップの処理により最適化された前記第二視差画像との比較に基づいて所望の視差画像を算出して生成する視差画像生成ステップと、
を含むことを特徴とする視差画像生成方法。 - 前記車両の運動情報を取得する車両情報取得ステップと、
前記車両情報取得ステップで取得された前記第一時刻から前記第二時刻までの運動情報に基づいて、前記第一視差画像を構成する所定の画素位置と、前記第二視差画像を構成する所定の画素位置と、が同一の撮像位置となるように対応付ける対応付けステップと、
を更に含み、
前記視差画像生成ステップにおいて、
前記対応付けステップで対応付けされた画素間で、前記第一補正ステップの処理により最適化された前記第一視差画像と、前記第二補正ステップの処理により最適化された前記第二視差画像とを、画素ごとに比較することで、前記所望の視差画像が算出される請求項7に記載の視差画像生成方法。 - 前記視差画像生成手段は、
前記第一補正ステップの処理により最適化された前記第一視差画像の視差値と、前記第二補正ステップの処理により最適化された前記第二視差画像の視差値との差を、画素ごとに比較することで前記所望の視差画像を算出して生成するときに、
前記視差値の差が、所定の判定閾値以上である場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用することを抑制する一方で、
前記視差値の差が、前記判定閾値より小さい場合は、前記第二視差画像における同画素の視差値を前記所望の視差画像の視差値として使用することを促進する請求項7または請求項8に記載の視差画像生成方法。 - 車両の周囲環境の撮像結果に基づいて視差画像を取得する視差画像取得ステップと、
前記視差画像取得ステップで取得された前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路である第一画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第一補正ステップと、
前記視差画像取得ステップで取得された前記視差画像を構成する各々の画素の視差値を、同画素に対して少なくとも一方向の所定の画素経路であり且つ前記第一画素経路と異なる画素経路である第二画素経路の少なくとも一部を構成する画素の視差値に基づいて最適化する第二補正ステップと、
第一時刻に前記視差画像取得ステップで取得された第一視差画像に対して、前記第一補正ステップの処理による最適化を適用し、前記第一時刻より後の時刻である第二時刻に前記視差画像取得ステップで取得された第二視差画像に対して、前記第二補正ステップの処理による最適化を適用し、前記第一補正ステップの処理により最適化された前記第一視差画像と、前記第二補正ステップの処理により最適化された前記第二視差画像との比較に基づいて所望の視差画像を算出して生成する視差画像生成ステップと、
を含む視差画像生成方法により生成される画像であって、
前記画像は、前記視差画像生成ステップにおいて、前記第一補正ステップの処理により最適化された前記第一視差画像の視差値と、前記第二補正ステップの処理により最適化された前記第二視差画像の視差値との差が判定閾値より小さいと判定された前記第二視差画像の視差値を有する画素のみから構成されることを特徴とする画像。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014121668A JP6377970B2 (ja) | 2014-06-12 | 2014-06-12 | 視差画像生成装置及び視差画像生成方法 |
US15/316,556 US10116918B2 (en) | 2014-06-12 | 2015-05-26 | Disparity image generating device, disparity image generating method, and image |
PCT/JP2015/065705 WO2015190327A1 (en) | 2014-06-12 | 2015-05-26 | Disparity image generating device, disparity image generating method, and image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014121668A JP6377970B2 (ja) | 2014-06-12 | 2014-06-12 | 視差画像生成装置及び視差画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016001841A true JP2016001841A (ja) | 2016-01-07 |
JP6377970B2 JP6377970B2 (ja) | 2018-08-22 |
Family
ID=53404832
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014121668A Active JP6377970B2 (ja) | 2014-06-12 | 2014-06-12 | 視差画像生成装置及び視差画像生成方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10116918B2 (ja) |
JP (1) | JP6377970B2 (ja) |
WO (1) | WO2015190327A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101804157B1 (ko) * | 2016-06-03 | 2017-12-04 | 성균관대학교산학협력단 | 개선된 sgm 기반한 시차 맵 생성 방법 |
JP2019159708A (ja) * | 2018-03-12 | 2019-09-19 | 株式会社東芝 | 画像処理装置、及び、画像処理方法 |
US10430971B2 (en) | 2017-02-15 | 2019-10-01 | Toyota Jidosha Kabushiki Kaisha | Parallax calculating apparatus |
JP2020042661A (ja) * | 2018-09-12 | 2020-03-19 | 株式会社東芝 | 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101856344B1 (ko) * | 2016-08-22 | 2018-06-25 | 현대자동차주식회사 | 스테레오 영상 정합을 통한 시차맵 생성 시스템 및 방법 |
US10469822B2 (en) * | 2017-03-28 | 2019-11-05 | Oracle International Corporation | Scalable distributed computation framework for data-intensive computer vision workloads |
TWI637350B (zh) * | 2018-01-09 | 2018-10-01 | 緯創資通股份有限公司 | 產生視差圖的方法及其影像處理裝置與系統 |
CN112116660B (zh) * | 2019-06-19 | 2024-03-29 | 京东方科技集团股份有限公司 | 视差图校正方法、装置、终端及计算机可读介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6606406B1 (en) * | 2000-05-04 | 2003-08-12 | Microsoft Corporation | System and method for progressive stereo matching of digital images |
JP2011525657A (ja) * | 2008-06-24 | 2011-09-22 | トムソン ライセンシング | 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法 |
US20120050496A1 (en) * | 2010-08-26 | 2012-03-01 | Honda Motor Co., Ltd. | Moving Obstacle Detection Using Images |
JP2014038546A (ja) * | 2012-08-20 | 2014-02-27 | Nippon Soken Inc | 視差マップ生成装置および視差マップ生成装置用のプログラム |
US20140063199A1 (en) * | 2012-09-05 | 2014-03-06 | Samsung Electro-Mechanics Co., Ltd. | Electronic device and depth calculating method of stereo camera image using the same |
JP2014085120A (ja) * | 2012-10-19 | 2014-05-12 | Hitachi Automotive Systems Ltd | ステレオ画像処理装置及びステレオ画像処理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008046505B4 (de) | 2008-09-09 | 2023-06-29 | Mercedes-Benz Group AG | Verfahren zur Bildverarbeitung von Stereobildern |
KR101669840B1 (ko) * | 2010-10-21 | 2016-10-28 | 삼성전자주식회사 | 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법 |
US20130050187A1 (en) * | 2011-08-31 | 2013-02-28 | Zoltan KORCSOK | Method and Apparatus for Generating Multiple Image Views for a Multiview Autosteroscopic Display Device |
-
2014
- 2014-06-12 JP JP2014121668A patent/JP6377970B2/ja active Active
-
2015
- 2015-05-26 US US15/316,556 patent/US10116918B2/en active Active
- 2015-05-26 WO PCT/JP2015/065705 patent/WO2015190327A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6606406B1 (en) * | 2000-05-04 | 2003-08-12 | Microsoft Corporation | System and method for progressive stereo matching of digital images |
JP2011525657A (ja) * | 2008-06-24 | 2011-09-22 | トムソン ライセンシング | 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法 |
US20120050496A1 (en) * | 2010-08-26 | 2012-03-01 | Honda Motor Co., Ltd. | Moving Obstacle Detection Using Images |
JP2014038546A (ja) * | 2012-08-20 | 2014-02-27 | Nippon Soken Inc | 視差マップ生成装置および視差マップ生成装置用のプログラム |
US20140063199A1 (en) * | 2012-09-05 | 2014-03-06 | Samsung Electro-Mechanics Co., Ltd. | Electronic device and depth calculating method of stereo camera image using the same |
JP2014085120A (ja) * | 2012-10-19 | 2014-05-12 | Hitachi Automotive Systems Ltd | ステレオ画像処理装置及びステレオ画像処理方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101804157B1 (ko) * | 2016-06-03 | 2017-12-04 | 성균관대학교산학협력단 | 개선된 sgm 기반한 시차 맵 생성 방법 |
US10430971B2 (en) | 2017-02-15 | 2019-10-01 | Toyota Jidosha Kabushiki Kaisha | Parallax calculating apparatus |
JP2019159708A (ja) * | 2018-03-12 | 2019-09-19 | 株式会社東芝 | 画像処理装置、及び、画像処理方法 |
KR20190107552A (ko) * | 2018-03-12 | 2019-09-20 | 가부시끼가이샤 도시바 | 화상 처리 장치, 화상 처리 방법 및 운전 지원 시스템 |
KR102091648B1 (ko) * | 2018-03-12 | 2020-03-20 | 가부시끼가이샤 도시바 | 화상 처리 장치, 화상 처리 방법 및 운전 지원 시스템 |
JP2020042661A (ja) * | 2018-09-12 | 2020-03-19 | 株式会社東芝 | 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム |
JP7005458B2 (ja) | 2018-09-12 | 2022-01-21 | 株式会社東芝 | 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム |
Also Published As
Publication number | Publication date |
---|---|
US20170163960A1 (en) | 2017-06-08 |
WO2015190327A1 (en) | 2015-12-17 |
US10116918B2 (en) | 2018-10-30 |
JP6377970B2 (ja) | 2018-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6377970B2 (ja) | 視差画像生成装置及び視差画像生成方法 | |
JP6618766B2 (ja) | 画像処理装置および画像処理方法 | |
US10127702B2 (en) | Image processing device and image processing method | |
JP6306735B2 (ja) | ステレオカメラ装置及びステレオカメラ装置を備える車両 | |
JP6552448B2 (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム | |
JP6589313B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP6086424B2 (ja) | 車載画像処理装置 | |
JP6396729B2 (ja) | 立体物検出装置 | |
CN110895821A (zh) | 图像处理装置、存储有图像处理程序的存储介质及驾驶支援*** | |
JP2019139290A (ja) | 姿勢推定装置 | |
JP2009139324A (ja) | 車両用走行路面検出装置 | |
JP6407596B2 (ja) | 画像処理装置、及び、運転支援システム | |
JP2019128153A (ja) | 距離算出装置及び車両制御装置 | |
WO2014054124A1 (ja) | 路面標示検出装置及び路面標示検出方法 | |
JP6841553B2 (ja) | 撮像装置 | |
WO2017090097A1 (ja) | 車両用外界認識装置 | |
JP2016081108A (ja) | 物体検出装置 | |
JP2015215235A (ja) | 物体検出装置及び物体検出方法 | |
JP6603993B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム | |
JP6023030B2 (ja) | 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム | |
JP2015011665A (ja) | 走行路面標示検知装置および走行路面標示検知方法 | |
JP7223587B2 (ja) | 物体運動推定方法及び物体運動推定装置 | |
JP5472137B2 (ja) | 境界検出装置、および境界検出プログラム | |
JPH11190611A (ja) | 3次元計測方法およびその方法を用いた3次元計測処理装置 | |
WO2023017635A1 (ja) | 演算装置、監視システム、視差算出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180726 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6377970 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |