JP7291594B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP7291594B2 JP7291594B2 JP2019182067A JP2019182067A JP7291594B2 JP 7291594 B2 JP7291594 B2 JP 7291594B2 JP 2019182067 A JP2019182067 A JP 2019182067A JP 2019182067 A JP2019182067 A JP 2019182067A JP 7291594 B2 JP7291594 B2 JP 7291594B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- rotation
- right image
- change amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008859 change Effects 0.000 claims description 29
- 239000013256 coordination polymer Substances 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 11
- 230000005484 gravity Effects 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 4
- 102100037500 Bridging integrator 3 Human genes 0.000 description 3
- 101000739614 Homo sapiens Bridging integrator 3 Proteins 0.000 description 3
- 101000970561 Homo sapiens Myc box-dependent-interacting protein 1 Proteins 0.000 description 3
- 102100021970 Myc box-dependent-interacting protein 1 Human genes 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Description
[構成例]
図1は、一実施の形態に係る画像処理装置(画像処理装置1)の一構成例を表すものである。画像処理装置1は、ステレオカメラ11と、処理部20とを有している。画像処理装置1は、自動車等の車両10に搭載される。
続いて、本実施の形態の画像処理装置1の動作および作用について説明する。
まず、図1を参照して、画像処理装置1の全体動作概要を説明する。ステレオカメラ11は、車両10の前方を撮像することにより、左画像PLおよび右画像PRを含むステレオ画像PICを生成する。処理部20において、回転処理部21は、回転制御データCTLに基づいて、ステレオ画像PICに含まれる左画像PLおよび右画像PRを回転させる回転処理を行うことにより、左画像PL1および右画像PR1を生成する。視差画像生成部22は、回転処理部21により生成された左画像PL1および右画像PR1に基づいて、ステレオマッチング処理やフィルタリング処理などを含む所定の画像処理を行うことにより、視差画像PDを生成する。回転制御部24は、視差画像生成部22の対応点算出部23が算出した対応点CPについてのデータに基づいて、回転処理部21の回転処理における回転角度θを算出することにより、回転処理部21に対して回転処理を指示する回転制御データCTLを生成する。物体認識部27は、左画像PL1および右画像PR1と、視差画像生成部22により生成された視差画像PDとに基づいて、車両10の前方の物体を認識する。
回転制御部24は、視差画像生成部22の対応点算出部23が算出した対応点CPについてのデータに基づいて、回転処理部21の回転処理における回転角度θを算出する。具体的には、近似直線算出部25は、対応点CPについてのデータに基づいて、左画像PL1における左画像点CPLの座標位置と、右画像PR1における右画像点CPRの座標位置との間の、左右方向(X方向)の座標差ΔXおよび上下方向(Y方向)の座標差ΔYの関係を示す座標点Pを求め、その座標点Pに基づいて、座標点Pについての近似直線LINを算出する。そして、回転角度算出部26は、近似直線算出部25が算出した近似直線LINに基づいて、現在の回転角度θからの角度変化量Δθを算出し、現在の回転角度θに角度変化量Δθを加算することにより回転角度θを算出する。以下に、この回転制御部24の動作について、詳細に説明する。
ΔY = a × ΔX + b …(EQ1)
近似直線算出部25は、このようにして近似直線LINを算出する。なお、この例では、最小二乗法により傾斜値aおよび切片値bを算出するようにしたが、これに限定されるものではなく、これに代えて、例えば切片bを0(ゼロ)とし、最小二乗法により傾斜値aのみを算出してもよい。
以上のように本実施の形態では、ステレオ画像に含まれる左画像PLおよび右画像PRを回転させる回転処理を行うことにより、左画像PL1および右画像PR1を生成し、この左画像PL1および右画像PR1に基づいて、互いに対応する、左画像PL1における左画像点および右画像PR1における右画像点を算出するようにしたので、視差画像の精度を高めることができる
Claims (7)
- ステレオ画像に含まれる第1の左画像および第1の右画像を回転させる回転処理を行うことにより第2の左画像および第2の右画像を生成する回転処理部と、
前記第2の左画像および前記第2の右画像に基づいて、互いに対応する、前記第2の左画像における左画像点および前記第2の右画像における右画像点を算出することにより、視差画像を生成する視差画像生成部と、
前記第2の左画像における前記左画像点の位置である第1の位置、および前記第2の右画像における前記右画像点の位置である第2の位置の間の、左右方向の第1の位置差および上下方向の第2の位置差の関係を示す座標点を求め、前記座標点に基づいて、前記回転処理における回転角度の角度変化量を算出する回転制御部と
を備えた画像処理装置。 - 前記回転制御部は、複数の前記ステレオ画像のそれぞれに基づいて前記座標点を求め、複数の前記座標点に基づいて前記角度変化量を設定する
請求項1に記載の画像処理装置。 - 前記回転制御部は、前記第1の位置差を第1の方向に割り当てるとともに前記第2の位置差を第2の方向に割り当てることにより前記複数の座標点を配置した場合における、前記複数の座標点の近似直線を算出し、前記近似直線の傾斜値に基づいて前記角度変化量を算出する
請求項2に記載の画像処理装置。 - 前記回転制御部は、前記近似直線を算出する度に得られる前記傾斜値のうちの所定数の前記傾斜値に基づいて、前記角度変化量を算出する
請求項3に記載の画像処理装置。 - 前記回転制御部は、前記所定数の傾斜値の分散値を算出し、
前記分散値が所定のしきい値より小さい場合に、前記所定数の傾き値の平均値である傾斜平均値に基づいて、前記角度変化量を算出する
請求項4に記載の画像処理装置。 - 前記回転制御部は、前記傾斜平均値の極性に基づいて前記角度変化量の極性を設定する
請求項5に記載の画像処理装置。 - 前記回転制御部は、
前記傾斜平均値の絶対値が第1の値である場合には、前記角度変化量の絶対値を第2の値に設定し、
前記傾斜平均値の絶対値が前記第1の値より大きい第3の値である場合には、前記角度変化量の絶対値を前記第2の値より大きい第4の値に設定する
請求項5または請求項6に記載の画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019182067A JP7291594B2 (ja) | 2019-10-02 | 2019-10-02 | 画像処理装置 |
CN202010802386.3A CN112601064A (zh) | 2019-10-02 | 2020-08-11 | 图像处理装置 |
US16/993,571 US11599971B2 (en) | 2019-10-02 | 2020-08-14 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019182067A JP7291594B2 (ja) | 2019-10-02 | 2019-10-02 | 画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021056180A JP2021056180A (ja) | 2021-04-08 |
JP2021056180A5 JP2021056180A5 (ja) | 2022-09-15 |
JP7291594B2 true JP7291594B2 (ja) | 2023-06-15 |
Family
ID=75180262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019182067A Active JP7291594B2 (ja) | 2019-10-02 | 2019-10-02 | 画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11599971B2 (ja) |
JP (1) | JP7291594B2 (ja) |
CN (1) | CN112601064A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6674892B1 (en) | 1999-11-01 | 2004-01-06 | Canon Kabushiki Kaisha | Correcting an epipolar axis for skew and offset |
JP2014138332A (ja) | 2013-01-17 | 2014-07-28 | Ricoh Co Ltd | 画像処理装置及びプログラム |
WO2015122389A1 (ja) | 2014-02-12 | 2015-08-20 | ヤマハ発動機株式会社 | 撮影装置、車両および画像補正方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3436074B2 (ja) * | 1997-06-10 | 2003-08-11 | トヨタ自動車株式会社 | 車載ステレオカメラ |
JP3284190B2 (ja) * | 1998-05-14 | 2002-05-20 | 富士重工業株式会社 | ステレオカメラの画像補正装置 |
JP3261115B2 (ja) * | 1999-09-22 | 2002-02-25 | 富士重工業株式会社 | ステレオ画像処理装置 |
JP2003092768A (ja) * | 2001-09-18 | 2003-03-28 | Canon Inc | 撮像装置 |
JP5444955B2 (ja) * | 2009-08-31 | 2014-03-19 | ソニー株式会社 | 立体画像表示システム、視差変換装置、視差変換方法およびプログラム |
JP2011180022A (ja) * | 2010-03-02 | 2011-09-15 | Suzuki Motor Corp | ステレオカメラの診断方法、およびステレオカメラの診断装置 |
JP5672112B2 (ja) * | 2011-03-30 | 2015-02-18 | 富士通株式会社 | ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム |
JP5718149B2 (ja) * | 2011-05-19 | 2015-05-13 | シャープ株式会社 | 画像補正方法、および立体画像撮影装置 |
JP5957359B2 (ja) * | 2012-10-19 | 2016-07-27 | 日立オートモティブシステムズ株式会社 | ステレオ画像処理装置及びステレオ画像処理方法 |
JP2014092461A (ja) * | 2012-11-02 | 2014-05-19 | Sony Corp | 画像処理装置および方法、画像処理システム、並びにプログラム |
JP6169949B2 (ja) * | 2013-10-31 | 2017-07-26 | 株式会社Subaru | 画像処理装置 |
JP6247569B2 (ja) | 2014-03-13 | 2017-12-13 | ヤマハ発動機株式会社 | 距離推定装置およびそれを備えた車両 |
JP5906272B2 (ja) * | 2014-03-28 | 2016-04-20 | 富士重工業株式会社 | 車両用ステレオ画像処理装置 |
JP2016054417A (ja) * | 2014-09-03 | 2016-04-14 | キヤノン株式会社 | 立体画像処理装置、立体撮像装置、立体表示装置および立体画像処理プログラム |
JP6346869B2 (ja) * | 2015-03-31 | 2018-06-20 | 公益財団法人鉄道総合技術研究所 | ステレオ画像処理方法およびその装置 |
CN107514745A (zh) * | 2017-08-03 | 2017-12-26 | 上海斐讯数据通信技术有限公司 | 一种智能空调立体视觉定位的方法及*** |
WO2020166581A1 (ja) * | 2019-02-15 | 2020-08-20 | 株式会社Jvcケンウッド | 画像調整システム、画像調整装置、及び画像調整方法 |
CN113012241A (zh) * | 2021-04-28 | 2021-06-22 | 歌尔股份有限公司 | 双目摄像头的视差检测方法、装置、电子设备及存储介质 |
-
2019
- 2019-10-02 JP JP2019182067A patent/JP7291594B2/ja active Active
-
2020
- 2020-08-11 CN CN202010802386.3A patent/CN112601064A/zh active Pending
- 2020-08-14 US US16/993,571 patent/US11599971B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6674892B1 (en) | 1999-11-01 | 2004-01-06 | Canon Kabushiki Kaisha | Correcting an epipolar axis for skew and offset |
JP2014138332A (ja) | 2013-01-17 | 2014-07-28 | Ricoh Co Ltd | 画像処理装置及びプログラム |
WO2015122389A1 (ja) | 2014-02-12 | 2015-08-20 | ヤマハ発動機株式会社 | 撮影装置、車両および画像補正方法 |
Also Published As
Publication number | Publication date |
---|---|
US11599971B2 (en) | 2023-03-07 |
US20210104020A1 (en) | 2021-04-08 |
CN112601064A (zh) | 2021-04-02 |
JP2021056180A (ja) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170019657A1 (en) | Stereo auto-calibration from structure-from-motion | |
US10810762B2 (en) | Image processing apparatus | |
CN109074653B (zh) | 用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶员辅助***以及机动车辆 | |
JP4958279B2 (ja) | 物体検出装置 | |
JP6577661B2 (ja) | 路面変位検出装置およびサスペンション制御方法 | |
JP6377970B2 (ja) | 視差画像生成装置及び視差画像生成方法 | |
JP5959311B2 (ja) | データ導出装置、及び、データ導出方法 | |
JP2014142241A (ja) | 3次元位置推定装置、車両制御装置、および3次元位置推定方法 | |
JP2008309519A (ja) | 画像処理を用いた物体検出装置 | |
JP2011175572A (ja) | 車線認識装置 | |
JP2015172876A (ja) | 車両周辺監視装置、車両周辺監視システム、及びプログラム | |
JP7291594B2 (ja) | 画像処理装置 | |
WO2020110435A1 (ja) | 外界認識装置 | |
US20190318495A1 (en) | Image processing system | |
JP7344032B2 (ja) | 画像処理装置 | |
CN115943287A (zh) | 车辆姿态推断***及车辆姿态推断方法 | |
JP7223587B2 (ja) | 物体運動推定方法及び物体運動推定装置 | |
JP7492372B2 (ja) | 画像処理装置 | |
JP5634558B2 (ja) | 画像処理装置 | |
JP6561688B2 (ja) | 検出装置、検出方法、撮像装置、機器制御システム、及びプログラム | |
JP2020095646A (ja) | 画像処理装置 | |
JP7344031B2 (ja) | 画像処理装置 | |
JP6865660B2 (ja) | 距離算出装置および距離算出パラメータの設定方法 | |
JP2002122425A (ja) | 周辺認識装置 | |
JP2022077927A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220907 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220907 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7291594 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |