JP2015031990A - 障害物及び急斜面を検出する検出装置およびそれを備えた車両 - Google Patents
障害物及び急斜面を検出する検出装置およびそれを備えた車両 Download PDFInfo
- Publication number
- JP2015031990A JP2015031990A JP2013158955A JP2013158955A JP2015031990A JP 2015031990 A JP2015031990 A JP 2015031990A JP 2013158955 A JP2013158955 A JP 2013158955A JP 2013158955 A JP2013158955 A JP 2013158955A JP 2015031990 A JP2015031990 A JP 2015031990A
- Authority
- JP
- Japan
- Prior art keywords
- region
- area
- obstacle
- gradient
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【解決手段】検出装置5は、画像センサ11a、11bと視差画像生成部21と領域区画部22と障害物領域特定部23と勾配計算部24と急斜面領域特定部25を備える。視差画像生成部21は、各画像センサ11a、11bによって撮像された画像に基づいて視差画像を生成する。領域区画部22は、視差画像を複数の領域に区画する。障害物領域特定部23は、視差に基づいて障害物領域と特定する。勾配計算部24は、視差画像に含まれる各画素に対応する3次元空間上の点の位置に基づいて、被写体の勾配を領域ごとに計算する。ただし、勾配計算部25は、少なくとも障害物領域に関する勾配の計算を省略する。急斜面領域特定部25は、勾配に基づいて急斜面領域と特定する。
【選択図】図2
Description
すなわち、道路が特徴点を有しない場合、道路平面を計算できない。よって、障害物を適切に検出することが困難である。特徴点は、公道以外の道路には存在しないことが多い。例えば、登坂道、山道、林道またはゴルフカート用道などには、特徴点が無いことが多い。また、例えば、車両が走行可能な果樹園などの場所にも、特徴点が無いことが多い。以下、各種の道路や車両が走行する各種の場所を、「道路等」と総称する。
すなわち、本発明は、障害物及び急斜面を検出する検出装置であって、複数の画像センサと、各画像センサによって撮像された画像に基づいて視差画像を生成する視差画像生成部と、前記視差画像を複数の領域に区画する領域区画部と、視差画像に含まれる各画素の視差に基づいて、被写体が障害物であるか否かを領域ごとに判定し、被写体が障害物であると判定された領域を障害物領域と特定する障害物領域特定部と、視差画像に含まれる各画素に対応する3次元空間上の点の位置に基づいて、被写体の勾配を領域ごとに計算する勾配計算部と、勾配が閾値以上であるか否かを領域ごとに判定し、勾配が閾値以上であると判定された領域を急斜面領域と特定する急斜面領域特定部と、を備え、前記勾配計算部は、少なくとも障害物領域に関する勾配の計算を省略する検出装置である。
図1は、実施例に係る車両1の前面図である。
本実施例では、車両1は、ゴルフ場内を走行するゴルフカートである。
以下の説明において、前後、左右、上下とは、車両1の搭乗者にとっての「前」、「後」、「左」、「右」、「上」、「下」を意味する。
次に、検出装置5の構成について説明する。図2は、検出装置の構成を示すブロック図である。
次に、実施例1に係る車両1の動作を説明する。以下では、検出装置5の処理の手順を中心に説明する。図3は、検出装置5の処理手順の一例を示すフローチャートである。
画像センサ11a、11bはそれぞれ、車両1の前方を撮影し、画像を生成する。
画像処理部13は、画像センサ11a、11bによって撮影された各画像を取り込む。
視差画像生成部21は、各画像IA、IBに基づいて、視差画像を生成する。
領域区画部22は、視差画像ICを複数の領域に区画する。
障害物領域特定部23は、1の領域eに注目する。以下では、注目された1つの領域eを、単に「領域ei」と記載する。障害物領域特定部23は、領域eiに投影される被写体が障害物であるか否かを判定する。
勾配計算部24は、領域eiに投影されている被写体の勾配を計算する。勾配計算部24は、領域ei内における複数の画素と対応する3次元空間上の複数の点(点群)の位置に基づいて、被写体の勾配を計算する。
急斜面領域特定部25は、記憶部17に記憶されている閾値を用いて、領域eiに投影された被写体の勾配θが閾値以上であるか否かを判定する。勾配θが閾値以上であると判定された場合には、急斜面領域特定部25は領域eiを急斜面領域と特定する。そうでない場合には、急斜面領域特定部25は領域eiを急斜面領域と特定しない。領域eiが急斜面領域と特定された場合もそうでない場合も、ステップS8に進む。
ステップS5の処理、または、ステップS5乃至S7の一連の処理が、視差画像に含まれる全ての領域eについて行われたか否かを判断する。その結果、ステップS5の処理等が全ての領域eに行われたと判断された場合には、ステップS9に進む。そうでない場合には、再びステップS5に戻る。そして、領域ei以外の領域eに注目してステップS5の処理等を繰り返す。
画像合成部26は、合成画像IDを生成する。
表示部18は、合成画像IDを表示する。
図11は、検出装置5の構成を示すブロック図である。検出装置5は、画像センサ11a、11bと、画像処理部14と、記憶部17と、表示部18とを備えている。
次に、実施例2に係る車両1の動作を説明する。以下では、検出装置5の処理の手順を中心に説明する。図12は、検出装置5の処理手順の一例を示すフローチャートである。
画像センサ11a、11bはそれぞれ、車両1の前方を撮影し、画像を生成する。
画像処理部14は、画像センサ11a、11bによって撮影された各画像を取り込む。
視差画像生成部21は、各画像IA、IBに基づいて、視差画像を生成する。
領域区画部22は、視差画像ICを複数の領域に区画する。
障害物領域特定部23は、各画素の視差に基づいて、1の領域eに投影されている被写体が障害物であるか否かを判定する。障害物領域特定部23は、この判定を全ての領域eについて行う。障害物領域特定部23は、被写体が障害物であると判定された領域のみを、障害物領域と特定する。
不要領域特定部28は、計算不要領域を特定する。実施例2では、領域が2種の条件の少なくともいずれかに合致するか否か、を不要領域特定部28が判定する。判定の対象は、障害物領域以外の領域である。すなわち、不要領域特定部28は、障害物領域に対しては処理を行わない。そして、合致すると判定された領域を、計算不要領域と特定する。以下、具体的に説明する。
d1>d2>d3>d4>d5>d6
勾配計算部24は、障害物領域および計算不要領域のいずれにも特定されていない領域に関して、被写体の勾配θを計算する。他方、勾配計算部24は、障害物領域および計算不要領域の少なくともいずれかに特定された領域に関しては、勾配の計算を省略する。
急斜面領域特定部25は、勾配計算部24によって計算された勾配θに基づいて、急斜面領域を特定する。
画像合成部26は、合成画像を生成する。
表示部18は、合成画像を表示する。
11a、11b … 画像センサ
5 … 検出装置
13、14 … 画像処理部
17 … 記憶部
18 … 表示部
21 … 視差画像生成部
22 … 領域区画部
23 … 障害物領域特定部
24 … 勾配計算部
25 … 急斜面領域特定部
26 … 画像合成部
28 … 不要領域特定部
G … 路面
O … 障害物
OW … 壁面
d1、d2、d3、d4、d5、d6 … 視差(視差値)
e … 領域
p … 画素
q … 3次元空間上の点
Q … 点群
r … Y−Z平面に投影した点
R … Y−Z平面に投影した点群
L … 直線
θ … 被写体の勾配
IA、IB … 画像
IC … 視差画像
ID … 合成画像
F1 … 障害物領域を示す枠
F2 … 急斜面領域を示す枠
H1 … 障害物までの距離に関する情報
H2 … 急斜面までの距離に関する情報
K … 視差画像の中心
J1、J2、J3 … ずれ量
Claims (9)
- 障害物及び急斜面を検出する検出装置であって、
複数の画像センサと、
各画像センサによって撮像された画像に基づいて視差画像を生成する視差画像生成部と、
前記視差画像を複数の領域に区画する領域区画部と、
視差画像に含まれる各画素の視差に基づいて、被写体が障害物であるか否かを領域ごとに判定し、被写体が障害物であると判定された領域を障害物領域と特定する障害物領域特定部と、
視差画像に含まれる各画素に対応する3次元空間上の点の位置に基づいて、被写体の勾配を領域ごとに計算する勾配計算部と、
勾配が閾値以上であるか否かを領域ごとに判定し、勾配が閾値以上であると判定された領域を急斜面領域と特定する急斜面領域特定部と、
を備え、
前記勾配計算部は、少なくとも障害物領域に関する勾配の計算を省略する検出装置。 - 請求項1に記載の検出装置において、
前記障害物領域特定部は、視差値が同じである画素が領域内に一定の割合以上存在する場合には、被写体が障害物であると判定する検出装置。 - 請求項1または2に記載の検出装置において、
前記勾配計算部は、領域に対応する被写体を単一の平面に近似し、近似された平面の傾きを勾配とみなす検出装置。 - 請求項1から3のいずれかに記載の検出装置において、
勾配の計算を要しない領域である計算不要領域を特定する不要領域特定部と、
を備え、
前記勾配計算部は、さらに、前記計算不要領域に関する勾配の計算を省略する検出装置。 - 請求項4に記載の検出装置において、
前記不要領域特定部は、領域における視差が所定値以下であるか否かを領域ごとに判定し、視差が所定値以下であると判定された領域を前記計算不要領域と特定する検出装置。 - 請求項4または5に記載の検出装置において、
前記不要領域特定部は、
領域が視差画像の中心に対して横方向にずれている量をずれ量として、
ずれ量が所定量以上であるか否かを領域ごとに判定し、
ずれ量が所定量以上であると判定された領域を計算不要領域と特定する
検出装置。 - 請求項1から6のいずれかに記載の検出装置において、
各画像センサから得られた画像のいずれかに、障害物領域および急斜面領域を重ねた合成画像を表示する表示部を備えている検出装置。 - 請求項1から7のいずれかに記載の検出装置において、
前記表示部は、さらに、障害物までの距離および急斜面までの距離に関する情報を表示する検出装置。 - 請求項1から8のいずれかに記載の検出装置を備えた車両。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013158955A JP6227318B2 (ja) | 2013-07-31 | 2013-07-31 | 障害物及び急斜面を検出する検出装置およびそれを備えた車両 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013158955A JP6227318B2 (ja) | 2013-07-31 | 2013-07-31 | 障害物及び急斜面を検出する検出装置およびそれを備えた車両 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015031990A true JP2015031990A (ja) | 2015-02-16 |
JP6227318B2 JP6227318B2 (ja) | 2017-11-08 |
Family
ID=52517295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013158955A Active JP6227318B2 (ja) | 2013-07-31 | 2013-07-31 | 障害物及び急斜面を検出する検出装置およびそれを備えた車両 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6227318B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113743265A (zh) * | 2021-08-24 | 2021-12-03 | 常熟理工学院 | 一种基于深度相机的自动驾驶可行驶区域检测方法及*** |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7581859B2 (en) | 2005-09-14 | 2009-09-01 | Donnelly Corp. | Display device for exterior rearview mirror |
US6882287B2 (en) | 2001-07-31 | 2005-04-19 | Donnelly Corporation | Automotive lane change aid |
US7697027B2 (en) | 2001-07-31 | 2010-04-13 | Donnelly Corporation | Vehicular video system |
WO2003093857A2 (en) | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
US7310177B2 (en) | 2002-09-20 | 2007-12-18 | Donnelly Corporation | Electro-optic reflective element assembly |
US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
US7881496B2 (en) | 2004-09-30 | 2011-02-01 | Donnelly Corporation | Vision system for vehicle |
US7720580B2 (en) | 2004-12-23 | 2010-05-18 | Donnelly Corporation | Object detection system for vehicle |
CN101535087B (zh) | 2005-11-01 | 2013-05-15 | 唐纳利公司 | 具有显示装置的内部后视镜 |
WO2008024639A2 (en) | 2006-08-11 | 2008-02-28 | Donnelly Corporation | Automatic headlamp control system |
US7914187B2 (en) | 2007-07-12 | 2011-03-29 | Magna Electronics Inc. | Automatic lighting system with adaptive alignment function |
US8017898B2 (en) | 2007-08-17 | 2011-09-13 | Magna Electronics Inc. | Vehicular imaging system in an automatic headlamp control system |
WO2009036176A1 (en) | 2007-09-11 | 2009-03-19 | Magna Electronics | Imaging system for vehicle |
US20100020170A1 (en) | 2008-07-24 | 2010-01-28 | Higgins-Luthman Michael J | Vehicle Imaging System |
WO2010099416A1 (en) | 2009-02-27 | 2010-09-02 | Magna Electronics | Alert system for vehicle |
WO2011014497A1 (en) | 2009-07-27 | 2011-02-03 | Magna Electronics Inc. | Vehicular camera with on-board microcontroller |
ES2538827T3 (es) | 2009-09-01 | 2015-06-24 | Magna Mirrors Of America, Inc. | Sistema de formación de imágenes y de exhibición para un vehículo |
WO2012075250A1 (en) | 2010-12-01 | 2012-06-07 | Magna Electronics Inc. | System and method of establishing a multi-camera image using pixel remapping |
US9264672B2 (en) | 2010-12-22 | 2016-02-16 | Magna Mirrors Of America, Inc. | Vision display system for vehicle |
WO2012103193A1 (en) | 2011-01-26 | 2012-08-02 | Magna Electronics Inc. | Rear vision system with trailer angle detection |
US9834153B2 (en) | 2011-04-25 | 2017-12-05 | Magna Electronics Inc. | Method and system for dynamically calibrating vehicular cameras |
WO2012145818A1 (en) | 2011-04-25 | 2012-11-01 | Magna International Inc. | Method and system for dynamically calibrating vehicular cameras |
WO2013016409A1 (en) | 2011-07-26 | 2013-01-31 | Magna Electronics Inc. | Vision system for vehicle |
US9146898B2 (en) | 2011-10-27 | 2015-09-29 | Magna Electronics Inc. | Driver assist system with algorithm switching |
WO2013074604A2 (en) | 2011-11-15 | 2013-05-23 | Magna Electronics, Inc. | Calibration system and method for vehicular surround vision system |
WO2013086249A2 (en) | 2011-12-09 | 2013-06-13 | Magna Electronics, Inc. | Vehicle vision system with customized display |
US10457209B2 (en) | 2012-02-22 | 2019-10-29 | Magna Electronics Inc. | Vehicle vision system with multi-paned view |
US9558409B2 (en) | 2012-09-26 | 2017-01-31 | Magna Electronics Inc. | Vehicle vision system with trailer angle detection |
US9446713B2 (en) | 2012-09-26 | 2016-09-20 | Magna Electronics Inc. | Trailer angle detection system |
US9723272B2 (en) | 2012-10-05 | 2017-08-01 | Magna Electronics Inc. | Multi-camera image stitching calibration system |
US9743002B2 (en) | 2012-11-19 | 2017-08-22 | Magna Electronics Inc. | Vehicle vision system with enhanced display functions |
US10179543B2 (en) | 2013-02-27 | 2019-01-15 | Magna Electronics Inc. | Multi-camera dynamic top view vision system |
US9508014B2 (en) | 2013-05-06 | 2016-11-29 | Magna Electronics Inc. | Vehicular multi-camera vision system |
US9563951B2 (en) | 2013-05-21 | 2017-02-07 | Magna Electronics Inc. | Vehicle vision system with targetless camera calibration |
US9205776B2 (en) | 2013-05-21 | 2015-12-08 | Magna Electronics Inc. | Vehicle vision system using kinematic model of vehicle motion |
US9916660B2 (en) | 2015-01-16 | 2018-03-13 | Magna Electronics Inc. | Vehicle vision system with calibration algorithm |
US10946799B2 (en) | 2015-04-21 | 2021-03-16 | Magna Electronics Inc. | Vehicle vision system with overlay calibration |
US11277558B2 (en) | 2016-02-01 | 2022-03-15 | Magna Electronics Inc. | Vehicle vision system with master-slave camera configuration |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004028728A (ja) * | 2002-06-25 | 2004-01-29 | Fuji Heavy Ind Ltd | 地形認識装置および地形認識方法 |
JP2009139323A (ja) * | 2007-12-10 | 2009-06-25 | Mazda Motor Corp | 車両用走行路面検出装置 |
JP4714104B2 (ja) * | 2006-07-31 | 2011-06-29 | 富士重工業株式会社 | 物体傾き検出装置 |
-
2013
- 2013-07-31 JP JP2013158955A patent/JP6227318B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004028728A (ja) * | 2002-06-25 | 2004-01-29 | Fuji Heavy Ind Ltd | 地形認識装置および地形認識方法 |
JP4714104B2 (ja) * | 2006-07-31 | 2011-06-29 | 富士重工業株式会社 | 物体傾き検出装置 |
JP2009139323A (ja) * | 2007-12-10 | 2009-06-25 | Mazda Motor Corp | 車両用走行路面検出装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113743265A (zh) * | 2021-08-24 | 2021-12-03 | 常熟理工学院 | 一种基于深度相机的自动驾驶可行驶区域检测方法及*** |
CN113743265B (zh) * | 2021-08-24 | 2024-01-12 | 常熟理工学院 | 一种基于深度相机的自动驾驶可行驶区域检测方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP6227318B2 (ja) | 2017-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6227318B2 (ja) | 障害物及び急斜面を検出する検出装置およびそれを備えた車両 | |
CN108520536B (zh) | 一种视差图的生成方法、装置及终端 | |
JP6442834B2 (ja) | 路面高度形状推定方法とシステム | |
US8204278B2 (en) | Image recognition method | |
JP6299291B2 (ja) | 道路エッジ検出方法及び道路エッジ検出装置 | |
KR20200040374A (ko) | 거리 추정 방법 및 장치 | |
JP4702569B2 (ja) | 車両用画像処理装置 | |
JP6201148B2 (ja) | キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム | |
CN107491065B (zh) | 利用障碍物的地面边界信息检测物体的侧面的方法和装置 | |
US9594966B2 (en) | Obstacle detection device and obstacle detection method | |
JP2017162116A (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
Petrovai et al. | A stereovision based approach for detecting and tracking lane and forward obstacles on mobile devices | |
JP2018025906A (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
CN111243003A (zh) | 车载双目摄像机及其检测道路限高杆的方法、装置 | |
CN108399360B (zh) | 一种连续型障碍物检测方法、装置及终端 | |
JP2018092596A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、およびプログラム | |
CN111476798B (zh) | 一种基于轮廓约束的车辆空间形态识别方法及*** | |
KR20200028679A (ko) | 차선을 검출하는 방법 및 장치 | |
CN106682584B (zh) | 无人机障碍物检测方法及装置 | |
Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information | |
Leu et al. | High speed stereo vision based automotive collision warning system | |
Petrovai et al. | Obstacle detection using stereovision for Android-based mobile devices | |
EP3951744A1 (en) | Image processing device, vehicle control device, method, and program | |
CN113989765A (zh) | 一种轨道障碍物的检测方法、检测装置及可读存储介质 | |
JP2017211791A (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6227318 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |