JPWO2012023412A1 - 立体物検出装置及び立体物検出方法 - Google Patents
立体物検出装置及び立体物検出方法 Download PDFInfo
- Publication number
- JPWO2012023412A1 JPWO2012023412A1 JP2012529548A JP2012529548A JPWO2012023412A1 JP WO2012023412 A1 JPWO2012023412 A1 JP WO2012023412A1 JP 2012529548 A JP2012529548 A JP 2012529548A JP 2012529548 A JP2012529548 A JP 2012529548A JP WO2012023412 A1 JPWO2012023412 A1 JP WO2012023412A1
- Authority
- JP
- Japan
- Prior art keywords
- dimensional object
- line
- luminance difference
- edge
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 280
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 52
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 42
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 24
- 238000009826 distribution Methods 0.000 description 12
- 239000007787 solid Substances 0.000 description 8
- 238000003708 edge detection Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 6
- 241000196324 Embryophyta Species 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 2
- 241000905137 Veronica schmidtiana Species 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
立体物検出装置1は、カメラ10と、計算機20とを備えている。計算機20は、カメラ10により撮像された画像に対して視点変換処理を行って鳥瞰画像を作成し、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素間の輝度差を算出し、算出された位置毎の輝度差の連続性に基づいて、立体物を検出する。
Description
本発明は、立体物検出装置及び立体物検出方法に関する。
従来、撮像した画像を鳥瞰視に視点変換することによって得られる鳥瞰図から、実空間における水平エッジ又は垂直エッジを検出し、これらエッジの数を用いて車両等の立体物を検出する立体物検出装置が提案されている。この立体物検出装置において、実空間における垂直エッジは、カメラの視点を通る放射状の直線群として投影されて、鳥瞰図に現れる。この立体物検出装置は、この知見に基づき、垂直エッジを検出して、垂直エッジの量を用いて立体物を検出している(特許文献1参照)。
しかし、撮像した画像を鳥瞰視に視点変換することによって得られた鳥瞰図内の立体物は、その高さに応じて引き延ばされてしまう。このため、鳥瞰図において、立体物の高い位置によって現れるエッジ(実空間では高い位置のエッジ)は、立体物の低い位置におけるエッジ(実空間では低い位置のエッジ)に対して解像度が低下してしまう。一方、立体物の低い位置のエッジは、当該エッジの幅が小さくなってしまう。
このために、特許文献1に記載された技術のように、3画素×3画素の微分フィルタを用いてエッジを検出する場合に問題が生ずる。立体物の高い位置に関しては、エッジの解像度が低下しているために、エッジであるにも拘わらずエッジであることが検出できない可能性がある。立体物の低い位置のエッジに関しては、そのエッジの幅が小さくなっているために、ノイズであると判定してしまい、エッジであることが検出できない可能性がある。このような理由により、特許文献1に記載された立体物検出装置は、立体物の検出精度が低下してしまう問題がある。
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、立体物の検出精度を向上させることが可能な立体物検出装置及び立体物検出方法を提供することにある。
上述の課題を解決するために、本発明は、撮像手段により撮像された画像に対して視点変換処理を行って鳥瞰画像を作成し、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素間の輝度差を算出し、算出された前記位置毎の輝度差の連続性に基づいて、立体物を検出する。
本発明によれば、所定領域の画像が俯瞰視された場合において、実空間で鉛直方向に伸びる鉛直仮想線を設定し、当該鉛直仮想線に沿った輝度差の連続性に基づいて立体物を検出する。すなわち、本発明によれば、輝度差が高い場合にはその箇所に立体物のエッジがある可能性が高く、連続的な輝度差に基づいて立体物を検出することができる。特に、実空間において鉛直方向に伸びる鉛直仮想線に沿った2つの画素の比較を行うため、撮像画像を俯瞰画像に視点変換することに伴う立体物が路面からの高さに応じて引き延ばされてしまう現象に影響されることがない。従って、本発明によれば、立体物の検出精度を向上させることができる。
以下、本発明の実施形態を図面に基づいて説明する。図1は、本実施形態に係る立体物検出装置1の概略構成図である。本実施形態は、立体物検出装置1が自車両V1に搭載される場合の例を示している。図1に示すように、立体物検出装置1は、カメラ(撮像手段)10と、計算機20とを備えている。
カメラ10は、自車両V1の後端部における高さhの箇所に取り付けられる。カメラ10は、その光軸が水平から下向きに角度θとなるように取り付けられている。カメラ10は、この取付位置から所定領域を撮像する。カメラ10は、撮像した画像を計算機20に供給する。計算機20は、カメラ10から供給された画像を用いて、自車両V1から後側方における立体物の有無を検出する。
図2は、図1に示したカメラ10の撮像範囲等を示す図である。図2(a)は、上面図を示す。図2(b)は、自車両V1から後側方における実空間上の斜視図を示している。図2(a)に示すように、カメラ10は、所定の画角aとなっている。カメラ10は、所定の画角aに含まれる自車両V1から後側方を撮像する。カメラ10の画角aは、カメラ10の撮像範囲に自車両V1が走行する車線に加えて、隣接する車線も含まれるように設定されている。
計算機20は、カメラ10によって撮像した撮像画像のうち、検出対象としての立体物の検出領域A1,A2内の部位について各種処理を実行する。これにより、計算機20は、検出領域A1,A2内に立体物(特に他車両V2)が存在するか否かを判定する。検出領域A1,A2は、上面からみると台形状となっている。検出領域A1,A2の位置、大きさ及び形状は、距離d1〜d4に基づいて決定される。
距離d1は、自車両V1から接地線L1,L2までの距離である。接地線L1,L2は、自車両V1が走行する車線に隣接する車線に存在する立体物が地面に接触する線を意味する。本実施形態においては、自車両V1の後側方において自車両V1の車線に隣接する左右の車線を走行する他車両V2等(2輪車等を含む)を検出することが目的である。このため、自車両V1から白線Wまでの距離d11及び白線Wから他車両V2が走行すると予測される位置までの距離d12から、他車両V2の接地線L1,L2となる位置である距離d1を略固定的に決定しておくことができる。
なお、距離d1については、固定的に決定されている場合に限らず、可変としても良い。この場合、計算機20は、白線認識等の技術により自車両V1に対する白線Wの位置を認識し、認識した白線Wの位置に基づいて距離d11を決定する。これにより、距離d1は、決定された距離d11を用いて可変的に設定される。
本実施形態においては、他車両V2が走行する位置(白線Wからの距離d12)及び自車両V1が走行する位置(白線Wからの距離d11)は大凡決まっていることから、距離d1は固定的に決定されているものとする。
距離d2は、自車両V1の後端部から車両進行方向に伸びる距離である。この距離d2は、検出領域A1,A2が少なくともカメラ10の画角a内に収まるように決定されている。特に、本実施形態において、距離d2は、画角aに区分される範囲に接するよう設定されている。
距離d3は、検出領域A1,A2の車両進行方向における長さを示す距離である。この距離d3は、検出対象となる立体物の大きさに基づいて決定される。本実施形態においては、検出対象が他車両V2等であるため、距離d3は、他車両V2を含む長さに設定される。
距離d4は、図2(b)に示すように、実空間において他車両V2等のタイヤを含むように設定された高さを示す距離である。距離d4は、鳥瞰画像においては図2(a)に示すだけの長さとされる。なお、距離d4は、鳥瞰画像において左右の隣接車線よりも更に隣接する車線(すなわち2車線隣りの車線)を含まないだけの長さとされることが望ましい。自車両V1の車線から2車線隣の車線を含んでしまうと、自車両V1が走行している車線である自車線の左右の隣接車線に他車両V2が存在するのか、2車線隣りの車線に他車両V2が存在するのかについて、区別が付かなくなってしまうためである。
以上のように、距離d1〜距離d4が決定される。これにより、検出領域A1,A2の位置、大きさ及び形状が決定される。具体的に説明すると、距離d1により、台形をなす検出領域A1,A2の上辺b1の位置が決定される。距離d2により、上辺b1の始点位置C1が決定される。距離d3により、上辺b1の終点位置C2が決定される。カメラ10から始点位置C1に向かって伸びる直線L3により、台形をなす検出領域A1,A2の側辺b2が決定される。同様に、カメラ10から終点位置C2に向かって伸びる直線L4により、台形をなす検出領域A1,A2の側辺b3が決定される。距離d4により、台形をなす検出領域A1,A2の下辺b4の位置が決定される。このように、各辺b1〜b4により囲まれる領域が検出領域A1,A2とされる。この検出領域A1,A2は、図2(b)に示すように、自車両V1から後側方における実空間上では真四角(長方形)となる。
なお、本実施形態において検出領域A1,A2は、鳥瞰視された状態では台形状であるが、これに限らず、鳥瞰視された状態で真四角などの他の形状であっても良い。
図3は、図1に示した計算機20の詳細を示すブロック図である。なお、図3においては、接続関係を明確とするためにカメラ10についても図示するものとする。
図3に示すように、計算機20は、視点変換部(視点変換手段)21と、輝度差算出部(輝度差算出手段)22と、エッジ線検出部(エッジ線検出手段)23と、立体物検出部(立体物検出手段)24とを含む。なお、計算機20は、CPUやRAM、ROM等からなるコンピュータである。計算機20は、予め設定されたプログラムに従って画像処理等を行うことによって、視点変換部21、輝度差算出部22、エッジ線検出部23、立体物検出部24といった各部の機能を実現する。
視点変換部21は、カメラ10による撮像にて得られた所定領域の撮像画像データを入力する。視点変換部21は、入力した撮像画像データをに対して、鳥瞰視される状態の鳥瞰画像データに視点変換処理を行う。鳥瞰画像される状態とは、上空から例えば鉛直下向き(又は、やや斜め下向き)に見下ろす仮想カメラの視点から見た状態である。この視点変換処理は、例えば特開2008−219063号公報に記載された技術によって実現される。
輝度差算出部22は、鳥瞰画像に含まれる立体物のエッジを検出するために、視点変換部21により視点変換された鳥瞰画像データに対して、輝度差の算出を行う。輝度差算出部22は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素間の輝度差を算出する。
輝度差算出部22は、実空間における鉛直方向に伸びる鉛直仮想線を1本だけ設定する手法と、鉛直仮想線を2本設定する手法との何れかによって輝度差を算出する。
鉛直仮想線を2本設定する具体的な手法について説明する。輝度差算出部22は、視点変換された鳥瞰画像に対して実空間で鉛直方向に伸びる線分に該当する第1鉛直仮想線と、第1鉛直仮想線と異なり実空間で鉛直方向に伸びる線分に該当する第2鉛直仮想線とを設定する。輝度差算出部22は、第1鉛直仮想線上の点と第2鉛直仮想線上の点との輝度差を、第1鉛直仮想線及び第2鉛直仮想線に沿って連続的に求める。以下、この輝度差算出部22の動作について詳細に説明する。
輝度差算出部22は、図4(a)に示すように、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第1鉛直仮想線La(以下、注目線Laという)を設定する。輝度差算出部22は、注目線Laと異なり、実空間で鉛直方向に伸びる線分に該当し、且つ、検出領域A1を通過する第2鉛直仮想線Lr(以下、参照線Lrという)を設定する。参照線Lrは、実空間における所定距離だけ注目線Laから離間する位置に設定される。なお、実空間で鉛直方向に伸びる線分に該当する線とは、鳥瞰画像においてはカメラ10の位置Psから放射状に広がる線となる。
輝度差算出部22は、注目線La上に注目点Pa(第1鉛直仮想線上の点)を設定する。輝度差算出部22は、参照線Lr上に参照点Pr(第2鉛直仮想線上の点)を設定する。
注目線La、注目点Pa、参照線Lr、参照点Prは、実空間上において図4(b)に示すような関係となる。図4(b)から明らかなように、注目線La及び参照線Lrは、実空間上において鉛直方向に伸びている。注目点Paと参照点Prとは、実空間上において略同じ高さに設定される。なお、注目点Paと参照点Prとは必ずしも厳密に同じ高さである必要はなく、注目点Paと参照点Prとが同じ高さとみなせる程度の誤差は許容されることは勿論である。
輝度差算出部22は、注目点Paと参照点Prとの輝度差を求める。仮に、注目点Paと参照点Prとの輝度差が大きいとすると、注目点Paと参照点Prとの間にエッジが存在すると考えられる。このため、図3に示したエッジ線検出部23は、注目点Paと参照点Prとの輝度差に基づいてエッジ線を検出する。
より詳細に説明する。図5は、図3に示した輝度差算出部22の詳細動作を示す第2の図である。図5(a)は鳥瞰視された状態の鳥瞰画像を示し、図5(b)は、図5(a)に示した鳥瞰画像の一部拡大図である。なお、図5についても検出領域A1のみを図示して説明するが、検出領域A2についても同様に輝度差を算出できる。
カメラ10が撮像した撮像画像内に他車両V2が映っていた場合、図5(a)に示すように、鳥瞰画像内の検出領域A1に他車両V2が現れる。図5(b)に図5(a)中の領域B1の拡大図を示すように、鳥瞰画像上において、他車両V2のタイヤのゴム部分上に注目線Laが設定されていたとする。
この状態において、輝度差算出部22は、先ず、参照線Lrを設定する。参照線Lrは、注目線Laから実空間上において所定の距離だけ離れた位置に、鉛直方向に沿って設定される。具体的には、本実施形態に係る立体物検出装置1において、参照線Lrは、注目線Laから実空間上において10cmだけ離れた位置に設定される。これにより、参照線Lrは、鳥瞰画像上において、例えば、他車両V2のタイヤのゴムから10cm相当だけ離れた他車両V2のタイヤのホイール上に設定される。
次に、輝度差算出部22は、注目線La上に複数の注目点Pa1〜PaNを設定する。例えば、図5(b)においては、説明の便宜上、6つの注目点Pa1〜Pa6(以下、任意の点を示す場合には単に注目点Paiという)を設定している。なお、注目線La上に設定する注目点Paの数は任意でよい。以下の説明では、N固の注目点Paが注目線La上に設定されたものとして説明する。
次に、輝度差算出部22は、実空間上において各注目点Pa1〜PaNと同じ高さとなるように各参照点Pr1〜PrNを設定する。
次に、輝度差算出部22は、同じ高さ同士の注目点Paと参照点Prとの輝度差を算出する。これにより、輝度差算出部22は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置(1〜N)ごとに、2つの画素間の輝度差を算出する。輝度差算出部22は、例えば、第1注目点Pa1とは、第1参照点Pr1との間で輝度差を算出し、第2注目点Pa22とは、第2参照点Pr2との間で輝度差を算出することとなる。これにより、輝度差算出部22は、注目線La及び参照線Lrに沿って、連続的に輝度差を求める。すなわち、輝度差算出部22は、第3〜第N注目点Pa33〜PaNと第3〜第N参照点Pr3〜PrNとの輝度差を順次求めていくこととなる。
輝度差算出部22は、検出領域A1内において注目線Laをずらしながら、上記の参照線Lrの設定、注目点Pa及び参照点Prの設定、輝度差の算出、といった処理を繰り返し実行する。すなわち、輝度差算出部22は、注目線La及び参照線Lrのそれぞれを、実空間上において接地線の延在方向に同一距離だけ位置を変えながら上記の処理を繰り返し実行する。輝度差算出部22は、例えば、前回処理において参照線Lrとなっていた線を注目線Laに設定し、この注目線Laに対して参照線Lrを設定して、順次輝度差を求めていくこととなる。
再度、図3を参照する。エッジ線検出部23は、輝度差算出部22により算出された連続的な輝度差から、エッジ線を検出する。例えば、図5(b)に示す場合、第1注目点Pa1と第1参照点Pr1とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第2〜第6注目点Pa22〜Pa6はタイヤのゴム部分に位置し、第2〜第6参照点Pr2〜Pr6はタイヤのホイール部分に位置する。したがって、第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との輝度差は大きくなる。このため、エッジ線検出部23は、輝度差が大きい第2〜第6注目点Pa2〜Pa66と第2〜第6参照点Pr2〜Pr6との間にエッジ線が存在することを検出できる。
具体的には、エッジ線検出部23は、エッジ線を検出するにあたり、先ず、下記の式(1)に従って、i番目の注目点Pai(座標xi,yi))とi番目の参照点Pri(座標(xi’,yi’))との輝度差から、i番目の注目点Paiに属性付けを行う。
上記式(1)において、tは閾値を示している。I(xi,yi)はi番目の注目点Paiの輝度値を示している。I(xi’,yi’)はi番目の参照点Priの輝度値を示している。上記式(1)によれば、注目点Paiの輝度値が、参照点Priに閾値tを加えた輝度値よりも高い場合には、当該注目点Paiの属性s(xi,yi)は“1”となる。一方、注目点Paiの輝度値が、参照点Priから閾値tを減じた輝度値よりも低い場合には、当該注目点Paiの属性s(xi,yi)は“−1”となる。注目点Paiの輝度値と参照点Priの輝度値とがそれ以外の関係である場合には、注目点Paiの属性s(xi,yi)は“0”となる。
注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じである場合には、連続性c(xi,yi)は“1”となる。注目点Paiの属性s(xi,yi)と隣接する注目点Pai+1の属性s(xi+1,yi+1)とが同じではない場合には、連続性c(xi,yi)は“0”となる。
次にエッジ線検出部23は、注目線La上の全ての注目点Paの連続性cについて総和を求める。エッジ線検出部23は、求めた連続性cの総和を注目点Paの数Nで割ることにより、連続性cを正規化する。エッジ線検出部23は、正規化した値が閾値θを超えた場合に、注目線Laをエッジ線と判断する。なお、閾値θは、予め実験等によって設定された値である。
そして、エッジ線検出部23は、検出領域A1上に描かれた注目線Laの全てについてエッジ線であるか否かを判断する。
再度図3を参照する。立体物検出部24は、エッジ線検出部23により検出されたエッジ線の量に基づいて立体物を検出する。上記したように、本実施形態に係る立体物検出装置1は、実空間上において鉛直方向に伸びるエッジ線を検出する。鉛直方向に伸びるエッジ線が多く検出されるということは、検出領域A1,A2に立体物が存在する可能性が高いということである。このため、立体物検出部24は、エッジ線検出部23により検出されたエッジ線の量に基づいて立体物を検出する。
更に、立体物検出部24は、立体物を検出するに先立って、エッジ線検出部23により検出されたエッジ線が正しいものであるか否かを判定する。立体物検出部24は、エッジ線上の俯瞰画像のエッジ線に沿った輝度変化が所定の閾値よりも大きいか否かを判定する。エッジ線上の俯瞰画像の輝度変化が閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判定する。一方、エッジ線上の俯瞰画像の輝度変化が閾値よりも大きくない場合には、当該エッジ線が正しいものと判定する。なお、この閾値は、実験等により予め設定された値である。
図6は、エッジ線を輝度分布を示す図である。図6(a)は検出領域A1に立体物としての他車両V2が存在した場合のエッジ線及び輝度分布を示す。図6(b)は検出領域A1に立体物が存在しない場合のエッジ線及び輝度分布を示している。
図6(a)に示すように、鳥瞰画像において他車両V2のタイヤゴム部分に設定された注目線Laがエッジ線であると判断されていたとする。この場合、注目線La上の俯瞰画像の輝度変化はなだらかなものとなる。これは、カメラ10により撮像された画像が鳥瞰画像(鳥瞰視)に視点変換されたことにより、他車両V2のタイヤが俯瞰画像内で引き延ばされたことによる。
一方、図6(b)に示すように、鳥瞰画像において路面に描かれた「50」という白色文字部分に設定された注目線Laがエッジ線であると誤判定されていたとする。この場合、注目線La上の俯瞰画像の輝度変化は起伏の大きいものとなる。これは、エッジ線上に、白色文字における輝度が高い部分と、路面等の輝度が低い部分とが混在しているからである。
以上のような注目線La上の輝度分布の相違に基づいて、エッジ線検出部23は、エッジ線が誤判定により検出されたものか否かを判定する。立体物検出部24は、エッジ線に沿った輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものであると判定する。そして、当該エッジ線は、立体物の検出には使用しない。これにより、路面上の「50」といった白色文字や路肩の雑草等がエッジ線として判定されてしまい、立体物の検出精度が低下することを抑制する。
具体的には、立体物検出部24は、下記の式(4)、(5)の何れかにより、エッジ線の輝度変化を算出する。このエッジ線の輝度変化は、実空間上における鉛直方向の評価値に相当する。下記の式(4)は、注目線La上のi番目の輝度値I(xi,yi)と隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の二乗の合計値によって輝度分布を評価する。下記の式(5)は、注目線La上のi番目の輝度値I(xi,yi)と隣接するi+1番目の輝度値I(xi+1,yi+1)との差分の絶対値の合計値よって輝度分布を評価する。
注目点Paiの輝度値と参照点Priの輝度値との輝度差の絶対値が閾値t2よりも大きい場合、当該注目点Pa(xi,yi)の属性bは“1”となる。それ以外の関係である場合には、注目点Paiの属性b(xi,yi)は“0”となる。この閾値t2は、注目線Laが同じ立体物上にないことを判定するために実験等によって予め設定されている。そして、立体物検出部24は、注目線La上の全注目点Paについての属性bを総和して、鉛直相当方向の評価値を求めて、エッジ線が正しいものかを判定する。
つぎに、本実施形態に係る立体物検出方法について説明する。図7及び図8は、本実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図7及び図8においては、便宜上、検出領域A1を対象とする処理について説明するが、検出領域A2についても同様に処理できる。
図7に示すように、先ずステップS1において、カメラ10は、画角a及び取付位置によって特定された所定領域を撮像する。
次に輝度差算出部22は、ステップS2において、ステップS1にてカメラ10により撮像された撮像画像データを入力し、視点変換を行って鳥瞰画像データを生成する。
次に輝度差算出部22は、ステップS3において、検出領域A1上に注目線Laを設定する。このとき、輝度差算出部22は、実空間上において鉛直方向に伸びる線に相当する線を注目線Laとして設定する。
次に輝度差算出部22は、ステップS4において、検出領域A1上に参照線Lrを設定する。このとき、輝度差算出部22は、実空間上において鉛直方向に伸びる線分に該当し、且つ、注目線Laと実空間上において所定距離離れた線を参照線Lrとして設定する。
次に輝度差算出部22は、ステップS5において、注目線La上に複数の注目点Paを設定する。この際に、輝度差算出部22は、エッジ線検出部23によるエッジ検出時に問題とならない程度の数の注目点Paを設定する。
また、輝度差算出部22は、ステップS6において、実空間上において注目点Paと参照点Prとが略同じ高さとなるように、参照点Prを設定する。これにより、注目点Paと参照点Prとが略水平方向に並ぶこととなり、実空間上において鉛直方向に伸びるエッジ線を検出しやすくなる。
次に輝度差算出部22は、ステップS7において、実空間上において同じ高さとなる注目点Paと参照点Prとの輝度差を算出する。
次にエッジ線検出部23は、上記の式(1)に従って、各注目点Paの属性sを算出する。次にエッジ線検出部23は、ステップS8において、上記の式(2)に従って、各注目点Paの属性sの連続性cを算出する。
次にエッジ線検出部23は、ステップS9において、上記式(3)に従って、連続性cの総和を正規化した値が閾値θより大きいか否かを判定する。正規化した値が閾値θよりも大きいと判断した場合(S9:YES)、エッジ線検出部23は、ステップS10において、当該注目線Laをエッジ線として検出する。そして、処理は、ステップS11に移行する。正規化した値が閾値θより大きくないと判断した場合(S9:NO)、エッジ線検出部23は、当該注目線Laをエッジ線として検出せず、処理は、ステップS11に移行する。
ステップS11において、計算機20は、検出領域A1上に設定可能な注目線Laの全てについて上記のステップS3〜ステップS10の処理を実行したか否かを判断する。全ての注目線Laについて上記処理をしていないと判断した場合(S11:NO)、ステップS3に処理を戻して、新たに注目線Laを設定して、ステップS11までの処理を繰り返す。一方、全ての注目線Laについて上記処理をしたと判断した場合(S11:YES)、処理は図8のステップS12に移行する。
図8のステップS12において、立体物検出部24は、図7のステップS10において検出された各エッジ線について、当該エッジ線に沿った輝度変化を算出する。立体物検出部24は、上記式(4)、式(5)、式(6)の何れかの式に従って、エッジ線の輝度変化を算出する。
次に立体物検出部24は、ステップS13において、エッジ線のうち、輝度変化が所定の閾値よりも大きいエッジ線を除外する。すなわち、輝度変化の大きいエッジ線は正しいエッジ線ではないと判定し、エッジ線を立体物の検出には使用しない。これは、上述したように、検出領域A1に含まれる路面上の文字や路肩の雑草等がエッジ線として検出されてしまうことを抑制するためである。したがって、所定の閾値とは、予め実験等によって求められた、路面上の文字や路肩の雑草等によって発生する輝度変化に基づいて設定された値となる。
次に立体物検出部24は、ステップS14において、エッジ線の量が所定値以上であるか否かを判断する。なお、上記の所定値は、予め実験等によって求めておいて設定された値である。例えば、検出対象の立体物として四輪車を設定した場合、当該所定値は、予め実験等によって検出領域A1内において出現した四輪車のエッジ線の数に基づいて設定される。
エッジ線の量が所定値以上であると判定した場合(S14:YES)、立体物検出部24は、ステップS15において、検出領域A1内に立体物が存在すると検出する。一方、エッジ線の量が所定値以上ではないと判定した場合(S14:NO)、立体物検出部24は、検出領域A1内に立体物が存在しないと判断する。その後、図7及び図8に示す処理は終了する。
以上のように、本実施形態に係る立体物検出装置1によれば、検出領域A1,A2に存在する立体物を検出するために、鳥瞰画像に対して実空間において鉛直方向に伸びる線分としての鉛直仮想線を設定する。そして、立体物検出装置1は、鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素の輝度差を算出し、当該輝度差の連続性に基づいて立体物の有無を判定できる。
具体的には、立体物検出装置1は、鳥瞰画像における検出領域A1,A2に対して、実空間において鉛直方向に伸びる線分に該当する注目線Laと、注目線Laとは異なる参照線Lrとを設定する。立体物検出装置1は、注目線La上の注目点Paと参照線Lr上の参照点Prとの輝度差を注目線La及び参照線Lrに沿って連続的に求める。このように、点同士の輝度差を連続的に求めることにより、注目線Laと参照線Lrとの輝度差を求める。注目線Laと参照線Lrとの輝度差が高い場合には、注目線Laの設定箇所に立体物のエッジがある可能性が高い。これによって、立体物検出装置1は、連続的な輝度差に基づいて立体物を検出することができる。特に、実空間において鉛直方向に伸びる鉛直仮想線同士との輝度比較を行うために、俯瞰画像に変換することによって立体物が路面からの高さに応じて引き伸ばされてしまっても、立体物の検出処理が影響されることはない。したがって、この立体物検出装置1によれば、立体物の検出精度を向上させることができる。
また、この立体物検出装置1によれば、鉛直仮想線付近の略同じ高さの2つの点の輝度差を求める。具体的には、実空間上で略同じ高さとなる注目線La上の注目点Paと参照線Lr上の参照点Prとから輝度差を求める。このため、この立体物検出装置1によれば、鉛直方向に伸びるエッジが存在する場合における輝度差を明確に検出することができる。
更に、この立体物検出装置1によれば。注目線La上の注目点Paと参照線Lr上の参照点Prとの輝度差に基づいて注目点Paに属性付けを行い、注目線Laに沿った属性の連続性cに基づいて当該注目線Laがエッジ線であるかを判断する。このため、立体物検出装置1によれば、輝度の高い領域と輝度の低い領域との境界をエッジ線して検出して、人間の自然な感覚に沿ったエッジ検出を行うことができる。
この効果について詳細に説明する。図9は、図3に示したエッジ線検出部23の処理を説明する画像例を示す図である。この画像例は、輝度の高い領域と輝度の低い領域とが繰り返される縞模様を示す第1縞模様101と、輝度の低い領域と輝度の高い領域とが繰り返される縞模様を示す第2縞模様102とが隣接している。また、この画像例は、第1縞模様101の輝度が高い領域と第2縞模様102の輝度の低い領域とが隣接すると共に、第1縞模様101の輝度が低い領域と第2縞模様102の輝度が高い領域とが隣接している。この第1縞模様101と第2縞模様102との境界に位置する部位103は、人間の感覚によってはエッジとは知覚されない傾向にある。
これに対し、輝度の低い領域と輝度が高い領域とが隣接しているために、輝度差のみでエッジを検出すると、当該部位103はエッジとして認識されてしまう。しかし、エッジ線検出部23は、部位103における輝度差に加えて、当該輝度差の属性に連続性がある場合にのみ部位103をエッジ線として判定する。したがって、エッジ線検出部23は、人間の感覚としてエッジ線として認識しない部位103をエッジ線として認識する誤判定を抑制でき、人間の感覚に沿ったエッジ検出を行うことができる。
更に、この立体物検出装置1は、エッジ線検出部23により検出されたエッジ線の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。カメラ10により取得された撮像画像を鳥瞰画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で俯瞰画像に現れる傾向がある。例えば、上述したように他車両V2のタイヤが引き伸ばされた場合、タイヤという1つの部位が引き伸ばされるため、引き伸ばされた方向における俯瞰画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合、俯瞰画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合、俯瞰画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。したがって、立体物検出装置1は、エッジ線に沿った俯瞰画像の輝度変化を判定することによって、誤判定により検出されたエッジ線を認識することができ、立体物オン検出精度を高くできる。
つぎに、第2実施形態に係る立体物検出装置1について説明する。なお、上述の第1実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
第2実施形態として示す立体物検出装置1は、俯瞰画像に対して1本の鉛直仮想線を設定して立体物を検出する点で、第1実施形態とは異なる。この立体物検出装置1は、輝度差算出部22によって、鉛直仮想線から実空間における等距離だけ離間した2つの画素の輝度差を算出する。
具体的には、図10(a)に示すように、カメラ10の位置Psから、実空間上において鉛直方向に伸びる1本の鉛直仮想線Lを設定する。なお、図10では、鉛直仮想線Lを1本だけ示しているが、この鉛直仮想線Lは、検出領域A1において放射線状に複数設定される。検出領域A1のうち一部を拡大した領域B1を図10(b)に示す。なお、図10においては、説明の便宜上、検出領域A1についてのみ説明するが、検出領域A2についても同様に処理を行うものとする。
図10(b)に示すように、輝度差算出部22は、鉛直仮想線Lを跨いで実空間上における水平方向に2つの画素を設定する。具体的には、鉛直仮想線Lから実空間上における水平方向に第1参照点Pa1〜Pa6(以下、任意の点を示す場合には単に第1参照点Paiという)を設定し、当該第1参照点から鉛直仮想線Lを跨いで第2参照点Pb1〜Pb6を設定する。すなわち、第1参照点Pa1〜Pa6及び第2参照点Pb1〜Pb6(以下、任意の点を示す場合には単に第2参照点Pbiという)は、鉛直仮想線Lと同様に、カメラ10の位置Psから放射線に伸びる線上に設定される。
これにより、輝度差算出部22は、第1参照点Paiと第2画素群Pbiとの実空間上における距離を同じとなるよう設定する。したがって、俯瞰画像において、画素Pa1と画素Pb1との距離D1、画素Pa2と画素Pb2との距離D2,画素Pa3と画素Pb3との距離D3、画素Pa4と画素Pb4との距離D4、画素Pa5と画素Pb5との距離D5、画素Pa6と画素Pb6との距離D6、となるほど、画像内距離は長くなる。
このように、輝度差算出部22は、鉛直仮想線L付近に位置する実空間上で略同じ高さとなり、且つ、鉛直仮想線Lから実空間における等距離だけ離間した2つの画素Pai、Pbiを設定する。輝度差算出部22は、2つの画素間PaiとPbiの画素差を算出する。これにより、輝度差算出部22は、実空間における鉛直方向に伸びる鉛直仮想線Lに沿った複数の位置ごとに、当該各位置の近傍の2つの画素間の輝度差を算出する。
これにより、エッジ線検出部23は、輝度差算出部22により算出された輝度差を用いてエッジ線を検出する。立体物検出部24は、エッジ線検出部23により検出されたエッジ線を用いて立体物を検出する。
このような立体物検出装置1の動作を、図11及び図12を参照して説明する。
図11によれば、先ずステップS41において、計算機20によってカメラ10により撮像された撮像画像データを取り込む。
次のステップS42において、視点変換部21は、ステップS41にて取り込まれた撮像画像データに対して視点変換処理を行う。これにより視点変換部21は、俯瞰画像データを作成する。
次のステップS43において、輝度差算出部22及びエッジ線検出部23は、鉛直仮想線Lにおける左側に設定した第1参照点Pai(左側参照点)を用いて、エッジ線(左側鉛直エッジ)を検出する。次のステップS44において、鉛直仮想線Lにおける右側に設定した第2参照点Pbi(右側参照点)を用いて、エッジ線(右側鉛直エッジ)を検出する。なお、このステップS43及びステップS44の処理は、図12を参照して後述する。
次のステップS45において、立体物検出部24は、ステップS43にて検出された左側鉛直エッジとステップS44にて検出された右側鉛直エッジとを用いて、検出領域A1における立体物を検出する。
つぎに、図12を参照して左側鉛直エッジ及び右側鉛直エッジを検出する処理を説明する。なお、図12の説明では、左側鉛直エッジ及び右側鉛直エッジを総称して単に“鉛直エッジ”と呼ぶ。
先ず輝度差算出部22は、ステップS51において、第1参照点Pai及び第2参照点Pbiを設定するための基準となる鉛直仮想線Lを設定する。この鉛直仮想線Lは、カメラ10の位置Psを通る放射方向であって、実空間上において鉛直方向に伸びるよう設定される。鉛直仮想線Lは、ステップS51の処理の度に、検出領域A1の内側線を所定の間隔で横切るように設定される。
次のステップS52において、属性s、属性sの前回値s_pre、変化回数カウンタd、スコアカウントnを初期化する。
次のステップS53において、輝度差算出部22は、第1参照点Pai及び第2参照点Pbiを設定する。このとき、輝度差算出部22は、図10(b)に示したように、鉛直仮想線Lを跨いで実空間上において同じ高さ且つ等距離となるよう各参照点を設定する。これにより、輝度差算出部22は、検出領域A1において外側となるほど間隔が長くなるよう第1参照点Pai及び第2参照点Pbiを設定する。
次のステップS54においては、鉛直仮想線Lの位置ごとに、属性s(輝度パターン)の判定を行う。このとき、輝度差算出部22によって対応する第1参照点Paiと第2参照点Pbiとの輝度差を求める。エッジ線検出部23は、輝度差算出部22によって求められた輝度差の関係と上述した式(1)とに従って、属性s(輝度パターン)を設定する。この属性sは、例えば第1参照点Paiと第2参照点Pbiとを結ぶ線分と鉛直仮想線Lとが交差する位置の属性sである。
属性sは、第1参照点Paiの輝度が第2参照点Pbiよりも閾値tを超えて大きくなった場合に、“1”となる。一方、第1参照点Paiの輝度値が、第2参照点Pbiから閾値tを減じた輝度値よりも低い場合に、当該属性sは“−1”となる。第1参照点Paiの輝度値と第2参照点Pbiの輝度値とがそれ以外の関係である場合には、属性sは“0”となる。
次のステップS55において、エッジ線検出部23は、ステップS54において属性sが所定値である場合のみに、スコアnとしてカウントアップする。この属性sの所定値は、“1”又は“−1”の何れであっても良い。すなわち、エッジ線検出部23は、第1参照点Paiと第2参照点Pbiのうち一方が明るい又は暗いという合計をカウントする。なお、属性sが“0”であった場合にはスコアnをカウントアップはしない。
次のステップS56において、エッジ線検出部23は、属性sの変化回数dをカウントする。このとき、今回のステップS54にて判定された属性sと、前回にステップS54にて判定された属性pre_sとを比較する。この属性pre_sは、属性sを求めた第1参照点Pai及び第2参照点Pbiと鉛直仮想線Lに沿って隣接している第1参照点Pai及び第2参照点Pbiから求められた属性sである。属性sと属性pre_sとが同じ値である場合、変化回数dはカウントアップされる。
次のステップS57において、エッジ線検出部23は、属性sを記憶する。
次のステップS58において、エッジ線検出部23は、ステップS51にて設定された基準線としての鉛直仮想線Lに設定された全ての参照点についてステップS53〜ステップS57の処理を実行したか否かを判定する。全ての参照点について処理を実行していない場合には、ステップS53に処理は戻る。この再度のステップS53においては、次の参照点を設定する。一方、全ての参照点について処理を実行したと判定した場合にはステップS59に処理を進める。ステップS59においては、検出領域A1に設定される全ての鉛直仮想線LについてステップS52〜ステップS58の処理を実行したか否かを判定する。全ての鉛直仮想線Lについて処理を実行したと判定した場合にはステップS51に処理を進める。この再度のステップS51において、次の鉛直仮想線Lを設定する。一方、全ての鉛直仮想線Lについて処理を実行したと判定した場合にはステップS60に処理を進める。
ステップS60において、エッジ線検出部23は、検出領域A1に現れた鉛直エッジを判定する。このとき、エッジ線検出部23は、同じ属性sが判定されたことを表すスコアnと、第1参照点Paiと第2参照点Pbiとの組の総数N、及び、変化回数dに基づいて鉛直エッジを判定する。具体的には、エッジ線検出部23は、スコアn/総数N>θであり、且つ、5>dである場合に、当該鉛直仮想線Lを鉛直エッジであると判定する。
スコアn/総数Nは、スコアnを参照点の総数で割ることにより、スコアnを正規化している。これにより、エッジ線検出部23は、参照点の総数Nに対して第1参照点Paiと第2参照点Pbiとの関係が同じ(明るい又は暗い)と判定された割合が大きい場合には、鉛直エッジがあると推定できる。
また、エッジ線検出部23は、変化回数dが上限値(この例では5)よりも少ない場合、当該鉛直仮想線Lが鉛直エッジであると推定できる。この変化回数dの上限値は、検出領域A1内で属性sが大きく変化する物体は路肩の雑草や路面表示記号・文字等である可能性が高いことを考慮して設定される。したがって、この上限値は、予め実験等によって、雑草や路面表示記号・文字等を鉛直エッジであると判断しないよう設定されている。
一方、エッジ線検出部23は、この条件を満たさない場合、鉛直仮想線Lが鉛直エッジではないと判定する。
以上のように、この立体物検出装置1によれば、第1実施形態と同様に、実空間において鉛直方向に伸びる鉛直仮想線を設定し、輝度差の連続性に基づいて立体物を検出するので、立体物の検出精度を向上させることができる。
また、この立体物検出装置1によれば、単一の鉛直仮想線Lに対して2つの第1参照点Pai及び第2参照点Pbiを設定し、当該第1参照点Paiと第2参照点Pbiとの画像内距離を実空間における距離としている。これにより、この立体物検出装置1によれば、第1実施形態のように2本の注目線La及び参照線Lrを設けなくても、鉛直エッジを検出して立体物を検出することができる。したがって、この立体物検出装置1によれば、第1実施形態よりも処理負担を少なくできる。
つぎに、第2実施形態として示す他の立体物検出装置1について説明する。この第2実施形態として示す立体物検出装置1は、鉛直仮想線Lを1本だけ設定する点で一致する。この立体物検出装置1は、図13(a)に示す俯瞰画像を一部拡大した図13(b)に示すように、鉛直仮想線Lに沿って俯瞰画像上に設定する第1参照点Paiと第2参照点Pbiとの全ての距離を、同じ距離Dとしている。
すなわち、図14に示すように、輝度差算出部22は、カメラ10の位置Psから放射線状に鉛直仮想線Lを設定する。一方、輝度差算出部22は、第1参照点Paiが配置される仮想線l1及び第2参照点Pbiが配置されるl2を、鉛直仮想線Lと平行となるよう設定する。この仮想線l1及び仮想線l2は、鉛直仮想線Lから最も近い検出領域A1内の参照点Pa1、Pb1が、カメラ10の位置Psから鉛直方向に伸びる放射線状の仮想線lと交差する位置に設定される。
このように第1参照点Pai及び第2参照点Pbiを設定した場合、第1参照点Pa1と第2参照点Pb1との距離及び第1参照点Pa2と第2参照点Pb2との距離は、共に、dとなる。一方、カメラの位置Psから伸びる放射線状の仮想線l1、l2上であって、第1参照点Pa1と第2参照点Pb2とを結ぶ線上の点Pa’とPb’の距離は、dよりも長いd’となる。このことより、属性sを判定するための閾値tは、検出領域A1において外側となるほど(自車両V1から離間するほど)、小さく設定される。具体的には、第1参照点Pa1及び第2参照点Pb1の属性sを判定する閾値tは、第1画素群Pa2及び第2参照点Pb2の属性sを判定する閾値t’よりも大きな値とされる。また、t’は、t×(d/d’)となる。したがって、エッジ線検出部23は、上述した下記式(1)と同様の演算によって、鉛直仮想線Lにおける位置毎の属性sを判定する。
すなわち、エッジ線検出部23は、第1参照点Pai及び第2参照点Pbiの組ごとに閾値tを設定する。そして、第1参照点Paiの輝度値が、第2参照点Pbiに閾値tを加えた輝度値よりも高い場合には、属性s(xi,yi)は“1”となる。一方、第1参照点Paiの輝度値が、第2参照点Pbiから閾値tを減じた輝度値よりも低い場合には、属性s(xi,yi)は“−1”となる。第1参照点Paiの輝度値と第2参照点Pbiの輝度値とがそれ以外の関係である場合には、属性s(xi,yi)は“0”となる。
このような立体物検出装置1は、図15に示すような動作を行って、鉛直エッジを検出する。この立体物検出装置1の動作は、図12に示した動作に対して、ステップS53’が異なる。
このステップS53’は、輝度差算出部22によって、鉛直仮想線Lに平行した仮想線l1、l2上に第1参照点Pai及び第2参照点Pbiを設定する。また、輝度差算出部22は、設定した第1参照点Pai及び第2参照点Pbiごとに、閾値tを設定する。これにより、エッジ線検出部23は、ステップS54において、第1参照点Paiと第2参照点Pbiとの間の輝度差と、当該第1参照点Pai及び第2参照点Pbiごとに設定された閾値tとを比較して、属性sを判定する。
以上のように、この立体物検出装置1によれば、第1実施形態と同様に、実空間において鉛直方向に伸びる鉛直仮想線を設定し、輝度差の連続性に基づいて立体物を検出するので、立体物の検出精度を向上させることができる。
また、この立体物検出装置1によれば、鉛直仮想線Lから俯瞰画像における等距離だけ離間した2つの画素の輝度差を算出し、鉛直仮想線Lに沿った複数の位置が実空間における上方となるほど、輝度差に基づいて立体物を判定する閾値を低くする。これにより、この立体物検出装置1によれば、撮像画像を視点変換によって実空間における上方の画像が引き伸ばされても、閾値tを変更して、エッジを検出することができる。また、この立体物検出装置1によれば、第1実施形態のように2本の注目線La及び参照線Lrを設けなくても鉛直エッジを検出して、立体物を検出することができる。したがって、この立体物検出装置1によれば、第1実施形態よりも処理負担を少なくできる。
なお、この立体物検出装置1では、閾値を一定にしたまま、鉛直仮想線の位置を変更しながら鉛直仮想線を跨ぐ2つの画素の輝度差を検出しても、鉛直方向に伸びるエッジ線を検出して、立体物を検出することもできる。
つぎに、第3実施形態に係る立体物検出装置1について説明する。なお、上述の実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
図16は、第3実施形態に係る立体物検出装置1における計算機20の機能的な構成を示すブロック図である。なお、図10においては、接続関係を明確にするためにカメラ10についても図示するものとする。
図16に示すように、計算機20は、第1実施形態のエッジ線検出部23に代えて、エッジ強度算出部(エッジ強度算出手段)25を備えている。
エッジ強度算出部25は、輝度差算出部22により算出された連続的な輝度差から、注目線Laのエッジ強度を算出する。このエッジ強度とは、よりエッジ線らしいかを示す数値である。具体的には、エッジ強度は、下記の式(7)により算出される。
上記式(7)において、c(xi,yi)は、注目点Paiの属性の連続性cである。Nは、注目線Laに設定された注目点Paの数である。式(7)より、エッジ強度は、各注目線Laの連続性cの総和を、注目点Paの設定数で除した値となる。
図17は、図16に示したエッジ強度算出部25による処理を示す概念図である。図17(a)は検出領域A1に立体物としての他車両V2が存在している場合のエッジ強度を示す。図17(b)は検出領域A1に立体物が存在しない場合のエッジ強度を示している。なお、図17においては、検出領域A1のみを図示してエッジ強度算出部25の説明をするが、検出領域A2についても同様に処理を行うことができる。
図17(a)に示すように、検出領域A1に他車両V2が存在する場合、上述した式(7)のように注目点Paの属性の連続性cが高くなるため、各注目線Laのエッジ強度は高くなる傾向がある。したがって、検出領域A1に含まれる複数のエッジ強度の総和は高くなる。
一方、図17(b)に示すように、検出領域A1に立体物が存在しない場合、上述した式(7)のように注目点Paの属性の連続性cが低くなるため、各注目線Laのエッジ強度は低くなる傾向がある。したがって、検出領域A1に含まれる複数のエッジ強度の総和は低くなる。
以上のように、立体物検出部24は、注目線Laのエッジ強度の総和が所定の閾値以上である場合、検出領域A1に立体物が存在すると検出できる。ところで、立体物の撮像環境等によっては、実空間における鉛直方向のエッジが弱くなって俯瞰画像内に表現される可能性がある。この場合には、立体物検出装置1は、立体物が検出できなくなる可能性がある。しかし、第3実施形態に係る立体物検出装置1によれば、エッジ強度に基づいて立体物を検出するので、弱いエッジのみしか俯瞰画像内に現れなかった場合であっても、弱いエッジが数多く集まることにより、立体物を検出することができる。
図18は、第3実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図18においては、便宜上、検出領域A1を対象とする処理について説明するが、検出領域A2についても同様に処理できる。
立体物検出装置1は、先ず、ステップS21〜ステップS28の処理において、図7に示したステップS1〜ステップS8と同様の処理を実行する。
このステップS28の次のステップS29において、エッジ強度算出部25は、上記の式(7)に従って、エッジ強度を算出する。
次に計算機20は、ステップS30において、検出領域A1上に設定可能な注目線Laの全てについてエッジ強度を算出したか否かを判断する。注目線Laの全てについて検出領域A1上に設定可能な注目線Laの全てについてエッジ強度を算出したか否かを判定する。注目線Laの全てについてエッジ強度を算出していないと判断した場合(S30:NO)、処理はステップS23に移行する。一方、注目線Laの全てについてエッジ強度を算出したと判断した場合(S30:YES)、処理はステップS31に移行する。
ステップS31において、立体物検出部24は、エッジ強度算出部25により算出されたエッジ強度の総和を算出する。
次に立体物検出部24は、ステップS32において、ステップS31にて算出したエッジ強度の総和が閾値以上であるか否かを判断する。エッジ強度の総和が閾値以上であると判断した場合(S32:YES)、立体物検出部24は、ステップS33において、検出領域A1内に立体物が存在することを検出する。一方、エッジ強度の総和が閾値以上ではないと判断した場合(S32:NO)、立体物検出部24は、検出領域A1内に立体物が存在しないと判断する。その後、図12に示す処理は終了する。
以上のように、この第3実施形態に係る立体物検出装置1及び立体物検出方法によれば、第1実施形態と同様に、実空間において鉛直方向に伸びる鉛直仮想線を設定し、輝度差の連続性に基づいて立体物を検出するので、立体物の検出精度を向上させることができる。
また、この第3実施形態に係る立体物検出装置1によれば、鉛直仮想線を設定して取得した連続的な輝度差から注目線Laのエッジ強度を算出し、当該エッジ強度に基づいて立体物を検出する。したがって、この立体物検出装置1によれば、立体物の撮像環境等によっては鉛直方向のエッジが弱く画像内に現れても、立体物が検出できないことを抑制できる。すなわち、この立体物検出装置1によれば、俯瞰画像内に現れた実空間において鉛直方向におけるエッジが弱くても、当該弱いエッジが数多く集まることによってエッジ強度に基づいて立体物を検出することができる。したがって、この立体物検出装置1によれば、撮像環境等により立体物の検出精度が低下してしまう事態を抑制することができる。
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である
例えば、上記の実施形態において、計算機20は視点変換部21を備えることによって鳥瞰画像データを生成している。しかし、これに限るものではない。例えば、撮像画像データに対して上記実施形態と同様に処理を実行すれば必ずしも明確に鳥瞰画像データを作成しなくても良い。
例えば、上記の実施形態において、計算機20は視点変換部21を備えることによって鳥瞰画像データを生成している。しかし、これに限るものではない。例えば、撮像画像データに対して上記実施形態と同様に処理を実行すれば必ずしも明確に鳥瞰画像データを作成しなくても良い。
本発明によれば、周囲の立体物を検出する産業上の分野に利用できる。
1 立体物検出装置
10 カメラ
20 計算機
21 視点変換部
22 輝度差算出部
23 エッジ線検出部
24 立体物検出部
25 エッジ強度算出部
10 カメラ
20 計算機
21 視点変換部
22 輝度差算出部
23 エッジ線検出部
24 立体物検出部
25 エッジ強度算出部
次に、輝度差算出部22は、注目線La上に複数の注目点Pa1 〜PaN を設定する。例えば、図5(b)においては、説明の便宜上、6つの注目点Pa1 〜Pa6 (以下、任意の点を示す場合には単に注目点P ai という)を設定している。なお、注目線La上に設定する注目点Paの数は任意でよい。以下の説明では、N固の注目点Paが注目線La上に設定されたものとして説明する。
次に、輝度差算出部22は、実空間上において各注目点Pa1 〜PaN と同じ高さとなるように各参照点Pr1 〜PrN を設定する。
次に、輝度差算出部22は、同じ高さ同士の注目点Paと参照点Prとの輝度差を算出する。これにより、輝度差算出部22は、実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置(1〜N)ごとに、2つの画素間の輝度差を算出する。輝度差算出部22は、例えば、第1注目点Pa1とは、第1参照点Pr1との間で輝度差を算出し、第2注目点Pa2 とは、第2参照点Pr2との間で輝度差を算出することとなる。これにより、輝度差算出部22は、注目線La及び参照線Lrに沿って、連続的に輝度差を求める。すなわち、輝度差算出部22は、第3〜第N注目点Pa3 〜PaNと第3〜第N参照点Pr3〜PrNとの輝度差を順次求めていくこととなる。
再度、図3を参照する。エッジ線検出部23は、輝度差算出部22により算出された連続的な輝度差から、エッジ線を検出する。例えば、図5(b)に示す場合、第1注目点Pa1と第1参照点Pr1とは、同じタイヤ部分に位置するために、輝度差は、小さい。一方、第2〜第6注目点Pa2 〜Pa6はタイヤのゴム部分に位置し、第2〜第6参照点Pr2〜Pr6はタイヤのホイール部分に位置する。したがって、第2〜第6注目点Pa2〜Pa6と第2〜第6参照点Pr2〜Pr6との輝度差は大きくなる。このため、エッジ線検出部23は、輝度差が大きい第2〜第6注目点Pa2〜Pa6 と第2〜第6参照点Pr2〜Pr6との間にエッジ線が存在することを検出できる。
図6は、エッジ線及び輝度分布を示す図である。図6(a)は検出領域A1に立体物としての他車両V2が存在した場合のエッジ線及び輝度分布を示す。図6(b)は検出領域A1に立体物が存在しない場合のエッジ線及び輝度分布を示している。
更に、この立体物検出装置1は、エッジ線検出部23により検出されたエッジ線の輝度変化が所定の閾値よりも大きい場合には、当該エッジ線が誤判定により検出されたものと判断する。カメラ10により取得された撮像画像を鳥瞰画像に変換した場合、当該撮像画像に含まれる立体物は、引き伸ばされた状態で俯瞰画像に現れる傾向がある。例えば、上述したように他車両V2のタイヤが引き伸ばされた場合、タイヤという1つの部位が引き伸ばされるため、引き伸ばされた方向における俯瞰画像の輝度変化は小さい傾向となる。これに対し、路面に描かれた文字等をエッジ線として誤判定した場合、俯瞰画像には、文字部分といった輝度が高い領域と路面部分といった輝度が低い領域とが混合されて含まれる。この場合、俯瞰画像において、引き伸ばされた方向の輝度変化は大きくなる傾向がある。したがって、立体物検出装置1は、エッジ線に沿った俯瞰画像の輝度変化を判定することによって、誤判定により検出されたエッジ線を認識することができ、立体物の検出精度を高くできる。
これにより、輝度差算出部22は、第1参照点Paiと第2参照点Pbiとの実空間上における距離を同じとなるよう設定する。したがって、俯瞰画像において、画素Pa1と画素Pb1との距離D1、画素Pa2と画素Pb2との距離D2,画素Pa3と画素Pb3との距離D3、画素Pa4と画素Pb4との距離D4、画素Pa5と画素Pb5との距離D5、画素Pa6と画素Pb6との距離D6、となるほど、画像内距離は長くなる。
このように、輝度差算出部22は、鉛直仮想線L付近に位置する実空間上で略同じ高さとなり、且つ、鉛直仮想線Lから実空間における等距離だけ離間した2つの画素Pai、Pbiを設定する。輝度差算出部22は、2つの画素間PaiとPbiの輝度差を算出する。これにより、輝度差算出部22は、実空間における鉛直方向に伸びる鉛直仮想線Lに沿った複数の位置ごとに、当該各位置の近傍の2つの画素間の輝度差を算出する。
次のステップS52において、属性s、属性sの前回値s_pre、変化回数カウントd、スコアカウントnを初期化する。
次のステップS56において、エッジ線検出部23は、属性sの変化回数dをカウントする。このとき、今回のステップS54にて判定された属性sと、前回にステップS54にて判定された属性s_preとを比較する。この属性s_preは、属性sを求めた第1参照点Pai及び第2参照点Pbiと鉛直仮想線Lに沿って隣接している第1参照点Pai及び第2参照点Pbiから求められた属性sである。属性sと属性s_preとが同じ値である場合、変化回数dはカウントアップされる。
次のステップS58において、エッジ線検出部23は、ステップS51にて設定された基準線としての鉛直仮想線Lに設定された全ての参照点についてステップS53〜ステップS57の処理を実行したか否かを判定する。全ての参照点について処理を実行していない場合には、ステップS53に処理は戻る。この再度のステップS53においては、次の参照点を設定する。一方、全ての参照点について処理を実行したと判定した場合にはステップS59に処理を進める。ステップS59においては、検出領域A1に設定される全ての鉛直仮想線LについてステップS52〜ステップS58の処理を実行したか否かを判定する。全ての鉛直仮想線Lについて処理を実行したと判定していない場合にはステップS51に処理を進める。この再度のステップS51において、次の鉛直仮想線Lを設定する。一方、全ての鉛直仮想線Lについて処理を実行したと判定した場合にはステップS60に処理を進める。
このように第1参照点Pai及び第2参照点Pbiを設定した場合、第1参照点Pa1と第2参照点Pb1との距離及び第1参照点Pa2と第2参照点Pb2との距離は、共に、dとなる。一方、カメラの位置Psから伸びる放射線状の仮想線I上であって、第1参照点Pa2 と第2参照点Pb2とを結ぶ線上の点Pa’とPb’の距離は、dよりも長いd’となる。このことより、属性sを判定するための閾値tは、検出領域A1において外側となるほど(自車両V1から離間するほど)、小さく設定される。具体的には、第1参照点Pa1及び第2参照点Pb1の属性sを判定する閾値tは、第1参照点Pa2及び第2参照点Pb2の属性sを判定する閾値t’よりも大きな値とされる。また、t’は、t×(d/d’)となる。したがって、エッジ線検出部23は、上述した式(1)と同様の演算によって、鉛直仮想線Lにおける位置毎の属性sを判定する。
図16は、第3実施形態に係る立体物検出装置1における計算機20の機能的な構成を示すブロック図である。なお、図16においては、接続関係を明確にするためにカメラ10についても図示するものとする。
図17(a)に示すように、検出領域A1に他車両V2が存在する場合、上述した式(7)のように注目点Paの属性の連続性cの総和が高くなるため、各注目線Laのエッジ強度は高くなる傾向がある。したがって、検出領域A1に含まれる複数のエッジ強度の総和は高くなる。
一方、図17(b)に示すように、検出領域A1に立体物が存在しない場合、上述した式(7)のように注目点Paの属性の連続性cの総和が低くなるため、各注目線Laのエッジ強度は低くなる傾向がある。したがって、検出領域A1に含まれる複数のエッジ強度の総和は低くなる。
以上のように、立体物検出部24は、注目線Laのエッジ強度の総和が所定の閾値以上である場合、検出領域A1に立体物が存在すると判断できる。ところで、立体物の撮像環境等によっては、実空間における鉛直方向のエッジが弱くなって俯瞰画像内に表現される可能性がある。この場合には、立体物検出装置1は、立体物が検出できなくなる可能性がある。しかし、第3実施形態に係る立体物検出装置1によれば、エッジ強度に基づいて立体物を検出するので、弱いエッジのみしか俯瞰画像内に現れなかった場合であっても、弱いエッジが数多く集まることにより、立体物を検出することができる。
図18は、第3実施形態に係る立体物検出方法の詳細を示すフローチャートである。なお、図18においては、便宜上、検出領域A1を対象とする処理について説明するが、検出領域A 2 についても同様に処理できる。
次に立体物検出部24は、ステップS32において、ステップS31にて算出したエッジ強度の総和が閾値以上であるか否かを判断する。エッジ強度の総和が閾値以上であると判断した場合(S32:YES)、立体物検出部24は、ステップS33において、検出領域A1内に立体物が存在することを検出する。一方、エッジ強度の総和が閾値以上ではないと判断した場合(S32:NO)、立体物検出部24は、検出領域A1内に立体物が存在しないと判断する。その後、図18に示す処理は終了する。
Claims (10)
- 所定領域を撮像する撮像手段と、
前記撮像手段により撮像された画像に対して視点変換処理を行って鳥瞰画像を作成する視点変換手段と、
実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素間の輝度差を算出する輝度差算出手段と、
前記輝度差算出手段により算出された前記位置毎の輝度差の連続性に基づいて、立体物を検出する立体物検出手段と
を備えることを特徴とする立体物検出装置。 - 前記輝度差算出手段は、前記鉛直仮想線付近に位置する実空間上で略同じ高さとなる2つの画素間の輝度差を算出することを特徴とする請求項1に記載の立体物検出装置。
- 前記鉛直仮想線は、前記実空間における鉛直方向に伸びる第1鉛直仮想線と、前記第1鉛直仮想線から実空間における所定距離だけ離間して前記実空間における鉛直方向に伸びる第2鉛直仮想線とを含み、
前記輝度差算出手段は、前記第1鉛直仮想線上の画素と前記第2鉛直仮想線上の画素との輝度差を算出すること
を特徴とする請求項1又は請求項2に記載の立体物検出装置。 - 前記輝度差算出手段は、前記鉛直仮想線から実空間における等距離だけ離間した2つの画素の輝度差を算出することを特徴とする請求項1又は請求項2に記載の立体物検出装置。
- 前記輝度差算出手段は、前記鉛直仮想線から前記俯瞰画像における等距離だけ離間した2つの画素の輝度差を算出し、
前記立体物検出手段は、前記鉛直仮想線に沿った複数の位置が実空間における上方となるほど、前記輝度差算出手段により算出された輝度差に基づいて立体物を判定する閾値を低くすること
を特徴とする請求項1又は請求項2に記載の立体物検出装置。 - 前記輝度差算出手段により算出された複数の位置間における輝度差の連続性に基づいて、エッジ線を検出するエッジ線検出手段を備え、
前記立体物検出手段は、前記エッジ線検出手段により検出されたエッジ線の量に基づいて、立体物を検出することを特徴とする請求項1に記載の立体物検出装置。 - 前記エッジ線検出手段は、前記輝度差算出手段により算出された鉛直仮想線上の位置ごとの輝度差に基づいて当該鉛直仮想線上の位置ごとに属性を付け、当該属性の連続性に基づいて当該鉛直仮想線がエッジ線であるか否かを判断することを特徴とする請求項6に記載の立体物検出装置。
- 前記立体物検出手段は、前記エッジ線検出手段により検出されたエッジ線に沿った画素の輝度変化が所定値よりも大きい場合に、当該エッジ線を立体物の検出には使用しないことを特徴とする請求項6又は請求項7に記載の立体物検出装置。
- 前記輝度差算出手段により算出された輝度差に基づいて、前記鉛直仮想線のエッジ線強度を算出するエッジ強度算出手段を備え、
前記立体物検出手段は、前記エッジ強度算出手段により算出されたエッジ強度の総和に基づいて、立体物を検出すること
を特徴とする請求項1に記載の立体物検出装置。 - 所定領域を撮像し、
前記撮像された画像に対して視点変換処理を行って鳥瞰画像を作成し、
実空間における鉛直方向に伸びる鉛直仮想線に沿った複数の位置ごとに、当該各位置の近傍の2つの画素間の輝度差を算出し、
前記算出された前記位置毎の輝度差の連続性に基づいて、立体物を検出すること
を特徴とする立体物検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012529548A JP5413516B2 (ja) | 2010-08-19 | 2011-07-29 | 立体物検出装置及び立体物検出方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010183645 | 2010-08-19 | ||
JP2010183645 | 2010-08-19 | ||
JP2012529548A JP5413516B2 (ja) | 2010-08-19 | 2011-07-29 | 立体物検出装置及び立体物検出方法 |
PCT/JP2011/067456 WO2012023412A1 (ja) | 2010-08-19 | 2011-07-29 | 立体物検出装置及び立体物検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012023412A1 true JPWO2012023412A1 (ja) | 2013-10-28 |
JP5413516B2 JP5413516B2 (ja) | 2014-02-12 |
Family
ID=45605071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012529548A Active JP5413516B2 (ja) | 2010-08-19 | 2011-07-29 | 立体物検出装置及び立体物検出方法 |
Country Status (10)
Country | Link |
---|---|
US (1) | US10397544B2 (ja) |
EP (1) | EP2608149B1 (ja) |
JP (1) | JP5413516B2 (ja) |
KR (1) | KR101448411B1 (ja) |
CN (1) | CN103080976B (ja) |
BR (1) | BR112013003851B1 (ja) |
MX (1) | MX2013001976A (ja) |
MY (1) | MY160274A (ja) |
RU (1) | RU2540849C2 (ja) |
WO (1) | WO2012023412A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9569675B2 (en) * | 2012-07-27 | 2017-02-14 | Nissan Motor Co., Ltd. | Three-dimensional object detection device, and three-dimensional object detection method |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5459324B2 (ja) * | 2012-01-17 | 2014-04-02 | 株式会社デンソー | 車両周辺監視装置 |
EP2821981A4 (en) * | 2012-03-01 | 2015-05-20 | Nissan Motor | THREE DIMENSIONAL OBJECT DETECTION DEVICE |
MX341376B (es) | 2012-03-02 | 2016-08-18 | Nissan Motor | Dispositivo de deteccion de objetos tridimensionales. |
US9239960B2 (en) * | 2012-03-02 | 2016-01-19 | Nissan Motor Co., Ltd. | Three-dimensional object detection device |
CN104246821B (zh) * | 2012-04-16 | 2016-08-17 | 日产自动车株式会社 | 三维物体检测装置和三维物体检测方法 |
IN2015KN00314A (ja) | 2012-07-27 | 2015-07-10 | Nissan Motor | |
CN104508728B (zh) * | 2012-07-27 | 2016-06-15 | 日产自动车株式会社 | 三维物体检测装置 |
JP5999183B2 (ja) * | 2012-07-27 | 2016-09-28 | 日産自動車株式会社 | 立体物検出装置および立体物検出方法 |
JP6003986B2 (ja) * | 2012-07-27 | 2016-10-05 | 日産自動車株式会社 | 立体物検出装置、立体物検出方法及び異物検出装置 |
WO2014017518A1 (ja) * | 2012-07-27 | 2014-01-30 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
EP2879113B1 (en) * | 2012-07-27 | 2018-05-30 | Nissan Motor Co., Ltd | Three-dimensional object detection device, three-dimensional object detection method |
CN104509102B (zh) * | 2012-07-27 | 2017-12-29 | 日产自动车株式会社 | 三维物体检测装置和异物检测装置 |
CN103802725B (zh) * | 2012-11-06 | 2016-03-09 | 无锡维森智能传感技术有限公司 | 一种新的车载驾驶辅助图像生成方法 |
JP2014209680A (ja) * | 2013-04-16 | 2014-11-06 | 富士通株式会社 | 土地境界表示プログラム、方法、及び端末装置 |
US20150286878A1 (en) | 2014-04-08 | 2015-10-08 | Bendix Commercial Vehicle Systems Llc | Generating an Image of the Surroundings of an Articulated Vehicle |
EP3455783A1 (en) * | 2016-05-12 | 2019-03-20 | Basf Se | Recognition of weed in a natural environment |
US10528815B2 (en) * | 2016-12-31 | 2020-01-07 | Vasuyantra Corp. | Method and device for visually impaired assistance |
JP6967603B2 (ja) * | 2017-03-17 | 2021-11-17 | ユニティ アイピーアール エイピーエスUnity Ipr Aps | 自動化されたカメラコリジョンおよび構図保存のための方法およびシステム |
CN110622226A (zh) * | 2017-05-16 | 2019-12-27 | 日产自动车株式会社 | 行驶辅助装置的动作预测方法以及动作预测装置 |
JP6958163B2 (ja) * | 2017-09-20 | 2021-11-02 | 株式会社アイシン | 表示制御装置 |
JP7268616B2 (ja) * | 2020-01-30 | 2023-05-08 | いすゞ自動車株式会社 | 報知装置 |
Family Cites Families (99)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2946727B2 (ja) | 1990-10-26 | 1999-09-06 | 日産自動車株式会社 | 車両用障害物検出装置 |
US6430303B1 (en) | 1993-03-31 | 2002-08-06 | Fujitsu Limited | Image processing apparatus |
JP3226415B2 (ja) | 1994-04-13 | 2001-11-05 | 三菱電機株式会社 | 自動車用移動体認識装置 |
US5889878A (en) | 1994-07-29 | 1999-03-30 | Kabushiki Kaisha Toshiba | Moving object image pickup apparatus |
US5790086A (en) * | 1995-01-04 | 1998-08-04 | Visualabs Inc. | 3-D imaging system |
JP3568621B2 (ja) | 1995-04-20 | 2004-09-22 | 株式会社日立製作所 | 地図表示装置 |
US5963664A (en) | 1995-06-22 | 1999-10-05 | Sarnoff Corporation | Method and system for image combination using a parallax-based technique |
JP3419968B2 (ja) | 1995-09-12 | 2003-06-23 | 株式会社東芝 | 画像認識装置及び方法 |
JP2000161915A (ja) | 1998-11-26 | 2000-06-16 | Matsushita Electric Ind Co Ltd | 車両用単カメラ立体視システム |
JP2000214256A (ja) | 1999-01-28 | 2000-08-04 | Mazda Motor Corp | 車両の表示装置 |
US6392218B1 (en) | 2000-04-07 | 2002-05-21 | Iteris, Inc. | Vehicle rain sensor |
US6411898B2 (en) | 2000-04-24 | 2002-06-25 | Matsushita Electric Industrial Co., Ltd. | Navigation device |
DE10035223A1 (de) | 2000-07-20 | 2002-01-31 | Daimler Chrysler Ag | Vorrichtung und Verfahren zur Überwachung der Umgebung eines Objekts |
JP3645196B2 (ja) | 2001-02-09 | 2005-05-11 | 松下電器産業株式会社 | 画像合成装置 |
JP4861574B2 (ja) * | 2001-03-28 | 2012-01-25 | パナソニック株式会社 | 運転支援装置 |
US6999620B1 (en) | 2001-12-10 | 2006-02-14 | Hewlett-Packard Development Company, L.P. | Segmenting video input using high-level feedback |
US7003136B1 (en) | 2002-04-26 | 2006-02-21 | Hewlett-Packard Development Company, L.P. | Plan-view projections of depth image data for object tracking |
JP3871614B2 (ja) | 2002-06-12 | 2007-01-24 | 松下電器産業株式会社 | 運転支援装置 |
US8180099B2 (en) | 2002-07-16 | 2012-05-15 | Trw Limited | Rain detection apparatus and method |
US20050031169A1 (en) | 2003-08-09 | 2005-02-10 | Alan Shulman | Birds eye view virtual imaging for real time composited wide field of view |
JP4207717B2 (ja) | 2003-08-26 | 2009-01-14 | 株式会社日立製作所 | 個人認証装置 |
SE0302596D0 (sv) | 2003-09-30 | 2003-09-30 | Ericsson Telefon Ab L M | Improvments in or relating to base stations |
US7356408B2 (en) * | 2003-10-17 | 2008-04-08 | Fuji Jukogyo Kabushiki Kaisha | Information display apparatus and information display method |
JP2005225250A (ja) | 2004-02-10 | 2005-08-25 | Murakami Corp | 車載用監視装置 |
DE102005013920B4 (de) | 2004-03-26 | 2007-12-13 | Mitsubishi Jidosha Kogyo K.K. | Frontsicht-Überwachungsvorrichtung |
JP4259368B2 (ja) | 2004-03-26 | 2009-04-30 | 三菱自動車工業株式会社 | ノーズビューモニタ装置 |
US7298247B2 (en) | 2004-04-02 | 2007-11-20 | Denso Corporation | Vehicle periphery monitoring system |
JP2005311666A (ja) * | 2004-04-21 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
WO2006030633A1 (ja) * | 2004-09-15 | 2006-03-23 | Matsushita Electric Industrial Co., Ltd. | 物体検出装置 |
US8195386B2 (en) * | 2004-09-28 | 2012-06-05 | National University Corporation Kumamoto University | Movable-body navigation information display method and movable-body navigation information display unit |
US7860340B2 (en) | 2004-11-04 | 2010-12-28 | Nec Corporation | Three-dimensional shape estimation system and image generation system |
JP2006218019A (ja) | 2005-02-09 | 2006-08-24 | Canon Inc | 血管画像取得装置、生体画像取得装置、およびこれを用いた個人認証システム |
JP4596978B2 (ja) | 2005-03-09 | 2010-12-15 | 三洋電機株式会社 | 運転支援システム |
US7742634B2 (en) | 2005-03-15 | 2010-06-22 | Omron Corporation | Image processing method, three-dimensional position measuring method and image processing apparatus |
JP4656977B2 (ja) | 2005-03-25 | 2011-03-23 | セコム株式会社 | センシング装置 |
JP4353127B2 (ja) | 2005-04-11 | 2009-10-28 | 株式会社デンソー | レインセンサ |
JP4661339B2 (ja) | 2005-05-11 | 2011-03-30 | マツダ株式会社 | 車両用移動物体検出装置 |
JP2006339960A (ja) | 2005-06-01 | 2006-12-14 | Nissan Motor Co Ltd | 物体検出装置、および物体検出方法 |
RU2295772C1 (ru) * | 2005-09-26 | 2007-03-20 | Пензенский государственный университет (ПГУ) | Способ генерирования текстуры в реальном масштабе времени и устройство для его реализации |
JP4934308B2 (ja) | 2005-10-17 | 2012-05-16 | 三洋電機株式会社 | 運転支援システム |
JP4899424B2 (ja) | 2005-11-04 | 2012-03-21 | トヨタ自動車株式会社 | 物体検出装置 |
JP4516516B2 (ja) * | 2005-12-07 | 2010-08-04 | 本田技研工業株式会社 | 人物検出装置、人物検出方法及び人物検出プログラム |
JP4585456B2 (ja) | 2006-01-23 | 2010-11-24 | 株式会社東芝 | ボケ変換装置 |
JP5022609B2 (ja) | 2006-02-27 | 2012-09-12 | 日立オートモティブシステムズ株式会社 | 撮像環境認識装置 |
JP4696991B2 (ja) | 2006-03-22 | 2011-06-08 | 日産自動車株式会社 | 動き検出方法および動き検出装置 |
JP4901275B2 (ja) | 2006-04-07 | 2012-03-21 | 富士重工業株式会社 | 走行誘導障害物検出装置および車両用制御装置 |
JP2007300559A (ja) | 2006-05-02 | 2007-11-15 | Alpine Electronics Inc | 車両周辺画像提供装置及び車両周辺画像における影補正方法 |
JP4887932B2 (ja) | 2006-06-23 | 2012-02-29 | 日産自動車株式会社 | 道路端認識装置、自動車、及び道路端認識方法 |
US7728879B2 (en) | 2006-08-21 | 2010-06-01 | Sanyo Electric Co., Ltd. | Image processor and visual field support device |
US20080298642A1 (en) | 2006-11-03 | 2008-12-04 | Snowflake Technologies Corporation | Method and apparatus for extraction and matching of biometric detail |
DE102006060045A1 (de) | 2006-12-19 | 2008-06-26 | Imi Intelligent Medical Implants Ag | Sehhilfe mit dreidimensionaler Bilderfassung |
JP5179055B2 (ja) | 2006-12-26 | 2013-04-10 | 昭和電工株式会社 | Iii族窒化物半導体の製造方法、iii族窒化物半導体発光素子の製造方法、及びiii族窒化物半導体発光素子、並びにランプ |
JP4930046B2 (ja) * | 2006-12-26 | 2012-05-09 | 日産自動車株式会社 | 路面判別方法および路面判別装置 |
JP4654208B2 (ja) | 2007-02-13 | 2011-03-16 | 日立オートモティブシステムズ株式会社 | 車載用走行環境認識装置 |
JP2008219063A (ja) * | 2007-02-28 | 2008-09-18 | Sanyo Electric Co Ltd | 車両周辺監視装置及び方法 |
JP2008227646A (ja) | 2007-03-09 | 2008-09-25 | Clarion Co Ltd | 障害物検知装置 |
KR101484566B1 (ko) | 2007-03-21 | 2015-01-20 | 루미다임 인크. | 국소적으로 일관된 피처를 기초로 하는 생체인식 |
JP4378571B2 (ja) | 2007-05-31 | 2009-12-09 | Necシステムテクノロジー株式会社 | 地図変化検出装置、地図変化検出方法およびプログラム |
JP4924896B2 (ja) | 2007-07-05 | 2012-04-25 | アイシン精機株式会社 | 車両の周辺監視装置 |
JP5003395B2 (ja) | 2007-10-05 | 2012-08-15 | 日産自動車株式会社 | 車両周辺画像処理装置及び車両周辺状況提示方法 |
WO2009057410A1 (ja) | 2007-10-30 | 2009-05-07 | Nec Corporation | 路面標示画像処理装置,路面標示画像処理方法及びプログラム |
JP5057936B2 (ja) | 2007-11-09 | 2012-10-24 | アルパイン株式会社 | 鳥瞰画像生成装置および方法 |
JP4956452B2 (ja) | 2008-01-25 | 2012-06-20 | 富士重工業株式会社 | 車両用環境認識装置 |
JP5109691B2 (ja) | 2008-01-31 | 2012-12-26 | コニカミノルタホールディングス株式会社 | 解析装置 |
JP5108605B2 (ja) | 2008-04-23 | 2012-12-26 | 三洋電機株式会社 | 運転支援システム及び車両 |
JP2009266136A (ja) | 2008-04-29 | 2009-11-12 | Mitsubishi Electric Corp | 道路構造物異常検知装置 |
JP5054612B2 (ja) | 2008-05-15 | 2012-10-24 | 株式会社日立製作所 | 接近物検出装置および接近物検出方法 |
JP5253017B2 (ja) | 2008-07-03 | 2013-07-31 | アルパイン株式会社 | 周辺監視装置、障害物検出方法及びコンピュータプログラム |
WO2010004677A1 (ja) | 2008-07-08 | 2010-01-14 | パナソニック株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 |
US8229178B2 (en) | 2008-08-19 | 2012-07-24 | The Hong Kong Polytechnic University | Method and apparatus for personal identification using palmprint and palm vein |
JP5253066B2 (ja) * | 2008-09-24 | 2013-07-31 | キヤノン株式会社 | 位置姿勢計測装置及び方法 |
JP2010081273A (ja) | 2008-09-26 | 2010-04-08 | Mitsuba Corp | ワイパ装置 |
JP5178454B2 (ja) | 2008-10-28 | 2013-04-10 | パナソニック株式会社 | 車両周囲監視装置及び車両周囲監視方法 |
JP5067632B2 (ja) | 2008-11-28 | 2012-11-07 | アイシン精機株式会社 | 鳥瞰画像生成装置 |
JP2010141836A (ja) | 2008-12-15 | 2010-06-24 | Sanyo Electric Co Ltd | 障害物検知装置 |
JP5068779B2 (ja) | 2009-02-27 | 2012-11-07 | 現代自動車株式会社 | 車両周囲俯瞰画像表示装置及び方法 |
JP4806045B2 (ja) | 2009-03-12 | 2011-11-02 | 本田技研工業株式会社 | 車線認識装置 |
US8306269B2 (en) | 2009-03-12 | 2012-11-06 | Honda Motor Co., Ltd. | Lane recognition device |
TW201044284A (en) | 2009-06-09 | 2010-12-16 | Egis Technology Inc | Image sensing device adapted to flat surface design |
TW201103787A (en) | 2009-07-31 | 2011-02-01 | Automotive Res & Testing Ct | Obstacle determination system and method utilizing bird's-eye images |
DE102010015079A1 (de) | 2010-04-15 | 2011-10-20 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Anzeigen eines Bildes auf einer Anzeigeeinrichtung in einem Fahrzeug. Fahrerassistenzsystem und Fahrzeug |
RU97092U1 (ru) | 2010-04-21 | 2010-08-27 | Руслан Владимирович Ситников | Система мониторинга пространства, окружающего транспортное средство |
RU2549595C2 (ru) | 2011-02-21 | 2015-04-27 | Ниссан Мотор Ко., Лтд. | Система обнаружения периодических стационарных объектов и способ обнаружения периодических стационарных объектов |
US9349057B2 (en) * | 2011-09-12 | 2016-05-24 | Nissan Motor Co., Ltd. | Three-dimensional object detection device |
JP5682734B2 (ja) * | 2012-02-23 | 2015-03-11 | 日産自動車株式会社 | 立体物検出装置 |
RU2629433C2 (ru) * | 2012-02-23 | 2017-08-29 | Ниссан Мотор Ко., Лтд. | Устройство обнаружения трехмерных объектов |
EP2821958A4 (en) * | 2012-03-01 | 2015-06-03 | Nissan Motor | DEVICE FOR DETECTING THREE-DIMENSIONAL OBJECTS |
US9239960B2 (en) * | 2012-03-02 | 2016-01-19 | Nissan Motor Co., Ltd. | Three-dimensional object detection device |
MX341376B (es) * | 2012-03-02 | 2016-08-18 | Nissan Motor | Dispositivo de deteccion de objetos tridimensionales. |
CN104246821B (zh) * | 2012-04-16 | 2016-08-17 | 日产自动车株式会社 | 三维物体检测装置和三维物体检测方法 |
MY158374A (en) * | 2012-07-27 | 2016-09-26 | Nissan Motor | Three-dimensional object detection device and three-dimensional object detection method |
CN104509102B (zh) * | 2012-07-27 | 2017-12-29 | 日产自动车株式会社 | 三维物体检测装置和异物检测装置 |
CN104508728B (zh) * | 2012-07-27 | 2016-06-15 | 日产自动车株式会社 | 三维物体检测装置 |
CN104507765B (zh) * | 2012-07-27 | 2017-02-22 | 日产自动车株式会社 | 摄像机装置、三维物体检测装置以及镜头清洗方法 |
US9589193B2 (en) * | 2012-07-27 | 2017-03-07 | Nissan Motor Co., Ltd | Three-dimensional object detection device and three-dimensional object detection method |
EP2879113B1 (en) * | 2012-07-27 | 2018-05-30 | Nissan Motor Co., Ltd | Three-dimensional object detection device, three-dimensional object detection method |
CN104509101B (zh) * | 2012-07-27 | 2017-12-01 | 日产自动车株式会社 | 三维物体检测装置和三维物体检测方法 |
JP5900623B2 (ja) * | 2012-07-27 | 2016-04-06 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
US9559546B2 (en) * | 2013-10-01 | 2017-01-31 | Google Inc. | Stand inductive charger |
-
2011
- 2011-07-29 CN CN201180040219.9A patent/CN103080976B/zh active Active
- 2011-07-29 WO PCT/JP2011/067456 patent/WO2012023412A1/ja active Application Filing
- 2011-07-29 RU RU2013112017/08A patent/RU2540849C2/ru active
- 2011-07-29 BR BR112013003851-9A patent/BR112013003851B1/pt active IP Right Grant
- 2011-07-29 JP JP2012529548A patent/JP5413516B2/ja active Active
- 2011-07-29 EP EP11818055.3A patent/EP2608149B1/en active Active
- 2011-07-29 MX MX2013001976A patent/MX2013001976A/es active IP Right Grant
- 2011-07-29 KR KR1020137004128A patent/KR101448411B1/ko active IP Right Grant
- 2011-07-29 US US13/817,011 patent/US10397544B2/en active Active
- 2011-07-29 MY MYPI2013000516A patent/MY160274A/en unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9569675B2 (en) * | 2012-07-27 | 2017-02-14 | Nissan Motor Co., Ltd. | Three-dimensional object detection device, and three-dimensional object detection method |
Also Published As
Publication number | Publication date |
---|---|
JP5413516B2 (ja) | 2014-02-12 |
CN103080976A (zh) | 2013-05-01 |
US10397544B2 (en) | 2019-08-27 |
CN103080976B (zh) | 2015-08-05 |
RU2540849C2 (ru) | 2015-02-10 |
EP2608149B1 (en) | 2021-04-21 |
RU2013112017A (ru) | 2014-09-27 |
KR101448411B1 (ko) | 2014-10-07 |
US20130141542A1 (en) | 2013-06-06 |
MY160274A (en) | 2017-02-28 |
WO2012023412A1 (ja) | 2012-02-23 |
BR112013003851B1 (pt) | 2021-03-09 |
EP2608149A1 (en) | 2013-06-26 |
MX2013001976A (es) | 2013-04-03 |
KR20130052614A (ko) | 2013-05-22 |
BR112013003851A2 (pt) | 2016-07-05 |
EP2608149A4 (en) | 2018-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5413516B2 (ja) | 立体物検出装置及び立体物検出方法 | |
KR101605514B1 (ko) | 차선 인식 장치 및 방법 | |
KR101517181B1 (ko) | 차선 이탈 경보 시스템 및 방법 | |
JP5614504B2 (ja) | 立体物検出装置 | |
US9818301B2 (en) | Lane correction system, lane correction apparatus and method of correcting lane | |
JP5867596B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5787024B2 (ja) | 立体物検出装置 | |
JP5804180B2 (ja) | 立体物検出装置 | |
JP5682735B2 (ja) | 立体物検出装置 | |
US20130016915A1 (en) | Crosswalk detection device, crosswalk detection method and recording medium | |
JP5874831B2 (ja) | 立体物検出装置 | |
US9830519B2 (en) | Three-dimensional object detection device | |
JP2011243161A (ja) | 車線境界検出装置、車線境界検出プログラム | |
JPWO2013129358A1 (ja) | 立体物検出装置 | |
JP5794378B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5794379B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5835459B2 (ja) | 立体物検出装置 | |
JP6003987B2 (ja) | 立体物検出装置及び立体物検出方法 | |
JP5768927B2 (ja) | 立体物検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131028 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5413516 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |