JP2013109760A - 対象検知方法及び対象検知システム - Google Patents

対象検知方法及び対象検知システム Download PDF

Info

Publication number
JP2013109760A
JP2013109760A JP2012250971A JP2012250971A JP2013109760A JP 2013109760 A JP2013109760 A JP 2013109760A JP 2012250971 A JP2012250971 A JP 2012250971A JP 2012250971 A JP2012250971 A JP 2012250971A JP 2013109760 A JP2013109760 A JP 2013109760A
Authority
JP
Japan
Prior art keywords
parallax
disparity map
map
disparity
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012250971A
Other languages
English (en)
Inventor
Ganmei You
ガヌメイ イオウ
Yaojie Ruu
ヤオジエ ルゥ
Jichuan Zheng
ジィチョアヌ ジォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2013109760A publication Critical patent/JP2013109760A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】本発明は、対象検知方法及び該方法が用いられる対象検知システムを提供する。
【解決手段】該方法は、同一シーンの深度図を撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出し、得られた視差図に基づいて前記シーンのV−視差図を取得し、V−視差図において道路に対応する斜線を検知するとともに、該斜線により視差図から道路を抽出することで、道路を含まないサブ視差図が得られ、V−視差図において縦線を検知し、前記サブ視差図から検知された各縦線に対応する全ての点を対象サブ視差図として抽出し、視差距離が所定値未満になり且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを1つの矩形フレーム対象領域に併合する。
【選択図】図5

Description

本発明は、対象検知方法及び対象検知システムに関し、特に、車両用の道路検知方法及び道路対象検知システムに関する。
都市化の発展と自動車の普及に伴い、交通運送問題が日増しに深刻になってきている。近年、車両増加速度が、道路と他の交通施設の増加速度よりも遥かに速くなっており、頻繁な交通事故や、増える一方の死亡者数や、莫大な財産損失等から、優れた安全性かつ一定の知能性を兼備した車両が求められ、知能車(Intelligent Vehicle)の概念がその機運に応じて次第に生まれつつある。同時に、無人、全自動、安全運転を最終目標とした知能車の研究がなされている。
従来技術においては、前述の機能を実現するために、運転手の車両に近接する対象(例えば、人や、他の車両)を検知するように、路面の視差図による集合化を行うとともに、運転手への警告や車両の移動状態の自動制御が可能な方法が提案されている。このような方法においては、3次元空間における同一対象領域内の点は近接しているとし、距離に応じた隣接点の集合化を行うともに、全体の視差図における集合化を行っている。しかしながら、該方法においては、全体の視差図における集合化を行い、1秒内に2フレームしか取得できないことから、非常に時間が掛かるのみならず、車両の突発状況への処置の効率が低く、きわめて強い実用性を有していない。他の従来技術においては、BMW研究センターにより、車両検知及び識別システムが提案されている(VISIGRAPH 2010にて発表)。該システムにおいては、立体視覚による車両検知を行い、先ず、同一面のセグメントのmean-shiftグループ化により、車両を検知し、次に、U-V視覚方法により、異なる車両をカバー可能な車両仮説を生成している。BMW研究センターの方法による処理速度は、2.5フレーム(3.2GHz,1GB RAMのデスクトップ、debug 環境下)となる。該方法では、mean-shift集合化方法による画像分割が行われ、u-v視差方法による対象検索が行われていることから、BMW研究センターによる方法も、非常に時間のかかるものであった。
特許文献1(米国特許US7729512B2)には、移動対象を検知する立体画像処理方法が提案されている。該方法においては、周辺の輝度と異なる、かつ閾値を超えた点を特徴点とみなし、特徴点の視差が視差分布における閾値を超えた場合は、該点を内部移動対象特徴点に分類している。該方法では、集合化方法が用いられているが、該方法に用いられる輝度方法は、周辺環境と同一輝度を有する移動対照への検知は不可能であることから、対象検知の信頼性に劣っている。特に、該方法においては、対象が隣接した道端の木と同一の視差を有する場合は、該道端の木と同一の視差を有する対象の検知が不可能になる。
このため、運転の安全性を向上するための効果的な車両補助運転及び衝突前の警告が可能な、迅速かつ正確な道路対象検知方法及びシステムが求められている。
本発明は、道路シーンの視差及びV−視差図による道路対象の検知が可能な、迅速かつ正確な道路対象検知方法及びシステムを提供する。
具体的に、双眼視覚の対象識別技術を用いた車両前方障害物の自動識別を行うものである。このために、V−視差と称されている算法が導入されている。V−視差により、障害物と道路面の区別工程の簡略化が可能になる。V−視差図においては、道路面の平面の縦断面が線分線形曲線として記述され、直交面における障害物が直交腺として投射される。このため、3D視差図における道路面と障害物の抽出は、V−視差図における2D線形抽出と簡略化される。このため、このような算法により、前方の、通行人や、車両や、壁等の面特徴を有する障害物の識別が可能になる。また、このような算法は、照度、陰影等のノイズに影響されず、都市の複雑な背景下の知能車両の障害物識別に適している。具体的に、双眼によるV−視差識別工程は、主に、V−視差図の構築、道路抽出、V−視差図からの、道路対象を表す縦線の抽出といった、3つの部分の内容が含まれている。
このため、本発明の一態様においては、2台のデプスカメラにより同一シーンの深度図を同時撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出するステップと、得られた視差図に基づいて、V−視差算法により、前記シーンのV−視差図を取得するステップと、V−視差図において道路に対応する斜線を検知するとともに、視差図からV−視差図において検知された斜線に対応する全ての点を削除することにより、道路を含まないサブ視差図が得られるステップと、V−視差図において縦線を検知するとともに、検知された各縦線に基づいて、前記道路を含まないサブ視差図から、検知された各縦線に対応する全ての点を対象サブ視差図として抽出するステップと、視差間隔が所定値未満になり、且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを1つの矩形フレーム対象領域として併合するステップとを含む、対象検知方法を提供する。
また、本発明の対象検知方法においては、前記V−視差図において道路に対応する斜線を検知することが、Hoff変換により行われてもよい。
また、本発明の対象検知方法においては、V−視差図において縦線を検知することが、V−視差図から、0ではない同一階調度を有する連続点を検索することにより行われてもよい。
また、本発明の対象検知方法においては、前記V−視差図において道路に対応する斜線を検知するとともに、視差図からV−視差図において検知された斜線に対応する全ての点を削除することが、Hoff変換により、V−視差図において斜線分を検知するステップと、V−視差図の横座標軸及び縦座標軸と交差するように、検知された斜線を延伸させるステップと、検知された斜線の横座標値に基づいて、線分をサブ線分に分割するステップと、各々のサブ線分に対応する視差図における、各々の視差値範囲内の点を視差図から削除するステップと、を含んでもよい。
また、本発明の対象検知方法においては、併合処理前に、各対象サブ視差図の点集合化処理を行うステップをさらに含んでもよい。
また、本発明の対象検知方法においては、点集合化処理前に、各対象サブ視差図を構成する点の平滑化処理を行うとともに、対象サブ視差図領域中の連結点を削除するステップをさらに含んでもよい。
また、本発明の他の態様においては、同一シーンの深度図を同時撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出する2台のデプスカメラと、得られた視差図に基づいて、V−視差算法により、前記シーンのV−視差図を取得するV−視差算出装置と、V−視差図において道路に対応する斜線を検知するとともに、視差図からV−視差図において検知された斜線に対応する全ての点を削除することにより、道路を含まないサブ視差図を取得する道路抽出装置と、V−視差図において縦線を検知するとともに、検知された各縦線に基づいて、前記道路を含まないサブ視差図から、検知された各縦線に対応する全ての点を対象サブ視差図として抽出する対象領域検知装置と、視差間隔が所定値未満になり、且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを1つの矩形フレーム対象領域として併合する対象領域併合装置と、を有する対象検知システムを提供する。
また、本発明の対象検知システムにおいては、前記対象領域検知装置が、V−視差図から、0ではない同一階調度を有する連続点を検索することにより縦線を検知してもよい。
また、本発明の対象検知システムにおいては、前記道路抽出装置が、Hoff変換により、V−視差図において斜線分を検知し、V−視差図の横座標軸及び縦座標軸と交差するように、検知された斜線を延伸させ、検知された斜線の横座標値に基づいて、線分をサブ線分に分割し、各々のサブ線分に対応する視差図における、各々の視差値範囲内の点を視差図から削除するステップにより、前記V−視差図において道路に対応する斜線を検知するとともに、視差図からV−視差図において検知された斜線に対応する全ての点を削除してもよい。
また、本発明の対象検知システムにおいては、各対象サブ視差図を構成する点の平滑化処理を行うとともに、対象サブ視差図領域中の連結点を削除するノイズ処理装置と、ノイズ処理後の各対象サブ視差図の点集合化処理を行う点集合化装置をさらに有してもよい。
本発明の対象検知方法及びシステムによると、17フレーム/sの処理速度が可能になることから、従来技術よりも、さらに処理速度を加速化することができる。なお、本発明の方法及びシステムにおいては、v−視差図により対象を含むサブ視差図の検索を行ってから、簡単な集合化方法により、対象検知を行うため、検知精度を著しく向上することができる。また、本発明の方法は、輝度データを用いることなく、視差とV−視差図を用いるため、同一輝度を有する異なる対象の明確な区別が可能になる。
本発明の対象検知方法を用いたシステムの基本ブロック図である。 対象検知器104の配置ブロック図である。 道路検知器105の配置ブロック図である。 本発明による対象領域検知器のモジュール図である。 本発明による対象検知方法の全体フローチャートである。 本発明の対象検知方法及びシステムを用いた詳細例である。 視差図を示した図である。 V−視差図算出器103の視差図によるV−視差図の算出例を説明した図である。 V−視差図からの斜線の検知例を示した図である。 V−視差図における斜線分割を示した図である。 視差図からの道路抽出を示した図である。 対象サブ視差図の抽出工程を示した図である。 対象サブ視差図への平滑化処理工程を示した図である。 対象サブ視差図への点集合化処理を示した図である。 対象領域併合工程を示した図である。
本発明は、安全な自動車運転が可能になるように、道路中の対象を検知する検知方法及び検知システムを提供することを目的とする。以下、図面を参照して本発明の具体的な実施例について詳細に説明する。
図1は、本発明の対象検知方法を用いたシステムの基本ブロック図である。図1に示されたように、本発明の方法は、基本的に1つのCPUにより実現してもよく、それぞれ独立し、かつ関連付けられている単独のモジュールの共同で実現してもよい。本発明の対象検知システムは、内部メモリ101とCPU102を有し、CPU102は、V−視差図算出器103と対象検知器104を有し、内部メモリ101は、視差図が格納されている。該視差図は、2台の平行設定されたデプスカメラにより同時撮像された同一シーンの2つの深度図から得られたものである。図6は、本発明の対象検知方法及びシステムを用いた詳細例を示し多図である。該例においては、2つの平行設置されたデプスカメラが装着された自動車が示され、該2台の平行設置されたデプスカメラは、人間の両目のように、レンズ前の同一シーンの深度図を同時撮像することができる。撮像された深度図は、直接カメラ内のプロセッサで処理されるとともに、該シーンの視差図が出力され、内部メモリ101に格納されるようにしてもよい。または、撮像された深度図が、CPU102に送信され、CPU102により処理が施され、現在シーンの視差図が得られるとともに、内部メモリ101に格納されるようにしてもよい。図7は、視差図を示した図である。視差図の取得方法は、当業者が実施可能なものであるため、ここでは、視差図取得方法の説明は割愛する。
前述のV−視差図算出器103は、内部メモリ101から読み取った視差図をもとに、V−視差算出処理を行い、前記視差図のV−視差図を取得する。V−視差図の高さは、視差図の高さと等しく、幅は最大の視差値となり、視差図における各行(l)に対し、同一の視差値(v)を有する点の数(n)を算出することで、V-視差図における点p, pの横座標v、縦座標l、強度nが得られる。
図8は、V−視差図算出器103の視差図によるV−視差図の算出例を説明した図である。詳細工程としては、視差図における各行に対し、同一階調値を有する点の数を統計することで、V−視差図における点Pが得られる。得られたV−視差図の座標において、横座標xの値が点Pの階調値を表し、換言すると、視差図の同一行における同一階調値の点は、V−視差図において同一点で表されるとともに、該点Pの横座標が、該点Pの視差図における階調値となる。一方、得られたV−視差図の座標において、縦座標は、点Pの視差図における対応点の視差図における行を表し、V−視差図における点Pの図中の強度は、視差図の同一行における同一階調値を有する点の数を表している。道路に関しては、視差図における道路の同一行の各点の深度値が同一となることから、即ち、視差図における階調値が同一となることから、V−視差算出後に得られたV−視差図においては、1つの点(例えば、点P)が視差図における道路上の同一行の各点を表すことになる。視差図において、道路の深度値(即ち、階調値)は視差図における行数と反比例することから、V−視差図における道路を表す点からなる図形は、必ず斜線となる。
前記対象検知器104は、V−視差図算出器103から出力されたV−視差図に基づき、具体的な対象の検知を行う。図2は、対象検知器104の配置ブロック図である。前記対象検知器104は、道路検知器105と、対象領域検知器106と、対象領域併合器107を有する。
前記道路検知器105は、V−視差図における道路に該当する斜線を検知し、斜線上の各点に対し、視差図の同一行における視差値の、該点の横座標値で決められた範囲内の全ての点を削除し、最終的に道路を含まないサブ視差図が得られる。図3は、道路検知器105の配置ブロック図である。図3に示されたように、道路検知器105は、V−視差図斜線検知器108と、道路抽出器109を有している。先ず、V−視差図斜線検知器108は、V−視差図中の道路を表す斜線を検知する。通常、Hoff変換を用いたV−視差図における斜線分の検知が行われる。x座標軸とy座標軸と交差するように、該斜線を延伸する。図9は、V−視差図における斜線の検知例を示した図である。
V−視差図中の道路を表す斜線が検知されると、V−視差図中の水平座標軸と垂直座標軸と交差するように、検知された斜線を延伸する。次に、前記道路抽出器109は、延伸された斜線に基づき、斜線を構成する各点を視差図における対応点に回復し、これらの対応点が、視差図における道路部分の点となる。視差図における道路部分に回復後、原視差図から、検知された斜線に該当する道路部分を引き去ることで、視差図からの道路の抽出が可能になる。
実際に、道路とデプスカメラが完全に直交しないことがあるため、得られた深度値には誤差が生じるおそれがある。このため、通常、道路抽出の前に、より正確に全ての路面を決定できるように、視差値(即ち、V−視差図におけるx座標値で、斜線上の点の視差図における階調値や、深度値である。)による、斜線の分割を行う。このため、x座標値により、線分をサブ線分に分割することになる。各サブ線分に対しては、道路が連続していることから、道路抽出用に異なる視差値範囲を用いることになる。出願人は、実験から、デプスカメラまでの距離dcが10m未満になると、道路視差範囲が[D,D-2](像素)となり、距離dcが10mより大きくかつ20mより小さくなると、道路視差範囲が[D,D-1]となり、距離dcが20mを超えた場合は、同一の道路視差値D(像素)となることを見出した。
視差値D= f*T/(dc+f)において、fは、カメラの焦点距離であり、Tは、2つのカメラ間の距離(例えば、0-50cm)であり、dcは、カメラ対象までの距離である。
カメラまでの距離dcが10mである場合、前記式から、視差27が得られる。距離dcが20mであると、視差15となる。そこで、
が得られる。式中、Dは、視差値であり、単位は画素となる。
図10は、V−視差図における斜線分割を示した図である。前記道路抽出器109は、分割された線分に基づき、視差図の道路を抽出する。所定のV−視差図中の斜線上の各点に対し、視差図における同一行から、区間範囲内の点を検索し、これらの点が道路点となる。図11は、視差図からの道路抽出を示した図である。具体的に、V−視差図における分割された複数のサブ線分の斜線により、斜線に対応する道路の斜視図を取得し、その後、原視差図から、得られた道路の視差図を引き去ることで、道路上の対象のみを含むサブ視差図が得られる。
前記道路抽出器109は、道路抽出後に、対象を含むサブ視差図を対象領域検知器106へ出力する。前記対象領域検知器106は、具体的な対象の視差図における特徴に基づき、前記道路検知器105により出力されたサブ視差図から、疑似対象を抽出する。図4は、本発明による対象領域検知器のモジュール図である。前記対象領域検知器106は、縦線検知器110と、対象抽出器111と、ノイズ処理器112と、点集合化処理器113を有している。前記縦線検知器110は、V−視差図から縦線を検知する。V−視差図における各縦線は、1つの対象に対応している可能性がある。具体的に、V−視差図から、0ではない同じ階調値(同一のx座標値)を有する連続した点を検索する。これらの連続した点からなる線が、視差図における推定の対象となる。
前記対象抽出器111は、縦線検知器110から検知及び出力されたV−視差図における各縦線に基づき、前記道路検知器105により出力されたサブ視差図から、検出された縦線上の各点に対応する点を検索し、検索されたサブ視差図における対応点から、サブ視差図中の対象の視差図(以下、対象サブ視差図と称される)が構成され、次に、前記対象抽出器111が、検索された対象サブ視差図をサブ視差図から抽出し、ノイズ処理器112へ送信する。図12は、対象サブ視差図の抽出工程を示した図である。図12においては、対象の典型的なサブ視差図であることから、D=27の対象サブ視差図が示されている。
対象を含む可能性のある対象サブ視差図の抽出工程において、前記対象抽出器111により抽出及び出力されたV−視差図における縦線の各点において、そのうちの1点の視差をDとすると、サブ視差図における同一行から、範囲(D, D+δ)の全ての点を検索し、これらの点が対象上の点である可能性がある。δ値は、視差値(視差値は、視差図における各点の強度値、或いは「階調値」となる)に応じた値となる。
該式から、視差値Dが20以上の場合は、δが2となり、視差値が20未満になる場合は、δが0となることが分かる。このため、V−視差図における縦線上の1点を、視差図における同一行上の点に逆写像する場合、Dが20以上であると、該点に対応するものは、同一のDの点のみならず、視差図における同一行上の、強度値(或いは階調値)が(D, D+δ)範囲内の全ての点となる。一方、Dが20未満であると、該点に対応するものは、同一のDの点のみとなる。
次に、前記ノイズ処理器112は、前記対象抽出器111から出力された対象サブ視差図への平滑処理を行うとともに、対象サブ視差図領域中の連結点を削除する。平滑処理については、従来技術に複数の方法があり、当業者が選択し本発明に適用することができる。本発明においては、中間値フィルタ方法による平滑処理が用いられているが、他の平滑処理方法を用いてもよい。中間値フィルタ方法による平滑処理は、先ず、対象サブ視差図におけるあるサンプルウィンドーから奇数個のデータ(階調値)を選択し、並べ替え、並べ替え後の中間値を、ウィンドー中の全ての点の階調値の代わりに用いる。図13は、対象サブ視差図への平滑化処理工程を示した図である。
次に、前記点集合化処理器113は、対象サブ視差図への点集合化処理を行う。図14においては、各矩形における、互いに繋がっている点への集合化を行う。具体的に、対象サブ視差図におけるx座標軸間の距離と、y座標軸間の距離の集合化を行う。各矩形における、互いに繋がっている点への集合化を行う。2つの点において、これらのx軸距離が2以下であり、かつy軸距離も2以下であると、これれの2点は同類に属している。任意の1点において、該任意の1点と、任意の既存のC類に属する1点とのx軸距離が2以下で、かつy軸距離も2以下であると、該任意の1点は、任意の既存のC類に属するものとなる。該任意の点が任意の既存のC類に属さない場合は、該任意の点をもとに、該任意の点を含む1つの新規類を生成する。前記点集合化処理器113は、前記点ん集合化後に、各対象を含む各矩形フレーム対象領域を出力する。
最後に、図15に示すように、対象領域併合器107は、点集合化処理器113から出力された各対象領域の併合処理を行い、併合後の対象領域を出力する。
重畳領域比率が所定閾値よりも大きく、かつ視差距離が所定値未満になる対象領域を併合し、併合処理後の対象領域を最終に出力する。重畳面積と視差距離により、矩形対象領域の併合を行う。具体的に、任意の2つの矩形フレーム(x0,y0,w0,h0),(x1,y1,w1,h1)において、(x0,y0)、(x1,y1)が、各矩形の左上角の点座標となり、w0、w1が、矩形対象領域の幅となり、h0、h1が、矩形対象領域の高さとなる。該2つの矩形対象領域のデプスカメラまでの距離の差の絶対値が、所定値(例えば、3mとしてもよく,0.5m、1m、1.5m、または2mと設定してもよい)未満になると、該2つの矩形対象領域の重畳面積を算出し、該2つの矩形対象領域の重畳面積と、そのうちの面積の小さい矩形対象領域の面積との比が、所定比(例えば、0.65、0.7、或いは0.75)を超えた場合、該2つの矩形対象領域を併合し、併合後の矩形対象領域(min(x0,x1),min(y0,y1),max(w0,w1),max(h0,h1))が得られる。ここで、min()は、2値のうちの最小値の関数であり、max()は、2値のうちの最大値の関数である。
図5は、本発明による対象検知方法の全体フローチャートである。図5に示されたように、ステップS201において、前記V−視差図算出器103は、内部メモリ101から読み取った視差図をもとに、V−視差算出処理を行い、前記視差図のV−視差図を取得する。次に、ステップS202において、対象検知器104における道路検知器105が、V−視差図における道路を検知するとともに、視差図から、検知されたV−視差図中の道路に対応する視差画像を引き去ることで、原視差図のサブ視差図を取得する。次に、ステップS203において、対象検知器104における対象領域検知器106が、具体的な対象の視差図における特徴に基づき、前記道路検知器105から出力されたサブ視差図から疑似対象を抽出するとともに、点集合化処理を施す。最後に、ステップS204において、対象領域併合器107が、対象領域検知器106から出力された対象領域の併合を行い、併合後の対象領域を出力する。
図6は、本発明の対象検知方法及びシステムを用いた環境を示した図であり、双眼デプスカメラとCPU102が装着された自動車及び双眼デプスカメラで撮像された画像が含まれている。
本発明の以上の方法は、1つのコンピュータ(プロセッサ)で実行されてもよく、複数のコンピュータで分散的に実行されてもよい。なお、プログラムは、プログラムが実行される遠隔コンピュータに移送されてもよい。
以上の説明は、本発明の好適な実施例に過ぎない。当業者は、設計需要と他の要素に応じて、添付された特許請求範囲及びこれと同等物の範囲内の種々の修正や、組み合わせや、サブ組み合わせや、変更が可能なことは理解すべきである。
米国特許第US7729512B2号明細書

Claims (10)

  1. 2台のデプスカメラにより同一シーンの深度図を同時撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出するステップと、
    得られた視差図に基づいて、V−視差算法により、前記シーンのV−視差図を取得するステップと、
    V−視差図において道路に対応する斜線を検知するとともに、視差図からV−視差図において検知された斜線に対応する全ての点を削除することにより、道路を含まないサブ視差図が得られるステップと、
    V−視差図において縦線を検知するとともに、検知された各縦線に基づいて、前記道路を含まないサブ視差図から、検知された各縦線に対応する全ての点を対象サブ視差図として抽出するステップと、
    視差間隔が所定値未満になり、且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを1つの矩形フレーム対象領域として併合するステップとを含む、対象検知方法。
  2. 前記V−視差図において道路に対応する斜線を検知することが、Hoff変換により行われる、請求項1に記載の対象検知方法。
  3. V−視差図において縦線を検知することが、V−視差図から、0ではない同一階調度を有する連続点を検索することにより行われる、請求項1に記載の対象検知方法。
  4. 前記V−視差図において道路に対応する斜線を検知するとともに、視差図からV−視差図において検知された斜線に対応する全ての点を削除することが、
    Hoff変換により、V−視差図において斜線分を検知するステップと、
    V−視差図の横座標軸及び縦座標軸と交差するように、検知された斜線を延伸させるステップと、
    検知された斜線の横座標値に基づいて、線分をサブ線分に分割するステップと、
    各々のサブ線分に対応する視差図における、各々の視差値範囲内の点を視差図から削除するステップと、を含む、請求項1に記載の対象検知方法。
  5. 併合処理前に、各対象サブ視差図の点集合化処理を行うステップをさらに含む、請求項1に記載の対象検知方法。
  6. 点集合化処理前に、各対象サブ視差図を構成する点の平滑化処理を行うとともに、対象サブ視差図領域中の連結点を削除するステップをさらに含む、請求項5に記載の対象検知方法。
  7. 同一シーンの深度図を同時撮像するとともに、撮像した深度図に基づいて該シーンの視差図を算出する2台のデプスカメラと、
    得られた視差図に基づいて、V−視差算法により、前記シーンのV−視差図を取得するV−視差算出装置と、
    V−視差図において道路に対応する斜線を検知するとともに、視差図からV−視差図において検知された斜線に対応する全ての点を削除することにより、道路を含まないサブ視差図を取得する道路抽出装置と、
    V−視差図において縦線を検知するとともに、検知された各縦線に基づいて、前記道路を含まないサブ視差図から、検知された各縦線に対応する全ての点を対象サブ視差図として抽出する対象領域検知装置と、
    視差間隔が所定値未満になり、且つ重畳領域の比率が所定の閾値を超えた任意の対象サブ視差図同士の矩形フレームを1つの矩形フレーム対象領域として併合する対象領域併合装置と、を有する対象検知システム。
  8. 前記対象領域検知装置は、V−視差図から、0ではない同一階調度を有する連続点を検索することにより、縦線を検知する、請求項7に記載の対象検知システム。
  9. 前記道路抽出装置は、前記V−視差図において道路に対応する斜線を検知するとともに、視差図からV−視差図において検知された斜線に対応する全ての点を削除することが、
    Hoff変換により、V−視差図において斜線分を検知するステップと、
    V−視差図の横座標軸及び縦座標軸と交差するように、検知された斜線を延伸させるステップと、
    検知された斜線の横座標値に基づいて、線分をサブ線分に分割するステップと、
    各々のサブ線分に対応する視差図における、各々の視差値範囲内の点を視差図から削除するステップと、を含む、請求項7に記載の対象検知システム。
  10. 各対象サブ視差図を構成する点の平滑化処理を行うとともに、対象サブ視差図領域中の連結点を削除するノイズ処理装置と、
    ノイズ処理が行われた後で、各対象サブ視差図の点集合化処理を行う点集合化装置とをさらに含む、請求項7に記載の対象検知システム。
JP2012250971A 2011-11-18 2012-11-15 対象検知方法及び対象検知システム Pending JP2013109760A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110369183.0 2011-11-18
CN201110369183.0A CN103123722B (zh) 2011-11-18 2011-11-18 道路对象检测方法和***

Publications (1)

Publication Number Publication Date
JP2013109760A true JP2013109760A (ja) 2013-06-06

Family

ID=47191599

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012250971A Pending JP2013109760A (ja) 2011-11-18 2012-11-15 対象検知方法及び対象検知システム

Country Status (4)

Country Link
US (1) US8923605B2 (ja)
EP (1) EP2728546B1 (ja)
JP (1) JP2013109760A (ja)
CN (1) CN103123722B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016029557A (ja) * 2014-07-14 2016-03-03 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
WO2017094300A1 (ja) * 2015-11-30 2017-06-08 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP2017138768A (ja) * 2016-02-03 2017-08-10 トヨタ自動車株式会社 車両用立体物検出装置

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9113043B1 (en) * 2011-10-24 2015-08-18 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
CN104217208B (zh) * 2013-06-03 2018-01-16 株式会社理光 目标检测方法和装置
CN104252707B (zh) * 2013-06-27 2017-06-06 株式会社理光 对象检测方法和装置
KR101782496B1 (ko) * 2013-08-21 2017-09-27 주식회사 만도 후측방 경보 시스템 및 그의 경보 제어 방법
TWI508526B (zh) * 2013-10-01 2015-11-11 Wistron Corp 產生視角平移影像之方法及其可攜式電子設備
CN103679707A (zh) * 2013-11-26 2014-03-26 西安交通大学 基于双目相机视差图的道路障碍物检测***及检测方法
CN103712602A (zh) * 2013-12-09 2014-04-09 广西科技大学 一种基于双目视觉道路障碍物自动检测的方法
KR101551026B1 (ko) * 2013-12-24 2015-09-07 현대자동차주식회사 차량 검출 방법
EP3100206B1 (en) 2014-01-30 2020-09-09 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition
CN104902261B (zh) * 2014-03-06 2017-08-08 株式会社日立制作所 用于低清晰度视频流中的路面识别的装置和方法
JP6087858B2 (ja) * 2014-03-24 2017-03-01 株式会社日本自動車部品総合研究所 走行区画線認識装置及び走行区画線認識プログラム
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
WO2016044296A1 (en) * 2014-09-15 2016-03-24 Second Sight Medical Products, Inc. Method and system for detecting obstacles for a visual prosthesis
CN104318206B (zh) * 2014-09-30 2017-09-29 东软集团股份有限公司 一种障碍物检测方法和装置
BE1023147B1 (nl) * 2015-07-03 2016-12-01 Cnh Industrial Belgium Nv Controller voor een werkvoertuig
US9761000B2 (en) 2015-09-18 2017-09-12 Qualcomm Incorporated Systems and methods for non-obstacle area detection
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助***
AT518438A1 (de) * 2016-03-24 2017-10-15 Pas Gmbh Verfahren zur Selbstlokalisierung von Fahrzeugen
WO2017172611A1 (en) * 2016-03-28 2017-10-05 General Dynamics Mission Systems, Inc. System and methods for automatic solar panel recognition and defect detection using infrared imaging
CN106023180A (zh) * 2016-05-17 2016-10-12 李迎春 一种非结构化道路rgb熵分割方法
WO2018097269A1 (en) * 2016-11-25 2018-05-31 Ricoh Company, Ltd. Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
WO2018119744A1 (zh) * 2016-12-28 2018-07-05 深圳前海达闼云端智能科技有限公司 一种虚警障碍物检测方法及装置
US10296812B2 (en) * 2017-01-04 2019-05-21 Qualcomm Incorporated Systems and methods for mapping based on multi-journey data
CN109426760A (zh) * 2017-08-22 2019-03-05 聚晶半导体股份有限公司 一种道路图像处理方法与道路图像处理装置
CN109472180A (zh) * 2017-09-07 2019-03-15 聚晶半导体股份有限公司 道路图像处理方法与道路图像处理装置
CN107977649B (zh) * 2017-12-21 2020-02-07 海信集团有限公司 一种障碍物识别方法、装置及终端
CN107977654B (zh) * 2017-12-25 2020-07-31 海信集团有限公司 一种道路区域检测方法、装置及终端
US10949996B2 (en) * 2018-01-16 2021-03-16 Aisin Seiki Kabushiki Kaisha Self-position estimation apparatus
CN108596012B (zh) * 2018-01-19 2022-07-15 海信集团有限公司 一种障碍物框合并方法、装置及终端
KR102586966B1 (ko) * 2018-08-01 2023-10-10 한화에어로스페이스 주식회사 실내-지도 생성 시스템 및 실내-탐사 로봇
CN110262521A (zh) * 2019-07-24 2019-09-20 北京智行者科技有限公司 一种自动驾驶控制方法
KR20210147405A (ko) * 2020-05-28 2021-12-07 삼성전자주식회사 객체 인식을 수행하는 전자 장치 및 이의 동작 방법
CN111709938B (zh) * 2020-06-18 2023-07-07 武汉唯理科技有限公司 一种基于深度图的路面缺陷及抛洒物检测方法
CN113963163A (zh) * 2021-12-21 2022-01-21 北京中科慧眼科技有限公司 一种基于图像分割的障碍物提取方法、***和智能终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309850A (ja) * 2004-04-22 2005-11-04 Mitsubishi Electric Corp 顔検出装置
JP2006053694A (ja) * 2004-08-10 2006-02-23 Riyuukoku Univ 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2008165595A (ja) * 2006-12-28 2008-07-17 Sumitomo Electric Ind Ltd 障害物検出方法、障害物検出装置、障害物検出システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6701005B1 (en) 2000-04-29 2004-03-02 Cognex Corporation Method and apparatus for three-dimensional object segmentation
US7366325B2 (en) 2003-10-09 2008-04-29 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
EP1709568A4 (en) 2003-12-15 2009-07-29 Sarnoff Corp METHOD AND APPARATUS FOR TRACKING OBJECTS BEFORE THE IMMINENT DETECTION OF A COLLISION
JP5405741B2 (ja) * 2004-07-26 2014-02-05 オートモーティブ システムズ ラボラトリー インコーポレーテッド 道路使用弱者保護システム
JP4177826B2 (ja) 2005-03-23 2008-11-05 株式会社東芝 画像処理装置および画像処理方法
FR2898986B1 (fr) * 2006-03-24 2008-05-23 Inrets Detection d'obstacle
US8108119B2 (en) * 2006-04-21 2012-01-31 Sri International Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
CN101436253B (zh) * 2007-11-14 2012-04-25 东软集团股份有限公司 一种用于验证车辆感兴趣区域的方法和装置
CN101608924B (zh) * 2009-05-20 2011-09-14 电子科技大学 一种基于灰度估计和级联霍夫变换的车道线检测方法
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
KR101163042B1 (ko) * 2009-11-26 2012-07-05 재단법인대구경북과학기술원 차량 검출 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309850A (ja) * 2004-04-22 2005-11-04 Mitsubishi Electric Corp 顔検出装置
JP2006053694A (ja) * 2004-08-10 2006-02-23 Riyuukoku Univ 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2008165595A (ja) * 2006-12-28 2008-07-17 Sumitomo Electric Ind Ltd 障害物検出方法、障害物検出装置、障害物検出システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JUN ZHAO, MARK WHITTY, JAYANTHA KATUPITIYA: "Detection of non-flat ground surfaces using V-Disparity images", THE 2009 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS, JPN6016035085, 10 October 2009 (2009-10-10), US, pages 4584 - 4589, XP031580567, ISSN: 0003397118 *
RAPHAEL LABAYRADE, DIDIER AUBERT, JEAN-PHILIPPE TAREL: "Real time obstacle detection in stereovision on non flat road geometry through V-disparity represent", INTELLIGENT VEHICLE SYMPOSIUM 2002.IEEE, JPN6016035084, 17 June 2002 (2002-06-17), US, pages 646 - 651, ISSN: 0003397117 *
松島 宏典 KOUSUKE MATSUSHIMA: "ステレオセンサを用いた歩行者認識 Pedestrian Recognition using Stereo Sensor", 情報処理学会研究報告 VOL.2006 NO.67 IPSJ SIG TECHNICAL REPORTS, JPN6016035086, 2006, JP, pages 49 - 54, ISSN: 0003397119 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016029557A (ja) * 2014-07-14 2016-03-03 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
WO2017094300A1 (ja) * 2015-11-30 2017-06-08 株式会社リコー 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US10832431B2 (en) 2015-11-30 2020-11-10 Ricoh Company, Ltd. Image processing apparatus, object recognition apparatus, equipment control system, image processing method, and computer-readable recording medium
JP2017138768A (ja) * 2016-02-03 2017-08-10 トヨタ自動車株式会社 車両用立体物検出装置

Also Published As

Publication number Publication date
CN103123722B (zh) 2016-04-27
US20130128001A1 (en) 2013-05-23
EP2728546A2 (en) 2014-05-07
US8923605B2 (en) 2014-12-30
CN103123722A (zh) 2013-05-29
EP2728546A3 (en) 2015-04-08
EP2728546B1 (en) 2020-02-12

Similar Documents

Publication Publication Date Title
JP2013109760A (ja) 対象検知方法及び対象検知システム
WO2018058356A1 (zh) 基于双目立体视觉的汽车防碰撞预警方法和***
JP6442834B2 (ja) 路面高度形状推定方法とシステム
CN109997148B (zh) 信息处理装置、成像装置、设备控制***、移动对象、信息处理方法和计算机可读记录介质
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
WO2017138245A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
KR101285106B1 (ko) 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
KR20110001427A (ko) 관심영역 추출에 의한 차선 고속검출 방법
KR101699014B1 (ko) 스테레오 카메라를 이용한 객체 검출 방법 및 장치
Yiruo et al. Complex ground plane detection based on v-disparity map in off-road environment
EP3389009A1 (en) Image processing device, object recognition device, apparatus control system, image processing method and program
KR101998584B1 (ko) 차선 검출 장치 및 차선 검출 방법
CN111368883B (zh) 基于单目摄像头的避障方法、计算装置及存储装置
Ma et al. A real time object detection approach applied to reliable pedestrian detection
Wang et al. Robust obstacle detection based on a novel disparity calculation method and G-disparity
KR102188164B1 (ko) 3차원 데이터를 이용한 도로 인식 방법
KR101501531B1 (ko) 스테레오 비전 기반 보행자 검출 시스템 및 그 방법
KR101289386B1 (ko) 스테레오 비전 기반의 장애물체 검출 및 분리 방법과 이를 실행하는 장치
Mesmakhosroshahi et al. Depth gradient based region of interest generation for pedestrian detection
Ganesan et al. An Image Processing Approach to Detect Obstacles on Road
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
Chen et al. Efficient vehicle detection with adaptive scan based on perspective geometry
Veit Connexity based fronto-parallel plane detection for stereovision obstacle segmentation
JP6943092B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160913

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170314