JP6920159B2 - 車両の周辺監視装置と周辺監視方法 - Google Patents

車両の周辺監視装置と周辺監視方法 Download PDF

Info

Publication number
JP6920159B2
JP6920159B2 JP2017192064A JP2017192064A JP6920159B2 JP 6920159 B2 JP6920159 B2 JP 6920159B2 JP 2017192064 A JP2017192064 A JP 2017192064A JP 2017192064 A JP2017192064 A JP 2017192064A JP 6920159 B2 JP6920159 B2 JP 6920159B2
Authority
JP
Japan
Prior art keywords
parallax
offset value
distance
vehicle
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017192064A
Other languages
English (en)
Other versions
JP2019066326A (ja
Inventor
敏彦 寺田
敏彦 寺田
宏晃 伊藤
宏晃 伊藤
尚秀 内田
尚秀 内田
景洋 長尾
景洋 長尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Ricoh Co Ltd
Toyota Motor Corp
Original Assignee
Denso Corp
Ricoh Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Ricoh Co Ltd, Toyota Motor Corp filed Critical Denso Corp
Priority to JP2017192064A priority Critical patent/JP6920159B2/ja
Priority to US16/145,872 priority patent/US10713807B2/en
Publication of JP2019066326A publication Critical patent/JP2019066326A/ja
Application granted granted Critical
Publication of JP6920159B2 publication Critical patent/JP6920159B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • G01C3/085Use of electric radiation detectors with electronic parallax measurement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、対象物を異なる位置から撮影した複数の撮像画像を用いて車両の周辺を監視する、車両の周辺監視装置および周辺監視方法に関する。
ステレオカメラ等の撮像装置を用いて車両の周辺の対象物を異なる位置から撮影した複数の撮像画像を取得し、この複数の撮像画像から視差を算出して対象物の位置等を検出することで、車両の周辺を監視する周辺監視装置が知られている。
ステレオカメラの2つのカメラの光軸がずれている場合等に、撮像画像から算出される視差に誤差(視差オフセット)が生じる場合がある。視差オフセットは、対象物の位置等の検出誤差の原因となる。このため、例えば、特許文献1に記載されているような方法で、視差オフセット値を算出し、これを用いて視差の値を補正する技術が知られている。
特許第5280768号公報
特許文献1では、レーダ装置で検出された対象物の距離とステレオカメラの基線長および焦点距離に基づいて算出した視差の値と、ステレオカメラで得られた2つの撮像画像についてステレオマッチングを行うことで算出された視差の値との差を求めることによって、視差オフセット値を算出している。この視差オフセット値を求める方法によれば、比較的精度よく視差オフセット値を算出できる。しかしながら、レーダ装置の異常等により、対象物の距離の検出値や算出された視差の値に大きな誤差が生じた場合には、算出された視差オフセットの値に誤差が生じて、高精度に視差補正を行うことが困難となる。その結果、周辺監視装置の誤作動が発生し、警告表示や車両制御系への指令が適切に実行されなくなる場合がある。
本発明は、上記実情に鑑み、視差補正の精度が高く、誤作動または未作動がより抑制された周辺監視装置および周辺監視方法を提供することを目的とする。
本発明は、対象物を異なる位置から撮影した複数の画像を取得する画像取得部と、前記対象物に対する探査波の送受信の結果により検出された前記対象物までの距離を取得する距離取得部と、前記複数の画像と前記対象物までの距離とに基づいて第1視差オフセット値を算出する第1オフセット算出部と、前記画像取得部で得られた前記画像の同一点における所定期間内の視差の変化と前記車両の移動距離とに基づいて第2視差オフセット値を算出する第2オフセット算出部と、前記第1視差オフセット値と前記第2視差オフセット値との差が閾値以下であることを条件として、前記第1視差オフセット値を用いて視差を補正する視差補正部と、を備える車両の周辺監視装置を提供する。
本発明によれば、画像取得部が取得した画像について、異なる2つの算出方法を用いて算出した2つの視差オフセット値(第1視差オフセット値、第2視差オフセット値)の差が閾値以下である場合に、第1視差オフセット値を用いて視差を補正する。このため、誤差を含んだ第1視差オフセット値を用いて視差補正を行うことを抑制できる。その結果、視差補正の精度が高く、誤作動または未作動がより抑制された周辺監視装置を提供することができる。
また、本発明は、上記の周辺監視装置によって実現可能な車両の周辺監視方法を提供する。この方法は、対象物を異なる位置から撮影した複数の撮像画像を取得する画像取得ステップと、前記対象物に対する探査波の送受信の結果により検出された前記対象物までの距離を取得する距離取得ステップと、前記複数の画像と前記対象物までの距離に基づいて第1視差オフセット値を算出する第1オフセット算出ステップと、前記画像取得ステップで得られた前記画像の同一点における所定期間内の視差の変化と前記車両の移動距離に基づいて第2視差オフセット値を算出する第2オフセット算出ステップと、前記第1視差オフセット値と前記第2視差オフセット値との差が閾値以下であることを条件として、前記第1視差オフセット値を用いて視差を補正する視差補正ステップと、を含む。
本実施形態に係る周辺監視装置を示すブロック図。 距離検出装置の探査範囲についての説明図。 第1オフセット算出部が行う演算処理のフローチャート。 図4(a)は基準画像の画素領域のピクセルの位置についての説明図、図4(b)は参照画像の画素領域のピクセルの位置についての説明図。 第2オフセット算出部が行う演算処理のフローチャート。 図6(a)は時刻t0における画像の対応点についての説明図、図6(b)は時刻t1における画像の対応点についての説明図。 所定時間内の車両の移動距離と視差の変化についての説明図。 視差補正部が行う演算処理のフローチャート。
図1に示すように、本実施形態に係る周辺監視装置10は、画像取得部100と、距離取得部110と、移動距離取得部120と、第1オフセット算出部130と、第2オフセット算出部140と、視差補正部150と、を備えている。周辺監視装置10は、A/D変換回路、I/O、CPU、RAM、ROM、画像メモリ等を含む電子制御ユニット(ECU)であり、CPUは、予め格納されたプログラムを実行することによって、上記の各部の機能を実現する。CPUに替えて、またはCPUとともに、デジタル処理回路を書き込んだFPGA(Field-Programmable Gate Array)等を備えていてもよい。
撮像装置21、22、距離検出装置23および速度検出装置24から出力される信号は、デジタル信号に変換されて、周辺監視装置10のCPUに入力される。周辺監視装置10は、入力信号に基づいて視差オフセット値を算出して画像を補正し、画像データや制御信号を報知装置161、表示装置162、運転制御装置163等の外部装置160に出力する。
画像取得部100は、1対の撮像装置21、22が撮影した画像を取得し、これによって対象物を異なる位置から撮影した複数の画像を取得することができる。撮像装置21,22は、CCDやCMOSセンサ、あるいは赤外線カメラ等のイメージセンサを内蔵したステレオカメラである。撮像装置21、22は、車両のルームミラーの背後に、車幅方向において所定の基線長で取り付けられている。撮像装置21、22は、通常の走行状態において車両前方の道路や先行車両等を含む周辺環境を撮影する。
撮像装置21は、基準画像Toを出力し、撮像装置22は、参照画像Tcを出力する。撮像装置21及び撮像装置22は、互いに同期が取れており、同一タイミングで周辺環境を撮影し、一対のアナログ画像To,Tcを画像取得部100へ出力する。
画像取得部100は、A/D変換回路により、撮像装置21,22から入力された一対のアナログ画像To,Tcを、それぞれ所定の輝度階調のデジタル画像に変換して、第1オフセット算出部130および第2オフセット算出部140に出力する。
距離取得部110は、距離検出装置23が測定した対象物まで距離を取得する。距離検出装置23は、探査波を送信して対象物からの反射波を受信することによって対象物までの距離を検出することができる装置であればよい。具体的には、距離検出装置23は、車両の前方に電磁波(電波又は光)を送信し、その反射波を受信するレーザレーダ、超音波等の弾性振動波を用いるソナーレーダ等を例示することができる。本実施形態では、距離検出装置23がレーザレーダである場合を例示して説明する。
図2に示すように、距離検出装置23は、車両1の前側のフロントグリル付近に取り付けられている。距離検出装置23は、レーザダイオード等の発光素子、コリメートレンズ、集光レンズ、複数の受光素子、等を備えている。発光素子からのレーザ光は、コリメートレンズによっての探査範囲SFの全体に一括して照射される。探査範囲SFから到来する反射光は、集光レンズを介して複数の受光素子によって受光される。複数の受光素子は、図2に示すように、探査範囲SFを水平面上で所定角度毎に分割した7つの分割領域A1〜A7毎に反射光を受光するように、車両の幅方向に間隔を開けて配置されている。なお、各受光素子による垂直方向の受光範囲は、略一定角度範囲となるように設定されている。
距離検出装置23は、分割領域A1〜A7毎に、車両1の前方に存在する対象物により反射された反射光の強度を測定する。距離検出装置23は、測定した反射光の反射強度と、車両1から反射光の原因となった対象物までの距離Zとを第1オフセット算出部130に出力する。
第1オフセット算出部130は、画像取得部100から入力される複数の画像と、距離取得部110から入力される対象物までの距離とに基づいて第1視差オフセット値D1を算出する。図1に示すように、第1オフセット算出部130は、同一性判定部131と、視差算出部132と、オフセット算出部133とを備えている。
図3に、周辺監視装置10によって実施される周辺監視方法の一部を構成する、画像取得部100、距離取得部110、および第1オフセット算出部130が行う演算処理のフローチャートを示す。画像取得部100および距離取得部110は、画像取得ステップおよび距離取得ステップ(ステップS101)を実行し、画像データと距離データとを取得して、第1オフセット算出部130に出力する。第1オフセット算出部130の同一性判定部131は、同一性判定ステップ(ステップS102)を実行し、画像取得部100からの画像に撮影された対象物と、距離取得部110において距離を取得した対象物が同一であるか否かを判定する。具体的には、同一性判定部131は、取得した距離において対象物が1つのみ存在するデータ領域を抽出し、このデータ領域に対応する画像のデータ領域に対象物が1つのみ含まれている場合に、双方のデータにおける対象物が同一であると判定する。同一性判定部131において、双方のデータにおける対象物が同一でないと判定された場合には、第1オフセット算出部130における演算処理は終了する。すなわち、第1オフセット算出部130では、画像取得部100から入力された画像に撮影された対象物と、距離取得部から入力された距離を取得した対象物が同一であると判定されることを条件として、第1視差オフセット値D1の算出を行う。
視差算出部132は、視差算出ステップ(ステップS103)を実行し、同一性判定部131が同一であると判定した対象物について、画像取得部100から取得したデジタル画像に基づく視差d1と、距離取得部110から取得した距離に基づく視差d2とを算出する。
視差d1は、1対のデジタル画像についてステレオマッチング処理を行うことによって算出できる。視差d1は、撮像装置21の画像(基準画像To)における対象物の位置と、撮像装置22の画像(参照画像Tc)における対象物の位置との差である。視差算出部132は、基準画像Toおよび参照画像Tcを、所定の画素領域(例えば、図4(a)(b)に示すような3×3ピクセルのピクセルブロック)に分割する。そして、基準画像Toの各画素領域PBoごとに、参照画像Tc中においてその画素領域PBoに対応するエピポーララインEPLを設定し、画素領域PBoと、エピポーララインEPL上に存在する参照画像Tc中の画素領域PBcの輝度パターンとを比較する。画素領域PBoと画素領域PBcの比較に際しては、例えば、SAD(sum of absolute difference)、SSD(Sum of Squared Difference)等の評価関数を用いることができる。
例えば、下記式(1)に示すSADの値に基づいて、画素領域PBoと画素領域PBcの対応する位置にある輝度の差の絶対値の和を算出することができる。なお、下記式(1)におけるBoiは画素領域PBoの位置iにおける輝度を示し、Bciは画素領域PBcの位置iにおける輝度を示す。具体的には、例えば、図4に示す3×3ピクセルの画素領域PBo、PBcの場合には、それぞれの画素領域の位置i(i=1,2…,9)ごとの差の絶対値の総和SADを求める。
Figure 0006920159
上記式(1)中のSADが最小となる画素領域PBcを求めることによって、画素領域PBoに撮像されている対象物と同じ対象物を撮像する画素領域PBcを特定することができる。同じ対象物を撮像する画素領域PBoと画素領域PBcとの位置関係から、視差d1を求めることができる。
また、視差算出部132は、距離取得部110から取得した距離に基づく視差d2を算出する。視差d2は、下記式(2)より算出することができる。下記式(2)において、Bは撮像装置21,22の基線長、Fは撮像装置21,22の焦点距離、Zは距離取得部110から入力される車両1から対象物までの距離、Ocは車両1から撮像装置21,22までの距離を示す。視差算出部132は、算出した視差d1、d2をオフセット算出部133に出力する。
d2=(B×F)/(Z+Oc) … (2)
オフセット算出部133は、第1オフセット算出ステップ(ステップS104)を実行し、下記式(3)に基づいて、視差d1と視差d2の差を第1視差オフセット値D1として算出する。第1オフセット算出部130は、視差d1と、第1視差オフセット値D1とを視差補正部150に出力する(ステップS105)。
D1=d1−d2 … (3)
速度検出装置24は、車両1の車速を検出して移動距離取得部120に出力する。移動距離取得部120は、入力された車速の経時変化と走行時間とを乗じることで車両の移動距離を算出し、第2オフセット算出部140に出力する。なお、速度検出装置24に替えて、走行距離を測定することのできる移動距離検出装置(例えば、GPSを用いた距離計測機)を使用して、移動距離取得部120は、移動距離検出装置によって測定された移動距離を取得するように構成してもよい。
第2オフセット算出部140は、画像取得部100で得られた画像の同一点における所定期間内の視差の変化と車両の移動距離Dcとに基づいて第2視差オフセット値を算出する。第2オフセット算出部140は、対応点探索部141と、視差算出部142と、オフセット算出部143とを備えている。図5に、周辺監視装置10によって実施される周辺監視方法の一部を構成する、画像取得部100、移動距離取得部120、および第2オフセット算出部140が行う演算処理のフローチャートを示す。対応点探索部141は、まず、時刻t0と、時刻t0から所定時間経過した時刻t1とにおいて、それぞれ2つの撮像装置21,22の画像、すなわち4枚の画像を取得する(ステップS201)。また、同時に、オフセット算出部143は、移動距離取得部120から、時刻t0から時刻t1までの間の車両1の移動距離Dcを取得する(ステップS201)。
次に、対応点探索部141は、時刻t0の撮像装置21,22の画像について対応点探索を行い、視差画像を作成する。具体的には、撮像装置21,22の画像について画像解析し、2つの画像に共通する対応点を決定する。対応点探索部141は、対応点探索部141は、基準画像To、参照画像Tcそれぞれに対してメッシュを割り当てた後、左右画像の対応点(メッシュ)を探索する。左右画像の対応点の探索は、メッシュ毎に計算された輝度、色相、色分布などを利用して行うことができる。対応点は、各時刻においてN個探索される(ステップS202)。以下、N個の対応点について対応点k(k=1〜N)と記述する。また、対応点探索部141は、同様に、時刻t1の撮像装置21,22の画像について対応点探索を行い、視差画像を作成する。
対応点探索部141は、時刻t0とt1の視差画像と、視差画像を求める際に使用した撮影画像とを視差算出部142およびオフセット算出部143に出力する。なお、対応点探索は、時間を隔てた時刻t0と時刻t1の撮像画像として撮像装置21と撮像装置22の画像があるが、片方の撮像装置の画像間で対応点探索を行ってもよいし、両方の撮像装置の画像から対応点探索を行ってもよい。対応点探索には、SAD(sum of absolute difference)やPOC(位相限定相関)などの周知の技術を利用する事ができる。なお、時刻t0と時刻t1との差は、時刻t0と時刻t1とで画像エッジ付近で対応点が存在しなくない程度、すなわち探索失敗が発生しない程度の差とすることが好ましい。
図6(a)(b)は、時刻t0、t1における撮像画像における対応点kの一例を示す。図6(a)(b)は、車両の前方に存在する道路、樹木、建物が撮影されており、建物の角に対応点kが位置している。時間がt0からt1に経過するのに対応して、車両の移動距離に対応した対象物の位置変化が生じており、これに伴い、対応点kにおける視差も変化する。対応点kにおける視差と、車両から対応点kまでの距離とは、上記式(2)と同様の関係式に基づいて求めることができる。すなわち、上記式(2)において、d2に対応点kにおける視差の値を代入してZについて解けば、車両から対応点kまでの距離を算出することができる。
視差算出部142は、撮像装置21,22が取得した4つの画像に共通する対応点kについての視差p0、p1を算出し、オフセット算出部143に出力する(ステップS204)。p0は、時刻t0における対応点kの視差であり、p1は、時刻t1における同一の対応点k(k=1〜N)の視差である。
オフセット算出部143には、時刻t0からt1までの車両の移動距離Dcと、視差画像、撮像画像、および対応点kについての視差p0、p1が入力されている。オフセット算出部143は、第2オフセット算出ステップ(ステップS203〜ステップS207、ステップS211)を実行し、k=1からk=Nまで順に全ての対応点についてqkの値を算出し、第2視差オフセット値D2を算出する。オフセット算出部143は、時刻t0とt1との間におけるそれぞれ対応点kまでの距離Z0、Z1と、時刻t0、t1それぞれの視差p0、p1から、視差オフセット値qkを算出する(ステップS205)。
視差オフセット値qkの計算式は、下記の手順で導出することができる。まず、距離Z0、Z1は、視差p0、p1および視差オフセット値qkを用いて、下記式(4)(5)によって表すことができる。なお、Bは撮像装置21,22の基線長、Fは撮像装置21,22の焦点距離である。
Z0=(B×F)/(p0−qk) … (4)
Z1=(B×F)/(p1−qk) … (5)
図7に示すように、時刻t0における車両1から対象物3の対応点kまでの距離Z0と、時刻t1における車両1から対応点kまでの距離Z1との差が車両1が時刻t0からt1までの間に移動した移動距離Dcに相当する。すなわち、車両1の移動距離Dcは、Dc=Z0−Z1で与えられるから、上記式(4)より、下記式(6)を得ることができる。下記式(6)はqkについての2次方程式に変形でき、その解を求めることによって、下記式(7)に示すようにqkの値を算出することができる。
Figure 0006920159
kの値がNに到達するまでステップS204〜ステップS206およびステップS211の処理を繰り返すことによって、全ての対応点についてqkの値を算出する。具体的には、オフセット算出部143は、kの値がNか否かを判定し(ステップS206)、k=Nでない場合には、k=k+1に更新して(ステップS211)、更新された対応点kについての視差の算出を視差算出部142に要求する。k=Nの場合には、N個のqkの値を用いて統計処理を行い、第2視差オフセット値D2を算出し、第2視差オフセット値D2を視差補正部150に出力する(ステップS207、S208)。統計処理は、正規分布、多項式分布、2項分布、ポアソン分布等を用いた回帰分析によって行うことができる。
視差補正部150は、第1視差オフセット値D1と第2視差オフセット値D2との差が閾値以下であることを条件として、第1視差オフセット値D1を用いて視差d1を補正する。図8に、周辺監視装置10によって実施される周辺監視方法の一部を構成する、視差補正部150で行われる演算処理のフローチャートを示す。視差補正部150は、視差補正ステップ(S301〜S303)を実行し、第1視差オフセット値D1と第2視差オフセット値D2を取得して、下記式(8)に示す2つの視差オフセット値D1,D2の差Ddが閾値X1以下であるか否かを判定する。2つの視差オフセット値D1,D2は、算出方法は相違するものの、いずれも同一の撮像装置21,22から得られた画像に基づいて算出されており、通常、これらの差Ddはさほど大きくならない。これらの差Ddが大きくなる場合には、距離検出装置23の誤作動や故障などが懸念される。
Dd=|D1−D2| … (8)
Dd≦X1の場合には、視差補正部150は、第1視差オフセット値D1の値を用いて視差d1を補正し(ステップS304)、運転制御装置163に補正後の視差dcを出力する(ステップS305)。運転制御装置163は、補正後の視差dcを用いて運転支援等の車両制御を実施する。Dd>X1の場合には、視差補正部150は、報知装置161に信号を出力し、周辺監視装置10の異常を報知する(ステップS311)。
以上説明した本実施形態によれば、以下の効果を奏する。
周辺監視装置10は、探査波を用いて測定した距離に基づいて第1視差オフセット値D1を算出し、さらに、第1視差オフセット値D1と第2視差オフセット値D2との差が閾値以下であることを条件に、第1視差オフセット値D1を用いて視差d1を補正する。このため、距離の検出誤差に起因して、誤差を含んだ第1視差オフセット値を用いて視差補正を行うことを抑制できる。その結果、視差補正の精度が高く、誤作動または未作動がより抑制された周辺監視装置を提供することができる。
周辺監視装置10は、探査波を用いて測定した距離に基づいて算出した第1視差オフセット値D1を用いて視差補正を行うため、精度よく視差補正を行うことができる。
周辺監視装置10は、複数の画像に撮影された対象物と、距離を取得した対象物が同一であるか否かを判定する同一性判定部131を備える。同一性判定部131において、同一であると判定された場合に、第1オフセット算出部130は、第1視差オフセット値D1を算出する。同一性判定部131によって上記の判定を行うことによって、第1視差オフセット値の信頼性を向上させることができる。
周辺監視装置10は、第1視差オフセット値D1と第2視差オフセット値D2との差Ddが閾値以下でない場合に、報知装置161に異常を通知する信号を出力し、周辺監視装置10の異常を報知できる。差Ddが大きくなる場合には、距離検出装置23の誤作動や故障などが懸念される。すなわち、閾値を用いて差Ddを評価することによって、距離検出装置23等の異常を検知することができる。
なお、上記の実施形態では、距離検出装置、撮像装置、速度検出装置等の計測装置と、報知装置、表示装置、運転制御装置等とを含まない周辺監視装置を例示して説明したが、これに限定されない。周辺監視装置は上記の装置等を含んでいてもよく、さらには、一体化されていてもよい。
10…周辺監視装置、100…画像取得部、110…距離取得部、130…第1オフセット算出部、140…第2オフセット算出部、150…視差補正部

Claims (4)

  1. 対象物を異なる位置から撮影した複数の画像を取得する画像取得部(100)と、
    前記対象物に対する探査波の送受信の結果により検出された前記対象物までの距離を取得する距離取得部(110)と、
    前記複数の画像と前記対象物までの距離とに基づいて第1視差オフセット値を算出する第1オフセット算出部(130)と、
    前記画像取得部で得られた前記画像の同一点における所定期間内の視差の変化と車両の移動距離とに基づいて第2視差オフセット値を算出する第2オフセット算出部(140)と、
    前記第1視差オフセット値と前記第2視差オフセット値との差が閾値以下であることを条件として、前記第1視差オフセット値を用いて視差を補正する視差補正部(150)と、を備える車両の周辺監視装置(10)。
  2. 前記第1オフセット算出部は、前記複数の画像に撮影された対象物と、前記距離を取得した対象物が同一であると判定されることを条件として(S102)、前記第1視差オフセット値を算出する請求項1に記載の車両の周辺監視装置。
  3. 前記視差補正部は、前記第1視差オフセット値と前記第2視差オフセット値との差が閾値以下ではないことを条件として、異常を通知する信号を出力する(S311)請求項1または2に記載の車両の周辺監視装置。
  4. 対象物を異なる位置から撮影した複数の撮像画像を取得する画像取得ステップ(S101、S201)と、
    前記対象物に対する探査波の送受信の結果により検出された前記対象物までの距離を取得する距離取得ステップ(S101)と、
    前記複数の画像と前記対象物までの距離に基づいて第1視差オフセット値を算出する第1オフセット算出ステップ(S104)と、
    前記画像取得ステップで得られた前記画像の同一点における所定期間内の視差の変化と車両の移動距離に基づいて第2視差オフセット値を算出する第2オフセット算出ステップ(S203〜S206)と、
    前記第1視差オフセット値と前記第2視差オフセット値との差が閾値以下であることを条件として、前記第1視差オフセット値を用いて視差を補正する視差補正ステップ(S303,S304)と、を含む車両の周辺監視方法。
JP2017192064A 2017-09-29 2017-09-29 車両の周辺監視装置と周辺監視方法 Active JP6920159B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017192064A JP6920159B2 (ja) 2017-09-29 2017-09-29 車両の周辺監視装置と周辺監視方法
US16/145,872 US10713807B2 (en) 2017-09-29 2018-09-28 Vicinity supervising device and vicinity supervising method of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017192064A JP6920159B2 (ja) 2017-09-29 2017-09-29 車両の周辺監視装置と周辺監視方法

Publications (2)

Publication Number Publication Date
JP2019066326A JP2019066326A (ja) 2019-04-25
JP6920159B2 true JP6920159B2 (ja) 2021-08-18

Family

ID=65897840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017192064A Active JP6920159B2 (ja) 2017-09-29 2017-09-29 車両の周辺監視装置と周辺監視方法

Country Status (2)

Country Link
US (1) US10713807B2 (ja)
JP (1) JP6920159B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7018285B2 (ja) * 2017-09-29 2022-02-10 株式会社デンソー 車両の周辺監視装置および周辺監視方法
US11004224B2 (en) 2019-01-22 2021-05-11 Velodyne Lidar Usa, Inc. Generation of structured map data from vehicle sensors and camera arrays
DE102019212021B4 (de) * 2019-08-09 2024-02-08 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Feststellen eines Parallaxenproblems in Sensordaten zweier Sensoren

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3384278B2 (ja) * 1997-03-24 2003-03-10 日産自動車株式会社 距離計測装置
JP3760068B2 (ja) * 1999-12-02 2006-03-29 本田技研工業株式会社 画像認識装置
JP2001169310A (ja) * 1999-12-06 2001-06-22 Honda Motor Co Ltd 距離検出装置
JP3983573B2 (ja) * 2002-03-06 2007-09-26 富士重工業株式会社 ステレオ画像特性検査システム
JP4461091B2 (ja) * 2004-11-30 2010-05-12 本田技研工業株式会社 位置検出装置及びその補正方法
JP2007024590A (ja) * 2005-07-13 2007-02-01 Toyota Motor Corp 物体検出装置
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
JP5234894B2 (ja) * 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置
JP4521642B2 (ja) * 2008-02-13 2010-08-11 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視プログラム
JP5280768B2 (ja) * 2008-08-18 2013-09-04 本田技研工業株式会社 車両周辺監視装置
JP4631096B2 (ja) * 2008-10-20 2011-02-16 本田技研工業株式会社 車両周辺監視装置
JP4815488B2 (ja) * 2008-12-22 2011-11-16 本田技研工業株式会社 車両周辺監視装置
JP4733756B2 (ja) * 2009-04-28 2011-07-27 本田技研工業株式会社 車両周辺監視装置
JP5292364B2 (ja) * 2010-07-07 2013-09-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
JP5440461B2 (ja) * 2010-09-13 2014-03-12 株式会社リコー 校正装置、距離計測システム、校正方法および校正プログラム
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
JP2012103109A (ja) * 2010-11-10 2012-05-31 Panasonic Corp ステレオ画像処理装置、ステレオ画像処理方法及びプログラム
JP5612621B2 (ja) * 2012-02-28 2014-10-22 富士重工業株式会社 車外環境認識装置
JP6167525B2 (ja) * 2012-03-21 2017-07-26 株式会社リコー 距離計測装置及び車両
JP6182866B2 (ja) * 2012-03-21 2017-08-23 株式会社リコー 校正装置、距離計測装置及び車両
US9066085B2 (en) * 2012-12-13 2015-06-23 Delphi Technologies, Inc. Stereoscopic camera object detection system and method of aligning the same
US9384551B2 (en) * 2013-04-08 2016-07-05 Amazon Technologies, Inc. Automatic rectification of stereo imaging cameras
JP6151150B2 (ja) * 2013-10-07 2017-06-21 日立オートモティブシステムズ株式会社 物体検出装置及びそれを用いた車両
WO2015143037A1 (en) * 2014-03-21 2015-09-24 Omron Corporation Method and apparatus for detecting and mitigating optical impairments in an optical system
US10247551B2 (en) * 2014-09-11 2019-04-02 Hitachi Automotive Systems, Ltd. Vehicle image processing device for environment recognition
US10186034B2 (en) * 2015-01-20 2019-01-22 Ricoh Company, Ltd. Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium
US10007998B2 (en) * 2015-03-20 2018-06-26 Ricoh Company, Ltd. Image processor, apparatus, and control system for correction of stereo images
JPWO2017042995A1 (ja) * 2015-09-07 2018-06-28 パナソニックIpマネジメント株式会社 車載用ステレオカメラ装置、およびその補正方法
JP6673160B2 (ja) * 2016-11-24 2020-03-25 株式会社デンソー 距離測定装置
JP6970568B2 (ja) * 2017-09-22 2021-11-24 株式会社デンソー 車両の周辺監視装置と周辺監視方法
JP6985872B2 (ja) * 2017-09-22 2021-12-22 株式会社デンソー 車両の周辺監視装置と周辺監視方法
JP6975003B2 (ja) * 2017-09-29 2021-12-01 株式会社デンソー 周辺監視装置およびその校正方法
JP6944328B2 (ja) * 2017-09-29 2021-10-06 株式会社デンソー 車両の周辺監視装置と周辺監視方法
JP6810009B2 (ja) * 2017-09-29 2021-01-06 トヨタ自動車株式会社 視差算出装置
JP6970577B2 (ja) * 2017-09-29 2021-11-24 株式会社デンソー 周辺監視装置および周辺監視方法
JP7018285B2 (ja) * 2017-09-29 2022-02-10 株式会社デンソー 車両の周辺監視装置および周辺監視方法

Also Published As

Publication number Publication date
JP2019066326A (ja) 2019-04-25
US10713807B2 (en) 2020-07-14
US20190102901A1 (en) 2019-04-04

Similar Documents

Publication Publication Date Title
JP5503578B2 (ja) 物体検出装置及び物体検出方法
CN108692719B (zh) 物体检测装置
JP6209833B2 (ja) 検査用具、検査方法、ステレオカメラの生産方法及びシステム
JP6970577B2 (ja) 周辺監視装置および周辺監視方法
JP6920159B2 (ja) 車両の周辺監視装置と周辺監視方法
US20190266425A1 (en) Identification apparatus, identification method, and non-transitory tangible recording medium storing identification program
JP2010044009A (ja) 車両周辺監視装置
JP2006322853A (ja) 距離計測装置、距離計測方法および距離計測プログラム
JP6881917B2 (ja) 距離計測装置、撮像制御装置
JP2015049200A (ja) 計測装置、方法及びプログラム
JPWO2018042954A1 (ja) 車載カメラ、車載カメラの調整方法、車載カメラシステム
JP2006322795A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6970568B2 (ja) 車両の周辺監視装置と周辺監視方法
US10338211B2 (en) Apparatus for measuring distance
CN111105465B (zh) 一种摄像装置校准方法、装置、***电子设备及存储介质
EP2913999A1 (en) Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium
US20180286076A1 (en) Vision system for a motor vehicle and method of controlling a vision system
US11914028B2 (en) Object detection device for vehicle
JP2006323693A (ja) 処理装置、画像処理方法および画像処理プログラム
US10733749B2 (en) Vehicle vicinity supervising device and vicinity supervising method
JP6241083B2 (ja) 撮像装置及び視差検出方法
JP6404985B1 (ja) 距離画像の異常を検出する撮像装置
US10726528B2 (en) Image processing apparatus and image processing method for image picked up by two cameras
JP6379646B2 (ja) 情報処理装置、測定方法及びプログラム
JP6718295B2 (ja) 周辺監視装置及び周辺監視方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210726

R150 Certificate of patent or registration of utility model

Ref document number: 6920159

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150