JP2016134764A - 車両用外界認識装置およびそれを用いた車両挙動制御装置 - Google Patents

車両用外界認識装置およびそれを用いた車両挙動制御装置 Download PDF

Info

Publication number
JP2016134764A
JP2016134764A JP2015008258A JP2015008258A JP2016134764A JP 2016134764 A JP2016134764 A JP 2016134764A JP 2015008258 A JP2015008258 A JP 2015008258A JP 2015008258 A JP2015008258 A JP 2015008258A JP 2016134764 A JP2016134764 A JP 2016134764A
Authority
JP
Japan
Prior art keywords
vehicle
moving object
image
detected
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015008258A
Other languages
English (en)
Other versions
JP6454554B2 (ja
Inventor
健人 緒方
Taketo Ogata
健人 緒方
加藤　賢治
Kenji Kato
賢治 加藤
清水　直樹
Naoki Shimizu
直樹 清水
尊史 萩
Takashi Hagi
尊史 萩
吉孝 内田
Yoshitaka Uchida
吉孝 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2015008258A priority Critical patent/JP6454554B2/ja
Priority to US15/315,998 priority patent/US10169667B2/en
Priority to PCT/JP2015/080407 priority patent/WO2016117200A1/ja
Priority to EP15878889.3A priority patent/EP3179445B1/en
Publication of JP2016134764A publication Critical patent/JP2016134764A/ja
Application granted granted Critical
Publication of JP6454554B2 publication Critical patent/JP6454554B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B60W2710/207—Steering angle of wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/28—Wheel speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】車両周囲の画像のみを用いて、高い精度で移動物体の位置を確実に検出する。
【解決手段】車両１０に搭載された後方カメラ１２（画像取得部）が車両１０の周囲の原画像Ｉ（ｘ，ｙ，ｔ）を取得して、動き領域検出部５４（第１物体検出部）が原画像Ｉ（ｘ，ｙ，ｔ）の中から物体を検出するとともに、差分演算部５８（第２物体検出部）が俯瞰画像生成部５６で生成された、車両１０を俯瞰した俯瞰画像Ｊ（ｘ，ｙ，ｔ）の中から物体を検出し、検出物体判定部６０が動き領域検出部５４と差分演算部５８で検出された物体が同一移動物体であると判定したときに、移動物***置特定部６２が車両１０から、動き領域検出部５４または差分演算部５８によって検出された物体までの距離Ｄｋと、物体の横方向位置ＦＸｋと、動き領域検出部５４によって検出された物体の実際の幅Ｗｋから移動物体の位置を特定する。
【選択図】図２

Description

本発明は、車両に設置されて、車両周囲の移動物体の位置を検出する車両用外界認識装置およびそれを用いた車両挙動制御装置に関するものである。
近年、車両に設置されたカメラで車両の周囲に存在する移動物体（障害物）を検出して、検出された移動物体の位置に基づいて、車両と移動物体との接触の危険を報知したり、車両と移動物体との接触を回避するように車両を自動停止させることが可能な車両用外界認識装置に関する技術が提案されている。
例えば、特許文献１に記載された物体検知装置にあっては、魚眼レンズを装着したカメラで撮像された画像を処理して、車両の周囲に存在する移動物体の検出を行っている。
また、特許文献２に記載された車両周辺監視装置にあっては、異なる時刻に撮像された２枚の原画像から検出されたオプティカルフローと、２枚の原画像をそれぞれ座標変換して得た俯瞰画像同士の差分演算の結果を用いて移動物体と静止物体の検出を行っている。
特開２０１４−１５４８９８号公報 特開２０１１−４８５２０号公報
しかしながら、特許文献１に記載された物体検知装置にあっては、魚眼レンズを装着したカメラで撮像された画像を処理しているため、画像の、特に辺縁部において大きな歪曲が発生して被写体が傾いて画像化されていた。したがって、検出された物体（例えば歩行者の足元）の位置を正確に特定するのが困難であった。さらに、物体の位置（例えば歩行者の足元の位置）を確実に特定することができなければ、車両と物体の位置関係を正確に把握できない虞があった。そして、特許文献１では、検出された物体の位置を正確に特定して検出精度を向上させる方策に関して、具体的な言及はなされていなかった。
また、特許文献２に記載された車両周辺監視装置にあっては、検出された物体までの距離を計測する手段を備えていないため、単に物体の有無を検出して警報の用途に適用することはできるが、その位置を正確に把握して車両を制御する用途にまで適用することは困難であった。一方、特許文献２に記載された構成に、公知のレーダ等の測距センサを付加して、検出された物体までの距離を測定することは容易に想到できる。しかしながら、車両に搭載すべきセンサの種類が増えるため、システム構成が複雑になるとともにコストの上昇を招くという問題があった。
本発明は、上記課題に鑑みてなされたもので、測距センサ等を追加することなく、撮像部で撮像された画像のみを用いて、より高い精度で移動物体の位置を確実に検出することが可能な車両用外界認識装置およびそれを用いた車両挙動制御装置を提供することを目的とするものである。
前記課題を解決するために、本発明に係る車両用外界認識装置は、車両に搭載されて、前記車両の周囲の画像を取得する画像取得部と、前記画像の中から物体を検出する第１物体検出部と、前記画像から、前記車両を俯瞰した俯瞰画像を生成する俯瞰画像生成部と、前記俯瞰画像の中から物体を検出する第２物体検出部と、前記第１物体検出部で検出された物体と前記第２物体検出部で検出された物体とが所定距離以内に近接しているときに、同一移動物体であると判定する検出物体判定部と、前記検出物体判定部によって同一移動物体であると判定されたときに、前記車両から前記第１物体検出部または前記第２物体検出部によって検出された物体までの距離と前記物体の横方向位置と、前記第１物体検出部によって検出された物体の幅と、によって前記移動物体の位置を特定する移動物***置特定部と、を有することを特徴とする。
このように構成された本発明に係る車両用外界認識装置によれば、前記構成としたことによって、検出物体判定部が、第１物体検出部および第２物体検出部の検出結果に基づいて、所定距離以内に近接した物体を同一移動物体であると判定した後、移動物***置特定部が、第１物体検出部または第２物体検出部の検出結果に基づいて、検出された移動物体までの距離と横方向位置を算出して、さらに第１物体検出部の検出結果に基づいて、検出された移動物体の幅を算出するため、移動物体の位置と車両から移動物体までの距離をより高い精度で確実に検出することができる。
本発明の１実施形態である実施例１の車両用外界認識装置を用いた車両挙動制御装置のハードウェア構成を示すブロック図である。 本発明の１実施形態である実施例１の車両用外界認識装置を用いた車両挙動制御装置の機能構成を示す機能ブロック図である。 実施例１における後方カメラの車載状態を説明する図である。 実施例１における動き領域検出部（第１物体検出部）の詳細構成を示す機能ブロック図である。 後方カメラで撮像された原画像の一例を示す図である。 図５Ａに示す原画像を平面投影画像に変換した例を示す図である。 図５Ａに示す原画像を円筒面投影画像に変換した例を示す図である。 動き領域検出部にて、オプティカルフローに基づいて物体を検出する方法について説明する第１の図であり、時刻ｔ−Δｔに撮像された原画像の例を示す図である。 動き領域検出部にて、オプティカルフローに基づいて物体を検出する方法について説明する第２の図であり、時刻ｔに撮像された原画像の例を示す図である。 動き領域検出部にて、オプティカルフローに基づいて物体を検出する方法について説明する第３の図であり、検出されたオプティカルフローの例を示す図である。 オプティカルフローに基づいて検出された物体の検出結果について説明する図である。 オプティカルフローによって検出された物体の位置と大きさを表す情報の記憶形式について説明する図である。 実施例１における差分演算部（第２物体検出部）の詳細構成を示す機能ブロック図である。 差分演算部にて、俯瞰画像の差分演算によって物体を検出する方法について説明する第１の図であり、図６Ａの画像を変換した俯瞰画像の例を示す図である。 差分演算部にて、俯瞰画像の差分演算によって物体を検出する方法について説明する第２の図であり、図６Ｂの画像を変換した俯瞰画像の例を示す図である。 差分演算部にて、俯瞰画像の差分演算によって物体を検出する方法について説明する第３の図であり、図１０Ａの画像と図１０Ｂの画像の位置合わせを行った後で、図１０Ｂの俯瞰画像から図１０Ａの俯瞰画像を差し引いた結果を示す図である。 俯瞰画像の差分によって検出された物体の位置を表す情報の記憶形式について説明する図である。 俯瞰画像から検出された物体について説明する第１の図である。 俯瞰画像から検出された物体について説明する第２の図である。 俯瞰画像から検出された物体について説明する第３の図である。 実施例１において移動物体の位置を特定する方法について説明する図である。 実施例１に示した車両挙動制御装置で行われる処理全体の流れを示すフローチャートである。 図１４のフローチャートにおける、オプティカルフローに基づく物体検出処理の流れを示すフローチャートである。 図１４のフローチャートにおける俯瞰画像の差分に基づく物体検出処理の流れを示すフローチャートである。 図１４のフローチャートにおける検出物体判定処理の流れを示すフローチャートである。 図１４のフローチャートにおける移動物***置特定処理の流れを示すフローチャートである。 本発明の１実施形態である実施例２の車両用外界認識装置を用いた車両挙動制御装置の機能構成を示す機能ブロック図である。 実施例２における動き領域検出部（第１物体検出部）の詳細構成を示す機能ブロック図である。 実施例２で行われる移動物***置特定処理の流れを示すフローチャートである。 本発明の１実施形態である実施例３の車両用外界認識装置を用いた車両挙動制御装置の機能構成を示す機能ブロック図である。 実施例３における動き領域検出部（第１物体検出部）の詳細構成を示す機能ブロック図である。 実施例３において取得された原画像の一例を示す図である。 図２４Ａの原画像から生成された俯瞰画像を示す図である。 図２４Ａに示す車両と後方カメラの位置関係を示す図である。 実施例３に示した車両挙動制御装置で行われる処理全体の流れを示すフローチャートである。 図２５のフローチャートにおける歩行者パターン検出処理，車両パターン検出処理の流れを示すフローチャートである。 図２５のフローチャートにおける検出物体判定処理の流れを示す第１のフローチャートである。 図２５のフローチャートにおける検出物体判定処理の流れを示す第２のフローチャートである。 図２５のフローチャートにおける検出物体判定処理の流れを示す第３のフローチャートである。 図２５のフローチャートにおける移動物***置特定処理の流れを示すフローチャートである。 実施例３において、移動物体として歩行者が検出されたときに、その存在位置を特定する方法を示す図である。 実施例３において、移動物体として車両が検出されたときに、その存在位置を特定する方法を示す図である。
本発明に係る車両用外界認識装置を用いた車両挙動制御装置の具体的な実施形態について、図面を参照して説明する。
本実施例１は、本発明を、車両後方の移動物体を検出して、後退駐車時に移動物体と接触する可能性があるときには、車両に制動をかけて停止させる車両挙動制御装置に適用したものである。（車両挙動制御装置のハードウェア構成の説明）
図１を用いて本実施例の車両挙動制御装置のハードウェア構成について説明する。本実施例に係る車両挙動制御装置１００ａは、車両１０に搭載されて、車両１０の後方に存在する歩行者や他車両等の移動物体を認識する車両用外界認識装置５０ａと、認識された移動物体の位置に基づいて車両１０の制動制御を行う車両挙動制御部８０からなる。
車両用外界認識装置５０ａは、後方カメラ１２と、カメラインタフェース１４と、車輪速センサ２０と、操舵角センサ２２と、センサインタフェース２４と、画像処理ＥＣＵ１８と、メモリ２６からなる。
車両挙動制御部８０は、車両挙動制御ＥＣＵ３０と、ブレーキアクチェータ３６と、表示制御部３２と、モニタ３４からなる。
また、車両挙動制御装置１００ａは、必要な情報の受け渡しを行うための、ＣＡＮバス等からなるシステムバス１６を備えている。
後方カメラ１２は、車両１０の後方の路面を含む画像を撮像する。後方カメラ１２で撮像された画像は、カメラインタフェース１４とＣＡＮバス等で構成されたシステムバス１６を経て、画像の認識処理を実行する画像処理ＥＣＵ１８に送られる。また、車両１０には、車輪速を検出する車輪速センサ２０と操舵角を検出する操舵角センサ２２が設けられて、それらのセンサの出力は、センサインタフェース２４とシステムバス１６を介して画像処理ＥＣＵ１８に送られる。
画像処理ＥＣＵ１８では、後述する画像処理を実行して歩行者や他車両等の移動物体を検出する。その際、画像処理の途中経過や結果はメモリ２６に一時記憶される。
画像処理で検出された移動物体の位置情報は、車両挙動制御部８０に送られる。そして、車両１０の挙動を制御する車両挙動制御ＥＣＵ３０において、車両１０と移動物体が接触する可能性が判定される。接触の可能性があるときには、車両挙動制御ＥＣＵ３０は、表示制御部３２を介して車両１０に設置されたモニタ３４に必要な警報や警告を出力し、車両１０の運転者に注意喚起を行う。また、車両挙動制御ＥＣＵ３０において、接触が避けられないと判定されたときには、車両１０の制動力を発生させるブレーキアクチェータ３６を駆動して車両１０の制動を行う。
（車両挙動制御装置の機能構成の説明）
図２，図３を用いて本実施例の車両挙動制御装置１００ａの機能構成について説明する。図２は車両挙動制御装置１００ａの機能構成を示す機能ブロック図である。図３は、車両挙動制御装置１００ａの車載状態を示す図である。
車両用外界認識装置５０ａは、図２に示すように、後方カメラ１２と、後方カメラ１２で撮像した画像をデジタル情報に変換して原画像Ｉ（ｘ，ｙ，ｔ）として取得する画像取得部５２と、異なる時刻に取得された２枚の原画像の中から移動物体を検出する動き領域検出部５４（第１物体検出部）と、原画像Ｉ（ｘ，ｙ，ｔ）を真上から見下ろした俯瞰画像Ｊ（ｘ，ｙ，ｔ）に変換する俯瞰画像生成部５６と、異なる時刻に取得された２枚の原画像からそれぞれ生成された２枚の俯瞰画像同士の差分演算を行って移動物体を検出する差分演算部５８（第２物体検出部）と、動き領域検出部５４で検出された物体と差分演算部５８で検出された物体とが同一の移動物体であるか否かを判定する検出物体判定部６０と、検出物体判定部６０において同一の移動物体であると判定されたときに、その移動物体の存在位置を特定する移動物***置特定部６２と、車輪速センサ２０が検出した車両１０の車輪速と操舵角センサ２２が検出した車両１０の操舵角を取得する車両情報取得部６４からなる。
車両挙動制御部８０は、図２に示すように、車両１０と移動物体との接触可能性を判定する接触判定部８２と、車両１０と移動物体との接触可能性があるときにこれを警報する警報出力部８４と、車両１０と移動物体との接触が避けられないときに車両１０に制動をかけて停止させる制動制御部８６からなる。
なお、後方カメラ１２は、図３に示すように、車両１０の後部ライセンスプレート付近に、後方に向けて略水平に設置されており、路面を含む後方観測範囲１２ａの画像を観測している。このとき、車両１０の直近から遠方までの範囲を、左右の広範囲に亘って観測するために、後方カメラ１２には魚眼レンズに代表される画角の広いレンズが装着されている。
（原画像からの物体検出方法の説明）
図４，図５Ａから図５Ｃを用いて、動き領域検出部５４（第１物体検出部）において行われる、原画像から物体を検出する方法について説明する。
図４は、動き領域検出部５４の詳細な内部構成を示す機能ブロック図である。動き領域検出部５４は、原画像Ｉ（ｘ，ｙ，ｔ）を、路面から垂直に起立した、車両１０の左右方向と平行な方向（後方カメラ１２の受光面と平行な方向）に延びる仮想的な平面に投影した平面投影画像Ｉｐ（ｘ，ｙ，ｔ）に変換する平面歪み補正部５４ａを有する。また動き領域検出部５４は、時刻ｔに撮像された原画像Ｉ（ｘ，ｙ，ｔ）から生成された平面投影画像Ｉｐ（ｘ，ｙ，ｔ）と、時刻ｔ-Δｔに撮像された原画像Ｉ（ｘ，ｙ，ｔ-Δｔ）から生成された平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）とからオプティカルフローを検出するオプティカルフロー検出部５４ｂを有する。さらに動き領域検出部５４は、時刻ｔ-Δｔから時刻ｔまでの間の車両１０の車輪速と操舵角の変化に基づいて、時間Δｔの間の車両１０の移動に伴って発生すると予想されるオプティカルフローを算出する車両挙動フロー検出部５４ｃを有する。そして動き領域検出部５４は、オプティカルフロー検出部５４ｂで検出されたオプティカルフローと、車両挙動フロー検出部５４ｃで算出されたオプティカルフローに基づいて物体を検出する物体検出部５４ｄを有する。なお、ここで、時間Δｔは使用するハードウェアの性能に応じた値、例えば数十msecの値に設定される。
ここで、後方カメラ１２には画角の広いレンズが装着されているため、図５Ａに示すように、観測された原画像Ｉ（ｘ，ｙ，ｔ）は、特に画像の縁部において大きな歪曲を有している。ここで、原画像Ｉ（ｘ，ｙ，ｔ）の中に歩行者Ｘ１と歩行者Ｘ２が写っていたとすると、図５Ａに示すように、辺縁部で観測される歩行者Ｘ２は、斜めに傾いて写る。後述するように、歩行者は矩形領域として検出されるため、原画像Ｉ（ｘ，ｙ，ｔ）をそのまま処理すると、検出される歩行者Ｘ２の位置と幅にずれが生じてしまう。そこで、平面歪み補正部５４ａにおいて、この歪曲を取り除く処理を行う。
具体的には、原画像Ｉ（ｘ，ｙ，ｔ）を、路面から垂直に起立した、車両１０の左右方向と平行な方向に延びる仮想的な平面に投影して、図５Ｂに示す平面投影画像Ｉｐ（ｘ，ｙ，ｔ）（投影画像）を生成する。この仮想的な平面への投影処理によって、原画像Ｉ（ｘ，ｙ，ｔ）の中に生じていた歪曲を取り除くことができ、歩行者Ｘ２は図５Ｂに示すように直立した状態に変換される。そして、この平面投影画像Ｉｐ（ｘ，ｙ，ｔ）の中から歩行者Ｘ１，Ｘ２を検出することによって、歩行者の位置と幅を正確に特定することができる。
平面投影画像Ｉｐ（ｘ，ｙ，ｔ）の生成は、予め用意された歪み補正テーブルを用いて行う。この歪み補正テーブルは、歪み補正前の画像の座標と歪み補正後の画像の座標の対応関係をテーブル化したものである。なお、歪み補正テーブルは、いわゆるキャリブレーションを行うことによって、予め生成して平面歪み補正部５４ａに記憶しておく。
図６Ａから図６Ｃは、動き領域検出部５４の作用を説明する図である。図６Ａは時刻ｔ-Δｔにおいて後方カメラ１２（図２）が撮像した原画像Ｉ（ｘ，ｙ，ｔ-Δｔ）から得た平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）の一例である。図６Ａに示すように、平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）の中には歩行者Ｘ１と駐車枠線Ｙが写っているものとする。
図６Ｂは、時刻ｔにおいて後方カメラ１２（図２）が撮像した原画像Ｉ（ｘ，ｙ，ｔ）から得た平面投影画像Ｉｐ（ｘ，ｙ，ｔ）の一例である。図６Ｂと図６Ａを比較すると、歩行者Ｘ１は時間Δｔの間に前方（画像上では右方）に移動していることがわかる。また、駐車枠線Ｙの位置が移動していることから、車両１０が時間Δｔの間に後方に移動していることがわかる。
図６Ｃは、平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）と平面投影画像Ｉｐ（ｘ，ｙ，ｔ）を比較することによって、歩行者の移動に伴って発生したオプティカルフローのみを検出した結果を示す図である。
平面投影画像Ｉｐ（ｘ，ｙ，ｔ-Δｔ）と平面投影画像Ｉｐ（ｘ，ｙ，ｔ）を比較すると、車両１０の移動に伴って発生するオプティカルフローも検出される。車両１０の移動に伴って発生するオプティカルフローは、時間Δｔの間の車両の挙動（車輪速と操舵角）を積分することによって予測することができる。図６Ｃに示すオプティカルフローＯｐは、このようにして予測した車両１０の動きに伴って発生するオプティカルフローとは異なる方向を有するオプティカルフローのみを検出した結果を示している。すなわち、図６Ｃの画像は、車両１０の移動に伴うオプティカルフロー（駐車枠線Ｙの移動を示すオプティカルフロー）が抑制されて、歩行者の移動を表したオプティカルフローＯｐのみが検出されたものである。
このようにして検出されたオプティカルフローＯｐを分析して、同一方向に同一量だけ移動している領域を統合して、ひとつの物体であると認識することができる。なお、異なる時刻に撮像された２枚の画像の中からオプティカルフローＯｐを検出する方法は、広く一般に用いられているため、詳細な処理内容の説明は省略する。ごく簡単に説明すると、一方の画像を複数の小領域（一方の小領域）に分割して、各小領域と濃淡値の分布がよく似ている小領域（他方の小領域）を、他方の画像の中から探索する処理を行って、対応付けられた一方の小領域がオプティカルフローの始点とされて、他方の小領域がオプティカルフローの終点とされる。
このようにして検出されたオプティカルフローの終点を構成する小領域のうち、オプティカルフロー同士が近接して、同じ方向を向いて同じ長さを有しているときに、これら複数のオプティカルフローの終点となる小領域を併合して、ひとつの物体を表す領域として検出する。
図７は、このようにして検出された物体を表す領域の一例である。図７に示すように、歩行者Ｘ１の領域が物体として検出されて、歩行者Ｘ１に外接する矩形領域Ｒ１の位置が動き領域検出部５４に記憶される。なお、複数の物体が検出されたときには、各物体に外接する複数の矩形領域Ｒｉ（ｉ＝１，２，…）が検出されて、それぞれの矩形領域Ｒｉの位置が動き領域検出部５４に記憶される。
図８は、動き領域検出部５４（物体検出部５４ｄ（図４））に記憶される物体の位置と大きさの記憶形式について説明する図である。図８に示すように、矩形領域Ｒｉ（ｉ＝１，２，…）の番号とともに、各矩形領域の左上の頂点座標（ｓｘｉ，ｓｙｉ）と右下の頂点座標（ｅｘｉ，ｅｙｉ）が、それぞれ記憶される。
（俯瞰画像からの物体検出方法の説明）
図９と図１０Ａから図１０Ｃを用いて、差分演算部５８（第２物体検出部）において行われる、俯瞰画像から物体を検出する方法について説明する。
図９は差分演算部５８の詳細構成を示す機能ブロック図である。図９に示すように、差分演算部５８は、俯瞰画像位置合わせ部５８ａと、差分演算実行部５８ｂと、物体検出部５８ｃからなる。
図１０Ａから図１０Ｃは、差分演算部５８の作用を説明する図である。図１０Ａは時刻ｔ-Δｔにおいて後方カメラ１２（図２）が撮像した原画像Ｉ（ｘ，ｙ，ｔ-Δｔ）（図６Ａ）を、俯瞰画像生成部５６（図２）において俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）に変換した結果の一例である。図１０Ａに示すように、歩行者Ｘ１（図６Ａ）は、俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）上で領域Ｘ１’に変換される。また、駐車枠線Ｙ（図６Ａ）は、俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）上で領域Ｙ’に変換される。なお、俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）への変換は、予め俯瞰画像生成部５６に記憶された座標変換テーブル（非図示）を用いて行う。この座標変換テーブルには、原画像の座標と俯瞰画像の座標の対応関係が記憶されている。なお、この座標変換テーブルに、前述した歪曲を補正する歪み補正テーブルの機能も盛り込んで、原画像を俯瞰画像に変換する際に、歪曲を合わせて補正してもよい。
図１０Ｂは、時刻ｔにおいて後方カメラ１２（図２）が撮像した原画像Ｉ（ｘ，ｙ，ｔ）（図６Ｂ）を俯瞰画像Ｊ（ｘ，ｙ，ｔ）に変換した結果の一例である。図１０Ｂに示すように、歩行者Ｘ１（図６Ｂ）の移動に伴って領域Ｘ１’の位置が移動する。また、図１０Ｂと図１０Ａを比較すると、車両１０の移動に伴って駐車枠線Ｙ（図６Ｂ）に対応する領域Ｙ’の位置も移動する。
図１０Ｃは、差分演算実行部５８ｂにおいて、俯瞰画像Ｊ（ｘ，ｙ，ｔ）から俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）を差し引く差分演算（フレーム差分）を行った結果を示す画像である。差分演算を行う際には、時間Δｔの間の車両の挙動に伴って発生する路面の移動を抑制するため、俯瞰画像位置合わせ部５８ａにおいて、車両の挙動（車輪速と操舵角の変化）から予測される俯瞰画像の路面領域の移動量と移動方向に基づいて、俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）を予め座標変換して、俯瞰画像Ｊ（ｘ，ｙ，ｔ）と位置合わせをしておく。
すなわち、差分演算の結果を示す図１０Ｃの画像においては、俯瞰画像Ｊ（ｘ，ｙ，ｔ）と俯瞰画像Ｊ（ｘ，ｙ，ｔ-Δｔ）の間で駐車枠線Ｙに対応する領域Ｙ’の位置が一致するため、領域Ｙ’の情報は抑制されて、歩行者に対応する領域Ｘ１’の移動に対応する領域のみが検出される。
次に、物体検出部５８ｃにおいて、差分演算の結果得られた画像（図１０Ｃ）の中から物体の検出を行う。
具体的には、俯瞰画像同士の差分演算によって得られた結果を所定のしきい値で２値化して、抽出された領域を物体を表す領域とする。なお、検出された領域にはラベル付けを行い、さらに各領域Ｘｊ’（ｊ＝１，２，…）の重心位置を計算して、個々の領域を識別できるようにしておく。
図１１は、物体検出部５８ｃに記憶される物体の位置の記憶形式について説明する図である。図１１に示すように、検出された領域の番号とともに、物体として検出された各領域Ｘｊ’（ｊ＝１，２，…）の重心位置の水平座標ｇｘｊ（ｊ＝１，２，…）と垂直座標ｇｙｊ（ｊ＝１，２，…）がそれぞれ記憶される。
（移動物体判定方法の説明）
図７と図１２Ａから図１２Ｃを用いて、検出物体判定部６０（図２）において行われる、動き領域検出部５４（第１物体検出部）で検出された物体と差分演算部５８（第２物体検出部）で検出された物体が同一の移動物体であるか否かを判定する処理について説明する。
動き領域検出部５４（第１物体検出部）で検出された物体と差分演算部５８（第２物体検出部）で検出された物体が同一の移動物体であるか否かを判定するために、まず、検出された各移動物体を代表する座標値を算出する。
すなわち、動き領域検出部５４（第１物体検出部）で検出された物体から、物***置座標として、図７に示す点Ｆ１（ｆｘ１，ｆｙ１）の座標値を算出する。点Ｆ１は、物体に外接する矩形領域Ｒ１の下辺の中点に対応する点である。したがって、その水平座標はｆｘ１＝（ｓｘ１＋ｅｘ１）／２で算出される。また垂直座標はｆｙ１＝ｅｙ１で算出される。なお、複数の物体が検出されたときには、図８に示した記憶情報を参照して、複数の点Ｆｉ（ｆｘｉ，ｆｙｉ）（ｉ＝１，２，…）の座標値をそれぞれ算出する。ここで、点Ｆｉ（ｆｘｉ，ｆｙｉ）（ｉ＝１，２，…）の座標値は、動き領域検出部５４で物体検出処理を行った際に併せて算出して、図８の情報と併せて記憶しておいてもよい。
次に、差分演算部５８（第２物体検出部）で検出された物体から、検出された領域の重心座標（図１１）を用いて、図１２Ａから図１２Ｃで説明する手順によって、物体を代表する座標値を算出する。
まず、図１２Ａに示すように、俯瞰画像同士の差分結果を示す画像の中に、後方カメラ１２（図２）の位置を表す後方カメラ位置Ｃ（ｃｘ，ｃｙ）を設定する。この後方カメラ位置Ｃは、俯瞰画像の表示範囲に応じて一意に決定される。図１２Ａの例では、俯瞰画像の下辺上に設置されているものとする。なお、移動物体を表す領域Ｘ１’の重心点Ｇ１の座標はＧ１（ｇｘ１，ｇｙ１）であるとする。
次に、図１２Ｂに示すように、重心点Ｇ１（ｇｘ１，ｇｙ１）と後方カメラ位置Ｃ（ｃｘ，ｃｙ）を結ぶ線分Ｌ１を設定する。
さらに、図１２Ｃに示すように、領域Ｘ１’に属する点のうち、後方カメラ位置Ｃ（ｃｘ，ｃｙ）に最も接近した接地点Ｈ１（ｈｘ１，ｈｙ１）を求める。具体的には、線分Ｌ１上を重心点Ｇ１（ｇｘ１，ｇｙ１）から後方カメラ位置Ｃ（ｃｘ，ｃｙ）に向かって探索して、領域Ｘ１’と同じラベル値を有する、重心点Ｇ１から最も離れた点の位置を見つければよい。このようにして探索された接地点Ｈ１（ｈｘ１，ｈｙ１）は、領域Ｘ１’が路面と接地する接地点の位置を表している。なお、俯瞰画像の差分を行って複数の物体が検出されたときには、図１１に示した物体の位置情報を参照して、複数の接地点Ｈｊの画像上の座標値（ｈｘｊ，ｈｙｊ）（ｊ＝１，２，…）をそれぞれ算出する。ここで、接地点Ｈｊの画像上の座標値（ｈｘｊ，ｈｙｊ）（ｊ＝１，２，…）は、俯瞰画像から物体を検出する際に同時に算出して、図１１の情報と併せて記憶しておいてもよい。
次に、各領域の物***置座標を示す、画像上の点Ｆｉ（ｉ＝１，２，…）（図７）の座標と、各領域の接地点を示す、画像上の接地点Ｈｊ（ｊ＝１，２，…）の座標の位置関係を比較する。すなわち、後方カメラ１２（図２）の設置位置から見た点Ｆｉの相対位置と、後方カメラ１２（図２）の設置位置から見た接地点Ｈｊの相対位置の距離を判定する。
そのため、点Ｆｉと接地点Ｈｊを、それぞれ、図１３に示すように、後方カメラ位置Ｃ（ｃｘ，ｃｙ）から見た相対座標に変換する。すなわち、点Ｆｉの相対位置は、後方カメラ１２（図２）の設置位置を原点として、車両１０の幅方向をＸ軸、車両１０の前後方向をＹ軸としたＸＹ座標系における座標値（ＦＸｉ，ＦＹｉ）（ｉ＝１，２，…）として算出することができる。また、後方カメラ位置Ｃ（ｃｘ，ｃｙ）から見た接地点Ｈｊの相対位置も、同様にして、ＸＹ座標系における座標値（ＨＸｊ，ＨＹｊ）（ｊ＝１，２，…）として算出することができる。
なお、点Ｆｉ（ｆｘｉ，ｆｙｉ）の座標値（ＦＸｉ，ＦＹｉ）への換算と、接地点Ｈｊ（ｈｘｊ，ｈｙｊ）の座標値（ＨＸｊ，ＨＹｊ）への換算は、後方カメラ１２の光学パラメータである焦点距離ｆや後方カメラ１２の設置位置（高さや俯角等）を用いて行うことができる。
このとき、図１３に示すように、点Ｆｉ（ｆｘｉ，ｆｙｉ）のＸＹ座標系における座標値（ＦＸｉ，ＦＹｉ）と接地点Ｈｊ（ｈｘｊ，ｈｙｊ）のＸＹ座標系における座標値（ＨＸｊ，ＨＹｊ）は必ずしも一致しない。これは、点Ｆｉ（ｆｘｉ，ｆｙｉ）は物体の幅や横方向位置の情報を含む矩形領域Ｒｉの位置に基づいて算出された点であり、接地点Ｈｊ（ｈｘｊ，ｈｙｊ）は物体の接地点の位置に基づいて算出された点であるため、計測方法の違いに伴う誤差が生じるためである。
したがって、検出物体判定部６０（図２）は、ＸＹ座標系における座標値に換算された、点Ｆｉと接地点Ｈｊの距離を求めて、その距離の大きさを判定した結果、点Ｆｉと接地点Ｈｊが所定距離以内に近接しているときに、動き領域検出部５４（第１物体検出部）で検出された物体（矩形領域Ｒｉ）と、差分演算部５８（第２物体検出部）で検出された物体（領域Ｘｊ’）が同一移動物体であると判定する。
矩形領域Ｒｉと領域Ｘｊ’が同一移動物体であると判定されたとき、図８と図１１に示す検出結果が統合されて、新たに統合物体情報として検出物体判定部６０に記憶される。このとき、統合結果は添字ｋを用いて、点Ｆｋ（Ｆｉ）のＸＹ座標系における座標値（ＦＸｋ，ＦＹｋ）（ｋ＝１，２，…）と接地点Ｈｋ（Ｈｊ）のＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）（ｋ＝１，２，…）は同じ移動物体を示す情報であるとして記憶される。
（移動物***置の特定方法の説明）
移動物体の位置の特定は、移動物***置特定部６２（図２）で行われる。以下、その方法について図１３を用いて説明する。なお、図１３は、点Ｆｉと接地点Ｈｊが近接していると判定されて、それらが同一移動物体を示すものと判定されて統合された状態を示す。すなわち、統合前には添字ｉ，ｊで管理していた情報を、新たに添字ｋを付与して管理する。
まず、先述した移動物体判定の結果、同一移動物体と判定されて検出物体判定部６０に記憶された統合物体情報である、各移動物体を示す矩形領域Ｒｋ（Ｒｉ）の左右端の画像上の座標値ｓｘｋ，ｅｘｋ（ｋ＝１，２，…）と、接地点Ｈｋ（Ｈｊ）のＸＹ座標系（図１３）における座標値（ＨＸｋ（ＨＸｊ），ＨＹｋ（ＨＹｊ））（ｋ＝１，２，…）がそれぞれ読み出される。
次に、矩形領域Ｒｋの左右端の画像上の座標値ｓｘｋ，ｅｘｋ（ｋ＝１，２，…）の差分値を算出することによって、移動物体の画像上の幅ｗｋを算出する。すなわち、移動物体の画像上の幅ｗｋは、ｗｋ＝ｅｘｋ‐ｓｘｋ（ｋ＝１，２，…）によって算出される。
さらに、座標値（ＨＸｋ，ＨＹｋ）（ｋ＝１，２，…）と、移動物体の画像上の幅ｗｋと、後方カメラ１２の光学パラメータである焦点距離ｆを用いて移動物体の実際の幅Ｗｋ（ｋ＝１，２，…）を算出する。
具体的には、Ｗｋ＝ｗｋ×（後方カメラ位置Ｃと接地点Ｈｋの距離Ｄｋ）／ｆによって算出することができる。なお、距離Ｄｋは、図１３に示すように、接地点Ｈｋ（Ｈｊ）のＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）を用いて、Ｄｋ＝（ＨＸｋ２＋ＨＹｋ２）１／２によって算出することができる。
ここで算出された、移動物体までの距離Ｄｋと、移動物体の実際の幅Ｗｋは、移動物***置特定部６２に記憶される。
（車両挙動制御の作用の説明）
車両挙動制御部８０の作用について、図２を用いて説明する。先述した移動物体検出処理によって検出された移動物体の位置情報は、図２に示す接触判定部８２に送られる。
接触判定部８２は、移動物体の位置情報と車両１０の挙動情報（車輪速と操舵角）から、車両１０が移動物体に接触する可能性を算出する。具体的には、前述した移動物***置特定処理によって算出された、車両１０（後方カメラ１２）と各移動物体との実際の距離Ｄｋ（ｋ＝１，２，…）と移動物体の実際の幅Ｗｋ（ｋ＝１，２，…）から、車両１０が現在の車速と現在の操舵角のまま移動したと仮定したときに、移動物体と接触する可能性を算出する。
その結果、車両１０が移動物体と接触する可能性があるときには、警報出力部８４から警報を出力して注意喚起を行う。
また、移動物体と接触する可能性が非常に高いときには、制動制御部８６を作動させて車両１０に制動力を発生させ、強制的に車両を停止させ、移動物体との接触を回避する。
（車両挙動制御装置で行われる処理の流れの説明）
車両挙動制御装置１００ａで行われる一連の処理の流れについて、図１４のフローチャートと図２の機能ブロック図を用いて説明する。なお、ここでは各処理の概要を説明するに留め、各処理の詳細な流れの説明は後述する。
（ステップＳ１０）後方カメラ１２で車両１０の後方の画像を取得する。
（ステップＳ１２）動き領域検出部５４（第１物体検出部）において、オプティカルフローに基づく移動物体検出処理を行う。
（ステップＳ１４）俯瞰画像生成部５６において俯瞰画像生成処理を行う。
（ステップＳ１６）差分演算部５８（第２物体検出部）において、俯瞰画像の差分に基づく移動物体検出処理を行う。
（ステップＳ１８）検出物体判定部６０において検出物体判定処理を行う。
（ステップＳ２０）移動物***置特定部６２において移動物***置特定処理を行う。
（ステップＳ２２）車両挙動制御部８０において、車両１０の挙動制御を行う。
なお、各ステップで行われる処理の詳細な流れについては後述する。
（オプティカルフローに基づく物体検出処理の流れの説明）
図１４のステップＳ１２で行われるオプティカルフローに基づく物体検出処理の流れについて、図１５のフローチャートと図４の機能ブロック図を用いて説明する。
（ステップＳ３０）平面歪み補正部５４ａにおいて歪曲補正処理を行う。
（ステップＳ３２）オプティカルフロー検出部５４ｂにおいてオプティカルフロー検出処理を行う。
（ステップＳ３４）車両挙動フロー検出部５４ｃにおいて車両挙動算出処理を行う。
（ステップＳ３６）物体検出部５４ｄにおいて、車両挙動フローと方向が異なるオプティカルフローの抽出処理を行う。
（ステップＳ３８）物体検出部５４ｄにおいて、抽出されたオプティカルフローの終点に対応する領域のラベル付け処理を行う。
（ステップＳ４０）物体検出部５４ｄにおいて、ラベル付けされた各領域に外接する矩形領域の登録処理を行い、その後メインルーチン（図１４）に戻る。
（俯瞰画像の差分に基づく物体検出処理の流れの説明）
図１４のステップＳ１６で行われる俯瞰画像の差分に基づく物体検出処理の流れについて、図１６のフローチャートと図２，図９の機能ブロック図を用いて説明する。
（ステップＳ５０）俯瞰画像生成部５６（図２）において俯瞰画像Ｊ（ｘ，ｙ，ｔ‐Δｔ）を生成する。
（ステップＳ５２）俯瞰画像生成部５６（図２）において俯瞰画像Ｊ（ｘ，ｙ，ｔ）を生成する。
（ステップＳ５４）俯瞰画像位置合わせ部５８ａ（図９）において、車両情報に基づいて俯瞰画像Ｊ（ｘ，ｙ，ｔ‐Δｔ）を変形処理し、俯瞰画像Ｊ（ｘ，ｙ，ｔ）と位置合わせを行う。
（ステップＳ５６）差分演算実行部５８ｂ（図９）においてフレーム差分を実行する。
（ステップＳ５８）物体検出部５８ｃ（図９）において、フレーム差分の結果に対して、２値化処理とラベリング処理を行う。
（ステップＳ６０）物体検出部５８ｃ（図９）において、ラベル付けされた各領域の重心位置の登録処理を行い、その後メインルーチン（図１４）に戻る。
（検出物体判定処理の流れの説明）
図１４のステップＳ１８で行われる検出物体判定処理の流れについて、図１７のフローチャートを用いて説明する。なお、検出物体判定処理は、図２に示した検出物体判定部６０において行われる。
（ステップＳ７０）各矩形領域Ｒｉ（ｉ＝１，２，…）の位置から、物体の位置座標として点Ｆｉ（ｆｘｉ，ｆｙｉ）（ｉ＝１，２，…）を算出する。
（ステップＳ７２）点Ｆｉ（ｆｘｉ，ｆｙｉ）（ｉ＝１，２，…）のＸＹ座標系における座標値（ＦＸｉ，ＦＹｉ）（ｉ＝１，２，…）を算出する。なお、ステップＳ７０とステップＳ７２は、全ての矩形領域Ｒｉに対して繰り返して実行する。
（ステップＳ７４）各領域Ｘｊ’（ｊ＝１，２，…）の重心位置から物体の接地点Ｈｊの画像上の座標値（ｈｘｊ，ｈｙｊ）（ｊ＝１，２，…）を算出する。
（ステップＳ７６）物体の接地点である接地点Ｈｊの画像上の座標値（ｈｘｊ，ｈｙｊ）（ｊ＝１，２，…）のＸＹ座標系における座標値（ＨＸｊ，ＨＹｊ）（ｊ＝１，２，…）を算出する。なお、ステップＳ７４とステップＳ７６は、全ての領域Ｘｊ’に対して繰り返して実行する。
（ステップＳ７８）座標値（ＦＸｉ，ＦＹｉ）（ｉ＝１，２，…）と座標値（ＨＸｊ，ＨＹｊ）（ｊ＝１，２，…）が所定距離以内に近接しているか否かを、全ての添字ｉ，添字ｊの組み合わせについて判定する。所定距離以内であるときはステップＳ８０に進み、それ以外のときは、判定する領域を変更してステップＳ７８を繰り返す。
（ステップＳ８０）座標値（ＦＸｉ，ＦＹｉ）に対応する矩形領域Ｒｉと座標値（ＨＸｊ，ＨＹｊ）に対応する領域Ｘｊ’は同一移動物体であると判定されて、２つの検出結果を紐付ける。また、ＸＹ座標系における座標値（ＦＸｉ，ＦＹｉ）（ｊ＝１，２，…）と座標値（ＨＸｊ，ＨＹｊ）（ｊ＝１，２，…）を記憶する。なお、ステップＳ７８とステップＳ８０は、検出された全ての物体に対して繰り返して実行する。ここで、同一移動物体であると判定された矩形領域Ｒｉと領域Ｘｊ’は、添字ｋ（ｋ＝１，２，…）を用いて、矩形領域Ｒｋ（Ｒｉ）と領域Ｘｋ’（Ｘｊ’）は同じ移動物体を表す領域であるとして紐付けられて記憶される。すなわち、矩形領域Ｒｉを代表する座標値（ＦＸｉ，ＦＹｉ）は座標値（ＦＸｋ，ＦＹｋ）として記憶され、領域Ｘｊ’ を代表する座標値（ＨＸｊ，ＨＹｊ）は座標値（ＨＸｋ，ＨＹｋ）として記憶される。その後、メインルーチン（図１４）に戻る。
（移動物***置特定処理の流れの説明）
図１４のステップＳ２０で行われる移動物***置特定処理の流れについて、図１８のフローチャートを用いて説明する。なお、移動物***置特定処理は、図２に示した移動物***置特定部６２において行われる。
（ステップＳ９０）検出物体判定処理によって同一移動物体と判定された移動物体の情報を読み出す。
（ステップＳ９２）同一移動物体を示している動き領域検出部５４（第１物体検出部）の検出結果と差分演算部５８（第２物体検出部）の検出結果を取得する。
（ステップＳ９４）矩形領域Ｒｋの左右端の座標値ｓｘｋ，ｅｘｋと、接地点ＨｋのＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）を読み出す。
（ステップＳ９６）座標値ｓｘｋ，ｅｘｋから、移動物体の画像上の幅ｗｋを算出する。
（ステップＳ９８）座標値（ＨＸｋ，ＨＹｋ）と移動物体の画像上の幅ｗｋから、移動物体の実際の幅Ｗｋを算出する。なお、このとき、移動物体までの距離Ｄｋも算出しておく。
（ステップＳ１００）移動物体の実際の幅Ｗｋと、移動物体までの距離Ｄｋと、ＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）を、検出された移動物体の位置情報として登録する。なお、ステップＳ９０からステップＳ１００の処理は、全ての添字ｋ（ｋ＝１，２，…）について行う。その後、メインルーチン（図１４）に戻る。
本発明に係る車両用外界認識装置を用いた車両挙動制御装置の別の具体的な実施形態について、図面を参照して説明する。
（実施例２の機能構成の説明）
本実施例２は、本発明を、車両後方の移動物体を検出して、後退駐車時に移動物体と接触する可能性があるときには、車両に制動をかけて停止させる車両挙動制御装置に適用したものである。
図１９は、実施例２に係る車両挙動制御装置１００ｂの機能構成を示す機能ブロック図である。車両挙動制御装置１００ｂは、前述した車両挙動制御装置１００ａが有する車両用外界認識装置５０ａ（図２）の代わりに車両用外界認識装置５０ｂを有している。
車両用外界認識装置５０ｂの内部構成は、車両用外界認識装置５０ａの内部構成とほぼ同様であるが、動き領域検出部５５（第１物体検出部）の内部構成と移動物***置特定部６３の内部構成のみが異なっている。以下、動き領域検出部５５の内部構成と移動物***置特定部６３の内部構成についてのみ説明する。なお、それ以外の構成要素の機能は実施例１で説明した通りであるため、説明は省略する。
（歪曲補正方法の説明）
図２０は、車両挙動制御装置１００ｂに実装された動き領域検出部５５（第１物体検出部）の詳細な内部構成を示す機能ブロック図である。動き領域検出部５５は、原画像Ｉ（ｘ，ｙ，ｔ）を、路面に垂直に立てた仮想的な円筒面に投影した円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）（投影画像）に変換する円筒面歪み補正部５４ｅと、時刻ｔに撮像された原画像から生成された円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）と時刻ｔ-Δｔに撮像された原画像から生成された円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ-Δｔ）からオプティカルフローを検出するオプティカルフロー検出部５４ｂと、時刻ｔ-Δｔから時刻ｔまでの間の車両１０の車輪速と操舵角の変化に基づいて、時間Δｔの間の車両１０の移動に伴って発生すると予想されるオプティカルフローを算出する車両挙動フロー検出部５４ｃと、オプティカルフロー検出部５４ｂで検出されたオプティカルフローと車両挙動フロー検出部５４ｃで算出されたオプティカルフローに基づいて物体を検出する物体検出部５４ｄとからなる。
円筒面歪み補正部５４ｅは、観測された原画像Ｉ（ｘ，ｙ，ｔ）に生じる歪曲を取り除いて補正する機能を有する。具体的には、原画像Ｉ（ｘ，ｙ，ｔ）を、路面から垂直に起立して、後方カメラ１２の焦点位置を中心とする円弧上に形成された仮想的な円筒面に投影して、図５Ｃに示す円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）を生成する。この仮想的な円筒面への投影処理によって、原画像Ｉ（ｘ，ｙ，ｔ）の中に生じていた歪曲を取り除くことができ、図５Ｃに示すように、歩行者Ｘ２は直立した状態に変換される。そして、この円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）から歩行者を検出することによって、歩行者の位置と幅を正確に特定することができる。
なお、実施例１で説明した車両挙動制御装置１００ａでは、同様の投影処理を行って平面投影画像Ｉｐ（ｘ，ｙ，ｔ）を生成したが、図５Ｂと図５Ｃを比較するとわかるように、いずれの投影処理を行っても歪曲が取り除かれて、歩行者が直立した画像が得られる。なお、図５Ｃに示す円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）と、図５Ｂに示す平面投影画像Ｉｐ（ｘ，ｙ，ｔ）を比較すると、仮想面に投影される際の倍率が異なるため、円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）にあっては、画像の辺縁部において歩行者がより小さく投影される。しかし、円筒面に投影しているため、物体の上下方向の形状は保持されて、歩行者は歩行者の形状を保って補正される。すなわち、歩行者の検出性能が悪化することはない。また、図５Ｂと図５Ｃを比較すると、歩行者の足元位置が異なっているが、これは投影方法の違いによって発生する現象であって、車両と物体の距離は、原画像から生成した俯瞰画像に基づいて算出されるため、物体の検出性能への影響はない。
すなわち、実施例１で説明した平面投影と本実施例２で説明する円筒面投影のいずれを用いても、原画像の歪曲を補正することができる。また、実際の投影処理は、予め生成された歪み補正テーブルを用いて行うことができるため、いずれの投影方法を用いても処理に要する時間は変わらない。なお、円筒面投影を用いると、平面投影に比べて広い視野の情報を画像化することができるため、広視野の情報が必要なアプリケーションに対しては、円筒面投影がより望ましい歪曲補正方法である。
（移動物***置の特定方法の説明）
移動物***置特定部６３で行われる物***置特定方法について、実施例１との違いに着目して説明する。まず、先述した移動物体判定の結果、同一移動物体と判定されて検出物体判定部６０に記憶された、各移動物体を示す矩形領域Ｒｋの左右端の座標値ｓｘｋ，ｅｘｋ（ｋ＝１，２，…）と、接地点ＨｋのＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）（ｋ＝１，２，…）がそれぞれ読み出される。
次に、接地点ＨｋのＹ方向の座標値ＨＹｋ（ｋ＝１，２，…）と、矩形領域Ｒｋの左右端の座標値ｓｘｋ，ｅｘｋ（ｋ＝１，２，…）から移動物体の実際の左右端の位置ＳＸｋ，ＥＸｋ（ｋ＝１，２，…）を算出する（図１３）。
移動物体の実際の左右端の位置ＳＸｋ，ＥＸｋ（ｋ＝１，２，…）は、移動物体の接地点ＨｋのＹ方向の座標値ＨＹｋ（ｋ＝１，２，…）と、後方カメラ１２の光学パラメータである焦点距離ｆを用いて算出することができる。具体的には、例えば、ＳＸｋ＝ｓｘｋ＊ＨＹｋ／ｆ，ＥＸｋ＝ｅｘｋ＊ＨＹｋ／ｆによって算出することができる。
このようにして算出された移動物体の実際の左右端の位置ＳＸｋ，ＥＸｋ（ｋ＝１，２，…）から、左右端の位置ＳＸｋ，ＥＸｋの中点として移動物体の実際の横方向位置ＦＸｋ（ｋ＝１，２，…）を算出することができる。さらに、移動物体の実際の幅Ｗｋを算出することができる。なお、このとき、移動物体までの距離Ｄｋも算出しておく。
具体的には、ＦＸｋ＝（ＳＸｋ＋ＥＸｋ）／２，Ｗｋ＝ＥＸｋ−ＳＸｋによって、それぞれ算出することができる。また、距離Ｄｋは実施例１で説明した通り、座標値（ＨＸｋ，ＨＹｋ）を用いて算出する。
このようにして算出された移動物体の実際の幅Ｗｋと移動物体までの距離Ｄｋと移動物体の位置を示す座標値（ＦＸｋ，ＦＹｋ）（ｋ＝１，２，…）は、移動物***置特定部６３に記憶される。
すなわち、実施例１では、画像上の移動物体の幅と移動物体の接地点の位置座標から移動物体の実際の幅を算出したが、本実施例２では、画像上の移動物体の左右端の位置と移動物体の接地点の位置座標から移動物体の実際の幅を算出する点が異なっている。いずれの方法を用いても移動物体の位置を確実に特定することができるが、移動物体の左右端の位置を用いる実施例２の方法によると、移動物体の横方向の位置精度をより向上させることができる。
（車両挙動制御装置で行われる処理の流れの説明）
車両挙動制御装置１００ｂで行われる一連の処理は、図１４のフローチャートとほぼ同じ流れで行われる。すなわち、図１４は車両挙動制御装置１００ａで行われる処理の流れを示すフローチャートであるが、実施例２に示した車両挙動制御装置１００ｂの処理の大まかな流れを示すためにも流用できるため、実施例２のメインルーチンは図１４で表されるものとして以後の説明を行う。
なお、図１４に示した各処理の概要は実施例１で説明した通りであるため、再度の説明は省略し、実施例１と異なる部分についてのみ説明する。
（オプティカルフローに基づく移動物体検出処理の流れの説明）
本実施例２において、図１４のステップＳ１２で行うオプティカルフローに基づく移動物体検出処理の流れは実施例１と同じであるが、歪曲補正処理（図１５のステップＳ３０）の内容のみが異なる。
すなわち、実施例２では、図２０に示す円筒歪み補正部５４ｅにおいて、円筒面投影による原画像Ｉ（ｘ，ｙ，ｔ）の歪曲補正を行う。
（移動物***置特定処理の流れの説明）
図１４のステップＳ２０で行われる移動物***置特定処理の流れは、実施例１（図１８）と異なるため、図２１のフローチャートを用いて説明する。なお、移動物***置特定処理は、図１９に示した移動物***置特定部６３において行われる。
（ステップＳ１１０）検出物体判定処理によって同一移動物体と判定された移動物体の情報を読み出す。
（ステップＳ１１２）同一移動物体を示している動き領域検出部５４（第１物体検出部）の検出結果と差分演算部５８（第２物体検出部）の検出結果を取得する。
（ステップＳ１１４）矩形領域Ｒｉの左右端の座標値ｓｘｋ，ｅｘｋと、接地点ＨｋのＸＹ座標系における座標値（ＨＸｋ，ＨＹｋ）（ｋ＝１，２，…）を読み出す。
（ステップＳ１１６）座標値（ＨＸｋ，ＨＹｋ）と座標値ｓｘｋ，ｅｘｋから、移動物体の実際の左右端の位置ＳＸｋ，ＥＸｋ（ｋ＝１，２，…）を算出する。
（ステップＳ１１８）移動物体の横方向位置ＦＸｋ（ｋ＝１，２，…）と、移動物体の実際の幅Ｗｋを算出する。なお、このとき、移動物体までの距離Ｄｋも算出しておく。
（ステップＳ１２０）移動物体の実際の幅Ｗｋと移動物体までの距離Ｄｋと移動物体の位置を示す座標値（ＦＸｋ，ＦＹｋ）（ｋ＝１，２，…）を、検出された移動物体の位置情報として登録する。なお、ステップＳ１１０からステップＳ１２０の処理は、全ての添字ｋ（ｋ＝１，２，…）について行う。その後、メインルーチン（図１４）に戻る。
本発明に係る車両用外界認識装置を用いた車両挙動制御装置の別の具体的な実施形態について、図面を参照して説明する。
（実施例３の機能構成の説明）
本実施例３は、本発明を、車両後方の移動物体を検出して、後退駐車時に移動物体と接触する可能性があるときには、車両に制動をかけて停止させる車両挙動制御装置に適用したものである。
図２２は、実施例３に係る車両挙動制御装置１００ｃの機能構成を示す機能ブロック図である。車両挙動制御装置１００ｃは、車両用外界認識装置５０ｃと車両挙動制御部８０からなり、前述した車両挙動制御装置１００ａ，１００ｂとは、動き領域検出部５７（第１物体検出部）の内部構成と検出物体判定部６１の内部構成と移動物***置特定部６５の内部構成が異なっている。以下、動き領域検出部５７と検出物体判定部６１と移動物***置特定部６５の内部構成についてのみ説明する。なお、それ以外の構成要素の機能は実施例１で説明した通りであるため、説明は省略する。
動き領域検出部５７（第１物体検出部）は、原画像Ｉ（ｘ，ｙ，ｔ‐Δｔ），Ｉ（ｘ，ｙ，ｔ）の中から物体の検出を行う。
図２３は、動き領域検出部５７（第１物体検出部）の詳細な内部構成を示す機能ブロック図である。動き領域検出部５７は、図４に示した実施例１の動き領域検出部５４の構成に加えて、原画像Ｉ（ｘ，ｙ，ｔ）の中からパターンマッチングによって歩行者を検出する歩行者パターン検出部５７ａと、原画像Ｉ（ｘ，ｙ，ｔ）の中からパターンマッチングによって車両を検出する車両パターン検出部５７ｂを有する。このような構成にすることによって、原画像Ｉ（ｘ，ｙ，ｔ）の中から検出された物体の種別を特定して、物体までの距離の検出精度を向上させることができる。詳しくは後述する。
検出物体判定部６１は、動き領域検出部５７（第１物体検出部）で検出された物体と差分演算部５８（第２物体検出部）で検出された物体が同一の物体であるか否かを判定する。なお、動き領域検出部５７（第１物体検出部）で検出された物体として、歩行者パターン検出部５７ａの検出結果と車両パターン検出部５７ｂの検出結果が併せて参照される点が、実施例１，実施例２とは異なる。
移動物***置特定部６５は、検出された移動物体の存在位置を特定する。その際、検出された移動物体の種別に応じて、移動物体までの距離の算出方法を変更する点が、実施例１，実施例２とは異なる。詳細は後述する。
（歩行者パターン，車両パターン検出方法の説明）
動き領域検出部５７（第１物体検出部）において行われる、原画像Ｉ（ｘ，ｙ，ｔ）から歩行者パターンと車両パターンを検出する方法について説明する。
歩行者パターンと車両パターンの識別は、一般的に行われているパターンマッチングによって行う。より具体的には、テンプレートマッチング，輝度勾配の分布ヒストグラムを用いたパターン識別法（ＨＯＧ），ニューラルネットワークを用いたパターン識別等のいずれの方法を用いて行っても構わない。
なお、パターンマッチングを効率的に行うために、原画像Ｉ（ｘ，ｙ，ｔ）から生成した解像度の低いピラミッド画像を用いるのが望ましい。
検出された歩行者パターンおよび車両パターンは、オプティカルフローに基づいて検出された物体と同様の形式で動き領域検出部５７に記憶される。すなわち、検出された歩行者パターンまたは車両パターンに外接する矩形領域Ｒｉ（ｉ＝１，２，…）の番号とともに、各矩形領域の左上の頂点座標（ｓｘｉ，ｓｙｉ）と右下の頂点座標（ｅｘｉ，ｅｙｉ）が、それぞれ記憶される。また、このとき、物体の位置を代表する点Ｆｉ（図７）の座標を算出して同時に記憶しておいてもよい。
（移動物体判定方法の説明）
検出物体判定部６１は、オプティカルフローに基づく物体の検出結果と、俯瞰画像の差分による物体の検出結果に加えて、歩行者パターンの検出結果と車両パターンの検出結果を用いて、検出された物体が同一移動物体であるか否かを特定する。詳細な処理の流れは後述する。
（移動物***置の特定方法の説明）
移動物***置特定部６５は、検出物体判定部６１で同一移動物体であると判定された移動物体の存在位置を特定する。その際、検出された移動物体が歩行者であるか車両であるかによって、移動物体までの距離の計測方法を変更する。
具体的には、検出された移動物体が車両であるときは、オプティカルフロー検出部５４ｂ（図２３）の検出結果に基づいて移動物体までの距離を算出する。そして、検出された移動物体が歩行者であるときは、差分演算部５８（図２２）の検出結果に基づいて移動物体までの距離を算出する。
車両のように、路面に接する接地点（タイヤ）と後方カメラ１２に最も接近した近接点（バンパー）が異なる物体（オーバーハングがある物体）にあっては、俯瞰画像の差分結果から算出された接地点（例えば、図１２ＣのＨ１（ｈｘ1，ｈｙ１））は、必ずしも移動物体までの距離を表していない。
接地点と近接点が異なる例を、図２４Ａから図２４Ｃを用いて説明する。図２４Ａは、後方カメラ１２で取得された原画像Ｉ（ｘ，ｙ，ｔ）の一例である。原画像Ｉ（ｘ，ｙ，ｔ）の中には、歩行者Ｘ１と他車両Ｙ１が写っている。歩行者Ｘ１には、オプティカルフローに基づいて検出された移動物体として矩形領域Ｒ１と移動物体の位置を表す点Ｆ１が重畳されている。また、他車両Ｙ１には、オプティカルフローに基づいて検出された移動物体として矩形領域Ｒ２と移動物体の位置を表す点Ｆ２が重畳されている。
図２４Ｂは、原画像Ｉ（ｘ，ｙ，ｔ）を俯瞰画像Ｊ（ｘ，ｙ，ｔ）に変換した例である。歩行者Ｘ１は領域Ｘ１’に変換されて、他車両Ｙ１は領域Ｙ１’に変換される。そして、歩行者Ｘ１が変換された領域Ｘ１’からは接地点Ｈ１が検出されて、他車両Ｙ１が変換された領域Ｙ１’からは接地点Ｈ２が検出される。
そして、後方カメラ位置Ｃと領域Ｘ１’の接地点Ｈ１の距離が、車両１０から歩行者Ｘ１までの距離として算出される。また、後方カメラ位置Ｃと領域Ｙ１’の接地点Ｈ２の距離が、車両１０から他車両Ｙ１までの距離として算出される。
このとき、歩行者Ｘ１から検出された点Ｆ１と接地点Ｈ１は同一点を表している。一方、他車両Ｙ１から検出された点Ｆ２と接地点Ｈ２は同一点を表していない。したがって、図２４Ｃに示すように、点Ｆ２は他車両Ｙ１のバンパー前端の位置を表しているのに対し、接地点Ｈ２は他車両Ｙ１のタイヤ接地点の位置を表している。
本実施例３は、このようにして発生する可能性がある移動物体の位置の算出誤差を低減するために、原画像から車両が検出されたときには、原画像からオプティカルフローに基づいて検出された移動物体の位置を表す点Ｆ２に基づいて移動物体までの距離を算出する。一方、原画像から歩行者が検出されたときには、俯瞰画像からフレーム差分によって検出された移動物体の接地点Ｈ１に基づいて移動物体までの距離を算出する。
以下、図２９Ａと図２９Ｂを用いて、移動物体の存在位置と移動物体の幅を特定する方法について具体的に説明する。
図２９Ａは、移動物体として歩行者が検出されたときに、その存在位置と幅を特定する方法を示す図である。
すなわち、俯瞰画像の差分に基づいて物体（領域Ｘｉ’）が検出されて、オプティカルフローに基づいて物体（矩形領域Ｒｉ）が検出されないときは、俯瞰画像の差分に基づいて得た領域Ｘｉ’の接地点のＸＹ座標系における座標値（ＨＸｉ，ＨＹｉ）から物体までの距離Ｄｉを算出する。そして、距離Ｄｉと歩行者パターンを代表する点Ｆｐ（ＦＸｐ，ＦＹｐ）の位置から移動物体の横方向位置ＦＸｐを算出する。さらに、距離Ｄｉと歩行者パターンの幅ｗｐから移動物体の幅Ｗｉを算出する。
また、俯瞰画像の差分に基づいて物体（領域Ｘｉ’）が検出されて、なおかつ、オプティカルフローに基づいて物体（矩形領域Ｒｉ）が検出されたときは、俯瞰画像の差分に基づいて得た領域Ｘｉ’の接地点のＸＹ座標系における座標値（ＨＸｉ，ＨＹｉ）から距離Ｄｉを算出する。そして、距離Ｄｉと歩行者パターンを代表する点Ｆｐ（ＦＸｐ，ＦＹｐ）の位置とオプティカルフローから得た点Ｆｉの座標値（ＦＸｉ，ＦＹｉ）から移動物体の横方向位置ＦＸｉを算出する。さらに、距離Ｄｉと歩行者パターンの幅ｗｉから移動物体の幅Ｗｉを算出する。
図２９Ｂは、物体として車両が検出されたときに、その存在位置と幅を特定する方法を示す図である。
すなわち、俯瞰画像の差分に基づいて物体（領域Ｘｉ’）が検出されて、オプティカルフローに基づいて物体（矩形領域Ｒｉ）が検出されないときは、俯瞰画像の差分に基づいて得た領域Ｘｉ’の接地点のＸＹ座標系における座標値（ＨＸｉ，ＨＹｉ）から距離Ｄｉを算出する。そして、距離Ｄｉと車両パターンを代表する点Ｆｖ（ＦＸｖ，ＦＹｖ）の位置から移動物体の横方向位置ＦＸｉを算出する。さらに、距離Ｄｉと車両パターンの幅ｗｉから移動物体の幅Ｗｉを算出する。
また、俯瞰画像の差分に基づいて物体（領域Ｘｉ’）が検出されて、なおかつ、オプティカルフローに基づいて物体（矩形領域Ｒｉ）が検出されたときは、俯瞰画像の差分に基づいて得た領域Ｘｉ’の接地点のＸＹ座標系における座標値（ＨＸｉ，ＨＹｉ）から距離Ｄｉを算出する。そして、距離Ｄｉと車両パターンを代表する点Ｆｖ（ＦＸｖ，ＦＹｖ）の位置とオプティカルフローから得た点Ｆｉの座標値（ＦＸｉ，ＦＹｉ）から移動物体の横方向位置ＦＸｉを算出する。さらに、距離Ｄｉと車両パターンの幅ｗｉから移動物体の幅Ｗｉを算出する。
このように、実施例３にあっては、移動物体として歩行者が検出されたときと、車両が検出されたときとで、移動物体までの距離，移動物体の横方向位置，移動物体の幅の算出方法を変更している。
（車両挙動制御装置で行われる処理の流れの説明）
車両挙動制御装置１００ｃで行われる一連の処理の流れについて、図２５のフローチャートと図２２，図２３の機能ブロック図を用いて説明する。なお、ここでは各処理の概要を説明するに留め、各処理の詳細な流れの説明は後述する。
（ステップＳ１３０）後方カメラ１２で車両１０の後方の画像を取得する。
（ステップＳ１３２）動き領域検出部５７（第１物体検出部）において、オプティカルフローに基づく物体検出処理を行う。
（ステップＳ１３４）動き領域検出部５７（第１物体検出部）において、歩行者パターン検出処理を行う。
（ステップＳ１３６）動き領域検出部５７（第１物体検出部）において、車両パターン検出処理を行う。
（ステップＳ１３８）俯瞰画像生成部５６において俯瞰画像生成処理を行う。
（ステップＳ１４０）差分演算部５８（第２物体検出部）において、俯瞰画像の差分に基づく物体検出処理を行う。
（ステップＳ１４２）検出物体判定部６１において検出物体判定処理を行う。
（ステップＳ１４４）移動物***置特定部６５において移動物***置特定処理を行う。
（ステップＳ１４６）車両挙動制御部８０において、車両１０の挙動制御を行う。
（歩行者パターン，車両パターン検出処理の流れの説明）
図２５のステップＳ１３４で行われる歩行者パターン検出処理、およびステップＳ１３６で行われる車両パターン検出処理の流れについて、図２６のフローチャートを用いて説明する。なお、図２５のフローチャートでは、歩行者パターン検出処理（ステップＳ１３４）と車両パターン検出処理（ステップＳ１３６）を分けて記載したが、実際は同じ原画像Ｉ（ｘ，ｙ，ｔ）を対象にした処理であるため、図２６に示すように一連の処理として実行する。
（ステップＳ１５０）原画像Ｉ（ｘ，ｙ，ｔ）からピラミッド画像を生成する。
（ステップＳ１５２）生成したピラミッド画像に対して歩行者パターンを検出する歩行者パターン検出処理を実行する。
（ステップＳ１５４）生成したピラミッド画像に対して車両パターンを検出する車両パターン検出処理を実行する。
（ステップＳ１５６）検出された歩行者パターンについて、同じ歩行者を示している複数の検出パターンを統合する。同様に、検出された車両パターンについて、同じ車両を示している複数の検出パターンを統合する。
（ステップＳ１５８）検出された歩行者パターン，車両パターンの登録処理を行う。具体的には、検出されたパターンに外接する矩形領域Ｒｉの頂点座標と、矩形領域Ｒｉの下辺の中点である点Ｆｉ（図７の点Ｆ１に対応する点）の座標が算出されて記憶される。その後メインルーチン（図２５）に戻る。
（検出物体判定処理の流れの説明）
図２５のステップＳ１４２で行われる検出物体判定処理の流れについて、図２７Ａから図２７Ｃのフローチャートを用いて説明する。
（ステップＳ１６０）ステップＳ１４０の処理によって記憶された接地点Ｈｊ（ｈｘｊ，ｈｙｊ）の情報を読み出す。
（ステップＳ１６２）接地点Ｈｊ（ｈｘｊ，ｈｙｊ）の実空間座標（ＨＸｊ，ＨＹｊ）を算出する。なお、実空間座標（ＨＸｊ，ＨＹｊ）が予め記憶されているときは、記憶された情報を読み出す。
（ステップＳ１６４）ステップＳ１３２の処理によって記憶された点Ｆｉ（ｆｘｉ，ｆｙｉ）の情報を読み出す。
（ステップＳ１６６）点Ｆｉ（ｆｘｉ，ｆｙｉ）の実空間座標（ＦＸｉ，ＦＹｉ）を算出する。
（ステップＳ１６８）図２７Ｂに示すフローチャートを実行する。
（ステップＳ１７０）図２７Ｃに示すフローチャートを実行する。なお、ステップＳ１６４からステップＳ１７０は、全ての矩形領域Ｒｉに対して繰り返して実行する。また、ステップＳ１６０からステップＳ１７０は、全ての領域Ｘｊ’に対して繰り返して実行する。その後、メインルーチン（図２５）に戻る。
以下、図２７ＡのステップＳ１６８で行う処理の流れを図２７Ｂを用いて説明する。
（ステップＳ１８０）歩行者検出結果を読み出す。
（ステップＳ１８２）歩行者の位置を表す点Ｆｐ（ｆｘｐ，ｆｙｐ）を読み出す。
（ステップＳ１８４）点Ｆｐ（ｆｘｐ，ｆｙｐ）の実空間座標（Ｆｘｐ，Ｆｙｐ）を算出する。
（ステップＳ１８６）接地点Ｈｊの実空間座標（ＨＸｊ，ＨＹｊ）と点Ｆｐの実空間座標（Ｆｘｐ，Ｆｙｐ）が所定距離以内にあるか否かを判定する。所定距離以内にあるときはステップＳ１８８に進み、それ以外のときはステップＳ１８２に戻り、異なる歩行者検出結果に対する処理を行う。
（ステップＳ１８８）接地点Ｈｊの実空間座標（ＨＸｊ，ＨＹｊ）と点Ｆｉの実空間座標（ＦＸｉ，ＦＹｉ）が所定距離以内にあるか否かを判定する。所定距離以内にあるときはステップＳ１９０に進み、それ以外のときはステップＳ１９２に進む。
（ステップＳ１９０）オプティカルフローに基づく物体の検出結果と、俯瞰画像の差分に基づく物体の検出結果と、歩行者検出結果は同じ移動物体を示していると判断して、これらを統合する。統合された情報は、実施例１，実施例２と同様に添字ｋで管理されて、検出物体判定部６１に記憶される。なお、ステップＳ１８２からステップＳ１９０は、全ての歩行者検出結果に対して繰り返して実行する。その後、メインルーチン（図２５）に戻る。
（ステップＳ１９２）俯瞰画像の差分に基づく物体の検出結果と、歩行者検出結果は同じ移動物体を示していると判断して、これらを統合する。統合された情報は、実施例１，実施例２と同様に添字ｋで管理されて、検出物体判定部６１に記憶される。なお、ステップＳ１８２からステップＳ１９２は、全ての歩行者検出結果に対して繰り返して実行する。その後、メインルーチン（図２５）に戻る。
以下、図２７ＡのステップＳ１７０で行う処理の流れを図２７Ｃを用いて説明する。
（ステップＳ２００）車両検出結果を読み出す。
（ステップＳ２０２）歩行者の位置を表す点Ｆｖ（ｆｘｖ，ｆｙｖ）を読み出す。
（ステップＳ２０４）点Ｆｖ（ｆｘｖ，ｆｙｖ）の実空間座標（ＦＸｖ，ＦＹｖ）を算出する。
（ステップＳ２０６）接地点Ｈｊの実空間座標（ＨＸｊ，ＨＹｊ）と点Ｆｖの実空間座標（ＦＸｖ，ＦＹｖ）が所定距離以内にあるか否かを判定する。所定距離以内にあるときはステップＳ２０８に進み、それ以外のときはステップＳ２０２に戻り、異なる車両検出結果に対する処理を行う。
（ステップＳ２０８）接地点Ｈｊの実空間座標（ＨＸｊ，ＨＹｊ）と点Ｆｉの実空間座標（ＦＸｉ，ＦＹｉ）が所定距離以内にあるか否かを判定する。所定距離以内にあるときはステップＳ２１０に進み、それ以外のときはステップＳ２１２に進む。
（ステップＳ２１０）オプティカルフローに基づく物体の検出結果と、俯瞰画像の差分に基づく物体の検出結果と、車両検出結果は同じ移動物体を示していると判断して、これらを統合する。統合された情報は、実施例１，実施例２と同様に添字ｋで管理されて、検出物体判定部６１に記憶される。なお、ステップＳ２０２からステップＳ２１０は、全ての車両検出結果に対して繰り返して実行する。その後、メインルーチン（図２５）に戻る。
（ステップＳ２１２）俯瞰画像の差分に基づく物体の検出結果と、車両検出結果は同じ移動物体を示していると判断して、これらを統合する。統合された情報は、実施例１，実施例２と同様に添字ｋで管理されて、検出物体判定部６１に記憶される。なお、ステップＳ２０２からステップＳ２１２は、全ての車両検出結果に対して繰り返して実行する。その後、メインルーチン（図２５）に戻る。
（移動物***置特定処理の流れの説明）
図２５のステップＳ１４４で行われる移動物***置特定処理の流れについて、図２８のフローチャートを用いて説明する。
（ステップＳ２２０）前述した検出物体判定処理によって統合した移動物体統合結果を検出物体判定部６１から読み出す。
（ステップＳ２２２）統合した移動物体が歩行者であるか否かを判定する。歩行者であるときはステップＳ２２４に進み、それ以外のときはステップＳ２２６に進む。
（ステップＳ２２４）着目している移動物体統合結果に対応する検出結果のうち、オプティカルフローに基づく検出結果，俯瞰画像の差分に基づく検出結果，歩行者検出結果をそれぞれ読み出す。
（ステップＳ２２６）着目している移動物体統合結果に対応する検出結果のうち、オプティカルフローに基づく検出結果，俯瞰画像の差分に基づく検出結果，車両検出結果をそれぞれ読み出す。
（ステップＳ２２８）前述した図２９Ａ，図２９Ｂのテーブルに基づいて、移動物体までの距離，横方向位置，幅を算出して登録する。なお、ステップＳ２２２からステップＳ２２８は、全ての移動物体統合結果に対して繰り返して実行する。その後、メインルーチン（図２５）に戻る。
以上説明したように、このように構成された本発明の実施例１に係る車両挙動制御装置１００ａによれば、車両１０に搭載された後方カメラ１２（画像取得部）が、車両１０の周囲を撮像した原画像Ｉ（ｘ，ｙ，ｔ）を取得して、動き領域検出部５４（第１物体検出部）が、原画像Ｉ（ｘ，ｙ，ｔ）の中から物体を検出するとともに、差分演算部５８（第２物体検出部）が、俯瞰画像生成部５６で生成された、車両１０を俯瞰した俯瞰画像Ｊ（ｘ，ｙ，ｔ）の中から物体を検出し、検出物体判定部６０が、動き領域検出部５４で検出された物体と差分演算部５８で検出された物体が所定距離以内に近接しているときに、同一移動物体であると判定して、移動物***置特定部６２が、車両１０から動き領域検出部５４または差分演算部５８によって検出された物体までの距離Ｄｋと物体の横方向位置ＦＸｋと、動き領域検出部５４によって検出された物体の実際の幅Ｗｋによって移動物体の位置を特定するため、測距センサ等を追加することなく、後方カメラ１２で撮像された画像のみを用いて、移動物体の横方向位置ＦＸｋと幅Ｗｋと車両１０から移動物体までの距離Ｄｋをより高い精度で確実に検出することができる。
また、このように構成された本発明の実施例１に係る車両挙動制御装置１００ａによれば、動き領域検出部５４（第１物体検出部）は、原画像Ｉ（ｘ，ｙ，ｔ）を路面から垂直に起立した平面に投影した平面投影画像Ｉｐ（ｘ，ｙ，ｔ）（投影画像）の中から物体を検出するため、予め用意された歪み補正テーブルを用いた簡便な処理によって原画像Ｉ（ｘ，ｙ，ｔ）に生じる歪曲を確実に補正して物体を検出することができる。
そして、このように構成された本発明の実施例１に係る車両挙動制御装置１００ａによれば、動き領域検出部５４（第１物体検出部）は、異なる時刻ｔ‐Δｔ，ｔに取得された複数の原画像Ｉ（ｘ，ｙ，ｔ‐Δｔ），Ｉ（ｘ，ｙ，ｔ）の中から算出されたオプティカルフローに基づいて物体を検出するため、物体の移動に伴って発生した移動領域を確実に検出することができる。
さらに、このように構成された本発明の実施例１に係る車両挙動制御装置１００ａによれば、動き領域検出部５４（第１物体検出部）は、物体として歩行者および車両を検出するため、車両１０の移動の際に障害となる可能性が高い物標を確実に検出することができる。
また、このように構成された本発明の実施例１に係る車両挙動制御装置１００ａによれば、差分演算部５８（第２物体検出部）は、異なる時刻ｔ‐Δｔ，ｔに取得された複数の原画像Ｉ（ｘ，ｙ，ｔ‐Δｔ），Ｉ（ｘ，ｙ，ｔ）からそれぞれ生成された複数の俯瞰画像Ｊ（ｘ，ｙ，ｔ‐Δｔ），Ｊ（ｘ，ｙ，ｔ）間のフレーム差分の結果に基づいて物体を検出するため、物体の接地点の位置を簡便かつ確実に検出することができる。
そして、このように構成された本発明の実施例１に係る車両挙動制御装置１００ａによれば、車両用外界認識装置５０ａの認識結果に基づいて車両１０の制駆動力制御を行うため、例えば、駐車時に車両１０の挙動を確実に制御して、移動物体に接触させることなく駐車動作を行わせることができる。
さらに、このように構成された本発明の実施例２に係る車両挙動制御装置１００ｂによれば、動き領域検出部５５（第１物体検出部）は、原画像Ｉ（ｘ，ｙ，ｔ）を路面と直交する円筒面に投影した円筒面投影画像Ｉｃ（ｘ，ｙ，ｔ）（投影画像）の中から移動物体を検出するため、予め用意された歪み補正テーブルを用いた簡便な処理によって原画像Ｉ（ｘ，ｙ，ｔ）に生じる歪曲を確実に補正することができるとともに、より広視野の画像情報を得ることができる。すなわち魚眼レンズのように画角の広いレンズが装着された後方カメラ１２を用いたときに、歪曲補正を行った後でもより広範囲の画像を得ることができる。
また、このように構成された本発明の実施例３に係る車両挙動制御装置１００ｃによれば、動き領域検出部５７（第１物体検出部）は、さらに原画像Ｉ（ｘ，ｙ，ｔ）に対してパターンマッチングを行うことによって物体を検出するため、原画像が有している物体の形状特徴や濃淡特徴を利用することができ、これによって歩行者や車両をより一層確実に検出することができる。
そして、このように構成された本発明の実施例３に係る車両挙動制御装置１００ｃによれば、検出物体判定部６１は、さらに、移動物体が歩行者であるか車両であるかを判別して、移動物***置特定部６５は、移動物体が歩行者であるときには、差分演算部５８（第２物体検出部）の検出結果に基づいて移動物体までの距離Ｄｋを算出し、移動物体が車両であるときには、動き領域検出部５７（第１物体検出部）の検出結果に基づいて移動物体までの距離Ｄｋを算出するため、移動物体の種類に応じて、より精度の高い検出方法によって検出された結果を利用することができるため、移動物体の検出を高精度で行うことができる。
なお、実施例１から実施例３では、物体として歩行者と車両を検出する例を示したが、物体の種類は歩行者と車両に限定されるものではない。すなわち、路面から高さを有して、車両１０と接触する可能性がある物体であれば、本願発明を用いて検出することができる。
また、実施例１から実施例３では、車両１０の後端に装着した後方カメラ１２を用いた例を説明したが、カメラの設置位置は車両１０の後端に限定されるものではない。また、使用するカメラも１台に限定されるものではない。すなわち、車両の前端，左右端，後端にそれぞれカメラを設置しても、実施例１から実施例３と同様の装置構成を実現することができる。
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
１０・・・・車両
１２・・・・後方カメラ
２０・・・・車輪速センサ
２２・・・・操舵角センサ
５２・・・・画像取得部
５４・・・・動き領域検出部（第１物体検出部）
５６・・・・俯瞰画像生成部
５８・・・・差分演算部（第２物体検出部）
６０・・・・検出物体判定部
６２・・・・移動物***置特定部
６４・・・・車両情報取得部
８０・・・・車両挙動制御部
８２・・・・接触判定部
８４・・・・警報出力部
８６・・・・制動制御部
１００ａ・・車両挙動制御装置

Claims (9)

  1. 車両に搭載されて、前記車両の周囲の画像を取得する画像取得部と、
    前記画像の中から物体を検出する第１物体検出部と、
    前記画像から、前記車両を俯瞰した俯瞰画像を生成する俯瞰画像生成部と、
    前記俯瞰画像の中から物体を検出する第２物体検出部と、
    前記第１物体検出部で検出された物体と前記第２物体検出部で検出された物体とが所定距離以内に近接しているときに、同一移動物体であると判定する検出物体判定部と、
    前記検出物体判定部によって同一移動物体であると判定されたときに、前記車両から前記第１物体検出部または前記第２物体検出部によって検出された物体までの距離と前記物体の横方向位置と、前記第１物体検出部によって検出された物体の幅と、によって前記移動物体の位置を特定する移動物***置特定部と、を有することを特徴とする車両用外界認識装置。
  2. 前記第１物体検出部は、前記画像を路面から垂直に起立した面に投影した投影画像の中から物体を検出することを特徴とする請求項１に記載の車両用外界認識装置。
  3. 前記面は円筒面であることを特徴とする請求項２に記載の車両用外界認識装置。
  4. 前記第１物体検出部は、異なる時刻に取得された複数の前記画像の中から算出されたオプティカルフローに基づいて物体を検出することを特徴とする請求項１から請求項３のいずれか１項に記載の車両用外界認識装置。
  5. 前記第１物体検出部は、さらに前記画像に対してパターンマッチングを行うことによって物体を検出することを特徴とする請求項１から請求項４のいずれか１項に記載の車両用外界認識装置。
  6. 前記第１物体検出部は、物体として歩行者および車両を検出することを特徴とする請求項１から請求項５のいずれか１項に記載の車両用外界認識装置。
  7. 前記第２物体検出部は、異なる時刻に取得された複数の画像からそれぞれ生成された複数の俯瞰画像間の差分結果に基づいて物体を検出することを特徴とする請求項１から請求項６のいずれか１項に記載の車両用外界認識装置。
  8. 前記検出物体判定部は、さらに、移動物体が歩行者であるか車両であるかを判別して、前記移動物***置特定部は、前記移動物体が歩行者であるときには、前記第２物体検出部の検出結果に基づいて前記移動物体までの距離を算出し、前記移動物体が車両であるときには、前記第１物体検出部の検出結果に基づいて前記移動物体までの距離を算出することを特徴とする請求項１から請求項７のいずれか１項に記載の車両用外界認識装置。
  9. 請求項１から請求項８のいずれか１項に記載の車両用外界認識装置の認識結果に基づいて、前記車両の制駆動力制御を行うことを特徴とする車両用外界認識装置を用いた車両挙動制御装置。
JP2015008258A 2015-01-20 2015-01-20 車両用外界認識装置およびそれを用いた車両挙動制御装置 Active JP6454554B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015008258A JP6454554B2 (ja) 2015-01-20 2015-01-20 車両用外界認識装置およびそれを用いた車両挙動制御装置
US15/315,998 US10169667B2 (en) 2015-01-20 2015-10-28 External environment recognizing device for vehicle and vehicle behavior control device
PCT/JP2015/080407 WO2016117200A1 (ja) 2015-01-20 2015-10-28 車両用外界認識装置およびそれを用いた車両挙動制御装置
EP15878889.3A EP3179445B1 (en) 2015-01-20 2015-10-28 Outside environment recognition device for vehicles and vehicle behavior control device using same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015008258A JP6454554B2 (ja) 2015-01-20 2015-01-20 車両用外界認識装置およびそれを用いた車両挙動制御装置

Publications (2)

Publication Number Publication Date
JP2016134764A true JP2016134764A (ja) 2016-07-25
JP6454554B2 JP6454554B2 (ja) 2019-01-16

Family

ID=56416762

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015008258A Active JP6454554B2 (ja) 2015-01-20 2015-01-20 車両用外界認識装置およびそれを用いた車両挙動制御装置

Country Status (4)

Country Link
US (1) US10169667B2 (ja)
EP (1) EP3179445B1 (ja)
JP (1) JP6454554B2 (ja)
WO (1) WO2016117200A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102824A (ja) * 2015-12-04 2017-06-08 クラリオン株式会社 追跡装置
JP2018097777A (ja) * 2016-12-16 2018-06-21 株式会社デンソーテン 障害物検出装置および障害物検出方法
WO2018235300A1 (ja) * 2017-06-23 2018-12-27 日本電気株式会社 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
JP2019149099A (ja) * 2018-02-28 2019-09-05 株式会社デンソー 車両に搭載される撮像システム、対象物識別装置、および対象物識別方法
WO2020110435A1 (ja) 2018-11-29 2020-06-04 日立オートモティブシステムズ株式会社 外界認識装置
WO2021149288A1 (ja) * 2020-01-20 2021-07-29 クラリオン株式会社 障害物検出装置
JP2021136597A (ja) * 2020-02-27 2021-09-13 フォルシアクラリオン・エレクトロニクス株式会社 車両用外界認識装置
DE112021001483T5 (de) 2020-05-14 2023-01-12 Hitachi Astemo, Ltd. Bildverarbeitungsvorrichtung

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI585723B (zh) * 2015-12-31 2017-06-01 合盈光電科技股份有限公司 車輛監控系統及其方法
TWI607911B (zh) * 2016-04-28 2017-12-11 H P B Optoelectronic Co Ltd Vehicle safety protection system and method
JP6418407B2 (ja) * 2016-05-06 2018-11-07 トヨタ自動車株式会社 車両のブレーキ制御装置
CN106504266B (zh) * 2016-09-29 2019-06-14 北京市商汤科技开发有限公司 行走行为的预测方法和装置、数据处理装置和电子设备
JP6620715B2 (ja) * 2016-10-20 2019-12-18 株式会社デンソー 画像認識装置
JP7092688B2 (ja) * 2017-02-17 2022-06-28 住友重機械工業株式会社 作業機械用周辺監視システム
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
JP6847885B2 (ja) * 2018-03-20 2021-03-24 株式会社東芝 情報処理装置、情報処理方法及びプログラム
US11565698B2 (en) * 2018-04-16 2023-01-31 Mitsubishi Electric Cornoration Obstacle detection apparatus, automatic braking apparatus using obstacle detection apparatus, obstacle detection method, and automatic braking method using obstacle detection method
US11263780B2 (en) * 2019-01-14 2022-03-01 Sony Group Corporation Apparatus, method, and program with verification of detected position information using additional physical characteristic points
CN111612812B (zh) * 2019-02-22 2023-11-03 富士通株式会社 目标物检测方法、检测装置和电子设备
CN111597959B (zh) * 2020-05-12 2023-09-26 盛景智能科技(嘉兴)有限公司 行为检测方法、装置及电子设备
US11501452B2 (en) * 2020-08-10 2022-11-15 Honeywell International Inc. Machine learning and vision-based approach to zero velocity update object detection
US11910092B2 (en) * 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2011048520A (ja) * 2009-08-26 2011-03-10 Alpine Electronics Inc 車両周辺監視装置および車両周辺監視方法
JP2011048420A (ja) * 2009-08-25 2011-03-10 Fujitsu Ltd 車両検出装置、車両検出プログラム、および車両検出方法
JP2011087319A (ja) * 2010-12-06 2011-04-28 Sanyo Electric Co Ltd 車載パノラマカメラシステム
JP2012198857A (ja) * 2011-03-23 2012-10-18 Denso It Laboratory Inc 接近物体検知装置及び接近物体検知方法
JP2014197817A (ja) * 2013-03-29 2014-10-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
JP6032034B2 (ja) 2013-02-05 2016-11-24 日産自動車株式会社 物体検知装置
US20140272811A1 (en) * 2013-03-13 2014-09-18 Mighty Carma, Inc. System and method for providing driving and vehicle related assistance to a driver
US10093247B2 (en) * 2013-05-23 2018-10-09 GM Global Technology Operations LLC Enhanced front curb viewing system
EP3002708A1 (en) 2014-10-03 2016-04-06 Autoliv Development AB Perspective transform of mono-vision image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2011048420A (ja) * 2009-08-25 2011-03-10 Fujitsu Ltd 車両検出装置、車両検出プログラム、および車両検出方法
JP2011048520A (ja) * 2009-08-26 2011-03-10 Alpine Electronics Inc 車両周辺監視装置および車両周辺監視方法
JP2011087319A (ja) * 2010-12-06 2011-04-28 Sanyo Electric Co Ltd 車載パノラマカメラシステム
JP2012198857A (ja) * 2011-03-23 2012-10-18 Denso It Laboratory Inc 接近物体検知装置及び接近物体検知方法
JP2014197817A (ja) * 2013-03-29 2014-10-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017102824A (ja) * 2015-12-04 2017-06-08 クラリオン株式会社 追跡装置
JP2018097777A (ja) * 2016-12-16 2018-06-21 株式会社デンソーテン 障害物検出装置および障害物検出方法
US11188768B2 (en) 2017-06-23 2021-11-30 Nec Corporation Object detection apparatus, object detection method, and computer readable recording medium
WO2018235300A1 (ja) * 2017-06-23 2018-12-27 日本電気株式会社 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
JPWO2018235300A1 (ja) * 2017-06-23 2020-04-09 日本電気株式会社 物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体
JP2019149099A (ja) * 2018-02-28 2019-09-05 株式会社デンソー 車両に搭載される撮像システム、対象物識別装置、および対象物識別方法
JP7135339B2 (ja) 2018-02-28 2022-09-13 株式会社デンソー 車両に搭載される撮像システム、対象物識別装置、および対象物識別方法
WO2020110435A1 (ja) 2018-11-29 2020-06-04 日立オートモティブシステムズ株式会社 外界認識装置
WO2021149288A1 (ja) * 2020-01-20 2021-07-29 クラリオン株式会社 障害物検出装置
JP2021114195A (ja) * 2020-01-20 2021-08-05 フォルシアクラリオン・エレクトロニクス株式会社 障害物検出装置
JP7404081B2 (ja) 2020-01-20 2023-12-25 フォルシアクラリオン・エレクトロニクス株式会社 障害物検出装置
JP2021136597A (ja) * 2020-02-27 2021-09-13 フォルシアクラリオン・エレクトロニクス株式会社 車両用外界認識装置
JP7460393B2 (ja) 2020-02-27 2024-04-02 フォルシアクラリオン・エレクトロニクス株式会社 車両用外界認識装置
DE112021001483T5 (de) 2020-05-14 2023-01-12 Hitachi Astemo, Ltd. Bildverarbeitungsvorrichtung

Also Published As

Publication number Publication date
EP3179445B1 (en) 2023-06-21
WO2016117200A1 (ja) 2016-07-28
US20170140229A1 (en) 2017-05-18
US10169667B2 (en) 2019-01-01
JP6454554B2 (ja) 2019-01-16
EP3179445A1 (en) 2017-06-14
EP3179445A4 (en) 2018-03-28

Similar Documents

Publication Publication Date Title
JP6454554B2 (ja) 車両用外界認識装置およびそれを用いた車両挙動制御装置
US20210264176A1 (en) Hazard detection from a camera in a scene with moving shadows
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
US10776946B2 (en) Image processing device, object recognizing device, device control system, moving object, image processing method, and computer-readable medium
EP2650639B1 (en) Disparity calculation apparatus
JP4553072B1 (ja) 画像統合装置および画像統合方法
JP2016081525A (ja) 車両用画像認識システム、及び対応法
WO2017130640A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6687039B2 (ja) 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム
US11514683B2 (en) Outside recognition apparatus for vehicle
JP5098563B2 (ja) 物体検出装置
JP6515704B2 (ja) 車線検出装置及び車線検出方法
US20190297314A1 (en) Method and Apparatus for the Autocalibration of a Vehicle Camera System
JP5516561B2 (ja) 車両用運転支援装置
WO2014083910A1 (ja) 対象物追跡システム、対象物追跡方法、画像処理装置およびその制御方法と制御プログラム
JP2010020476A (ja) 物体検出装置及び物体検出方法
JP6431299B2 (ja) 車両周辺監視装置
JP3988758B2 (ja) 移動体検出装置
JP2005170290A (ja) 障害物検出装置
JP7460393B2 (ja) 車両用外界認識装置
JP2017211765A (ja) 物体認識装置
JP5798078B2 (ja) 車両用外界認識装置とそれを用いた車両システム
JP5141275B2 (ja) 車両用画像処理装置及び車両用画像処理方法
JP4040657B2 (ja) 移動対象物検出装置
JP7493433B2 (ja) 移動量算出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171031

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20171031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181217

R150 Certificate of patent or registration of utility model

Ref document number: 6454554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150