JP5812598B2 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP5812598B2
JP5812598B2 JP2010271740A JP2010271740A JP5812598B2 JP 5812598 B2 JP5812598 B2 JP 5812598B2 JP 2010271740 A JP2010271740 A JP 2010271740A JP 2010271740 A JP2010271740 A JP 2010271740A JP 5812598 B2 JP5812598 B2 JP 5812598B2
Authority
JP
Japan
Prior art keywords
detection
vehicle
unit
camera
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010271740A
Other languages
English (en)
Other versions
JP2012123470A (ja
Inventor
村下 君孝
君孝 村下
山本 徹夫
徹夫 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2010271740A priority Critical patent/JP5812598B2/ja
Priority to US13/298,782 priority patent/US20120140072A1/en
Priority to CN201110369744.7A priority patent/CN102555907B/zh
Publication of JP2012123470A publication Critical patent/JP2012123470A/ja
Application granted granted Critical
Publication of JP5812598B2 publication Critical patent/JP5812598B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本明細書で論じられる実施態様は、車両に搭載したカメラの映像を用いて物体を検出する技術に関する。
車両用の障害物検知装置として、車両の左側および右側に、前方に向けて設けられ、遠距離領域をそれぞれ撮影する左カメラおよび右カメラ、左カメラおよび右カメラ間に配置され近距離広領域を撮影する中央カメラ、左カメラ、右カメラおよび中央カメラの出力をそれぞれ受ける左A/D変換器、右A/D変換器および中A/D変換器、左A/D変換器および右A/D変換器の出力を受け画像中の物体の対応付けを行い、両者の視差を出力するマッチング装置、マッチング装置の出力を受け三角法で距離を出力し、障害物を検出する距離算出装置、中A/D変換器の出力を受け車両の移動による画面流れと異なる動きの物体を検出する前画面比較装置、距離算出装置および前画面比較装置の出力を受け、障害物表示を行う表示装置を備えるものが提案されている。
車両の後側方監視装置として、ターンシグナルスイッチの位置に応じてスイッチボックスのスイッチを切り替え、車両の後部に設置されたカメラ、右サイドミラーに設置されたカメラ、左サイドミラーに設置されたカメラのいずれか1つを選択するとともに、選択したカメラから出力される画像データを画像処理し、他の車両が近づき過ぎているときこれを検知するものが提案されている。
距離分布検知装置として、空間的位置の相異なる複数の視点から撮影された画像を解析することにより撮像された対象物の距離分布を求めるものが提案されている。この距離分布検知装置は、画像の被解析単位となる部分画像を照合し、距離分布を計算する際の、距離方向又は視差角方向の空間分解能の高さを部分画像が属すると推定される距離レンジに応じて選択する空間分解能選択手段を備える。
特開平6−281456号公報 特開平11−321495号公報 特開2001−126065号公報
カメラの撮影画像に基づいて特定の移動を伴う物体を検出する場合、検出対象の位置や相対移動方向や車両上のカメラの配置位置等の条件によって検出の成否が異なる。以下、オプティカルフローを用いて接近する物体を検出対象とする場合の例を説明する。
図1は、オプティカルフロー処理の説明図である。参照符号Pは、検知処理を行う画像を示し、参照符号90及び91は画像Pに映っている背景の信号機と移動している自動車を示す。オプティカルフロー処理では、まず画像内の特徴点を抽出する。画像Pにおいて特徴点はクロスマーク「×」で示されている。
次に、所定期間Δtにおける特徴点の変位を検出する。例えば、自車が停車していれば信号90上で検出した特徴点は移動せず、自動車91上で検出した特徴点は自動車91の移動の向きと速度に応じて位置が移動する。この特徴点の移動は「オプティカルフロー」と呼ばれる。図示の例では画面左方に移動している。
オプティカルフローの向きと大きさにより画像Pに移る物体が特定の移動を伴う物体であるか否かを判定する。例えば図1に示す例では、オプティカルフローの向きが左向きの物体を接近する物体と判定して検出してよい。
次に図2は、車載カメラによる移動物体の検出範囲の説明図である。図2は、車両2にフロントカメラ、右サイドカメラ及び左サイドカメラが搭載されている例を示す。参照符号91はフロントカメラの画角を示し、参照符号A1及びA2はフロントカメラの撮影画像により接近物体Sを検出する検出範囲を示す。
参照符号92は左サイドカメラの画角を示し、参照符号A3は左サイドカメラの撮影画像により接近物体Sを検出する検出範囲を示す。参照符号93は右サイドカメラの画角を示し、参照符号A4は右サイドカメラの撮影画像により接近物体Sを検出する検出範囲を示す。
図3の(A)は、フロントカメラ画像の説明図である。参照符号PFはフロントカメラの撮影画像を示し、参照符号R1及びR2は図2に示す範囲A1及びA2をそれぞれ映す検出範囲を示す。また、図3の(B)は、左サイドカメラ画像の説明図である。参照符号PLは左サイドカメラの撮影画像を示し、参照符号R3は図2に示す範囲A3を映す検出範囲を示す。
なお、以下の説明においてフロントカメラ、右サイドカメラ及び左サイドカメラの撮像画像をそれぞれ「フロントカメラ画像」、「右サイドカメラ画像」及び「左サイドカメラ画像」と表記することがある。
図示の通り、フロントカメラ画像PFの左側の検出範囲R1では、接近物体Sは図の右向きに、すなわち画面端から画面中央へ移動する。このようにR1で検出される接近物体のオプティカルフローの向きは画面端から画面中央に向く。同様に、フロントカメラ画像PFの右側の検出範囲R2でも、接近物体のオプティカルフローの向きは画面端から画面中央に向く。
しかし左サイドカメラ画像PL上では、接近物体Sは、右側の検出範囲R3において画面中央から画面端へ移動する。すなわち、接近物体について、フロントカメラ画像PFと左サイドカメラ画像PLでは、検出されるオプティカルフローの向きとは逆になる場合がある。
この例では特定の動作として自車両に「接近する」場合を例示するが、他の場合も同様に同一の特定の動作を伴う物体を検出するとき、カメラの配置位置によってオプティカルフローの向きが反対になる場合がある。
このため、ある特定の動作を伴う物体を検出する場合、検出されるオプティカルフローの向きを各カメラで共通にしていれば同じ物体であってもある位置に配置されたカメラにおいて検出し、他の位置のカメラでは検出できないといった状況が生じうる。
また、カメラの配置位置による見通しの良否によっても、検出の成否に違いが生じる場合もある。図4は、フロントカメラとサイドカメラの見通しの違いの説明図である。図4において参照符号Sは、車両2の右側方に存在する障害物Sを示し、参照符号93は、フロントカメラによる前方の視界を示し、参照符号94は右サイドカメラによる右前方の視界を示す。
図示の通り、右サイドカメラの視界は障害物Sによって遮られるため、フロントカメラに比べて右前方を見通せる範囲が狭く、このため遠距離の物体を検出することができない。車両前面先端に設けられるフロントカメラは、サイドカメラよりも見通しがよく、遠距離にある障害物を検出しやすいという性質を有する。
さらに、車両の速度に応じて各配置位置のカメラの検出能力が変化する場合がある。図5は、速度による検出能力の変化の説明図である。参照符号111及び112は、それぞれ車両2に設けられたフロントカメラ及び右サイドカメラを示す。
参照符号95及び96は、車両2に相対的に接近する物体を示す。矢印97及び98は、これらの物体95及び96が車両2へ接近する予定経路を示す。
前進時は、ドライバの監視義務は、車両2の後方や側方よりも前方に対する義務の方がより大きい。このため、車両2に接近する物体を検出する場合には、車両2の後方を通過すると予測される物体よりも、車両2の前方を通過すると予測される物体の方をより重視する。
オプティカルフローを用いて右前方から接近する物体を検出すると、カメラの設置箇所よりも左側を通過する物体からは、車両2の前方を通過する物体と同じ向き、即ち画面端から画面中央方向のオプティカルフローが検出される。一方で、カメラの設置箇所よりも右側を通過する物体からは、前方を通過する物体と反対向き、即ち画面中央から画面端の方向のオプティカルフローが検出される。これは、物体が自車両から遠ざかっていることを意味する。
図5の例では、フロントカメラ111は、矢印97上を通って車両2の前面左側に衝突する経路上を移動する物体95を検出できるのに対して、矢印98上を通って車両2の前面右側に衝突する経路上を移動する物体96は検出できない。なぜなら、物体96のオプティカルフローは物体96が自車両から遠ざかっていることを示すためである。
車両2の速度が上がると、物体95の経路が矢印99に示すように変化する。すると、物体95は車両2の前面右側に衝突する経路上を移動するので、矢印98の経路上を移動する物体96と同様、フロントカメラ111では検出できなくなる。このように車両2の速度が上がると、右前方にある物体が車両2の前面右側に衝突する確率が高くなり、前面左側に衝突する確率が低くなる。
これに対して、右サイドカメラ112の場合は、物体が、車両2の前面右側及び前面左側のいずれに衝突する経路を移動していても、右サイドカメラの左側を通過するので画面端から画面中央方向のオプティカルフローとなり検出することができる。このため、車両2の速度が速くなり、右前方にある物体が車両2の前面右側に衝突する確率が高くなっても静止時と同様に検出できる場合が多くなる。
このように、カメラが設置される車両の速度によってもカメラの配置位置により検出能力の良否に違いが生じる場合もある。また、物体の速度によっても検出能力の良否に影響を与える。
上記の通り、ある移動を行う物体をカメラの撮影画像に基づいて検出するとき、検出対象の位置や相対移動方向や車両上のカメラの配置位置、車両の相対速度等の条件によって検出の成否が異なる。したがって、検出精度向上のため同じ物体を撮影する複数カメラを用意したとしても、ある条件では一部のカメラの撮影画像では元々検出しようとする対象物体を検出できないことが生じ得る。このとき、残りのカメラの撮影画像による検出処理が誤動作すると、全てのカメラの撮影画像で検出できないことも考えられる。また、ある条件下では、全てのカメラの撮影画像が偶然その条件に向かない場合も考えられる。
実施態様に係る装置及び方法は、車両の複数箇所にそれぞれ搭載されたカメラの撮影画像に基づいて特定の移動を伴う物体を検出する際の検出精度を向上することを目的とする。
1つの実施形態による物体検出装置は、カメラの撮影画像に基づいて特定の移動を伴う物体を検出する検出処理のためのパラメータを複数の検出条件に応じてそれぞれ保持するパラメータ保持部と、パラメータ保持部に保持されたパラメータからいずれかを選択するパラメータ選択部と、選択されたパラメータに従って、車両の複数箇所にそれぞれ搭載されたカメラの撮影画像に基づいて検出処理を行う物体検出部を備える。
他の実施形態による物体検出方法では、カメラの撮影画像に基づいて特定の移動を伴う物体を検出する検出処理のためのパラメータを複数の検出条件に応じてそれぞれ保持し、保持されたパラメータからいずれかを選択し、選択されたパラメータに従って、車両の複数箇所にそれぞれ配置されたカメラの撮影画像に基づいて検出処理を行う。
本件開示の装置又は方法によれば、検出処理のためのパラメータを検出条件に応じてそれぞれ保持し、これらを選択して物体検出を行う。このため、車両の複数箇所にそれぞれ搭載されたカメラの撮影画像に基づいて特定の移動を伴う物体を検出する際の検出精度を向上することが可能となる。
オプティカルフロー処理の説明図である。 車載カメラによる接近物体の検出範囲の説明図である。 (A)及び(B)は、フロントカメラ画像及びサイドカメラ画像の説明図である。 フロントカメラとサイドカメラの見通しの違いの説明図である。 速度による検出能力の変化の説明図である。 物体検出システムの第1構成例を示すブロック図である。 車載カメラの配置位置の例を示す図である。 (A)及び(B)は、カメラ毎の検出範囲及び検出フローの相違の説明図である。 (A)〜(D)は、使用状況による検出範囲の相違の説明図(その1)である。 (A)及び(B)は、使用状況による検出範囲の相違の説明図(その2)である。 第1構成例の物体検出システムによる処理の例の説明図である。 物体検出システムの第2構成例を示すブロック図である。 物体検出システムの第3構成例を示すブロック図である。 ナビゲーション装置のディスプレイの表示例を示す図である。 (A)〜(C)は、右折時の選択画像及び検出範囲の説明図である。 (A)〜(D)は、駐車場からの出庫時の選択画像及び検出範囲の説明図である。 (A)及び(B)は、車線合流時の選択画像及び検出範囲の説明図である。 第3構成例の物体検出システムによる処理の第1例の説明図である。 第3構成例の物体検出システムによる処理の第2例の説明図である。 物体検出システムの第4構成例を示すブロック図である。 物体検出システムの第5構成例を示すブロック図である。 第5構成例の物体検出システムによる処理の例の説明図である。 物体検出システムの第6構成例を示すブロック図である。 (A)及び(B)は、障害物の例の説明図である。 第6構成例の物体検出システムによる処理の例の説明図である。 物体検出システムの第7構成例を示すブロック図である。 第7構成例の物体検出システムによる処理の例の説明図である。 物体検出システムの第8構成例を示すブロック図である。 第8構成例の物体検出システムによる処理の第1例の説明図である。 第8構成例の物体検出システムによる処理の第2例の説明図である。 警報の出力方法の説明図である。
以下、図面を参照しつつ本発明の実施の形態について説明する。
<1.第1の実施の形態>
<1−1.システム構成>
図6は、物体検出システム1の第1構成例を示すブロック図である。この物体検出システム1は、車両(本実施の形態では、自動車)に搭載されるものであり、車両の複数の箇所にそれぞれ配置されたカメラの画像に基づいて、車両に対して特定の移動を行う他の物体を検出する機能を有している。代表的には、物体検出システム1は、車両に相対的に接近する物体を検出する機能を有しているが、他の動作を行う物体を検出するために応用することもできる。
図6に示すように、物体検出システム1は、カメラの撮影画像に基づいて特定の移動を伴う物体を検出する物体検出部100と、車両の複数箇所にそれぞれ搭載されるカメラ110a〜110xと、ナビゲーション装置120と、警告灯131及び音出力部132とを主に備えている。
物体検出部100に対する操作は、ナビゲーション装置120を介して行うことができる。また、物体検出部100による検出結果は、ナビゲーション装置120のディスプレイ121や、警告灯131、音出力部132といったヒューマンマシンインタフェース(HMI: Human Machine Interface)によってユーザに通知される。警告灯131は、例えばLED警告灯であってよく、音出力部132は、例えばスピーカ及びそれに出力する音信号や音声信号を生成する電子回路であってよい。以下、これらのヒューマンマシンインタフェースを、単に「HMI」と表記することがある。
例えば、ディスプレイ121は、カメラの撮影画像と共に検出結果を表示したり、検出結果に応じて警告画面を表示してもよい。また例えば、警告灯131は運転席前面に配置されこれを点滅させることによって検出結果が表示されてもよい。また例えば、ナビゲーション装置120の音声や、ビープ音などを併せて出力することによって検出結果が通知されてもよい。
ナビゲーション装置120は、ユーザに対しナビゲーション案内を行うものであり、タッチパネル機能を備えた液晶などのディスプレイ121と、ユーザが操作を行うハードスイッチなどで構成される操作部122と、装置全体を制御する制御部123とを備えている。
ディスプレイ121の画面がユーザから視認可能なように、ナビゲーション装置120は車両のインストルメントパネルなどに設置される。ユーザの各種の指示は、操作部122とタッチパネルとしてのディスプレイ121とによって受け付けられる。制御部123は、CPU、RAM及びROMなどを備えたコンピュータで構成され、所定のプログラムに従ってCPUが演算処理を行うことでナビゲーション機能を含む各種の機能が実現される。なお、タッチパネルが操作部122を兼ねる構成としてもよい。
ナビゲーション装置120は、物体検出装置100と通信可能に接続され、物体検出装置100との間で各種の制御信号の送受信や、カメラ110a〜110xの撮影画像や、物体検出装置100による検出結果の受信が可能となっている。ディスプレイ121には、制御部123の制御により、通常はナビゲーション装置120単体の機能に基づく画像が表示されるが、動作モードを変更することで物体検出装置100にて処理された車両の周辺の様子を示す画像が表示される。
物体検出装置100は、カメラの撮影画像に基づいて特定の移動を伴う物体を検出する機能を有するECU(Electronic Control Unit)10と、複数のカメラ110a〜110xの撮影画像のいずれかを選択してECUに入力する画像選択部30を備える。ECU10は、CPU、RAM及びROMなどを備えたコンピュータとして構成される。所定のプログラムに従ってCPUが演算処理を行うことで各種の制御機能を実現する。
図中に示す、パラメータ選択部12及び物体検出部13は、このようにしてECU10により実現される機能のうちの一部を示している。また、パラメータ保持部11は、ECU10が備えるRAM、ROM若しくは不揮発性メモリなどとして実現されてよい。
パラメータ保持部11は、物体検出部13によって、カメラ110a〜110xの撮影画像に基づいて特定の移動を伴う物体を検出する検出処理を行うためのパラメータを、複数の検出条件に応じてそれぞれ保持する。すなわち、パラメータ保持部11は複数の上記パラメータを保持する。
パラメータには、物体検出部13による検出処理に用いられる画像の撮影に使用するカメラの指定が含まれていてよい。その他のパラメータの具体例は後述する。
また、上記検出条件の構成要素の具体例には、物体検出システム1が搭載される車両の走行状態、周囲の障害物の存在、ドライバによる操作、車両の位置等が含まれる。また、検出条件の構成要素の具体例には、物体検出部13による個々の検出処理が行われることが想定される状況、すなわち物体検出システム1の利用状況が含まれていてよい。物体検出システム1の利用状況は、走行状態、周囲の障害物の存在、ドライバによる操作、車両の位置等の条件や、これらの条件の組み合わせによって定めてよい。
パラメータ選択部12は、パラメータ保持部11に保持されたパラメータから、物体検出部13による検出処理に用いられるものを選択する。
画像選択部30は、パラメータ選択部12によるパラメータの選択に従って、カメラ110a〜110xの撮影画像のうちいずれかを選択する。物体検出部13は、画像選択部30により選択された画像に基づき、パラメータ選択部12により選択されたパラメータに従って、特定の移動を伴う物体を検出する検出処理を実行する。
ある実施例において物体検出部13は、オプティカルフロー処理を用いて検出処理を行ってよい。他の実施例において物体検出部13は、パターンマッチングを用いた物体形状認識によって特定の移動を伴う物体を検出してもよい。
なお、上記の構成例ではカメラの指定をパラメータとして使用したが、これに代えてカメラの指定を検出条件の一つとして使用してもよい。このときパラメータ保持部11は、物体検出部13によって検出処理が行うためのパラメータを、複数のカメラ110a〜110x毎にそれぞれ保持する。
画像選択部30は、複数のカメラ110a〜110xのうち検出処理に用いるカメラを選択する。パラメータ選択部12は、画像選択部30によるカメラの選択に従って、パラメータ保持部11に保持されたパラメータから、物体検出部13による検出処理に用いられるものを選択する。
図7は、車載カメラの配置位置の例を示す図である。フロントカメラ111は、車両2の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸111aは車両2の直進方向に向けられている。バックカメラ114は、車両2の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸114aは車両2の直進方向の逆方向に向けられている。これらフロントカメラ111やバックカメラ114の取付位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
また、右サイドカメラ112は右のドアミラーに設けられ、その光軸112aは車両2の右方向(直進方向に直交する方向)に沿って車両2の外側に向けられている。左サイドカメラ113は左のドアミラーに設けられ、その光軸113aは車両2の左方向(直進方向に直交する方向)に沿って車両2の外側に向けられている。各カメラ111〜114の画角は、それぞれ180°に近いθ1〜θ4である。
続いて、物体検出部13による検出処理に用いられるパラメータの具体例について説明する。パラメータの例には、例えば、カメラ110a〜110xの撮影画像のうち検出に使用する検出範囲の位置が含まれる。
図8の(A)及び図8の(B)は、カメラ毎の検出範囲及び検出フローの相違の説明図である。例えば、フロントカメラ111を用いて見通しの悪い交差点で横手から接近してくる二輪車を検出するとき、検出処理にはフロントカメラ画像PFの左側領域R1と、右側領域R2が使用される。
一方で、左サイドカメラ113を用いて同様に二輪車を検出するとき、検出処理には左サイドカメラ画像PLの右側領域R3が使用される。
また、パラメータの例には、物体検出部13による検出処理において特定の移動をフローとして検出すべきオプティカルフローの向き及び/又は長さの範囲が含まれる。例えば図8の(A)において、フロントカメラ111を用いて二輪車S1を検出するとき、フロントカメラ画像PFの左側領域R1と右側領域R2では、画面端から画面中央に向かうフローが検出されるか否かを判定する。なお、以下の説明において画面端から画面中央に向かうフローを「内向きフロー」と表記することがある。
一方で、左サイドカメラ113を用いて同様に二輪車を検出するとき、左サイドカメラ画像PLでは、画面中央から画面端に向かうフローが検出されるか否かを判定する。なお、以下の説明において画面中央から画面端に向かうフローを「外向きフロー」と表記することがある。
図8の(A)及び図8の(B)の説明では、物体を検出する検出範囲をカメラの撮影画像内のどの場所に設定するかがカメラ毎に異なっている。図9の(A)〜図9の(D)及び図10の(A)及び図10の(B)は、同一カメラの撮影画像内においても検出条件に応じて検出範囲の位置が異なる例を説明する。
図9の(A)に示すように、車両2を駐車場から出庫する際に横手から接近してくる人間S1を検出する場合を想定する。このときフロントカメラ111により撮影される検出範囲A1及びA2、右サイドカメラ112により撮影される検出範囲A4、左サイドカメラ113により撮影される検出範囲A3において接近物体が検出される状態にある。
この場合のフロントカメラ画像PF及び左サイドカメラ画像PL内の検出範囲を図9の(B)〜図9の(D)に示す。フロントカメラ画像PFの左側領域R1と右側領域R2、左サイドカメラ画像PLの右側領域R3、右サイドカメラ画像PRの右側領域R4が、検出処理に使用される。なお、図9の(B)〜図9の(D)に示す矢印は、図8の矢印と同様、物体を検出するためのフローの向きを示す。図9の(B)〜図9の(D)以降の図面においても同様である。
次に図10の(A)に示すように、合流車線60から走行車線61へ車両2が車線変更する場合に右後方から接近してくる他の車両を検出する場合を想定する。このとき右サイドカメラ112により撮影される検出範囲A5において接近物体が検出される。
この場合の右サイドカメラ画像PR内の検出範囲を図10の(B)に示す。右サイドカメラ画像PRの右側領域R5が、検出処理に使用される。このように、図9の(D)の場合と図10の(B)の場合とでは、右サイドカメラ画像PRにおいて検出範囲として使用される範囲が異なる。
またパラメータの例には、遠距離の物体を検出するのか近距離の物体を検出するのかの別が含まれていてよい。遠距離の物体を検出する場合には、近距離の物体を検出する場合に比べて時間経過に対する撮影画像上の移動距離が少ない。
このため、例えば遠距離並びに近距離の物体を検出するためにそれぞれ使用される遠距離用パラメータ及び近距離用パラメータは、物体の移動を検出するために比較される複数フレーム間のフレーム数の指定を含んでいてよい。遠距離用パラメータでは、近距離用パラメータに比べて比較される複数フレーム間のフレーム数が長く指定される。
さらにパラメータの例には、検出対象の物体の種類が含まれていてよい。物体の種類には例えば、人、自動車、二輪車などが含まれていてよい。
<1−3.物体検出方法>
図11は、第1構成例の物体検出システム1による処理の例の説明図である。なお、他の実施態様においては、下記のオペレーションAA〜AEの各オペレーションはステップであってもよい。
オペレーションAAにおいて複数のカメラ110a〜110xは、車両2の周辺画像を撮影する。
オペレーションABにおいてパラメータ選択部12は、パラメータ保持部11に保持されたパラメータにより指定されるカメラ110a〜110xのうち、物体検出部13による検出処理に用いられるものを選択する。画像選択部30は、パラメータ選択部12によるパラメータの選択に従って、カメラ110a〜110xの撮影画像のうちいずれかを選択する。
オペレーションACにおいてパラメータ選択部12は、カメラの指定に関するパラメータ以外の残りのパラメータを、画像選択部30が選択した画像に応じて選択する。
オペレーションADにおいて物体検出部13は、画像選択部30により選択された画像に基づき、パラメータ選択部12により選択されたパラメータに従って、特定の移動を伴う物体を検出する検出処理を実行する。
オペレーションAEにおいてECU10は、HMIを介して物体検出部13の検出結果をユーザに出力する。
本実施例によれば、検出条件に応じた複数のパラメータがパラメータ保持部11に保持され、これらを選択して特定の移動を伴う物体の検出処理に使用することが可能なる。このため、検出条件に応じたパラメータを適切に選択することができるようになり、検出精度を向上させることが可能となる。
例えば、検出条件に応じて適切なカメラを使用して検出処理を行うことにより検出精度が向上する。また、それぞれのカメラの撮影画像に応じた適切なパラメータを使用して検出処理を行うことにより検出精度が向上する。
<2.第2の実施の形態>
続いて、物体検出システム1の他の実施例について説明する。図12は、物体検出システム1の第2構成例を示すブロック図である。図6を参照して説明した第1構成例の各構成要素と同様の構成要素には、同一の参照符号を付する。同一の参照符号が付された構成要素は特に説明しない限り同じである。また、以下に説明する第2構成例の構成要素やその機能を他の実施例が備えていてもよい。
ECU10は、各カメラ110a〜110xの撮影画像にそれぞれ基づいて特定の移動を伴う物体の検出処理を行う複数の物体検出部13a〜13xを備える。物体検出部13a〜13xの機能は、図6に示す物体検出部13と同様であってよい。パラメータ保持部11は、物体検出部13a〜13xによって検出処理が行うためのパラメータを、複数のカメラ110a〜110x毎にそれぞれ保持する。以下、第2構成例の説明において、物体検出部13a〜13xを総称して「物体検出部13」と表記することがある。
パラメータ選択部12は、パラメータ保持部11から各カメラ110a〜110xの撮影画像に基づく検出処理に使用するためにそれぞれ用意されたパラメータを選択して、それぞれ物体検出部13に供給する。ECU10は、物体検出部13のどれかが特定の動作を伴う物体が検出したとき、HMIを介して検出結果を出力する。
パラメータ選択部12は、複数の物体検出部13において同一の物体を検出できるように、これら複数の物体検出部13に与えるパラメータを、パラメータ保持部11から読み出してもよい。このとき、これら複数の物体検出部13に与えるパラメータは、物体検出部13に撮影画像を供給するカメラ110a〜110xの違いに応じて異なっていてもよい。このため、パラメータ保持部11には、複数の物体検出部13が同一の物体を検出する際にそれぞれ使用する異なる値のパラメータが保持される。
例えば、図8の(A)を参照して説明したフロントカメラ画像PFの検知範囲R1においては、内向きフローが検出される否かによって車両2の横手から接近してくる二輪車S1を検出する。一方で、図8の(B)を参照して説明した左サイドカメラ画像PLの検知範囲R3においては、外向きフローが検出される否かによって同じ二輪車S1を検出する。
本実施例によれば、複数のカメラの撮影画像に映る物体を同時に検出することが可能となるため、特定の移動を伴う物体をより早く且つより確実に検出することが可能となる。
また、本実施例によれば、複数のカメラの撮影画像に基づいて同一の物体を検出するように、各カメラの撮影画像にそれぞれ適したパラメータを各物体検出部13に与えることが可能となる。このため、複数の物体検出部13で同一物体を検出できる可能性がより高くなり検出感度が向上する。
<3.第3の実施の形態>
続いて、物体検出システム1の他の実施例について説明する。図13は、物体検出システム1の第3構成例を示すブロック図である。図6を参照して説明した第1構成例の各構成要素と同様の構成要素には、同一の参照符号を付する。同一の参照符号が付された構成要素は特に説明しない限り同じである。また、以下に説明する第3実施例の構成要素やその機能を他の実施例が備えていてもよい。
本構成例における物体検出装置100は、各カメラ110a〜110xの数よりも少ない複数の物体検出部13a及び13bと、映像選択部30a及び30bと、トリミング部14a及び14bを備える。トリミング部14a及び14bは、所定のプログラムに従ってECU10のCPUが演算処理を行うことで実現される。
映像選択部30a及び30bは、物体検出部13a及び13bにおける検出処理に用いるカメラの撮影画像を選択する。トリミング部14a及び14bは、映像選択部30a及び30bが選択した撮影画像から、物体検出部13a及び13bにおける検出処理に用いる検出範囲を選択して、物体検出部13a及び13bへ入力する。物体検出部13a及び13bの機能は、図6に示す物体検出部13と同様であってよい。
以下、第3構成例の説明において、物体検出部13a及び13bを総称して「物体検出部13」と表記することがある。また、映像選択部30a及び30bを総称して「映像選択部30」と表記することがある、トリミング部14a及び14bを総称して「トリミング部14」と表記することがある。物体検出装置100は、物体検出部13、映像選択部30及びトリミング部14を2組以上備えていてもよい。
本実施例において、映像選択部30及びトリミング部14は、パラメータ選択部12によるパラメータの選択に従ってカメラの撮影画像と検出範囲を選択し、選択された検出範囲の部分の映像を物体検出部13に入力する。
例えば、映像選択部30による撮影画像の選択及びトリミング部14による検出範囲の選択は、ユーザがHMIを介して操作してもよい。例えば、ユーザはナビゲーション装置120のディスプレイ121に設けられたタッチパネルを操作して、映像選択部30及びトリミング部14により選択される検出範囲の画像を操作してもよい。図14は、ナビゲーション装置120のディスプレイ121の表示例を示す図である。
参照符号Dは、ディスプレイ121の表示を示す。表示Dはカメラ110a〜110xのいずれかで撮影された撮影画像Pの表示と、タッチパネルによって実現される4つの操作ボタンB1〜B4の表示を含む。
ユーザが「左前方」ボタンB1を押すと、映像選択部30及びトリミング部14は、車両2の左前方から接近する物体を検出するのに適した撮影画像と検出範囲を選択する。ユーザが「右前方」ボタンB2を押すと、映像選択部30及びトリミング部14は、車両2の右前方から接近する物体を検出するのに適した撮影画像と検出範囲を選択する。
ユーザが「左後方」ボタンB3を押すと、映像選択部30及びトリミング部14は、車両2の左後方から接近する物体を検出するのに適した撮影画像と検出範囲を選択する。ユーザが「右後方」ボタンB4を押すと、映像選択部30及びトリミング部14は、車両2の右後方から接近する物体を検出するのに適した撮影画像と検出範囲を選択する。
以下に、操作ボタンB1〜B4の使用例を説明する。図15の(A)に示すような狭い路地の右折時には、ユーザは「右前方」ボタンB2を押すことにより、フロントカメラ111の検出範囲A2及び右サイドカメラ112の検出範囲A4における物体を検出する。
このとき映像選択部30は、図15の(B)及び図15の(C)に示すフロントカメラ画像PFと右サイドカメラ画像PRを選択する。トリミング部14は、フロントカメラ画像PFの右側領域R2と、右サイドカメラ画像PRの左側領域R4を検出範囲として選択する。
図16の(A)に示すような駐車場からの出庫の場合、ユーザは「左前方」ボタンB1及び「右前方」ボタンB2を押す。このとき、フロントカメラ111の検出範囲A1及びA2、並びに左サイドカメラ113の検出範囲A3及び右サイドカメラ112の検出範囲A4において物体が検出される。なお、本例では、これら4つの検出範囲の物体検出を同時に行うために、物体検出部13、映像選択部30及びトリミング部14を4組以上備えていてもよい。
このとき映像選択部30は、図16の(B)〜図16の(D)に示すフロントカメラ画像PF、左サイドカメラ画像PL、右サイドカメラ画像PRを選択する。トリミング部14は、フロントカメラ画像PFの左側領域R1及び右側領域R2と、左サイドカメラ画像PLの右領域R3と、右サイドカメラ画像PRの左側領域R4を検出範囲として選択する。
図17の(A)に示すような車線合流時の場合、ユーザは「右後方」ボタンB4を押す。このとき、右サイドカメラ112の検出範囲A5において物体が検出される。映像選択部30は、図17の(B)に示す右サイドカメラ画像PRを選択する。トリミング部14は、右サイドカメラ画像PRの左側領域R5を検出範囲として選択する。
図18は、第3構成例の物体検出システム1による処理の第1例の説明図である。なお、他の実施態様においては、下記のオペレーションBA〜BFの各オペレーションはステップであってもよい。
オペレーションBAにおいて複数のカメラ110a〜110xは、車両2の周辺画像を撮影する。オペレーションBBにおいてナビゲーション装置12は、ディスプレイ121や操作部122により検出範囲の指定を行うユーザの操作があったか否かを判定する。
ユーザの操作があった場合(オペレーションBB:Y)、処理はオペレーションBCへ移行する。ユーザの操作がなかった場合(オペレーションBB:N)、処理はオペレーションBBへ戻る。
オペレーションBCにおいて画像選択部30及びトリミング部14は、ユーザの操作に応じて物体検出部13に入力する検出範囲の画像を選択する。オペレーションBDにおいてパラメータ選択部12は、撮像画像の検出範囲の指定に関するパラメータ以外の残りのパラメータを、物体検出部13に入力する画像に応じて選択する。
オペレーションBEにおいて物体検出部13は、画像選択部30及びトリミング部14により選択された検出範囲の画像に基づき、パラメータ選択部12により選択されたパラメータに従って検出処理を実行する。オペレーションBFにおいてECU10は、HMIを介して物体検出部13の検出結果をユーザに出力する。
本実施例によれば、複数個の物体検出部13を備えることにより、例えば図15の(A)に示す右折時や図16の(A)に示す駐車場からの出庫時の例のように、複数の検出範囲で同時に物体の検出を行い安全の確認を実施することが可能となる。
なお、本実施例においてユーザの操作に代えて、物体検出部13に入力する検出範囲の画像を時分割で切り替えてもよい。このような処理方法の例を図19に示す。なお、他の実施態様においては、下記のオペレーションCA〜CIの各オペレーションはステップであってもよい。
まず、物体検出部13による検出処理が実行されるシーンを予め想定し、それぞれのシーンにおける検出処理で使用される撮影画像及び検出範囲を定めておく。すなわち画像選択部30及びトリミング部14により選択する検出範囲の画像を予め決めておく。いま、各シーンに応じてN種類の検出範囲の画像が定められていると仮定する。
オペレーションCAにおいてパラメータ選択部12は、変数iに値「1」を代入する。オペレーションCBにおいて複数のカメラ110a〜110xは、車両2の周辺画像を撮影する。
オペレーションCCにおいて画像選択部30及びトリミング部14は、各シーンに応じて予め定められたN種類の検出範囲の画像のうち、第i番目の画像を選択して、物体検出部13に入力する。オペレーションCDにおいてパラメータ選択部12は、撮像画像の検出範囲の指定に関するパラメータ以外の残りのパラメータを、物体検出部13に入力する画像に応じて選択する。
オペレーションCEにおいて物体検出部13は、画像選択部30及びトリミング部14により選択された検出範囲の画像に基づき、パラメータ選択部12により選択されたパラメータに従って検出処理を実行する。オペレーションCFにおいてECU10は、HMIを介して物体検出部13の検出結果をユーザに出力する。
オペレーションCGにおいてパラメータ選択部12は、変数iの値を1つ増加させる。オペレーションCHにおいてパラメータ選択部12は、変数iの値がNより大きいか否かを判定する。変数iの値がNより大きい場合(オペレーションCH:Y)、オペレーションCHにおいて変数iに値「1」が代入され、処理はオペレーションCBに戻る。変数iの値がN以下の場合(オペレーションCH:N)、処理はオペレーションCBに戻る。上記オペレーションCB〜CGが繰り替えされることにより、物体検出部13に入力する検出範囲の画像が時分割で切り替えられる。
<4.第4の実施の形態>
続いて、物体検出システム1の他の実施例について説明する。図20は、物体検出システム1の第4構成例を示すブロック図である。図6を参照して説明した第1構成例の各構成要素と同様の構成要素には、同一の参照符号を付する。同一の参照符号が付された構成要素は特に説明しない限り同じである。また、以下に説明する第4実施例の構成要素やその機能を他の実施例が備えていてもよい。
ECU10は、複数の物体検出部13a〜13cと、近距離用パラメータ保持部11a及び遠距離用パラメータ保持部11bを備える。また、物体検出システム1は、各カメラ110a〜110xの一例として、フロントカメラ111、右サイドカメラ112及び左サイドカメラ113を備える。
物体検出部13a〜13cは、それぞれフロントカメラ111、右サイドカメラ112及び左サイドカメラ113の撮影画像に基づいて、特定の移動を伴う物体の検出処理を行う。物体検出部13a〜13cの機能は、図6に示す物体検出部13と同様であってよい。
近距離用パラメータ保持部11a及び遠距離用パラメータ保持部11bは、ECU10が備えるRAM、ROM若しくは不揮発性メモリなどとして実現され、上述の近距離用パラメータ及び遠距離用パラメータをそれぞれ保持する。
パラメータ選択部12は、フロントカメラ111用の物体検出部13aには遠距離用パラメータを提供し、右サイドカメラ112及び左サイドカメラ113用の物体検出部13b及び13cには近距離用パラメータを提供する。
フロントカメラ111は、サイドカメラ112及び113よりも遠くまで見通すことができるため遠距離の物体の検出に適している。本実施例によれば、フロントカメラ111の撮影画像は遠距離での検出に使用し、サイドカメラ112及び113の撮影画像は近距離での検出に特化して使用することで、互いのカバー範囲を補完し、広い範囲で検出処理を行う際の検出精度を向上することができる。
<5.第5の実施の形態>
続いて、物体検出システム1の他の実施例について説明する。図21は、物体検出システム1の第5構成例を示すブロック図である。図6を参照して説明した第1構成例の各構成要素と同様の構成要素には、同一の参照符号を付する。同一の参照符号が付された構成要素は特に説明しない限り同じである。
図13の構成と同様に、ECU10は、映像選択部30が選択した撮影画像から物体検出部13における検出処理に用いる検出範囲を選択するトリミング部を備えていてよい。以下の実施例においても同様である。また、以下に説明する第5構成例の構成要素やその機能を他の実施例が備えていてもよい。
物体検出システム1は、車両2の走行状態を検出する走行状態センサ133を備える。走行状態センサ133は、車速計や車両2の旋回速度を検出するヨーレートセンサなどであってよい。車両2がこれらのセンサをすでに備えている場合には、車両2のCAN(Controller Area Network)経由でこれらとECU10を接続すればよい。
ECU10は、走行状態判定部15と、条件保持部16と、条件判定部17を備える。走行状態判定部15及び条件判定部17は、所定のプログラムに従ってECU10のCPUが演算処理を行うことで実現される。条件保持部16は、ECU10が備えるRAM、ROM若しくは不揮発性メモリなどとして実現される。
走行状態判定部15は、走行状態センサ133から取得される情報にしたがって車両2の走行状態を判定する。条件保持部16は、条件判定部17が、走行状態に関して行う判定に使用する所定の条件を記憶する。
例えば、条件保持部16は、「車両2の車速が0km/hである」という条件を記憶してよい。また条件保持部16は、「車両2の車速が0km/hより大きく10km/h以下である」という条件を記憶してよい。
条件判定部17は、走行状態判定部15によって判定した車両2の走行状態が、条件保持部16に記憶される所定の条件を満たすか否かを判定する。条件判定部17は、判定結果をパラメータ選択部12に入力する。
パラメータ選択部12は、車両2の走行状態が条件保持部16に記憶される所定の条件を満たすか否かに応じて、パラメータ保持部11に保持されたパラメータから、物体検出部13の検出処理に用いられるものを選択する。
例えば、条件保持部16に「車両2の車速が0km/hである」という条件が記憶されていた場合を想定する。このときパラメータ選択部12は、車両2の車速が0km/hである場合にフロントカメラ画像と遠距離用パラメータを用いて、物体検出部13が検出処理を行うようにパラメータを選択してよい。
車両2の車速が0km/hでない場合には、パラメータ選択部12は、右サイドカメラ画像及び左サイドカメラ画像と近距離用パラメータを用いて、物体検出部13が検出処理を行うようにパラメータを選択してよい。
また例えば、車両2の車速が0km/hより大きく10km/h以下である場合には、フロントカメラ画像、右サイドカメラ画像及び左サイドカメラ画像を用いて検出処理を行う場合を想定する。
この場合、条件保持部16に「車両2の車速が0km/hより大きく10km/h以下である」という条件が記憶する。車両2の車速が0km/hより大きく10km/h以下である場合には、パラメータ選択部12は、フロントカメラ画像と遠距離用パラメータにより物体検出部13が検出処理を行うパラメータと、左右サイドカメラ画像と近距離用パラメータにより物体検出部13が検出処理を行うパラメータと、を時分割で切り替えて選択する。
また、他の例としては、図10の(A)及び図10の(B)に示す車線変更時において、ヨーレートセンサが車両2の旋回を検出した場合に、パラメータ選択部12は、右サイドカメラ画像PRの右側領域R5を検出範囲として選択してもよい。
また、図9の(A)〜図9の(D)に示す駐車場からの出庫時において、ヨーレートセンサが車両2の旋回を検出していない場合に、パラメータ選択部12は、フロントカメラ画像PFの左側領域R1と右側領域R2、左サイドカメラ画像PLの右側領域R3、右サイドカメラ画像PRの右側領域R4を検出範囲として選択してもよい。
図22は、第5構成例の物体検出システム1による処理の例の説明図である。なお、他の実施態様においては、下記のオペレーションDA〜DFの各オペレーションはステップであってもよい。
オペレーションDAにおいて複数のカメラ110a〜110xは、車両2の周辺画像を撮影する。オペレーションDBにおいて走行状態判定部15は、車両2の走行状態を判定する。
オペレーションDCにおいて条件判定部17は、車両2の走行状態が、条件保持部16に記憶される所定の条件を満たすか否かを判定する。パラメータ選択部12は、車両2の走行状態が条件保持部16に記憶される所定の条件を満たすか否かに応じて、物体検出部13に入力する画像を選択する。
オペレーションDDにおいてパラメータ選択部12は、物体検出部13への入力画像の指定に関するパラメータ以外の残りのパラメータを、物体検出部13の入力画像に応じて選択する。
オペレーションDEにおいて物体検出部13は、入力画像に基づき、パラメータ選択部12により選択されたパラメータに従って、検出処理を実行する。オペレーションDFにおいてECU10は、HMIを介して物体検出部13の検出結果をユーザに出力する。
本実施例によれば、車両2の走行状態に応じて、物体検出部13の検出処理に使用するパラメータを選択することができる。このため、車両2の走行状態にその都度適した条件で物体の検出処理を行うことができるため、検出条件の精度を向上させ、安全性を向上させることが可能となる。
<6.第6の実施の形態>
続いて、物体検出システム1の他の実施例について説明する。図23は、物体検出システム1の第6構成例を示すブロック図である。図21を参照して説明した第5構成例の各構成要素と同様の構成要素には、同一の参照符号を付する。同一の参照符号が付された構成要素は特に説明しない限り同じである。また、以下に説明する第6構成例の構成要素やその機能を他の実施例が備えていてもよい。
物体検出システム1は、各カメラ110a〜110xの一例として、フロントカメラ111、右サイドカメラ112及び左サイドカメラ113を備える。また、物体検出システム1は、車両2の周囲の障害物を検出する障害物センサ134を備える。例えば、障害物センサ134はクリアランスソナーであってよい。
ECU10は、障害物検出部18を備える。障害物検出部18は、所定のプログラムに従ってECU10のCPUが演算処理を行うことで実現される。障害物検出部18は、障害物センサ134の検出結果に従って車両2の周辺の障害物を検出してよい。また、フロントカメラ111、左右サイドカメラ112及び113からの撮影映像によるパターン認識によって車両2の周辺の障害物を検出してもよい。
図24の(A)及び図24の(B)は、障害物の例の説明図である。図24の(A)に示す例では、車両2の隣の駐車車両S1のため、左サイドカメラ113の視野が遮られている。また、図24の(B)の例では、車両2の隣の柱S2のため、左サイドカメラ113の視野が遮られている。
このため車両2の周辺の障害物が検出された場合には、物体検出部13は、フロントカメラ111の撮影画像のみで検出処理を行う。障害物がない場合にはフロントカメラ111に加えて左サイドカメラ113の撮影画像でも検出処理を行う。
図23を参照する。条件判定部17は、障害物検出部18により車両2の周辺の障害物が検出されたか否かを判定する。また、条件判定部17は、車両2の走行状態が条件保持部16に記憶される所定の条件を満たすか否かを判定する。条件判定部17は、判定結果をパラメータ選択部12に入力する。
車両2の走行状態が条件保持部16に記憶される所定の条件を満たし、かつ車両2の周辺の障害物が検出された場合には、パラメータ選択部12は、フロントカメラ111の撮影画像のみを物体検出部13への入力画像として選択する。車両2の走行状態が条件保持部16に記憶される所定の条件を満たし、かつ車両2の周辺の障害物が検出されない場合には、パラメータ選択部12は、フロントカメラ111に加えて左右サイドカメラ112及び113の撮影画像を物体検出部13への入力画像として選択する。
図25は、第6構成例の物体検出システム1による処理の例の説明図である。なお、他の実施態様においては、下記のオペレーションEA〜EJの各オペレーションはステップであってもよい。
オペレーションEAにおいてフロントカメラ111及び左右サイドカメラ112及び113は、車両2の周辺画像を撮影する。オペレーションEBにおいて走行状態判定部15は、車両2の走行状態を判定する。
オペレーションECにおいて条件判定部17は、車両2の走行状態が、条件保持部16に記憶される所定の条件を満たすか否かを判定する。パラメータ選択部12は、車両2の走行状態が条件保持部16に記憶される所定の条件を満たすか否かに応じて、物体検出部13に入力する画像を選択する。
オペレーションEDにおいてパラメータ選択部12は、オペレーションECにおいてフロントカメラ画像及びサイドカメラ画像が選択されたか否かを判定する。フロントカメラ画像及びサイドカメラ画像が選択された場合(オペレーションED:Y)は、処理はオペレーションEEへ移行する。フロントカメラ画像及びサイドカメラ画像が選択されない場合(オペレーションED:N)は、処理はオペレーションEHへ移行する。
オペレーションEEにおいて条件判定部17は、車両2の周辺の障害物が検出されたか否かを判定する。障害物が検出された場合(オペレーションEE:Y)は、処理はオペレーションEFへ進む。障害物が検出されない場合(オペレーションEE:N)は、処理はオペレーションEGへ進む。
オペレーションEFにおいてパラメータ選択部12は、フロントカメラ画像のみを物体検出部13への入力画像として選択する。その後処理はオペレーションEHへ進む。
オペレーションEGにおいてパラメータ選択部12は、フロントカメラ画像に加えて左右のサイドカメラ画像を物体検出部13への入力画像として選択する。その後処理はオペレーションEHへ進む。
オペレーションEHにおいてパラメータ選択部12は、物体検出部13への入力画像の指定に関するパラメータ以外の残りのパラメータを、物体検出部13の入力画像に応じて選択する。
オペレーションEIにおいて物体検出部13は、入力画像に基づき、パラメータ選択部12により選択されたパラメータに従って、検出処理を実行する。オペレーションEJにおいてECU10は、HMIを介して物体検出部13の検出結果をユーザに出力する。
本実施例によれば、車両2の周辺の障害物に遮られてサイドカメラによる物体検出が実施できないとき、サイドカメラによる物体検出を省略することができる。これによって物体検出部13の無駄な検出処理を削減することができる。
また、複数のカメラの撮影画像を時分割で切り替えて物体検出部13に入力させている場合には、障害物で視界が遮られたサイドカメラ画像の処理を省略することにより、他のカメラによる物体検出を行う期間を長くすることができる。このため安全性が向上する。
なお、本実施例では自車両の両側方に存在する障害物を検出対象とし、検出結果に応じてサイドカメラとフロントカメラの選択を行うとしたがそれに限定されない。すなわち、検出された障害物によりあるカメラの視界が遮られることを判断すると、そのカメラを除くカメラで物体を検出するように動作すればよい。
<7.第7の実施の形態>
続いて、物体検出システム1の他の実施例について説明する。図26は、物体検出システム1の第7構成例を示すブロック図である。図6を参照して説明した第1構成例の各構成要素と同様の構成要素には、同一の参照符号を付する。同一の参照符号が付された構成要素は特に説明しない限り同じである。また、以下に説明する第7構成例の構成要素やその機能を他の実施例が備えていてもよい。
物体検出システム1は、ユーザにより車両2に対して行われた操作を検出する操作検出センサ135を備える。操作検出センサ135は、方向指示器スイッチ、シフトレバーの位置を検出するセンサや舵角センサ等であってよい。これらのセンサはすでに車両2が備えているので、車両2のCAN(Controller Area Network)経由でこれらとECU10を接続すればよい。
ECU10は、条件保持部16と、条件判定部17と、操作判定部19を備える。条件判定部17及び操作判定部19は、所定のプログラムに従ってECU10のCPUが演算処理を行うことで実現される。条件保持部16は、ECU10が備えるRAM、ROM若しくは不揮発性メモリなどとして実現される。
操作判定部19は、ユーザにより車両2に対して行われた操作に関する情報を操作検出センサ135から取得する。操作判定部19は、ユーザにより行われた操作の内容を判定する。操作判定部19は、操作の内容として例えば操作の種類、操作量などを判定してよい。具体的には、操作の内容は、例えば方向指示器スイッチのオンオフ、シフトレバーの位置、舵角センサの操作量であってよい。条件保持部16は、条件判定部17が、操作内容に関して行う判定に使用する所定の条件を記憶する。
例えば、条件保持部16は、「右側の方向指示器がオンである」、「シフトレバーの位置がD(ドライブ)である」、「シフトレバーの位置がP(パーキング)からD(ドライブ)へ変更された」及び「ハンドルが右に3°以上きられている」等の条件を記憶してよい。
条件判定部17は、操作判定部19によって判定した車両2に対する操作が、条件保持部16に記憶される所定の条件を満たすか否かを判定する。条件判定部17は、判定結果をパラメータ選択部12に入力する。
パラメータ選択部12は、車両2に対する操作が条件保持部16に記憶される所定の条件を満たすか否かに応じて、パラメータ保持部11に保持されたパラメータから、物体検出部13の検出処理に用いられるものを選択する。
例えば、図9の(A)〜図9の(D)に示す駐車場からの出庫の場合のように、シフトレバーの位置がDへ変更されたことが検出された場合に、パラメータ選択部12は、フロントカメラ画像PFの左側領域R1と右側領域R2、左サイドカメラ画像PLの右側領域R3、右サイドカメラ画像PRの左側領域R4を検出範囲として選択してもよい。
また図10の(A)及び図10の(B)に示す車線変更の場合のように、右側の方向指示器がオンになった場合に、パラメータ選択部12は、右サイドカメラ画像PRの右側領域R5を検出範囲として選択してもよい。
図27は、第7構成例の物体検出システム1による処理の例の説明図である。なお、他の実施態様においては、下記のオペレーションFA〜FFの各オペレーションはステップであってもよい。
オペレーションFAにおいて複数のカメラ110a〜110xは、車両2の周辺画像を撮影する。オペレーションFBにおいて操作判定部19は、ユーザにより行われた操作の内容を判定する。
オペレーションFCにおいて条件判定部17は、車両2に対する操作が、条件保持部16に記憶される所定の条件を満たすか否かを判定する。パラメータ選択部12は、車両2に対する操作が条件保持部16に記憶される所定の条件を満たすか否かに応じて、物体検出部13に入力する画像を選択する。
オペレーションFDにおいてパラメータ選択部12は、物体検出部13への入力画像の指定に関するパラメータ以外の残りのパラメータを、物体検出部13の入力画像に応じて選択する。
オペレーションFEにおいて物体検出部13は、入力画像に基づき、パラメータ選択部12により選択されたパラメータに従って、検出処理を実行する。オペレーションFFにおいてECU10は、HMIを介して物体検出部13の検出結果をユーザに出力する。
なお、他の実施例の物体検出システム1は、図21に示す走行状態センサ133及び走行状態判定部15を備えてよい。条件判定部17は、操作内容及び走行状態が所定の条件を満たすか否かを判定してよい。すなわち、条件判定部17は、操作内容に関する所定条件と、走行条件に関する所定条件とを組み合わせた条件が満たされるか否かを判定してよい。パラメータ選択部12は、条件判定部17の判定結果に応じて、物体検出部13の検出処理に用いられるパラメータを選択する。
表1は、走行状態の条件及び操作内容の条件の組み合わせによるパラメータの選択例を示す。本例では、走行状態の条件として車両2の車速に関する条件が使用される。操作内容の条件として、シフトレバーの位置及び方向指示器のオンオフの条件が使用される。
また、選択されるパラメータは、使用するカメラの撮影画像、各撮影画像中の検出範囲の位置、遠距離用パラメータ及び近距離用パラメータの別、検出対象物を指定するパラメータである。
Figure 0005812598
車両2の車速が0[km/h]であり、シフトレバーの位置がDであり、方向指示器がオフの場合、車両2の前方左右の領域で物体の検出を行う。この場合には、フロントカメラ画像PF、右サイドカメラ画像PR及び左サイドカメラ画像PLが検出処理に使用される。また、フロントカメラ画像PFの左側領域R1と右側領域R2、左サイドカメラ画像PLの右側領域R3、右サイドカメラ画像PRの左側領域R4が検出範囲として選択される。
またフロントカメラ画像PFの処理用のパラメータとして、二輪車及び自動車の検出に適合した遠距離用パラメータが選択される。右サイドカメラ画像PR及び左サイドカメラ画像PLの処理用のパラメータとして、歩行者及び二輪車の検出に適合した近距離用パラメータが選択される。
車両2の車速が0[km/h]であり、シフトレバーの位置がD又はN(ニュートラル)であり、右側の方向指示器がONの場合、車両2の右後方の領域で物体の検出を行う。この場合には、右サイドカメラ画像PRが検出処理に使用される。また、右サイドカメラ画像PRの右側領域R5が検出範囲として選択される。右サイドカメラ画像PRの処理用のパラメータとして、歩行者及び二輪車の検出に適合した近距離用パラメータが選択される。
車両2の車速が0[km/h]であり、シフトレバーの位置がD又はN(ニュートラル)であり、左側の方向指示器がONの場合、車両2の左後方の領域で物体の検出を行う。この場合には、左サイドカメラ画像PLが検出処理に使用される。また、左サイドカメラ画像PLの左側領域が検出範囲として選択される。左サイドカメラ画像PLの処理用のパラメータとして、歩行者及び二輪車の検出に適合した近距離用パラメータが選択される。
車両2の車速が0[km/h]であり、シフトレバーの位置がP(パーキング)であり、左側の方向指示器又はハザードがONの場合、車両2の左右後側方の領域で物体の検出を行う。この場合には、右サイドカメラ画像PR及び左サイドカメラ画像PLが検出処理に使用される。
また、右サイドカメラ画像PRの右側領域R5及び左サイドカメラ画像PLの左側領域が検出範囲として選択される。右サイドカメラ画像PR及び左サイドカメラ画像PLの処理用のパラメータとして、歩行者及び二輪車の検出に適合した近距離用パラメータが選択される。
本実施例によれば、ユーザが車両2に対して行った操作に応じて物体検出部13の検出処理に使用するパラメータを選択することができる。このため、車両2に対する操作内容から予測される車両2の状態にその都度適した条件で物体の検出処理を行うことができるため、検出条件の精度を向上させ、安全性を向上させることが可能となる。
<8.第8の実施の形態>
続いて、物体検出システム1の他の実施例について説明する。図28は、物体検出システム1の第8構成例を示すブロック図である。図6を参照して説明した第1構成例の各構成要素と同様の構成要素には、同一の参照符号を付する。同一の参照符号が付された構成要素は特に説明しない限り同じである。
物体検出システム1は、車両2の位置を検出する位置検出部136を備える。例えば位置検出部136はナビゲーション装置120と同じ構成要素であってよい。また位置検出部136は、路車間通信を使用して車両2の位置情報を取得できる安全運転支援システム(DSSS:driving safety support systems)であってもよい。
ECU10は、条件保持部16と、条件判定部17と、位置情報取得部20を備える。条件判定部17及び位置情報取得部20は、所定のプログラムに従ってECU10のCPUが演算処理を行うことで実現される。条件保持部16は、ECU10が備えるRAM、ROM若しくは不揮発性メモリなどとして実現される。
位置情報取得部20は、位置検出部136が検出した車両2の位置の位置情報を取得する。条件保持部16は、条件判定部17が、位置情報に関して行う判定に使用する所定の条件を記憶する。
条件判定部17は、位置情報取得部20が取得した位置情報が、条件保持部16に記憶される所定の条件を満たすか否かを判定する。条件判定部17は、判定結果をパラメータ選択部12に入力する。
パラメータ選択部12は、車両2の位置が条件保持部16に記憶される所定の条件を満たすか否かに応じて、パラメータ保持部11に保持されたパラメータから、物体検出部13の検出処理に用いられるものを選択する。
例えば、図9の(A)〜図9の(D)に示すように車両2が駐車場に位置している場合には、パラメータ選択部12は、フロントカメラ画像PFの左側領域R1と右側領域R2、左サイドカメラ画像PLの右側領域R3、右サイドカメラ画像PRの左側領域R4を検出範囲として選択してもよい。
例えば図10の(A)及び図10の(B)に示す車線変更の場合のように車両2が高速道路、又はその合流車線に位置している場合には、パラメータ選択部12は、右サイドカメラ画像PRの右側領域R5を検出範囲として選択してもよい。
なお、他の実施例の物体検出システム1は、図21に示す走行状態センサ133及び走行状態判定部15を備えてもよい。これに代えて又はこれに加えて、物体検出システム1は、図26に示す操作検出センサ135及び操作判定部19を備えてよい。
このとき条件判定部17は、位置情報に加えて、操作内容及び/又は走行状態が所定の条件を満たすか否かを判定してよい。すなわち、条件判定部17は、位置情報に関する所定条件に、操作内容に関する所定条件及び/又は走行条件に関する所定条件を組み合わせた条件が満たされるか否かを判定してよい。パラメータ選択部12は、条件判定部17の判定結果に応じて、物体検出部13の検出処理に用いられるパラメータを選択する。
図29は、第8構成例の物体検出システム1による処理の第1例の説明図である。なお、他の実施態様においては、下記のオペレーションGA〜GFの各オペレーションはステップであってもよい。
オペレーションGAにおいて複数のカメラ110a〜110xは、車両2の周辺画像を撮影する。オペレーションGBにおいて位置情報取得部20は、車両2の位置情報を取得する。
オペレーションGCにおいて条件判定部17は、車両2の位置情報が、条件保持部16に記憶される所定の条件を満たすか否かを判定する。パラメータ選択部12は、車両2の位置情報が条件保持部16に記憶される所定の条件を満たすか否かに応じて、物体検出部13に入力する画像を選択する。
オペレーションGDにおいてパラメータ選択部12は、物体検出部13への入力画像の指定に関するパラメータ以外の残りのパラメータを、物体検出部13の入力画像に応じて選択する。
オペレーションGEにおいて入力画像に基づき、パラメータ選択部12により選択されたパラメータに従って、検出処理を実行する。オペレーションGFにおいてECU10は、HMIを介して物体検出部13の検出結果をユーザに出力する。
位置情報に関する所定条件と操作内容に関する所定条件とを組み合わせて、物体検出部13の検出処理に用いられるパラメータを選択する場合、車両2の位置情報の確度に応じて、位置情報及び操作内容のうちどちらの判定結果を使用するかを判定してもよい。
すなわち車両2の位置情報の確度が所定の確度よりも高い場合には、パラメータ選択部12は、位置情報取得部20が取得した車両2の位置情報に基づいてパラメータを選択する。一方で位置情報の確度が所定の確度よりも低い場合には、パラメータ選択部12は、操作判定部19が判定した車両2に対する操作内容に基づいてパラメータを選択する。
図30は、第8構成例の物体検出システム1による処理の第2例の説明図である。なお、他の実施態様においては、下記のオペレーションHA〜HIの各オペレーションはステップであってもよい。
オペレーションHAにおいて複数のカメラ110a〜110xは、車両2の周辺画像を撮影する。オペレーションHBにおいて操作判定部19は、ユーザにより行われた操作の内容を判定する。オペレーションHCにおいて位置情報取得部20は、車両2の位置情報を取得する。
オペレーションHDにおいて条件判定部17は、車両2の位置情報の確度が所定の確度よりも高いか否かを判定する。これに代えて位置情報取得部20が位置情報の確度の高低を判定してもよい。位置情報の確度が所定の確度よりも高い場合には(オペレーションHD:Y)、処理はオペレーションHEへ移行する。位置情報の確度が所定の確度よりも高くない場合には(オペレーションHD:N)、処理はオペレーションHFへ移行する。
オペレーションHEにおいて条件判定部17は、車両2の位置情報が、条件保持部16に記憶される所定の条件を満たすか否かを判定する。パラメータ選択部12は、車両2の位置情報が条件保持部16に記憶される所定の条件を満たすか否かに応じて、物体検出部13に入力する画像を選択する。その後処理はオペレーションHGへ移行する。
オペレーションHFにおいて車両2に対する操作が、条件保持部16に記憶される所定の条件を満たすか否かを判定する。パラメータ選択部12は、車両2に対する操作が条件保持部16に記憶される所定の条件を満たすか否かに応じて、物体検出部13に入力する画像を選択する。その後処理はオペレーションHGへ移行する。
オペレーションHGにおいて物体検出部13への入力画像の指定に関するパラメータ以外の残りのパラメータを、物体検出部13の入力画像に応じて選択する。オペレーションHHにおいて物体検出部13は、入力画像に基づき、パラメータ選択部12により選択されたパラメータに従って、検出処理を実行する。オペレーションHIにおいてECU10は、HMIを介して物体検出部13の検出結果をユーザに出力する。
本実施例によれば、車両2の位置情報に応じて物体検出部13の検出処理に使用するパラメータを選択することができる。このため、車両2の位置情報から予測される車両2の状態にその都度適した条件で物体の検出処理を行うことができるため、検出条件の精度を向上させ、安全性を向上させることが可能となる。
次に、HMIによる検出結果の例について説明する。検出結果は、音、音声ガイド、カメラの撮影画像内への重畳表示によってドライバに通知可能である。撮影画像内に検出結果を重畳表示する場合、検出に使用された複数のカメラの撮影画像を全てディスプレイに表示すると、各カメラの撮影画像が小さくなって状況が認識しにくくなるといった問題が生じる。また、確認すべき事項が多すぎることによってドライバが何処に注視すべきか迷ってしまい、危険の認識が後れるという問題がある。
そこで、本実施例では、ディスプレイ121には1つのカメラの撮影画像のみを表示し、この画像の表示上に他のカメラの撮影画像の検出結果を重畳表示する。
図31は、警報の出力方法の一例の説明図である。本例では、フロントカメラ111により撮影される検出範囲A1及びA2、右サイドカメラ112により撮影される検出範囲A4、左サイドカメラ113により撮影される検出範囲A3において接近物体S1が検出される。
この場合、フロントカメラ画像PFの左側領域R1と右側領域R2、左サイドカメラ画像PLの右側領域R3、右サイドカメラ画像PRの左側領域R4が、検出処理に使用される。
本実施例では、ディスプレイ121の表示Dにはフロントカメラ画像PFが表示される。フロントカメラ画像PFの左側領域R1及び左サイドカメラ画像PLの右側領域R3のいずれかで接近物体S1が検出された場合、表示Dの左側領域DR1に接近物体S1を検出したことを示す情報を表示する。表示される情報は、カメラの撮影画像から抽出した接近物体S1の画像PPでもよく、または警報用の文字情報やアイコンなどでもよい。
一方で、フロントカメラ画像PFの右側領域R2及び右サイドカメラ画像PRの左側領域R4のいずれかで接近物体S1が検出された場合、表示Dの右側領域DR2に接近物体S1を検出したことを示す情報を表示する。
本実施例によれば、ユーザはいずれのカメラの撮影画像で物体が検出されたか意識することなく、いずれかのカメラの撮影画像の表示中に検出結果を判断することができるため、上記の問題点を解消することができる。
1 物体検出システム
2 車両
11 パラメータ保持部
12 パラメータ選択部
13、13a〜13x 物体検出部
100 物体検出装置
110a〜110x カメラ

Claims (8)

  1. カメラの撮影画像に基づいて特定の移動を伴う物体を検出する検出処理のためのパラメータを複数の検出条件に応じてそれぞれ保持するパラメータ保持部と、
    前記パラメータ保持部に保持されたパラメータからいずれかを選択するパラメータ選択部と、
    選択された前記パラメータに従って、車両の複数箇所にそれぞれ搭載されたカメラの撮影画像に基づいて前記検出処理を行う物体検出部と、
    前記車両の位置情報を取得する位置情報取得部と、
    前記車両の走行状態を検出する走行状態検出部と、
    前記走行状態に関する所定の条件を保持する条件保持部と、
    を備え、
    前記パラメータ選択部は、前記位置情報が前記走行状態に関する所定の条件を満たすか否かに応じて、前記物体検出部が前記検出処理に用いるためのカメラの撮影画像を選択し、
    同一カメラの撮影画像における物体を検出する検出範囲が、前記検出条件に応じて異なることを特徴とする物体検出装置。
  2. 複数の異なる前記カメラの撮影画像に基づいてそれぞれ前記検出処理を行う複数の前記物体検出部を備え、
    前記パラメータ保持部には、前記複数の物体検出部が同一の前記物体を検出する際に前記複数の物体検出部でそれぞれ使用される異なるパラメータが保持されることを特徴とする請求項1に記載の物体検出装置。
  3. 前記撮影画像の一部の領域を選択するトリミング部を備え、
    前記物体検出部は、前記トリミング部により選択された領域の画像に基づいて前記検出処理を行うことを特徴とする請求項1及び2のいずれか一項に記載の物体検出装置。
  4. 前記車両の複数箇所にそれぞれ搭載されたカメラには、車両前方に向けられたフロントカメラと、車両側方に向けられたサイドカメラが含まれ、
    前記パラメータ選択部は、前記フロントカメラの撮影画像に基づく検出処理のために遠距離の物体を検知するためのパラメータを選択し、前記サイドカメラの撮影画像に基づく検出処理のために近距離の物体を検知するためのパラメータを選択する請求項1〜3のいずれか一項に記載の物体検出装置。
  5. 記車両の複数箇所にそれぞれ搭載されたカメラには、車両前方に向けられたフロントカメラと、車両側方に向けられたサイドカメラとが含まれ、
    前記物体検出部は、前記走行状態が前記所定の条件を満たす場合には、前記フロントカメラの撮影画像に基づく前記検出処理を行い、そうでない場合には前記サイドカメラの撮影画像に基づく前記検出処理を行い、
    前記パラメータ選択部は、前記フロントカメラの撮影画像に基づく検出処理のために遠距離の物体を検知するためのパラメータを選択し、前記サイドカメラの撮影画像に基づく検出処理のために近距離の物体を検知するためのパラメータを選択することを特徴とする請求項1〜4のいずれか一項に記載の物体検出装置。
  6. 記車両の複数箇所にそれぞれ搭載されたカメラには、車両前方に向けられたフロントカメラと、車両側方に向けられたサイドカメラとが含まれ、
    前記物体検出部は、前記走行状態が前記所定の条件を満たす場合には、前記フロントカメラの撮影画像に基づく前記検出処理と、前記サイドカメラの撮影画像に基づく前記検出処理とを時分割で実行し、
    前記パラメータ選択部は、前記フロントカメラの撮影画像に基づく検出処理のために遠距離の物体を検知するためのパラメータを選択し、前記サイドカメラの撮影画像に基づく検出処理のために近距離の物体を検知するためのパラメータを選択することを特徴とする請求項1〜4のいずれか一項に記載の物体検出装置。
  7. 記車両の周辺の障害物を検出する障害物検出部を備え、
    前記車両の複数箇所にそれぞれ搭載されたカメラには、車両前方に向けられたフロントカメラと、車両側方に向けられたサイドカメラとが含まれ、
    前記物体検出部は、前記走行状態が前記所定の条件を満し且つ前記障害物検出部が障害物を検出した場合には、前記フロントカメラのみの撮影画像に基づく前記検出処理を行い、前記走行状態が前記所定の条件を満し且つ前記障害物検出部が障害物を検出しない場合には、前記フロントカメラ及び前記サイドカメラの撮影画像に基づく前記検出処理を行うことを特徴とする請求項1〜4のいずれか一項に記載の物体検出装置。
  8. 前記車両に対して行われた操作を判定する操作判定部を備え、
    前記パラメータ選択部は、判定された前記操作に応じて前記パラメータを選択することを特徴とする請求項1〜のいずれか一項に記載の物体検出装置。
JP2010271740A 2010-12-06 2010-12-06 物体検出装置 Expired - Fee Related JP5812598B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010271740A JP5812598B2 (ja) 2010-12-06 2010-12-06 物体検出装置
US13/298,782 US20120140072A1 (en) 2010-12-06 2011-11-17 Object detection apparatus
CN201110369744.7A CN102555907B (zh) 2010-12-06 2011-11-18 物体检测装置以及物体检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010271740A JP5812598B2 (ja) 2010-12-06 2010-12-06 物体検出装置

Publications (2)

Publication Number Publication Date
JP2012123470A JP2012123470A (ja) 2012-06-28
JP5812598B2 true JP5812598B2 (ja) 2015-11-17

Family

ID=46161894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010271740A Expired - Fee Related JP5812598B2 (ja) 2010-12-06 2010-12-06 物体検出装置

Country Status (3)

Country Link
US (1) US20120140072A1 (ja)
JP (1) JP5812598B2 (ja)
CN (1) CN102555907B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11142192B2 (en) 2016-09-15 2021-10-12 Sony Corporation Imaging device, signal processing device, and vehicle control system

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104221066B (zh) * 2012-03-30 2016-08-31 丰田自动车株式会社 驾驶辅助装置
JP6178580B2 (ja) * 2013-01-28 2017-08-09 富士通テン株式会社 物体検出装置、物体検出システム及び物体検出方法
CN104118380B (zh) * 2013-04-26 2017-11-24 富泰华工业(深圳)有限公司 行车侦测***及方法
US9672627B1 (en) * 2013-05-09 2017-06-06 Amazon Technologies, Inc. Multiple camera based motion tracking
JP2015035704A (ja) * 2013-08-08 2015-02-19 株式会社東芝 検出装置、検出方法および検出プログラム
US9099004B2 (en) 2013-09-12 2015-08-04 Robert Bosch Gmbh Object differentiation warning system
JP5842110B2 (ja) * 2013-10-10 2016-01-13 パナソニックIpマネジメント株式会社 表示制御装置、表示制御プログラム、および記録媒体
CN105722716B (zh) * 2013-11-18 2018-05-15 罗伯特·博世有限公司 内部显示***和方法
US20150266420A1 (en) * 2014-03-20 2015-09-24 Honda Motor Co., Ltd. Systems and methods for controlling a vehicle display
JP6260462B2 (ja) * 2014-06-10 2018-01-17 株式会社デンソー 運転支援装置
JP6355161B2 (ja) * 2014-08-06 2018-07-11 オムロンオートモーティブエレクトロニクス株式会社 車両用撮像装置
JP6532229B2 (ja) * 2014-12-18 2019-06-19 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
KR101692628B1 (ko) * 2014-12-24 2017-01-04 한동대학교 산학협력단 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
JP2016170663A (ja) * 2015-03-13 2016-09-23 株式会社Jvcケンウッド 車両監視装置、車両監視方法、及び、車両監視プログラム
JP6584862B2 (ja) * 2015-08-20 2019-10-02 株式会社デンソーテン 物体検出装置、物体検出システム、物体検出方法及びプログラム
JP6775285B2 (ja) 2015-09-24 2020-10-28 アルパイン株式会社 後側方車両検知警報装置
US10019805B1 (en) 2015-09-29 2018-07-10 Waymo Llc Detecting vehicle movement through wheel movement
CN107226091B (zh) * 2016-03-24 2021-11-26 松下电器(美国)知识产权公司 物体检测装置、物体检测方法以及记录介质
DE102016223106A1 (de) * 2016-11-23 2018-05-24 Robert Bosch Gmbh Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts
US20180150703A1 (en) * 2016-11-29 2018-05-31 Autoequips Tech Co., Ltd. Vehicle image processing method and system thereof
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Subaru 画像表示装置
JP6939494B2 (ja) * 2017-12-11 2021-09-22 トヨタ自動車株式会社 画像表示装置
JP6990137B2 (ja) * 2018-03-28 2022-01-12 本田技研工業株式会社 車両制御装置
JP6696558B1 (ja) * 2018-12-26 2020-05-20 株式会社Jvcケンウッド 車両用記録制御装置、車両用記録装置、車両用記録制御方法およびプログラム
JP7199974B2 (ja) * 2019-01-16 2023-01-06 株式会社日立製作所 パラメータ選定装置、パラメータ選定方法、およびパラメータ選定プログラム
JP7195200B2 (ja) * 2019-03-28 2022-12-23 株式会社デンソーテン 車載装置、車載システムおよび周辺監視方法
JP6949090B2 (ja) * 2019-11-08 2021-10-13 三菱電機株式会社 障害物検知装置及び障害物検知方法
US11455793B2 (en) * 2020-03-25 2022-09-27 Intel Corporation Robust object detection and classification using static-based cameras and events-based cameras
JP2022042425A (ja) * 2020-09-02 2022-03-14 株式会社小松製作所 作業機械の障害物報知システムおよび作業機械の障害物報知方法
CN112165608A (zh) * 2020-09-22 2021-01-01 长城汽车股份有限公司 停车安全监控方法、装置、存储介质以及车辆
JP2022172709A (ja) * 2021-05-06 2022-11-17 トヨタ自動車株式会社 車載ドライブレコーダシステム
JP7321221B2 (ja) * 2021-09-06 2023-08-04 ソフトバンク株式会社 情報処理装置、プログラム、判定方法、及びシステム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4970653A (en) * 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
JPH10221451A (ja) * 1997-02-04 1998-08-21 Toyota Motor Corp 車両用レーダ装置
JPH11321495A (ja) * 1998-05-08 1999-11-24 Yazaki Corp 後側方監視装置
US6734896B2 (en) * 2000-04-28 2004-05-11 Matsushita Electric Industrial Co., Ltd. Image processor and monitoring system
JP2002362302A (ja) * 2001-06-01 2002-12-18 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置
JP3747866B2 (ja) * 2002-03-05 2006-02-22 日産自動車株式会社 車両用画像処理装置
JP2003341592A (ja) * 2002-05-24 2003-12-03 Yamaha Motor Co Ltd 船舶用の制御用パラメータ選択装置及びこの装置を備えた航走制御システム
JP3965078B2 (ja) * 2002-05-27 2007-08-22 富士重工業株式会社 ステレオ式車外監視装置およびその制御方法
US7190282B2 (en) * 2004-03-26 2007-03-13 Mitsubishi Jidosha Kogyo Kabushiki Kaisha Nose-view monitoring apparatus
EP2182730B1 (en) * 2004-06-15 2020-05-20 Panasonic Intellectual Property Management Co., Ltd. Monitor and vehicle periphery monitor
US7432800B2 (en) * 2004-07-07 2008-10-07 Delphi Technologies, Inc. Adaptive lighting display for vehicle collision warning
WO2006121088A1 (ja) * 2005-05-10 2006-11-16 Olympus Corporation 画像処理装置、画像処理方法および画像処理プログラム
JP4661339B2 (ja) * 2005-05-11 2011-03-30 マツダ株式会社 車両用移動物体検出装置
JP4715579B2 (ja) * 2006-03-23 2011-07-06 株式会社豊田中央研究所 潜在危険度推定装置
US8108119B2 (en) * 2006-04-21 2012-01-31 Sri International Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
US8139109B2 (en) * 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
US8004394B2 (en) * 2006-11-07 2011-08-23 Rosco Inc. Camera system for large vehicles
CN100538763C (zh) * 2007-02-12 2009-09-09 吉林大学 基于视频的混合交通流参数的检测方法
JP2009132259A (ja) * 2007-11-30 2009-06-18 Denso It Laboratory Inc 車両周辺監視装置
JP5012527B2 (ja) * 2008-01-17 2012-08-29 株式会社デンソー 衝突監視装置
CN100583125C (zh) * 2008-02-28 2010-01-20 上海交通大学 车辆智能后视方法
CN101281022A (zh) * 2008-04-08 2008-10-08 上海世科嘉车辆技术研发有限公司 基于单目机器视觉的车辆距离测量方法
US8442755B2 (en) * 2008-09-29 2013-05-14 GM Global Technology Operations LLC Systems and methods for preventing motor vehicle side doors from coming into contact with obstacles
JP5099451B2 (ja) * 2008-12-01 2012-12-19 アイシン精機株式会社 車両周辺確認装置
US7994902B2 (en) * 2009-02-25 2011-08-09 Southwest Research Institute Cooperative sensor-sharing vehicle traffic safety system
JP2011033594A (ja) * 2009-08-06 2011-02-17 Panasonic Corp 車両用距離算出装置
CN101734214B (zh) * 2010-01-21 2012-08-29 上海交通大学 汽车防撞行人智能装置与方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11142192B2 (en) 2016-09-15 2021-10-12 Sony Corporation Imaging device, signal processing device, and vehicle control system

Also Published As

Publication number Publication date
JP2012123470A (ja) 2012-06-28
CN102555907B (zh) 2014-12-10
CN102555907A (zh) 2012-07-11
US20120140072A1 (en) 2012-06-07

Similar Documents

Publication Publication Date Title
JP5812598B2 (ja) 物体検出装置
KR102073496B1 (ko) 주차 스페이스의 프레임선의 검출 방법 및 장치
US10163016B2 (en) Parking space detection method and device
EP3367363B1 (en) Parking support method and parking support device
JP6547836B2 (ja) 駐車支援方法及び駐車支援装置
US9318018B2 (en) User interface method for terminal for vehicle and apparatus thereof
KR20180067600A (ko) 표시 제어 방법 및 표시 제어 장치
CN111052733A (zh) 周围车辆显示方法及周围车辆显示装置
JP2001233150A (ja) 車両用危険判断装置及び、車両用周辺監視装置
JP2015139128A (ja) 車両用周辺監視装置
JP2019197303A (ja) 車外報知装置
JP2005242526A (ja) 車両用危険情報提示システム及びその表示装置
JP4930432B2 (ja) 車両用周辺監視装置
JP2012156903A (ja) 車両周辺監視装置
JP4088288B2 (ja) 車両用周辺監視装置
WO2021157056A1 (ja) 駐車支援方法及び駐車支援装置
JP6970910B2 (ja) 車両用移動体検知システム
JP2023063062A (ja) 車載表示装置、制御方法、およびプログラム
WO2017068700A1 (ja) 駐車スペース検出方法および装置
JP2014071080A (ja) 車両の移動方向検出装置、及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140728

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150525

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150915

R150 Certificate of patent or registration of utility model

Ref document number: 5812598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees