JP5270794B2 - 車両周辺監視装置 - Google Patents
車両周辺監視装置 Download PDFInfo
- Publication number
- JP5270794B2 JP5270794B2 JP2012505916A JP2012505916A JP5270794B2 JP 5270794 B2 JP5270794 B2 JP 5270794B2 JP 2012505916 A JP2012505916 A JP 2012505916A JP 2012505916 A JP2012505916 A JP 2012505916A JP 5270794 B2 JP5270794 B2 JP 5270794B2
- Authority
- JP
- Japan
- Prior art keywords
- shape
- lower body
- upper body
- periphery monitoring
- monitoring device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012806 monitoring device Methods 0.000 title claims description 25
- 230000037237 body shape Effects 0.000 claims description 74
- 210000000746 body region Anatomy 0.000 claims description 35
- 238000001514 detection method Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
この発明は、赤外線カメラにより撮影した赤外線画像(グレースケール画像)と、前記グレースケールを変換した2値化画像から、対象物の抽出を行う車両周辺監視装置に関する。
従来から、車両周辺監視装置では、赤外線カメラにより捉えられた自車両周辺の画像(グレースケール画像とその2値化画像)から、自車両との接触の可能性がある歩行者等の対象物を抽出し、その情報を自車両の運転者に提供する。
この装置では、左右一組の赤外線カメラ(ステレオカメラ)が撮影した自車両周辺の画像において温度が高い部分を前記対象物にすると共に、左右画像中の対象物の視差を求めることにより該対象物までの距離を算出し、対象物の移動方向や対象物の位置から、自車両の走行に影響を与えそうな対象物を検出して警報を出力する(US2005/063565A1、US2005/0276447A1参照。)。
そして、US2005/063565A1に係る装置では、2値化画像上の対象物の特徴量と、グレースケール画像上の対象物の特徴量との比較結果に基づいて、対象物画像の輝度分散の採否等を判定し、歩行者の認識処理方法を変更するようにして、歩行者認識の信頼性を向上させている(US2005/063565A1の段落[0244]−[0246])。
また、US2005/0276447A1に係る装置では、グレースケール画像から2値化対象物を抽出し、抽出された2値化対象物の特徴値を歩行者脚部特徴値記憶手段に記憶された歩行者の脚部の特徴値と比較することで、2値化対象物が歩行者の脚部であるか否かを判定する。そして、歩行者の脚部であると判定した場合に、該2値化対象物を含む対象物を歩行者として認識することで、車両周囲の歩行者を認識することができる(US2005/0276447A1の段落[0012]、[0117])。
上記した従来技術に係る車両周辺監視装置は、夜間走行時に、対象物として検出した見えにくい前方の歩行者を映像で表示し、例えば、音と強調枠表示で運転者に気づかせることのできる優れたシステムである。
しかしながら、上記従来技術に係る車両周辺監視装置においては、夜間に自転車を漕いでいる自転車運転者を検出するという点では改善の余地がある。
この発明はこのような課題を考慮してなされたものであり、自転車運転者を検出することを可能とする車両周辺監視装置を提供することを目的とする。
この発明に係る車両周辺監視装置は、車両に搭載された赤外線カメラにより取得される画像から対象物である自転車を漕いでいる自転車運転者を検出する車両周辺監視装置であって、前記画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスと、特定した前記上半身・下半身を含む領域における上半身形状及び下半身形状の各時間変化を検出する形状変化検出デバイスと、検出した時間変化毎に、前記上半身形状と下半身形状の差分を取る差分取得デバイスと、前記差分の振幅が閾値を上回る値であるとき、前記対象物を前記自転車運転者と判定する自転車運転者判定デバイスと、を備えることを特徴とする。
この発明によれば、自転車運転者と推定される上半身・下半身を含む領域における上半身形状及び下半身形状の差分の時間変化の振幅が閾値を上回る値であるとき、前記上半身・下半身を含む領域が前記対象物である自転車運転者と判定するので、自転車運転者を検出することができる。
ここで、前記上半身・下半身領域特定デバイスが、前記赤外線カメラにより取得される画像から上半身・下半身を含む領域を特定するとき、取得される前記画像として、前記赤外線カメラにより取得されるグレースケール画像、又はこのグレースケール画像から2値化処理して取得される2値化画像のどちらを利用してもよい。
なお、上半身・下半身領域特定デバイスにより推定される対象物は、上半身の経時的な形状変化が少なく、下半身の経時的な形状変化が大きいという特徴を有する対象物とすれば、好適に自転車運転者を推定することができる。
さらに、前記形状変化検出デバイスは、上半身形状と下半身形状からなる基準自転車運転者形状を含む基準テンプレートを備え、当該基準自転車運転者形状の前記上半身形状と前記下半身形状から、特定した前記上半身・下半身を含む領域における前記上半身形状及び下半身形状をそれぞれ差し引くことで、前記上半身形状及び下半身形状の各時間変化を検出することができる。当該車両周辺監視装置に備えられる基準テンプレートとしては、前記上半身・下半身を含む領域がグレースケール画像であれば、グレースケール画像の基準テンプレートが備えられ、前記上半身・下半身を含む領域が2値化画像であれば、2値化画像の基準テンプレートが備えられる。
この場合、前記基準テンプレートは、正面視の下半身形状が、右足が左足に対して上方に位置する第1基準自転車運転者形状になっている第1基準テンプレートと、前記第1基準テンプレートの左右を反転し、前記正面視の下半身形状が、前記右足が前記左足に対して下方に位置する第2基準自転車運転者形状になっている第2基準テンプレートと、からなり、前記形状変化検出デバイスは、前記第1及び第2基準テンプレートを使用して、前記上半身形状及び下半身形状の各時間変化を検出することができる。
また、前記形状変化検出デバイスにより検出されている、特定した前記上半身・下半身を含む領域における前記上半身形状及び前記下半身形状の各時間変化が、急変した場合、前記対象物である前記自転車運転者の進行方向が変化したと検出する進行方向検出手段を、さらに備えることが好ましい。
さらにまた、前記画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスは、頭部、ハンドルを握る右手及び左手と推定される3点の高輝度部が検出された場合に、前記対象物である前記自転車運転者の上半身領域と特定する上半身領域特定デバイスを含むことが好ましい。
この発明によれば、従来検出することが困難であった、対象物としての自転車運転者を赤外線カメラの出力画像から精度よく検出することができる。
以下、この発明の実施形態について図面を参照して説明する。
(全体構成)
図1は、この発明の一実施例に係る車両周辺監視装置10の構成を示すブロック図である。図2は、図1に示す車両周辺監視装置10が搭載された車両12の模式図である。
図1は、この発明の一実施例に係る車両周辺監視装置10の構成を示すブロック図である。図2は、図1に示す車両周辺監視装置10が搭載された車両12の模式図である。
図1及び図2において、車両周辺監視装置10は、該車両周辺監視装置10を制御する画像処理ユニット14と、この画像処理ユニット14に接続される左右の赤外線カメラ16R、16Lと、車両12の車速Vsを検出する車速センサ18と、運転者によるブレーキペダルの操作量(ブレーキ操作量)Brを検出するブレーキセンサ20と、車両12のヨーレートYrを検出するヨーレートセンサ22と、音声で警報等を発するためのスピーカ24と、赤外線カメラ16R、16Lにより撮影された画像を表示し、接触の危険性が高い歩行者等の対象物(移動対象物)を車両の運転者に認識させるためのHUD(Head Up Display)26a等を含む画像表示装置26と、を備える。
画像表示装置26としては、HUD26aに限らず、ナビゲーションシステムのディスプレイを利用することができる。
画像処理ユニット14は、車両12の周辺の赤外線画像と車両の走行状態を示す信号(ここでは、車速Vs、ブレーキ操作量Br及びヨーレートYr)とから、車両前方の歩行者や自転車運転者等の動く物体を検出し、接触の可能性が高いと判断したときに警報を発する。
ここで、画像処理ユニット14は、入力アナログ信号をデジタル信号に変換するA/D変換回路、デジタル化した画像信号を記憶する画像メモリ(記憶部14m)、各種演算処理を行うCPU(中央処理装置)14c、CPU14cが演算途中のデータを記憶するために使用するRAM(Random Access Memory)やCPU14cが実行するプログラムやテーブル、マップなどを記憶するROM(Read Only Memory)等の記憶部14m、及びスピーカ24の駆動信号と画像表示装置26の表示信号などを出力する出力回路を備えており、赤外線カメラ16R、16L、ヨーレートセンサ22、車速センサ18、及びブレーキセンサ20の各出力信号は、デジタル信号に変換されてCPU14cに入力されるように構成されている。
画像処理ユニット14のCPU14cは、これらデジタル信号を取り込んでプログラムを実行することで、各種機能手段(機能部ともいう。)として機能し、スピーカ24及び画像表示装置26に駆動信号(音声信号や表示信号)を送出する。これらの機能は、ハードウエアにより実現することもできることから、以下の説明において、機能手段は、機能デバイスという。
いわゆるステレオカメラとして機能する赤外線カメラ16R、16Lは、図2に示すように、自車両12の前部バンパー部に、自車両12の車幅方向中心部に対してほぼ対称な位置に配置されており、2つの赤外線カメラ16R、16Lの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ16R、16Lは、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。
また、HUD26aは、自車両12のフロントウインドシールドの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
図3に模式的に示すように、画像処理ユニット14のROM(記憶部14m)には、上半身形状100と下半身形状102aからなる基準自転車運転者形状(第1基準自転車運転者形状)103aを含む第1基準テンプレート104aと、同様に、上半身形状100と下半身形状102bからなる基準自転車運転者形状(第2基準自転車運転者形状)103bを含む第2基準テンプレート104bと、からなる基準テンプレート104が記憶されている。第1及び第2基準テンプレート104a、104bは、いずれも2値画像(白い部分が人体等の高輝度対応部、見易いようにハッチングで描いている実際には黒い部分が背景等の低輝度対応部)である。
後述するように、第1又は第2基準テンプレート104a、104bのいずれか一方の基準テンプレートのみを記憶部14mに記憶しておいてもよい。
ここで、第1基準テンプレート104aと、第2基準テンプレート104bとは、自転車運転者が車両12に向かってくる方向の正面視の上半身形状(頭部と手を含む胴体部)100は、ハンドルを握る右手Rh及び左手Lhを含め同一であるが、第1基準テンプレート104aは、正面視の下半身形状102aにおいて、右足(右脚)Rfが左足(左脚)Lfに対して上方に位置する第1基準自転車運転者形状103aに構成され、第2基準テンプレート104bは、第1基準テンプレート104aの左右が反転され、前記正面視の下半身形状102bが、右足Rfが左足Lfに対して下方に位置する第2基準自転車運転者形状103bに構成されている。
なお、基準テンプレートとしては、車両に向かってくる方向の正面視以外に、車両から離れていく方向の正面視に係る第1及び第2基準テンプレートに対応するテンプレート(不図示)、さらに、図4に示すように、車両12の前方を横切る方向の正面視の上半身形状106と下半身形状108からなる基準自転車運転者形状110を含む基準テンプレート112も記憶部14mに記憶され、基準テンプレート112の左右反転基準テンプレート(この場合には、図4の進行方向と逆方向のテンプレート)も記憶されている。
次に、本実施形態の動作について図面を参照して説明する。
(対象物検出、判定動作)
図5は、画像処理ユニット14による自転車運転者等の対象物の対象物検出・判定動作を示すフローチャートである。
図5は、画像処理ユニット14による自転車運転者等の対象物の対象物検出・判定動作を示すフローチャートである。
図5のステップS1において、画像処理ユニット14は、赤外線カメラ16R、16Lによりフレーム毎に撮影された車両前方の所定画角範囲の前記フレーム毎の出力信号である赤外線画像を取得し、A/D変換し、グレースケール画像を画像メモリに格納する。なお、赤外線カメラ16Rによりグレースケール右画像が得られ、赤外線カメラ16Lによりグレースケール左画像が得られる。また、グレースケール右画像とグレースケール左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(視差)により対象物までの距離を算出することができる。
また、そのステップS1において、グレースケール画像が得られたら、次に、赤外線カメラ16Rにより得られたグレースケール右画像を基準画像とし、その画像信号の2値化処理、すなわち、輝度閾値より明るい領域を「1」(白)とし、暗い領域を「0」(黒)とする処理を行い、撮影したフレーム毎に2値化画像を得る。
図6は、上側から順番に経時的にフレーム毎に得られるグレースケール画像30a〜30fを示している。
次いで、ステップS2において、対象物である、自転車を漕いでいる自転車運転者を検出するための対象物の候補を抽出する。対象物の候補は、グレースケール画像30a〜30f又はこれらから得られる2値化画像(不図示)のそれぞれから明るい領域(2値化画像では、白)の密度が高い領域が抽出される。
次いで、ステップS3(上半身・下半身領域特定デバイス)において、グレースケール画像30a〜30f又はこれらから得られる2値化画像から抽出した対象物の候補から、対象物と推定される上半身・下半身を含む領域を特定する。
図7Aは、グレースケール画像30a〜30fのそれぞれから特定された上半身・下半身を含む領域P1〜P6を示している。図7Bは、領域P1〜P6のグレースケール画像31a〜31f(図7A)に対応する領域P1b〜P6bの2値化画像31abn〜31fbnを示している。2値化画像31abn〜31fbnは、グレースケール画像31a〜31fの強調画像と捉えることもできる。
この場合、グレースケール画像30a〜30f(図6)から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスは、図8Aの時点tと時点t+Δtのそれぞれの領域Pt、Pt+Δtの、例としての各グレースケール画像70、72に示すように、頭部50、ハンドルを握る右手51R及び左手51Lと推定される3点の高輝度部が検出された場合に、前記対象物である前記自転車運転者の上半身領域Puと特定する上半身領域特定デバイスを含む。
なお、図8Bに示すように、グレースケール画像70、72の2値化画像70bn、72bnからも同様に、上半身領域特定デバイスにより輝度の高い部分である頭部50、ハンドルを握る右手51R及び左手51Lに対応する頭部、右手、及び左手の高輝度部を特定することができる。
上半身・下半身領域特定デバイスのうち、下半身領域特定デバイスは、グレースケール画像70、72から、移動に形状変化を伴わない(形状変化の少ない)3点の高輝度部を含む上半身領域Puの下側に、移動に伴う形状変化(ペダルを漕ぐ上下の移動)及び周期的な動き(ペダルの上下運動)を呈する両足(両脚)と推定される右足(右脚)52Rと左足(左脚)52Lの2点の高輝度部を含む領域を下半身領域Pdと特定する。
この場合においても、グレースケール画像70、72の2値化画像70bn、72bnからも同様に、下半身領域特定デバイスにより、移動に形状変化を伴わない(形状変化の少ない)3点の高輝度部を含む上半身領域Puに対応する2値化画像の上半身領域Puの下側に、移動に伴う形状変化(ペダルの漕ぐ上下の移動)及び周期的な動き(ペダルの上下運動)を呈する両足(両脚)と推定される右足(右脚)52Rと左足(左脚)52Lの2点の高輝度部に対応する右足、左足を含む領域を、下半身領域Pd(グレースケール画像70、72)に対応する下半身領域Pd(2値化画像70bn、72bn)と特定することができる。
次いで、ステップS4(形状変化検出デバイス)において、上半身領域Puと下半身領域Pdの各形状変化を検出する。
この実施形態において、形状変化は、第1基準テンプレート104aと、領域P1b〜P6bの各2値化画像31abn〜31fbnとの各相関誤差、ここではフレーム間相関誤差として算出される。相関誤差としては、以下に詳しく説明するように、上半身相関誤差Euと、下半身相関誤差Edとが算出される。なお、上半身相関誤差Euと下半身誤差Edとにより全身相関誤差Eallは、Eall=Eu+Edとして算出することができる。
具体的に上半身相関誤差Euは、第1基準テンプレート104aの上半身形状100と、領域P1b〜P6bの各2値化画像31abn〜31fbnの各上半身領域Puの相関誤差(例えば、対応する画素値の差の自乗の総和)として算出され、下半身相関誤差Edは、第1基準テンプレート104aの下半身形状102aと、領域P1b〜P6bの各2値化画像31anb〜31fbnの各下半身領域Pdの相関誤差として算出される。
図9は、時点毎の形状変化に対応する相関誤差の算出を模式的に示している。時点t1及び時点t3において、領域Pt1、Pt3の2値化画像では、第1基準テンプレート104aの下半身形状(下半身基準形状)102aに対して下半身領域Pdの形状が大きく相違して(逆相となって)いるので、下半身相関誤差Edの値が最大になることがわかる。その一方、時点t2及び時点t4において、領域Pt2、Pt4の2値化画像では、第1基準テンプレート104aの下半身形状(下半身基準形状)102aに対して下半身領域Pdの形状が略同一(同相)となっているので、下半身相関誤差Edの値が最小になることがわかる。
なお、図9において、下半身相関誤差Ediは、第1基準テンプレート104aの左右形状を反転した第2基準テンプレート104bと領域Pt1〜Pt4の2値化画像と比較した場合の相関誤差を示している。このように、第1及び第2基準テンプレート104a、104bに対する相関誤差が逆相となることを利用して検出精度、換言すれば検出信頼性を上げることができる。
図9の模式的な例において、図示してはいないが、上半身相関誤差Euは、移動がないので同一形状であり常に略ゼロ値になる。
次に、ステップS5(差分取得デバイス)において、検出した時間変化毎に、上半身形状と下半身形状の相関誤差の差分を算出する(取る)。すなわち、フレーム毎(検出時点毎)に、差分ΔEを、差分(ΔE)=下半身相関誤差(Ed)−上半身相関誤差(Eu)≒下半身相関誤差(Ed)として算出する。
図10は、理解の便宜のためのシミュレーション結果を示している。図10において、車両12に対して正面又は背面向きで、フレーム番号0〜フレーム番号180まで、対象物である自転車を漕いでいる自転車運転者が車両12に相対的に近づいてくるとき、上半身相関誤差Euと下半身相関誤差Edは、ともに上昇傾向にある。
この誤差の上昇傾向は、第1に基準テンプレートの拡大に伴いエリアシング(ぼけ)が大きくなることを原因として差分誤差が増大すること。第2に距離による対象物の輝度値変化に関連する誤差の増大があること、第3に背景の変化(ノイズ)による誤差の増大があることを原因とする。
また、下半身相関誤差Edは、各フレームにおいて、動きのある分、上半身相関誤差Euより相関誤差の値が大きい。そして、下半身相関誤差Edには、自転車を漕ぐ動作に対応して振幅が周期的に増減するという特徴を有する。
そこで、ステップS5では、このような特徴を有する下半身相関誤差Edから上半身相関誤差Euを差し引くことで、差分(相関誤差差分)ΔEを算出する。
この差分ΔEでは、上半身・下半身相関誤差Eu、Edに共通に含まれている上記した基準テンプレート104aの拡大に伴う誤差、距離による対象物の輝度変化による誤差、及び背景の変化による誤差成分が除去されるので、周期的な振幅の増減の特徴を有する差分ΔEを好適に検出することができる。
次いで、ステップS6(自転車運転者判定デバイス)において、検出した時間変化である差分ΔEの振幅(ΔEmax−ΔEmin)が閾値TH(この実施形態では、TH=0.05)を上回る値{差分(ΔE)>閾値(TH)}であるかどうかを判定し、上回る値であるときには、基本的に、対象物を自転車運転者と判定する。
そして、ステップS7において、差分ΔEの振幅周期が、自転車の速度に相当する周期(概ね0.88[Hz])の範囲内であるかどうかを判定する。
自転車の速度に相当する周期の範囲内である場合には、ステップS8において、上半身形状の上下動がないかどうかを確認する。
この場合、図11Aに示すように、自転車運転者の頭部60の路面62からの高さ(路面高さ)Hは、一定高さHconstとなるが(H=Hconst)、図11Bに示すように、ジョギング等をしている歩行者の頭部64は、移動に伴って上下にぶれるので、路面高さHは、周期的に変化する高さHvarとなる。
そして、ステップS9において、対象物を自転車運転者と最終的に判定する。
対象物を自転車運転者と判定したとき、ブレーキセンサ20、車速センサ18、及びヨーレートセンサ22の各出力であるブレーキ操作量Br、車速Vs、ヨーレートYrと、対象物である自転車運転者までの距離に基づき、接触の可能性がある場合には、当該自転車運転者のグレースケール画像をHUD26aに表示するとともに、スピーカ24を通じて警報を発生し、車両12の運転者に接触の回避操作を促す、一方、適切なブレーキ操作が行われていて接触の可能性がない場合には、警報を発生しないようにして、運転者に不必要な煩わしさを与えないようにすることができる。
なお、ステップS6〜S8のいずれか一つが否定的であった場合には、対象物が自転車運転者以外のものであると判定する。また、ステップS10以降の処理において、従来技術に係る歩行者の判定を行ってもよい。
以上説明したように上述した実施形態によれば、車両周辺監視装置10は、車両12に搭載された赤外線カメラ16R、16Lにより取得されるグレースケール画像を2値化画像に変換し、前記2値化画像から対象物である自転車を漕いでいる自転車運転者を検出する際に、上半身・下半身領域特定デバイス(ステップS3)が、前記2値化画像から前記対象物と推定される上半身・下半身を含む領域を特定する。そして、形状変化検出デバイス(ステップS4)が、特定した前記上半身・下半身を含む領域における上半身形状及び下半身形状の各時間変化を検出する。さらに、差分取得デバイス(ステップS5)が、検出した時間変化毎に、前記上半身形状と下半身形状の差分を取り、自転車運転者判定デバイス(ステップS6)が、前記差分の振幅が閾値を上回る値であるとき、前記対象物を前記自転車運転者と判定する。このようにして、夜間走行中の自転車運転者を検出することができる。
なお、上半身・下半身領域特定デバイス(ステップS3)により推定される対象物は、上半身の経時的な形状変化が少なく、下半身の経時的な形状変化が大きいという特徴を有する対象物とすれば、好適に自転車運転者を推定することができる。
さらに、形状変化検出デバイス(ステップS4)は、上半身形状と下半身形状からなる基準自転車運転者形状を含む基準テンプレート104を備え、当該基準自転車運転者形状の前記上半身形状と前記下半身形状から、特定した前記上半身・下半身を含む領域における前記上半身形状及び下半身形状をそれぞれ差し引くことで、前記上半身形状及び下半身形状の各時間変化を検出することができる。
この場合、基準テンプレート104は、正面視の下半身形状が、右足が左足に対して上方に位置する第1基準自転車運転者形状になっている第1基準テンプレート104aと、第1基準テンプレート104aの左右を反転し、前記正面視の下半身形状が、前記右足が前記左足に対して下方に位置する第2基準自転車運転者形状になっている第2基準テンプレート104bと、からなり、形状変化検出デバイス(ステップS4)は、第1及び第2基準テンプレート104a、104bを使用して、前記上半身形状及び下半身形状の各時間変化を検出することができる。
また、前記2値化画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイス(ステップS3)は、頭部、ハンドルを握る右手及び左手と推定される3点の高輝度部が検出された場合に、前記対象物である前記自転車運転者の上半身領域と特定する上半身領域特定手段を含むことが好ましい。
この実施形態によれば、従来検出することが困難であった、対象物としての自転車運転者を赤外線カメラの出力画像から精度よく検出することができる。
なお、上記実施形態においては、車両周辺監視装置10は、車両12に搭載された赤外線カメラ16R、16Lにより取得されるグレースケール画像を2値化画像に変換し、前記2値化画像から対象物である自転車を漕いでいる自転車運転者を検出する際に、上半身・下半身領域特定デバイス(ステップS3)が、前記2値化画像から前記対象物と推定される上半身・下半身を含む領域を特定するようにしているが、赤外線カメラ16R、16Lにより取得されるグレースケール画像から前記対象物と推定される上半身・下半身を含む領域を特定するようにしてもよい。
この場合、形状変化検出デバイス(ステップS4)は、特定した前記上半身・下半身を含む領域における上半身形状及び下半身形状のグレースケール画像の各時間変化を検出する。さらに、差分取得デバイス(ステップS5)が、検出した時間変化毎に、グレースケール画像の前記上半身形状と下半身形状の差分を取り、自転車運転者判定デバイス(ステップS6)が、前記差分の振幅が閾値を上回る値であるとき、前記対象物を前記自転車運転者と判定するようにすることができる。
また、上述した実施形態においては、基準テンプレートとして、図3に模式的に示した2値化画像の基準テンプレート(第1及び第2基準テンプレート104a、104b)に基づき、グレースケール画像を2値化処理した2値化画像との経時的な形状変化を検出するようにしているが、これに限らず、基準テンプレートとして、グレースケール画像の基準テンプレートを用いることもできる。例えば、赤外線カメラ16R、16Lにより取得したグレースケール画像30a〜30f(図6参照)から特定された上半身・下半身を含む領域P1〜P6(図7A参照)のうち、領域P1部分のグレースケール画像31aを基準テンプレートとして、領域P2〜P6部分のグレースケール画像31b〜31fの上半身形状及び下半身形状の各時間変化を検出するようにしてもよい。
また、基準テンプレートとして、前記領域P1のグレースケール画像31a〜31fに対応する2値化処理後の前記領域P1b(図7B参照)の2値化画像31abnを基準テンプレートとして用いることもできる。
(他の実施例)
前記形状変化検出デバイスにより検出されている、特定した前記上半身・下半身を含む領域における前記上半身形状及び前記下半身形状の各時間変化に係る相関誤差Edが、図12の時点t12と時点t13の間の相関誤差Edxとして示すように、急変した場合、前記対象物である前記自転車運転者の進行方向が変化したと検出する進行方向検出デバイスをさらに備えることが好ましい。
前記形状変化検出デバイスにより検出されている、特定した前記上半身・下半身を含む領域における前記上半身形状及び前記下半身形状の各時間変化に係る相関誤差Edが、図12の時点t12と時点t13の間の相関誤差Edxとして示すように、急変した場合、前記対象物である前記自転車運転者の進行方向が変化したと検出する進行方向検出デバイスをさらに備えることが好ましい。
この場合、時点t12を僅かに過ぎた時点まで、第1基準テンプレート104aにより領域Pt11、Pt12に対する信頼度の高い相関誤差Edが検出されるが、時点t12以降の相関誤差の増加から、自転車運転者の向きが、時点t12以降で、前後方向から左右方向に変化したと推定し、基準テンプレートを第1基準テンプレート104aから図4に示した基準テンプレート112に更新して上述したステップS1〜S9の処理を行うことで、時点t13以降の相関誤差Edの特性に示すように、動きの周期が再度抽出されることになる。
なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。
10…車両周辺監視装置 12…車両
16R、16L…赤外線カメラ
104、104a、104b…基準テンプレート
Pt1−Pt4…領域
16R、16L…赤外線カメラ
104、104a、104b…基準テンプレート
Pt1−Pt4…領域
Claims (6)
- 車両に搭載された赤外線カメラにより取得される画像から対象物である自転車を漕いでいる自転車運転者を検出する車両周辺監視装置であって、
前記画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスと、
特定した前記上半身・下半身を含む領域における上半身形状及び下半身形状の各時間変化を検出する形状変化検出デバイスと、
検出した時間変化毎に、前記上半身形状と下半身形状の差分を取る差分取得デバイスと、
前記差分の振幅が閾値を上回る値であるとき、前記対象物を前記自転車運転者と判定する自転車運転者判定デバイスと、
を備えることを特徴とする車両周辺監視装置。 - 請求項1記載の車両周辺監視装置において、
前記上半身・下半身領域特定デバイスにより推定される対象物は、上半身の経時的な形状変化が少なく、下半身の経時的な形状変化が大きいという特徴を有する
ことを特徴とする車両周辺監視装置。 - 請求項1又は2記載の車両周辺監視装置において、
前記形状変化検出デバイスは、
上半身形状と下半身形状からなる基準自転車運転者形状を含む基準テンプレートを備え、該基準自転車運転者形状の前記上半身形状と前記下半身形状から、特定した前記上半身・下半身を含む領域における前記上半身形状及び下半身形状をそれぞれ差し引くことで、前記上半身形状及び下半身形状の各時間変化を検出する
ことを特徴とする車両周辺監視装置。 - 請求項3記載の車両周辺監視装置において、
前記基準テンプレートは、
正面視の下半身形状が、右足が左足に対して上方に位置する第1基準自転車運転者形状になっている第1基準テンプレートと、
前記第1基準テンプレートの左右を反転し、前記正面視の下半身形状が、前記右足が前記左足に対して下方に位置する第2基準自転車運転者形状になっている第2基準テンプレートと、からなり、
前記形状変化検出デバイスは、
前記第1及び第2基準テンプレートを使用して、前記上半身形状及び下半身形状の各時間変化を検出する
ことを特徴とする車両周辺監視装置。 - 請求項1又は2記載の車両周辺監視装置において、
前記形状変化検出デバイスにより検出されている、特定した前記上半身・下半身を含む領域における前記上半身形状及び前記下半身形状の各時間変化が、急変した場合、前記対象物である前記自転車運転者の進行方向が変化したと検出する進行方向検出デバイスを、さらに備える
ことを特徴とする車両周辺監視装置。 - 請求項1又は2記載の車両周辺監視装置において、
前記画像から前記対象物と推定される上半身・下半身を含む領域を特定する上半身・下半身領域特定デバイスは、
頭部、ハンドルを握る右手及び左手と推定される3点の高輝度部が検出された場合に、前記対象物である前記自転車運転者の上半身領域と特定する上半身領域特定デバイスを含む
ことを特徴とする車両周辺監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012505916A JP5270794B2 (ja) | 2009-09-03 | 2010-09-02 | 車両周辺監視装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009203411 | 2009-09-03 | ||
JP2009203411 | 2009-09-03 | ||
JP2012505916A JP5270794B2 (ja) | 2009-09-03 | 2010-09-02 | 車両周辺監視装置 |
PCT/JP2010/065452 WO2011027907A1 (en) | 2009-09-03 | 2010-09-02 | Vehicle vicinity monitoring apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013504098A JP2013504098A (ja) | 2013-02-04 |
JP5270794B2 true JP5270794B2 (ja) | 2013-08-21 |
Family
ID=43649440
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012505916A Expired - Fee Related JP5270794B2 (ja) | 2009-09-03 | 2010-09-02 | 車両周辺監視装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20120147188A1 (ja) |
EP (1) | EP2465092B1 (ja) |
JP (1) | JP5270794B2 (ja) |
CN (1) | CN102473281B (ja) |
WO (1) | WO2011027907A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012198656A (ja) * | 2011-03-18 | 2012-10-18 | Toyota Motor Corp | 自転車検出装置及び照射装置 |
JP5782870B2 (ja) * | 2011-07-05 | 2015-09-24 | セイコーエプソン株式会社 | 検出装置及び検出方法 |
JP5559121B2 (ja) * | 2011-09-27 | 2014-07-23 | 本田技研工業株式会社 | 対象物種別判定装置 |
JP5486031B2 (ja) * | 2012-03-06 | 2014-05-07 | 本田技研工業株式会社 | 配光制御装置 |
US9784577B2 (en) * | 2012-03-16 | 2017-10-10 | Lg Innotek Co., Ltd. | Measuring distance from object by using size of pattern projected onto object |
JP5648655B2 (ja) * | 2012-04-27 | 2015-01-07 | 株式会社デンソー | 対象物識別装置 |
EP2879115B1 (en) | 2012-07-27 | 2018-09-05 | Nissan Motor Co., Ltd | Three-dimensional object detection device |
JP6178580B2 (ja) * | 2013-01-28 | 2017-08-09 | 富士通テン株式会社 | 物体検出装置、物体検出システム及び物体検出方法 |
JP6414549B2 (ja) * | 2013-11-20 | 2018-10-31 | 日本電気株式会社 | 二輪車乗車数判定方法、二輪車乗車数判定システム、二輪車乗車数判定装置及びプログラム |
CN103745196B (zh) * | 2013-12-27 | 2016-10-05 | 东软集团股份有限公司 | 广义行人检测方法和装置 |
US10065562B2 (en) | 2013-12-31 | 2018-09-04 | International Business Mahcines Corporation | Vehicle collision avoidance |
CN104834887B (zh) * | 2014-02-11 | 2018-09-11 | 株式会社理光 | 运动行人表示方法、识别方法及其装置 |
JP6255309B2 (ja) * | 2014-06-12 | 2017-12-27 | 東芝テック株式会社 | 情報処理装置および報知システム |
JP6340957B2 (ja) * | 2014-07-02 | 2018-06-13 | 株式会社デンソー | 物体検出装置および物体検出プログラム |
JP6626623B2 (ja) * | 2015-03-27 | 2019-12-25 | 中日本高速道路株式会社 | 移動体検出装置 |
WO2017019264A1 (en) * | 2015-07-30 | 2017-02-02 | Elevationtv Llc | Safe backup system for vehicles |
JP6620715B2 (ja) * | 2016-10-20 | 2019-12-18 | 株式会社デンソー | 画像認識装置 |
CN108062868B (zh) * | 2016-11-09 | 2021-06-29 | 奥迪股份公司 | 用于车辆的自行车检测***和方法以及车辆 |
DE112019005949T5 (de) * | 2018-11-30 | 2021-08-19 | Sony Group Corporation | Informationsverarbeitungsvorrichtung, informationsverarbeitungssystem und informationsverarbeitungsverfahren |
US10991130B2 (en) * | 2019-07-29 | 2021-04-27 | Verizon Patent And Licensing Inc. | Systems and methods for implementing a sensor based real time tracking system |
FR3123490A1 (fr) | 2021-06-01 | 2022-12-02 | Psa Automobiles Sa | Procédé de gestion de l’affichage de la distance latérale de sécurité devant être respectée par un véhicule automobile en cas de dépassement d’un usager de la route vulnérable |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000097963A (ja) * | 1998-09-21 | 2000-04-07 | Mitsubishi Electric Corp | 移動体の識別装置 |
JP4007012B2 (ja) * | 2002-02-04 | 2007-11-14 | 日産自動車株式会社 | 車両用保護装置 |
JP3987048B2 (ja) * | 2003-03-20 | 2007-10-03 | 本田技研工業株式会社 | 車両周辺監視装置 |
US7330566B2 (en) * | 2003-05-15 | 2008-02-12 | Microsoft Corporation | Video-based gait recognition |
JP3922245B2 (ja) * | 2003-11-20 | 2007-05-30 | 日産自動車株式会社 | 車両周辺監視装置および方法 |
JP2007187618A (ja) * | 2006-01-16 | 2007-07-26 | Omron Corp | 物体識別装置 |
JP2007255977A (ja) * | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | 物体検出方法および物体検出装置 |
JP4772622B2 (ja) * | 2006-08-18 | 2011-09-14 | アルパイン株式会社 | 周辺監視システム |
JP2008090748A (ja) * | 2006-10-04 | 2008-04-17 | Toyota Motor Corp | 車輌用警報装置 |
WO2008065717A1 (fr) * | 2006-11-29 | 2008-06-05 | Fujitsu Limited | Système et procédé de détection de piéton |
US20090016571A1 (en) * | 2007-03-30 | 2009-01-15 | Louis Tijerina | Blur display for automotive night vision systems with enhanced form perception from low-resolution camera images |
JP4470067B2 (ja) * | 2007-08-07 | 2010-06-02 | 本田技研工業株式会社 | 対象物種別判定装置、車両 |
JP4861952B2 (ja) * | 2007-09-28 | 2012-01-25 | 富士フイルム株式会社 | 画像処理装置及び撮像装置 |
JP4716294B2 (ja) * | 2008-02-19 | 2011-07-06 | 本田技研工業株式会社 | 車両周辺監視装置、車両、車両周辺監視プログラム |
JP4410292B1 (ja) * | 2008-10-20 | 2010-02-03 | 本田技研工業株式会社 | 車両の周辺監視装置 |
-
2010
- 2010-09-02 US US13/391,395 patent/US20120147188A1/en not_active Abandoned
- 2010-09-02 EP EP10813852.0A patent/EP2465092B1/en not_active Not-in-force
- 2010-09-02 JP JP2012505916A patent/JP5270794B2/ja not_active Expired - Fee Related
- 2010-09-02 CN CN201080036182.8A patent/CN102473281B/zh not_active Expired - Fee Related
- 2010-09-02 WO PCT/JP2010/065452 patent/WO2011027907A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN102473281B (zh) | 2015-06-10 |
EP2465092A4 (en) | 2013-05-22 |
EP2465092B1 (en) | 2015-02-11 |
EP2465092A1 (en) | 2012-06-20 |
JP2013504098A (ja) | 2013-02-04 |
CN102473281A (zh) | 2012-05-23 |
WO2011027907A1 (en) | 2011-03-10 |
US20120147188A1 (en) | 2012-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5270794B2 (ja) | 車両周辺監視装置 | |
JP5639283B2 (ja) | 車両周辺監視装置 | |
JP4410292B1 (ja) | 車両の周辺監視装置 | |
JP5616531B2 (ja) | 車両周辺監視装置 | |
JP5706874B2 (ja) | 車両の周辺監視装置 | |
JP4173901B2 (ja) | 車両周辺監視装置 | |
JP5480917B2 (ja) | 車両周辺監視装置 | |
US20050276447A1 (en) | Vehicle surroundings monitoring apparatus | |
JP4173902B2 (ja) | 車両周辺監視装置 | |
JP5576937B2 (ja) | 車両の周辺監視装置 | |
JP5774770B2 (ja) | 車両周辺監視装置 | |
JP5480925B2 (ja) | 車両周辺監視装置 | |
JP4528283B2 (ja) | 車両周辺監視装置 | |
JPWO2011108218A1 (ja) | 車両の周辺監視装置 | |
JP4644273B2 (ja) | 車両周辺監視装置 | |
US9160986B2 (en) | Device for monitoring surroundings of a vehicle | |
JP4887537B2 (ja) | 車両周辺監視装置 | |
JP4922368B2 (ja) | 車両周辺監視装置 | |
JP5430633B2 (ja) | 車両周辺監視装置 | |
JP5559121B2 (ja) | 対象物種別判定装置 | |
JP5383246B2 (ja) | 車両の周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130509 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |