JP5629521B2 - 障害物検知システム及び方法、障害物検知装置 - Google Patents

障害物検知システム及び方法、障害物検知装置 Download PDF

Info

Publication number
JP5629521B2
JP5629521B2 JP2010170442A JP2010170442A JP5629521B2 JP 5629521 B2 JP5629521 B2 JP 5629521B2 JP 2010170442 A JP2010170442 A JP 2010170442A JP 2010170442 A JP2010170442 A JP 2010170442A JP 5629521 B2 JP5629521 B2 JP 5629521B2
Authority
JP
Japan
Prior art keywords
lamp
video
obstacle
difference
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010170442A
Other languages
English (en)
Other versions
JP2012032921A (ja
Inventor
洋一 村松
洋一 村松
竹内 大介
大介 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010170442A priority Critical patent/JP5629521B2/ja
Priority to PCT/JP2010/006925 priority patent/WO2012014266A1/ja
Priority to EP10855277.9A priority patent/EP2600327A4/en
Priority to CN201080067919.2A priority patent/CN102971776B/zh
Publication of JP2012032921A publication Critical patent/JP2012032921A/ja
Priority to US13/688,764 priority patent/US20130088598A1/en
Application granted granted Critical
Publication of JP5629521B2 publication Critical patent/JP5629521B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、障害物検知システムに関し、特に、低照度の状況下において車両周辺に存在する障害物を検知可能な障害物検知システムに関する。
近年、自動車の安全運転を支援する目的で、車載カメラが広く用いられている。例えば、車両の後方に設置された撮像装置により車両の後方の画像を撮影し、撮像された画像を運転席に設置されたディスプレイに表示することで、運転手は、車両の後退時に、車両後方の歩行者や立体物等の障害物の有無を認識することができる。
ここで、夜間等の低照度の環境下においては、車載カメラにより得られる画像が暗く、不鮮明なものとなる場合が多い。このため、ディスプレイに表示される画像を観察する運転手が障害物の有無を識別するのが困難となり、障害物を見落としてしまう可能性が高くなる。そこで、特許文献1に記載の駐車支援装置では、車両後方を撮影するカメラと、超音波、電波、レーザ等を用いたセンサとを併用し、低照度の状況下ではセンサからの信号を利用することで、障害物の有無を検出可能とする発明が開示されている。
特開2002−29345号公報
しかしながら、上記特許文献に記載の方法では、カメラと別個のセンサが必要となって装置全体のコストが増加するとともに、カメラとセンサの両方を配置するための配線等が煩雑となる問題が生じていた。また、近年は、広範囲における障害物の有無を検出可能とするために、魚眼レンズ等の広角レンズを用いる傾向があるところ、かかる広角の画像と同等の領域をセンサで走査可能とするためには、複数個のセンサが必要となることから、更なるコスト増を招く要因となっていた。
本発明は、上記背景に鑑みなされたものであり、カメラ以外のセンサを別途必要とすることなく、低照度の環境下でも車両周辺の障害物を確実に検知可能な障害物検知システム及び方法を提供することを目的とする。
本発明の障害物検知システムは、車両の周辺を撮影して映像情報を生成する撮像装置と、前記映像情報に基づいて前記車両付近の障害物を検知する障害物検知装置と、前記車両に搭載された灯具装置とを備え、前記障害物検知装置は、前記灯具装置の点灯状態を制御する灯具制御部と、前記灯具装置の点灯時において前記撮像装置で生成された映像情報と、前記灯具装置の消灯時において前記撮像装置で生成された映像情報との差分映像を生成する差分映像生成部と、前記差分映像に含まれる映像に基づき前記障害物の有無を判定する障害物判定部を備えた構成を有する。
この構成により、車両に備え付けの灯具装置を用いて障害物の検知を行うことができ、カメラ以外のセンサを要することなく、低照度の環境下でも障害物を確実に検知することができる。これにより、障害物検知システムを安価で提供することが可能となる。
本発明の障害物検知システムは、前記灯具装置の点灯状態の変化を判定する灯具状態変化判定部と、前記撮像装置から送られた前記映像情報を記憶する映像データ記憶部を備え、前記差分映像生成部は、前記灯具状態変化判定部において前記灯具装置の点灯状態が変化したと判定したときに、前記撮像装置から送られる前記映像情報と、前記映像データ記憶部に記憶された前記映像情報との差分映像を生成する。
この構成により、灯具装置の点灯状態が変化する前後の映像情報を取得して、差分情報を生成することができるから、被写体の移動による誤検出のおそれを低くすることができる。
本発明の障害物検知システムにおいて、灯具制御部は、前記撮像装置における各撮像フレームの撮像期間の間に、前記灯具装置の点灯状態を変化させる。この構成により、例えば、灯具装置が消灯している間に、撮像装置において映像情報を取得することができるので、灯具装置の点灯時と消灯時における映像信号の差分情報を確実に抽出することができる。
本発明の障害物検知システムにおいて、前記灯具装置は、前記車両に設置された前記撮像装置の位置に応じて、あるいは、前記車両の走行方向に応じて定められる。この構成により、撮像範囲ないし車両の走行方向に対応する障害物を検知することができるので、障害物検知の精度を向上することができる。
本発明の障害物検知システムにおいて、障害物判定部は、前記差分映像のうち水平線よりも上側の領域において、閾値を超える差分情報を検出した場合に、前記障害物が存在することを判定する。この構成により、例えば、障害物が存在しないが灯具装置により照射された領域について、障害物を誤って検出してしまうおそれをなくすことができる。
本発明の障害物検知システムにおいて、前記灯具制御部は、前記障害物が存在すると判定された場合に、前記灯具装置の点灯状態を変化させる。この構成により、例えば障害物が歩行者であった場合に、当該歩行者に対して、車両が接近していることを通知することが可能となる。
本発明の障害物検知方法は、車両の周辺を撮影して映像情報を生成するステップと、前記車両に搭載された灯具装置の点灯状態を制御するステップと、前記灯具装置の点灯時において前記撮像装置で生成された映像情報と、前記灯具装置の消灯時において前記撮像装置で生成された映像情報との差分映像を生成するステップと、前記差分映像に含まれる映像に基づき前記障害物の有無を判定するステップとを備えた構成を有する。この構成によっても、上記と同様の効果を得ることができる。
本発明の障害物検知装置は、撮像装置において生成された車両の周辺の映像情報に基づいて、前記車両付近の障害物を検知するものであって、前記車両に搭載された灯具装置の点灯状態を制御する灯具制御部と、前記灯具装置の点灯時において前記撮像装置で生成された映像情報と、前記灯具装置の消灯時において前記撮像装置で生成された映像情報との差分映像を生成する差分映像生成部と、前記差分映像に含まれる映像に基づき前記障害物の有無を判定する障害物判定部とを備えた構成を有する。この構成によっても、上記と同様の効果を得ることができる。
本発明によれば、車両に搭載済みの灯具装置を用いて車両周辺の障害物を検知するようにしたので、カメラ装置以外のセンサを必要とすることなく、低照度の環境下でも、車両周辺の障害物を検知できるという優れた効果を有する。
本発明の一実施形態に係る障害物検知システムの構成を示すブロック図 灯具装置の制御タイミングの一例を示すタイミングチャート (a)灯具装置の消灯時における撮像画像の一例を示す説明図 (b)灯具装置の点灯時における撮像画像の一例を示す説明図 (c)差分画像の一例を示す説明図 (a)灯具装置の消灯時における撮像画像の一例を示す説明図 (b)灯具装置の点灯時における撮像画像の一例を示す説明図 (c)有差分画像の一例を示す説明図 (d)有差分画像の抽出結果を示す説明図 障害物検知システムの動作を示すフローチャート
以下、本発明の実施形態における障害物検知システムについて、図面を参照して説明する。
図1は、本発明の一実施形態に係る障害物検知システムの構成を示すブロック図である。障害物検知システム10は、被写体を撮像して映像信号を出力する撮像装置20と、障害物の有無を検知する障害物検知装置30と、車両に搭載される灯具装置40とを備える。
撮像装置20は、例えば車両前側または後側のナンバープレートの周辺の所定位置に所定角度で取り付けられており、光路上に配置された撮影レンズ21と、撮像素子22、A/D変換器23及び信号処理部24を備えており、車両周辺の被写体を撮影して映像信号を生成する。撮影レンズ21は、被写体からの光を撮像素子22に結像させる。撮像素子22は、例えばCCDやCMOSの固体撮像素子であり、撮影レンズ21により結像された被写体光を光電変換してアナログの信号を出力する。A/D変換器23は、撮像素子22から出力されたアナログ信号をデジタル信号に変換する。信号処理部24は、A/D変換器23からのデジタル信号に対して、周知の信号処理により、輝度信号、色差信号、アパーチャ信号を生成して出力する。また、信号処理部24は、黒レベルに相当する信号成分を減算するOB(Optical Black)減算、ホワイトバランス調整、ノイズ処理といった周知の映像信号処理を行う。
障害物検知装置30は、灯具状態制御部31、灯具状態変化判定部32、灯具状態記憶部33、差分映像生成部34、映像データ記憶部35、差分閾値処理部36、有差分画素抽出部37と、障害物判定部38を備える。
障害物検知装置30は、撮像素子22からの同期信号及び信号処理部24からの映像信号と、車両本体から入力されるギア位置情報が入力され、灯具装置40の点灯時及び消灯時における映像信号の差分情報に基づいて、車両の周辺に存在する障害物を検知する。ここで、撮像素子22の同期信号とは、撮像素子22において露光動作が行われるタイミングを示す信号であり、この同期信号のタイミングに従い、撮像装置20から映像信号が出力される。ギア位置情報は、選択されているギアポジションを示す情報である。
本実施形態において、灯具装置40とは車両に標準的に搭載されている灯具であり、例えば、前照灯、尾灯、後退灯、停止灯、車幅灯であり、後述する灯具状態制御部31からの制御信号を受けて、点灯/消灯の制御が行われる。なお、本実施形態では、障害物検知装置30から直接、灯具装置40を制御する構成となっているが、エンジンコントロールユニットを介して、障害物検知装置30と灯具装置40とを接続しても良い。また、制御信号やギア位置情報の伝達は、例えばCAN(Controller Area Network)、LIN(Local Interconnect Network)といった車載ネットワークを介して行うことができる。
灯具状態制御部31は灯具装置40の点灯状態を制御するとともに、撮像素子22からの同期信号が入力される。本実施形態に係る障害物検知システムは、夜間における使用を想定しているため、灯具装置40は基本的には点灯状態にある。このため、灯具状態制御部31は、車両周辺の障害物を検知する場合には、一時的に灯具装置40を消灯させるように、灯具装置40に制御信号を送る。
図2は、灯具装置40の点灯と消灯の制御タイミングを示したものである。図2(a)は撮像装置20における露光タイミングを、図2(b)は灯具装置の点灯/消灯のタイミングを示したものである。灯具状態制御部31は、撮像装置20における露光タイミングに同期するように、灯具装置40の消灯タイミングを制御する。すなわち、図2(a)において、Nフレーム目の露光期間中は、灯具装置40が消灯状態となるように制御される。このように、撮像装置20の露光タイミングと同期するように灯具装置40を消灯することで、灯具装置40の点灯時と消灯時における映像信号の差分情報を正確に抽出することができる。
本実施形態では、1フレームの露光期間に相当する時間だけ、灯具装置40を消灯しているが、複数フレームの露光期間に相当する期間、灯具装置40を消灯してもよい。ここで、灯具装置40の消灯期間を長くすれば、少なくとも1フレームに相当する映像信号を取得できることから、撮像装置20の露光タイミングと同期をとる必要は必ずしもないが、消灯時間が長くなってしまうと、人間が灯具装置40の消灯を知覚することができ、その結果、夜間走行中に灯具装置40が点滅するように認識されてしまうことから、灯具装置40の消灯期間は短い方が好ましい。
灯具状態制御部31は、制御対象となる灯具装置40を、撮像装置20の設置位置や車両の進行方向に応じて切り替える。例えば、撮像装置20が車両の前部に設置されている場合には、灯具状態制御部31は、車両前部に設置された前照灯、車幅灯を制御対象とし、撮像装置20が車両の後部に設置されている場合には、車両後部に設置された尾灯、後退灯、停止灯、車幅灯を制御する。また、撮像装置20が車両の複数箇所に設置されている場合は、車両の進行方向に応じて、制御対象とする灯具装置40を切り替える。例えば、車両が前進しているときは、車両前部に設置された前照灯、車幅灯を制御対象とし、車両が後進しているときは、車両後部に設置された尾灯、後退灯、停止灯、車幅灯を制御する。灯具状態制御部31は、ギア位置情報によって車両の進行方向を検出することができる。
灯具状態制御部31は、灯具装置40の状態(点灯/消灯)を示す灯具状態情報を、撮像素子22からの同期信号と同じタイミングにより、灯具状態記憶部33及び灯具状態変化判定部32に送る。灯具状態記憶部33は、一定期間の灯具状態情報を記憶する。灯具状態変化判定部32は、灯具状態制御部31から入力された灯具状態情報と、灯具状態記憶部33に記憶された過去の灯具状態情報を比較して、灯具装置40の点灯状態に変化があったか否か(すなわち、点灯状態から消灯状態に変化したか、あるいは、消灯状態から点灯状態に変化したか)を検出する。灯具状態変化判定部32は、灯具装置40の点灯状態に変化があったことを検出したときは、差分映像生成部34にその旨の信号を送る。
差分映像生成部34は、灯具装置40の点灯時及び消灯時に生成された映像信号の差分を算出して、差分映像として出力する。図3は、差分映像生成部34において差分映像が生成される様子を示したものである。図3(a)は、灯具装置40の消灯時において撮像された画像であり、道路50上に障害物としての人物52が歩行中であることが示されている。図3(b)は、灯具装置40の点灯時における撮像で得られた画像であり、人物52と道路50の一部分54が、灯具装置40によって照らされる状態が示されている。図3(c)は、図3(a)及び(b)の画像に基づき、差分映像生成部34において算出された差分映像を示した画像である。これにより、灯具装置40によって照らされた人物52と、道路の一部分54のみが抽出されるので、灯具装置40の点灯状態の変化に伴う、映像信号の変化を検出することができる。
差分映像生成部34は、灯具状態変化判定部32から信号が入力されたとき(すなわち、灯具装置40の点灯状態に変化があったことが検出されたとき)に、撮像装置20から入力された現在のフレームの映像信号と、映像データ記憶部35に記憶された過去のフレームの映像信号との差分映像を生成する。映像データ記憶部35には、撮像装置20から入力された映像信号が記憶されている。
この映像データ記憶部35に記憶される映像信号と、灯具状態記憶部33に記憶されている灯具状態情報とは、互いにフレーム番号情報により関連づけられている。このため、灯具状態記憶部33は、映像データ記憶部35に記憶されているフレームの映像について、灯具装置40が点灯している状態で撮影されたか否かの情報を記憶することができる。これにより、差分映像生成部34は、灯具装置40の点灯/消灯により生じる映像の差分を算出することができるとともに、灯具装置40の点灯/消灯とは無関係に生じる映像の差分(例えば、車両や被写体が移動した場合)を誤検出するおそれをなくすことができる。
差分閾値処理部36は、差分映像生成部34において生成された差分映像を構成する各画素の差分情報に対して、差分閾値処理を行い、閾値映像を出力する。ここで、差分閾値処理とは、各画素の差分値と所定値DiffTHとを比較して、差分値が閾値DiffTHより大きい場合には、差分がある画素(有差分画素)と判定し、閾値DiffTHよりも小さい場合には、差分がない画素(無差分画素)と判定する処理である。閾値DiffTHを適切な値に調整することによって、ノイズに起因する微少な差分や、被写体や車両の移動に伴う微少な差分を除外することができるので、灯具装置40の点灯状態の変化を反映した差分情報を確実に検出することができる。
有差分画素抽出部37は、差分閾値処理部36から入力された閾値映像に対して、映像フレームにおける障害物の検出に必要な領域を抽出対象領域として定め、この抽出対象領域における有差分画素を抽出する。本実施形態では、例えば、路面から一定値以上の高さにある障害物を検出するよう設定されており、有差分画素抽出部37は、映像中の水平線を検出し、その水平線よりも上にある領域を抽出対象領域とする。ここで、映像中の水平線の検出は、周知の方法を適用することができる。
図4は、有差分画素抽出部37において有差分画素を抽出する様子を示したものである。図4(a)は、灯具装置40の消灯時に撮影された映像フレームであり、道路50上の歩行者52が障害物である。図4(b)では、道路50の一部分54及び歩行者52が、灯具装置40としてのブレーキランプにより照射されている。
ここで、図4(a)と(b)の差分映像を差分閾値処理することで得られる差分映像(図4(c))において、ブレーキランプが照射された道路上の領域(障害物を想定していない領域)においても差分映像が発生するから、障害物を正確に検出できなくなるおそれがある。このため、有差分画素抽出部37では、図4(c)の差分映像に対し、水平線Hよりも下にある領域を除外し、水平線Hよりも上にある領域(抽出対象領域)に存在する有差分画素を抽出する。
図4(d)は、水平線Hよりも上の領域において抽出された有差分画素であり、障害物としての歩行者52の頭部56の領域における有差分画素が抽出される。また、歩行者(障害物)が存在していない場合は、図4(c)において有差分画素は全て水平線Hよりも下の除外領域に存在するため、最終的に抽出される有差分画素が存在しないことになる。
障害物判定部38は、有差分画素抽出部37における抽出結果に基づいて、障害物の有無を判定する。例えば、有差分画素抽出部37から出力される閾値映像に、有差分画素が存在している場合に、障害物が存在すると判定する。
以下、図5のフローチャートを用いて、上記構成による障害物検出装置の動作を説明する。まず、撮像装置20において、車両周辺の撮像を行い、映像信号を生成する(S10)。生成された映像信号は、フレーム番号と関連づけられて映像データ記憶部35に記憶される。また、灯具状態制御部31は、撮像素子22からの同期信号を受けて、灯具装置40の制御状態を示す灯具状態情報を、フレーム番号と関連づけて灯具状態記憶部33に記憶する(S11)。
ここで、灯具状態変化判定部32は、灯具装置40の点灯状態が変化したか否かを検出する(S12)。灯具状態に変化がない場合は、再びステップS10に戻って、上述と同様の動作を繰り返す。一方、灯具の点灯状態に変化があった場合には、差分映像生成部34は、映像データ記憶部に記憶された直前のフレームの映像信号と、撮像装置20からの映像信号との差分処理を行い、差分映像として差分閾値処理部36に出力する(S13)。
差分閾値処理部36は、差分映像生成部34からの差分映像のうち、各画素の差分値が閾値を超えるか否かを判定し、閾値を超える画素のみを抽出することで閾値映像を生成し、これを有差分画素抽出部37へ送る(S14)。これにより、灯具が照射された領域の映像のみを抽出することができ、ノイズ等による誤検出のおそれをなくすことができる。
有差分画素抽出部37は、差分閾値処理部36からの閾値映像のうち、所定高さを超える部分のみの画素情報のみを抽出し、障害物判定部38へ送る(S15)。これにより、灯具装置40によって照射された領域の中から障害物が存在しない領域を除外することができるので、障害物を誤検出するおそれをなくすことができる。
障害物判定部38は、有差分画素抽出部37からの信号に、閾値を超える差分情報が含まれているか否かを検出する(S16)。含まれていれば、灯具装置40による照射領域内に障害物が存在すると判定し、障害物検知結果を車内ネットワークに送信する。これにより、例えば、障害物が存在することを示す情報を、運転席のディスプレイに表示することで、運転手に障害物の存在を通知することができる。
また、車両周辺に存在する歩行者などに車両の存在を通知する用途で灯具装置40の制御を行うことができる。障害物判定部38で車両周辺に障害物が存在すると判定された場合、灯具状態制御部31は灯具装置40を、通常とは異なる点灯状態になるように制御する。例えば、灯具装置40を一定時間点滅させ、あるいは灯具装置40による照射強弱を変化させる。これにより、車両周辺の歩行者等が、車両の照明状態の変化を認識することができるので、車両が接近していることを認識できる。
上記実施形態にかかる障害物検知システムによれば、灯具装置の点灯時および消灯時の間の映像の差分を利用することで、夜間等の低照度状況における車両周辺の障害物を検知し、車両周辺の映像を出力すると同時に映像中に存在する障害物の有無を運転手に提示することができ、併せて車両周辺に車両の接近を警告することができる。
以上、本発明の実施の形態の一例を説明したが、本発明はこの実施の形態に限られない。例えば、上記の実施の形態では、映像を画素単位のまま処理を行ったが、映像を縮小したうえで処理を行ってもよい。この場合、演算量が削減できるため、検出時間の短縮や演算器数を削減できる利点がある。
また、上記の実施の形態では、有差分画素抽出部が映像中の水平線を検出して、抽出対象領域を求めたが、抽出対象領域は映像に係らず固定されたものであってもよい。また、映像中に水平線が映っておらず、水平線が抽出できない場合にのみ固定された水平線を採用してもよい。車両が障害物のない水平な路面に有るとすると、路面上で灯具装置の照射範囲が届く範囲は限られている。上記の実施の形態の差分閾値処理も考慮すると、夜間に路面からの灯具装置の反射光が写った画素が有差分画素であると判定される距離は限られている。よって、固定された水平線の位置は、灯具装置の照射角度及び照射強度、想定する夜間の暗さ、および差分閾値処理における閾値等を勘案して設定することができる。
また、上記の実施の形態では、灯具装置として前照灯、車幅灯、尾灯、後退灯、停止灯などの元来車両に搭載されている灯具を挙げて説明したが、灯具装置としてはこれに限らない。例えば、夜間において車両周辺の視認性を補助するために搭載された補助灯具でも良いし、障害物検知用に安価な灯具を別途搭載しても良い。
上記実施形態では、灯具状態の変化を判定する灯具状態変化判定部を備えているが、これを省略しても良い。この場合、例えば、灯具状態制御部から直接、灯具状態情報を差分映像生成部34に送信するとともに、差分映像生成部34において灯具状態の変化を検知したときに、差分映像を生成するようにしても良い。また、映像データ記憶部35に記憶される映像信号に、撮像時における灯具状態の情報を含ませても良く、この場合は、灯具状態記憶部を省略することができる。
また、上記の実施の形態では、撮像装置(カメラ)と障害物検知装置とが別体で構成されて、全体として障害物検知システムを構成したが、撮像装置と障害物検知装置とが一体的に構成されてもよい。本願では、このように、撮像装置と障害物検知装置とが一体的に構成されてなるものも障害物検知システムと呼ぶ。
以上のように、本発明に係る障害物検知システムは、車両に備え付けの灯具装置を用いて車両周辺の障害物を検知するから、低照度の状況下においても、撮像装置以外のセンサを別途必要とせずに、車両周辺の障害物を検知できるという優れた効果を有し、低照度の環境で車両周辺の障害物を検知するための障害物検知システム等として有用である。
10 障害物検知システム
20 撮像装置
22 撮像素子
30 障害物検知装置
31 灯具状態制御部
32 灯具状態変化判定部
33 灯具状態記憶部
34 差分映像生成部
35 映像データ記憶部
36 差分閾値処理部
37 有差分画素抽出部
38 障害物判定部
40 灯具装置

Claims (8)

  1. 車両の周辺を撮影して映像情報を生成する撮像装置と、前記映像情報に基づいて前記車両付近の障害物を検知する障害物検知装置と、前記車両に搭載された灯具装置とを備えた障害物検知システムであって、
    前記障害物検知装置は、
    前記灯具装置の点灯状態を制御する灯具制御部と、
    前記灯具装置の点灯時において前記撮像装置で生成された映像情報と、前記灯具装置の消灯時において前記撮像装置で生成された映像情報との差分映像を生成する差分映像生成部と、
    前記差分映像のうち水平線よりも上側の領域において、閾値を超える差分情報を検出した場合に、前記障害物が存在することを判定する障害物判定部と、
    を備えたことを特徴とする障害物検知システム。
  2. 前記障害物検知装置は、前記灯具装置の点灯状態の変化を判定する灯具状態変化判定部と、前記撮像装置から送られた前記映像情報を記憶する映像データ記憶部を備え、
    前記差分映像生成部は、前記灯具状態変化判定部において前記灯具装置の点灯状態が変化したと判定したときに、前記撮像装置から送られる前記映像情報と、前記映像データ記憶部に記憶された前記映像情報との差分映像を生成することを特徴とする、請求項1記載の障害物検知システム。
  3. 前記灯具制御部は、前記撮像装置における各撮像フレームの撮像期間の間に、前記灯具装置の点灯状態を変化させることを特徴とする、請求項1または2記載の障害物検知システム。
  4. 前記灯具装置は、前記車両に設置された前記撮像装置の位置に応じて定められることを 特徴とする、請求項1〜3のいずれか1項に記載の障害物検知システム。
  5. 前記灯具装置は、前記車両の走行方向に応じて定められることを特徴とする、請求項1〜3のいずれか1項に記載の障害物検知システム。
  6. 前記灯具制御部は、前記障害物が存在すると判定された場合に、前記灯具装置の点灯状態を変化させることを特徴とする、請求項1〜のいずれか1項に記載の障害物検知システム。
  7. 車両の周辺を撮影して映像情報を生成するステップと、
    前記車両に搭載された灯具装置の点灯状態を制御するステップと、
    前記灯具装置の点灯時において前記撮像装置で生成された映像情報と、前記灯具装置の消灯時において前記撮像装置で生成された映像情報との差分映像を生成するステップと、
    前記差分映像のうち水平線よりも上側の領域において、閾値を超える差分情報を検出した場合に、前記障害物が存在することを判定するステップと、
    を備えたことを特徴とする障害物検知方法。
  8. 撮像装置において生成された車両の周辺の映像情報に基づいて、前記車両付近の障害物を検知する障害物検知装置であって、
    前記車両に搭載された灯具装置の点灯状態を制御する灯具制御部と、
    前記灯具装置の点灯時において前記撮像装置で生成された映像情報と、前記灯具装置の消灯時において前記撮像装置で生成された映像情報との差分映像を生成する差分映像生成部と、
    前記差分映像のうち水平線よりも上側の領域において、閾値を超える差分情報を検出した場合に、前記障害物が存在することを判定する障害物判定部と、
    を備えたことを特徴とする障害物検知装置。
JP2010170442A 2010-07-29 2010-07-29 障害物検知システム及び方法、障害物検知装置 Active JP5629521B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010170442A JP5629521B2 (ja) 2010-07-29 2010-07-29 障害物検知システム及び方法、障害物検知装置
PCT/JP2010/006925 WO2012014266A1 (ja) 2010-07-29 2010-11-26 障害物検知システム及び方法、障害物検知装置
EP10855277.9A EP2600327A4 (en) 2010-07-29 2010-11-26 SYSTEM AND METHOD FOR OBSTACLE DETECTION AND OBSTACLE DETECTION DEVICE
CN201080067919.2A CN102971776B (zh) 2010-07-29 2010-11-26 障碍物检测***以及方法、障碍物检测装置
US13/688,764 US20130088598A1 (en) 2010-07-29 2012-11-29 Obstacle detection system and method, and obstacle detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010170442A JP5629521B2 (ja) 2010-07-29 2010-07-29 障害物検知システム及び方法、障害物検知装置

Publications (2)

Publication Number Publication Date
JP2012032921A JP2012032921A (ja) 2012-02-16
JP5629521B2 true JP5629521B2 (ja) 2014-11-19

Family

ID=45529514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010170442A Active JP5629521B2 (ja) 2010-07-29 2010-07-29 障害物検知システム及び方法、障害物検知装置

Country Status (5)

Country Link
US (1) US20130088598A1 (ja)
EP (1) EP2600327A4 (ja)
JP (1) JP5629521B2 (ja)
CN (1) CN102971776B (ja)
WO (1) WO2012014266A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012018118A1 (de) * 2012-09-13 2014-03-13 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Frontkamera eines Kraftfahrzeugs unter Berücksichtigung des Lichts des Scheinwerfers, entsprechende Vorrichtung und Kraftfahrzeug
JP6081250B2 (ja) * 2013-03-21 2017-02-15 アルパイン株式会社 運転支援装置および運転支援処理の制御方法
KR101490909B1 (ko) * 2013-05-10 2015-02-06 현대자동차 주식회사 차량용 영상 처리 장치 및 방법
JP2015009570A (ja) * 2013-06-26 2015-01-19 富士重工業株式会社 前照灯制御装置
KR101723401B1 (ko) * 2013-08-12 2017-04-18 주식회사 만도 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
JP2016203836A (ja) * 2015-04-24 2016-12-08 日立建機株式会社 車両及び鉱山用運搬車両の運用システム
EP3136291A1 (de) * 2015-08-31 2017-03-01 Continental Automotive GmbH Verfahren und vorrichtung zur erkennung von objekten bei dunkelheit mittels einer fahrzeugkamera und einer fahrzeugbeleuchtung
JP6935815B2 (ja) * 2017-03-21 2021-09-15 コニカミノルタ株式会社 照明撮像装置
JP2019055756A (ja) * 2017-09-22 2019-04-11 トヨタ自動車株式会社 車両用認知支援装置
JP7252755B2 (ja) 2018-12-27 2023-04-05 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具
CN116068956B (zh) * 2023-03-07 2023-07-14 深圳华龙讯达信息技术股份有限公司 基于plc的生产线过程监视***及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3714116B2 (ja) * 1999-08-09 2005-11-09 トヨタ自動車株式会社 操縦安定性制御装置
JP3906892B2 (ja) * 2000-07-14 2007-04-18 三菱自動車工業株式会社 駐車支援装置
JP2002189075A (ja) * 2000-12-20 2002-07-05 Fujitsu Ten Ltd 道路上方静止物検知方法
JP2006011671A (ja) * 2004-06-24 2006-01-12 Alpine Electronics Inc 車載周辺状況検出装置
US20090309710A1 (en) * 2005-04-28 2009-12-17 Aisin Seiki Kabushiki Kaisha Vehicle Vicinity Monitoring System
JP2007216722A (ja) * 2006-02-14 2007-08-30 Takata Corp 対象物検出システム、作動装置制御システム、車両
JP4232794B2 (ja) * 2006-05-31 2009-03-04 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
CN101211473A (zh) * 2006-12-26 2008-07-02 上海乐金广电电子有限公司 车辆事故信息存储装置及后方监视装置
JP4732371B2 (ja) * 2007-01-12 2011-07-27 富士通テン株式会社 周辺監視装置及び周辺監視方法
US8184159B2 (en) * 2007-03-26 2012-05-22 Trw Automotive U.S. Llc Forward looking sensor system
EP2674323B1 (en) * 2007-04-30 2018-07-11 Mobileye Vision Technologies Ltd. Rear obstruction detection
JP4775391B2 (ja) * 2008-03-18 2011-09-21 株式会社デンソー 障害物検出装置
JP5180641B2 (ja) * 2008-03-25 2013-04-10 富士重工業株式会社 車両用運転支援装置
JP5437855B2 (ja) * 2010-03-02 2014-03-12 パナソニック株式会社 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法

Also Published As

Publication number Publication date
EP2600327A1 (en) 2013-06-05
US20130088598A1 (en) 2013-04-11
EP2600327A4 (en) 2015-08-05
CN102971776A (zh) 2013-03-13
WO2012014266A1 (ja) 2012-02-02
JP2012032921A (ja) 2012-02-16
CN102971776B (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
JP5629521B2 (ja) 障害物検知システム及び方法、障害物検知装置
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
US10958830B2 (en) Vehicle vision system with infrared LED synchronization
JP6321178B2 (ja) ヘッドライトフラッシャーの検知後に自動車の後方視野用カメラシステムを操作する方法、後方視野用カメラシステムおよび自動車
JP4927647B2 (ja) 車両周辺監視装置
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
JP4798945B2 (ja) 撮像装置
JP4731177B2 (ja) 車両の赤外線撮影表示装置及び赤外線撮影表示方法
JP4782491B2 (ja) 撮像装置
JP2006311216A (ja) 車両周辺監視システム
JP4795813B2 (ja) 車両周囲監視装置
JP7176447B2 (ja) ライト監視装置
JP2005184523A (ja) 車載監視カメラ装置
CN115398883B (zh) 红外线拍摄装置以及红外线拍摄***
JP2007263704A (ja) 視認不可能領域抽出装置、及び視覚支援装置
JP3929420B2 (ja) 車両用光量検出装置及び車両用照明制御装置
JP4730588B2 (ja) 車両周辺監視システム
KR101592874B1 (ko) 야간 점멸 광원 감지 시스템 및 방법
JP2007306272A (ja) 車両用画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141006

R151 Written notification of patent or utility model registration

Ref document number: 5629521

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151