JP2005159392A - 車両周辺監視装置および方法 - Google Patents

車両周辺監視装置および方法 Download PDF

Info

Publication number
JP2005159392A
JP2005159392A JP2003390369A JP2003390369A JP2005159392A JP 2005159392 A JP2005159392 A JP 2005159392A JP 2003390369 A JP2003390369 A JP 2003390369A JP 2003390369 A JP2003390369 A JP 2003390369A JP 2005159392 A JP2005159392 A JP 2005159392A
Authority
JP
Japan
Prior art keywords
density
image
pedestrian
pedestrian candidate
periphery monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003390369A
Other languages
English (en)
Other versions
JP3922245B2 (ja
Inventor
Akio Kawai
昭夫 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003390369A priority Critical patent/JP3922245B2/ja
Priority to US10/988,531 priority patent/US20050111698A1/en
Priority to CNB2004100949516A priority patent/CN1306450C/zh
Publication of JP2005159392A publication Critical patent/JP2005159392A/ja
Application granted granted Critical
Publication of JP3922245B2 publication Critical patent/JP3922245B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 歩行者の検出確度の高い低コストの車両周辺監視装置を提供することを目的とする。
【解決手段】 投光器３から前方に照射された近赤外線光に対する前方対象物からの反射光を赤外線カメラ２により捉え、その近赤外線画像を周辺監視コントロール・ユニット１で画像処理し、閾値濃度を超える濃度領域を抽出する。抽出された濃度領域の縦横比が所定の範囲に入っているものを歩行者候補領域として抽出し、さらに歩行者候補領域の画像の濃度平均値と分散値を算出し、それに基づいて構造物と判定した歩行者候補領域を除外し残りを歩行者領域とする。周辺監視コントロール・ユニットは、ＨＵＤユニット４により歩行者領域を強調処理したカメラ画像をフロントウインドに表示する。
【選択図】 図１

Description

本発明は、車両の周辺に存在する歩行者を検出する車両周辺監視装置に関する。
従来、車両に備えた撮像手段により撮影された赤外線画像から、車両の周辺に存在する歩行者を検出する車両周辺監視装置としては、例えば特許文献１に示すようなものが知られている。この車両周辺監視装置は、２つの赤外線カメラにより得られる画像から、車両周辺の対象物と車両との距離を算出し、更に、時系列に求められる対象物の位置データから対象物の移動ベクトルを算出している。そして、車両の進行方向と対象物の移動ベクトルの関係から、車両と衝突する可能性の高い対象物を検出する。
また、特許文献２には、車両に備えた撮像手段により撮影された赤外線画像から、歩行者の体温とは明らかに異なる温度を示す領域を除外して対象物を検出する技術が開示されている。この技術では、歩行者の体温とは明らかに異なる温度を示す領域を除外した部分から抽出された対象物に対し、更にその対象物の縦横比を判定することで、該対象物が歩行者であるか否かを決定している。
さらに、特許文献３には、カメラ装置により撮影された赤外線画像から赤外線を発する対象物を抽出し、抽出された対象物の画像を、構造物を特定する要素となる基準画像と照合し、対象物が構造物であるか否かを判定することにより、構造物を除外し、残された対象物を歩行者や動物等の動く物体として検出する技術が開示されている。
特開２００１−６０６９号公報 特開２００１−１０８７５８号公報 特開２００３−１６４２９号公報
しかし、特許文献１、２のような従来の車両周辺監視装置においては、赤外線を発する対象物を検出することはできるものの、自動販売機のように自ら熱を発生しているものや、日中の太陽の日差しによって暖められた電柱や街灯のポール等、自車両の走行上において重要度の低い、歩行者以外の物体を検出してしまうという問題があった。特に、歩行者の体温と同程度の温度を持ち、歩行者と同じように縦長の形状をしているような物体は、全く歩行者との見分けがつかないという問題があった。更に、歩行者を縦横比のような形状判別のみにより対象物の中から抽出しようとすると、検出確度の向上が難しいという問題があった。
また、特許文献３のような従来の車両周辺監視装置においては、所定のテンプレートを用いて、テンプレートマッチング処理を行うことによって構造物であるか否かを判定している。
テンプレートを設定するための測距にステレオ赤外線カメラが必要であり、非常に高価な装置となる。さらにテンプレートマッチング処理はコンピュータ処理の負担が重く、高速のＣＰＵ（中央演算装置）や専用ＤＳＰ（デジタル・シグナルプロセッサ）を使用する必要が生じ、これによっても装置の価格が高くなるという問題があった。
また、抽出対象物の照合に用いるテンプレートは、実際に存在する各種の構造物のパターンを全て準備することはできないので、テンプレートに合わない構造物は歩行者と判定されてしまい歩行者の検出確度が低いという問題もあった。
本発明は、上記の問題点を解決するために、歩行者の検出確度が高く、低コストの車両周辺監視装置を提供することを目的とする。
このため、本発明は、撮像手段により撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置において、赤外線画像から赤外線を発する対象物を抽出する対象物抽出手段と、対象物抽出手段により抽出された対象物の画像を形状に基づいて、歩行者候補の画像を抽出する歩行者候補抽出手段と、歩行者候補の画像の濃度に基づいて構造物であるか否かを判定する構造物判定手段とを備えるものとした。
本発明により、歩行者の形状に近い対象物の画像として抽出した歩行者候補の画像に対して、濃度に基づいて容易に構造物かどうかを判定でき、残った歩行者候補の画像を歩行者と判定できる。この画像処理はＣＰＵの負担が軽く、ステレオカメラ装置を必要としないので低コストの車両周辺監視装置が提供できる。
以下本発明の実施の形態を説明する。
図１は、本実施の形態の車両周辺監視装置の構成を示すブロック図である。車両周辺監視コントロール・ユニット（以下、車両周辺監視Ｃ／Ｕと称する）１は、中央演算装置（以下、ＣＰＵと称する）１１と画像処理部１２を備えたものであって、近赤外線領域の波長の光を前方の所定範囲に照射する投光器３のスイッチリレー２４と、近赤外線を検出可能な赤外線カメラ２と、車両周辺監視Ｃ／Ｕ１の機能をオン／オフするスイッチ（ＳＷ）６と、自車両の走行速度（以下、車速と称する）を検出する車速センサ７とに接続される。
また、車両周辺監視Ｃ／Ｕ１には、音声で警報を発するためのスピーカ５と、赤外線カメラ２により撮影された画像を表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えばフロントウインドの運転者が視点移動しなくても認知が可能な位置に情報を表示するヘッドアップ・ディスプレイ・ユニット（以下、ＨＵＤユニットと称する）４が接続されている。
以下に各構成をより詳細に説明する。
車両周辺監視Ｃ／Ｕ１の画像処理部１２は、赤外線カメラ２からの入力アナログ信号をデジタル信号に変換する図示しないＡ／Ｄ変換回路、画像処理プロセッサ、およびデジタル化した画像信号を記憶する画像メモリ（以下、ＶＲＡＭと称する）２１、デジタル画像データをアナログ画像信号に戻す図示しないＤ／Ａ変換回路を有し、ＣＰＵ１１とＨＵＤユニット４に接続している。
ＣＰＵ１１は、各種演算処理や車両周辺監視装置全体の制御を行い、実行するプログラムや設定値などを記憶するリード・オンリー・メモリ（ＲＯＭ）２２、処理中のデータを格納するランダム・アクセス・メモリ（ＲＡＭ）２３が接続している。また、スピーカ５に音声信号を、スイッチリレー２４にオン／オフ信号を出力し、スイッチ６のオン／オフ信号、車速センサ７の車速信号が入力される。
また、赤外線カメラ２は、図２に示すように、自車両１０の前部の車幅方向中心に、光軸が車両前方に向くように固定されている。投光器３は、前部バンパー部の左右にそれぞれ設けられている。なお、投光器３はスイッチリレー２４がオンの状態となったとき、オンとなり近赤外線光で前方を照射する。
なお、赤外線カメラ２は、対象物からの近赤外線の反射が多いほど、画像のその部分の出力信号レベルが高くなる（輝度が増加する）特性を有している。
自車両１０の前方には歩行者Ｐ１、縦長の看板Ｂ１、横長の矩形の交通標識Ｂ２、円形の交通標識が縦に連結したＢ３があり、投光器３によりそれらが近赤外線光のビームで照射されている。それぞれは破線の矢印で示すように、近赤外線を反射し赤外線カメラ２によって閾値以上の濃度の画像として捉えられる。
次に、本実施の形態の作用を以下に説明する。図３は、本車両周辺監視Ｃ／Ｕ１における処理手順を示すメインのフローチャートである。この処理はＣＰＵ１１と画像処理部１２の画像処理プロセッサのプログラムとして行われる。
自車両１０のイグニッションスイッチをオンすると、本車両周辺監視装置が起動し、ステップ１０１において、ＣＰＵ１１が車両周辺監視Ｃ／Ｕ１のスイッチ６がオンかどうかをチェックする待ち受け状態となる。
スイッチ６がオンの場合はステップ１０２に進み、オフの場合はステップ１１３に進む。
ステップ１０２では、ＣＰＵ１１は、車速が所定値以上であるかどうかをチェックする。ここでは所定の車速を、例えば３０ｋｍ／ｈとする。車速が３０ｋｍ／ｈ以上のときステップ１０３へ進む。車速が３０ｋｍ／ｈ未満のときはステップ１１３に進み、赤外線カメラ２、投光器３、およびＨＵＤユニット４での画像表示がオンであった場合はオフにし、ステップ１０１に戻る。
これは、低速時にあっては、遠距離の前方障害物に注意を向ける必要が少なく、目視で中近距離の障害物を認知することが可能なため、遠方を近赤外線で照射する投光器３の不要な電力消費を防止するためである。もちろん本装置が動作する車速を３０ｋｍ／ｈ以上に限定するものではなく、任意に設定可能である。
ステップ１０３では、ＣＰＵ１１は、赤外線カメラ２、投光器３、およびＨＵＤユニット４での画像表示がオフであった場合はオンにする。赤外線カメラ２は、投光器３の照明の当たった前方部分からの反射光の強弱に応じた輝度画像つまり濃淡画像を得る。以下これを原画像と称する。
例えば、図２のように前方に歩行者Ｐ１、看板Ｂ１、交通標識Ｂ２、Ｂ３がある場合、図４の（ａ）に示す原画像の中には、左から歩行者Ｐ１、看板Ｂ１、交通標識Ｂ２、交通標識Ｂ３が映っている。
ステップ１０４では、画像処理部１２が赤外線カメラ２の画像を読み込み、Ａ／Ｄ変換によりデジタル変換された原画像をＶＲＡＭ２１に格納する。
ここでは各画素の濃度は８ビットすなわち２５６階調で表現されるものとして説明する。なお、０は最も暗い値で、２５６は最も明るい値とする。
次にステップ１０５では、画像処理部１２が原画像において画素の濃度が所定の閾値未満のものは０と置き直して、閾値以上の画素部分のみ原画像の濃度を保持した図４の（ｂ）のような濃度領域抽出画像を得、ＶＲＡＭ２１に格納する。
この処理の結果、投光器３からの近赤外線光が強く当たっている自車両のすぐ前方の路面の領域Ａ５と、原画像の左から歩行者Ｐ１、看板Ｂ１、交通標識Ｂ２、交通標識Ｂ３に対応する濃度領域Ａ１、Ａ２、Ａ３、Ａ４が抽出される。
原画像から対象物体を抽出するための閾値の設定方法は、原画像全体の濃度ヒストグラムから濃度分布の谷に相当する濃度に設定する公知の方法や、実験的に固定値を選定して設定するなどの方法がある。ここでは、夜間の近赤外線画像の特性からある程度の反射特性を持った物体を抽出できる濃度値として１５０を選定して固定値として設定する。
ただし、この閾値は、近赤外線を照射する投光器３の出力特性や赤外線カメラ２の近赤外線に対する感度特性などとの関係により適切に決めるものであり、１５０という設定値に限定されるものではない。
ステップ１０６では、画像処理部１２がＶＲＡＭ２１にステップ１０５で格納された濃度領域抽出画像を読み出し、個別の濃度領域の範囲をＣＰＵ１１に出力し、ＣＰＵ１１が濃度領域の範囲にラベルを付するラベリング処理をする。このときラベリングした抽出領域数がＮ１とする。ここではＮ１＝５となる。
ステップ１０７では、画像処理部１２が、各濃度領域に対し歩行者候補領域の抽出処理を行う。このステップは図８のフローチャートに基づいて処理する。この歩行者候補領域の抽出処理により、歩行者候補として抽出された濃度領域の数をＮ２としてＲＡＭ２３に記憶する。
図４の（ｂ）の濃度領域抽出画像において歩行者候補ではないと判定された濃度領域の画素を仮に濃度０と置きなおして表示すると、図５に示すような縦横比が所定の範囲に入った濃度領域だけが残る歩行者候補抽出画像となる。
ついでステップ１０８において、画像処理部１２が、ＶＲＡＭ２１にステップ１０５で格納した濃度領域抽出画像に対して、歩行者候補のＮ２個の濃度領域について、構造物かどうかを判定して構造物を除外する処理を行う（この構造物除外の詳細な処理の流れは後述の図１０で説明する）。この構造物除外処理により、歩行者領域として残された濃度領域の数をＮ３としてＲＡＭ２３に記憶する。
その結果、図５の歩行者候補抽出画像において、さらに構造物として判定された濃度領域の画素の濃度を仮に０と置き直して表示すると図６のような歩行者による濃度領域だけが残る画像となる。
ステップ１０９では、ＣＰＵ１１がステップ１０８でＲＡＭ２３に記憶されたＮ３を読出し、歩行者領域があるかどうかをチェックする。ある場合はステップ１１０に進み、無い場合はステップ１０１に戻る。
ステップ１１０では、画像処理部１２が歩行者と判定した濃度領域の強調処理を行う。これは、ステップ１０４でＶＲＡＭ２１に格納した原画像を読出し、最終的に歩行者と判定した濃度領域を囲う枠を付加する処理である。
この枠の形状は、点線、破線、一点鎖線、太線の実線が考えられるがその他の線の枠の形状でも良い。または、歩行者領域の全画素を最大濃度２５５に置き直して表示させる強調処理でも良い。強調処理の方法はこれに限定されない。
ステップ１１１では、画像処理部１２から上記枠を付加した原画像がＨＵＤユニット４に出力される。図７にＨＵＤユニット４からフロントウインドに投影される画像の例を示す。歩行者Ｐ１に強調のための枠Ｍが表示されている。
ステップ１１２では、ＣＰＵ１１がスピーカ５にアラーム音を出力させる。アラーム音は所定の秒数出力後自動的に停止する。
ステップ１１２の後、ステップ１０１に戻り一連の動作を繰り返す。
次に歩行者候補領域の抽出処理の流れを図８のフローチャートに基づいて説明する。この処理は図３のメインフローチャートで示したステップ１０７における、ＣＰＵ１１とそれに制御された画像処理部１２で行うものである。
ステップ２０１では、ＣＰＵ１１はステップ１０５で抽出した濃度領域の抽出領域ラベル数Ｎ１をＲＡＭ２３から読み出す。
ステップ２０２では、ＣＰＵ１１はラベルカウンタの初期化を行い、ｎ＝１、ｍ＝０とする。ｎは濃度領域の数（ここでは、最大値はＮ１＝５）の引数であり、ｍはこのフローチャートの処理の中で歩行者候補として抽出される濃度領域の数の引数である。
ステップ２０３では、画像処理部１２が、抽出領域ラベルｎ（＝１）の濃度領域に対して、外接矩形を設定する。
この外接矩形の設定は、画像処理部１２が例えば、抽出領域ラベルｎ（＝１）の濃度領域に対して、その領域の上下端の画素位置、左右端の画素位置を検出する。その結果、その画素の原画像全体の画面座標系において、検出した上下端の画素位置をそれぞれ通る２本の水平線、左右端の画素位置をそれぞれ通る２本の垂直線で囲われた矩形が得られる。
ステップ２０４では、ＣＰＵ１１は、ステップ２０３で得られた矩形の縦横比を算出し、その値が所定の範囲、例えば（縦の長さ）／（横幅）が４／１〜４／３の範囲であれば、ステップ２０５に進む。
なお、縦横比の範囲４／１〜４／３は、人間の立っている形状の縦横比を基準に設定するが、人が複数重なって並んでいる場合、荷物を両手にもっている場合、子供を抱いている場合などを想定して、横幅は余裕を取って大きく設定している。
縦横比が４／１〜４／３の範囲外であればステップ２０６に進む。
ステップ２０５では、ＣＰＵ１１は、縦横比が所定の範囲内であれば、歩行者候補として登録し、ラベルカウンタｍを１つ増す（ｍ＝ｍ＋１）。また歩行者候補領域ラベルｍは抽出領域ラベルｎに対応することをＲＡＭ２３に記憶する（ＭＸ（ｍ）＝ｎ）。
ステップ２０５の後ステップ２０６に進む。
ステップ２０６では、ＣＰＵ１１は、ラベルカウンタｎが最大値Ｎ１に至ったかどうかをチェックする。Ｎ１になっていない場合はステップ２０７に進み、ラベルカウンタｎを１つ増して（ｎ＝ｎ＋１）、ステップ２０３に戻りｎ＝２とし、ステップ２０３からステップ２０６の処理を繰り返す。以下ｎをさらに１つ増して繰り返す。
ステップ２０６においてラベルカウンタｎがＮ１に至った場合はステップ２０８に進み、ＣＰＵ１１はそのときのラベルカウンタｍの値をＮ２とＲＡＭ２３に記憶（Ｎ２＝ｍ）し、図３のメインのフローチャートのステップ１０８に進む。なお、このＮ２が歩行者候補領域の総数を示す。
このステップ２０１からステップ２０８の一連の濃度領域の歩行者候補領域かどうかの抽出処理を、具体的に図４の（ｂ）のＡ１からＡ５の濃度領域に対して説明する。
Ａ１は図９の（ａ）に示すように縦横比が３／１で、歩行者候補領域となる。図４の（ｂ）のＡ２も縦長の看板であり縦横比の範囲４／１〜４／３の範囲に入り、歩行者候補領域となる。図４の（ｂ）に示すＡ３の横長の交通標識は、図９の（ｂ）に示すように縦横比が１／１．５であり除外される。図４の（ｂ）のＡ４の縦に連結した円形の交通標識は、図９の（ｃ）に示すように縦横比が２／１であり、やはり歩行者候補領域となる。図４の（ｂ）のＡ５は投光器３から近赤外線で照射された自車両直前方の横長の半楕円状の路面の高輝度部分の領域であるが、縦横比が１より小さいのでやはり除外される。
従って、説明のために仮に歩行者候補領域となる濃度領域だけを表すと図５のような画像となる。
次に、歩行者候補領域として抽出された各濃度領域に対して、さらに構造物かどうか判定して、構造物の場合は歩行者候補領域から除外する構造物除外処理の流れを図１０のフローチャートに基づいて説明する。この処理は図３のメインフローチャートで示したステップ１０８におけるＣＰＵ１１とそれに制御された画像処理部１２で行うものである。
ステップ３０１では、ＣＰＵ１１はＲＡＭ２３から歩行者候補領域ラベル数Ｎ２を読み出す。
ステップ３０２では、ＣＰＵ１１はラベルカウンタを初期化をし、ｍ＝１、ｋ＝０とする。ｍは歩行者候補領域数の引数であり、ｋはこのフローチャートの処理の中で歩行者領域として残った濃度領域の数の引数である。
ステップ３０３では、画像処理部１２は、歩行者候補領域ラベルｍに対応する（つまり抽出領域ラベルＭＸ（ｍ）の）濃度領域の濃度平均値Ｅ（ｍ）を算出する。
歩行者候補領域ラベルｍの濃度領域に含まれる画素ｉの濃度をＰｍ（ｉ）、歩行者候補領域ラベルｍの濃度領域に含まれる総画素数をＩｍとすると、式（１）によって求められる。
Figure 2005159392
ステップ３０４では、ＣＰＵ１１はステップ３０３で算出された濃度平均値Ｅ（ｍ）が所定濃度値を超えるかどうかをチェックする。この所定濃度値は非常に明るいものに相当する値とするのが適当である。８ビット表示の場合例えば２４０とし、この値より明るいものは標識や看板などの構造物と判定するように設定する。
これは標識や看板などは一般に光の反射をしやすい表面処理が施されており、投光器３からの近赤外線光に照射されると強い反射光を生じる。赤外線カメラ２が捉える近赤外線画像はそれに対して濃度の高い画像領域を形成するからである。
しかし、濃度平均値Ｅ（ｍ）が高いといっても、歩行者の衣服からの反射も濃度の高い画像領域を形成する可能性があるので、濃度平均値Ｅ（ｍ）が２４０を越えるから構造物とは判定せず、次のステップ３０５に進む。
濃度平均値Ｅ（ｍ）が２４０以下の場合はステップ３０８に進む。
ステップ３０５では、画像処理部１２は、歩行者候補領域ラベルｍに対応する濃度領域の濃度分散値Ｖ（ｍ）を算出する。
濃度分散値Ｖ（ｍ）は式（２）によって求められる。
Figure 2005159392
ステップ３０６では、ＣＰＵ１１はステップ３０５で算出された濃度分散値Ｖ（ｍ）が所定分散値未満かどうかをチェックする。
この所定分散値より小さいと言うことは、その歩行者候補領域ラベルｍの濃度領域は濃度のばらつきが小さいことを意味している。
所定分散値としては、実験的に得られている値として例えば５０を設定する。
図１１の（ａ）に交通標識や看板などの場合の画素の濃度分布例の濃度ヒストグラムを示す。横軸が濃度値を縦軸が度数を表す。構造物が平面的な部分を有している場合、照射近赤外線光に対してほぼ一様な反射をし、（ａ）のように濃度値が高く、分散が小さいのが特徴である。この例では濃度平均値が２５０、濃度分散値が３０である。
（ｂ）に同様に歩行者の場合の画素の濃度分布を示す。歩行者の場合衣服からの反射強度が弱く濃度値が小さくなる場合が多い。さらに人間は立体的形状なので反射が一様ではないことと、衣服と肌との間では反射特性が異なるので、全体として反射が一様ではなく分散値が大きくなる特徴がある。この例では濃度平均値が１８０、濃度分散値が５８０である。
分散値Ｖ（ｍ）が５０未満の場合はステップ３０７に進み、５０以上の場合はステップ３０８に進む。
ステップ３０７では、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者候補から除外する。ここでは除外の手続きとしてＭＸ（ｍ）＝０としてＲＡＭ２３に記憶する。ステップ３０７の後ステップ３０９に進む。
ステップ３０４、ステップ３０６の後ステップ３０８に進んだ場合、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者領域として登録する。ここでは、登録の手続きとしてＭＸ（ｍ）のままＲＡＭ２３に記憶し、ラベルカウンタｋを１つ増す（ｋ＝ｋ＋１）。ステップ３０８の後ステップ３０９に進む。
ステップ３０９では、ＣＰＵ１１はラベルカウンタｍがＮ２に至ったかどうかをチェックする。至らなかった場合はステップ３１０に進み、ＣＰＵ１１はｍを１つ増し、（ｍ＝ｍ＋１）ステップ３０３に戻り、ステップ３０３からステップ３０９の一連の処理を繰り返す。
ステップ３０９でｍがＮ２に至ったとき、ステップ３１１に進み、ＣＰＵ１１はＮ３＝ｋとおいて歩行者領域として登録した総数Ｎ３をＲＡＭ２３に記憶する。その後全ての歩行者候補領域に対する構造物除外処理が完了したとして、図３のメインのフローチャートのステップ１０９に進む。
次に、図３のメインフローチャートのステップ１１０における強調処理の方法について説明する。これは、ＲＡＭ２３に記憶されたＭＸ（ｍ）を、引数ｍ＝１〜Ｎ２に対して読出し、０より大きい値の抽出領域ラベルＬ＝ＭＸ（ｍ）を得る。
ステップ１０４でＶＲＡＭ２１に格納した原画像を読出し、最終的に歩行者と判定した抽出領域ラベルＬに対応する濃度領域を囲う前述の枠を画像処理部１２で付加する処理である。
本実施の形態の赤外線カメラ２は本発明の撮像手段を、ヘッドアップ・ディスプレイ・ユニット４は表示装置を、車両周辺監視コントロール・ユニット１は表示制御部を構成し、フローチャートのステップ１０５は本発明の対象物抽出手段を、ステップ１０７（つまりステップ２０１〜ステップ２０８）は歩行者候補抽出手段を、ステップ１０８（つまりステップ３０１〜３１１）は構造物判定手段を構成する。特にステップ２０３は矩形設定手段を、ステップ２０４は縦横比算出手段を、ステップ３０３は濃度平均算出手段を、ステップ３０５は濃度分散算出手段を構成する。
以上のように本実施の形態によれば、対象物を抽出した濃度領域の縦横比により歩行者候補領域を抽出し、その後歩行者候補領域の平均濃度値と濃度分散値を算出し、所定値より平均濃度値が大きくて濃度分散値が所定値未満の場合は構造物と判定するので、歩行者と判定する確度が向上する。その結果、多数の交通標識や歩行者が混在する環境においても、交通標識を歩行者と誤って運転者に報知する可能性が低減できる。
また、投光器により近赤外線を前方に照射し対象物からの反射近赤外線を赤外線カメラで撮影した画像を処理して抽出するので、より遠方の対象物からもより鮮明な反射画像を得ることができる。その結果、対象物からの反射光による撮影画像の濃度領域の濃度分布が得られやすい。
また、テンプレートマッチング処理を行わず、縦横比算出計算、濃度分布の平均濃度値と分散値の算出計算を行うので車両周辺監視Ｃ／Ｕの画像処理負担が軽く、コストの安い構成で実行することができる。またステレオカメラ装置も必要としないのでコストが安くできる。
次に、本実施の変形例を説明する。図１２は、図１０に示した抽出した歩行者候補領域から構造物を排除する処理のフローチャートの流れを一部変更したものであり、ステップ４０１からステップ４１１の個々の処理内容はステップ３０１からステップ３１１と同じである。
流れの異なるのはステップ４０４からステップ４０９の間であり、ステップ４０４以降だけを以下に説明する。
ステップ４０４では、ＣＰＵ１１はステップ４０３で算出された濃度平均値Ｅ（ｍ）が所定濃度値を超えるかどうかをチェックする。濃度平均値Ｅ（ｍ）が２４０を越えるものは構造物と判定し、ステップ４０７に進む。
濃度平均値Ｅ（ｍ）が２４０以下の場合はステップ４０５に進む。
ステップ４０５では、画像処理部１２は、歩行者候補領域ラベルｍに対応する濃度領域の濃度分散値Ｖ（ｍ）を算出する。
ステップ４０６では、ＣＰＵ１１はステップ４０５で算出された濃度分散値Ｖ（ｍ）が５０未満の場合はステップ４０７に進み、５０以上の場合はステップ４０８に進む。
ステップ４０７では、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者候補から除外する。ここでは除外の手続きとしてＭＸ（ｍ）＝０としてＲＡＭ２３に記憶する。ステップ４０７の後ステップ４０９に進む。
ステップ４０６の後ステップ４０８に進んだ場合、ＣＰＵ１１は歩行者候補領域ラベルｍを歩行者領域として登録する。ここでは、登録の手続きとしてＭＸ（ｍ）のままＲＡＭ２３に記憶し、ラベルカウンタｋを１つ増す（ｋ＝ｋ＋１）。ステップ４０８の後ステップ４０９に進む。
ステップ４０９では、ＣＰＵ１１はラベルカウンタｍがＮ２に至ったかどうかをチェックする。至らなかった場合はステップ４１０に進み、ＣＰＵ１１はｍを１つ増し（ｍ＝ｍ＋１）、ステップ４０３に戻り、ステップ４０３からステップ４０９の一連の処理を繰り返す。
ステップ４０９でｍがＮ２に至ったとき、ステップ４１１に進み、ＣＰＵ１１はＮ３＝ｋと置いて、歩行者領域として登録した総数Ｎ３をＲＡＭ２３に記憶する。その後全ての歩行者候補領域に対する構造物除外処理が完了したとして、図３のメインのフローチャートのステップ１０９に進む。
前述の実施の形態では、ラベルｍの歩行者候補領域の濃度平均値が２４０を超える場合であっても、その分散値が５０未満のとき初めて構造物と判定して除外するのに対し、本変形例では濃度平均値が２４０を超える場合即構造物と判定し、逆に濃度平均値が２４０以下の場合でもその分散値が５０以上のとき初めて歩行者と判定するものである。
これによって、歩行者と判定される対象が実施の形態より少なくなる傾向がある。
確度の高い判定のための濃度平均値、分散値は赤外線カメラおよび投光器の特性にも依存するので、この判定の制御の流れを使用者が変更可能なように構成しても良い。
また、実施の形態および変形例において、赤外線カメラ画像から歩行者領域を検出した場合、ステップ１１２でアラーム音を出力することとしているが、最終的にカメラ画像中の歩行者領域と判定した濃度領域の歩行者の足元に相当する最下部のカメラ画像座標から、自車両から前方距離を算出して所定距離未満の場合はアラーム音を出すこととしても良い。
またこの所定距離はそのときの車速に依存させ車速が速いほど所定値を大きな値としても良い。これにより、運転者が十分対応できる距離の歩行者に対しても常にアラーム音が出ることを抑制できる。
なお、本実施例および変形例の車両周辺監視装置の表示装置としては、ＨＵＤユニットに限定されるものではなく、車両のインストルメントパネルに組み込まれた一般的な液晶ディスプレイでもよい。
本発明の実施の形態の車両周辺監視装置の構成を示すブロック図である。 車両周辺監視装置と対象物の位置関係を説明する図である。 実施の形態の作用を説明するメインフローチャートである。 原画像と濃度領域抽出画像を説明する図である。 歩行者候補領域として残った濃度領域を説明する図である。 構造物と判定された歩行者候補領域を除外して残った歩行者領域を説明する図である。 歩行者領域に対し強調処理を行って表示した撮影画像を説明する図である。 抽出した濃度領域から歩行者候補領域を抽出する制御の流れを説明するフローチャートである。 濃度領域の縦横比から歩行者候補領域かどうかを判定する方法を説明する図である。 歩行者候補領域から構造物を除外する制御の流れを説明するフローチャートである。 歩行者候補領域の濃度に基づいて、構造物と判定する方法を説明する濃度分布図である。 歩行者候補領域から構造物を除外する制御の流れを説明するフローチャートの変形例である。
符号の説明
１ 車両周辺監視コントロール・ユニット
２ 赤外線カメラ
３ 投光器
４ ヘッドアップ・ディスプレイ・ユニット
５ スピーカ
６ スイッチ
７ 車速センサ
１０ 自車両
１１ 中央演算装置
１２ 画像処理部
２１ 画像メモリ
２２ リード・オンリー・メモリ
２３ ランダム・アクセス・メモリ
２４ スイッチリレー

Claims (8)

  1. 撮像手段により撮影された赤外線画像から、車両の周辺に存在する物体を検出する車両周辺監視装置において、
    前記赤外線画像から赤外線を発する対象物を抽出する対象物抽出手段と、
    前記対象物抽出手段により抽出された対象物の画像を形状に基づいて、歩行者候補の画像を抽出する歩行者候補抽出手段と、
    前記歩行者候補の画像の濃度に基づいて構造物であるか否かを判定する構造物判定手段とを備えることを特徴とする車両周辺監視装置。
  2. 前記歩行者候補抽出手段は、前記対象物抽出手段により抽出された前記対象物の画像に外接する四角形の枠を設定する矩形設定手段と、該矩形設定手段により設定された前記四角形の枠の縦横比を算出する縦横比算出手段とを有し、前記縦横比が所定の数値範囲の場合歩行者候補と判定することを特徴とする請求項１に記載の車両周辺監視装置。
  3. 前記構造物判定手段は、前記歩行者候補の画像の濃度分布の平均値を算出する濃度平均算出手段と、前記歩行者候補の画像の濃度分布の分散値を算出する濃度分散算出手段を有し、前記濃度平均値が所定値以上か、または前記分散値が所定値以下である場合は、前記歩行者候補の画像は構造物であると判定することを特徴とする請求項１または２に記載の車両周辺監視装置。
  4. 前記構造物判定手段は、前記歩行者候補の画像の濃度分布の平均値を算出する濃度平均算出手段と、前記歩行者候補の画像の濃度分布の分散値を算出する濃度分散算出手段を有し、前記濃度平均値が所定値以上で、かつ前記分散値が所定値以下である場合は、前記歩行者候補の画像は構造物であると判定することを特徴とする請求項１または２に記載の車両周辺監視装置。
  5. さらに、前記車両の運転席前方に設けられ、前記撮像手段により撮影された赤外線画像を表示する表示装置と、該表示装置に表示させる画像を制御する表示制御部とを備え、
    前記表示制御部は、前記構造物判定手段によって構造物と判定されたものを除く残りの前記歩行者候補の画像に対して強調表示することを特徴とする請求項１から４のいずれか１に記載の車両周辺監視装置。
  6. 前記強調表示は、前記構造物と判定されたものを除く残りの歩行者候補の画像を、点線枠、破線枠、鎖線枠、太線枠のいずれかで囲む表示であることを特徴とする請求項５に記載の車両周辺監視装置。
  7. さらに、自車両の速度を検出する車速センサを備え、
    前記表示制御部は、前記速度が所定値以上である場合に、前記赤外線画像を前記表示装置に表示させることを特徴とする請求項５または６に記載の車両周辺監視装置。
  8. 車両の周辺の赤外線画像から赤外線を発する対象物を抽出し、前記抽出された対象物の画像を形状に基づいて、歩行者候補の画像を抽出し、前記歩行者候補の画像の濃度に基づいて構造物であるか否かを判定し、構造物と判定されたものを除く残りの前記歩行者候補の画像を歩行者と判定する車両周辺監視方法。
JP2003390369A 2003-11-20 2003-11-20 車両周辺監視装置および方法 Expired - Fee Related JP3922245B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003390369A JP3922245B2 (ja) 2003-11-20 2003-11-20 車両周辺監視装置および方法
US10/988,531 US20050111698A1 (en) 2003-11-20 2004-11-16 Apparatus for vehicle surroundings monitoring and method thereof
CNB2004100949516A CN1306450C (zh) 2003-11-20 2004-11-19 车辆周围环境监控设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003390369A JP3922245B2 (ja) 2003-11-20 2003-11-20 車両周辺監視装置および方法

Publications (2)

Publication Number Publication Date
JP2005159392A true JP2005159392A (ja) 2005-06-16
JP3922245B2 JP3922245B2 (ja) 2007-05-30

Family

ID=34587441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003390369A Expired - Fee Related JP3922245B2 (ja) 2003-11-20 2003-11-20 車両周辺監視装置および方法

Country Status (3)

Country Link
US (1) US20050111698A1 (ja)
JP (1) JP3922245B2 (ja)
CN (1) CN1306450C (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007261553A (ja) * 2006-03-30 2007-10-11 Denso It Laboratory Inc 物体撮像装置及び物体撮像方法
JP2008065463A (ja) * 2006-09-05 2008-03-21 Toyota Motor Corp 画像処理装置
JP2009193390A (ja) * 2008-02-15 2009-08-27 Honda Motor Co Ltd 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP2009201064A (ja) * 2008-02-25 2009-09-03 Pioneer Electronic Corp 関連領域特定装置及び方法、並びに画像認識装置及び方法
JP2009237773A (ja) * 2008-03-26 2009-10-15 Toyota Motor Corp 画像処理装置および画像処理プログラム
JP2012146142A (ja) * 2011-01-12 2012-08-02 Denso Corp 物体検出装置
JP2012151856A (ja) * 2012-02-16 2012-08-09 Konica Minolta Holdings Inc 撮像装置および撮像方法
JP2013505509A (ja) * 2009-12-02 2013-02-14 タタ コンサルタンシー サービシズ リミテッド 近赤外線カメラを使用して歩行者を検出、分類、および追跡するための費用対効果の高いシステムおよび方法
JP2013105419A (ja) * 2011-11-16 2013-05-30 Honda Motor Co Ltd 車両周辺監視装置
JP2013186819A (ja) * 2012-03-09 2013-09-19 Omron Corp 画像処理装置、画像処理方法、および画像処理プログラム
KR20140132076A (ko) * 2013-05-07 2014-11-17 현대모비스 주식회사 원적외선 카메라 기반 야간 보행자 인식 방법
JP2015184903A (ja) * 2014-03-24 2015-10-22 日立建機株式会社 自走式産業機械の画像処理装置
JP2016197046A (ja) * 2015-04-03 2016-11-24 日産自動車株式会社 物体検出装置
KR101680833B1 (ko) 2014-11-11 2016-11-29 경희대학교 산학협력단 보행자 검출 경보 장치 및 방법
JP2016201083A (ja) * 2015-04-07 2016-12-01 東芝テック株式会社 画像処理装置及びコンピュータ可読記憶媒体
US11457116B2 (en) 2020-06-17 2022-09-27 Ricoh Company, Ltd. Image processing apparatus and image reading method

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005350010A (ja) * 2004-06-14 2005-12-22 Fuji Heavy Ind Ltd ステレオ式車外監視装置
US8531562B2 (en) 2004-12-03 2013-09-10 Fluke Corporation Visible light and IR combined image camera with a laser pointer
WO2006064655A1 (ja) * 2004-12-14 2006-06-22 Matsushita Electric Industrial Co., Ltd. 情報提示装置及び情報提示方法
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
JP4456086B2 (ja) * 2006-03-09 2010-04-28 本田技研工業株式会社 車両周辺監視装置
JP5061767B2 (ja) * 2006-08-10 2012-10-31 日産自動車株式会社 画像処理装置および画像処理方法
US7580547B2 (en) 2006-10-24 2009-08-25 Iteris, Inc. Electronic traffic monitor
JP4263737B2 (ja) * 2006-11-09 2009-05-13 トヨタ自動車株式会社 歩行者検知装置
GB2443664A (en) * 2006-11-10 2008-05-14 Autoliv Dev An infra red object detection system de-emphasizing non relevant hot objects
US8254626B2 (en) * 2006-12-22 2012-08-28 Fujifilm Corporation Output apparatus, output method and program for outputting a moving image including a synthesized image by superimposing images
US8194920B2 (en) * 2007-02-16 2012-06-05 Ford Global Technologies, Llc Method and system for detecting objects using far infrared images
EP2288520B1 (en) * 2008-06-25 2014-09-24 Autoliv Development AB A system for detecting objects in the vicinity of a vehicle
JP4410292B1 (ja) * 2008-10-20 2010-02-03 本田技研工業株式会社 車両の周辺監視装置
JP4482599B2 (ja) * 2008-10-24 2010-06-16 本田技研工業株式会社 車両の周辺監視装置
WO2011013179A1 (ja) * 2009-07-31 2011-02-03 富士通株式会社 移動***置検出装置および移動***置検出方法
JP5270794B2 (ja) * 2009-09-03 2013-08-21 本田技研工業株式会社 車両周辺監視装置
DE102009048066A1 (de) 2009-10-01 2011-04-07 Conti Temic Microelectronic Gmbh Verfahren zur Verkehrszeichenerkennung
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
US10703299B2 (en) * 2010-04-19 2020-07-07 SMR Patents S.à.r.l. Rear view mirror simulation
DE102010020330A1 (de) * 2010-05-14 2011-11-17 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
KR101161979B1 (ko) * 2010-08-19 2012-07-03 삼성전기주식회사 나이트 비전용 영상 처리 장치 및 방법
EP2571005B1 (en) * 2010-08-31 2016-07-27 Honda Motor Co., Ltd. Vehicle surroundings monitoring device
DE102011109387A1 (de) 2011-08-04 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
CN104160434A (zh) * 2012-03-12 2014-11-19 本田技研工业株式会社 车辆周围监视装置
US9738253B2 (en) 2012-05-15 2017-08-22 Aps Systems, Llc. Sensor system for motor vehicle
US9277132B2 (en) * 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
DE102013219909A1 (de) 2013-10-01 2015-04-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen
CN104554003B (zh) * 2013-10-15 2017-11-07 长春威视追光科技有限责任公司 智能车载悬挂式夜视平视显示器
JP6307895B2 (ja) * 2014-01-23 2018-04-11 トヨタ自動車株式会社 車両用周辺監視装置
US10356337B2 (en) * 2014-10-07 2019-07-16 Magna Electronics Inc. Vehicle vision system with gray level transition sensitive pixels
WO2017096360A1 (en) * 2015-12-03 2017-06-08 Osram Sylvania Inc. Light-based vehicle positioning for mobile transport systems
US9984567B2 (en) * 2016-09-09 2018-05-29 Ford Global Technologies, Llc Detection of oncoming vehicles with IR light
KR101996417B1 (ko) 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
WO2018151760A1 (en) 2017-02-20 2018-08-23 3M Innovative Properties Company Optical articles and systems interacting with the same
DE102017119394A1 (de) * 2017-08-28 2019-02-28 HELLA GmbH & Co. KGaA Verfahren zur Ansteuerung mindestens eines Lichtmoduls einer Leuchteinheit eines Fahrzeugs, Leuchteinheit, Computerprogrammprodukt und computerlesbares Medium
US11314971B2 (en) 2017-09-27 2022-04-26 3M Innovative Properties Company Personal protective equipment management system using optical patterns for equipment and safety monitoring
JP6930350B2 (ja) * 2017-10-02 2021-09-01 トヨタ自動車株式会社 車両用認知支援装置
US20190183190A1 (en) * 2017-12-18 2019-06-20 Revolution Cycle Works Company Portable article including a number of patterns
US11164287B2 (en) * 2018-09-10 2021-11-02 Lumileds Llc Large LED array with reduced data management
JP7155991B2 (ja) * 2018-12-17 2022-10-19 トヨタ自動車株式会社 報知装置
CN110392239B (zh) * 2019-08-13 2020-04-21 北京积加科技有限公司 指定区域监控方法及装置
DE102019214198A1 (de) * 2019-09-18 2021-03-18 Robert Bosch Gmbh Ereignisbasierte Erkennung und Verfolgung von Objekten
CN111833373B (zh) * 2020-06-01 2024-01-23 浙江双视科技股份有限公司 基于目标环境中移动物体的红外监测方法、装置及***
CN113111883B (zh) * 2021-03-23 2023-06-06 浙江大华技术股份有限公司 车牌检测方法、电子设备及存储介质
CN113332110B (zh) * 2021-06-02 2023-06-27 西京学院 一种基于景物听觉感知的导盲手电及导盲方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001108758A (ja) * 1999-10-06 2001-04-20 Matsushita Electric Ind Co Ltd 人物検出装置
JP2003016429A (ja) * 2001-06-28 2003-01-17 Honda Motor Co Ltd 車両周辺監視装置
JP2003075893A (ja) * 2001-09-06 2003-03-12 Murakami Corp 車両用周囲撮像装置
WO2005036371A2 (en) * 2003-10-09 2005-04-21 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4701116B2 (ja) * 2006-03-30 2011-06-15 株式会社デンソーアイティーラボラトリ 物体撮像装置及び物体撮像方法
JP2007261553A (ja) * 2006-03-30 2007-10-11 Denso It Laboratory Inc 物体撮像装置及び物体撮像方法
JP2008065463A (ja) * 2006-09-05 2008-03-21 Toyota Motor Corp 画像処理装置
JP4732985B2 (ja) * 2006-09-05 2011-07-27 トヨタ自動車株式会社 画像処理装置
JP2009193390A (ja) * 2008-02-15 2009-08-27 Honda Motor Co Ltd 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP2009201064A (ja) * 2008-02-25 2009-09-03 Pioneer Electronic Corp 関連領域特定装置及び方法、並びに画像認識装置及び方法
JP2009237773A (ja) * 2008-03-26 2009-10-15 Toyota Motor Corp 画像処理装置および画像処理プログラム
JP2013505509A (ja) * 2009-12-02 2013-02-14 タタ コンサルタンシー サービシズ リミテッド 近赤外線カメラを使用して歩行者を検出、分類、および追跡するための費用対効果の高いシステムおよび方法
JP2012146142A (ja) * 2011-01-12 2012-08-02 Denso Corp 物体検出装置
JP2013105419A (ja) * 2011-11-16 2013-05-30 Honda Motor Co Ltd 車両周辺監視装置
JP2012151856A (ja) * 2012-02-16 2012-08-09 Konica Minolta Holdings Inc 撮像装置および撮像方法
JP2013186819A (ja) * 2012-03-09 2013-09-19 Omron Corp 画像処理装置、画像処理方法、および画像処理プログラム
KR20140132076A (ko) * 2013-05-07 2014-11-17 현대모비스 주식회사 원적외선 카메라 기반 야간 보행자 인식 방법
KR102021152B1 (ko) * 2013-05-07 2019-09-11 현대모비스 주식회사 원적외선 카메라 기반 야간 보행자 인식 방법
JP2015184903A (ja) * 2014-03-24 2015-10-22 日立建機株式会社 自走式産業機械の画像処理装置
KR101680833B1 (ko) 2014-11-11 2016-11-29 경희대학교 산학협력단 보행자 검출 경보 장치 및 방법
JP2016197046A (ja) * 2015-04-03 2016-11-24 日産自動車株式会社 物体検出装置
JP2016201083A (ja) * 2015-04-07 2016-12-01 東芝テック株式会社 画像処理装置及びコンピュータ可読記憶媒体
US11457116B2 (en) 2020-06-17 2022-09-27 Ricoh Company, Ltd. Image processing apparatus and image reading method

Also Published As

Publication number Publication date
JP3922245B2 (ja) 2007-05-30
CN1619584A (zh) 2005-05-25
CN1306450C (zh) 2007-03-21
US20050111698A1 (en) 2005-05-26

Similar Documents

Publication Publication Date Title
JP3922245B2 (ja) 車両周辺監視装置および方法
US10495753B2 (en) Video to radar
JP5577398B2 (ja) 車両の周辺監視装置
US8611598B2 (en) Vehicle obstacle detection system
JP4173901B2 (ja) 車両周辺監視装置
JP4263737B2 (ja) 歩行者検知装置
JP4173902B2 (ja) 車両周辺監視装置
JP4732985B2 (ja) 画像処理装置
JP2007241740A (ja) 車両周辺監視装置
JP2007288657A (ja) 車両用表示装置、車両用表示装置の表示方法
JP4528283B2 (ja) 車両周辺監視装置
JP2006338594A (ja) 歩行者認識装置
JPWO2012004938A1 (ja) 車両の周辺監視装置
KR20210050081A (ko) 객체 인식 방법 및 이를 수행하는 객체 인식 장치
JP2006155388A (ja) 車両周辺監視装置
JP2010026601A (ja) 車両周辺監視装置
JP4128562B2 (ja) 車両周辺監視装置
JP2005318408A (ja) 車両周囲監視装置および方法
JP4425852B2 (ja) 車両周辺監視装置
US20180253611A1 (en) Display controller, display control method, and recording medium storing program
JP6087240B2 (ja) 車両周辺監視装置
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP2007089094A (ja) 歩行者検知装置
JP5056679B2 (ja) ナイトビューシステム
JP2006155389A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070212

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees