JP4720650B2 - 路面投影装置及び路面投影方法 - Google Patents

路面投影装置及び路面投影方法 Download PDF

Info

Publication number
JP4720650B2
JP4720650B2 JP2006182599A JP2006182599A JP4720650B2 JP 4720650 B2 JP4720650 B2 JP 4720650B2 JP 2006182599 A JP2006182599 A JP 2006182599A JP 2006182599 A JP2006182599 A JP 2006182599A JP 4720650 B2 JP4720650 B2 JP 4720650B2
Authority
JP
Japan
Prior art keywords
image
image data
vehicle
unit
road surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006182599A
Other languages
English (en)
Other versions
JP2008007079A (ja
Inventor
和司 紺野
孝幸 宮島
由美 柴田
光浩 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2006182599A priority Critical patent/JP4720650B2/ja
Publication of JP2008007079A publication Critical patent/JP2008007079A/ja
Application granted granted Critical
Publication of JP4720650B2 publication Critical patent/JP4720650B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50Projected symbol or information, e.g. onto the road or car body

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Description

本発明は、路面投影装置及び路面投影方法に関するものである。
歩行者の安全を確保することは、重要な問題である。このような歩行者の安全を確保するため、歩行者に報知する従来のシステムとして、走行音等が極端に小さい電気自動車に搭載された警報装置がある(例えば、特許文献1参照)。この警報装置は、光量検出器と発音器とを備え、電気自動車が歩行者に接近したときに、光量検出器が周囲の光量を検出し、その光量検出器の出力に基づいて発音器を駆動させている。
この警報装置は、このように発音器を駆動させることにより、昼間か夜間か、周囲が繁華街か閑静な地区か、その周囲環境に応じて、適確な音量の接近音を電気自動車の接近を歩行者に報知するようにしている。
また、赤外線カメラと警告灯とを備えた車両用照明システムもある(例えば、特許文献2参照)。この車両用照明システムでは、前照灯で照明されない領域に歩行者が存在している場合に、赤外線カメラで歩行者の熱を検知して、可視光による警告灯をこの領域に向けて点灯させて、可視光で歩行者を照明するようにしている。
また、この車両照明システムでは、フロントガラスに、警告灯の光を遮光するフィルタが配置されており、運転者に気づかれないように警告灯の光を点灯させるようにしている。これにより、路面の熱によって歩行者を誤検出して警告灯を点灯しても、運転者の注意をそらさないようにしている。このようにしてこの車両用照明システムは、車両の接近を歩行者に適確に報知するようにしている。
また、赤外線ステレオカメラと可視光ステレオカメラとを備えた車両用障害物検出装置もある(特許文献3参照)。この車両用障害物検出装置では、赤外線ステレオカメラで障害物として歩行者を検出し、可視光ステレオカメラで道路に表示された白線を検出する。
そして、この車両用障害物検出装置は、歩行者が白線から所定領域内に存在しているときに、前照灯の照射方向を切り換えて歩行者に対して可視照明を行うようにしている。この車両用障害物検出装置は、このようにして、夜間運転時の歩行者の安全を確保するようにしている。
特開平7−205753号公報(第2頁、図1) 特開2005−47390号公報(第3頁、図1) 特開2000−318513号公報(第3頁、図1)
しかし、特許文献1のもののように、単に接近音を報知するだけでは、車両の接近を報知すべき歩行者が特定されないため、歩行者に、自身に対する報知なのか否かを判別させることができず、歩行者に対して分かり易く注意を喚起させることができない。
また、特許文献2、3のもののように、単に警告灯で歩行者を照明するだけでは、歩行者は、なぜ、照明を受けているのか判断できず、違和感もあり、誰のための照明なのか、その状況を判断できず、歩行者に対して分かり易く注意を喚起させることができない。
また、歩行者に対して分かり易く注意を喚起させることができなければ、歩行者の安全を十分に確保したとはいえない。
本発明は、このような従来の問題点に鑑みてなされたもので、歩行者のような移動体に対して、分かり易く注意を喚起させることが可能な路面投影装置及び路面投影方法を提供することを目的とする。
また、本発明は、歩行者のような移動体の安全を確保することが可能な路面投影装置及び路面投影方法を提供することを目的とする。
この目的を達成するため、本発明の第1の観点に係る路面投影装置は、
自車両の周囲領域を監視する監視部と、
前記監視部の監視結果に基づいて、移動体を判別する移動体判別部と、
路面に投影するイメージのイメージデータを予め記憶するイメージデータ記憶部と、
イメージを投影するように作動制御されたときに、前記イメージデータ記憶部から前記イメージデータを読み出し、前記移動体近傍の路面位置に前記イメージを投影する投影部と、
道路が延びる方向を道路方向として、停車している前記自車両の前記道路方向に対する傾き角度を検出する車両傾き検出部と、
前記車両傾き検出部が検出した傾き角度に基づいて、前記イメージデータに基づくイメージの傾きを補正するイメージデータ補正部と、
前記監視部が監視した周囲領域に判別領域を設定し、前記移動体判別部が判別した前記移動体が、前記判別領域に存在しているときに、前記イメージデータ補正部が補正したイメージデータを、前記移動体近傍の路面位置に投影するように前記投影部を作動制御する作動制御部と、を備えたことを特徴とする。
前記車両傾き検出部は、
前記自車両が走行しているときに、前記自車両の走行方向が変化する毎に前記自車両のヨーレートを計測するヨーレート計測部と、
前記ヨーレート計測部が計測した前記自車両のヨーレートを逐次記憶するヨーレート記憶部と、
前記自車両が停車したとき、前記自車両が直進走行しているときの前記自車両の傾き角度を0°として、前記ヨーレート記憶部が逐次記憶したヨーレートを積算することにより、停車している前記自車両の前記道路方向に対する傾き角度を取得する傾き角度取得部と、を備えたものであってもよい。
前記イメージデータ記憶部は、前記イメージデータとして、前記移動体への注意喚起を促すための移動体用安全確認イメージのイメージデータを予め記憶し、
前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記移動体用安全確認イメージのイメージデータを読み出し、前記移動体近傍の路面位置に、前記移動体用安全確認イメージを投影するようにしてもよい。
前記移動体判別部は、前記移動体として歩行者を判別し、
前記イメージデータ記憶部は、前記イメージデータとして横断歩道のイメージデータを予め記憶し、
前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記横断歩道のイメージデータを読み出し、前記移動体近傍の路面位置に、前記横断歩道のイメージを前記移動体用安全確認イメージとともに投影するようにしてもよい。
前記イメージデータ記憶部は、前記イメージデータの部分イメージデータを予め複数記憶し、
前記イメージデータ記憶部が記憶する複数の部分イメージデータから、前記路面に投影するイメージデータの生成に必要な部分イメージデータを選択し、選択した部分イメージデータを配置することにより、前記イメージデータを生成し、生成した前記イメージデータを前記イメージデータ記憶部に記憶する投影イメージ生成部を備えてもよい。
前記イメージデータ記憶部は、自車両に接近して側方を通過する接近車両への注意喚起を促すための接近車両用安全確認イメージのイメージデータを予め記憶し、
前記投影部は、前記自車両の周囲領域に前記移動体が存在すると前記移動体判別部が判別し、前記接近車両が接近したときに、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記接近車両用安全確認イメージのイメージデータを読み出し、前記接近車両の進行方向前方に前記接近車両用安全確認イメージを投影するようにしてもよい。
前記監視部は、
自車両の周囲領域を可視光で撮影して可視光画像を取得する可視光撮影部と、
前記歩行者から発せられる赤外線を検知する赤外線検知部と、を備え、
前記移動体判別部は、前記赤外線検知部が検知した赤外線に基づいて前記移動体として歩行者を判別し、
前記作動制御部は、前記可視光撮影部が取得した可視光画像に基づいて、前記監視部が監視した周囲領域に判別領域を設定し、前記移動体判別部が判別した前記歩行者が、前記判別領域に存在しているときに、前記イメージを投影するように前記投影部を作動制御するようにしてもよい。
前記イメージデータ補正部は、前記路面に投影されるイメージと前記イメージデータ記憶部に予め記憶された補正前イメージとが対応するように、前記投影部が前記路面に前記イメージを投影する投影角度に基づいて前記補正前イメージの逆歪補正を行うようにしてもよい。
前記イメージデータ記憶部は、前記路面投影用のイメージデータを記憶するための投影イメージ記憶領域が設定されたものであり、
前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部の前記投影イメージ記憶領域から、前記イメージデータを読み出し、前記移動体近傍の路面位置に前記イメージを投影するようにしてもよい。
前記作動制御部は、前記移動体の進行方向を判別し、
前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記作動制御部が判別した前記移動体の進行方向前方の路面位置に前記イメージを投影するようにしてもよい。
本発明の第2の観点に係る路面投影方法は、
車両の周囲領域を監視するステップと、
前記監視ステップの結果に基づいて、移動体を判別するステップと、
道路が延びる方向を道路方向として、停車している前記自車両の前記道路方向に対する傾き角度を検出するステップと、
前記検出した傾き角度に基づいて、予め記憶された路面に投影するイメージのイメージデータに基づくイメージの傾きを補正するステップと、
監視した周囲領域に判別領域を設定し、判別した前記移動体が、前記判別領域に存在しているときに、前記イメージの傾きを補正するステップが補正したイメージを、前記移動体近傍の路面位置に投影するステップと、を備えたことを特徴とする。
本発明によれば、移動体に対して、分かり易く注意を喚起させることができる。また、移動体の安全を確保することができる。
以下、本発明の実施形態に係る路面投影装置を図面を参照して説明する。
本実施形態に係る路面投影装置の構成を図1に示す。
本実施形態に係る路面投影装置1は、図2に示す車両41に備えられたものであり、可視光カメラ11−1〜11−4と、赤外線カメラ12−1〜12−4と、プロジェクタ13−1,13−2と、車両傾き検出部14と、バッテリ15と、メインスイッチ16と、スイッチ17〜19と、ECU(Electronic Control Unit)20と、を備える。
可視光カメラ11−1〜11−4、赤外線カメラ12−1〜12−4は、図2に示す路肩55の側方に停車している車両41の周囲領域を監視するためのカメラである。
可視光カメラ11−1〜11−4は、図2に示すように、車両41の屋根に取り付けられ、それぞれ、周囲領域として、車両41の前方、後方、右側、左側の路面を可視光で撮影する。
可視光カメラ11−1〜11−4は、それぞれ、光学レンズと、撮像部と、を備える(いずれも図示せず)。撮像部は、例えば、CCD(Charge Coupled Device;電荷結合素子)、CMOS(Complementary Metal Oxide Semiconductor)センサ等からなる。可視光カメラ11−1〜11−4は、スイッチ17がオンすると、それぞれ、バッテリ15から電流が供給されて作動し、可視光で撮影を行う。
尚、図2に示す領域51〜54は、移動体としての歩行者2の存在を判別するための判別領域である。特に、判別領域51は、車両41の側方を後方から接近する車両の死角となる死角領域である。可視光カメラ11−1〜11−4は、それぞれ、この判別領域51〜54を含めて撮影を行うため、いずれも、広角カメラが用いられる。
尚、車両41の後方に取り付けられた可視光カメラ11−2は、車両41後方の路面を撮影するとともに、車両41の後方から接近する車両も撮影可能なものとする。
また、車両41の右側に取り付けられた可視光カメラ11−3は、歩行者が車線を道路を渡り切ったか否かを判定するため、道路の中央線まで撮影可能なものとする。
赤外線カメラ12−1〜12−4は、歩行者等を判別するためのカメラである。赤外線カメラ12−1〜12−4は、それぞれ、図2に示すように、車両41の前方、後方、右側、左側の屋根に、可視光カメラ11−1〜11−4と並べて取り付けられる。
赤外線カメラ12−1〜12−4は、それぞれ、光学レンズと、赤外線センサと、を備え(いずれも図示せず)、スイッチ17がオンすると、バッテリ15から電流が供給されて作動し、歩行者等から発せられる赤外線を検知する。赤外線カメラ12−1〜12−4が備える赤外線センサには、例えば、サーモパイルセンサ、焦電型パイロセンサ等が用いられる。
サーモパイルセンサは、歩行者の熱による赤外線を赤外線吸収体で熱エネルギーに変換し、ゼーベック効果を利用して熱検知信号を出力するセンサである。焦電型センサは、熱によって表面電荷が発生する現象を利用して熱検知信号を出力するセンサである。
赤外線カメラ12−1〜12−4は、それぞれ、このような赤外線センサを備え、赤外線による赤外線画像を生成する。この赤外線カメラ12−1〜12−4には、それぞれ、可視光カメラ11−1〜11−4と対応する画角を有するカメラが用いられる。
プロジェクタ13−1,13−2は、路面にイメージを投影するためのものである。プロジェクタ13−1,13−2は、図2、図3に示すように、それぞれ、車両41の前部、後部に取り付けられる。
プロジェクタ13−1,13−2は、それぞれ、スイッチ18,19がオンすると、バッテリ15から電流が供給されて作動する。
車両傾き検出部14は、図4に示すように、道路が延びる方向を道路方向Xとして、車両41の道路方向Xに対する傾き角度θを検出するためのものである。
道路に投影されるイメージは、方向Xに対して車両41が傾いていると、補正されなければ、傾いてしまう。傾き角度θは、この路面イメージの傾きを補正する角度補正値として用いられる。
車両傾き検出部14は、ヨーレート(Yaw Rate)を計測することにより、この傾き角度θを検出する。ヨーレートは、カーブ等で車両41が回転する速度を示すパラメータであり、傾き角度θは、次の式(1)に従って算出される。
θ=ΣΨidt ・・・・・・・(1)
但し、Ψi:i番目に計測された車両41のヨーレート
車両傾き検出部14は、式(1)に従って車両41の傾き角度θを求めるため、ヨーレートセンサ14aと、メモリ14bと、演算部14cと、を備える。
ヨーレートセンサ14aは、車両41のヨーレートを計測するセンサであり、車両41が走行しているときに、車両41の走行方向が変化する毎に、車両41のヨーレートを計測する。
メモリ14bは、ヨーレートセンサ14aが計測した車両41のヨーレートを逐次記憶するものであり、ヨーレートセンサ14aは、計測する毎に、車両41のヨーレートを、このメモリ14bに格納する。
演算部14cは、車両41が停車したときに、車両41の道路方向Xに対する傾き角度θを取得するものである。演算部14cは、車両41が直進走行しているときの車両の傾き角度θを0°として、メモリ14bが逐次記憶したヨーレートを、式(1)に従って演算することにより、傾き角度θを取得する。演算部14cは、演算した傾き角度θをメモリ14bに格納する。
バッテリ15は、各部に電流を供給するための直流電源である。メインスイッチ16は、バッテリ15からの電流をオン、オフするためのものであり、例えば、ハンドル(図示せず)の下に設置されて車両41の運転者によって操作される。
スイッチ17は、可視光カメラ11−1〜11−4、赤外線カメラ12−1〜12−4をオン、オフするためのスイッチであり、バッテリ15と、可視光カメラ11−1〜11−4、赤外線カメラ12−1〜12−4と、の間に接続される。
スイッチ18は、イメージを投影するようにプロジェクタ13−1を作動制御するためのスイッチであり、バッテリ15とプロジェクタ13−1と、の間に接続される。
スイッチ19は、イメージを投影するようにプロジェクタ13−2を作動制御するためのスイッチであり、バッテリ15とプロジェクタ13−2と、の間に接続される。
ECU20は、路面投影装置1全体を制御するための電子制御装置であり、画像メモリ31と、画像処理部32と、ROM(Read Only Memory)33と、RAM(Random Access Memory)34と、CPU(Central Processing Unit)35と、からなる。
画像メモリ31は、路面に投影する安全確認用のイメージデータを予め記憶するとともに、撮影画像等を記憶するものである。画像メモリ31には、図5に示すように、撮影画像記憶領域31aと、イメージパターン記憶領域31bと、処理イメージ記憶領域31cと、投影イメージ記憶領域31d,31eと、が設定されている。
撮影画像記憶領域31aは、可視光カメラ11−1〜11−4の撮影によって得られた可視光画像、赤外線カメラ12−1〜12−4の撮影によって得られた赤外線画像を記憶する領域である。可視光カメラ11−1〜11−4、赤外線カメラ12−1〜12−4は、撮影する毎に、それぞれ、可視光画像、赤外線画像を撮影画像記憶領域31aに格納する。
イメージパターン記憶領域31bは、安全確認用のイメージデータの部分イメージデータとして、図6(a)に示すような停止線61のイメージパターン、図6(b)〜(d)に示すような文字「止まれ」62、文字「STOP」63、文字「左右確認」64のイメージパターンの各データを記憶する。さらに、イメージパターン記憶領域31bは、図6(e),(f)にそれぞれ示すような横断歩道65,66のイメージパターンの各データを記憶するための領域である。図6に示すイメージパターンは、移動体用安全確認イメージ及び/又は接近車両用安全確認イメージとして使用される。
処理イメージ記憶領域31cは、処理中のイメージデータを記憶するための領域である。
投影イメージ記憶領域31d,31eは、それぞれ、プロジェクタ13−1,13−2が投影する処理済みのイメージデータを記憶するための領域である。プロジェクタ13−1,13−2は、作動すると、それぞれ、投影イメージ記憶領域31d,31eに記憶されているイメージのデータを読み出して、このイメージを路面に投影する。
画像処理部32は、画像メモリ31が記憶したイメージデータに対して画像処理等を行うものである。
画像処理部32は、CPU35から指示されて、路面に投影するイメージを生成する。まず、画像処理部32は、、画像メモリ31のイメージパターン記憶領域31bに記憶されている図6(a)〜(f)に示すようなイメージパターンから、生成するイメージに必要なイメージパターンを選択する。
例えば、CPU35から、図7に示すようなイメージ67を生成するように指示された場合、画像処理部32は、図6(a)に示す停止線61のイメージパターンと、図6(c)に示すような文字「STOP」63のイメージパターンと、図6(e)に示す横断歩道65のイメージパターンと、を選択する。
そして、画像処理部32は、画像メモリ31のイメージパターン記憶領域31bから、これらのイメージパターンのデータを取得し、各イメージパターンを、その角度、投影する場所に対応する位置を指定して配置し、このイメージ67を生成する。
画像処理部32は、このイメージ67を生成すると、生成したイメージデータを画像メモリ31の処理イメージ記憶領域31cに格納する。
次に、画像処理部32は、生成したイメージに対し、車両傾き検出部14が検出した傾き角度θに基づいて、イメージの傾きを補正する。
例えば、図4に示すように、車両41が道路方向Xに対して傾き角度θだけ傾いて駐車・停車した場合、図8に示すように、画像処理部32が生成したイメージ67も傾いてしまう。画像処理部32は、この傾きを補正して、図9に示すようなイメージ67−1を生成する。
このため、画像処理部32は、画像メモリ31の処理イメージ記憶領域31cから、イメージデータを読み出す。画像処理部32は、車両傾き検出部14が検出した傾き角度θに基づいて、読み出したイメージデータを補正し、図9に示すようなイメージ67−1を生成する。
画像処理部32は、イメージ67−1を生成すると、生成したイメージ67−1のイメージデータを、画像メモリ31の処理イメージ記憶領域31cに格納する。
また、画像処理部32は、逆歪補正を行う。プロジェクタ13−1,13−2が、それぞれ、車両41の前後に取り付けられているため、イメージ67をそのまま投影すると、イメージ67が歪んでしまう。
このため、画像処理部32は、この画像の歪みを補正するため、路面に投影されるイメージと処理イメージ記憶領域31cに記憶されている補正前イメージとが対応するように、補正前イメージの逆歪補正を行う。
例えば、図10(a)に示すように、頂点p11〜p14からなる矩形p1のイメージを路面に投影した場合、路面には、頂点q11〜q14からなる歪んだ矩形q1が投影される。
この場合、画像処理部32は、矩形p1の頂点p11と矩形q1の頂点q11、頂点p12と頂点q12、頂点p13と頂点q13、頂点p14と頂点q14、を対応付けつつ、図10(a)に示す矩形q1を図10(b)に示すような頂点q21〜q24からなる矩形q2に変形する補正を行う。この変形により、図10(a)に示す矩形p1は、図10(b)に示す矩形p2に変形する。
この矩形p2を路面に投影することにより、路面には、図10(a)の矩形p1に対応する図10(c)に示す矩形p3が投影される。
例えば、補正前のイメージが図11(a)に示すような停止線のイメージ68である場合、画像処理部32は、このような補正を行うことにより、図11(b)に示すようなイメージ68−1を生成する。プロジェクタ13−1がこのイメージ68−1を路面に投影することにより、路面に投影されるイメージは、図11(a)に示すイメージ68となる。
画像処理部32は、このような逆歪補正を行うと、補正したイメージを、画像メモリ31の投影イメージ記憶領域31d、31eのうち、CPU35によって指定された記憶領域に格納する。
尚、画像処理部32がこのような逆歪補正を行うためには、プロジェクタ13−1、13−2が路面にイメージを投影する投影角度が必要であり、画像メモリ31は、この投影角度を予め記憶する。
また、この投影角度は、プロジェクタ13−1、13−2が一旦、車両41に取り付けられば、一定となるため、画像メモリ31がこの投影角度を記憶することにより、投影角度を検出するセンサ等は不要である。尚、プロジェクタ13−1,13−2の投影角度を可変にすることもできる。
ROM33は、CPU35が処理を実行するためのプログラム、メッセージデータ等を記憶するためのものである。ROM33は、プログラムとして、後述する移動体判別処理としての歩行者判別処理、投影制御処理のプログラムを記憶する。RAM34は、CPU35が処理に必要なデータを記憶するための作業用メモリである。
CPU35は、路面投影装置1を制御するためのものであり、本実施形態においては、メインスイッチ16がオフすると、車両41が停車したと判定し、ROM33から、歩行者判別処理のプログラムを読み出して、この処理を実行する。
まず、CPU35は、スイッチ17をオンし、可視光カメラ11−1〜11−4、赤外線カメラ12−1〜12−4を作動させる。
CPU35は、画像メモリ31の撮影画像記憶領域31aから、可視光カメラ11−1〜11−4のそれぞれの可視光画像、赤外線カメラ12−1〜12−4のそれぞれの赤外線画像を取得する。
そして、CPU35は、赤外線画像に基づいて、歩行者2を判別する。この判別を行うため、画像メモリ31は、イメージパターン記憶領域31bに、歩行者2の画像をパターン化して予め記憶する。
CPU35は、赤外線カメラ12−1〜12−4から取得した赤外線画像と、画像メモリ31に予め記憶されているパターン化された歩行者2の画像と、を比較して、ほぼ一致したときに、この赤外線画像が歩行者2の赤外線画像であることを判別する。
次に、CPU35は、ROM33から、投影制御処理のプログラムを読み出して、この処理を実行する。
CPU35は、車両傾き検出部14のメモリ14bから、車両41の傾き角度θを取得し、取得した傾き角度θを画像処理部32に供給する。
次に、CPU35は、図2に示すように、可視光カメラ11−1〜11−4のそれぞれの画角と、赤外線カメラ12−1〜12−4のそれぞれの画角と、が対応する領域内に、判別領域51〜54を設定する。このうち、特に領域51は、車両41の側方を後方から該車両41に接近する車両に対する死角領域である。
次に、CPU35は、設定した判別領域51〜54のいずれかの領域に歩行者2が存在するか否かを判定する。判別された歩行者2の赤外線画像が一部でも判別領域51〜54のいずれかの領域に存在している場合、CPU35は、設定した判別領域51〜54のいずれかの領域に歩行者2が存在すると判定する。
CPU35は、設定した判別領域51〜54のいずれかの領域に歩行者2が存在すると判定した場合、画像処理部32に、生成すべきイメージと、生成したイメージデータの格納先を指定して、イメージの生成を指示する。
例えば、歩行者2が判別領域51に存在していると判定した場合、CPU35は、画像処理部32に、図7に示すイメージ67を生成し、生成したイメージ67のデータを画像メモリ31の投影イメージ記憶領域31dに格納するように指示する。
また、歩行者2が判別領域52に存在していると判定した場合、CPU35は、画像処理部32に、図7に示すイメージ67を生成し、生成したイメージ67のデータを画像メモリ31の投影イメージ記憶領域31eに格納するように指示する。
そして、画像処理部32が、生成したイメージデータを画像メモリ31の投影イメージ記憶領域31d,31eのいずれかに格納すると、CPU35は、スイッチ18,19のいずれかをオンして、イメージを投影するようにプロジェクタ13−1又はプロジェクタ13−2を作動制御する。
また、CPU35は、可視光カメラ11−2の可視光画像に基づいて、車両41に接近して側方を通過する車両を判別する。CPU35は、接近する車両を判別するため、例えば、可視光カメラ11−2の可視光画像内に、判別領域52を除く車両41の後方に判定領域を設定し、この判定領域で、接近する車両の画像を検出した場合、この車両が、車両41に接近する車両であると判別する。
接近する車両があると判定した場合、CPU35は、画像処理部32に、図6(a)に示す停止線65のイメージパターンを画像メモリ31の投影イメージ記憶領域31eに格納するように指示する。
そして、画像処理部32が、図6(a)に示す停止線61のイメージパターンを画像メモリ31の投影イメージ記憶領域31eに格納すると、CPU35は、プロジェクタ13−2作動用のスイッチ19をオンして、このイメージを投影するようにプロジェクタ13−2を作動制御する。
尚、歩行者2が判別領域51に存在している場合、この判別領域51は、接近する車両にとっては、車両41による死角領域となるため、CPU35は、画像処理部32に対し、投影するイメージを強調表示させるように指示する。
次に、CPU35は、歩行者2が判別領域51〜54外に移動したか否かを判定する。歩行者2が判別領域51〜54外に移動していないと判定した場合、CPU35は、歩行者2が移動したと判定するまで、待機する。
尚、歩行者2が判別領域51〜54のいずかの領域にいつまでも留まっていることもあるため、CPU35は、待機時間をカウントし、予め設定された時間が経過したときには、判別領域51〜54のいずれかの領域から移動するように、音声によって歩行者2を案内してもよい。
この場合、ROM33は、待機時間のカウント値に対して予め設定された閾値と音声データとを記憶し、車両41は、音声を出力するためのスピーカ(図示せず)を備える。そして、CPU35は、待機時間のカウント値が閾値を越えたとき、ROM33から音声データを読み出して、スピーカに供給する。
歩行者2が判別領域51〜54外に移動したと判定した場合、CPU35は、歩行者2の赤外線画像の移動方向を判別して、歩行者2が道路を横断する方向に移動したか否かを判定する。
歩行者2が路肩55側に移動した場合、CPU35は、歩行者2が道路の横断しないと判定して、スイッチ18,19をオフする。
歩行者2が道路を横断する方向に移動したと判定した場合、CPU35は、歩行者2が道路を渡り切ったか否かを判定する。
CPU35は、この判定を、可視光カメラ11−3によって撮影された道路の中央線と赤外線カメラ12−3によって撮影された歩行者2との位置関係に基づいて行う。
歩行者2の位置が道路の中央線の位置より手前の場合、CPU35は、歩行者2が道路を横断中と判定する。CPU35は、このように判定すると、歩行者2が道路を渡り切ったと判定するまで待機する。
歩行者2の位置が道路の中央線を越えた場合、CPU35は、歩行者2が道路を渡り切ったと判定する。CPU35は、このように判定すると、スイッチ18、19をオフし、プロジェクタ13−1,13−2の作動を停止させる。
CPU35は、プロジェクタ13−1,13−2の作動を停止させると、メインスイッチ16がオンになったか否かを判定する。メインスイッチ16がオフしたままであると判定した場合、CPU35は、再度、判別領域51〜54のいずれかの領域に歩行者2が存在しているか否かの判定を行う。
メインスイッチ16がオンしたと判定した場合、CPU35は、車両41が発進すると判定し、スイッチ17をオフして、可視光カメラ11−1〜11−4、赤外線カメラ12−1〜12−4の作動を停止させる。
次に本実施形態に係る路面投影装置1の動作を説明する。
メインスイッチ16がオフすると、CPU35は、ROM33から、歩行者判別処理のプログラムを読み出して、この歩行者判別処理を繰り返し、実行する。
CPU35は、図12に示すフローチャートに従って、この歩行者判別処理を実行する。
CPU35は、可視光カメラ11−1〜11−4、赤外線カメラ12−1〜12−4作動用のスイッチ17をオンする(ステップS11)。
CPU35は、画像メモリ31の撮影画像記憶領域31aから、可視光カメラ11−1〜11−4のそれぞれの可視光画像を取得する(ステップS12)。
CPU35は、画像メモリ31の撮影画像記憶領域31aから、赤外線カメラ12−1〜12−4のそれぞれの赤外線画像を取得する(ステップS13)。
CPU35は、赤外線画像に基づいて、歩行者2を判別する(ステップS15)。そして、CPU35は、この歩行者判別処理を終了させる。
次に、CPU35は、ROM33から、投影制御処理のプログラムを読み出して、この投影制御処理を実行する。
CPU35は、図13及び図14に示すフローチャートに従って、この投影制御処理を実行する。
CPU35は、車両傾き検出部14の演算部14cから、車両傾き角度θを取得し、取得した車両傾き角度θを画像処理部32に供給する(ステップS21)。
CPU35は、可視光カメラ11−1〜11−4のそれぞれの画角と、赤外線カメラ12−1〜12−4のそれぞれの画角と、が対応する領域に判別領域51〜54を設定する(ステップS22)。
CPU35は、歩行者2が、設定した判別領域51〜54のいずれかの領域に存在するか否かを判定する(ステップS23)。
歩行者2が、設定した判別領域51〜54のいずれの領域にも存在しないと判定した場合(ステップS23においてNo)、CPU35は、メインスイッチ16がオンしたか否かを判定する(ステップS33)。
メインスイッチ16がオンしていないと判定した場合(ステップS33においてNo)、CPU35は、再度、歩行者2が、設定した判別領域51〜54のいずれかの領域に存在するか否かを判定する(ステップS23)。
歩行者2が、設定した判別領域51〜54のいずれかの領域に存在すると判定した場合(ステップS23においてYes)、CPU35は、画像処理部32に、生成するイメージと生成したイメージの格納先とを指定して、指定したイメージを生成するように指示する(ステップS24)。
CPU35は、生成するイメージとして、図7に示すイメージ67を指定し、生成したイメージの格納先として、画像メモリ31の投影イメージ記憶領域31dを指定する。
画像処理部32は、CPU35にイメージの生成を指示されると、図15に示すフローチャートに従って、投影イメージ生成処理を実行する。
即ち、画像処理部32は、画像メモリ31のイメージパターン記憶領域31bを検索して、必要なイメージパターンを選択し、選択したイメージパターンを取得する(ステップS41)。
画像処理部32は、選択したイメージパターンを配置して、CPU35から供給された車両傾き角度θに基づいて、配置したイメージパターンの傾き補正を行う(ステップS42)。
画像処理部32は、逆歪補正を行う(ステップS43)。
画像処理部32は、補正したイメージのデータを画像メモリ31の投影イメージ記憶領域31dに格納する(ステップS44)。
画像処理部32がこのような投影イメージ生成処理を実行すると、CPU35は、プロジェクタ13−1作動用のスイッチ18をオンする(ステップS25)。
CPU35は、可視光カメラ11−2から取得した可視光画像に基づいて、接近する車両42を判別し、接近する車両42があるか否かを判定する(ステップS26)。
接近する車両42があると判定した場合(ステップS26においてYes)、CPU35は、画像処理部32に、生成するイメージと生成したイメージの格納先とを指定して、指定したイメージを生成するように指示する(ステップS27)。
CPU35は、生成するイメージとして停止線68のイメージを指定し、生成したイメージの格納先として、画像メモリ31の投影イメージ記憶領域31eを指定する。
画像処理部32は、この指示に従って、停止線68のイメージを生成し、このイメージを投影イメージ記憶領域31eに格納する(ステップS41〜S44)。
画像処理部32がこのような投影イメージ生成処理を実行すると、CPU35は、プロジェクタ13−2作動用のスイッチ19をオンする(ステップS28)。
一方、接近する車両42がないと判定した場合(ステップS26においてNo)、CPU35は、プロジェクタ13−2作動用のスイッチ19をオフのままとする。
CPU35は、歩行者2が判別領域51〜54のいずれかの領域から外に移動したか否かを判定する(ステップS29)。
歩行者2が判別領域51〜54のいずれかの領域から外に移動していないと判定した場合(ステップS29においてNo)、CPU35は、再び、ステップS26〜S28を実行する。
歩行者2が判別領域51〜54のいずれかの領域から外に移動したと判定した場合(ステップS29においてYes)、CPU35は、赤外線画像の移動方向に基づいて、歩行者2が道路を横断する方向に移動したか否かを判定する(ステップS30)。
歩行者2が道路を横断する方向に移動してはいないと判定した場合(ステップS30においてNo)、CPU35は、歩行者2が路肩側に戻ったと判定し、スイッチ18,19をオフする(ステップS32)。
歩行者2が道路を横断する方向に移動したと判定した場合(ステップS30においてYes)、CPU35は、歩行者2が道路を渡り切ったか否かを判定する(ステップS31)。
歩行者2が道路を渡り切ってはいないと判定した場合(ステップS31においてNo)、CPU35は、歩行者2が道路を渡り切るまで待機する。
歩行者2が道路を渡り切ったと判定した場合(ステップS31においてYes)、CPU35は、スイッチ18,19をオフする(ステップS32)。
CPU35は、メインスイッチ16がオンになったか否かを判定し、メインスイッチ16がオンになったと判定した場合(ステップS33においてYes)、CPU35は、可視光カメラ11−1〜11−4、赤外線カメラ12−1〜12−4作動用のスイッチ17をオフする(ステップS34)。そして、CPU35は、この投影制御処理を終了させる。
次に、路面投影装置1の動作を具体的に説明する。
車両41の走行中、車両傾き検出部14のヨーレートセンサ14aは、車両41がカーブ等を曲がると、車両41のヨーレートを検出してメモリ14bに格納する。ヨーレートセンサ14aは、このような処理を、車両41が曲がる毎に行う。
車両41が停車すると、車両傾き検出部14の演算部14cは、メモリ14bから、ヨーレートを読み出し、読み出したヨーレートに基づき、式(1)に従って傾き角度θを演算する。演算部14cは、演算した結果の傾き角度θをメモリ14bに格納する。
メインスイッチ16がオフすると、CPU35がスイッチ17をオンして(ステップS11の処理)、可視光カメラ11−1〜11−4、赤外線カメラ12−1〜12−4が作動する。
可視光カメラ11−1〜11−4、赤外線カメラ12−1〜12−4は、撮影する毎に、それぞれ、可視光画像、赤外線画像を撮影画像記憶領域31aに格納する。
図16に示すように、歩行者2が路肩55側から判別領域51に入った場合(ステップS23においてYes)、CPU35は、画像処理部32に、図7に示すイメージ67を生成して画像メモリ31の投影イメージ記憶領域31dに格納するように指示する(ステップS24の処理)。
画像処理部32は、イメージ67を生成する。尚、イメージ67が車両41が傾いて停車・駐車して、イメージ67が図8に示すように傾いてしまう場合、画像処理部32は、車両41の傾き角度θに基づいて、イメージ67を補正して、図9に示すようなイメージ67−1を生成する(ステップS41,S42の処理)。
画像処理部32は、逆歪補正を行って、イメージ67のイメージデータを投影イメージ記憶領域31dに格納する(ステップS43,44の処理)。CPU35は、画像処理部32がイメージデータを投影イメージ記憶領域31dに格納すると、スイッチ18をオンし(ステップS25の処理)、プロジェクタ13−1は、作動する。
プロジェクタ13−1は、このようにCPU35に作動制御されて、画像メモリ31の投影イメージ記憶領域31dから、イメージ67のイメージデータを読み出し、図17に示すように、歩行者2の前の路面上に、このイメージ67を投影する。このとき、CPU35は、歩行者2の進行方向を判別し、プロジェクタ13−1は、歩行者2の進行方向前方にイメージ67を投影する。
図18に示すように、車両42が接近した場合(ステップS26においてYes)、CPU35は、画像処理部32に、イメージ68を画像メモリ31の投影イメージ記憶領域31eに格納するように指示する(ステップS27の処理)。
この場合、歩行者2が判別領域51に存在しているので、CPU35は、画像処理部32に対し、投影するイメージを強調表示させるように指示する。
画像処理部32が強調表示したイメージ68を生成して、このイメージデータを投影イメージ記憶領域31eに格納すると、CPU35はスイッチ19をオンし(ステップS28の処理)、プロジェクタ13−2は、作動する。
プロジェクタ13−2は、このようにCPU35に作動制御されて、画像メモリ31の投影イメージ記憶領域31eから、イメージ68のイメージデータを読み出し、図19に示すように、接近する車両42の前方の路面上に、このイメージ68を投影する。
図20に示すように、歩行者2が道路を渡り切ると、CPU35は、スイッチ18,19をオフし(ステップS32の処理)、プロジェクタ13−1,13−2は作動を停止する。そして、イメージ67、イメージ68が消えて、車両42は発進する。
CPU35は、メインスイッチ16がオンすると(ステップS33においてYes)、スイッチ17をオフする(ステップS34の処理)。スイッチ17がオフすると、可視光カメラ11−1〜11−4、赤外線カメラ12−1〜12−4は、作動を停止する。
以上説明したように、本実施形態によれば、歩行者2が判別領域51〜54のいずれかの領域に存在する場合、CPU35は、画像処理部32に、安全確認用の停止線のイメージを生成するように指示して、プロジェクタ13−1を作動させるようにした。
従って、プロジェクタ13−1は、イメージを投影するようにCPU35に作動制御されて、路面に、停止線61、文字「STOP」62、横断歩道65からなるイメージ67を投影するので、歩行者2に対して、分かり易く注意を喚起させることができる。即ち、歩行者2に対して、一旦停止を促すことができ、左右確認などの注意を喚起させることができる。また、歩行者2を安全に誘導することができ、歩行者2の安全を確保することができる。
また、車両傾き検出部14は、停車した車両41の傾き角度θを検出し、画像処理部32は、この傾き角度θに基づいて、イメージ67、68の各イメージパターンの配置、傾きを補正するようにした。
従って、車両41が道路方向Xに対して傾けて駐車・停車した場合でも、路面に投影されるイメージは、歩行者2、接近する車両42に対して傾かないため、歩行者2、接近する車両42を、分かり易く案内表示することができる。
また、車両42が接近した場合、CPU35は、画像処理部32に停止線のイメージ68を生成するように指示して、このイメージ68を投影するようにプロジェクタ13−2を作動制御するようにした。
従って、プロジェクタ13−2が、接近する車両42の前方の路面上に、停止線のイメージ68を投影するので、接近する車両42に対して,歩行者2が判別領域51〜54のいずれかの領域に存在していることを、報知することができ、歩行者2の安全を確保することができる。
また、歩行者2が死角領域に存在している場合、CPU35は、画像処理部32に対し、投影するイメージを強調表示させるように指示し、プロジェクタ13−2は、強調表示したイメージ68を接近する車両42の前方に投影するようにした。
従って、停車している車両41のために、車両42の運転者が歩行者2を判別できないような場合でも、この運転者に対して、歩行者2の存在をより確実に判別させることができる。
また、画像メモリ31のイメージパターン記憶領域31bには、生成する安全確認用のイメージデータの部分イメージデータとしてのイメージパターンが予め記憶され、画像処理部32が、このイメージパターンを選択して配置することにより、路面に投影するイメージを生成するようにした。
従って、路面に投影するイメージのデータを低減することができ、状況に応じたイメージを路面に投影することができる。
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態では、例として、画像処理部32が、図7に示すイメージ67、図11(a)、(b)に示すイメージ68を生成するようにした。
しかし、路面に投影するイメージはこのものに限られるものではなく、状況に応じて、図6(a)〜(f)のイメージパターンから、他のいくつかのイメージパターンを選択してイメージを生成することもできる。また、イメージパターンも図6(a)〜(f)に示すものに限られるものではない。
路面投影装置1は、状況に応じて、路面に投影するイメージの色を変えたり、イメージのサイズを変えたり、明るさを変えたりすることもできる。
また、路面にイメージを投影する際、ハザードランプを点滅させたり、音声で案内するようにしてもよい。
歩行者2を検知するセンサは、赤外線カメラ12−1〜12−4に限られるものではなく、赤外線カメラ12−1〜12−4にそれぞれ備えられた赤外線センサだけであってもよい。また、歩行者2を検知するセンサは、赤外線センサだけでなく、超音波センサであってもよい。
可視光カメラ11−1〜11−4、赤外線カメラ12−1〜12−4の取付位置は、車両41の屋根の上でなくてもよく、車両41の屋内であってもよい。また、車両42の接近を判別する場合、サイドミラー等を利用し、車内に設置された可視光カメラがサイドミラー等で反射した画像を撮影し、CPU35は、この画像に基づいて、接近する車両42を判別するようにしてもよい。
また、プロジェクタ13−1,13−2の取付位置も、車両41の屋根、車内であってもよい。プロジェクタ13−1,13−2が車両41の屋根、車内に取り付けられることにより、万が一、他の車両と接触するようなことがあっても、プロジェクタ13−1,13−2の破損を防止することができる。
可視光カメラ11−1〜11−4、赤外線カメラ12−1〜12−4は、オードフォーカス、ズーム機能を備えたものであってもよい。このような機能を備えることにより、車両接近報知装置1は、正確に、判別領域51〜54のいずれかの領域に存在する歩行者2、接近する車両42を判別することができる。
また、上記実施形態では、移動体として歩行者2の場合を主に説明した。しかし、移動体は、歩行者2に限られるものではなく、車両、2輪車、シニアカー等であってもよい。
十字路や道路側方の駐車場等から自車両41の前方あるいは後方を、他車両が横断する可能性もありうる。移動体を車両とした場合、路面投影装置1が、投影制御処理等を実行することにより、自車両41の前方や後方を横断する他車両や、自車両41の側方を通過する車両42の運転者に対して、注意を喚起させることが可能となる。
また、本実施形態においては、車両41が停車した場合に、移動体判別処理、投影制御処理等が実行されるようになっている。しかし、本実施形態は、これに限られるものではなく、自車両41が走行中であっても、移動体判別処理、投影制御処理等を実行することができる。
例えば、車両41の走行中に、他車両が道路側方の駐車場等から道路に進入しようとし、走行している車両41が減速して、他車両を道路に進入させることがある。一方、車両41の左側を走行する2輪車がある場合、他車両と2輪車との接触を誘発するおそれがある(いわゆるサンキュー事故)。
このような場合、例えば、プロジェクタ13−1が他車両及び2輪車のすくなくとも一方の前方の路面に、一時停止する旨の文字画像を投影することにより、2輪車と車両42との接触を防止することができる。
この場合、走行中でも報知処理を行うためには、プロジェクタ13−1,13−2の投影角度を可変にして、車両41が走行していても、プロジェクタ13−1,13−2が移動体としての他車両に対してイメージを投影するようにする。
尚、路面投影装置1は、車両41の車速に応じて移動体判別処理、投影制御処理等を実行するようにしてもよい。また、車室内に処理を実行するためのスイッチを設けてもよい。CPU35は、このスイッチのオン、オフ情報を取得し、このスイッチがオンしたときに、、移動体判別処理、投影制御処理等を実行するようにしてもよい。
また、本実施形態では、車両42が車両41の後方から接近するものとして説明した。しかし、車両42は、車両41の前方から接近する場合であっても、上記実施形態を適用することができる。
例えば、他車両が、車両41の前方から接近して、車両41の左側に位置する施設に進入するために右折しようとして、車両41が停止又は減速する場合がある。
さらに、車両41の左側を2輪車等の車両が走行している場合、車両用報知装置1は、車両41の前方から接近する他車両を移動体、2輪車を接近する車両42として、あるいは、プロジェクタ13−1、13−2が、2輪車の接近、進入する他車両があることを示す画像を投影するように構成されることもできる。
このように構成されることにより、他車両の運転者と2輪車の運転者とは、お互いを認識することができ、車両同士の接触を未然に防止することが可能となる。
この場合、前方に配置されている可視光カメラ11−1は、自車両41の前方から接近する車両42を監視し、CPU35は、可視光カメラ11−1の可視光画像に基づいて、この車両42を判別する。
また、本実施形態においては、自車両41の前方、後方、右側、左側にそれぞれ1つの判別領域を設定するものとした。しかし、判別領域の設定は、これに限られるものではない。
例えば、自車両41や周囲の状況等に応じて、判別領域を適宜変更することも可能である。特に、判別領域51〜54のうち、他車両の死角領域51のみを判別領域として設定することもできる。また、判別領域をさらに細分化することも可能である。また、自車両41から所定距離内の領域を判別領域として設定することもできる。
本実施形態では、停止線と「STOP」との文字画像のみからなる注意喚起イメージと横断歩道のイメージとが、歩行車2の前方の路面に同時に投影されるものとして説明した。しかし、注意喚起イメージと横断歩道のイメージとを別々に投影することもできる。
例えば、CPU35は、判別領域51〜54のいずれかの領域に歩行者2が存在すると判定した場合には、図6(a)に示す停止線61のイメージパターンと、図6(c)に示すような文字「STOP」63のイメージパターンとからなる注意喚起イメージのみを歩行者2の前方に投影させる。
CPU35は、車両42の減速や停止を判別し、車両42が減速又は停止してときに、図7に示す横断歩道のイメージパターン65を、プロジェクタ13−1に投影させる。
本発明の実施形態に係る路面投影装置の構成を示すブロック図である。 図1に示す可視光カメラ、赤外線カメラ、プロジェクタ等の取付位置を示す図である。 停車した車両の側面図であり、図1に示す可視光カメラ、赤外線カメラ、プロジェクタの取付位置を示す。 道路方向に対して傾けて駐車・停車した車両を示す図である。 図1に示す画像メモリに設定された各記憶領域を示す図である。 図5に示す画像メモリのイメージパターン記憶領域に記憶されているイメージパターンを示す図であり、(a)は、停止線、(b)〜(d)は文字、(e)、(f)は、横断歩道の各イメージパターンを示す図である。 図6に示す各イメージパターンを組み合わせたイメージを示す図である。 車両を道路方向に対して傾けて駐車・停車した場合に、路面に投影される傾き補正前のイメージを示す図である。 車両を道路方向に対して傾けて駐車・停車した場合に、路面に投影される傾き補正後のイメージを示す図である。 図1に示す画像処理部が実行する逆歪補正を示す図であり、(a)は、矩形のイメージを路面に投影した場合に、路面に投影されるイメージを示し、(b)は、(a)に示す矩形に対して行われた変形する補正を示し、(c)は、実際に投影されるイメージを示す。 停止線のイメージに対して行われた逆歪補正を示す図であり、(a)は、補正前のイメージを示し、(b)は、補正後のイメージを示す。 図1に示すCPUが実行する歩行者判別処理を示すフローチャートである。 図1に示すCPUが実行する投影制御処理(その1)を示すフローチャートである。 図1に示すCPUが実行する投影制御処理(その2)を示すフローチャートである。 図1に示す画像処理部が実行する投影イメージ生成処理を示すフローチャートである。 具体例として、歩行者が判別領域に入った状態を示す図である。 図1に示すプロジェクタが歩行者の前の路面にイメージを投影した状態を示す図である。 車両が接近した状態を示す図である。 図1に示すプロジェクタが接近する車両の前の路面にイメージを投影した状態を示す図である。 歩行者が道路を渡り切った状態を示す図である。
符号の説明
1 路面投影装置
2 歩行者(移動体)
11−1〜11−4 可視光カメラ(監視部)
12−1〜12−4 赤外線カメラ(監視部)
13−1,13−2 プロジェクタ(投影部)
31 画像メモリ(イメージデータ記憶部)
35 CPU(移動体判別部、作動制御部)
41〜43 車両
51〜54 判別領域

Claims (9)

  1. 自車両の周囲領域を監視する監視部と、
    前記監視部の監視結果に基づいて、移動体を判別する移動体判別部と、
    路面に投影するイメージのイメージデータを予め記憶するイメージデータ記憶部と、
    イメージを投影するように作動制御されたときに、前記イメージデータ記憶部から前記イメージデータを読み出し、前記移動体近傍の路面位置に前記イメージを投影する投影部と、
    道路が延びる方向を道路方向として、停車している前記自車両の前記道路方向に対する傾き角度を検出する車両傾き検出部と、
    前記車両傾き検出部が検出した傾き角度に基づいて、前記イメージデータに基づくイメージの傾きを補正するイメージデータ補正部と、
    前記監視部が監視した周囲領域に判別領域を設定し、前記移動体判別部が判別した前記移動体が、前記判別領域に存在しているときに、前記イメージデータ補正部が補正したイメージデータを、前記移動体近傍の路面位置に投影するように前記投影部を作動制御する作動制御部と、を備えた、
    ことを特徴とする路面投影装置。
  2. 前記車両傾き検出部は、
    前記自車両が走行しているときに、前記自車両の走行方向が変化する毎に前記自車両のヨーレートを計測するヨーレート計測部と、
    前記ヨーレート計測部が計測した前記自車両のヨーレートを逐次記憶するヨーレート記憶部と、
    前記自車両が停車したとき、前記自車両が直進走行しているときの前記自車両の傾き角度を0°として、前記ヨーレート記憶部が逐次記憶したヨーレートを積算することにより、停車している前記自車両の前記道路方向に対する傾き角度を取得する傾き角度取得部と、を備えたものである、
    ことを特徴とする請求項に記載の路面投影装置。
  3. 前記イメージデータ記憶部は、前記イメージデータとして、前記移動体への注意喚起を促すための移動体用安全確認イメージのイメージデータを予め記憶し、
    前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記移動体用安全確認イメージのイメージデータを読み出し、前記移動体近傍の路面位置に、前記移動体用安全確認イメージを投影する、
    ことを特徴とする請求項1又は2に記載の路面投影装置。
  4. 前記移動体判別部は、前記移動体として歩行者を判別し、
    前記イメージデータ記憶部は、前記イメージデータとして横断歩道のイメージデータを予め記憶し、
    前記投影部は、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記横断歩道のイメージデータを読み出し、前記移動体近傍の路面位置に、前記横断歩道のイメージを前記移動体用安全確認イメージとともに投影する、
    ことを特徴とする請求項に記載の路面投影装置。
  5. 前記イメージデータ記憶部は、自車両に接近して側方を通過する接近車両への注意喚起を促すための接近車両用安全確認イメージのイメージデータを予め記憶し、
    前記投影部は、前記自車両の周囲領域に前記移動体が存在すると前記移動体判別部が判別し、前記接近車両が接近したときに、イメージを投影するように前記作動制御部に作動制御されて、前記イメージデータ記憶部から、前記接近車両用安全確認イメージのイメージデータを読み出し、前記接近車両の進行方向前方に前記接近車両用安全確認イメージを投影する、
    ことを特徴とする請求項3又は4に記載の路面投影装置。
  6. 前記監視部は、
    自車両の周囲領域を可視光で撮影して可視光画像を取得する可視光撮影部と、
    前記歩行者から発せられる赤外線を検知する赤外線検知部と、を備え、
    前記移動体判別部は、前記赤外線検知部が検知した赤外線に基づいて前記移動体として歩行者を判別し、
    前記作動制御部は、前記可視光撮影部が取得した可視光画像に基づいて、前記監視部が監視した周囲領域に判別領域を設定し、前記移動体判別部が判別した前記歩行者が、前記判別領域に存在しているときに、前記イメージを投影するように前記投影部を作動制御する、
    ことを特徴とする請求項に記載の路面投影装置。
  7. 前記イメージデータ記憶部は、前記イメージデータの部分イメージデータを予め複数記憶し、
    前記イメージデータ記憶部が記憶する複数の部分イメージデータから、前記路面に投影するイメージデータの生成に必要な部分イメージデータを選択し、選択した部分イメージデータを配置することにより、前記イメージデータを生成し、生成した前記イメージデータを前記イメージデータ記憶部に記憶する投影イメージ生成部を備えた、
    ことを特徴とする請求項1乃至のいずれか1項に記載の路面投影装置。
  8. 前記イメージデータ補正部は、前記路面に投影されるイメージと前記イメージデータ記憶部に予め記憶された補正前イメージとが対応するように、前記投影部が前記路面に前記イメージを投影する投影角度に基づいて前記補正前イメージの逆歪補正を行う、
    ことを特徴とする請求項1乃至7のいずれか1項に記載の路面投影装置。
  9. 車両の周囲領域を監視するステップと、
    前記監視ステップの結果に基づいて、移動体を判別するステップと、
    道路が延びる方向を道路方向として、停車している前記自車両の前記道路方向に対する傾き角度を検出するステップと、
    前記検出した傾き角度に基づいて、予め記憶された路面に投影するイメージのイメージデータに基づくイメージの傾きを補正するステップと、
    監視した周囲領域に判別領域を設定し、判別した前記移動体が、前記判別領域に存在しているときに、前記イメージの傾きを補正するステップが補正したイメージを、前記移動体近傍の路面位置に投影するステップと、を備えた、
    ことを特徴とする、コンピュータで実行される路面投影方法。
JP2006182599A 2006-06-30 2006-06-30 路面投影装置及び路面投影方法 Expired - Fee Related JP4720650B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006182599A JP4720650B2 (ja) 2006-06-30 2006-06-30 路面投影装置及び路面投影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006182599A JP4720650B2 (ja) 2006-06-30 2006-06-30 路面投影装置及び路面投影方法

Publications (2)

Publication Number Publication Date
JP2008007079A JP2008007079A (ja) 2008-01-17
JP4720650B2 true JP4720650B2 (ja) 2011-07-13

Family

ID=39065649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006182599A Expired - Fee Related JP4720650B2 (ja) 2006-06-30 2006-06-30 路面投影装置及び路面投影方法

Country Status (1)

Country Link
JP (1) JP4720650B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604412A (zh) * 2016-02-12 2018-09-28 三菱电机株式会社 信息显示装置及信息显示方法
US10272830B2 (en) 2017-03-10 2019-04-30 Subaru Corporation Image display device
US10300846B2 (en) 2017-03-10 2019-05-28 Subaru Corporation Image display apparatus
US10311718B2 (en) 2017-03-10 2019-06-04 Subaru Corporation Image display device for displaying images on a road surface
US10308172B2 (en) 2017-03-10 2019-06-04 Subaru Corporation Image display device
US10325488B2 (en) 2017-03-10 2019-06-18 Subaru Corporation Image display device
US10358083B2 (en) 2017-03-10 2019-07-23 Subaru Corporation Image display device
US10558416B2 (en) 2017-03-10 2020-02-11 Subaru Corporation Image display device

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5262669B2 (ja) * 2008-01-31 2013-08-14 株式会社安川電機 移動体
JP5056445B2 (ja) * 2008-02-04 2012-10-24 株式会社豊田中央研究所 車両用照明装置
JP5729641B2 (ja) * 2011-04-01 2015-06-03 いすゞ自動車株式会社 車両用警報装置
DE102011112577A1 (de) * 2011-09-08 2013-03-14 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung für ein Assistenzsystem in einem Fahrzeg zur Durchführung eines autonomen oder teilautonomen Fahrmanövers
TWI494899B (zh) 2012-12-19 2015-08-01 Ind Tech Res Inst 影像內週期性雜訊修補方法
EP3007151A4 (en) * 2013-05-31 2017-02-22 Hitachi Automotive Systems, Ltd. Vehicular risk alert control device
JP6108140B2 (ja) * 2014-11-07 2017-04-05 大日本印刷株式会社 光学装置
JP6636244B2 (ja) * 2014-12-04 2020-01-29 株式会社小糸製作所 路面描画用灯具ユニット
JP6653521B2 (ja) * 2015-01-23 2020-02-26 株式会社小糸製作所 路面描画用灯具ユニット
JP5983798B2 (ja) * 2015-02-12 2016-09-06 株式会社デンソー 対歩行者報知装置
JP6556468B2 (ja) * 2015-03-06 2019-08-07 Ihi運搬機械株式会社 駐車装置
CN112092724A (zh) * 2015-04-10 2020-12-18 麦克赛尔株式会社 车辆
JP2017007502A (ja) * 2015-06-22 2017-01-12 株式会社デンソー 警報装置
JP6551075B2 (ja) * 2015-09-03 2019-07-31 オムロン株式会社 違反抑止装置およびこれを備えた違反抑止システム
FR3041110B1 (fr) * 2015-09-14 2018-03-16 Valeo Vision Procede de projection pour vehicule automobile d'une image sur une surface de projection
DE102015225411A1 (de) * 2015-12-16 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Kommunikation zwischen Verkehrsteilnehmern
DE102015225409A1 (de) 2015-12-16 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Steuereinheit und Verfahren zur Abgrenzung von Bewegungsbereichen
JP6418182B2 (ja) * 2016-03-07 2018-11-07 トヨタ自動車株式会社 車両用照明装置
JP6583068B2 (ja) * 2016-03-11 2019-10-02 トヨタ自動車株式会社 車両用照明装置
JP2017165178A (ja) * 2016-03-15 2017-09-21 トヨタ自動車株式会社 車両用照明装置
KR101816068B1 (ko) * 2016-04-19 2018-01-08 한국과학기술연구원 차량 주변 감지 시스템 및 이를 이용한 차량 주변 감지 방법
JP6595445B2 (ja) * 2016-12-14 2019-10-23 トヨタ自動車株式会社 車両用照明装置
WO2018128946A1 (en) * 2017-01-06 2018-07-12 Pcms Holdings, Inc. Method for providing vulnerable road user warnings in a blind spot of a parked vehicle
DE112017007471T5 (de) 2017-04-24 2020-01-02 Mitsubishi Electric Corporation Mitteilungssteuervorrichtung und Mitteilungssteuerverfahren
US10885788B2 (en) 2017-04-24 2021-01-05 Mitsubishi Electric Corporation Notification control apparatus and method for controlling notification
CN108995581B (zh) * 2017-06-06 2021-07-13 大众汽车(中国)投资有限公司 用于车辆的警示方法和警示装置
BR112020004145A2 (pt) * 2017-09-01 2020-09-29 Koito Manufacturing Co., Ltd. sistema de iluminação de veículo, sistema de veículo, unidade de lâmpada e lâmpada de veículo
US11318879B2 (en) 2017-09-15 2022-05-03 Mitsubishi Electric Corporation Irradiation apparatus and irradiation method
DE102017220329A1 (de) * 2017-11-15 2019-05-16 Robert Bosch Gmbh Verfahren für ein Lotsenfahrzeug
KR20190100614A (ko) * 2018-02-21 2019-08-29 현대자동차주식회사 차량 및 그 제어방법
JP6591096B1 (ja) * 2018-07-04 2019-10-16 三菱電機株式会社 情報表示装置及び情報表示方法
KR102619558B1 (ko) * 2018-11-16 2024-01-02 현대모비스 주식회사 자율주행차의 제어시스템 및 그 제어방법
WO2020115517A1 (ja) * 2018-12-03 2020-06-11 日産自動車株式会社 駐車時の車両走行制御方法及び車両走行制御装置
JP7082940B2 (ja) * 2018-12-17 2022-06-09 本田技研工業株式会社 走行軌道決定処理及び自動運転装置
JP2020149598A (ja) * 2019-03-15 2020-09-17 豊田合成株式会社 車載警告装置
JP7207142B2 (ja) 2019-05-08 2023-01-18 トヨタ自動車株式会社 車両、運行管理装置、運行管理方法、およびプログラム
CN111439195A (zh) * 2019-07-15 2020-07-24 长城汽车股份有限公司 利用车灯投射图案的方法、车灯***及车辆
US11900813B2 (en) 2019-09-04 2024-02-13 Lg Electronics, Inc. Method for providing safety service in wireless communication system and vehicle for same
CN112019825A (zh) * 2020-08-13 2020-12-01 广景视睿科技(深圳)有限公司 一种投影方法和投影设备
JP7268669B2 (ja) * 2020-11-30 2023-05-08 トヨタ自動車株式会社 注意喚起システム
JP7468401B2 (ja) 2021-02-22 2024-04-16 トヨタ自動車株式会社 情報処理装置、情報処理システム、情報処理方法、及び表示装置
JP2023021484A (ja) * 2021-08-02 2023-02-14 株式会社小糸製作所 車両の表示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004306894A (ja) * 2003-04-10 2004-11-04 Suzuki Motor Corp 車両用灯火装置
JP2004331021A (ja) * 2003-05-12 2004-11-25 Nissan Motor Co Ltd 夜間障害物報知装置
JP2005161977A (ja) * 2003-12-02 2005-06-23 Honda Motor Co Ltd 車両用走行支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004306894A (ja) * 2003-04-10 2004-11-04 Suzuki Motor Corp 車両用灯火装置
JP2004331021A (ja) * 2003-05-12 2004-11-25 Nissan Motor Co Ltd 夜間障害物報知装置
JP2005161977A (ja) * 2003-12-02 2005-06-23 Honda Motor Co Ltd 車両用走行支援装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108604412A (zh) * 2016-02-12 2018-09-28 三菱电机株式会社 信息显示装置及信息显示方法
US10272830B2 (en) 2017-03-10 2019-04-30 Subaru Corporation Image display device
US10300846B2 (en) 2017-03-10 2019-05-28 Subaru Corporation Image display apparatus
US10311718B2 (en) 2017-03-10 2019-06-04 Subaru Corporation Image display device for displaying images on a road surface
US10308172B2 (en) 2017-03-10 2019-06-04 Subaru Corporation Image display device
US10325488B2 (en) 2017-03-10 2019-06-18 Subaru Corporation Image display device
US10358083B2 (en) 2017-03-10 2019-07-23 Subaru Corporation Image display device
US10558416B2 (en) 2017-03-10 2020-02-11 Subaru Corporation Image display device

Also Published As

Publication number Publication date
JP2008007079A (ja) 2008-01-17

Similar Documents

Publication Publication Date Title
JP4720650B2 (ja) 路面投影装置及び路面投影方法
JP2008009941A (ja) 車両用報知装置及び車両用報知方法
JP6089957B2 (ja) 灯火制御装置
CN111699680B (zh) 行车记录仪、显示控制方法以及存储介质
JP5217950B2 (ja) 運転支援装置
JP2000318513A (ja) 車両用障害物検出装置
JP4223320B2 (ja) 車両用運転支援装置
JP2008193339A (ja) 後方監視装置
JP2009113621A (ja) 乗員画像撮像装置、運転支援装置
EP1912157A1 (en) Digital image processing system for automatically representing surrounding scenes to the driver of a vehicle for driving assistance, and corresponding operating method
JP2005309797A (ja) 歩行者警報装置
JP5082923B2 (ja) 車両障害物検出装置
CN111527533A (zh) 图像处理装置、拍摄装置、移动体以及图像处理方法
JP2010095202A (ja) ルームミラー位置後視カメラ画像表示装置
JP4735090B2 (ja) 赤外画像撮像装置
JP2016038226A (ja) 車両の距離計測装置
KR101601500B1 (ko) 스마트폰을 이용한 차량 운전 지원 시스템 및 방법
JP2006311216A (ja) 車両周辺監視システム
KR20190064310A (ko) 차량의 후측방 감지 장치 및 방법
KR101169337B1 (ko) 차량 제어 장치 및 그 제어 방법
JP2004221871A (ja) 車輌周辺監視装置
KR101533285B1 (ko) 어두운 환경에서 위험을 감지하기 위한 적외선 영상을 촬영하여 표시하는 차량 안전 시스템 및 적외선 영상 촬영방법
JP2004328240A (ja) 周辺画像表示装置
JP3850021B2 (ja) 赤外線照明付撮影装置
KR102010407B1 (ko) 스마트 리어뷰 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100903

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100903

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150415

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees