JP2001084497A - 位置検出装置 - Google Patents
位置検出装置Info
- Publication number
- JP2001084497A JP2001084497A JP2000204696A JP2000204696A JP2001084497A JP 2001084497 A JP2001084497 A JP 2001084497A JP 2000204696 A JP2000204696 A JP 2000204696A JP 2000204696 A JP2000204696 A JP 2000204696A JP 2001084497 A JP2001084497 A JP 2001084497A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pitching
- vehicle
- objects
- displacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 車両のピッチングの影響を除く補正を簡単な
構成で実現し、正確な位置検出を行うことができる車両
用の位置検出装置を提供する。 【解決手段】 カメラ１Ｒによって得られる画像から複
数の対象物を抽出し、該複数の対象物のｙ方向（高さ方
向）の位置の変位量の平均値を、ピッチングフローΔｙ
ｐとして算出する（Ｓ４１）。ピッチングフローΔｙｐ
が所定閾値ΔｙＴＨより大きいときは、そのピッチング
フローΔｙｐにより各対象物のｙ座標を補正する（Ｓ４
２，Ｓ４３）。
構成で実現し、正確な位置検出を行うことができる車両
用の位置検出装置を提供する。 【解決手段】 カメラ１Ｒによって得られる画像から複
数の対象物を抽出し、該複数の対象物のｙ方向（高さ方
向）の位置の変位量の平均値を、ピッチングフローΔｙ
ｐとして算出する（Ｓ４１）。ピッチングフローΔｙｐ
が所定閾値ΔｙＴＨより大きいときは、そのピッチング
フローΔｙｐにより各対象物のｙ座標を補正する（Ｓ４
２，Ｓ４３）。
Description
【０００１】
【発明の属する技術分野】本発明は、車両に搭載された
撮像装置により得られる画像に基づいて、対象物の位置
を検出する位置検出装置に関する。
撮像装置により得られる画像に基づいて、対象物の位置
を検出する位置検出装置に関する。
【０００２】
【従来の技術】車両に撮像装置を搭載し、その撮像装置
により得られる画像から対象物の位置を検出し、その対
象物と当該車両との衝突の可能性を判定する周辺監視装
置が従来より提案されている。このような装置では、撮
像装置を移動する車両に搭載しているため、車両のピッ
チングによって車両に固定された撮像装置によって得ら
れる画像にオプティカルフロー（以下「ピッチングフロ
ー」という）が発生する。このピッチングフローは対象
物の移動（あるいは当該車両の走行）によって発生する
ものではないため、撮像装置により得られる画像から対
象物の位置検出を行う場合には、ピッチングフローの影
響を除く処理を行わないと、検出位置のずれが大きくな
るという問題がある。
により得られる画像から対象物の位置を検出し、その対
象物と当該車両との衝突の可能性を判定する周辺監視装
置が従来より提案されている。このような装置では、撮
像装置を移動する車両に搭載しているため、車両のピッ
チングによって車両に固定された撮像装置によって得ら
れる画像にオプティカルフロー（以下「ピッチングフロ
ー」という）が発生する。このピッチングフローは対象
物の移動（あるいは当該車両の走行）によって発生する
ものではないため、撮像装置により得られる画像から対
象物の位置検出を行う場合には、ピッチングフローの影
響を除く処理を行わないと、検出位置のずれが大きくな
るという問題がある。
【０００３】
【発明が解決しようとする課題】そのため車両の路面か
らの高さ（車高）を検出する車高センサを設け、このセ
ンサにより検出される車高に基づいて検出位置を補正す
ることが考えられるが、その場合には車高センサが必要
となって装置の構造が複雑化する。
らの高さ（車高）を検出する車高センサを設け、このセ
ンサにより検出される車高に基づいて検出位置を補正す
ることが考えられるが、その場合には車高センサが必要
となって装置の構造が複雑化する。
【０００４】本発明はこの点に着目してなされたもので
あり、車両のピッチングの影響を除く補正を簡単な構成
で実現し、正確な位置検出を行うことができる車両用の
位置検出装置を提供することを目的とする。
あり、車両のピッチングの影響を除く補正を簡単な構成
で実現し、正確な位置検出を行うことができる車両用の
位置検出装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】上記目的を達成するため
請求項１に記載の発明は、車両に搭載された撮像手段に
より得られる画像に基づいて、対象物の実空間座標系に
おける位置を検出する位置検出装置において、前記撮像
手段により得られた画像から複数の対象物を抽出し、該
複数の対象物の高さ方向の位置変位量に応じてピッチン
グ補正量を算出する補正量算出手段と、前記複数の対象
物の画像上の位置を前記ピッチング補正量に応じて補正
する補正手段とを備えること特徴とする。
請求項１に記載の発明は、車両に搭載された撮像手段に
より得られる画像に基づいて、対象物の実空間座標系に
おける位置を検出する位置検出装置において、前記撮像
手段により得られた画像から複数の対象物を抽出し、該
複数の対象物の高さ方向の位置変位量に応じてピッチン
グ補正量を算出する補正量算出手段と、前記複数の対象
物の画像上の位置を前記ピッチング補正量に応じて補正
する補正手段とを備えること特徴とする。
【０００６】この構成によれば、撮像手段により得られ
た画像から複数の対象物が抽出され、該複数の対象物の
高さ方向の位置変位量に応じてピッチング補正量が算出
され、前記複数の対象物の画像上の位置が前記ピッチン
グ補正量に応じて補正されるので、当該車両のピッチン
グによって画像内の高さ方向の位置変位が発生した場合
でも、車高センサなどを使用することなく簡単な構成で
その影響を除き、正確な位置検出を行うことができる。
た画像から複数の対象物が抽出され、該複数の対象物の
高さ方向の位置変位量に応じてピッチング補正量が算出
され、前記複数の対象物の画像上の位置が前記ピッチン
グ補正量に応じて補正されるので、当該車両のピッチン
グによって画像内の高さ方向の位置変位が発生した場合
でも、車高センサなどを使用することなく簡単な構成で
その影響を除き、正確な位置検出を行うことができる。
【０００７】前記補正量算出手段は、前記複数の対象物
について前記位置変位量の平均値を算出し、該平均値を
前記ピッチング補正量とすることが望ましく、また前記
補正手段は、前記平均値が所定閾値より大きいときに前
記ピッチング補正量による補正を実行することが望まし
い。複数の対象物についての前記位置変位量の平均値が
大きいときは、ピッチング以外の要因（当該車両の走行
または対象物の実空間上の移動）による画像上の位置変
位量は、ピッチングによる画像上の位置変位量と比べて
微少であると考えられるので、この構成により簡単な構
成で有効なピッチング補正量を得ることができる。
について前記位置変位量の平均値を算出し、該平均値を
前記ピッチング補正量とすることが望ましく、また前記
補正手段は、前記平均値が所定閾値より大きいときに前
記ピッチング補正量による補正を実行することが望まし
い。複数の対象物についての前記位置変位量の平均値が
大きいときは、ピッチング以外の要因（当該車両の走行
または対象物の実空間上の移動）による画像上の位置変
位量は、ピッチングによる画像上の位置変位量と比べて
微少であると考えられるので、この構成により簡単な構
成で有効なピッチング補正量を得ることができる。
【０００８】
【発明の実施の形態】以下本明の実施の形態を図面を参
照して説明する。図１は本発明の一実施形態にかかる位
置検出装置を含む、車両の周辺監視装置の構成を示す図
であり、この装置は、遠赤外線を検出可能な２つの赤外
線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出す
るヨーレートセンサ５と、当該車両の走行速度（車速）
ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量
を検出するためのブレーキセンサ７と、これらのカメラ
１Ｒ，１Ｌによって得られる画像データに基づいて車両
前方の動物等の対象物を検出し、衝突の可能性が高い場
合に警報を発する画像処理ユニット２と、音声で警報を
発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによ
って得られる画像を表示するとともに、衝突の可能性が
高い対象物を運転者に認識させるためのヘッドアップデ
ィスプレイ（以下「ＨＵＤ」という）４とを備えてい
る。
照して説明する。図１は本発明の一実施形態にかかる位
置検出装置を含む、車両の周辺監視装置の構成を示す図
であり、この装置は、遠赤外線を検出可能な２つの赤外
線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出す
るヨーレートセンサ５と、当該車両の走行速度（車速）
ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量
を検出するためのブレーキセンサ７と、これらのカメラ
１Ｒ，１Ｌによって得られる画像データに基づいて車両
前方の動物等の対象物を検出し、衝突の可能性が高い場
合に警報を発する画像処理ユニット２と、音声で警報を
発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによ
って得られる画像を表示するとともに、衝突の可能性が
高い対象物を運転者に認識させるためのヘッドアップデ
ィスプレイ（以下「ＨＵＤ」という）４とを備えてい
る。
【０００９】カメラ１Ｒ、１Ｌは、図２に示すように車
両１０の前部に、車両１０の横方向の中心軸に対してほ
ぼ対象な位置に配置されており、２つのカメラ１Ｒ、１
Ｌの光軸が互いに平行となり、両者の路面からの高さが
等しくなるように固定されている。赤外線カメラ１Ｒ、
１Ｌは、対象物の温度が高いほど、その出力信号レベル
が高くなる（輝度が増加する）特性を有している。
両１０の前部に、車両１０の横方向の中心軸に対してほ
ぼ対象な位置に配置されており、２つのカメラ１Ｒ、１
Ｌの光軸が互いに平行となり、両者の路面からの高さが
等しくなるように固定されている。赤外線カメラ１Ｒ、
１Ｌは、対象物の温度が高いほど、その出力信号レベル
が高くなる（輝度が増加する）特性を有している。
【００１０】画像処理ユニット２は、入力アナログ信号
をディジタル信号に変換するＡ／Ｄ変換回路、ディジタ
ル化した画像信号を記憶する画像メモリ、各種演算処理
を行うＣＰＵ（Central Processing Unit）、ＣＰＵが
演算途中のデータを記憶するために使用するＲＡＭ（Ra
ndom Access Memory）、ＣＰＵが実行するプログラムや
テーブル、マップなどを記憶するＲＯＭ（Read Only Me
mory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号な
どを出力する出力回路などを備えており、カメラ１Ｒ，
１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に
変換されて、ＣＰＵに入力されるように構成されてい
る。ＨＵＤ４は、図２に示すように、車両１０のフロン
トウインドウの、運転者の前方位置に画面４ａが表示さ
れるように設けられている。
をディジタル信号に変換するＡ／Ｄ変換回路、ディジタ
ル化した画像信号を記憶する画像メモリ、各種演算処理
を行うＣＰＵ（Central Processing Unit）、ＣＰＵが
演算途中のデータを記憶するために使用するＲＡＭ（Ra
ndom Access Memory）、ＣＰＵが実行するプログラムや
テーブル、マップなどを記憶するＲＯＭ（Read Only Me
mory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号な
どを出力する出力回路などを備えており、カメラ１Ｒ，
１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に
変換されて、ＣＰＵに入力されるように構成されてい
る。ＨＵＤ４は、図２に示すように、車両１０のフロン
トウインドウの、運転者の前方位置に画面４ａが表示さ
れるように設けられている。
【００１１】図３は画像処理ユニット２における対象物
の位置検出処理の手順を示すフローチャートであり、先
ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メ
モリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。
画像メモリに格納される画像データは、輝度情報を含ん
だグレースケール画像のデータである。図５（ａ）
（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られ
るグレースケール画像（カメラ１Ｒにより右画像が得ら
れ、カメラ１Ｌにより左画像が得られる）を説明するた
めの図であり、ハッチングを付した領域は、中間階調
（グレー）の領域であり、太い実線で囲んだ領域が、輝
度レベルが高く（高温で）、画面上に白色として表示さ
れる対象物の領域（以下「高輝度領域」という）であ
る。右画像と左画像では、同一の対象物の画面上の水平
位置がずれて表示されるので、このずれ（視差）により
その対象物までの距離を算出することができる。
の位置検出処理の手順を示すフローチャートであり、先
ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メ
モリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。
画像メモリに格納される画像データは、輝度情報を含ん
だグレースケール画像のデータである。図５（ａ）
（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られ
るグレースケール画像（カメラ１Ｒにより右画像が得ら
れ、カメラ１Ｌにより左画像が得られる）を説明するた
めの図であり、ハッチングを付した領域は、中間階調
（グレー）の領域であり、太い実線で囲んだ領域が、輝
度レベルが高く（高温で）、画面上に白色として表示さ
れる対象物の領域（以下「高輝度領域」という）であ
る。右画像と左画像では、同一の対象物の画面上の水平
位置がずれて表示されるので、このずれ（視差）により
その対象物までの距離を算出することができる。
【００１２】図３のステップＳ１４では、右画像を基準
画像とし、その画像信号の２値化、すなわち、実験的に
決定される輝度閾値ＩＴＨより明るい領域を「１」
（白）とし、暗い領域を「０」（黒）とする処理を行
う。図６に図５（ａ）の画像を２値化した画像を示す。
この図は、ハッチングを付した領域が黒であり、太い実
線で囲まれた高輝度領域が白であることを示している。
画像とし、その画像信号の２値化、すなわち、実験的に
決定される輝度閾値ＩＴＨより明るい領域を「１」
（白）とし、暗い領域を「０」（黒）とする処理を行
う。図６に図５（ａ）の画像を２値化した画像を示す。
この図は、ハッチングを付した領域が黒であり、太い実
線で囲まれた高輝度領域が白であることを示している。
【００１３】続くステップＳ１５では、２値化した画像
データをランレングスデータに変換する処理を行う。図
７（ａ）はこれを説明するための図であり、この図では
２値化により白となった領域を画素レベルでラインＬ１
〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれ
もｙ方向には１画素の幅を有しており、実際にはｙ方向
には隙間なく並んでいるが、説明のために離間して示し
ている。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ
２画素、２画素、３画素、８画素、７画素、８画素、８
画素、８画素の長さを有している。ランレングスデータ
は、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの
左端の点）の座標と、開始点から終了点（各ラインの右
端の点）までの長さ（画素数）とで示したものである。
例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）
及び（ｘ５，ｙ５）の３画素からなるので、ランレング
スデータとしては、（ｘ３，ｙ５，３）となる。
データをランレングスデータに変換する処理を行う。図
７（ａ）はこれを説明するための図であり、この図では
２値化により白となった領域を画素レベルでラインＬ１
〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれ
もｙ方向には１画素の幅を有しており、実際にはｙ方向
には隙間なく並んでいるが、説明のために離間して示し
ている。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ
２画素、２画素、３画素、８画素、７画素、８画素、８
画素、８画素の長さを有している。ランレングスデータ
は、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの
左端の点）の座標と、開始点から終了点（各ラインの右
端の点）までの長さ（画素数）とで示したものである。
例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）
及び（ｘ５，ｙ５）の３画素からなるので、ランレング
スデータとしては、（ｘ３，ｙ５，３）となる。
【００１４】ステップＳ１６、Ｓ１７では、図７（ｂ）
に示すように対象物のラベリングをすることにより、対
象物を抽出する処理を行う。すなわち、ランレングスデ
ータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部
分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、
ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレン
グスデータに対象物ラベル１，２を付加する。この処理
により、例えば図６に示す高輝度領域が、それぞれ対象
物１から４として把握されることになる。
に示すように対象物のラベリングをすることにより、対
象物を抽出する処理を行う。すなわち、ランレングスデ
ータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部
分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、
ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレン
グスデータに対象物ラベル１，２を付加する。この処理
により、例えば図６に示す高輝度領域が、それぞれ対象
物１から４として把握されることになる。
【００１５】ステップＳ１８では図７（ｃ）に示すよう
に、抽出した対象物像の面積重心Ｇ、面積Ｓ及び破線で
示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積
Ｓは、ランレングスデータの長さを同一対象物について
積算することにより算出し、面積重心Ｇの座標は、面積
Ｓをｙ方向に沿って２等分する線のｘ座標及びｘ方向に
沿って２等分する線のｙ座標として算出し、縦横比ＡＰ
ＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄ
ｘとして算出する。なお、重心Ｇの位置は、外接四角形
の重心位置で代用してもよい。
に、抽出した対象物像の面積重心Ｇ、面積Ｓ及び破線で
示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積
Ｓは、ランレングスデータの長さを同一対象物について
積算することにより算出し、面積重心Ｇの座標は、面積
Ｓをｙ方向に沿って２等分する線のｘ座標及びｘ方向に
沿って２等分する線のｙ座標として算出し、縦横比ＡＰ
ＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄ
ｘとして算出する。なお、重心Ｇの位置は、外接四角形
の重心位置で代用してもよい。
【００１６】ステップＳ１９では、対象物の時刻間追
跡、すなわちサンプリング周期毎に同一対象物の認識を
行う。アナログ量としての時刻ｔをサンプリング周期で
離散化した時刻をｋとし、図８（ａ）に示すように時刻
ｋで対象物１，２を抽出した場合において、時刻（ｋ＋
１）で抽出した対象物３，４と、対象物１，２との同一
性判定を行う。具体的には、以下の同一性判定条件１）
〜３）を満たすときに、対象物１、２と対象物３、４と
は同一であると判定し、対象物３、４をそれぞれ１，２
というラベルに変更することにより、時刻間追跡が行わ
れる。
跡、すなわちサンプリング周期毎に同一対象物の認識を
行う。アナログ量としての時刻ｔをサンプリング周期で
離散化した時刻をｋとし、図８（ａ）に示すように時刻
ｋで対象物１，２を抽出した場合において、時刻（ｋ＋
１）で抽出した対象物３，４と、対象物１，２との同一
性判定を行う。具体的には、以下の同一性判定条件１）
〜３）を満たすときに、対象物１、２と対象物３、４と
は同一であると判定し、対象物３、４をそれぞれ１，２
というラベルに変更することにより、時刻間追跡が行わ
れる。
【００１７】１）時刻ｋにおける対象物ｉ（＝１，２）
の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），
ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ
（＝３，４）の画像上での重心位置座標を、（ｘｊ（ｋ
＋１），ｙｊ（ｋ＋１））としたとき、 ｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜ΔｘＭ ｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜ΔｙＭ であること。ただし、ΔｘＭ、ΔｙＭは、それぞれｘ方
向及びｙ方向の画像上の変位量の許容値である。なお、
ｙ方向の許容値ΔｙＭは、車両１０のピッチングによる
画像上の変位量も考慮して設定されている。
の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），
ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ
（＝３，４）の画像上での重心位置座標を、（ｘｊ（ｋ
＋１），ｙｊ（ｋ＋１））としたとき、 ｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜ΔｘＭ ｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜ΔｙＭ であること。ただし、ΔｘＭ、ΔｙＭは、それぞれｘ方
向及びｙ方向の画像上の変位量の許容値である。なお、
ｙ方向の許容値ΔｙＭは、車両１０のピッチングによる
画像上の変位量も考慮して設定されている。
【００１８】２）時刻ｋにおける対象物ｉ（＝１，２）
の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）に
おける対象物ｊ（＝３，４）の画像上での面積をＳｊ
（ｋ＋１）としたとき、 Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ であること。ただし、ΔＳは面積変化の許容値である。
の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）に
おける対象物ｊ（＝３，４）の画像上での面積をＳｊ
（ｋ＋１）としたとき、 Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ であること。ただし、ΔＳは面積変化の許容値である。
【００１９】３）時刻ｋにおける対象物ｉ（＝１，２）
の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時
刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角
形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、 ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１
±ΔＡＳＰＥＣＴ であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許
容値である。
の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時
刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角
形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、 ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１
±ΔＡＳＰＥＣＴ であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許
容値である。
【００２０】図８（ａ）と（ｂ）とを対比すると、各対
象物は同図（ｂ）の方が画像上での大きさが大きくなっ
ているが、対象物１と３とが上記同一性判定条件を満た
し、対象物２と４とが上記同一性判定条件を満たすの
で、対象物３、４はそれぞれ対象物１、２と認識され
る。このようにして認識された各対象物の（重心の）位
置座標は、時系列位置データとしてメモリに格納され、
後の演算処理に使用される。図３のステップＳ２０で
は、図４に示すピッチング補正処理、すなわち車両１０
のピッチングにより画像上のオプティカルフローが発生
した場合に対象物の画像上の位置を補正する処理を実行
する。
象物は同図（ｂ）の方が画像上での大きさが大きくなっ
ているが、対象物１と３とが上記同一性判定条件を満た
し、対象物２と４とが上記同一性判定条件を満たすの
で、対象物３、４はそれぞれ対象物１、２と認識され
る。このようにして認識された各対象物の（重心の）位
置座標は、時系列位置データとしてメモリに格納され、
後の演算処理に使用される。図３のステップＳ２０で
は、図４に示すピッチング補正処理、すなわち車両１０
のピッチングにより画像上のオプティカルフローが発生
した場合に対象物の画像上の位置を補正する処理を実行
する。
【００２１】図９は、抽出されている対象物数Ｎ＝３の
場合を例にとって、各対象物の画像上の変位ベクトルＶ
Ｍ１〜ＶＭ３，ピッチングにより発生したオプティカル
フローであるピッチングベクトルＶｐ及びピッチングが
なかったとした場合の各対象物の画像上の変位ベクトル
ＶＭ１ｐ〜ＶＭ３ｐの関係を示す図である。この図でＯ
ＢＪＯＬＤｉ及びＯＢＪＮＯＷｉは、それぞれ対象物ｉ
（＝１，２，３）の前回位置（１サンプル周期前の位
置）及び今回位置を示す。
場合を例にとって、各対象物の画像上の変位ベクトルＶ
Ｍ１〜ＶＭ３，ピッチングにより発生したオプティカル
フローであるピッチングベクトルＶｐ及びピッチングが
なかったとした場合の各対象物の画像上の変位ベクトル
ＶＭ１ｐ〜ＶＭ３ｐの関係を示す図である。この図でＯ
ＢＪＯＬＤｉ及びＯＢＪＮＯＷｉは、それぞれ対象物ｉ
（＝１，２，３）の前回位置（１サンプル周期前の位
置）及び今回位置を示す。
【００２２】図４のステップＳ４１では、下記式（１）
により、ピッチングにより発生する画像上のｙ方向変位
量（以下「ピッチングフロー」という）Δｙｐを算出す
る。
により、ピッチングにより発生する画像上のｙ方向変位
量（以下「ピッチングフロー」という）Δｙｐを算出す
る。
【数１】 ここでｙｉＮＯＷ及びｙｉＯＬＤは、それぞれ今回の対
象物ｉ（ｉ＝１〜Ｎ）の重心のｙ座標及び前回（１サン
プル周期前）の対象物ｉの重心のｙ座標であり、Ｎは、
抽出されている対象物の数である。式（１）のピッチン
グフローΔｙｐは、下記式（２）で示される評価関数Ｅ
を最小とするｙ座標変位量Δｙとして算出されたもので
あり、Ｎ個の対象物の画像上での単位時間当たり（本実
施形態では１サンプル周期当たり）のｙ方向変位量の平
均値に相当する。自車両１０の走行または対象物の移動
に起因する画像上のｙ方向変位量（ピッチングがない場
合の対象物のｙ方向の変位量）は、ピッチングにより発
生する変位量に比べて微少であること、及びピッチング
により発生するオプティカルフロー（ピッチングベクト
ルＶｐ）は、画像上の位置に依存せず、すべての対象物
について一律に近似できることから、本実施形態では、
ピッチングフローΔｙｐを、式（２）の評価関数Ｅを最
小とするΔｙとして定義している。
象物ｉ（ｉ＝１〜Ｎ）の重心のｙ座標及び前回（１サン
プル周期前）の対象物ｉの重心のｙ座標であり、Ｎは、
抽出されている対象物の数である。式（１）のピッチン
グフローΔｙｐは、下記式（２）で示される評価関数Ｅ
を最小とするｙ座標変位量Δｙとして算出されたもので
あり、Ｎ個の対象物の画像上での単位時間当たり（本実
施形態では１サンプル周期当たり）のｙ方向変位量の平
均値に相当する。自車両１０の走行または対象物の移動
に起因する画像上のｙ方向変位量（ピッチングがない場
合の対象物のｙ方向の変位量）は、ピッチングにより発
生する変位量に比べて微少であること、及びピッチング
により発生するオプティカルフロー（ピッチングベクト
ルＶｐ）は、画像上の位置に依存せず、すべての対象物
について一律に近似できることから、本実施形態では、
ピッチングフローΔｙｐを、式（２）の評価関数Ｅを最
小とするΔｙとして定義している。
【数２】
【００２３】次いでピッチングフローΔｙｐの絶対値
が、所定閾値ΔｙＴＨより大きいか否かを判別し（ステ
ップＳ４２）、｜Δｙｐ｜＞ΔｙＴＨであるときは、車
両１０のピッチングが大きいと判定して、対象物ｉ（ｉ
＝１〜Ｎ）のｙ座標ｙｉＮＯＷにピッチングフローΔｙ
ｐを加算することにより、ピッチング補正を行う（ステ
ップＳ４３）。なお、所定閾値ΔｙＴＨは実験により適
切な値に設定する。
が、所定閾値ΔｙＴＨより大きいか否かを判別し（ステ
ップＳ４２）、｜Δｙｐ｜＞ΔｙＴＨであるときは、車
両１０のピッチングが大きいと判定して、対象物ｉ（ｉ
＝１〜Ｎ）のｙ座標ｙｉＮＯＷにピッチングフローΔｙ
ｐを加算することにより、ピッチング補正を行う（ステ
ップＳ４３）。なお、所定閾値ΔｙＴＨは実験により適
切な値に設定する。
【００２４】上記したように自車両１０または対象物の
移動に起因する画像上のｙ方向の変位（ピッチングがな
い場合の対象物のｙ方向の変位）は、ピッチングにより
発生する変位に比べて微少であるので、式（１）により
算出されたピッチングフローΔｙｐの絶対値が所定閾値
ΔｙＴＨを越えるような場合は、Δｙｐをすべてピッチ
ングによって発生した変位量とみなして、ｙ座標を補正
するようにしたものである。図９のＯＢＪＮＯＷｉｐ
（ｉ＝１，２，３）で示す位置が、各対象物の補正後の
位置に相当する。
移動に起因する画像上のｙ方向の変位（ピッチングがな
い場合の対象物のｙ方向の変位）は、ピッチングにより
発生する変位に比べて微少であるので、式（１）により
算出されたピッチングフローΔｙｐの絶対値が所定閾値
ΔｙＴＨを越えるような場合は、Δｙｐをすべてピッチ
ングによって発生した変位量とみなして、ｙ座標を補正
するようにしたものである。図９のＯＢＪＮＯＷｉｐ
（ｉ＝１，２，３）で示す位置が、各対象物の補正後の
位置に相当する。
【００２５】一方ステップＳ４２で｜Δｙｐ｜≦ΔｙＴ
Ｈであるときは、ピッチングの影響は無視できると判定
して直ちにステップＳ４４に進み、ｙ座標の補正は行わ
ない。ステップＳ４４では、各対象物のｙ座標の今回値
ｙｉＮＯＷを前回値ｙｉＯＬＤとし、本処理を終了す
る。これにより、１サンプル周期後の処理では、今回の
処理における今回値が前回値として用いられる。
Ｈであるときは、ピッチングの影響は無視できると判定
して直ちにステップＳ４４に進み、ｙ座標の補正は行わ
ない。ステップＳ４４では、各対象物のｙ座標の今回値
ｙｉＮＯＷを前回値ｙｉＯＬＤとし、本処理を終了す
る。これにより、１サンプル周期後の処理では、今回の
処理における今回値が前回値として用いられる。
【００２６】図４の処理によれば、カメラ１Ｒにより得
られる画像自体に基づいて自車両１０のピッチングによ
るｙ方向、すなわち高さ方向の変位量Δｙｐが算出さ
れ、これにより対象物のｙ座標が補正されるので、ピッ
チング補正を簡単な構成で実現することができ、その結
果以下に説明する実空間座標系における対象物の位置を
より正確に検出することが可能となる。なお以上説明し
た図３のステップＳ１４〜Ｓ２０の処理は、２値化した
基準画像（本実施形態では、右画像）ついて実行する。
られる画像自体に基づいて自車両１０のピッチングによ
るｙ方向、すなわち高さ方向の変位量Δｙｐが算出さ
れ、これにより対象物のｙ座標が補正されるので、ピッ
チング補正を簡単な構成で実現することができ、その結
果以下に説明する実空間座標系における対象物の位置を
より正確に検出することが可能となる。なお以上説明し
た図３のステップＳ１４〜Ｓ２０の処理は、２値化した
基準画像（本実施形態では、右画像）ついて実行する。
【００２７】図３のステップＳ３１では、図１０に示す
ように右画像に含まれる対象物像Ｒ１に対応する左画像
中の対象物像Ｒ２を求め、右画像のｘ方向の中心線ＬＣ
ＴＲと対象物像Ｒ１の重心との距離ｄＲ、及び左画像の
中心線ＬＣＴＲと対象物像Ｒ２の重心との距離ｄＬを算
出し、下記式（３）にこれらを適用して自車両１０から
その対象物までの距離ｚを算出する。ステップＳ３１
は、ステップＳ１９，Ｓ２０の処理に比べて長い時間を
要するので、ステップＳ１９，Ｓ２０より長い周期（例
えばステップＳ１１〜Ｓ２０の実行周期の３倍程度の周
期）で実行される。
ように右画像に含まれる対象物像Ｒ１に対応する左画像
中の対象物像Ｒ２を求め、右画像のｘ方向の中心線ＬＣ
ＴＲと対象物像Ｒ１の重心との距離ｄＲ、及び左画像の
中心線ＬＣＴＲと対象物像Ｒ２の重心との距離ｄＬを算
出し、下記式（３）にこれらを適用して自車両１０から
その対象物までの距離ｚを算出する。ステップＳ３１
は、ステップＳ１９，Ｓ２０の処理に比べて長い時間を
要するので、ステップＳ１９，Ｓ２０より長い周期（例
えばステップＳ１１〜Ｓ２０の実行周期の３倍程度の周
期）で実行される。
【数３】
【００２８】ここで、Ｂは基線長、すなわち図１１に示
すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カ
メラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ
方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１
２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１
Ｌ内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量
である。またｆは、焦点距離Ｆと画素間隔ｐの比であ
る。
すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カ
メラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ
方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１
２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１
Ｌ内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量
である。またｆは、焦点距離Ｆと画素間隔ｐの比であ
る。
【００２９】ステップＳ２１では、画像内の座標（ｘ，
ｙ）及び式（３）により算出した距離ｚを下記式（４）
に適用し、実空間座標系における座標（Ｘ，Ｙ，Ｚ）に
変換する。ここで、実空間座標系Ｘ−Ｙ−Ｚは、図１２
（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置
の中点の位置（自車両１０に固定された位置）を原点Ｏ
として、図示のように定め、画像内の座標系は同図
（ｂ）に示すように、画像の中心を原点として水平方向
をｘ、垂直方向をｙと定めている。
ｙ）及び式（３）により算出した距離ｚを下記式（４）
に適用し、実空間座標系における座標（Ｘ，Ｙ，Ｚ）に
変換する。ここで、実空間座標系Ｘ−Ｙ−Ｚは、図１２
（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置
の中点の位置（自車両１０に固定された位置）を原点Ｏ
として、図示のように定め、画像内の座標系は同図
（ｂ）に示すように、画像の中心を原点として水平方向
をｘ、垂直方向をｙと定めている。
【数４】
【００３０】ここで、（ｘｃ，ｙｃ）は、右画像上の座
標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間
原点Ｏとの相対位置関係基づいて、実空間原点Ｏと画像
の中心とを一致させた仮想的な画像内の座標に変換した
ものである。またｆは、焦点距離Ｆと画素間隔ｐとの比
である。
標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間
原点Ｏとの相対位置関係基づいて、実空間原点Ｏと画像
の中心とを一致させた仮想的な画像内の座標に変換した
ものである。またｆは、焦点距離Ｆと画素間隔ｐとの比
である。
【００３１】以上のように本実施形態では、自車両１０
のピッチングに起因するｙ方向、すなわち高さ方向の位
置ずれを示すピッチングフローΔｙｐを、カメラ１Ｒに
よって得られる画像データから算出し、対象物のｙ座標
を補正するようにしたので、自車両１０のピッチングの
影響を除いて正確な位置データを得ることができる。
のピッチングに起因するｙ方向、すなわち高さ方向の位
置ずれを示すピッチングフローΔｙｐを、カメラ１Ｒに
よって得られる画像データから算出し、対象物のｙ座標
を補正するようにしたので、自車両１０のピッチングの
影響を除いて正確な位置データを得ることができる。
【００３２】画像処理ユニット２は、図３の処理により
算出された対象物の実空間上の位置情報に基づいて、そ
の対象物と自車両１０との衝突の可能性を判定し、衝突
の可能性が高いときは、スピーカ３及びＨＵＤ４を介し
て運転者への警報を発する。
算出された対象物の実空間上の位置情報に基づいて、そ
の対象物と自車両１０との衝突の可能性を判定し、衝突
の可能性が高いときは、スピーカ３及びＨＵＤ４を介し
て運転者への警報を発する。
【００３３】本実施形態では、画像処理ユニット２が位
置検出装置を構成し、より具体的には、図３のステップ
Ｓ１６〜Ｓ１９及び図４のステップＳ４１が補正量算出
手段に相当し、図４のステップＳ４２及びＳ４３が補正
手段に相当する。なお本発明は上述した実施形態に限る
ものではなく、種々の変形が可能である。例えば、上述
した実施形態では、抽出した対象物すべてのｙ座標の変
位量の平均値をピッチングフローΔｙｐとしたが、抽出
した対象物の一部（ただし少なくとも２以上の対象物と
する）のｙ座標の変位量からピッチングフローΔｙｐを
算出するようにしてもよい。
置検出装置を構成し、より具体的には、図３のステップ
Ｓ１６〜Ｓ１９及び図４のステップＳ４１が補正量算出
手段に相当し、図４のステップＳ４２及びＳ４３が補正
手段に相当する。なお本発明は上述した実施形態に限る
ものではなく、種々の変形が可能である。例えば、上述
した実施形態では、抽出した対象物すべてのｙ座標の変
位量の平均値をピッチングフローΔｙｐとしたが、抽出
した対象物の一部（ただし少なくとも２以上の対象物と
する）のｙ座標の変位量からピッチングフローΔｙｐを
算出するようにしてもよい。
【００３４】また、本実施形態では、撮像手段として赤
外線カメラを使用したが、例えば特開平９−２２６４９
０号公報に示されるように通常の可視光線のみ検出可能
なテレビカメラを使用してもよい。ただし、赤外線カメ
ラを用いることにより、動物等あるいは走行中の車両な
どの抽出処理を簡略化することができ、演算装置の演算
能力が比較的低いものでも実現できる。
外線カメラを使用したが、例えば特開平９−２２６４９
０号公報に示されるように通常の可視光線のみ検出可能
なテレビカメラを使用してもよい。ただし、赤外線カメ
ラを用いることにより、動物等あるいは走行中の車両な
どの抽出処理を簡略化することができ、演算装置の演算
能力が比較的低いものでも実現できる。
【００３５】
【発明の効果】以上詳述したように本発明によれば、撮
像手段により得られた画像から複数の対象物が抽出さ
れ、該複数の対象物の高さ方向の位置変位量に応じてピ
ッチング補正量が算出され、前記複数の対象物の画像上
の位置が前記ピッチング補正量に応じて補正されるの
で、当該車両のピッチングによって画像内の高さ方向の
位置変位が発生した場合でも、車高センサなどを使用す
ることなく簡単な構成でその影響を除き、正確な位置検
出を行うことができる。
像手段により得られた画像から複数の対象物が抽出さ
れ、該複数の対象物の高さ方向の位置変位量に応じてピ
ッチング補正量が算出され、前記複数の対象物の画像上
の位置が前記ピッチング補正量に応じて補正されるの
で、当該車両のピッチングによって画像内の高さ方向の
位置変位が発生した場合でも、車高センサなどを使用す
ることなく簡単な構成でその影響を除き、正確な位置検
出を行うことができる。
【図１】本発明の一実施形態にかかる位置検出装置を含
む、車両の周辺監視装置の構成を示す図である。
む、車両の周辺監視装置の構成を示す図である。
【図２】赤外線カメラの取り付け位置を説明するための
図である。
図である。
【図３】対象物を抽出した位置検出を行う処理の手順を
示すフローチャートである。
示すフローチャートである。
【図４】図３のピッチング補正処理のフローチャートで
ある。
ある。
【図５】赤外線カメラにより得られるグレースケール画
像を説明するために、中間階調部にハッチングを付して
示す図である。
像を説明するために、中間階調部にハッチングを付して
示す図である。
【図６】グレースケール画像を２値化した画像を説明す
るために、黒の領域をハッチングを付して示す図であ
る。
るために、黒の領域をハッチングを付して示す図であ
る。
【図７】ランレングスデータへの変換処理及びラベリン
グを説明するための図である。
グを説明するための図である。
【図８】対象物の時刻間追跡を説明するための図であ
る。
る。
【図９】ピッチング補正を説明するための図である。
【図１０】視差の算出方法を説明するための図である。
【図１１】視差から距離を算出する手法を説明するため
の図である。
の図である。
【図１２】本実施形態における座標系を示す図である。
１Ｒ、１Ｌ 赤外線カメラ（撮像手段） ２ 画像処理ユニット（補正量算出手段、補正手段）
───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 正人 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 (72)発明者 服部 弘 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内
Claims (1)
- 【請求項１】 車両に搭載された撮像手段により得られ
る画像に基づいて、対象物の実空間座標系における位置
を検出する位置検出装置において、 前記撮像手段により得られた画像から複数の対象物を抽
出し、該複数の対象物の高さ方向の位置変位量に応じて
ピッチング補正量を算出する補正量算出手段と、 前記複数の対象物の画像上の位置を前記ピッチング補正
量に応じて補正する補正手段とを備えること特徴とする
位置検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000204696A JP3910345B2 (ja) | 1999-07-13 | 2000-07-06 | 位置検出装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-199589 | 1999-07-13 | ||
| JP19958999 | 1999-07-13 | ||
| JP2000204696A JP3910345B2 (ja) | 1999-07-13 | 2000-07-06 | 位置検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001084497A true JP2001084497A (ja) | 2001-03-30 |
| JP3910345B2 JP3910345B2 (ja) | 2007-04-25 |
Family
ID=26511624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000204696A Expired - Fee Related JP3910345B2 (ja) | 1999-07-13 | 2000-07-06 | 位置検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3910345B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1722332A1 (en) * | 2005-05-13 | 2006-11-15 | Nissan Motor Company Limited | Apparatus and method for image processing |
| JP2009021760A (ja) * | 2007-07-11 | 2009-01-29 | Hitachi Kokusai Electric Inc | 映像処理方法 |
| US7840026B2 (en) | 2004-12-03 | 2010-11-23 | Nissan Motor Co., Ltd. | Apparatus and method for detecting objects |
| JP2011170750A (ja) * | 2010-02-22 | 2011-09-01 | Denso Corp | 白線認識装置 |
| JP2011182260A (ja) * | 2010-03-02 | 2011-09-15 | Honda Motor Co Ltd | 車両周辺監視装置 |
| WO2011138820A1 (ja) * | 2010-05-07 | 2011-11-10 | トヨタ自動車株式会社 | 物体検出装置 |
| JP4850963B1 (ja) * | 2010-09-28 | 2012-01-11 | 富士重工業株式会社 | 車両の運転支援装置 |
| JP2013051736A (ja) * | 2012-11-13 | 2013-03-14 | Honda Motor Co Ltd | 車両周辺監視装置 |
| US9280824B2 (en) | 2009-09-30 | 2016-03-08 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle-surroundings monitoring device |
| US10489926B2 (en) | 2015-08-31 | 2019-11-26 | Mitsubishi Electric Corporation | Image processing device, image processing method, and program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4887400B2 (ja) * | 2009-05-27 | 2012-02-29 | 本田技研工業株式会社 | 車両周辺監視装置 |
-
2000
- 2000-07-06 JP JP2000204696A patent/JP3910345B2/ja not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7840026B2 (en) | 2004-12-03 | 2010-11-23 | Nissan Motor Co., Ltd. | Apparatus and method for detecting objects |
| JP2006318271A (ja) * | 2005-05-13 | 2006-11-24 | Nissan Motor Co Ltd | 車載画像処理装置、および画像処理方法 |
| US7512494B2 (en) | 2005-05-13 | 2009-03-31 | Nissan Motor Co., Ltd. | Vehicle mounted image processor and method of use |
| JP4544028B2 (ja) * | 2005-05-13 | 2010-09-15 | 日産自動車株式会社 | 車載画像処理装置、および画像処理方法 |
| EP1722332A1 (en) * | 2005-05-13 | 2006-11-15 | Nissan Motor Company Limited | Apparatus and method for image processing |
| JP2009021760A (ja) * | 2007-07-11 | 2009-01-29 | Hitachi Kokusai Electric Inc | 映像処理方法 |
| US9280824B2 (en) | 2009-09-30 | 2016-03-08 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle-surroundings monitoring device |
| JP2011170750A (ja) * | 2010-02-22 | 2011-09-01 | Denso Corp | 白線認識装置 |
| JP2011182260A (ja) * | 2010-03-02 | 2011-09-15 | Honda Motor Co Ltd | 車両周辺監視装置 |
| WO2011138820A1 (ja) * | 2010-05-07 | 2011-11-10 | トヨタ自動車株式会社 | 物体検出装置 |
| JP4850963B1 (ja) * | 2010-09-28 | 2012-01-11 | 富士重工業株式会社 | 車両の運転支援装置 |
| JP2013051736A (ja) * | 2012-11-13 | 2013-03-14 | Honda Motor Co Ltd | 車両周辺監視装置 |
| US10489926B2 (en) | 2015-08-31 | 2019-11-26 | Mitsubishi Electric Corporation | Image processing device, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3910345B2 (ja) | 2007-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6531959B1 (en) | Position detecting device | |
| JP3764086B2 (ja) | 車両用情報提供装置 | |
| JP3515926B2 (ja) | 車両の周辺監視装置 | |
| JP4615139B2 (ja) | 車両の周辺監視装置 | |
| US8144195B2 (en) | Vehicle zone monitoring apparatus | |
| WO2010047054A1 (ja) | 車両の周辺監視装置 | |
| KR101093316B1 (ko) | 차량주행중 영상정합 방법 및 그 시스템 | |
| JP2008027138A (ja) | 車両用監視装置 | |
| JP4334686B2 (ja) | 車両の画像表示装置 | |
| JP2001169310A (ja) | 距離検出装置 | |
| JP6089767B2 (ja) | 画像処理装置、撮像装置、移動体制御システム及びプログラム | |
| JP2001084497A (ja) | 位置検出装置 | |
| JP4128562B2 (ja) | 車両周辺監視装置 | |
| JP4425852B2 (ja) | 車両周辺監視装置 | |
| JP2009075124A (ja) | 距離検出装置 | |
| JP3808287B2 (ja) | 位置検出装置 | |
| JP2004126905A (ja) | 画像処理装置 | |
| JP3916930B2 (ja) | 進入警報装置 | |
| JP3949628B2 (ja) | 車両の周辺監視装置 | |
| JP2001018738A (ja) | 車両の周辺監視装置 | |
| JP3970876B2 (ja) | 車両周辺監視装置 | |
| JP2002005656A (ja) | 位置検出装置 | |
| JP4162817B2 (ja) | 距離検出装置 | |
| JP4943403B2 (ja) | 車両の周辺監視装置 | |
| JP3859429B2 (ja) | 移動対象物検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051102 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070124 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100202 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110202 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120202 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130202 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140202 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |