JP3910345B2

JP3910345B2 - Position detection device

Info

Publication number: JP3910345B2
Application number: JP2000204696A
Authority: JP
Inventors: 伸治長岡; 孝之辻; 正人渡辺; 弘服部
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-07-13
Filing date: 2000-07-06
Publication date: 2007-04-25
Anticipated expiration: 2020-07-06
Also published as: JP2001084497A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載された撮像装置により得られる画像に基づいて、対象物の位置を検出する位置検出装置に関する。
【０００２】
【従来の技術】
車両に撮像装置を搭載し、その撮像装置により得られる画像から対象物の位置を検出し、その対象物と当該車両との衝突の可能性を判定する周辺監視装置が従来より提案されている。このような装置では、撮像装置を移動する車両に搭載しているため、車両のピッチングによって車両に固定された撮像装置によって得られる画像にオプティカルフロー（以下「ピッチングフロー」という）が発生する。このピッチングフローは対象物の移動（あるいは当該車両の走行）によって発生するものではないため、撮像装置により得られる画像から対象物の位置検出を行う場合には、ピッチングフローの影響を除く処理を行わないと、検出位置のずれが大きくなるという問題がある。
【０００３】
【発明が解決しようとする課題】
そのため車両の路面からの高さ（車高）を検出する車高センサを設け、このセンサにより検出される車高に基づいて検出位置を補正することが考えられるが、その場合には車高センサが必要となって装置の構造が複雑化する。
【０００４】
本発明はこの点に着目してなされたものであり、車両のピッチングの影響を除く補正を簡単な構成で実現し、正確な位置検出を行うことができる車両用の位置検出装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、車両に搭載された撮像手段により得られる画像に基づいて、対象物の実空間座標系における位置を検出する位置検出装置において、前記撮像手段により得られた画像から複数の対象物を抽出し、該複数の対象物の画像上での高さ方向の位置変位量に応じてピッチング補正量を算出する補正量算出手段と、前記複数の対象物の画像上の位置を前記ピッチング補正量に応じて補正する補正手段とを備え、前記補正量算出手段は、前記複数の対象物について前記位置変位量の平均値を算出し、該平均値を前記ピッチング補正量とし、前記補正手段は、前記平均値が所定閾値より大きいときに前記ピッチング補正量による補正を実行すること特徴とする。
【０００６】
この構成によれば、撮像手段により得られた画像から複数の対象物が抽出され、該複数の対象物の画像上での高さ方向の位置変位量に応じてピッチング補正量が算出され、前記複数の対象物の画像上の位置が前記ピッチング補正量に応じて補正される。具体的には、複数の対象物について位置変位量の平均値が算出され、該平均値が前記ピッチング補正量とされ、前記平均値が所定閾値より大きいときにピッチング補正量による補正が実行されるので、当該車両のピッチングによって画像内の高さ方向の位置変位が発生した場合でも、車高センサなどを使用することなく簡単な構成でその影響を除き、正確な位置検出を行うことができる。
【０００７】
前記補正量算出手段は、前記複数の対象物について前記位置変位量の平均値を算出し、該平均値を前記ピッチング補正量とすることが望ましく、また前記補正手段は、前記平均値が所定閾値より大きいときに前記ピッチング補正量による補正を実行することが望ましい。複数の対象物についての前記位置変位量の平均値が大きいときは、ピッチング以外の要因（当該車両の走行または対象物の実空間上の移動）による画像上の位置変位量は、ピッチングによる画像上の位置変位量と比べて微少であると考えられるので、この構成により簡単な構成で有効なピッチング補正量を得ることができる。
【０００８】
【発明の実施の形態】
以下本明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる位置検出装置を含む、車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データに基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【０００９】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００１０】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。
【００１１】
図３は画像処理ユニット２における対象物の位置検出処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像データは、輝度情報を含んだグレースケール画像のデータである。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１２】
図３のステップＳ１４では、右画像を基準画像とし、その画像信号の２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【００１３】
続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１４】
ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００１５】
ステップＳ１８では図７（ｃ）に示すように、抽出した対象物像の面積重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出し、面積重心Ｇの座標は、面積Ｓをｙ方向に沿って２等分する線のｘ座標及びｘ方向に沿って２等分する線のｙ座標として算出し、縦横比ＡＰＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出する。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１６】
ステップＳ１９では、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物の認識を行う。アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図８（ａ）に示すように時刻ｋで対象物１，２を抽出した場合において、時刻（ｋ＋１）で抽出した対象物３，４と、対象物１，２との同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物１、２と対象物３、４とは同一であると判定し、対象物３、４をそれぞれ１，２というラベルに変更することにより、時刻間追跡が行われる。
【００１７】
１）時刻ｋにおける対象物ｉ（＝１，２）の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、
｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜ΔｘＭ
｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜ΔｙＭ
であること。ただし、ΔｘＭ、ΔｙＭは、それぞれｘ方向及びｙ方向の画像上の変位量の許容値である。なお、ｙ方向の許容値ΔｙＭは、車両１０のピッチングによる画像上の変位量も考慮して設定されている。
【００１８】
２）時刻ｋにおける対象物ｉ（＝１，２）の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での面積をＳｊ（ｋ＋１）としたとき、
Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ
であること。ただし、ΔＳは面積変化の許容値である。
【００１９】
３）時刻ｋにおける対象物ｉ（＝１，２）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、
ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴ
であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。
【００２０】
図８（ａ）と（ｂ）とを対比すると、各対象物は同図（ｂ）の方が画像上での大きさが大きくなっているが、対象物１と３とが上記同一性判定条件を満たし、対象物２と４とが上記同一性判定条件を満たすので、対象物３、４はそれぞれ対象物１、２と認識される。このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
図３のステップＳ２０では、図４に示すピッチング補正処理、すなわち車両１０のピッチングにより画像上のオプティカルフローが発生した場合に対象物の画像上の位置を補正する処理を実行する。
【００２１】
図９は、抽出されている対象物数Ｎ＝３の場合を例にとって、各対象物の画像上の変位ベクトルＶＭ１〜ＶＭ３，ピッチングにより発生したオプティカルフローであるピッチングベクトルＶｐ及びピッチングがなかったとした場合の各対象物の画像上の変位ベクトルＶＭ１ｐ〜ＶＭ３ｐの関係を示す図である。この図でＯＢＪＯＬＤｉ及びＯＢＪＮＯＷｉは、それぞれ対象物ｉ（＝１，２，３）の前回位置（１サンプル周期前の位置）及び今回位置を示す。
【００２２】
図４のステップＳ４１では、下記式（１）により、ピッチングにより発生する画像上のｙ方向変位量（以下「ピッチングフロー」という）Δｙｐを算出する。
【数１】

ここでｙｉＮＯＷ及びｙｉＯＬＤは、それぞれ今回の対象物ｉ（ｉ＝１〜Ｎ）の重心のｙ座標及び前回（１サンプル周期前）の対象物ｉの重心のｙ座標であり、Ｎは、抽出されている対象物の数である。式（１）のピッチングフローΔｙｐは、下記式（２）で示される評価関数Ｅを最小とするｙ座標変位量Δｙとして算出されたものであり、Ｎ個の対象物の画像上での単位時間当たり（本実施形態では１サンプル周期当たり）のｙ方向変位量の平均値に相当する。自車両１０の走行または対象物の移動に起因する画像上のｙ方向変位量（ピッチングがない場合の対象物のｙ方向の変位量）は、ピッチングにより発生する変位量に比べて微少であること、及びピッチングにより発生するオプティカルフロー（ピッチングベクトルＶｐ）は、画像上の位置に依存せず、すべての対象物について一律に近似できることから、本実施形態では、ピッチングフローΔｙｐを、式（２）の評価関数Ｅを最小とするΔｙとして定義している。
【数２】

【００２３】
次いでピッチングフローΔｙｐの絶対値が、所定閾値ΔｙＴＨより大きいか否かを判別し（ステップＳ４２）、｜Δｙｐ｜＞ΔｙＴＨであるときは、車両１０のピッチングが大きいと判定して、対象物ｉ（ｉ＝１〜Ｎ）のｙ座標ｙｉＮＯＷにピッチングフローΔｙｐを加算することにより、ピッチング補正を行う（ステップＳ４３）。なお、所定閾値ΔｙＴＨは実験により適切な値に設定する。
【００２４】
上記したように自車両１０または対象物の移動に起因する画像上のｙ方向の変位（ピッチングがない場合の対象物のｙ方向の変位）は、ピッチングにより発生する変位に比べて微少であるので、式（１）により算出されたピッチングフローΔｙｐの絶対値が所定閾値ΔｙＴＨを越えるような場合は、Δｙｐをすべてピッチングによって発生した変位量とみなして、ｙ座標を補正するようにしたものである。図９のＯＢＪＮＯＷｉｐ（ｉ＝１，２，３）で示す位置が、各対象物の補正後の位置に相当する。
【００２５】
一方ステップＳ４２で｜Δｙｐ｜≦ΔｙＴＨであるときは、ピッチングの影響は無視できると判定して直ちにステップＳ４４に進み、ｙ座標の補正は行わない。
ステップＳ４４では、各対象物のｙ座標の今回値ｙｉＮＯＷを前回値ｙｉＯＬＤとし、本処理を終了する。これにより、１サンプル周期後の処理では、今回の処理における今回値が前回値として用いられる。
【００２６】
図４の処理によれば、カメラ１Ｒにより得られる画像自体に基づいて自車両１０のピッチングによるｙ方向、すなわち高さ方向の変位量Δｙｐが算出され、これにより対象物のｙ座標が補正されるので、ピッチング補正を簡単な構成で実現することができ、その結果以下に説明する実空間座標系における対象物の位置をより正確に検出することが可能となる。
なお以上説明した図３のステップＳ１４〜Ｓ２０の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
【００２７】
図３のステップＳ３１では、図１０に示すように右画像に含まれる対象物像Ｒ１に対応する左画像中の対象物像Ｒ２を求め、右画像のｘ方向の中心線ＬＣＴＲと対象物像Ｒ１の重心との距離ｄＲ、及び左画像の中心線ＬＣＴＲと対象物像Ｒ２の重心との距離ｄＬを算出し、下記式（３）にこれらを適用して自車両１０からその対象物までの距離ｚを算出する。ステップＳ３１は、ステップＳ１９，Ｓ２０の処理に比べて長い時間を要するので、ステップＳ１９，Ｓ２０より長い周期（例えばステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行される。
【数３】

【００２８】
ここで、Ｂは基線長、すなわち図１１に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量である。またｆは、焦点距離Ｆと画素間隔ｐの比である。
【００２９】
ステップＳ２１では、画像内の座標（ｘ，ｙ）及び式（３）により算出した距離ｚを下記式（４）に適用し、実空間座標系における座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標系Ｘ−Ｙ−Ｚは、図１２（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を原点Ｏとして、図示のように定め、画像内の座標系は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【数４】

【００３０】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間原点Ｏとの相対位置関係基づいて、実空間原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００３１】
以上のように本実施形態では、自車両１０のピッチングに起因するｙ方向、すなわち高さ方向の位置ずれを示すピッチングフローΔｙｐを、カメラ１Ｒによって得られる画像データから算出し、対象物のｙ座標を補正するようにしたので、自車両１０のピッチングの影響を除いて正確な位置データを得ることができる。
【００３２】
画像処理ユニット２は、図３の処理により算出された対象物の実空間上の位置情報に基づいて、その対象物と自車両１０との衝突の可能性を判定し、衝突の可能性が高いときは、スピーカ３及びＨＵＤ４を介して運転者への警報を発する。
【００３３】
本実施形態では、画像処理ユニット２が位置検出装置を構成し、より具体的には、図３のステップＳ１６〜Ｓ１９及び図４のステップＳ４１が補正量算出手段に相当し、図４のステップＳ４２及びＳ４３が補正手段に相当する。
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、上述した実施形態では、抽出した対象物すべてのｙ座標の変位量の平均値をピッチングフローΔｙｐとしたが、抽出した対象物の一部（ただし少なくとも２以上の対象物とする）のｙ座標の変位量からピッチングフローΔｙｐを算出するようにしてもよい。
【００３４】
また、本実施形態では、撮像手段として赤外線カメラを使用したが、例えば特開平９−２２６４９０号公報に示されるように通常の可視光線のみ検出可能なテレビカメラを使用してもよい。ただし、赤外線カメラを用いることにより、動物等あるいは走行中の車両などの抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現できる。
【００３５】
【発明の効果】
以上詳述したように本発明によれば、撮像手段により得られた画像から複数の対象物が抽出され、該複数の対象物の画像上での高さ方向の位置変位量に応じてピッチング補正量が算出され、前記複数の対象物の画像上の位置が前記ピッチング補正量に応じて補正される。具体的には、複数の対象物について位置変位量の平均値が算出され、該平均値が前記ピッチング補正量とされ、前記平均値が所定閾値より大きいときにピッチング補正量による補正が実行されるので、当該車両のピッチングによって画像内の高さ方向の位置変位が発生した場合でも、車高センサなどを使用することなく簡単な構成でその影響を除き、正確な位置検出を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる位置検出装置を含む、車両の周辺監視装置の構成を示す図である。
【図２】赤外線カメラの取り付け位置を説明するための図である。
【図３】対象物を抽出した位置検出を行う処理の手順を示すフローチャートである。
【図４】図３のピッチング補正処理のフローチャートである。
【図５】赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。
【図６】グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。
【図７】ランレングスデータへの変換処理及びラベリングを説明するための図である。
【図８】対象物の時刻間追跡を説明するための図である。
【図９】ピッチング補正を説明するための図である。
【図１０】視差の算出方法を説明するための図である。
【図１１】視差から距離を算出する手法を説明するための図である。
【図１２】本実施形態における座標系を示す図である。
【符号の説明】
１Ｒ、１Ｌ赤外線カメラ（撮像手段）
２画像処理ユニット（補正量算出手段、補正手段）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a position detection device that detects the position of an object based on an image obtained by an imaging device mounted on a vehicle.
[0002]
[Prior art]
2. Description of the Related Art A peripheral monitoring device that has an imaging device mounted on a vehicle, detects the position of an object from an image obtained by the imaging device, and determines the possibility of a collision between the object and the vehicle has been proposed. In such a device, since the imaging device is mounted on a moving vehicle, an optical flow (hereinafter referred to as “pitching flow”) is generated in an image obtained by the imaging device fixed to the vehicle by pitching of the vehicle. Since this pitching flow is not generated by the movement of the object (or traveling of the vehicle), when the position of the object is detected from the image obtained by the imaging device, a process for removing the influence of the pitching flow is performed. Otherwise, there is a problem that the detection position shift becomes large.
[0003]
[Problems to be solved by the invention]
Therefore, it is conceivable to provide a vehicle height sensor that detects the height (vehicle height) of the vehicle from the road surface, and to correct the detection position based on the vehicle height detected by this sensor. And the structure of the apparatus becomes complicated.
[0004]
The present invention has been made paying attention to this point, and provides a position detection device for a vehicle that realizes correction with a simple configuration and eliminates the influence of pitching of the vehicle and can perform accurate position detection. With the goal.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 is a position detection device for detecting a position of an object in a real space coordinate system based on an image obtained by an image pickup means mounted on a vehicle. A correction amount calculating means for extracting a plurality of objects from the image obtained by the above and calculating a pitching correction amount according to a positional displacement amount in the height direction on the images of the plurality of objects; and the plurality of objects Correction means for correcting the position of the object on the image according to the pitching correction amount, and the correction amount calculation means calculates an average value of the position displacement amount for the plurality of objects, and calculates the average value. wherein a pitching correction amount, the correction means, said average value and Rukoto characterized to perform correction by the pitching correction amount is greater than a predetermined threshold value.
[0006]
According to this configuration, a plurality of objects are extracted from the image obtained by the imaging unit, and the pitching correction amount is calculated according to the positional displacement amount in the height direction on the images of the plurality of objects. The positions of the plurality of objects on the image are corrected according to the pitching correction amount . Specifically, an average value of positional displacement amounts is calculated for a plurality of objects, the average value is set as the pitching correction amount, and correction using the pitching correction amount is executed when the average value is larger than a predetermined threshold value. Therefore, even when a positional displacement in the height direction in the image occurs due to the pitching of the vehicle, accurate position detection can be performed with a simple configuration without using the vehicle height sensor and the like, with the influence being removed.
[0007]
Preferably, the correction amount calculating means calculates an average value of the positional displacement amounts for the plurality of objects, and the average value is used as the pitching correction amount, and the correction means is configured such that the average value is a predetermined threshold value. When larger, it is desirable to execute the correction by the pitching correction amount. When the average value of the positional displacement amount for a plurality of objects is large, the positional displacement amount on the image due to factors other than pitching (travel of the vehicle or movement of the object in real space) Therefore, it is possible to obtain an effective pitching correction amount with a simple configuration.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram showing a configuration of a vehicle periphery monitoring device including a position detection device according to an embodiment of the present invention. This device includes two

infrared cameras

1R and 1L capable of detecting far infrared rays, Obtained by a yaw rate sensor 5 that detects the yaw rate of the vehicle, a vehicle speed sensor 6 that detects the travel speed (vehicle speed) VCAR of the vehicle, a brake sensor 7 that detects the amount of brake operation, and these

cameras

1R and 1L. An image processing unit 2 for detecting an object such as an animal in front of the vehicle based on the image data to be detected and issuing an alarm when there is a high possibility of a collision; a speaker 3 for issuing an alarm by sound; and a

camera

1R or 1L The head-up display (hereinafter referred to as “HUD”) for displaying the image obtained by the above and for allowing the driver to recognize an object having a high possibility of collision. And a 4.
[0009]
As shown in FIG. 2, the

cameras

1R and 1L are arranged in front of the vehicle 10 at almost target positions with respect to the central axis in the lateral direction of the vehicle 10. The optical axes of the two

cameras

1R and 1L are They are parallel to each other and fixed so that their height from the road surface is equal. The

infrared cameras

1R and 1L have a characteristic that the output signal level increases (the luminance increases) as the temperature of the object increases.
[0010]
The image processing unit 2 includes an A / D conversion circuit that converts an input analog signal into a digital signal, an image memory that stores a digitized image signal, a CPU (Central Processing Unit) that performs various arithmetic processes, and data that is being calculated by the CPU Output circuit for outputting RAM (Random Access Memory) used for storing CPU, ROM (Read Only Memory) for storing programs and tables executed by CPU, map, etc., driving signal for speaker 3, display signal for HUD4, etc. The output signals of the

cameras

1R and 1L and the sensors 5 to 7 are converted into digital signals and input to the CPU.
As shown in FIG. 2, the HUD 4 is provided so that the screen 4 a is displayed at the front position of the driver on the front window of the vehicle 10.
[0011]
FIG. 3 is a flowchart showing the procedure of object position detection processing in the image processing unit 2. First, the output signals of the

cameras

1R and 1L are A / D converted and stored in the image memory (steps S11, S12, S13). . The image data stored in the image memory is grayscale image data including luminance information. FIGS. 5A and 5B are diagrams for explaining gray scale images obtained by the

cameras

1R and 1L (a right image is obtained by the camera 1R and a left image is obtained by the camera 1L), respectively. The hatched area is an intermediate gradation (gray) area, and the area surrounded by a thick solid line has a high luminance level (at a high temperature) and is an area of an object displayed as white on the screen (hereinafter, “ It is referred to as a “high luminance region”. In the right image and the left image, the horizontal positions of the same target object on the screen are shifted and displayed, and the distance to the target object can be calculated from this shift (parallax).
[0012]
In step S14 of FIG. 3, the right image is used as a reference image, and binarization of the image signal, that is, an area brighter than the experimentally determined luminance threshold value ITH is set to “1” (white), and a dark area is set to “0”. ”(Black). FIG. 6 shows an image obtained by binarizing the image of FIG. This figure shows that the hatched area is black and the high luminance area surrounded by the thick solid line is white.
[0013]
In the subsequent step S15, the binarized image data is converted into run-length data. FIG. 7A is a diagram for explaining this, and in this figure, whitened areas by binarization are shown as lines L1 to L8 at the pixel level. Each of the lines L1 to L8 has a width of one pixel in the y direction and is actually arranged with no gap in the y direction, but is shown separated for the sake of explanation. The lines L1 to L8 have lengths of 2 pixels, 2 pixels, 3 pixels, 8 pixels, 7 pixels, 8 pixels, 8 pixels, and 8 pixels, respectively, in the x direction. The run length data includes the coordinates of the start point of each line (the leftmost point of each line) and the length (number of pixels) from the start point to the end point (the rightmost point of each line). It is shown. For example, since the line L3 includes three pixels (x3, y5), (x4, y5), and (x5, y5), the run length data is (x3, y5, 3).
[0014]
In steps S16 and S17, processing for extracting an object is performed by labeling the object as shown in FIG. 7B. That is, of the lines L1 to L8 converted to run length data, the lines L1 to L3 having portions overlapping in the y direction are regarded as one object 1, the lines L4 to L8 are regarded as one object 2, and the run length data The object labels 1 and 2 are added to. By this processing, for example, the high luminance regions shown in FIG. 6 are grasped as the objects 1 to 4, respectively.
[0015]
In step S18, as shown in FIG. 7C, the area centroid G, the area S, and the aspect ratio ASPECT of the circumscribed rectangle indicated by the broken line are calculated. The area S is calculated by integrating the lengths of the run length data for the same object, and the coordinates of the area centroid G are along the x coordinate of the line that bisects the area S along the y direction and along the x direction. The aspect ratio APECT is calculated as the ratio Dy / Dx between Dy and Dx shown in FIG. 7C. Note that the position of the center of gravity G may be substituted by the position of the center of gravity of the circumscribed rectangle.
[0016]
In step S19, tracking of the object is performed between times, that is, the same object is recognized for each sampling period. When the time t as an analog quantity is discretized by the sampling period is k, and the objects 1 and 2 are extracted at the time k as shown in FIG. 8A, the object extracted at the time (k + 1) The identity determination between 3 and 4 and the objects 1 and 2 is performed. Specifically, when the following identity determination conditions 1) to 3) are satisfied, it is determined that the objects 1 and 2 and the objects 3 and 4 are the same, and the objects 3 and 4 are set to 1, respectively. By changing the label to 2, tracking between times is performed.
[0017]
1) The center-of-gravity position coordinates on the image of the object i (= 1, 2) at the time k are (xi (k), yi (k)), respectively, and the object j (= 3, 3) at the time (k + 1). 4) When the center-of-gravity position coordinates on the image are (xj (k + 1), yj (k + 1)),
| Xj (k + 1) −xi (k) | <ΔxM
| Yj (k + 1) −yi (k) | <ΔyM
Be. However, ΔxM and ΔyM are allowable values of the displacement amount on the image in the x direction and the y direction, respectively. The allowable value ΔyM in the y direction is set in consideration of the amount of displacement on the image due to the pitching of the vehicle 10.
[0018]
2) The area of the object i (= 1, 2) on the image at time k is Si (k), and the area of the object j (= 3, 4) on the image at time (k + 1) is Sj ( k + 1)
Sj (k + 1) / Si (k) <1 ± ΔS
Be. However, ΔS is an allowable value of area change.
[0019]
3) The aspect ratio of the circumscribed rectangle of the object i (= 1, 2) at time k is ASPECTTi (k), and the aspect ratio of the circumscribed rectangle of the object j (= 3,4) at time (k + 1) is ASPECTj ( k + 1)
ASPECTj (k + 1) / ASPECTTi (k) <1 ± ΔASPECT
Be. However, ΔASPECT is an allowable value of the aspect ratio change.
[0020]
8 (a) and 8 (b) are compared, each object has a larger size on the image in FIG. 8 (b), but the objects 1 and 3 determine the identity. Since the conditions are satisfied and the

objects

2 and 4 satisfy the identity determination condition, the objects 3 and 4 are recognized as the objects 1 and 2, respectively. The position coordinates (center of gravity) of each object recognized in this manner are stored in the memory as time-series position data and used for later calculation processing.
In step S20 of FIG. 3, the pitching correction process shown in FIG. 4, that is, the process of correcting the position of the object on the image when the optical flow on the image is generated by the pitching of the vehicle 10 is executed.
[0021]
FIG. 9 shows an example in which the number of extracted objects N = 3, and the displacement vectors VM1 to VM3 on the image of each object, the pitching vector Vp that is an optical flow generated by pitching, and no pitching. It is a figure which shows the relationship of the displacement vector VM1p-VM3p on the image of each target object in the case. In this figure, OBJOLDi and OBJNOWi indicate the previous position (position before one sample period) and the current position of the object i (= 1, 2, 3), respectively.
[0022]
In step S41 in FIG. 4, a y-direction displacement amount (hereinafter referred to as “pitching flow”) Δyp on the image generated by pitching is calculated by the following equation (1).
[Expression 1]

Here, yiNOW and yiOLD are the y coordinate of the center of gravity of the current object i (i = 1 to N) and the y coordinate of the center of gravity of the object i of the previous time (one sample period ago), respectively, and N is extracted. The number of objects that are The pitching flow Δyp in the equation (1) is calculated as a y-coordinate displacement amount Δy that minimizes the evaluation function E expressed by the following equation (2), and is a unit time on the image of N objects. This corresponds to the average value of the amount of displacement in the y direction per hit (per sample period in this embodiment). The y-direction displacement amount (the displacement amount in the y direction of the object when there is no pitching) on the image due to the traveling of the host vehicle 10 or the movement of the object is very small compared to the displacement amount generated by the pitching. , And the optical flow generated by pitching (pitching vector Vp) does not depend on the position on the image and can be uniformly approximated for all objects. Therefore, in this embodiment, the pitching flow Δyp is expressed by the equation (2). It is defined as Δy that minimizes the evaluation function E.
[Expression 2]

[0023]
Next, it is determined whether or not the absolute value of the pitching flow Δyp is greater than a predetermined threshold value ΔyTH (step S42). If | Δyp |> ΔyTH, it is determined that the pitching of the vehicle 10 is large, and the object i ( Pitching correction is performed by adding the pitching flow Δyp to the y coordinate yiNOW of i = 1 to N) (step S43). The predetermined threshold value ΔyTH is set to an appropriate value by experiment.
[0024]
As described above, the displacement in the y direction on the image due to the movement of the host vehicle 10 or the object (the displacement in the y direction of the object when there is no pitching) is very small compared to the displacement generated by the pitching. When the absolute value of the pitching flow Δyp calculated by the equation (1) exceeds a predetermined threshold value ΔyTH, Δyp is regarded as a displacement generated by the pitching and the y coordinate is corrected. . The position indicated by OBJNOWip (i = 1, 2, 3) in FIG. 9 corresponds to the corrected position of each object.
[0025]
On the other hand, when | Δyp | ≦ ΔyTH in step S42, it is determined that the influence of pitching can be ignored, and the process immediately proceeds to step S44, and the y coordinate is not corrected.
In step S44, the current value yiNOW of the y-coordinate of each object is set to the previous value yiOLD, and this process ends. Thereby, in the process after one sample period, the current value in the current process is used as the previous value.
[0026]
According to the processing of FIG. 4, the displacement amount Δyp in the y direction, that is, the height direction due to pitching of the host vehicle 10 is calculated based on the image itself obtained by the camera 1R, and thereby the y coordinate of the object is corrected. Therefore, pitching correction can be realized with a simple configuration, and as a result, the position of the object in the real space coordinate system described below can be detected more accurately.
Note that the processes in steps S14 to S20 in FIG. 3 described above are executed for the binarized reference image (the right image in the present embodiment).
[0027]
In step S31 of FIG. 3, the object image R2 in the left image corresponding to the object image R1 included in the right image is obtained as shown in FIG. 10, and the center line LCTR in the x direction of the right image and the object image R1 are obtained. The distance dR from the center of gravity of the left image and the distance dL between the center line LCTR of the left image and the center of gravity of the object image R2 are calculated and applied to the following equation (3) to obtain the distance from the vehicle 10 to the object. z is calculated. Since step S31 requires a longer time than the processes of steps S19 and S20, step S31 is executed in a cycle longer than that of steps S19 and S20 (for example, about three times the execution cycle of steps S11 to S20).
[Equation 3]

[0028]
Here, B is the base line length, that is, the distance in the horizontal direction (x direction) between the center position of the image sensor 11R of the camera 1R and the center position of the image sensor 11L of the camera 1L as shown in FIG. Axis spacing), F is the focal length of the

lenses

12R and 12L, p is the pixel spacing in the

image sensors

11R and 11L, and Δd (= dR + dL) is the amount of parallax. F is the ratio of the focal length F and the pixel interval p.
[0029]
In step S21, the coordinate (x, y) in the image and the distance z calculated by the equation (3) are applied to the following equation (4) to convert the coordinate (X, Y, Z) in the real space coordinate system. Here, in the real space coordinate system XYZ, as shown in FIG. 12A, the position of the middle point of the attachment positions of the

cameras

1R and 1L (position fixed to the host vehicle 10) is the origin O. The coordinate system in the image is defined as x in the horizontal direction and y in the vertical direction with the center of the image as the origin, as shown in FIG.
[Expression 4]

[0030]
Here, (xc, yc) is the coordinate (x, y) on the right image based on the relative position relationship between the attachment position of the camera 1R and the real space origin O, and the real space origin O and the center of the image. Are converted into coordinates in a virtual image in which the two are matched. F is a ratio between the focal length F and the pixel interval p.
[0031]
As described above, in the present embodiment, the y-direction resulting from the pitching of the host vehicle 10, that is, the pitching flow Δyp indicating the positional deviation in the height direction is calculated from the image data obtained by the camera 1R, and the y-coordinate of the target object Therefore, accurate position data can be obtained by removing the influence of the pitching of the host vehicle 10.
[0032]
The image processing unit 2 determines the possibility of a collision between the target object and the host vehicle 10 based on the position information of the target object in the real space calculated by the process of FIG. 3, and the possibility of the collision is high. When this happens, an alarm is issued to the driver via the speaker 3 and the HUD 4.
[0033]
In the present embodiment, the image processing unit 2 constitutes a position detection device. More specifically, steps S16 to S19 in FIG. 3 and step S41 in FIG. 4 correspond to correction amount calculation means, and step S42 in FIG. And S43 correspond to correction means.
The present invention is not limited to the embodiment described above, and various modifications can be made. For example, in the above-described embodiment, the average value of the y-coordinate displacements of all the extracted objects is the pitching flow Δyp, but y of a part of the extracted objects (however, at least two or more objects) is used. You may make it calculate pitching flow (DELTA) yp from the displacement amount of a coordinate.
[0034]
In this embodiment, an infrared camera is used as the imaging means. However, for example, a television camera that can detect only normal visible light may be used as disclosed in JP-A-9-226490. However, by using an infrared camera, it is possible to simplify the extraction process of animals and the like or a running vehicle, and it can be realized even if the computing capability of the computing device is relatively low.
[0035]
【The invention's effect】
As described above in detail, according to the present invention, a plurality of objects are extracted from the image obtained by the imaging unit, and pitching correction is performed according to the amount of positional displacement in the height direction on the image of the plurality of objects. The amount is calculated, and the positions of the plurality of objects on the image are corrected according to the pitching correction amount . Specifically, an average value of positional displacement amounts is calculated for a plurality of objects, the average value is set as the pitching correction amount, and correction using the pitching correction amount is executed when the average value is larger than a predetermined threshold value. Therefore, even when a position displacement in the height direction in the image occurs due to the pitching of the vehicle, accurate position detection can be performed with a simple configuration without using the vehicle height sensor and the like, with the influence removed.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of a vehicle periphery monitoring device including a position detection device according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining an attachment position of an infrared camera.
FIG. 3 is a flowchart showing a procedure of processing for detecting a position where an object is extracted;
4 is a flowchart of the pitching correction process of FIG. 3;
FIG. 5 is a diagram showing hatching in an intermediate gradation part in order to explain a grayscale image obtained by an infrared camera.
FIG. 6 is a diagram showing a black region with hatching in order to explain an image obtained by binarizing a grayscale image.
FIG. 7 is a diagram for explaining conversion processing and labeling into run-length data.
FIG. 8 is a diagram for explaining tracking of an object between times;
FIG. 9 is a diagram for explaining pitching correction.
FIG. 10 is a diagram for explaining a parallax calculation method;
FIG. 11 is a diagram for explaining a method of calculating a distance from parallax.
FIG. 12 is a diagram showing a coordinate system in the present embodiment.
[Explanation of symbols]
1R, 1L infrared camera (imaging means)
2 Image processing unit (correction amount calculation means, correction means)

Claims

車両に搭載された撮像手段により得られる画像に基づいて、対象物の実空間座標系における位置を検出する位置検出装置において、
前記撮像手段により得られた画像から複数の対象物を抽出し、該複数の対象物の画像上での高さ方向の位置変位量に応じてピッチング補正量を算出する補正量算出手段と、
前記複数の対象物の画像上の位置を前記ピッチング補正量に応じて補正する補正手段とを備え、
前記補正量算出手段は、前記複数の対象物について前記位置変位量の平均値を算出し、該平均値を前記ピッチング補正量とし、
前記補正手段は、前記平均値が所定閾値より大きいときに前記ピッチング補正量による補正を実行すること特徴とする位置検出装置。In a position detection device that detects the position of an object in a real space coordinate system based on an image obtained by an imaging means mounted on a vehicle,
A correction amount calculating means for extracting a plurality of objects from the image obtained by the imaging means and calculating a pitching correction amount according to a positional displacement amount in the height direction on the images of the plurality of objects;
Correction means for correcting the position on the image of the plurality of objects according to the pitching correction amount ;
The correction amount calculation means calculates an average value of the positional displacement amounts for the plurality of objects, and sets the average value as the pitching correction amount.
It said correction means, the position detecting device in which the average value is to Rukoto characterized to perform correction by the pitching correction amount is greater than a predetermined threshold value.