JP4091775B2

JP4091775B2 - 運転支援装置

Info

Publication number: JP4091775B2
Application number: JP2002046169A
Authority: JP
Inventors: 浩史石井; 森村　　淳; 雅通中川; 修作岡本
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1999-09-20
Filing date: 2002-02-22
Publication date: 2008-05-28
Anticipated expiration: 2020-09-20
Also published as: EP1223083B1; JP3300340B2; KR20020033817A; EP1223083A4; CN1160210C; JP2002335524A; EP1223083A1; DE60009114D1; CN1373720A; WO2001021446A1; KR100466458B1; US6993159B1; DE60009114T2

Description

【０００１】
【発明の属する技術分野】
本発明は、車両等の移動体の運転に際し、その移動体周辺の状況をカメラで撮像し、その撮像画像を処理することによって、運転を支援する運転支援装置に関するものである。
【０００２】
【従来の技術】
従来のカメラを用いた運転支援装置に関し、障害物や接近車両の検出については、例えば日本国特許公開公報特開平９−２４０３９７号公報および特開平７−９３６９３号公報に記載されている。
【０００３】
特開平９−２４０３９７号公報（以下「第１の従来例」という）では、後側方車両の報知装置が開示されている。これは自車両の後側方領域の撮像画像から、隣接車線内に存在する移動物体を検出する一方、該移動物体の検出における白線の有無を検出し、これらの検出結果を統合することによって、他車両を検出する。そして他車両と自車両との接近状態を判定し、接近度が過大となる可能性があるときに運転者に報知するというものである。
【０００４】
また、特開平７−９３６９３号公報（以下「第２の従来例」という）では、車両用物体検出装置が開示されている。これは、道路の文字や模様と車両等の物体との相違を正しく識別してその物体を精度良く検出できる車両用物体検出装置であり、その構成は、見かけ移動速度計測手段によつて画像中の物体のエツジ点の動きを、あたかも路面上での３次元的動きとして計測し、物体判定手段においてその計測された動き量と車速とを比較して物体の弁別を行うことを特徴とするものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の技術には次のような問題がある。
【０００６】
まず第２の従来例の場合、撮像画像の動き解析によって障害物を検出する方法は、一般にモーションステレオと呼ばれる方法であり、移動による視点の変化に対応した画像の変化を解析することによって、撮像画像内の３次元情報を得るものである。しかしこの方法には、移動する方向の画像については、視点の変化に対応した画像の変化が小さくなるという欠点があり、例えば車両に応用する場合、進路方向の前方や後方の正面になるほど、検出の感度が下がる、といった問題がある。
【０００７】
また、動き解析の手法は、画面上の対象物の動きを求めるものであるため、撮像装置が車両に設置されている場合、車両自身の振動による画面のゆれにより、その動きが正確には求められないという問題がある。
【０００８】
さらに、接近物を検出した後、それを運転者にどのように伝えるかは重要な問題である。警報音などによって伝えた場合、警報音により運転者が驚き、逆に運転操作を誤るといったことも考えられる。また接近物の誤検出により、かえって運転者の安全な運転を妨げることも考えられる。このように、接近物の状態を運転者にどのように伝えるかは重要な課題である。運転者への警報については、第１の従来例では、接近過大の場合は運転者に報知するとしか述べられていない。また第２の従来例では、検出された障害物の運転者への報知方法については述べられていない。
【０００９】
本発明は、このような従来の運転支援装置または移動体画像表示システムが有する問題を考慮し、運転者が、接近物や障害物の周囲状況を直接的に確認でき、運転者の負担を軽減することができる運転支援装置を提供することを課題とする。
【００１０】
【課題を解決するための手段】
具体的には本発明は、移動体の運転を支援する装置として、
当該移動体に設置され、移動体周囲を撮像する撮像手段と、
前記撮像手段の撮像画像から、前記撮像画像中の各位置の動きベクトルを求め、この動きベクトルを基にして、移動体周囲の物体を検出する検出手段とを備え、
前記検出手段は、
前記各動きベクトルの上下方向のオフセットを求め、
前記オフセットから、画面全体における動きベクトルのオフセット推定値を求め、
前記オフセット推定値を、前記移動体の上下方向の振動に起因する揺れ成分として、各動きベクトルからキャンセルするものである。
【００１１】
また、前記本発明に係る運転支援装置において、
前記検出手段は、
前記オフセット推定値をキャンセルされた各動きベクトルを用いて、前記移動体周囲の物体が、移動物か否かを判定するのが好ましい。
【００１２】
また、前記本発明に係る運転支援装置において、
前記検出手段は、
前記オフセットを、前記移動体が直進走行した場合の仮の消失点を用いて、求めるのが好ましい。
【００１３】
また、前記本発明に係る運転支援装置において、
前記検出手段は、
前記オフセット推定値を、前記撮像画像における各動きベクトルのオフセットの頻度分布の最も頻度の高い値とするのが好ましい。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１５】
（第１の実施の形態）
図１は本発明の第１の実施形態に係る運転支援装置（移動体画像表示システム）の構成を示すブロック図である。図１において、１０１は移動体に設置された撮像手段、１０２は階層画像化手段、１０３はＬＰＦ（ローパスフィルタ）、１０４はブロックサンプリング手段、１０５は階層的ブロックマッチング手段、１０６はサブピクセル推定・信頼性判定手段、１０７は揺れ成分抽出・キャンセル手段、１０８は消失点算出手段、１０９は移動物・接近物検出手段、１１０は画像合成手段、１１１は表示装置である。構成要素１０２〜１０９によって、検出手段が構成されている。
【００１６】
撮像手段１０１は例えばカメラであって、車両後方を撮影可能なように、車両後部例えばリアパネル上に設置されている。表示装置１１１としては例えば本システム専用のディスプレイやカーナビゲーション用の液晶モニタなどが用いられる。
【００１７】
本実施形態に係る移動体画像表示システムの目的は、主として、運転者が進路変更時に危険となる後方からの接近物を直接的にわかりやすく警告・表示し、運転者の負担を軽減することである。本実施形態に係る移動体画像表示システムの動作について、図２〜図１３を参照して説明する。
【００１８】
まず図２（ａ）に示すように、撮像手段１０１によって、自車両の後方の画像（ここでは３２０画素ｘ２４０画素とする）が撮像される。この撮像画像には、ビル１１や街路樹１２などの障害物や、後方を走行する他車両１３，１４などの移動物が含まれる。図２ではこれらの障害物や移動物を模式的に表現している。この撮像画像は、階層画像化手段１０２および画像合成手段１１０に入力される。
【００１９】
階層画像化手段１０２は、入力された撮像画像について（２ｘ２）画素毎に加算することによって、１次上位画像（１６０ｘ１２０画素）を生成する。さらにこの一次上位画像について同様にして２次上位画像（８０ｘ６０画素）を生成する。そして、これら３種類の画像を階層画像としてＬＰＦ１０３に出力する。ＬＰＦ１０３は、入力された階層画像の各画像について、（３ｘ３）画素のＬＰＦ処理を行う。
【００２０】
ブロックサンプリング手段１０４は階層画像の各画像について、（８ｘ８）画素のブロックに分割し、各ブロックについて２画素おきに１６（＝４ｘ４）個の代表点でサブサンプルする。
【００２１】
階層的ブロックマッチング手段１０５は上位階層の画像から、（５ｘ５）画素の範囲でブロックマッチングによってＳＡＤ（差分絶対値の総和）を求め、そのＳＡＤが最小となる位置を基にして動きベクトルを求める。下位階層の画像のブロックは、上位階層の同一位置のブロックで求められた動きベクトルを中心に、さらに（５ｘ５）画素の範囲で動きベクトルを求める。
【００２２】
サブピクセル推定・信頼性判定手段１０６は、最下位階層の画像（撮像画像）において求められた動きベクトルとＳＡＤを用いて、ＳＡＤの最小位置とその周囲の８点のＳＡＤの値から、１画素以下のサブピクセルの精度で動きベクトルの推定を行う。これとともに、そのブロックにおける動きベクトルの信頼性判定を行う。
【００２３】
この階層的ブロックマッチング手段１０５およびサブピクセル推定・信頼性判定手段１０６によって、図２（ｂ）に示すように、撮像画像の各位置について、前フレームからの動きを示す動きベクトルがフローＦＬとして求められる。
【００２４】
撮像画像のフローＦＬに関して、図３を用いて説明する。図２（ｂ）に示すように、画像のエッジの部分には上述したようなフローＦＬが得られる。このとき、カメラの揺れをキャンセルした後は、図３に示す車両進行方向の逆方向が、図４（ａ）に示す画面上の消失点ＶＰとなる。地面に静止した物体は、撮像画面上では消失点ＶＰへ向かうフローＦＬをもつ。したがって、消失点ＶＰへ向かう以外のフローＦＬを持つ画面上の領域（例えば矩形領域２０２）が、移動物・接近物として抽出することができる。
【００２５】
さらに、揺れ成分抽出・キャンセル手段１０７は、得られた動きベクトルを統計処理することにより、車の振動による画像の揺れ成分の抽出とキャンセルを行う。本発明では、接近物検出のために求めた動きベクトルを用いて画像の揺れ成分を抽出するので、揺れ補正のために画像全体の揺れ成分を別途検出する必要がない。消失点算出手段１０８は車の進行に伴う画像のフローＦＬの消失点ＶＰを求める。すなわち、図４（ａ）に示すように、消失点ＶＰを画像像全体の大部分が向かう点として求めている。
【００２６】
移動物・接近物検出手段１０９は、消失点算出手段１０８によって求められた消失点ＶＰへのフローＦＬと異なる動きベクトルを持つブロックを、移動物・接近物候補ブロックとして抽出する。そして、近接する移動物・接近物候補ブロックを連結することによって、図４(ｂ）に示すように、移動物・接近物の存在する領域を矩形領域２０２にして移動物として抽出する。
【００２７】
ここで、図５〜図７を用いて、揺れ成分抽出・キャンセル手段１０７の具体的動作について説明する。図５はその動作を説明するためのフローチャートである。
【００２８】
車両は進行方向の動き以外に、道の凹凸などの影響によって主に上下方向に振動する。図６に示すように、車両の上下方向の振動が撮像手段に与える影響は、（ａ）に示すような位置の変化と、（ｂ）に示すような撮像方向の変化となって現れる。
【００２９】
図６（ａ）に示す上下位置の変化は、画像信号のフレーム間隔が非常に短いために、車両の進行方向の位置の変化に比べて、きわめて小さい。また、撮像手段の位置の変化は、対象までの距離によってその影響が大きく異なり、近い物には大きな影響を与える一方、遠い物にはほとんど影響を与えない。そして、本実施形態で監視する後方の対象までの距離は、数ｍ〜数１０ｍ程度と十分に遠い。したがって、ここでは、上下の位置の変化による影響は考慮せずに、図６（ｂ）に示す撮像方向の変化のみを考慮するものとする。
【００３０】
撮像方向の変化は、対象までの距離によって影響が異なることはなく、またその変化の角度が非常に小さいときは、画面の各動きベクトルについての、画面全体で一様な上下方向のオフセットＶｄｙとして仮定することができる。この場合、移動物以外の静止した背景における動きベクトル（Ｖｘ，Ｖｙ）は、次式に示すように、車両の進行による消失点ＶＰへの動きベクトル（Ｖ０ｘ，Ｖ０ｙ）と上述したオフセット（０，Ｖｄｙ）との和によって近似することができる。
Ｖｘ＝Ｖ０ｘ
Ｖｙ＝Ｖ０ｙ＋Ｖｄｙ
【００３１】
図５のフローチャートは、このオフセット（０，Ｖｄｙ）を揺れ成分として抽出し、検出された動きベクトル（Ｖｘ，Ｖｙ）からキャンセルすることによって、静止した背景の部分について、消失点ＶＰへの動きベクトル（Ｖ０ｘ，Ｖ０ｙ）を得るものである。
【００３２】
まず、画面の各位置（ｘ，ｙ）について動きベクトル（Ｖｘ，Ｖｙ）を入力する（Ｓ１１）。ただしこのとき、空など一様で画像に模様がない部分などについては、動きベクトルの信頼性がないものとして予め除外され、信頼性のある動きベクトルのみが入力される。また、車両が前方直進走行をした場合の仮の消失点（ｘ０，ｙ０）は、撮像手段１０１の取り付け角度から画面上の所定の位置に定まるので、予め求めることができる（Ｓ１２）。
【００３３】
次に、各動きベクトルについて、オフセットを計算する（Ｓ１３）。位置（ｘ，ｙ）が静止した背景の部分にある場合、次式の関係が成り立つ。
（ｘ−ｘ０）＊Ｖ０ｙ＝（ｙ−ｙ０）＊Ｖｘ
（ｘ−ｘ０）＊（Ｖｙ−Ｖｄｙ）＝（ｙ−ｙ０）＊Ｖｘ
これらの式から、Ｖｄｙを求めると、
Ｖｄｙ＝Ｖｙ−（ｙ−ｙ０）＊Ｖｘ／（ｘ−ｘ０）
となる。
【００３４】
上式に従って、１個の動きベクトルからＶｄｙを求めることができる。しかし、入力される動きベクトルの中には、移動物など静止した背景の部分以外の画像領域に係る動きベクトルも多数含まれている。また、静止した背景の部分に係る動きベクトルにも誤差が含まれている。そこで、統計処理によって、動きベクトルのオフセットＶｄｙを推定するものとする。すなわち、図７に示すように、各動きベクトルについて上式に従ってＶｄｙをそれぞれ求め、その頻度を計算し、最も高い頻度をもつＶｄｙを最終的なオフセット推定値とする（Ｓ１４，Ｓ１５，Ｓ１６）。
【００３５】
まず、１個の動きベクトルについて誤差（±Ｖｎｘ，±Ｖｎｙ）を仮定し、画面内の位置についても微小誤差（±ｎｘ，±ｎｙ）を仮定する。いま、図７（ａ）のように、１個の動きベクトルについてオフセットＶｄｙが求められたとする。これについて、動きベクトルの誤差（±Ｖｎｘ，±Ｖｎｙ）を考慮すると、図７（ｂ），（ｃ）のような分布が得られ、画面内位置の微小誤差（±ｎｘ，±ｎｙ）を考慮すると、図７（ｄ），（ｅ）のような分布が得られる。図７（ｂ）〜（ｅ）の分布を畳み込み積分することによって、図７（ｆ）のような分布が得られる。
【００３６】
そして、図７（ｆ）のような分布を、画面全体の動きベクトルについて積和すると、図７（ｇ）のような分布が得られる。この分布において最も頻度が高いＶｄｙの値を、揺れによるオフセットの推定値とする。
【００３７】
図１の消失点算出手段１０８は、推定したオフセットをキャンセルした後、再度実際の消失点を求める。このとき、例えば移動物が画面を大きく占めた場合や、車両に上下方向以外の揺れがあった場合、またはカーブ等直進以外の走行をしている場合には、算出した消失点は、仮の消失点とは大きく異なることになる。このような場合には、以降の移動物・接近物検出処理を中断し、前フレームの結果を用いて画像合成を行い、表示する。
【００３８】
一方、算出した消失点が、仮の消失点近傍の所定の範囲にあるときは、正常と判断し、移動物・接近物検出手段１０９が、以下のような動作を行う。
【００３９】
図８は移動物・接近物検出手段１０９の具体的な動作を示すフローチャートである。まず、揺れ成分抽出の際と同様に、画面の各位置（ｘ，ｙ）についての動きベクトル（Ｖｘ，Ｖｙ）と、仮の消失点（ｘ０，ｙ０）を入力する（Ｓ２１，Ｓ２２）。
【００４０】
そして、入力された動きベクトルが、オフセットをキャンセルした後に、消失点への動きを表しているか否かによって、移動物か否かを判定する（Ｓ２３）。具体的には図９に示すように、揺れ成分抽出の際に求めた，動きベクトルの誤差（±Ｖｎｘ，±Ｖｎｙ）と画面内位置の微小誤差（±ｎｘ，±ｎｙ）を加味したＶｄｙの分布（図７（ｆ））が、オフセット推定値と一致するか否かによって、判定が行われる。すなわち、図９（ａ）では、Ｖｄｙの分布とオフセット推定値は一致しないので、この動きベクトルの位置は移動物であると判定され、一方、図９（ｂ）では、Ｖｄｙの分布とオフセット推定値は一致するので、この動きベクトルの位置は静止背景であると判定される。
【００４１】
図１０（ａ）に示すように、移動物と判定された動きベクトルＦＬ１は、画面中の移動物の各部に検出される。そして、図１０（ｂ）に示すように、これらの動きベクトルＦＬ１を含む領域をグループ化し、矩形の移動物領域２０２を生成する（Ｓ２４）。そして、車両からこの移動物までの距離を、移動物領域２０２の下端ＵＥの位置において推定する（Ｓ２５）。
【００４２】
図１１（ａ）は撮像手段１０１の撮像範囲のデフォルト距離値を示す図である。ここでは図１１（ａ）に示すように、撮像画像中の、所定位置よりも下にある第１の領域ＡＲ１については路面ＲＳ上にあると仮定し、この所定位置よりも上にある第２の領域ＡＲ２は撮像手段１０１から所定距離ＤＤ（例えば５０ｍ）にあると仮定する。すなわち、第１の領域ＡＲ１については、路面ＲＳまでの推定距離がデフォルト距離値として記憶され、第２の領域ＡＲ２については、所定距離ＤＤがデフォルト距離値として記憶されている。
【００４３】
また図１１（ｂ）に示すように、例えば移動物領域２０２が画面上で領域ＡＲ１，ＡＲ２にまたがって存在している場合は、第１の領域ＡＲ１に含まれた移動物領域２０２の下端ＵＥを基準として、その物体が下端ＵＥで路面ＲＳに接していると仮定して距離を推定する。
【００４４】
ここで推定した移動物領域までの距離は、メモリに記憶される。そして次のフレーム画像の処理によって、同一位置に移動物領域が検出され、かつ、この移動物領域までの推定距離が、メモリに記憶された前フレームでの推定距離よりも短いときは、その移動物領域の物体は接近物であると判定される（Ｓ２６）。
【００４５】
一方、図１２（ａ）に示すような、静止背景と判定された動きベクトルＦＬ２は、そのベクトルの大きさ（オフセットはキャンセルする）から、次式によって距離Ｚが計算される（Ｓ２７）。
Ｚ＝ｄＺ＊ｒ／ｄｒ
ただし、ｄＺはフレーム間における車両の移動量、ｒは画面上における消失点ＶＰからの距離、ｄｒは動きベクトルの大きさである。すなわち、
ｒ＝sqrt（（ｘ−ｘ０）²＋（ｙ−ｙ０）²）
ｄｒ＝sqrt（Ｖｘ²＋（Ｖｙ−Ｖｄｙ）²）
【００４６】
そして、ここで求めた距離Ｚを、デフォルト距離値として記憶された路面までの距離と比較する（Ｓ２８）。そして、図１２（ｂ）に示す街路樹ＯＢのように路面より高く位置しているものを、障害物と判定する。また、車両ＭＭのようにほぼ真後ろから接近してくる物の場合、動きベクトルが消失点近傍で生じるが、その大きさはきわめて小さい。このため、上述した方法で距離Ｚを求めた場合、その物体が路面よりも下に位置することになるような値となる可能性がある。路面よりも下には通常、物体は存在し得ないので、このような場合の動きベクトルは移動物のものであると判定して、移動物領域抽出処理Ｓ２４に回すことにする。
【００４７】
以上のような処理によって、画面各位置の動きベクトルから、障害物・移動物・接近物および画像内の距離が求められ（Ｓ２９）、これらの情報は画像合成手段１１０に出力される。
【００４８】
画像合成手段１１０は、図１３に示すように、撮像手段１０１から入力された撮像画像上に、矩形領域２０２の枠２０３を赤く点灯するように合成し、これを表示装置１１１に出力する。ただしこのとき、表示装置１１１は合成画像を、バックミラーと同相になるように左右反転して表示する。
【００４９】
上記の方法によれば、運転者は、図１３に示す表示画像を見て、赤い枠２０３の点灯によって、接近物の接近を知ることができる。すなわち、運転者は、撮像画像を見て周囲の状況を確認するとともに、特に注意が必要な接近物に対して、警報音などによって驚くことなく、自然に注意を向けることが可能となる。
【００５０】
また、警報音では困難な、接近物が自車両に対し、どの方向からどの程度まで接近してきているかという情報を、直接的に容易に把握することができる。
【００５１】
なお、本実施形態では、移動体の接近物のみを赤い枠で点滅表示するものとしたが、運転者に注意を喚起する方法としてはこの方法に限られず、例えば他の色を用いたり、点滅させずに表示したりしてもよい。また表示装置１１１に表示される接近物の画像が下方に移動すれば移動体に接近していると理解され、逆に上方に移動すれば移動体から離れていると理解することができる。
【００５２】
さらに、接近物までの距離が求められているので、距離自体を表示したり、距離に応じて表示を変化させたりすることによって、運転者の状況把握をより一層助けることが可能になる。例えば、接近物との距離が、５０ｍ以上のときは緑色、２０ｍ以上５０ｍ未満のときは黄色、２０ｍ未満の時は赤色というように、距離に応じて枠の色を変化させたり、移動物領域の右上に距離値自体を表示させたりすればよい。
【００５３】
（第２の実施の形態）
図１４は本発明の第２の実施形態に係る運転支援装置としての移動体画像表示システムの構成を示すブロック図である。同図中、図１と共通の構成要素には、図１と同一の符号を付しており、ここではその詳細な説明は省略する。図１と異なる構成要素は、第１撮像手段１０１とは別個に設けられた第２撮像手段４０１、階層的ブロックステレオマッチング手段４０５、３Ｄ情報推定・障害物検出手段４０９および画像合成手段または画像生成手段としての３Ｄ画像合成手段４１０である。構成要素１０２〜１０９，４０５，４０９によって検出手段が構成されている。
【００５４】
本実施形態に係る移動体画像表示システムの目的は、動きベクトル（フロー）が精度良く求まらない消失点付近の接近物や障害物の検出を精度良く行うことである。本実施形態に係る移動体画像表示システムの動作について、図１５〜図２１を参照して説明する。
【００５５】
図１５は自車両とその周囲を上から見下ろした模式図である。図１５に示すように、本実施形態に係る運転支援装置では、２台の撮像手段１０１，４０１が車両後部に水平方向にずらして設置されている。そして、一の撮像手段としての第１撮像手段１０１による第１の撮像範囲ＶＡ１と他の撮像手段としての第２撮像手段４０１による第２の撮像範囲ＶＡ２とが、オーバーラップする領域ＯＬを有するように、配置されている。
【００５６】
図１５に示すような撮像手段の配置は、視野角が限られた通常のレンズを持つカメラを用いて、車両後方を広い視野で撮影し監視するためのものである。このように複数の撮像手段を配置すれば、魚眼レンズなどの特殊なレンズを用いなくとも、広視野の画像を撮影することが可能となる。また、複数の撮像手段を用いることによって、得られる画像の解像度を高く保つこともできる。
【００５７】
また、監視を用途とする場合には、得られた複数の画像を接合して表示する必要があるが、図１５のように異なる位置から撮影された画像を接合する場合は、位置による隠蔽（オクルージョン）の影響などを考慮して、２個の撮像範囲に重なりを持たせた方がよい。
【００５８】
次に処理の詳細について説明する。階層画像化手段１０２、ＬＰＦ１０３、ブロックサンプリング手段１０４および階層的ブロックマッチング手段１０５は、撮像手段１０１，４０１から入力された各撮像画像に対して、第１の実施形態と同様の処理を行い、フロー（動きベクトル）を求める。
【００５９】
図１６（ａ），（ｂ）はそれぞれ、撮像手段１０１，４０１によって得られた撮像画像に上記の処理によって得られたフローを重ねた図である。ＯＬは撮像画面上におけるオーバーラップ領域を示す。図１６（ａ），（ｂ）では、ビルや樹など静止した物体に対するフローは実線の矢印によって示し、車など動きのある物体に対するフローは破線の矢印によって示している。
【００６０】
静止した物体に対するフローは、自車両の動きによって、消失点ＶＰへ向かうフローとなる。このフローの大きさは、自車両の速度と、画面上での消失点ＶＰまでの距離に比例する。このため、消失点ＶＰ近傍のフローは、その大きさは小さくなるので、検出が困難になる。
【００６１】
そこで、階層的ブロックステレオマッチング手段４０５は、オーバーラップ領域ＯＬにおいて、図１６（ａ），（ｂ）に示す２枚の画像のステレオ解析を行い、ステレオ視差を求める。消失点ＶＰは車両の進行方向の真後ろに生じるので、撮像手段１０１，４０１を、オーバーラップ領域ＯＬが撮像画像上で消失点ＶＰを含むように設定するのは容易である。
【００６２】
図１６（ｃ）は図１６（ａ），（ｂ）に示す２枚の画像を重ね合わせた図である。同図中、車両画像のずれＶＤが、求められたステレオ視差である。
【００６３】
撮像手段を水平方向に並べて配置した場合、ステレオ視差ＶＤはほぼ水平方向に生じる。このため、上位階層の画像から、水平５ｘ垂直３画素の範囲でブロックマッチングによってＳＡＤ（差分絶対値の総和）を求め、そのＳＡＤの最小点からステレオ視差を求める。下位階層の画像では、上位階層の画像の同一位置のブロックにおいて求められたステレオ視差を中心に、さらに、水平５ｘ垂直３画素の範囲でステレオ視差を求める。
【００６４】
サブピクセル推定・信頼性判定手段１０６は、最下位階層の画像（撮像画像）において求められた動きベクトルとＳＡＤを用いて、ＳＡＤの最小位置とその周囲の８点のＳＡＤの値から、１画素以下のサブピクセルの精度で動きベクトルの推定を行う。これとともに、そのブロックにおける動きベクトルの信頼性判定を行う。
【００６５】
また、階層的ブロックステレオマッチング手段４０５によって得られたステレオ視差ＶＤに対して、動きベクトルに係る処理を全く同様に適用することによって、サブピクセル精度でのステレオ視差の推定と、ステレオ視差の信頼性判定とを行う。
【００６６】
以上の処理によって、撮像画像の各位置について、前フレームからの時間的な動きを示すフローが求められるとともに、オーバーラップ領域ＯＬにおいてステレオ視差が求められる。
【００６７】
一般に、ステレオ視差と、撮像手段の相対位置関係とが分かれば、三角測量の原理によって、撮像手段から対象物までの距離が求められる。また、画像の時間的な動きを表すフローによっても、例えば対象物が地面に静止していると仮定することによって、車速との関係で、撮像手段から対象物までの距離を求めることができる。
【００６８】
このことを利用して、３Ｄ情報推定・障害物検出手段４０９は、図１７に示すように、２枚の撮像画像について３次元情報を推定し、さらに、地面から所定の高さ以上にあると推定される画面上の領域を、障害物ＯＢとして検出する。
【００６９】
また移動物・接近物検出手段１０９は、消失点ＶＰへ向かうフローとは異なる動きベクトルを持つブロックを、移動物・接近物候補ブロックとして抽出し、近接する移動物・接近物候補ブロックを連結することによって、図１７に示すように、移動物ＭＭを抽出する。またこれとともに、３Ｄ情報推定・障害物検出手段４０９から得られる３次元情報から、消失点ＶＰ近傍領域の障害物の距離が接近していると判断したとき、これを図１７に示すように、接近物ＡＰとして抽出する。
【００７０】
３Ｄ画像合成手段４１０は図１７に示すように、３Ｄ情報推定・障害物検出手段４０９から得られる３次元情報を利用して、撮像装置１０１，４０１から入力された２枚の撮像画像を合成する。さらに合成画像上で、移動物ＭＭと接近物ＡＰの領域を例えば赤い枠で囲んで点灯表示するとともに、障害物ＯＢを例えば緑色の枠で囲んで表示し、これを表示装置１１１に出力する。ただしこのとき、表示装置１１１は合成画像を、バックミラーと同相になるように左右反転して表示する。
【００７１】
運転者は、図１７に示す表示画像を見て、赤い枠の点灯によって、移動物ＭＭや接近物ＡＰの接近を知ることができ、また、接近物ＡＰが自車両に対し、どの方向からどの程度まで接近してきているかを、直接的に容易に把握することができる。さらに運転者は、緑の枠の表示によって、障害物ＯＢの存在とその位置を直接的に容易に把握することができる。
【００７２】
また、第２の従来例や本発明の第１の実施形態のように、撮像画像の動き解析によって障害物や接近物を検出するいわゆる「モーションステレオ」と呼ばれる方法では、移動による視点の変化に対応した画像の変化を解析することによって、撮像画像内の３次元情報を得る。この場合、移動する方向またはその逆方向の画像の、移動によるフロー（動きベクトル）の消失点の近傍領域では、視点の変化に対応した画像の変化が小さくなるという欠点があり、例えば車両に応用する場合、走行方向の前方や後方の正面における検出感度が下がる、といった問題があった。
【００７３】
ところが、この第２の実施形態によると、画面上の消失点近傍領域における検出を、２台のカメラによるオーバーラップ領域ＯＬにおけるステレオ解析によって補っているので、感度よく検出することができる。
【００７４】
３Ｄ画像合成手段４１０は、３Ｄ情報推定・障害物検出手段４０９から得られた３次元情報を利用して、接近物や障害物の情報を運転者に的確に伝える。この方法について、説明する。
【００７５】
第１の実施形態では、接近物の情報が合成された撮像画像を見たとき、画面の奥行き方向の距離は、合成画像上の物体のみかけの大きさから判断する必要がある。特に、撮像装置を車両に設置する場合には、車高以上の位置に設置することはできず、また、ある程度遠方を視野に入れるためにはその向きをほぼ水平近くにしなければならないので、この結果、接近物との距離は、画面の奥行き方向になってしまう。
【００７６】
接近物との距離を画面上で把握しやすくするための方法として、本願発明者らによる日本国特許出願特願平１０−２１７２６１にあるような合成画像の視点位置を変更する技術がある。この出願の装置の場合、車両の周囲の複数の撮像画像が３次元的に地面を写していると仮定して、例えば上空から見下ろしたような新しい視点からの合成画像を作成している。その場合、車両と他の物体との距離は、画面上の距離に比例することになるので、直感的に距離が把握しやすくなる。
【００７７】
本実施形態では３Ｄ画像合成手段４１０は、上述の技術を用いて、撮像手段１０１，４０１によって得られた撮像画像を、実際の撮像手段の設置位置よりも上方の視点位置から見た合成画像に変換する。遠方まで視野に入れるためには、真下を見下ろすよりも、斜め下方向を見下ろすような視点を用いる方がよい。
【００７８】
図１８（ａ）はこのような合成画像を得るための仮想視点ＶＶＰの位置を示している。仮想視点ＶＶＰは、撮像手段１０１の上方に位置しており、その向きは車両後方斜め下方向を見下ろすようになっている。そして、図１８（ｂ）に示すように、実際の撮像手段１０１による撮像画像が図１１（ａ）を用いて説明したようなデフォルトの距離にあると仮定すると、実際の撮像画像から、仮想視点ＶＶＰから見た合成画像を生成することができる。
【００７９】
例えば実際の撮像画像が図１９（ａ）に示すようなものである場合、仮想視点ＶＶＰから見た合成画像は図１９（ｂ）に示すようになる。図１９から分かるように、実際にデフォルトの距離値と同じように路面上に存在する白線４１１等は合成画像上でも正確な位置に合成され、かつ、上方から見た画像なので、距離感が把握しやすく強調されたものとなる。しかし、実際には路面上にない樹木４１２や車両４１３などは、合成画像上では、長く引き延ばされ不自然に歪んだものになる。なお、図１９（ｂ）の合成画像は、実際の撮像領域よりも外側の領域４１４を含んでいる。
【００８０】
すなわち、従来の画像合成技術をそのまま適用した場合には、画像変換の際に地面の位置しか仮定していないので、実際には地面に位置しないもの、例えば他の車両や障害物が合成画像上で歪んでしまうという問題が生じる。
【００８１】
そこで本実施形態では、３Ｄ情報推定・障害物検出手段４０９から得られる３次元情報を利用することによって、上述した合成画像上における車両などの歪みを、大きく改善する。このことを、図２０および図２１を用いて説明する。
【００８２】
本実施形態では、３Ｄ情報推定・障害物検出手段４０９から得られる３次元情報を利用して、地面よりも上にある障害物や接近物を検出している。このため、図２０（ａ）に示すように、障害物や接近物の領域をその３次元情報に従って合成するので、仮想視点ＶＶＰから見た画像を合成しても、歪みの少ない自然な画像を合成できる。
【００８３】
すなわち、実際には路面上にない樹木４１２や車両４１３については、撮像手段１０１からの実際の距離ＲＤが検出されているので、その領域は、合成画像生成においても実際の距離ＲＤが考慮された位置に、合成される。したがって、図２０（ｂ）に示すように、実際には路面上にない樹木４１２や車両４１３等も、デフォルトの距離値ではなく実際の距離ＲＤを基にして合成されるので、合成画像上で長く引き延ばされることはなく、自然なものとなる。
【００８４】
このようにして、合成画像において、実際にデフォルトの距離値と同じように路面上に存在する白線等は正確な位置に合成され、かつ、実際には路面上にない樹木や車両等についても自然な画像が得られる。さらに、合成画像は上方から見た画像であるので、距離感が把握しやすい画像を、運転者に示すことができる。
【００８５】
図２１は２個の撮像手段１０１，４０１の撮像画像から合成画像を生成する場合を示す図である。図２１（ａ）に示すように、この場合も実際には路面上にない樹木４１２や車両４１３については、撮像手段１０１，４０１からの実際の距離ＲＤが検出されているので、その領域は、合成画像生成においても実際の距離ＲＤが考慮された位置に、合成される。そして、図２１（ｂ）に示すような合成画像が得られる。図２１（ｂ）の合成画像において、ＶＡ１，ＶＡ２はそれぞれ、撮像手段１０１，４０１の視野範囲に対応する領域、ＯＬは視野範囲が重なったオーバーラップ領域である。図２０（ｂ）の例に比べて、視野角の広い画像が合成されている。また、オーバーラップ領域ＯＬよりも外側の領域でも、消失点から離れているためにフローから距離が求められるので、その距離が考慮された位置に例えば樹木４１５を合成することができる。
【００８６】
（第２の実施形態の変形例）
本実施形態の変形例について、図２２および図２３を参照して説明する。
【００８７】
図２２は本変形例に係る撮像手段の配置の一例を示す図である。上述の実施形態と異なるのは、２台の撮像手段１０１，４０１が、水平方向ではなく垂直方向に間隔ｋをおいて設置されている点である。また、撮像手段の視野範囲については、第２の実施形態と同様に、撮像手段１０１による第１の撮像領域ＶＡ１と撮像手段４０１による第２の撮像領域ＶＡ２とが互いに重なり、オーバーラップ領域ＯＬが生じるようになっている。
【００８８】
そして図２３（ａ）に示すように、第２の実施形態と同様に、２つの撮像領域がオーバーラップする領域にステレオ解析領域ＳＴを設け、またそれ以外の部分にも動き解析領域ＭＡ１，ＭＡ２を設けている。
【００８９】
本変形例に係るステレオ解析領域ＳＴでの処理について、説明する。
【００９０】
図２３（ｂ）に示すように、この２枚の画像では、縦方向にステレオ視差ＶＤが生じる。このとき図２３（ｃ）に示すように、２枚の画像から予め水平エッジＨＥを抽出しておき、この水平エッジＨＥについて２枚の画像間の対応をとることによって、ステレオ視差ＶＤは容易に求めることができる。また、本発明が主な対象とする路面上の車両の画像は、バンパー、ボンネットのラインなどの水平エッジが他のエッジに比べて多く含まれており、容易に検出することが可能である。このステレオ視差ＶＤによって撮像手段からの距離が求まるので、上述の実施形態と同様に、接近物や障害物の検出が可能であり、また、接近物や障害物の画像を立体的に合成して表示することができる。
【００９１】
本変形例では、２個の撮像手段と仮想視点とが縦方向に並ぶので、合成画像は、縦方向の視差が強調された画像となる。また、水平方向のエッジが少なく、このためステレオ視差ＶＤが精度良く求まらない部分では、合成画像での精度も落ちるが、逆に水平エッジが少ないために、位置のずれによる不自然さはほとんど目立たない。したがって、全体として非常に自然であり、かつ、水平エッジのある部分（他の車両が映っている部分など）では、奥行き位置情報が強調された合成画像を生成することができる。
【００９２】
またここで、撮像手段の間隔ｋと、検出可能な距離との関係について、補足説明する。説明を簡単にするために、撮像手段は真後ろを向いているものとする。撮像手段の水平方向の画角を約９０度と仮定すると、距離Ｄが１０ｍのとき、水平方向の画角範囲は約２０ｍに相当する。また撮像手段の画素の縦横比を３：４とすると、垂直方向の画角範囲Ｖｈは約１５ｍに相当する。すなわち、
Ｖｈ／Ｄ＝１．５
である。また、画面の垂直方向の画素数をＶｐとすると、撮像手段と同一高さにある後方車両の水平エッジが、無限遠の視差０から、１画素相当の視差が生じるまで接近するときの距離Ｄは、
Ｖｈ／ｋ＝Ｖｐ
から、
Ｄ＝ｋ＊Ｖｐ／１．５
となる。垂直方向の画素数Ｖｐを４８０、撮像手段の間隔ｋを１０ｃｍ（＝０．１ｍ）とすると、
Ｄ＝０．１＊４８０／１．５＝３２（ｍ）
と概算される。実際の視差の検知精度は０．３〜１画素であり、求められる接近物検出距離が３０〜７０ｍ、撮像手段の画角が６０〜１２０度と仮定すると、撮像手段の間隔は７〜２０ｃｍ程度でよいことが概算できる。
【００９３】
このように、７〜２０ｃｍ程度の間隔で比較的近くに設置された撮像手段によっても、接近物を検出することができるので、車両への搭載がより容易になる。
【００９４】
なお、上述した第１〜第２の実施の形態においては、車両の後方を、主たる監視領域として説明したが、本発明はこれに限られるものではなく、例えば車両前方・側方を監視領域として、車両前方・側方の画像を生成するものとしてもかまわない。
【００９５】
（第３の実施形態）
図２４は本発明の第３の実施形態に係る運転支援装置の構成を示すブロック図である。図２４において、図１４と異なる構成要素は、危険度判定手段５０１、車外警報手段５０２、乗員保護手段５０３である。
【００９６】
第２の実施形態と同様に、複数の撮像手段１０１，４０１により、オーバーラップする領域を階層的ステレオマッチング手段４０５によってステレオ解析することにより、従来検出が困難であった車両真後ろの接近物を精度よく計測することが可能となる。
【００９７】
従来、車両への接近物の検出装置が、真後ろからの接近物を対象としていなかったのは、動き検出だけでは接近物の検出が困難である点と、接近物を検出した後、衝突などを避けるための方法が少ないということもあった。例えば第１の従来例においては、自車両の走行する隣の車線からの接近物を検出した場合、その車線への自車両の進路変更を行わないように警報するなどにより容易に衝突を避けることが可能となる。一方、自車両と同じ車線から接近する車両については、速度を上げて前方へ回避するか、他の車線への進路変更などの積極的な動きが必要とされる。いずれの場合も、接近物以外の周囲の車両、物体への衝突という危険が新たに生じてしまう。
【００９８】
そこで、本実施形態では、移動物接近物検出手段１０９が真後ろからの接近物を検出したときは、危険度判定手段５０１は、衝突までの時間や接近物の速度変化等からこの接近物が衝突する可能性を判定する。そして、衝突の可能性が高いと判断したときは指示信号を出力する。車外警報手段５０２は指示信号を受けて、自動的にブレーキランプを点滅させるなどのように、後方に向けて警報を発する。ここでの警報としては、ブレーキランプの点滅以外にも、後方に向けて設置したランプの照射や点滅、音による警報、ラジオなどの電波を利用しての警報などが考えられる。
【００９９】
また、危険度判定手段５０１から指示信号が出力されると、乗員保護手段５０３は、シートベルトの巻き取りやエアバックの作動準備などの乗員を保護する措置を講じる。エアバックに関しては、予め衝突の可能性が高いことが分かれば、作動準備や乗員の頭部位置の検出などの種々の前処理を行うことが可能になり、これにより乗員保護を確実に行うことができる。
【０１００】
なお、本実施形態の接近物の検出手段は、画像のステレオや動き解析によるものに限定するわけでなく、例えばレーダー、レーザーなどを用いた他の手段により実施することも可能である。
【０１０１】
また、本発明は、車両以外の移動体、例えば船、飛行機、列車などにも容易に適用可能であることはいうまでもない。
【０１０２】
また、複数の撮像手段の設置位置や台数は、ここで示したものに限られるものではない。
【０１０３】
また、本発明に係る運転支援装置の検出手段や画像生成手段の機能は、その全部または一部を、専用のハードウェアを用いて実現してもかまわないし、ソフトウェアによって実現してもかまわない。また、本発明に係る運転支援装置の検出手段や画像生成手段の機能の全部または一部をコンピュータに実行させるためのプログラムを格納した記録媒体や伝送媒体を、利用することも可能である。
【０１０４】
以上説明したところから明らかなように、本発明によって、車両の振動による揺れに影響されずに接近物を検出できる。また、複数の撮像装置によるステレオ解析を併用することによって、動きの変化の小さい車両の真後ろの接近物を検出することができる。
【０１０５】
これら接近物等の検出結果を画像上で報知することによって、運転者が、その位置関係と周囲状況を直接的に確認できる。また、画像を上方からの斜め見下ろしの視点からの画像に変換することにより、接近物までの距離をより分かりやすく提示することができる。
【０１０６】
また、運転者に報知するだけでなく、接近する車両に警報することにより、衝突の可能性を低減でき、衝突の衝撃から乗員を保護する処置をより早くから開始することができる。
【０１０７】
以上述べたように、本発明により、運転者の負担を軽減することができる運転支援装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る運転支援装置の構成を示すブロック図である。
【図２】（ａ）は撮像画像の一例、（ｂ）は（ａ）の画像上にフローが示された図である。
【図３】図２の画像が撮像されたときの状態を上方から見た概念図である。
【図４】（ａ）は消失点とフローとの関係を示す図、（ｂ）は図２の画像上で移動物領域が抽出された図である。
【図５】揺れ成分抽出の処理の流れを示すフローチャートである。
【図６】（ａ），（ｂ）は車両の上下方向の振動が撮像手段に与える影響を示す図である。
【図７】（ａ）〜（ｇ）は動きベクトルのオフセット推定値を求める手順を説明するための図である。
【図８】移動物・検出物検出の処理の流れを示すフローチャートである。
【図９】（ａ），（ｂ）は移動物か否かを判定する方法を説明するための図である。
【図１０】（ａ），（ｂ）は動きベクトルを用いた移動物領域の抽出を表す図である。
【図１１】（ａ）は撮像範囲のデフォルト距離値を示す図、（ｂ）は移動物領域が領域ＡＲ１，ＡＲ２にまたがっているときの距離推定を示す図である。
【図１２】（ａ）は静止背景の動きベクトルが示された画像、（ｂ）は障害物の判定手法を説明するための図である。
【図１３】表示画像の一例を示す図である。
【図１４】本発明の第２の実施形態に係る運転支援装置の構成を示すブロック図である。
【図１５】本発明の第２の実施形態における撮像手段の配置の一例を示す模式図である。
【図１６】（ａ），（ｂ）は各撮像画像にフローを示した図、（ｃ）は（ａ），（ｂ）に示す２枚の画像を重ね合わせてステレオ視差を求めた図である。
【図１７】障害物、移動物および接近物が抽出された画像の例である。
【図１８】（ａ），（ｂ）は移動物が立体表示される合成画像を得るための仮想視点を示す図である。
【図１９】（ａ）は実際の撮像画像の例、（ｂ）は（ａ）から生成した合成画像である。
【図２０】（ａ），（ｂ）は検出した距離を考慮した画像合成を説明するための図である。
【図２１】（ａ），（ｂ）は検出した距離を考慮した画像合成であって、２台の撮像手段を用いた場合を説明するための図である。
【図２２】（ａ），（ｂ）は本発明の第２の実施形態の変形例に係る撮像手段の配置の一例を示す図である。
【図２３】（ａ），（ｂ），（ｃ）は本発明の第２の実施形態の変形例におけるステレオ視差の求め方を説明するための図である。
【図２４】本発明の第３の実施形態に係る運転支援装置の構成を示すブロック図である。

Claims

移動体の運転を支援する装置であって、
当該移動体に設置され、移動体周囲を撮像する撮像手段と、
前記撮像手段の撮像画像から、前記撮像画像中の各位置の動きベクトルを求め、この動きベクトルを基にして、移動体周囲の物体を検出する検出手段とを備え、
前記検出手段は、
前記各動きベクトルの上下方向のオフセットを求め、
前記オフセットから、画面全体における動きベクトルのオフセット推定値を求め、
前記オフセット推定値を、前記移動体の上下方向の振動に起因する揺れ成分として、各動きベクトルからキャンセルするものである
ことを特徴とする運転支援装置。
請求項１において、
前記検出手段は、
前記オフセット推定値をキャンセルされた各動きベクトルを用いて、前記移動体周囲の物体が、移動物か否かを判定する
ことを特徴とする運転支援装置。
請求項１において、
前記検出手段は、
前記オフセットを、前記移動体が直進走行した場合の仮の消失点を用いて、求める
ことを特徴とする運転支援装置。
請求項１において、
前記検出手段は、
前記オフセット推定値を、前記撮像画像における各動きベクトルのオフセットの頻度分布の最も頻度の高い値とする
ことを特徴とする運転支援装置。