JP2009071836A - 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス - Google Patents

Abstract

【課題】 画像捕捉システムを有する、自動車の運転を支援するためのデバイスを提供する。
【解決手段】 この画像捕捉システムは、少なくとも１つの第１のカメラ、および第２のカメラを有する立体画像捕捉システムを備えており、第１のカメラは、第２のカメラの視野（１０２）よりも広い視野（１０１）を有しており、その結果、立体画像捕捉システムは、自動車の運転を支援するためのデバイスに多機能性を与える。
【選択図】図１

Description

本発明は、自動車の運転を支援するための、立体視システムの形態である、画像を捕捉するシステムを有するデバイスに関する。運転を支援するデバイス、より詳細には、立体画像を捕捉するシステムが、自動車の内部に配置されている。

本発明によるデバイスは、第一義的には、自動車内に展開される、運転の支援機能を改善することを目的とするものであるが、同時に、これらの機能のいくつかを経済的に提供するためのものでもある。一例として、これらの機能には、ＢｅａｍＡｔｉｃ（登録商標）機能として知られている、自動ビーム切り替えシステムが含まれると言うことができる。その機能は、その時点における交通状況に応じて、ディップビームのヘッドランプをフルビームのヘッドランプに、およびその逆に切り替えることができる。

概略的に言うと、本発明の応用領域は、高度な運転支援システム、より詳細には、障害物、特に、車両の進路を横断しているか、または、車両の前を進行している他の車両を検出および識別するシステムの領域である。これは、過去１５年間に導入された高度な運転支援システムに関する研究分野において、特に自動車および自動車機器のメーカーによって、最も研究された主要な領域の１つである。多くの解決方法が構想され、自動車の内部からの障害物の検出および識別のために実行に移された。それらのほとんど全ては、近接した、低速度の障害物を検出するためのレーダー、ライダー、および超音波技術、さらに、カメラを有するデバイスの使用を伴うプロセスに基づいている。

レーダーセンサおよびライダーセンサは、例えば、周囲物体の位置に関する情報、および場合によっては、周囲物体の三次元速度に関する情報を直接供給することができるＡＣＣ（自動走行制御）システムのように、通常、長距離の検出に用いられている。この情報は、異なる物体を判定し、かつセンサデバイスを装着された車両に対して相対的な、また、車両の位置が一定の基準点に関して適切に設定されている場合には、その基準点に対しても相対的な、それらの物体の位置、速度、および、その時点における三次元座標のような有用な情報を、それらの物体に関連付けることを可能にする。

しかし、このタイプのセンサは、広い視界を有しておらず、また、それらによる角度位置の測定は、あまり正確ではない。さらに、それらのセンサは、それら自体が占めている車線内にある車両の位置、車線数、道路の軌跡、障害物の区分、路側パネルのような施設素子を認識した可能性というような、道路環境についてのいかなる情報も提供しない。さらに、視野が長距離で狭いために、異なる車線から、センサを装着された車両の車線にやって来た車両が「割り込む」恐れがあり、運転者が、状況を制御するために敏感に反応しなければならない、いわゆる「割り込み」展開を、十分に初期の段階で検出することが不可能である。

車内に搭載されたカメラを用いて障害物を検出する方法は、レーダーシステムまたはライダーシステムの能力を越えている問題を解決することができる。カメラによって供給される情報は、一般に、現実の三次元（３Ｄ）空間の、画像面上への典型的な透視投影によって生み出される二次元（２Ｄ）画像の形態でもたらされる。

カメラを用いて障害物を検出するために用いることができる方法は、３つの主要なカテゴリー、すなわち、２次元形状の認識、単眼視野における動き（言い換えると、単一のカメラによって捕捉される動き）の分析による三次元情報の復元、および、立体画像に対する三角測量に分類することができる。この最後のカテゴリーは、それが、障害物からの距離に関して、正確な相関的情報を供給するから、得られた結果の質の点から、最も満足なものである。

さらに、運転支援機能を遂行するために、今日まで自動車内で用いられているカメラ形式の種々のタイプのセンサは、それぞれに利点と欠点とを有する次の２つの主要なグループに分類することができる。
−白黒カメラとしても知られているグレーレベルカメラ。
−カラーカメラ。

カラーカメラは、特に、テールランプの識別および認識を容易にすることができる。このように、情報結果がカラーで供給されるために、検出範囲は増加する。通常、このタイプのカメラは、グレーレベルカメラであるが、その前面に、バイエル・フィルタとして知られているフィルタが配置されている。これによって、各捕捉画像の赤、緑、青（ＲＧＢ）成分を算出することができる。しかしながら、これらのフィルタは、用いているセンサデバイスの空間解像度を減少させる効果を有しており、それによって、単一のカラーセンサを用いて得られた距離の計算（２つのプロジェクタと検出された車両との間の距離を測定することによって実行されることが多い）が、単一のグレーレベルセンサを用いてなされた計算よりも正確さに欠けるという結果を伴う。

ヘッドランプ・ビームの切り替え操作は、対向車両や先行車両が検出される距離に直接依存するから、運転支援へのいくつかの適用、特にＢｅａｍＡｔｉｃ（登録商標）への適用において、この情報は、極めて重要である。しかしながら、ある距離以上では、グレーレベルセンサは、１つの車両のテールランプを、他の１つの車両のテールランプと区別することができなくなり、さらに、グレーレベルセンサは、いかなるカラー情報も受信しないから、結局、テールランプを全く検出することができなくなる。

今日、使用に供されているグレーレベルセンサにおいては、この最大距離は４５０ｍである。したがって、カラーセンサとグレーレベルセンサのうちのどちらかを選択するということは、検出範囲と算定距離の精度のどちらかに妥協を与えるということである。

用いられる２つのカメラが、カラーカメラであろうと、グレーレベルカメラであろうと、立体視システムを用いることによって、検出された物体からの距離を、正確に計算することが可能になる。したがって、ＢｅａｍＡｔｉｃ機能が、満足のいくやり方で遂行される。一般的に言うと、他の機能よりも高い解像度レベル、あるいは、より狭い視野を必要とする機能が存在することは確かである。しかし、専用機能のために２つのカメラを設置することは、主要なコスト項目を構成する。したがって、この解決方法は、禁じられることが多い。

本発明は、上に提起した問題に対する解決方法を提供することを目的とするものである。本発明は、さらに、運転を支援するためのデバイス内に含まれている、画像を捕捉するための立体視システムを用いることを提案するものである。しかし、本発明は、その立体視システムが、運転支援応用の点で、正真正銘の多機能性を示すように実行され、かつ、多機能性を可能にすることを提案する。多機能性の態様の導入には、多くの利点が伴う。

例えば、運転支援システムに必要な機器を構成する種々の品目の集積化が単純化される。また、フロントガラス面に必要とされるスペース量が縮小される。さらに、コスト、および、リンケージの複雑性が減る。

この目的を達成するために、本発明は、自動車の運転を支援するためのデバイスが、相異なる視野を有する２つのカメラを備えた立体視システムを使用することを提案する。それによって、両方の画像捕捉システムの利点が取り込まれる。この立体視システムは、グレーレベルカメラとカラーカメラの両方を有することが好ましい。それによって、より多くの機能を用いることが可能になる。

本発明は、特に画像捕捉システムを有する、自動車の運転を支援するためのデバイスに関するものであって、この画像捕捉システムは、少なくとも１つの第１のカメラおよび第２のカメラを備えている、画像を捕捉するための立体視システムであり、第１のカメラは、第２のカメラの視野よりも広い視野を有しており、その結果、前記立体視システムは、前記運転を支援するためのデバイスに多機能性を与えることを最も主要な特徴としている。

このように、第２のカメラは、第１のカメラによって捕捉される画像の一部分と等価なゾーン上の画像を捕捉することができ、したがって、第２の画像にズーム効果を生み出すことができる。

上述の主特性に加えて、本発明によるデバイスは、さらに、次の付加特性のうちの１つ以上を有することがある。

− 第１のカメラおよび第２のカメラは、それらの視野内に、自動車の進行方向に概ね中心を置く重なりゾーンを有する。

− 第１のカメラは、グレーレベルカメラ・タイプであり、かつ、第２のカメラは、カラーカメラ・タイプである。したがって、第２のカメラは、検出される物体のカラーに関する情報を供給する。

− 第１のカメラの視野は、３０〜５０度、好ましくは４０度であり、一方、第２のカメラの視野は、１５〜２５度、好ましくは２０度である。

− 第１のカメラの視野の大きさは、第２のカメラの視野の大きさの倍数である。

− 第１のカメラの視野および第２のカメラの視野は、自動車の進行方向に概ね中心を置いている。

− 第２のカメラには、ＲＧＢｉタイプのセンサ、または、ＲｅｄＣｌｅａｒタイプのセンサのように、捕捉画像の赤成分の計算に関連付けて、グレーレベルで画像を捕捉することができるセンサが装着されている。

ＲＧＢタイプのセンサと同様に、ＲＧＢｉタイプのセンサ、および、ＲｅｄＣｌｅａｒタイプのセンサは、前面にフィルタを配置されたグレーレベルセンサを用いて形成されている。ＲＧＢｉセンサの場合には、このフィルタは、捕捉画像の赤、緑、青、および赤外成分を捕捉することを可能にする。一方、ＲｅｄＣｌｅａｒセンサの場合には、捕捉されたグレーレベルの画像が、その捕捉画像の赤成分の計算に関連付けられる。ＲｅｄＣｌｅａｒセンサの利点は、それが、重要なカラー情報（例えば、赤いテールランプ）を供給するということ、および、さらに、その解像度が、ＲＧＢセンサやＲＧＢｉセンサの解像度よりも高いということである。

本発明の種々の実施形態を得るために、互いに相容れないものでない限り、本発明によるデバイスの種々の付加特性を、あらゆる可能な置き換えに基づいて組み合わせることができる。

本発明は、さらに、本発明によるデバイスを用いて立体画像を捕捉する、次のステップを含むプロセスにも関する。
− 第１のカメラを用いて、少なくとも１つの第１の画像を捕捉するステップと、
− 第２のカメラを用いて、第２の画像を捕捉するステップと、
− 前記第１の画像と第２の画像とを一致させるステップ。

この最後の、第１の画像と第２の画像とを一致させるステップは、次のサブステップを含むことが好ましい。
− 第１の画像から、最大解像度で、第２の画像に対応する部分を抽出するサブステップと、
− 第２の画像から、第３の画像を抽出するサブステップであって、第３の画像は、第３の画像と第１の画像から抽出された部分とがピクセル数において同一規模となるように、サンプル化された第２の画像に対応しており、その結果、前記部分と第３の画像とは、それらの構成の一致を達成されるサブステップ。

本発明は、さらに、上述の主特性、および、場合によっては付加特性のうちの１つ以上を有する、本発明による、運転を支援するためのデバイスを装着された自動車に関する。

添付図面を参照して、以下の説明を読むことによって、本発明およびその種々の応用について、よく理解しうると思う。

図面は、理解を助けるためだけのものであって、本発明の範囲を限定するためのものではない。

図１は、本発明によるデバイスを装着された車両１００を示している。この車両１００は、カラー情報を供給しない、グレーレベルカメラタイプの少なくとも１つの第１のカメラ、および、カラーカメラタイプの第２のカメラを備えている。図示されている例においては、第１のカメラは、車両１００の進行方向１０６を中心とする視角によって定義される第１の視野１０１を有している。この視角の大きさは、４０度の程度である。

第２のカメラは、やはり、車両１００の進行方向１０６を中心とする第２の視野１０２を有している。この第２の視野１０２は、第１のカメラの第１の視野１０１よりも小さくて、例えば、２０度の程度である。第２の視野には、グレアゾーン１０５がほとんど完全に含まれるのが有利である。グレアゾーンとは、車両１００が、走行ビームヘッドランプを用いたときに、その内部に存在する、他の任意の車両１０３が眩惑させられる危険にさらされるゾーンを意味している。

このように、２つのゾーンは、重なりゾーン１０４を有する。この重なりゾーンにおいては、第１のカメラと第２のカメラとの両方によって画像を捕捉することができる。すなわち、この重なりゾーン内では、立体画像が与えられる。したがって、これらの視野内のいずこかに位置する、いかなる対向車両または先行車両も検出される。そして、得られた検出情報を、運転支援機能に特有の少なくとも１つの処理ステージにかけることができる。

このような性質を有するデバイスは、特に、次のような運転支援機能を遂行することができる。

− ３車線をカバーし、また、道路カーブ上の画像を与えることができるほどに十分に大きな視角を必要とする、ＬＤＷＳ（車線逸脱警報システム）、ＢｅａｍＡｔｉｃ、ＦＰＷなどにおける単眼カメラ機能。通常、これらの機能に用いられる視角は、４０度である。そのような機能に対しては、グレーレベルカメラを用いるのが好適である。例えば４０度の広角度が用いられるが、３０度以内および５０度以内の広角度を用いることもできる。それらの広角度を用いることによって、ユーザは、ユーザの車両がたどっている車線と、さらに、その両側に隣接する２つの車線とに関する情報を供給する、広い視野を与えられる。さらに、前の車両を追い抜くとき、道路カーブに入るとき、および、街灯を検出するときにも、４０度の視野は必要である。

− 遠くの物体に対して、よりよい解像度レベルを必要とする、暗視または歩行者の検出におけるような単眼カメラ機能。この場合には、視角は、より狭くなる（おおよそ２０度）。これらの機能に対しては、カラーカメラを用いるのが好ましい。さらに、カラーカメラを用いることによって、テールランプに対する検出感度は向上する。

− 検出された物体の正確な相関的算定を必要とする任意の機能。この立体視システムでは、本発明によるデバイスは、これらの機能を遂行することができる。そのような１つの機能は、例えば、他の自動車の位置に関連付けて、ほぼ下向きにしたヘッドランプ・ビームの長さを漸進的に調整する機能である。

図２は、本発明によるデバイスを用いて、障害物からの距離の正確な算定を与える様子を、より詳細に示している。

グレーレベルカメラは、任意のタイプの物体を、０メートルから、そのカメラに対して与えられている最大検出距離までの距離範囲内で検出することができる。長距離限界は、テールランプの検出限界によって与えられる。長距離においては、潜在的な障害物が、ほぼ、車両１００と一直線上にある場合にしか、車両１００のヘッドランプの下向きになっていない走行ビームは眩惑効果を有しない。この場合には、障害物は、必然的に、重なりゾーン１０４内に存在しているから、第１のカメラによって生成される第１の画像２０１内にも現れるし、また、第２のカメラによって生成される第２の画像２０２内にも現れる。

このように、物体、例えば、第１の画像において示されている、車両の２つのヘッドランプ像２０５の検出は、第２の画像２０２においても確認される。第１の画像２０１の一部分２０３と等価なゾーンで、第２の画像２０２が生成されるというズーム効果が得られる。さらに、検出された物体のカラーに関する情報が供給される。

このような長距離においては、距離を算定する従来の手段（垂直位置の測定、車両幅を基にした三角測量など）は、正確とは言い難い結果しか示さない。本発明によるデバイスにおいては、障害物からの距離を算定するために、立体視の原理が用いられる。重なりゾーン１０４内において検出された任意の物体に対して、立体視の原理を適用することができる。この重なりゾーンにおいて検出されるいかなる物体も、第１の画像２０１と、第２の画像２０２との両方に現れる。したがって、それらを一致させることが可能である。

この一致操作は、本発明によれば、第１の画像２０１から、その一部分２０３を抽出することによって得られる。この一部分２０３は、最大解像度で、第２の画像２０２に対応するように抽出される。等価性を得るために、画像２０４が、第２の画像２０２から抽出される。この画像２０４は、画像２０４と一部分２０３とがピクセル形式において同一規模となるように、サンプル化された第２の画像に対応している。２つの画像をこのようにして得ることによって、一致操作を達成することができる。視角４０度と２０度の２つのカメラで実行されているにもかかわらず、本発明によるデバイスの立体視システムの精度は、視角４０度と４０度の２つのカメラを使用した立体視システムで達成される精度と同じである。

図１に示されている、近接ゾーン１０７として知られている特別のゾーンは、前の車両を追い抜くとき、または、道路カーブにおいて対向車両に遭遇したときに、それらの障害物を検出するために用いられる。そのような近距離においては、１個の単眼カメラによる、従来の距離算定原理で十分な精度を得ることができる。

本発明においては、グレーレベルカメラとカラーカメラとで、同じセンサ（特に、解像度に関して）を用いるのが有利である。しかしながら、実施形態によっては、異なるタイプのセンサを用いることもできる。

本発明によるデバイスのいくつかの実施形態において、センサ中の多数のピクセルが赤外線に感度を有するＲＧＢｉタイプのカラーカメラが用いられる。その場合には、いくつかの機能、特に、暗視に関連した機能がさらに有効になる。

上述の例は、限定することを目的にするものではない。例えば、同一の原理に基づいて、異なる解像度および視野を必要とする２つの異なる機能を遂行するために、異なる視野を有する２つのグレーレベルカメラを用いることが可能である（この場合には、明らかに、それらの機能は、カラー検出に基づくものではない）。

本発明によるデバイスの代表的応用を説明する概略図である。 本発明によるデバイスによって捕捉された画像に基づく操作を説明する概略図である。

符号の説明

１００、１０３ 車両
１０１ 第１の視野
１０２ 第２の視野
１０４ 重なりゾーン
１０５ グレアゾーン
１０６ 進行方向
１０７ 近接ゾーン
２０１ 第１の画像
２０２ 第２の画像
２０３ 一部分
２０４ 画像
２０５ ヘッドランプ像

Claims (10)

1. 画像捕捉システムを有する、自動車（１００）の運転を支援するためのデバイスであって、画像捕捉システムは、画像を捕捉するための立体視システムを備えており、この立体視システムは、第１のカメラおよび第２のカメラを備えており、この第１のカメラは、該第２のカメラの視野（１０２）よりも広い視野（１０１）を有しており、その結果、前記立体視システムは、前記運転を支援するためのデバイスに多機能性を与えるようになっていることを特徴とするデバイス。
2. 前記第１のカメラおよび第２のカメラは、それらの視野内に、自動車（１００）の進行方向（１０６）に概ね中心を置く重なりゾーン（１０４）を有することを特徴とする、請求項１に記載のデバイス。
3. 前記第１のカメラは、グレーレベルカメラ・タイプであり、かつ前記第２のカメラは、カラーカメラタイプであることを特徴とする、請求項１または２に記載のデバイス。
4. 前記第１のカメラの視野（１０１）は、３０〜５０度、好ましくは４０度であり、前記第２のカメラの視野（１０２）は、１５〜２５度、好ましくは２０度であることを特徴とする、請求項１〜３のいずれか１つに記載のデバイス。
5. 前記第１のカメラの視野（１０１）の大きさは、前記第２のカメラの視野（１０２）の大きさの倍数であることを特徴とする、請求項１〜４のいずれか１つに記載のデバイス。
6. 前記第１のカメラの視野（１０１）および第２のカメラの視野（１０２）は、前記自動車の進行方向（１０６）に概ね中心を置いていることを特徴とする、請求項１〜５のいずれか１つに記載のデバイス。
7. 前記第２のカメラには、ＲＧＢｉタイプのセンサ、または、ＲｅｄＣｌｅａｒタイプのセンサのように、捕捉画像の赤成分の計算に関連付けて、グレーレベルで画像を捕捉することができるセンサが装着されていることを特徴とする、請求項１〜６のいずれか１つに記載のデバイス。
8. − 第１のカメラを用いて、少なくとも１つの第１の画像を捕捉するステップと、
   − 第２のカメラを用いて、第２の画像を捕捉するステップと、
   − 前記第１の画像と第２の画像とを一致させるステップとを含み、
   請求項１〜７のいずれか１つに記載のデバイスを用いて立体画像を捕捉するプロセス。
9. 前記第１の画像と第２の画像とを一致させるステップは、
   − 前記第１の画像（２０１）から、最大解像度で、前記第２の画像（２０２）に対応する部分（２０３）を抽出するサブステップと、
   − 前記第２の画像（２０２）から、第３の画像（２０４）を抽出するサブステップであって、この第３の画像（２０４）は、この第３の画像（２０４）と前記第１の画像（２０１）から抽出された部分（２０３）とが、ピクセル形式において同一規模となるように、サンプル化された前記第２の画像（２０２）に対応しており、その結果、前記部分（２０３）と前記第３の画像（２０４）とは、それらの構成の一致を達成されるサブステップとを含んでいることを特徴とする、請求項８に記載のプロセス。
10. 運転を支援するための、請求項１〜７のいずれか１つに記載のデバイスが装着されていることを特徴とする自動車（１００）。

Images