JP6571658B2 - 奥行分解された画像データからのオブジェクトを認識するための方法ならびに装置 - Google Patents

Description

本発明は、特に３Ｄカメラやステレオ・カメラを備えたドライバー・アシスタント・システムにおいて用いられる、奥行分解された画像データからのオブジェクト認識方法ならびに装置に関する。

車載カメラを備えたドライバー・アシスタント・システムが、普及してきている。モノカメラに加え、３Ｄカメラやステレオ・カメラも使用されるようになった。ステレオ・カメラにおいては、双方のカメラセンサーの画像情報からピクセル毎の奥行情報を算出することも可能である。結果として得られる奥行画像は、カメラ前方の浮き出たオブジェクトを認識するために、クラスター化することができる。

特許文献１には、少なくとも一つの周辺センサーを用いて、オブジェクトを捕捉し、その三次元的形状と寸法からクラス分類を実施する、少なくとも一つの車両周辺部にあるオブジェクトをクラス分類するための装置が、開示されている。
ここでは、その三次元的形状と寸法が、予め定められている、例えば、商用車、乗用車、単車、自転車、歩行者などのクラスにおいて特徴的な三次元的形状と寸法に合致しないオブジェクトに対する破棄クラスも考慮されている。

しかし、例えば、周辺センサーの捕捉時や評価時のエラーによって、破棄クラスのオブジェクトとして分類され、破棄されたがために、ドライバー・アシスタント機能においては考慮されないが、実は重要なオブジェクトが、該破棄クラスに含まれる可能性は否めない。

欧州特許第１６５２１６１号明細書

よって本発明が解決しようとする課題は、従来の技術における上記の問題や欠点を解消した、奥行分解された画像データからのオブジェクト認識の改善された方法を提供することである。

本発明では、例えば、空間的に重なっているオブジェクトは、奥行情報だけからは、二つの独立したオブジェクトとしてではなく、一つの大きなオブジェクトとして認識されてしまうと言う問題が、出発点であった。このような大きな（合体した）オブジェクトは、三次元的形状を基にしても、大きさを基にしても、正しく分類することはできない。

本発明に係るオブジェクト認識の方法は、以下のステップを包含している：
− ３Ｄカメラの奥行画像から少なくとも一つのオブジェクトを生成するステップ、
− 該少なくとも一つの生成されたオブジェクトに相当する、２Ｄ画像内のオブジェクトを評価、分類するステップ、
− ２Ｄ画像内のオブジェクトの分類を考慮し、奥行画像から生成された少なくとも一つのオブジェクトを、可能であれば、複数の個々のオブジェクトに分類するステップ。

尚、該３Ｄカメラは、特にステレオ・カメラであることが好ましく、該２Ｄカメラは、双方のステレオ・カメラセンサーのうちの一方であることが好ましい。代案的３Ｄカメラとしては、例えば、タイム・オブ・フライト・カメラ、特に、光波混合センサー（Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ， ＰＭＤ）が好ましい。そして、これらの３Ｄカメラによって、三次元画像、或いは、奥行分解された画像、乃至、奥行画像が撮影される。該奥行分解された画像データ（奥行画像）からは、３次元的につながったオブジェクトが生成される。生成されたオブジェクトの空間的位置や広がりは、既知であるため、モノレンズ・カメラセンサーの結像特性を知っていれば、生成されたオブジェクトが映っている２Ｄ画像内の領域を割り出すことができる。少なくとも、２Ｄ画像の該領域は、評価され、そこに見つかった（２Ｄ）オブジェクトは、分類できる。２Ｄ画像における評価には、エッジ認識、彩度や色の分析、セグメント化、及び／或いは、パターン認識も、含まれることが好ましい。そしてこれに続いて、２Ｄオブジェクト生成が実施されることが好ましい。分類においては、２Ｄ画像データからの該オブジェクトは、様々なオブジェクト・クラスに割り当てられる。この割り当ては、確率データに基づいて実施されることもできる。例えば、「軽自動車」、「小型車」、「中型車」、「大型車」、「ＳＵＶ」、「バン」、「単車」、「自転車」、「大人歩行者」、「子供」、「車椅子」などと言ったオブジェクト・クラスには、その平均的な３Ｄ寸法と、可能であれば、形状が割り当てられている。２Ｄ画像から得られるこの様なクラス毎に異なる特徴や３Ｄ寸法を考慮すれば、生成された（三次元）オブジェクトを、少なくとも二つの個々のオブジェクトに分割することが可能である。少なくとも、クラス毎に異なる特徴が、生成されたオブジェクトと十分に一致する限り、生成されたオブジェクトを検証することはできる。

尚、奥行画像と２Ｄ画像は、車両周辺部の少なくとも部分的に重なった部分を示していることが好ましい。これは特に、周辺監視のための車載ステレオ・カメラの場合に、好ましい。奥行画像と２Ｄ画像は、少なくとも一つのドライバー・アシスタント機能用にデータを提供することが好ましい。既知のカメラベースのドライバー・アシスタント機能には、例えば、レーン逸脱警告機能（ＬＤＷ， Ｌａｎｅ Ｄｅｐａｒｔｕｒｅ Ｗａｒｎｉｎｇ）、レーン維持アシスト機能（ＬＫＡ／ＬＫＳ， Ｌａｎｅ Ｋｅｅｐｉｎｇ Ａｓｓｉｓｔａｎｃｅ／Ｓｙｓｔｅｍ）、交通標識認識機能（ＴＳＲ， Ｔｒａｆｆｉｃ Ｓｉｇｎ Ｒｅｃｏｇｎｉｔｉｏｎ）、速度制限推奨機能（ＳＬＡ， Ｓｐｅｅｄ Ｌｉｍｉｔ Ａｓｓｉｓｔ）、自動ハイビーム制御機能（ＩＨＣ， Ｉｎｔｅｌｌｉｇｅｎｔ Ｈｅａｄｌａｍｐ Ｃｏｎｔｒｏｌ）、衝突警告機能（ＦＣＷ， Ｆｏｒｗａｒｄ Ｃｏｌｌｉｓｉｏｎ Ｗａｒｎｉｎｇ）、降水認識／雨認識及び／或いはデイライト認識機能、自動縦方向制御機能（ＡＣＣ， Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、駐車サポート機能並びに自動非常ブレーキ乃至緊急操舵機能（ＥＢＡ， Ｅｍｅｒｇｅｎｃｙ Ｂｒａｋｅ Ａｓｓｉｓｔ ｏｄｅｒ ＥＳＡ， Ｅｍｅｒｇｅｎｃｙ Ｓｔｅｅｒｉｎｇ Ａｓｓｉｓｔ）などがある。

ある好ましい実施形態においては、少なくとも一つの３Ｄプレースホルダが、２Ｄ画像内のオブジェクトの分類結果に基づいて、定められ、このオブジェクト用のプレースホルダとして、奥行画像内において考慮される。

３Ｄプレースホルダとしては、錐台が好ましく用いられる。該錐台は、２Ｄ画像においてクラス分類されたオブジェクトの典型的な三次元寸法と、奥行画像から得られる距離から生成される。錐台の三次元的形状としては、遠近法に基づいて、先をカットしたピラミッド型を用いることもできる。

ある好ましい実施形態によれば、３Ｄプレースホルダは、３Ｄ画像捕捉及び／或いは２Ｄ画像捕捉並びにこれらの評価から生じる公差を考慮している。三次元位置割出しにエラーがある、２Ｄ画像に例えばノイズがあるなどは、クラス分類において不正確さの原因になり得る。

３Ｄプレースホルダは、オブジェクトのクラス内における３Ｄ寸法の分布も考慮することが好ましい。クラス「大人歩行者」では例えば、平均値１．７０メートルを中心に、１．５０から２．３０メートルの範囲で分布し得る。

奥行画像から生成された少なくとも一つのオブジェクトから３Ｄプレースホルダの領域が分離されることが好ましい。

ある好ましい実施形態においては、少なくとも一つの３Ｄプレースホルダを考慮したうえで、奥行画像から改めてオブジェクトが生成されるが、該３Ｄプレースホルダの境界を超えるオブジェクト生成は、困難にしておく。この際、公差と分布も、異なる「難易度」を用いることによって考慮できる。

好ましくは、該３Ｄプレースホルダは、奥行画像から生成された少なくとも一つのオブジェクトと比較され、対応する空間体積の類似する一致性が認められる場合、該オブジェクトは、分割されない。これにより、生成されたオブジェクトが、検証される。

本発明は、更に、奥行画像を捕捉できるように構成された３Ｄカメラ、少なくとも一つのオブジェクトを該奥行画像から生成することができるように構成された第一オブジェクト生成ユニット、２Ｄ画像撮影用のカメラセンサー、奥行画像内の少なくとも一つの生成されたオブジェクトに対応する２Ｄ画像内のオブジェクトをクラス分類するための２Ｄ画像・評価・クラス分類ユニット、並びに、奥行画像内で生成された少なくとも一つのオブジェクトを、２Ｄ画像内のオブジェクトのクラス分類を考慮した上で、複数の個々のオブジェクトに分割するオブジェクト分割ユニットを包含する車両周辺部においてオブジェクトを認識するための装置にも関する。

以下、本発明を、実施例と図面に基づいて詳しく説明する。

ステレオ・カメラによって撮影されたオブジェクトの奥行画像用の平行６面体を模式的に示す図である。

唯一の図面は、ステレオ・カメラによって撮影されたオブジェクト（１）の奥行画像用の平行６面体を模式的に示している。該オブジェクトは、車椅子に乗っている女性（２）とバンなどの乗用車から構成されている。車椅子の女性（２）が、乗用車（３）の直前にいるため、即ち、双方の間に空間的な隔離が無いため、ステレオ・カメラの３Ｄ画像では、一つのオブジェクトとして割り出され、クラスター化される。

図１の描写には、好ましくは、双方のステレオ・カメラセンサーのうちの一つによって撮影された２Ｄ画像（５）も含まれている。示されている２Ｄ画像（５）は、撮影するカメラの仮想画像レベル上にあり、ここでは、車椅子の女性（２）と乗用車（３）の少なくとも一部を包含している。奥行画像において割り出されたオブジェクト（１）に相当する２Ｄ画像の画像領域は、予め割り出すことができるため、２Ｄ画像では、この領域のみが分析される。２Ｄ画像における分析には、既知の二次元画像データ用の画像処理方法、特に、エッジ認識、彩度や色の分析、セグメント化、及び／或いは、パターン認識が、好ましい。尚、画像処理方法に、２Ｄ画像データに基づいたオブジェクト生成とオブジェクト・クラス分類も含まれることが好ましい。ここでは、２Ｄ画像におけるオブジェクト・クラス分類から、第一オブジェクトは、「車椅子の人」と分類され、第二オブジェクトに関しては、「乗用車」或いは「バン」として分類できるかもしれない。即ち、該第二オブジェクトは、乗用車が、２Ｄ画像内に完全には映っていないため、しかも、車椅子の女性によってその一部が覆われているため、分類できない可能性もある。しかしこれは、この方法にとってそれほど重要なことではない。

次に、「車椅子の人」としてクラス分類が成功したオブジェクトに対しては、奥行画像用のプレースホルダ（６）が、生成される。この際、２Ｄ画像（５）内でクラス分類されたオブジェクト「車椅子の人」の大きさと、奥行画像から得られる距離、並びに、そのクラスにおいて典型的なオブジェクトの奥行から、錐台（６）が、セットされる。該錐台（６）では、３Ｄ捕捉の精度、２Ｄ画像のノイズ、及び／或いは、あるクラスに属するオブジェクトの平均寸法を中心としたオブジェクト寸法の分布などを含む公差と偏差も考慮される。これにより、該錐台（６）は、プレースホルダの役割を果たす。即ち、「車椅子の人」の典型的な空間的寸法を想定している。これらの寸法と、奥行画像から既知のカメラから各ピクセルまでの距離を用いることにより、該錐台は、ステレオ・カメラの空間的視野（４）への投影として割り出される。該錐台（６）は、視野（４）の遠近法において、この図では、先をカットしたピラミッドのような三次元の形状として模式的に示されている。

該錐台（６）を用いることにより、空間における、該錐台外へ至るクラスター化用の接続は、パラメータ化できる方法によって困難にされている（７）。これにより、奥行画像においては分離が困難なオブジェクトであっても、空間内において明確に分離できる。このことは、本例の車椅子の女性（２）と乗用車のケースにおいてのみならず、歩行者のグループや、家の壁にもたれている人、密集して駐車されている複数の自動車、その他、空間的に重なり合っているオブジェクトの分解（オブジェクト・スプリッティング）においても同様に有効である。

この方法は更に、認識されたオブジェクトを基にするドライバー・アシスタント機能に対して、例示されているシーンにおいて車椅子の女性（２）が、独立したオブジェクトとして信頼性高く認識され、続いて、同様の方法で、乗用車、乃至、バン（３）も認識されると言う長所を提供している。

一方、このシーンの奥行画像からのみでは、実際に存在している双方のオブジェクト・クラスよりも空間的に広く、然るに、全くクラス分類できないと言う恐れのある一つのオブジェクト（１）しか認識できなかったであろう。即ち該オブジェクトが、「車椅子の人」として認識されないのであるから、ドライバー・アシスタント機能によって、車椅子の女性（２）を保護するような対策は、実施されなかったであろう。

１ 奥行画像から生成されたオブジェクト
２ 車椅子の女性
３ 乗用車
４ 視野
５ ２Ｄ画像
６ プレースホルダ／錐台
７ クラスター化の際に、困難にされた、錐台内への或いは錐台から外への接続

Claims (10)

1. 以下のステップを包含する、オブジェクトを認識するための方法：
   − ３Ｄカメラの三次元画像から三次元的につながったオブジェクトを生成するステップ、
   − 該三次元画像内に生成された三次元的につながったオブジェクト（１）に相当する、２Ｄ画像（５）の画像領域内の一又は複数のオブジェクト（２，３）を評価、分類するステップ、
   − ２Ｄ画像内のオブジェクト（２，３）の分類に基づいて、クラス毎に異なる特徴のある３Ｄ寸法の割り当てを行うステップ、
   − クラス毎に異なる特徴のある３Ｄ寸法を考慮し、三次元画像から生成された三次元的につながったオブジェクト（１）を、複数の個々の三次元的なオブジェクト（２；３）に分割するステップ。
2. ドライバー・アシスタント・システムの３Ｄカメラや車載ステレオ・カメラにより三次元画像が、ドライバー・アシスタント・システムのモノレンズ・カメラセンサーにより２Ｄ画像（５）が、捕捉され、車両周辺部の少なくとも一部が重なり合っている領域を表している
   ことを特徴とする請求項１に記載の方法。
3. 車載ステレオ・カメラの二つのカメラセンサーの一方のカメラセンサーがモノレンズ・カメラセンサーである
   ことを特徴とする請求項２に記載の方法。
4. 少なくとも一つの３Ｄプレースホルダ（６）が、２Ｄ画像（５）内のオブジェクト（２， ３）の分類結果に基づいて、定められ、このオブジェクト用の前記３Ｄプレースホルダとして、三次元画像内において考慮される
   ことを特徴とする請求項１乃至３のいずれか一項に記載の方法。
5. ３Ｄプレースホルダ（６）が、錐台であることを特徴とする請求項４に記載の方法。
6. 前記３Ｄプレースホルダ（６）が、３Ｄ画像捕捉及び／或いは２Ｄ画像捕捉並びにこれらの評価から生じる公差を考慮していることを特徴とする請求項４乃至５のうち何れか一項に記載の方法。
7. 前記３Ｄプレースホルダ（６）が、オブジェクトのクラス内における３Ｄ寸法の分布を考慮していることを特徴とする請求項４乃至６のうち何れか一項に記載の方法。
8. 該３Ｄプレースホルダ（６）が、三次元画像から生成された三次元的につながったオブジェクト（１）と比較され、類似する一致性が認められる場合、該三次元的につながったオブジェクトは、分割されないことを特徴とする請求項４乃至７のうち何れか一項に記載の方法。
9. 少なくとも一つの前記３Ｄプレースホルダ（６）を考慮したうえで、三次元画像から改めてオブジェクトが生成されるが、該３Ｄプレースホルダ（６）の境界を超えるオブジェクト生成が、困難にされていることを特徴とする請求項４乃至８のうち何れか一項に記載の方法。
10. 三次元画像を捕捉できるように構成された３Ｄカメラ、
    三次元的につながったオブジェクトを該三次元画像から生成することができるように構成された第一オブジェクト生成ユニット、
    ２Ｄ画像（５）を撮影することができるように構成されたカメラセンサー、
    三次元画像内の少なくとも一つの生成された三次元的につながったオブジェクト（１）に対応する、２Ｄ画像（５）の画像領域内の一または複数のオブジェクト（２，３）をクラス分類し、
    ２Ｄ画像内の分類されたオブジェクト（２，３）に基づいて、クラス毎に異なる特徴のある３Ｄ寸法の割り当てを行い、
    三次元画像から生成された三次元的につながったオブジェクト（１）を、分類されたオブジェクト（２，３）のクラス毎に異なる特徴のある３Ｄ寸法を考慮した上で、複数の個々の三次元的なオブジェクト（２，３）に分割する
    ことができるように構成された２Ｄ画像・評価・クラス分類ユニット、
    を包含する、車両周辺部においてオブジェクトを認識するための装置。

Images