JP7120181B2 - 物体認識装置 - Google Patents

Description

本発明は、車両に搭載される物体認識装置に関する。

特開２０１２－１４５４４４号公報は、ライダー（LIDAR: Laser Imaging Detection And Ranging）によって検出されたデータ点群のクラスタリング処理を行う物体認識装置を開示する。データ点群は、多数の検出点の三次元位置データ（すなわち、Ｘ、ＹおよびＺ位置データ）から構成される。クラスタリング処理では、検出点間で三次元位置データの比較などが行われ、１つの物体と見做すことのできる検出点同士がグループ化される。

特開２０１２－１４５４４４号公報 特開２０１８－０４８９４９号公報

ライダーは、レーザ光の飛行時間（TOF: Time of Flight）に基づいてＺ位置データ（すなわち、飛行時間データ）を生成する。そのため、飛行時間が計測されなかった場合、Ｚ位置データが得られない。Ｚ位置データが得られなかった場合、データ点群に空白領域が発生する。この場合、空白領域はクラスタリング処理の対象外となる。

飛行時間が計測されなかった場合には、レーザ光の照射先にレーザ光を反射する物体が存在しない場合と、照射先にレーザ光を吸収する低反射物体（例えば、黒色系の物体）が存在した場合と、が含まれる。そのため、後者の場合にはクラスタリング処理が正しく行われず、低反射物体の認識を誤る可能性がある。

本発明の１つの目的は、ライダーから照射されたレーザ光を吸収する低反射物体を認識することのできる物体認識装置を提供することにある。

第１の観点は、上記課題を解決するための物体認識装置であり、次の特徴を有する。
前記物体認識装置は、ライダーと、処理装置とを備える。
前記ライダーは、車両の周囲にレーザ光を照射し、前記周囲で反射したレーザ光を検出する。
前記処理装置は、前記ライダーの検出点群のクラスタリング処理を、前記レーザ光の飛行時間データを含む各検出点の三次元位置データに基づいて行う。
前記物体認識装置は、更に、カラー画像取得部を備える。
前記カラー画像取得部は、前記周囲のカラー画像を取得する。
前記処理装置は、前記クラスタリング処理において、前記三次元位置データにより表現される距離画像上の第１および第２座標においてリンク条件が満たされる場合、前前記第１座標に対応する第１検出点と、前記第２座標に対応する第２検出点とを関連付ける。
前記リンク条件は、前記第１および第２座標の間における距離が所定距離以上であり、前記第１および第２検出点の間における前記飛行時間データの差が所定差未満であり、かつ、座標条件が満たされる場合に満たされる。
前記座標条件は、前記第１および第２座標の間の経路上に位置する座標を示す経路座標が前記飛行時間データの計算が行われなかった未検出座標に該当し、かつ、前記経路座標の位置に合致する前記カラー画像上の座標の画素値を示すカラー画素値が全て所定の黒色系画素値に該当する場合に満たされる。

第２の観点は、第１の観点において更に次の特徴を有する。
前記処理装置は、前記クラスタリング処理を行う前に、補間処理を行う。
前記補間処理は、前記未検出座標における飛行時間データを補間する処理である。
前記処理装置は、前記補間処理において、採用条件が満たされる場合、補間用データを前記未検出座標における飛行時間データとして採用する。
前記採用条件は、補間後の前記未検出座標の位置に合致する前記カラー画素値が前記所定の黒色系画素値に該当する場合に満たされる。

第３の観点は、第２の観点において更に次の特徴を有する。
前記補間用データが、前記距離画像上の縦軸負方向において前記未検出座標からの距離が最も短い座標における前記飛行時間データである。

第４の観点は、第２の観点において更に次の特徴を有する。
前記物体認識装置は、更に、位置情報取得部と、データベースとを備える。
前記位置情報取得部は、前記車両の位置情報を取得する。
前記データベースには、地形情報が格納されている。
前記処理装置は、前記補間処理において、前記位置情報および前記地形情報に基づいて、前記距離画像上の座標のうちから路面に相当する座標を示す路面座標を特定する。
前記補間用データは、前記距離画像上の縦軸負方向において前記未検出座標からの距離が最も短い前記路面座標における前記飛行時間データである。

第１の観点によれば、リンク条件が満たされる場合に、第１検出点と第２検出点とが関連付けられる。リンク条件によれば、第１および第２座標の間に未検出座標が存在する場合であっても、第１検出点と第２検出点とを関連付けることができる。そうすると、これらの検出点がクラスタリング処理において同一のクラスタにグループ化され易くなる。したがって、低反射物体の誤認を抑えることが可能となる。

第２の観点によれば、クラスタリング処理を行う前に補間処理が行われる。補間処理では、採用条件が満たされる場合、補間用データが未検出座標における飛行時間データとして採用される。したがって、クラスタリング処理における計算負荷を減らすことが可能となる。

第３の観点によれば、距離画像の縦軸負方向において未検出座標からの距離が最も短い座標における飛行時間データが補間用データとして採用される。したがって、クラスタリング処理の精度を向上することが可能となる。

第４の観点によれば、距離画像の縦軸負方向において未検出座標からの距離が最も短い路面座標における飛行時間データが補間用データとして採用される。したがって、クラスタリング処理の精度を向上することが可能となる。

本願の前提を説明する図である。 前方車両のボディカラーが白色系である場合の、前方車両のリア部の画像を模式的に示す図である。 前方車両のボディカラーが黒色系である場合の、前方車両のリア部の画像を模式的に示す図である。 座標条件を説明する図である。 座標条件を説明する図である。 実施の形態１に係る物体認識装置の構成例を示すブロック図である。 処理装置において実行される処理の一例を説明するフローチャートである。 実施の形態２に係る補間処理の第２の例を説明する図である。 実施の形態２に係る物体認識装置の構成例を示すブロック図である。 処理装置において実行される処理の一例を説明するフローチャートである。 実施の形態３に係る補間処理を説明する図である。 実施の形態３に係る物体認識装置の構成例を示すブロック図である。

以下、図面を参照して本発明の実施の形態について説明する。ただし、以下に示す実施の形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数に、この発明が限定されるものではない。また、以下に示す実施の形態において説明する構造やステップ等は、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、この発明に必ずしも必須のものではない。

１．実施の形態１
先ず、図１乃至７を参照しながら実施の形態１について説明する。

１．１ 前提
図１は、本願の前提を説明する図である。図１には、車両Ｍ１が描かれている。車両Ｍ１には、ライダーＬＤが搭載されている。ライダーＬＤは、車両Ｍ１の周囲にレーザ光を照射し、この周囲で反射したレーザ光を検出する。ライダーＬＤによってレーザ光が検出されると、データ点群が得られる。データ点群は、多数の検出点の三次元位置データ（すなわち、Ｘ、ＹおよびＺ位置データ）から構成される。データ点群に、三次元位置データの取得時刻、および、この取得時刻におけるライダーＬＤの位置データ（すなわち、緯度および経度データ）が追加されていてもよい。

車両Ｍ１は、処理装置ＰＵを備えている。処理装置ＰＵは、物体認識処理を行う。物体認識処理は、クラスタリング処理を含んでいる。クラスタリング処理は、三次元位置データに基づいて、データ点群を複数のクラスタにグループ化する処理である。本願は、このクラスタリング処理において、少なくとも２つのデータ点を関連付ける処理を行う点に特徴がある。クラスタに基づいた物体認識処理については、特に限定されず、公知の技術が適用される。

図１には、車両Ｍ１が走行する路面ＲＳが描かれている。路面ＲＳで反射したレーザ光がライダーＬＤにより検出されると、路面ＲＳ上の多数の検出点の三次元位置データが得られる。図１には、また、車両Ｍ１の前方に車両Ｍ２が描かれている。車両Ｍ２は、移動していてもよいし、静止していてもよい。車両Ｍ２は、車両とは異なる移動物体でもよいし、静止物体でもよい。車両Ｍ２で反射したレーザ光がライダーＬＤにより検出されると、車両Ｍ２上の多数の検出点の三次元位置データが得られる。図１に示すデータ点ＤＰは、路面ＲＳおよび車両Ｍ２の検出点を模式的に示したものである。

１．２ クラスタリング処理における問題点
既に述べたとおり、ライダーＬＤが飛行時間ＴＯＦを計測できなかった場合には、照射先にレーザ光を反射する物体が存在しない場合と、照射先にレーザ光を吸収する低反射物体が存在した場合と、が含まれる。後者の場合の問題点について、図２および図３を参照して説明する。

これらの図には、それぞれ、２種類の画像が模式的に示されている。２種類の画像は、車両Ｍ２のリア部ＲＥ_Ｍ２のカラー画像ＣＩＭＧおよび距離画像ＤＩＭＧである。カラー画像ＣＩＭＧは、カメラまたは画像センサから取得されるＲＧＢ画像である。ＲＧＢ画像では、二次元座標の画素値がＲＧＢ値によって表される。つまり、カラー画像ＣＩＭＧにおける座標ＣＣ（ｘ，ｙ）の画素値ＩＣ（ｘ，ｙ）は、ＲＧＢ値によって表される。なお、画素値ＩＣ（ｘ，ｙ）は、本願における“カラー画素値”に相当する。カラー画像ＣＩＭＧは、ＣＭＹ値、ＣＭＹＫ値、ＨＳＶ値またはＨＬＳ値を用いて表されてもよい。

距離画像ＤＩＭＧは、三次元位置データにより表現される画像である。距離画像ＤＩＭＧの各座標は、データ点ＤＰでのＺ位置データ（すなわち、飛行時間データ）に応じた画素値によって表される。具体的に、距離画像ＤＩＭＧにおける座標ＣＤ（ｘ，ｙ）の画素値ＩＤ（ｘ，ｙ）は、飛行時間ＴＯＦに応じた画素値によって表される。画素値ＩＤ（ｘ，ｙ）は、例えば、飛行時間ＴＯＦが短くなるほど小さな画素値で表され、飛行時間ＴＯＦが長くなるほど大きな画素値で表される。

図２は、車両Ｍ２のボディカラーが白色系である場合のリア部ＲＥ_Ｍ２の画像を示している。この図の距離画像ＤＩＭＧに示すように、白色系のボディカラーの場合は、リア部ＲＥ_Ｍ２の表面でレーザ光が反射し易い。そのため、リア部ＲＥ_Ｍ２の検出点に相当するデータ点ＤＰが多数得られる。故に、この場合は、クラスタリング処理において、これらのデータ点ＤＰが同一のクラスタにグループ化され易くなる。

図３は、車両Ｍ２のボディカラーが黒色系である場合のリア部ＲＥ_Ｍ２の画像を示している。この図の距離画像ＤＩＭＧに示すように、黒色系のボディカラーの場合は、尾灯ＴＬ、リアバンパーＲＢといったリア部ＲＥ_Ｍ２の一部の領域でしかデータ点ＤＰが得られない。この理由は、リア部ＲＥ_Ｍ２に吸収されることでレーザ光が反射しなくなり、飛行時間ＴＯＦが計測されなかったからである。

図３には、Ｚ位置データが得られていない領域（以下、“未検出領域”と称す。）ＢＲ１～３が描かれている。未検出領域ＢＲを構成する座標ＣＤ（ｘ，ｙ）を、未検出座標ＣＤ_ＢＲ（ｘ，ｙ）と称す。そうすると、未検出座標ＣＤ_ＢＲ（ｘ，ｙ）の画素値ＩＤ_ＢＲ（ｘ，ｙ）は、何れも黒色系のＲＧＢ値によって表される。このような未検出座標ＣＤ_ＢＲ（ｘ，ｙ）が距離画像ＤＩＭＧに含まれているということは、データ点群に空白領域が存在することを意味する。空白領域が存在すると、この空白領域によって、リア部ＲＥ_Ｍ２の検出点に相当するデータ点ＤＰが隔てられてしまう。そうすると、これらのデータ点ＤＰを同一のクラスタにグループ化することが困難になる。

１．３ 実施の形態１に係る物体認識処理の特徴
このように、照射先にレーザ光を吸収する低反射物体が存在する場合は、クラスタリング処理が正しく行われず、この物体の認識を誤る可能性がある。そこで、実施の形態１に係るクラスタリング処理では、距離画像ＤＩＭＧ上の任意の２つのデータ点ＤＰを関連付けるための条件（リンク条件）として、基本および特殊条件が設定される。以下、説明の便宜上、これらのデータ点ＤＰを、“第１のデータ点ＤＰ_１”および“第２のデータ点ＤＰ_２”と称す。

１．３．１ 基本条件
基本条件は、第１のデータ点ＤＰ_１と第２のデータ点ＤＰ_２を関連付けるために定常的に使用される条件である。基本条件は、第１座標ＣＤ_ＤＰ１（ｘ，ｙ）および第２座標ＣＤ_ＤＰ２（ｘ，ｙ）に関する次の条件(i)および(ii)から構成される。第１座標ＣＤ_ＤＰ１（ｘ，ｙ）は、第１のデータ点ＤＰ_１に対応する座標ＣＤ（ｘ，ｙ）である。第２座標ＣＤ_ＤＰ２（ｘ，ｙ）は、第２のデータ点ＤＰ_２に対応する座標ＣＤ（ｘ，ｙ）である。
(i) 第１座標ＣＤ_ＤＰ１（ｘ，ｙ）と第２座標ＣＤ_ＤＰ２（ｘ，ｙ）の間における距離ｄＣが所定距離ｄＣ_ＴＨ未満である
（ii） 飛行時間データＴＤ_ＤＰ１（ｘ，ｙ）と飛行時間データＴＤ_ＤＰ２（ｘ，ｙ）の間における差ｄＴが所定差ｄＴ_ＴＨ未満である

所定距離ｄＣ_ＴＨは、一般的な車両の車幅（２ｍ程度）を基準として設定される閾値である。所定差ｄＴ_ＴＨは、飛行時間ＴＯＦが同程度と認められる閾値である。飛行時間データＴＤ_ＤＰ１（ｘ，ｙ）は、第１のデータ点ＤＰ_１におけるＺ位置データである。飛行時間データＴＤ_ＤＰ２（ｘ，ｙ）は、第２のデータ点ＤＰ_２におけるＺ位置データである。条件(i)および(ii)が同時に満たされる場合、基本条件が満たされる。

１．３．２ 特殊条件
特殊条件は、基本条件のもとでは関連付けることのできなかった第１のデータ点ＤＰ_１と第２のデータ点ＤＰ_２を関連付けるために使用される条件である。特殊条件は、第１座標ＣＤ_ＤＰ１（ｘ，ｙ）および第２座標ＣＤ_ＤＰ２（ｘ，ｙ）に関する以下の条件(iii)～(v)から構成される。
(iii) 距離ｄＣが所定距離ｄＣ_ＴＨ以上である
(iv) 差ｄＴが所定差ｄＴ_ＴＨ未満である
(v) 座標条件が満たされる

条件(iii)、(iv)および(v)が同時に満たされる場合、特殊条件が満たされる。なお、条件(iv)は条件(ii)と同じである。

条件(v)に示した座標条件は、次の条件(v₁)および(v₂)から構成される。
(v₁) 経路座標ＣＤ_Ｌ（ｘ，ｙ）が未検出座標ＣＤ_ＢＲ（ｘ，ｙ）に該当する
(v₂) 距離画像ＤＩＭＧとカラー画像ＣＩＭＧの位置合わせをした場合において、経路座標ＣＤ_Ｌ（ｘ，ｙ）の位置に合致する座標ＣＣ（ｘ，ｙ）の画素値ＩＣ（ｘ，ｙ）が全て所定の黒色系画素値に該当する

経路座標ＣＤ_Ｌ（ｘ，ｙ）は、第１座標ＣＤ_ＤＰ１（ｘ，ｙ）と第２座標ＣＤ_ＤＰ２（ｘ，ｙ）の間の経路上に位置する座標ＣＤ（ｘ，ｙ）である。経路座標ＣＤ_Ｌ（ｘ，ｙ）の数は少なくとも１つである。“所定の黒色系画素値”としては、黒色系のＲＢＧ値が例示される。“黒色系のＲＢＧ値”とは、ＲＢＧ値のそれぞれの値が所定値（例えば、２５６階調でＲＧＢ値が表現される場合、それぞれ５０程度）未満であるＲＧＢ値を指す。条件(v₁)および(v₂)が同時に満たされる場合、座標条件は満たされる。カラー画像ＣＩＭＧがＲＧＢ値とは異なる表色系の値（例えば、ＣＭＹＫ値）で表される場合、“所定の黒色系画素値”は、その表色系における黒色系の値を指す。

図４は、条件(v₁)を説明する図である。図４には、距離画像ＤＩＭＧの一部の領域が模式的に描かれている。図４に示す例では、説明の便宜上、座標ＣＤ（ｘ，ｙ）を白色、灰色または黒色で表現する。白色または灰色で表現されている座標ＣＤ（ｘ，ｙ）（例えば、座標ＣＤ（ｉ+２，ｊ＋１）および（ｉ＋２，ｊ＋４））は、データ点ＤＰに対応する。黒色で表現されている座標ＣＤ（ｘ，ｙ）（例えば、座標ＣＤ（ｉ＋２，ｊ＋２）および（ｉ＋６，ｊ＋２））は、未検出座標ＣＤ_ＢＲ（ｘ，ｙ）に該当する。

経路座標ＣＤ_Ｌ（ｘ，ｙ）は、第１座標ＣＤ_ＤＰ１（ｘ，ｙ）と第２座標ＣＤ_ＤＰ２（ｘ，ｙ）を結ぶ最短経路ＳＬに基づいて特定される。第１座標ＣＤ_ＤＰ１（ｘ，ｙ）が座標ＣＤ（ｉ，ｊ）であり、第２座標ＣＤ_ＤＰ２（ｘ，ｙ）が座標ＣＤ（ｉ+２，ｊ）である場合を考える。この場合に特定される最短経路ＳＬは、経路Ｌ１である。経路座標ＣＤ_Ｌ（ｘ，ｙ）は、座標ＣＤ（ｉ+１，ｊ）となる。ここで、座標ＣＤ（ｉ+１，ｊ）は、未検出座標ＣＤ_ＢＲ（ｘ，ｙ）に該当する。故に、座標ＣＤ（ｉ，ｊ）と座標ＣＤ（ｉ+２，ｊ）の組み合わせによれば、条件(v₁)が満たされる。

最短経路ＳＬが複数存在する場合もある。この場合は、これらの最短経路ＳＬの何れかで条件(v₁)が満たされれば、条件(v₁)が満たされる。第１座標ＣＤ_ＤＰ１（ｘ，ｙ）が座標ＣＤ（ｉ+２，ｊ＋１）であり、第２座標ＣＤ_ＤＰ２（ｘ，ｙ）が座標ＣＤ（ｉ+１，ｊ＋４）である場合を考える。この場合の最短経路ＳＬは、経路Ｌ２またはＬ３となる。座標ＣＤ（ｉ+２，ｊ＋４）を含む経路Ｌ３は、条件(v₁)を満たさない。一方、座標（ｉ+１，ｊ＋１）、（ｉ+１，ｊ＋２）および（ｉ+１，ｊ＋３）は、未検出座標ＣＤ_ＢＲ（ｘ，ｙ）に該当する。したがって、経路Ｌ２によれば、条件(v₁)が満たされる。故に、座標ＣＤ（ｉ+２，ｊ＋１）と座標ＣＤ（ｉ+１，ｊ＋４）の組み合わせによれば、条件(v₁)が満たされる。

図５は、条件(v₂)を説明する図である。図５には、図３で説明した距離画像ＤＩＭＧおよびカラー画像ＣＩＭＧが描かれている。図５には、また、位置合わせ後の距離画像ＤＩＭＧに、カラー画像ＣＩＭＧを投影した投影画像ＰＩＭＧが描かれている。この投影画像ＰＩＭＧに示すように、未検出領域ＢＲ１には、リア部ＲＥ_Ｍ２のガラスが投影される。ここで、ガラスの画素値ＩＣ（ｘ，ｙ）は、所定の黒色系画素値に該当しない。そのため、経路座標ＣＤ_Ｌ（ｘ，ｙ）の位置に合致する座標ＣＣ（ｘ，ｙ）の画素値ＩＣ（ｘ，ｙ）は、黒色系以外のＲＢＧ値となる。故に、この場合は、条件(v₂)が満たされない。

未検出領域ＢＲ２には、リア部ＲＥ_Ｍ２の尾灯ＴＬおよびボディ塗装面が投影される。ここで、尾灯ＴＬの画素値ＩＣ（ｘ，ｙ）は、所定の黒色系画素値に該当しない。そのため、尾灯ＴＬに対応する経路座標ＣＤ_Ｌ（ｘ，ｙ）の位置に合致する座標ＣＣ（ｘ，ｙ）の画素値ＩＣ（ｘ，ｙ）は、条件(v₂)を満たさない。一方、ボディ塗装面の画素値ＩＣ（ｘ，ｙ）は、所定の黒色系画素値に該当する。よって、ボディ塗装面に対応する経路座標ＣＤ_Ｌ（ｘ，ｙ）の位置に合致する座標ＣＣ（ｘ，ｙ）の画素値ＩＣ（ｘ，ｙ）によれば、条件(v₂)が満たされる。

未検出領域ＢＲ３には、ボディ塗装面が投影される。よって、未検出領域ＢＲ２に投影されたボディ塗装面と同様の結論が得られる。

１．４ 効果
上述した特徴によれば、基本条件と特殊条件の組み合わせに基づいたクラスタリング処理が行われる。特に、特殊条件によれば、第１のデータ点ＤＰ_１と第２のデータ点ＤＰ_２の間に未検出座標ＣＤ_ＢＲ（ｘ，ｙ）が存在する場合であっても、これらのデータ点ＤＰ_１およびＤＰ_２を関連付けることが可能となる。そのため、これらのデータ点ＤＰ_１およびＤＰ_２がクラスタリング処理において同一のクラスタにグループ化され易くなる。したがって、低反射物体の誤認を抑えることが可能となる。

１．５ 物体認識装置の構成例
図６は、実施の形態１に係る物体認識装置１の構成例を示すブロック図である。図６に示すように、物体認識装置１は、カラー画像取得部１０と、距離画像取得部２０と、処理装置３０と、を備えている。

カラー画像取得部１０は、カラー画像ＣＩＭＧを取得する。カラー画像取得部１０は、例えば、カメラまたは画像センサである。カラー画像取得部１０は、カメラまたは画像センサから分離された画像処理装置でもよい。カラー画像取得部１０は、カラー画像ＣＩＭＧを処理装置３０に送信する。

距離画像取得部２０は、距離画像ＤＩＭＧを取得する。距離画像取得部２０は、例えば、図１に示したライダーＬＤである。距離画像取得部２０は、ライダーＬＤから分離された画像処理装置でもよい。距離画像取得部２０は、距離画像ＤＩＭＧを処理装置３０に送信する。

処理装置３０は、図１に示した処理装置ＰＵである。典型的に、処理装置３０は、プロセッサ、メモリおよび入出力インタフェースを備えるマイクロコンピュータである。処理装置３０は、入出力インタフェースを介して各種情報を受け取る。そして、処理装置３０は、受け取った情報に基づいて物体認識処理を行う。

処理装置３０は、物体認識処理を行うための機能として、位置合わせ部３１と、特異座標特定部３２と、クラスタリング部３３と、を備えている。図６に示したこれらの機能ブロックは、処理装置３０のプロセッサがメモリに格納された制御プログラムを実行することにより実現される。

位置合わせ部３１は、カラー画像ＣＩＭＧと距離画像ＤＩＭＧの位置合わせを行う。位置合わせは、例えば、次の情報(i)～(iii)を用いて高精度に行われる。
(i) カメラ（または画像センサ）とライダーＬＤのキャリブレーションパラメータ
(ii) カラー画像ＣＩＭＧの取得時刻ｔ_ＣＩＭＧと距離画像ＤＩＭＧの取得時刻ｔ_ＤＩＭＧ
(iii) 取得時刻ｔ_ＣＩＭＧにおけるカメラ（または画像センサ）の位置、および、取得時刻ｔ_ＤＩＭＧにおけるライダーＬＤの位置

特異座標特定部３２は、位置合わせ後の距離画像ＤＩＭＧに、カラー画像ＣＩＭＧを投影する。特異座標特定部３２は、カラー画像ＣＩＭＧが投影された距離画像ＤＩＭＧ（すなわち、投影画像ＰＩＭＧ）上で特異座標ＣＰ_ＰＥ（ｘ，ｙ）を特定する。特異座標ＣＰ_ＰＥ（ｘ，ｙ）は、次の(i)および(ii)の条件を満たす投影画像ＰＩＭＧ上の座標ＣＰ（ｘ，ｙ）である。
(i) 距離画像ＤＩＭＧ上では未検出座標ＣＤ_ＢＲ（ｘ，ｙ）に該当する
(ii) カラー画像ＣＩＭＧ上では画素値ＩＣ（ｘ，ｙ）が所定の黒色系画素値である
特異座標特定部３２は、特異座標ＣＰ_ＰＥ（ｘ，ｙ）が特定された場合、特異座標ＣＰ_ＰＥ（ｘ，ｙ）をクラスタリング部３３に送信する。

クラスタリング部３３は、クラスタリング処理を行う。クラスタリング処理では、少なくとも２つのデータ点ＤＰを関連付ける処理が行われる。この関連付け処理では、距離画像ＤＩＭＧ上の第１のデータ点ＤＰ_１および第２のデータ点ＤＰ_２について、基本または特殊条件が満たされるか否かが判定される。なお、特殊条件を構成する座標条件の判定については、特異座標ＣＰ_ＰＥ（ｘ，ｙ）と経路座標ＣＤ_Ｌ（ｘ，ｙ）とに基づいて行われる。特異座標ＣＰ_ＰＥ（ｘ，ｙ）が経路座標ＣＤ_Ｌ（ｘ，ｙ）に該当する場合、座標条件が満たされる。基本または特殊条件が満たされる場合、第１のデータ点ＤＰ_１および第２のデータ点ＤＰ_２が関連付けられる。

１．６ 具体的処理
図７は、処理装置３０において実行される処理の一例を説明するフローチャートである。この図に示すルーチンは、所定の制御周期で繰り返し実行される。

まず、ステップＳ１１では、カラー画像ＣＩＭＧが取得される。続いて、ステップＳ１２では、距離画像ＤＩＭＧが取得される。続いて、ステップＳ１３では、距離画像ＤＩＭＧにカラー画像ＣＩＭＧが投影される。カラー画像ＣＩＭＧの投影の前には、カラー画像ＣＩＭＧと距離画像ＤＩＭＧの位置合わせが行われる。

ステップＳ１４では、基本条件が満たされるか否かが判定される。ステップＳ１５では、特殊条件が満たされるか否かが判定される。ステップＳ１４またはＳ１５の判定結果が肯定的な場合、ステップＳ１６において、これらのデータ点が関連付けられる。ステップＳ１４およびＳ１５の判定結果が共に否定的な場合、ステップＳ１７において、これらのデータ点は関連付けされない。基本または特殊条件の判定対象は、距離画像ＤＩＭＧ上の全てのデータ点ＤＰである。つまり、全てのデータ点ＤＰの判定結果が得られるまで、ステップＳ１４～Ｓ１７の判定処理が繰り返し行われる。

２．実施の形態２
次に、図８乃至１０を参照しながら実施の形態２について説明する。なお、上記実施の形態１の説明と重複する説明については適宜省略される。

２．１ 実施の形態２に係る物体認識処理の特徴
実施の形態２係る物体認識処理は、補間処理を含んでいる。補間処理は、未検出座標ＣＤ_ＢＲ（ｘ，ｙ）における未検出のＺ位置データを補間する処理である。補間処理は、クラスタリング処理を行う前に行われる。補間処理では、また、採用条件に基づいて、未検出座標ＣＤ_ＢＲ（ｘ，ｙ）における未検出のＺ位置データが補間された距離画像ＤＩＭＧを採用するか否かが判定される。

以下、説明の便宜上、未検出座標ＣＤ_ＢＲ（ｘ，ｙ）における未検出のＺ位置データを、“未検出データ”と称す。また、未検出データを補間するためのＺ位置データを、“補間用データ”と称す。また、未検出データが補間された三次元位置データにより表現される距離画像ＤＩＭＧを“補間画像ＩＩＭＧ”と称す。また、未検出データが補間された後の未検出座標ＣＤ_ＢＲ（ｘ，ｙ）を“補間座標ＣＤ_ＩＮ（ｘ，ｙ）”と称す。また、また、補間座標ＣＤ_ＩＮ（ｘ，ｙ）に対応するデータ点ＤＰを、“補間データ点ＤＰＩ”と称す。

未検出データの補間手法について説明する。第１の例では、未検出座標ＣＤ_ＢＲ（ｘ，ｙ）に隣接する座標ＣＤ（ｘ，ｙ）のＺ位置データが、補間用データに該当する。“未検出座標ＣＤ_ＢＲ（ｘ，ｙ）に隣接する座標ＣＤ（ｘ，ｙ）”には、データ点ＤＰに対応する座標ＣＤ（ｘ，ｙ）だけでなく、補間座標ＣＤ_ＩＮ（ｘ，ｙ）も含まれる。第１の例によれば、全ての未検出座標ＣＤ_ＢＲ（ｘ，ｙ）が補間座標ＣＤ_ＩＮ（ｘ，ｙ）に置き換わる可能性がある。なお、このような補間手法は周知である。

第２の例について、図８を参照して説明する。図８には、補間前後の距離画像ＤＩＭＧが描かれている。補間前の距離画像ＤＩＭＧは、図３に示した距離画像ＤＩＭＧと同じである。第２の例では、未検出領域ＢＲのｙ軸負方向（すなわち、縦軸負方向）において、データ点ＤＰの探索が行われる。そして、最初に発見されたデータ点ＤＰにおけるＺ位置データによって未検出データが補間される。“最初に発見されたデータ点ＤＰ”とは、ｙ軸負方向において未検出領域ＢＲからの距離が最も短いデータ点ＤＰである。このように、第２の例では、最初に発見されたデータ点ＤＰにおけるＺ位置データが、補間用データに該当する。

図８に示す例では、未検出領域ＢＲ１の全ての未検出データが、データ点ＤＰにおけるＺ位置データ（ｚ１）によって補間される。未検出領域ＢＲ２の全ての未検出データは、データ点ＤＰにおけるＺ位置データ（ｚ２）によって補間される。未検出領域ＢＲ３の全ての未検出データは、データ点ＤＰにおけるＺ位置データ（ｚ３）によって補間される。

データ点ＤＰ（ｚ１）は、実際には、車両Ｍ２の真下の路面ＲＳにおけるＺ位置データである。そのため、この場合は、Ｚ位置データの精度が担保された補間データ点ＤＰＩが得られる。一方、データ点ＤＰ（ｚ２）およびＤＰ（ｚ３）は、実際には、ボディ塗装面におけるＺ位置データである。そのため、この場合は、未検出領域ＢＲ２（または未検出領域ＢＲ３）の周囲のデータ点ＤＰと、補間データ点ＤＰＩとの関連付けが容易になる。

補間処理では、更に、補間用データを補間画像ＩＩＭＧに採用するか否かが判定される。この判定は、次の採用条件に基づいて行われる。
採用条件：距離画像ＤＩＭＧとカラー画像ＣＩＭＧの位置合わせをした場合において、補間座標ＣＤ_ＩＮ（ｘ，ｙ）の位置に合致する画素値ＩＣ（ｘ，ｙ）が所定の黒色系画素値に該当する
採用条件が満たされる場合、補間用データが補間画像ＩＩＭＧに採用される。そうでない場合、補間用データは破棄される。

２．２ 効果
上述した特徴によれば、補間処理によって未検出データが補間される。したがって、補間処理の後に行われるクラスタリング処理における計算負荷を減らすことが可能となる。また、補間手法の第２の例によれば、車両Ｍ２の真下の路面ＲＳのＺ位置データに辿り着くことが可能となる。そのため、Ｚ位置データの精度が担保された補間データ点ＤＰＩによって、クラスタリング処理の精度を向上することが可能となる。

２．３ 物体認識装置の構成例
図９は、実施の形態２に係る物体認識装置２の構成例を示すブロック図である。図９に示すように、物体認識装置２は、カラー画像取得部１０と、距離画像取得部２０と、処理装置４０と、を備えている。

処理装置４０のハード構成は、図６で説明した処理装置３０のそれと同じである。処理装置４０が備える物体認識処理を行うための機能も、処理装置３０のそれと同じである。処理装置４０は、補間処理を行うための構成として、未検出データ補間部４１を備えている。図９に示したこれらの機能ブロックは、処理装置４０のプロセッサがメモリに格納された制御プログラムを実行することにより実現される。

未検出データ補間部４１は、補間処理を行う。補間処理では、上述した補間手法によって未検出データが補間される。補間処理では、また、補間用データを補間画像ＩＩＭＧに採用するか否かが判定される。この判定は、特異座標ＣＰ_ＰＥ（ｘ，ｙ）と、採用条件とに基づいて行われる。特異座標ＣＰ_ＰＥ（ｘ，ｙ）が特異座標特定部３２によって特定されることは既に説明したとおりである。補間座標ＣＤ_ＩＮ（ｘ，ｙ）が特異座標ＣＰ_ＰＥ（ｘ，ｙ）に該当する場合、採用条件が満たされる。

２．４ 具体的処理
図１０は、処理装置４０において実行される補間処理の一例を説明するフローチャートである。この図に示すルーチンは、所定の制御周期で繰り返し実行される。

ステップＳ２１およびＳ２２の処理は、図７で説明したステップＳ１１およびＳ１２の処理と同じである。ステップＳ２３では、未検出データが補間される。補間手法については上述したとおりである。ステップＳ２４の処理は、図７で説明したステップＳ１３の処理と同じである。

ステップＳ２５では、採用条件が満たされるか否かが判定される。ステップＳ２５の判定結果が肯定的な場合、ステップＳ２６において、補間用データが補間画像ＩＩＭＧに採用される。ステップＳ２５の判定結果が否定的な場合、ステップＳ２７において、補間用データが破棄される。採用条件の判定対象は、補間画像ＩＩＭＧ上の全ての補間データ点ＤＰＩである。つまり、全ての補間データ点ＤＰＩの判定結果が得られるまで、ステップＳ２５～Ｓ２７の判定処理が繰り返し行われる。

３．実施の形態３
次に、図１１および１２を参照しながら実施の形態３について説明する。なお、上記実施の形態１または２の説明と重複する説明については適宜省略される。

３．１ 実施の形態３に係る物体認識処理の特徴
上記実施の形態２に係る物体認識処理同様、実施の形態３係る物体認識処理は、補間処理を含んでいる。ただし、実施の形態３に係る補間処理では、車両Ｍ１の位置情報および地形情報に基づいて、車両Ｍ２の真下の路面ＲＳに相当する座標ＣＤ（ｘ，ｙ）のＺ位置データが特定される。つまり、実施の形態３の補間処理は、補間手法において上記実施の形態２のそれと異なる。

以下、説明の便宜上、路面ＲＳに相当する座標ＣＤ（ｘ，ｙ）を、“路面座標ＣＤ_ＲＳ（ｘ，ｙ）”と称す。

実施の形態３に係る補間処理について、図１１を参照して説明する。図１１には、補間前後の距離画像ＤＩＭＧが描かれている。補間前の距離画像ＤＩＭＧは、図３に示した距離画像ＤＩＭＧと同じである。図１１に示す例では、未検出領域ＢＲのｙ軸負方向において、路面ＲＳに対応するデータ点ＤＰに辿り着くまでデータ点ＤＰの探索が行われる。“路面ＲＳに対応するデータ点ＤＰ”とは、ｙ軸負方向において未検出領域ＢＲからの距離が最も短いデータ点ＤＰである。そして、路面ＲＳに対応するデータ点ＤＰにおけるＺ位置データによって未検出データが補間される。このように、実施の形態３では、路面ＲＳに対応するデータ点ＤＰにおけるＺ位置データが、補間用データに該当する。

図１１に示す例では、路面ＲＳに対応するデータ点ＤＰのＺ位置データはｚ４である。よって、この例では、未検出領域ＢＲ１～３の全ての未検出データが、同一のＺ位置データ（ｚ４）によって補間される。

３．２ 効果
上述した特徴によれば、上記実施の形態２の特徴と同様の効果が得られる。すなわち、補間処理の後に行われるクラスタリング処理における計算負荷を減らすことが可能となる。また、車両Ｍ２の真下の路面ＲＳのＺ位置データに基づいた補間が行われるので、Ｚ位置データの精度が担保された補間データ点ＤＰによって、クラスタリング処理の精度を向上することが可能となる。

３．３ 物体認識装置の構成例
図１２は、実施の形態３に係る物体認識装置３の構成例を示すブロック図である。図１２に示すように、物体認識装置３は、カラー画像取得部１０と、距離画像取得部２０と、位置情報取得部５０と、データベース６０と、処理装置７０とを備えている。

位置情報取得部５０は、車両Ｍ１の位置情報を取得する。位置情報取得部５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信器である。位置情報取得部５０は、３個以上の人工衛星からの信号を受信する。位置情報取得部５０は、受信した信号に基づいて、車両Ｍ１の位置情報を算出する。位置情報取得部５０は、位置情報を処理装置７０に送信する。

データベース６０は、地形情報が格納されたデータベースである。地形情報は、地形（terrain）に関する地図情報である。地形情報は、地図上の位置［Ｘ，Ｙ］における路面ＲＳの高度Ｚの情報を含んでいる。

処理装置７０のハード構成は、図６で説明した処理装置３０のそれと同じである。処理装置７０が備える物体認識処理を行うための機能も、処理装置３０のそれと同じである。処理装置７０は、補間処理を行うための構成として、未検出データ補間部７１を備えている。図１２に示したこれらの機能ブロックは、処理装置７０のプロセッサがメモリに格納された制御プログラムを実行することにより実現される。

未検出データ補間部７１は、補間処理を行う。未検出データ補間部７１が行う補間処理の内容は、図９で説明した未検出データ補間部４１のそれと基本的に同じである。すなわち、補間処理では、上述した補間手法によって未検出データが補間される。補間処理では、また、Ｚ位置データ（ｚ_ＲＳ）を補間画像ＩＩＭＧに採用するか否かが判定される。

１，２，３ 物体認識装置
１０ カラー画像取得部
２０ 距離画像取得部
３０，４０，７０ 処理装置
３１ 位置合わせ部
３２ 特異座標特定部
３３ クラスタリング部
４１，７１ 未検出データ補間部
ＢＲ 未検出領域
ＣＩＭＧ カラー画像
ＤＩＭＧ 距離画像
ＤＰ データ点
ＬＤ ライダー
Ｍ１，Ｍ２ 車両

Claims (4)

1. 車両の周囲にレーザ光を照射し、前記周囲で反射したレーザ光を検出するライダーと、
   前記ライダーの検出点群のクラスタリング処理を、前記レーザ光の飛行時間データを含む各検出点の三次元位置データに基づいて行う処理装置と、
   を備える物体認識装置であって、
   前記周囲のカラー画像を取得するカラー画像取得部を更に備え、
   前記処理装置は、前記クラスタリング処理において、前記三次元位置データにより表現される距離画像上の第１および第２座標においてリンク条件が満たされる場合、前記第１座標に対応する第１検出点と、前記第２座標に対応する第２検出点とを関連付け、
   前記リンク条件は、前記第１および第２座標の間における距離が所定距離以上であり、前記第１および第２検出点の間における前記飛行時間データの差が所定差未満であり、かつ、座標条件が満たされる場合に満たされ、
   前記座標条件は、前記第１および第２座標の間の経路上に位置する座標を示す経路座標が前記飛行時間データの計算が行われなかった未検出座標に該当し、かつ、前記経路座標の位置に合致する前記カラー画像上の座標の画素値を示すカラー画素値が全て所定の黒色系画素値に該当する場合に満たされる
   ことを特徴とする物体認識装置。
2. 前記処理装置は、前記クラスタリング処理を行う前に、前記未検出座標における飛行時間データを補間する補間処理を行い、
   前記処理装置は、前記補間処理において、採用条件が満たされる場合、補間用データを前記未検出座標における飛行時間データとして採用し、
   前記採用条件は、補間後の前記未検出座標の位置に合致する前記カラー画素値が前記所定の黒色系画素値に該当する場合に満たされる
   ことを特徴とする請求項１に記載の物体認識装置。
3. 前記補間用データが、前記距離画像の縦軸負方向において前記未検出座標からの距離が最も短い座標における前記飛行時間データである
   ことを特徴とする請求項２に記載の物体認識装置。
4. 前記車両の位置情報を取得する位置情報取得部と、
   地形情報が格納されたデータベースと、
   を更に備え、
   前記処理装置は、前記補間処理において、前記位置情報および前記地形情報に基づいて、前記距離画像上の座標のうちから路面に相当する座標を示す路面座標を特定し、
   前記補間用データが、前記距離画像の縦軸負方向において前記未検出座標からの距離が最も短い前記路面座標における前記飛行時間データである
   ことを特徴とする請求項２に記載の物体認識装置。

Images