JP7095640B2 - 物体検出装置 - Google Patents

Description

本開示は、物体検出装置に関する。

近年、車両の衝突回避や運転支援のため、車両に撮像カメラ、ミリ波レーダ、レーザレーダ（ＬＩＤＡＲ：Light Detection and Rangingとも呼ばれる）等のセンサが搭載され、かかるセンサの検出結果に基づき、車両制御、例えば、エンジンの燃焼制御、操舵制御、制動制御等を行う技術が提案されている。特許文献１には、車両に搭載されているステレオカメラと、ミリ波レーダと、レーザレーダの合計３つのセンサから得られる検出信号に基づき、それぞれ立体物の存在確率を算出し、得られた３つの存在確率を組み合わせて、いわゆるセンサフュージョンにより立体物の総合存在確率を求める技術が提案されている。

特開２００７－３１０７４１号公報

特許文献１のように、複数のセンサにより得られる情報を組み合わせて物体を検出する技術では、各センサの設置位置のずれや検出タイミングのずれ等に起因して物体の誤検出、例えば、物体の有無、大きさ、位置などを誤って検出するおそれがある。例えば、撮像カメラの搭載位置からは前方の車両の陰に居る人物を特定できるが、レーザレーダの搭載位置からはかかる人物にレーザを照射できないために人物を検出できず、算出される総合存在確率が、実際には人物が存在するにも関わらずに非常に小さな値になるおそれがある。また、例えば、各センサの検出可能領域が互いに異なるために、それぞれの検出可能領域が重複しない領域に関しては、物体の検出精度が低くなってしまう。このような問題は、ステレオカメラ、ミリ波レーダ、およびレーザレーダに限らず、複数種類の情報を取得可能なセンサをそれぞれ搭載する場合において共通する。このため、複数種類の情報を利用して物体を検出する際の検出精度の低下を抑制可能な技術が望まれる。

本開示は、以下の形態として実現することが可能である。

本開示の一形態として、物体を検出する物体検出装置（５０）が提供される。この物体検出装置は、照射光（Ｌｚ）を照射する照射部（１００）と、照射された前記照射光の反射光を含む光を受光可能な複数の受光要素（２０１）が面状に配列された受光面（Ｓ１）を有し、前記受光面における予め定められている画素範囲内の前記受光要素の集まりを一画素として、各画素に含まれる前記受光要素の受光状態に応じた受光信号を出力する受光部（２００）と、を有し、前記受光信号に基づき、各画素における前記反射光の受光強度を示す第１情報と、各画素における前記反射光を除く他の光である背景光の受光強度を示す第２情報と、各画素における前記物体までの距離を示す第３情報と、を各画素の画素値として取得する単一のセンサ装置（１０）と、各画素の前記画素値を利用して物体を検出する検出部（３０）と、を備え、前記検出部は、取得された各画素の前記画素値に含まれる前記第１ないし前記第３情報をすべて利用して、前記物体を検出し、前記検出部は、前記第１ないし前記第３情報と、前記物体が存在する場合の前記第１ないし前記第３情報のモデルであるモデル情報（３３１－３３３）と、を対照することにより、前記物体を検出し、前記検出部は、前記第１情報と、前記第１情報に対する前記モデル情報とを対照して、画素ごとに、前記物体が存在する尤もらしさを示す第１尤度を求め、前記第２情報と、前記第２情報に対する前記モデル情報とを対照して、画素ごとに、前記物体が存在する尤もらしさを示す第２尤度を求め、前記第３情報と、前記第３情報に対する前記モデル情報とを対照して、画素ごとに、前記物体が存在する尤もらしさを示す第３尤度を求め、画素ごとに、前記第１ないし前記第３尤度に対してそれぞれ重み付けをして積算して総合尤度を求め、得られた前記総合尤度を利用して、前記物体を検出する。

上記形態の測距装置によれば、物体の検出に用いられる第１ないし第３情報は、いずれも単一のセンサ装置により取得されるので、これらの情報のうちの少なくとも一部をそれぞれ異なる複数のセンサ装置により取得する構成に比べて、物体検出精度の低下を抑制できる。具体的には、第１ないし第３情報が単一のセンサ装置により取得されるので、第１ないし第３情報を取得するための各種パラメータ、例えば、センサ装置の設置位置、照射光の照射範囲、検出タイミングを一致させることができ、センサ装置の設置位置のずれや検出タイミングのずれ等に起因する物体の誤検出を抑制できる。

本開示は、物体検出装置以外の種々の形態で実現することも可能である。例えば、物体検出装置を備える車両、物体検出方法、これらの装置および方法を実現するためのコンピュータプログラム、かかるコンピュータプログラムを記憶した記憶媒体等の形態で実現することができる。

本開示の一実施形態としての物体検出装置を搭載した車両の概略構成を示す説明図である。 物体検出装置の機能的構成を示すブロック図である。 第１実施形態における物体検出処理の手順を示すフローチャートである。 対応付け処理の手順を示すフローチャートである。 ＬＩＤＡＲにより取得された測距点を表す画像を示す説明図である。 クラスタリングにより取得されたクラスタリング結果を表す画像を示す説明図である。 対応付け処理の実行結果の一例を示す説明図である。 第２実施形態における検出部の機能的構成を示すブロック図である。 第２実施形態における物体検出処理の手順を示すフローチャートである。 第２実施形態における重み付け設定処理の手順を示すフローチャートである。 第３実施形態における物体検出処理の手順を示すフローチャートである。 第４実施形態における閾値設定処理の手順を示すフローチャートである。

Ａ．第１実施形態：
Ａ１．装置構成：
図１に示すように、本実施形態の物体検出装置５０は、車両５００に搭載され、車両５００の前方の周囲に存在する物体、例えば、他の車両や歩行者や建物等を検出する。物体検出装置５０は、照射光Ｌｚを照射して、対象物からの反射光を受光する。図１では、照射光Ｌｚの射出中心位置を原点とし、車両５００の前方方向をＹ軸とし、原点を通り車両５００の幅方向左から右の方向をＸ軸とし、原点を通り鉛直上方をＺ軸として表わしている。図１に示すように、照射光Ｌｚは、Ｚ軸方向に縦長の光であり、１回の照射により、縦長の所定範囲Ａｒに照射される。また、照射光Ｌｚは、Ｘ－Ｙ平面と平行な方向の一次元走査により所定の測定範囲全体に照射される。物体検出装置５０は、対象物からの照射光Ｌｚの反射光に加えて、反射光以外の光、例えば、日光、街灯の光、他車両の前照灯など（以下、「背景光」と呼ぶ）を受光する。物体検出装置５０は、受光した光の強度に関連する情報を利用して背景光の強度を特定し、かかる強度に基づき判定用閾値を設定する。物体検出装置５０は、受光した光のうち設定された判定用閾値以上の強度の光を対象物からの反射光として特定し、照射光Ｌｚを照射してから反射光を受光するまでの時間、すなわち、光の飛行時間ＴＯＦ（Time of Flight）を特定する。物体検出装置５０は、かかる飛行時間ＴＯＦを、車両５００と対象物との間を光が往復する時間であるものとして、対象物までの距離を算出する。

図２に示すように、物体検出装置５０は、センサ装置１０と、検出部３０と、制御部４０とを備える。センサ装置１０は、照射光Ｌｚを照射し、照射光Ｌｚの反射光の受光強度を各画素の画素値とする反射強度画像と、物体までの距離を各画素の画素値とする距離画像と、背景光の受光強度を各画素の画素値とする背景光画像とを取得し、これら３つの画像の各画素の画素値を利用して、物体を検出する。

センサ装置１０は、照射部１００と、受光部２００とを備える。照射部１００は、レーザ光源１０１と、走査部１０２とを備える。レーザ光源１０１は半導体レーザダイオードにより構成されており、制御部４０の制御下において、パルスレーザ光を照射光Ｌｚとして所定周期ごとに照射する。例えば、所定周期は、照射光Ｌｚが照射されて所定範囲内の対象物からの反射光がセンサ装置１０において受光されるまでに要する期間以上の期間として予め実験等により求めて設定されている。なお、レーザ光源１０１から射出された照射光Ｌｚは、図示しない光学系により図１に示すような縦長の照射光Ｌｚに形成される。走査部１０２は、回転軸１０３を中心にミラー１０４を回動させることによって照射光Ｌｚの一次元走査を所定の測定範囲の全体に亘って行う。ミラー１０４は、例えば、ＭＥＭＳミラーによって構成される。ミラー１０４の回動は、制御部４０によって制御される。走査部１０２によって照射光Ｌｚの一次元走査が行われることにより、照射部１００は、車両５００前方の検出範囲に対して照射光Ｌｚを照射する方位を変更しながら照射光Ｌｚを照射する。なお、レーザ光源１０１として、レーザダイオード素子に代えて、固体レーザ等の他の任意の種類のレーザ光源を用いてもよい。また、照射光Ｌｚは、横長でも良く、走査は二次元走査でも良い。

照射部１００により照射された照射光Ｌｚは、測定範囲内の対象物ＯＢにより反射される。対象物ＯＢにより反射された反射光は、受光部２００により受光される。本実施形態では、受光部２００は、受光面Ｓ１における反射光の大きさが、受光面Ｓ１の大きさよりも小さくなるように構成された図示しない光学系を通じて反射光を受光する。なお、反射光は、その一部（例えば、長手方向の端部）が、受光面Ｓ１からはみ出すように受光部２００によって受光されてもよい。

受光部２００は、二次元配列状に受光面Ｓ１を形成する複数の画素Ｇと、複数のＭＰ用加算器２１１、２１２、２１３、２１４、・・・と、画素用加算器２２０と、ヒストグラム生成部２３０と、反射強度画像取得部２４０と、背景光画像取得部２５０と、距離画像取得部２６０と、閾値決定部２７０とを備える。

複数の画素Ｇのうち、図１では、図示の便宜上１つの画素Ｇのみ記載している。本実施形態では、各画素Ｇは、縦２個×横２個の計４個のマクロピクセルＭＰ１～ＭＰ４を備える。各マクロピクセルＭＰ１～ＭＰ４は、縦５個×横５個の計２５個の受光要素２０１を有する。したがって、図１の例では、各画素Ｇは、縦１０個×横１０個の計１００個の受光要素２０１を備える。本実施形態において、受光要素２０１は、ＳＰＡＤ（シングルフォトンアバランシェダイオード）を備える。ＳＰＡＤは、光（フォトン）を入力すると、一定の確率で、光の入射を示すパルス状の出力信号（以下、「受光信号」とも呼ぶ）を出力する。したがって、図１の例では、各マクロピクセルＭＰ１～ＭＰ４は、それぞれ受光した光の強度に応じて０～２５個の受光信号を出力する。また、画素Ｇ全体として、受光した光の強度に応じて０～１００個の受光信号を出力する。

複数のＭＰ用加算器のうち、図１では、１つの画素Ｇに接続される４つのＭＰ用加算器２１１～２１４のみ記載している。ＭＰ用加算器２１１は、マクロピクセルＭＰ１を構成する各受光要素２０１に接続されており、マクロピクセルＭＰ１内の受光要素２０１から出力される受光信号の数を加算する。同様に、他のＭＰ用加算器２１２～２１４は、マクロピクセルＭＰ２～ＭＰ４を構成する各受光要素２０１に接続されており、マクロピクセルＭＰ２～ＭＰ４内の受光要素２０１から出力される受光信号の数（以下、「受光数」とも呼ぶ）を、それぞれ加算する。なお、図１では図示されていない他の画素Ｇについても同様に、４つのマクロピクセルに対応する４つのＭＰ用加算器を備える。

画素用加算器２２０は、１つの画素Ｇの受光数、すなわち１つの画素に含まれる受光要素２０１から出力される受光数を加算する。具体的には、画素用加算器２２０は、４つのＭＰ用加算器２１１～２１４に接続されており、各ＭＰ用加算器２１１～２１４から、加算結果、すなわち各マクロピクセルＭＰ１～ＭＰ４内の受光数の合算値を入力して、これらを合算する。なお、画素用加算器２２０は、各画素Ｇに対して設けられているが、図２では、１つの画素Ｇに対応する画素用加算器２２０のみを表している。

ヒストグラム生成部２３０は、画素用加算器２２０により得られた各画素の受光数の合計値を、所定の単位時間毎に記録したヒストグラムを生成して記憶する。

反射強度画像取得部２４０は、反射強度画像を取得する。反射強度画像とは、照射光Ｌｚを照射した領域、すなわち、図１に示す所定範囲Ａｒから受光した光の各画素における強度（以下、「反射強度」と呼ぶ）を画素値とする画像を意味する。反射強度画像取得部２４０は、ヒストグラム生成部２３０により生成されたヒストグラムから各画素の反射強度に相当する受光数を取得して、各画素の画素値とする。このとき、反射強度画像取得部２４０は、制御部４０からどの方位の所定範囲Ａｒに照射光Ｌｚを照射したかを示す情報を取得し、かかる情報に基づき、ヒストグラムから取得すべき反射強度（受光数）を特定する。したがって、反射強度画像は、照射部１００が１回の走査を行う周期ごとに取得される。上述の走査が行われる周期はフレーム期間とも呼ばれ、取得された画像は反射強度のフレーム画像とも呼ばれる。反射強度画像取得部２４０は、反射強度画像記憶部２４１を備え、取得した反射強度画像（フレーム画像）を反射強度画像記憶部２４１に記憶する。上述の「反射強度」とは、本実施形態においては、ヒストグラムのピーク時の受光数を意味する。なお、反射強度画像は、本開示における第１情報の下位概念に相当する。

背景光画像取得部２５０は、背景光画像を取得する。背景光画像とは、各画素Ｇにおける背景光の受光強度を示す画像を意味する。背景光画像取得部２５０は、ヒストグラム生成部２３０により生成されたヒストグラムから各画素の背景光に相当する受光数を取得して、各画素の画素値とする。このとき、背景光画像取得部２５０は、制御部４０からどの方位の所定範囲Ａｒに照射光Ｌｚを照射したかを示す情報を取得し、かかる情報に基づき、対象物ＯＢから反射光を受けるであろう方位に対応する画素を除くその他の画素の受光数を、背景光に相当する受光数として特定する。背景光画像も上述のフレーム期間ごとに生成される。したがって、背景光画像の各画素の画素値となる受光数は、フレーム期間のうち、かかる画素に照射光Ｌｚに対する対象物ＯＢからの反射光が照射されていない期間の受光数の合計値に相当する。換言すると、太陽光や街灯等の外乱光のみが対象物ＯＢに反射した光が画素に受光した際の受光数である。なお、取得された背景光画像は、背景光のフレーム画像とも呼ばれる。背景光画像取得部２５０は、背景光画像記憶部２５１を備え、取得した背景光画像（フレーム画像）を、背景光画像記憶部２５１に記憶する。なお、背景光画像は、本開示における第２情報の下位概念に相当する。

距離画像取得部２６０は、距離画像を取得する。距離画像とは、各画素Ｇに対応する方位における物体までの距離を示す画像を意味する。距離画像取得部２６０は、ピーク検出部２６１と、距離演算部２６２と、距離画像記憶部２６３とを備える。ピーク検出部２６１は、ヒストグラム生成部２３０により生成されたヒストグラムから各画素のフレーム期間内におけるピークを検出する。具体的には、閾値決定部２７０により決定された判定用閾値を利用して、各画素の各フレーム期間において、かかる判定用閾値以上となる時刻が存在するか否かを特定し、存在する場合にピークが存在すると特定する。判定用閾値の詳細については、後述する。距離演算部２６２は、フレーム期間の開始時刻とピーク検出部２６１により検出されたピークの時刻との間の時間を、光の飛行時間ＴＯＦ（Time of Flight）を特定し、かかる飛行時間ＴＯＦを、車両５００と対象物ＯＢとの間を光が往復する時間であるものとして、対象物ＯＢまでの距離を算出する。そして、各画素について算出された対象物ＯＢまでの距離を画素値として距離画像が取得され、距離画像記憶部２６３に記憶される。なお、距離画像は、フレーム期間ごとに取得され、距離のフレーム画像とも呼ばれる。また、距離画像は、本開示における第３情報の下位概念に相当する。

閾値決定部２７０は、背景光画像取得部２５０により取得された背景光画像を背景光画像記憶部２５１から読み出し、かかる背景光画像に基づき、判定用閾値を決定する。具体的には、今回のフレーム期間における距離画像を取得するための判定用閾値を決定する場合、前回のフレーム期間の背景光画像の画素値の平均値、すなわち前回の背景光のフレーム画像の各画素の受光数の平均値を求め、かかる平均値に対して、所定の受光数だけ増加させた値を、今回のフレーム期間における判定用閾値として決定する。上述の「所定の受光数」は、予め実験等により適切な値が求められて設定されている。なお、前回の背景光のフレーム画像の各画素の受光数の平均値に限らず、前回以前の任意の数のフレーム画像の各画素の受光数、またはその平均値に基づき判定用閾値を決定してもよい。

検出部３０は、反射強度画像、背景光画像および距離画像の各画素値を利用して物体（対象物ＯＢ）を検出する。検出部３０による物体検出方法の詳細は後述する。

上述の構成を有する物体検出装置５０では、後述の物体検出処理を実行することにより、反射強度画像、背景光画像および距離画像という異なる３つの種類の情報を利用して物体（対象物ＯＢ）を検出する。

Ａ２．物体検出処理：
車両５００のイグニッションがオンすると、物体検出装置５０において物体検出処理が実行される。なお、車両５００において、物体検出処理の開始および終了のユーザによる指示を受け付けるインターフェイス、例えば、物理的なボタンやモニタに表示されるメニュー画面を、インストルメントパネルに予め設けて置き、かかるボタンやメニュー画面の操作により処理開始指示を受け付けた場合に、物体検出処理が開始されてもよい。物体検出処理に含まれる後述のステップＳ１０５～Ｓ１３０は、フレーム期間ごとに繰り返し実行される。

図３に示すように、検出部３０は、反射強度画像取得部２４０、背景光画像取得部２５０、距離画像取得部２６０から、それぞれ反射強度画像、背景光画像、距離画像を、それぞれ取得する（ステップＳ１０５）。検出部３０は、前処理を実行する（ステップＳ１１０）。本実施形態では、前処理として、ステップＳ１０５において取得された各画像について、極座標を直交座標に変換する座標変換処理、３種類の画像に基づき所定の距離内の物体から得られた有効な測距点を特定する処理、および雨滴を含むノイズを除去する処理を意味する。なお、物体認識の精度向上のための任意の処理を、前処理として実行してもよい。

図５に示す時刻ｔ１の画像Ｆ＿ｔ１は、ステップＳ１１０により取得された測距点ＯＰを直交座標上に配置した画像を示している。なお、図５では、理解を助けるために、車両５００の前方を走行している車両ＣＡを表している。ステップＳ１１０の後、走行する道路の上方から鉛直下方に向かって見たときの直交座標上に、複数の測距点ＯＰが表わされている。測距点ＯＰは、反射強度が所定の強度以上の画素である。また、各測距点ＯＰは、距離画像の情報に基づき、車両５００からの距離を加味して配置されている。図５に示すように、道路からの反射光による測距点ＯＰと、車両ＣＡの最後部の面からの反射光による測距点ＯＰと、車両ＣＡの斜め前の路上の測距点ＯＰとが得られる。車両ＣＡの斜め前の路上の測距点ＯＰは、例えば、マンホールからの反射光による測距点ＯＰなどが該当する。

図３に示すように、検出部３０は、立体物判定処理を実行する（ステップＳ１１５）。具体的には、検出部３０は、各測距点ＯＰのうち、車両５００が走行する路面からの高さが、所定の寸法以上の測距点ＯＰを、立体物を表す測距点ＯＰとして特定する。換言すると、ステップＳ１１５は、車両５００が走行する道路の路面の位置を判定する処理ともいえる。続いて、検出部３０は、得られた測距点ＯＰのうち、同一物体を表すものとして推定される測距点ＯＰ同士を対応付ける、いわゆるクラスタリングを実行する（ステップＳ１２０）。本実施形態では、測距点ＯＰ同士の距離が所定の大きさ以下の測距点同士を、１つのクラスタリング結果としてまとめる。図６に示す例では、図５に示す画像Ｆ＿ｔ１において、車両ＣＡの最後部の面から得られた複数の測距点ＯＰが、１つのクラスタリング結果Ｇｐ１として互いにまとめられている。

図３に示すように、検出部３０は、前回のフレーム期間において実行された後述のステップＳ１３０で得られた追跡結果（物標）と、今回のフレーム期間において実行されたステップＳ１２０で得られたクラスタリング結果とを対応付ける対応付け処理を実行する（ステップＳ１２５）。

図４に示すように、対応付け処理において、まず、検出部３０は、反射強度画像を対象として、今回と前回の２つのフレーム画像について、クラスタリング結果と前回の追跡結果間の反射光強度の平均値の差分ΔＲを算出する（ステップＳ２０５）。具体的には、今回のクラスタリング結果と前回の追跡結果に対応する位置の画素の画素値（反射強度）の平均値をそれぞれ算出し、これらの平均値の差分ΔＲを求める。なお、各フレーム画像において複数のクラスタリング結果が得られている場合には、追跡結果の重心位置から一定距離未満の全てのクラスタリング結果に対して差分ΔＲを算出する。

検出部３０は、背景光画像を対象として、上述のステップＳ２０５と同様に、今回のクラスタリング結果と前回の追跡結果の背景光強度の平均値の差分ΔＢを算出する（ステップＳ２１０）。検出部３０は、距離画像を対象として、上述のステップＳ２０５と同様に、今回のクラスタリング結果と前回の追跡結果間の距離の平均値の差分ΔＬを算出する（ステップＳ２１５）。

検出部３０は、ステップＳ２０５で得られた差分ΔＲが予め定められた閾値αよりも小さく、且つ、ステップＳ２１０で得られた差分ΔＢが予め定められた閾値βよりも小さく、且つ、ステップＳ２１５で得られた差分ΔＬが予め定められた閾値γよりも小さいか否かを判定する（ステップＳ２２０）。閾値α、βおよびγは、それぞれ、今回のクラスタリング結果と前回の追跡結果が同物体である場合に想定される差分の最大値として、予め実験により特定されて設定されている。

差分ΔＲが閾値αよりも小さく、且つ、差分ΔＢが閾値βよりも小さく、且つ、差分ΔＬが閾値γよりも小さいと判定された場合（ステップＳ２２０：ＹＥＳ）、検出部３０は、今回のフレーム画像のクラスタリング結果と、前回のフレーム画像の追跡結果とを互いに対応付ける（ステップＳ２２５）。検出部３０は、今回のフレーム画像に含まれる全てのクラスタリング結果について判断終了したか否かを判定し（ステップＳ２３０）、全てのクラスタリング結果について判断終了していないと判定された場合（ステップＳ２３０：ＮＯ）、上述のステップＳ２０５に戻り、異なるクラスタリング結果を対象として、上述のステップＳ２０５～Ｓ２３０が実行される。これに対して、全てのクラスタリング結果について判断終了したと判定された場合（ステップＳ２３０：ＹＥＳ）、対応付け処理は終了し、図３に示すステップＳ１３０が実行される。

上述のステップＳ２２０において、差分ΔＲが閾値αよりも小さくない、または、差分ΔＢが閾値βよりも小さない、または、差分ΔＬが閾値γよりも小さくないと判定された場合（ステップＳ２２０：ＮＯ）、上述のステップＳ２３０が実行される。したがって、この場合、ステップＳ２２５は実行されず、追跡結果とクラスタリング結果は互いに対応付けられないこととなる。このように、本実施形態の対応付け処理では、反射光強度の差分ΔＲと、背景光画像の差分ΔＢと、距離画像の差分ΔＬとがいずれも閾値よりも小さい場合に追跡結果とクラスタリング結果が対応付けられるので、これら３つの差分ΔＲ、ΔＢ、ΔＬのうちの２つ以下が閾値以下である場合に追跡結果とクラスタリング結果が対応付けられる構成に比べて、対応付けの精度を向上できる。尚、ここではＳ２２０を満たせば対応付くとしたが、これに限らず、条件を満たすものが複数ある場合には、最も差分が小さいもののみを対応付くとしても良い。

図３に示すように、ステップＳ１２５の完了後、検出部３０は、ステップＳ１２５において対応付けられた今回のフレーム画像のクラスタリング結果と、前回のフレーム画像の追跡結果とにより物体の軌跡を求め、フィルタリングする追跡処理を実行する（ステップＳ１３０）。本実施形態において、上記フィルタリングとは、カルマンフィルタを意味する。なお、カルマンフィルタに限らず、拡張カルマンフィルタやパーティクルフィルタを用いてもよい。このようにして、追跡処理により得られる結果が、今回のフレーム画像における追跡結果となる。

図７に示すように、例えば、今回のフレーム画像Ｆ＿ｔ２において、先行車両の最後部から得られる複数の測距点ＯＰがクラスタリング結果Ｇｐ２として特定され、かかるクラスタリング結果Ｇｐ２が、前回のフレーム画像Ｆ＿ｔ１における追跡結果Ｇｐ１と対応付けられた場合、検出部３０は、追跡結果Ｇｐ１の重心位置ｇ１と、クラスタリング結果Ｇｐ２の重心位置ｇ２とを求め、これら２つを結ぶ直線を、物体（車両ＣＡ）の軌跡Ｔｒ１として求める。

なお、図７の例では、フレーム画像Ｆ＿ｔ２では、車両ＣＡの近傍にマンホールＭＨが存在し、かかるマンホールＭＨから得られた複数の測距点ＯＰがクラスタリング結果Ｇｐ３として特定されている。比較例として、距離のみを根拠として対応付け処理が行われた場合、例えば、２つの距離のフレーム画像において、重心位置の距離が最も短いクラスタリング結果と追跡結果が対応付けられた場合、追跡結果Ｇｐ１からクラスタリング結果Ｇｐ３までの距離が、追跡結果Ｇｐ１からクラスタリング結果Ｇｐ２までの距離もよりも短いために、追跡結果Ｇｐ１とクラスタリング結果Ｇｐ３とが対応付けられることとなる。その結果、追跡結果Ｇｐ１の重心位置ｇ１とクラスタリング結果Ｇｐ３の重心位置ｇ３とを結ぶ軌跡Ｔｒ２が、誤って特定されてしまう。これに対して、本実施形態では、上述のように、フレーム画像Ｆ＿ｔ１において車両ＣＡを示す追跡結果Ｇｐ１と、フレーム画像Ｆ＿ｔ２において車両ＣＡを示すクラスタリング結果Ｇｐ２とが対応付けられ、正しい軌跡Ｔｒ１が特定される。

上述のステップＳ１３０の完了後、ステップＳ１０５に戻り、次のフレーム画像を対象としてステップＳ１０５～Ｓ１３０が実行される。

以上説明した第１実施形態の物体検出装置５０によれば、物体の検出に用いられる反射強度画像、背景光画像および距離画像は、いずれも単一のセンサ装置１０により取得されるので、これらの画像のうちの少なくとも一部をそれぞれ異なる複数のセンサ装置により取得される構成に比べて、検出精度の低下を抑制できる。具体的には、上述の３種類の画像が単一のセンサ装置１０により取得されるので、これらの画像を取得するための各種パラメータ、例えば、センサ装置１０の設置位置、照射光Ｌｚの照射範囲、検出タイミングを一致させることができ、センサ装置１０の設置位置のずれや検出タイミングのずれ等に起因する物体の誤検出を抑制できる。

また、物体検出装置５０によれば、検出部３０は、反射強度画像、背景光画像および距離画像を用いてクラスタリング処理や、対応付け処理を実行するので、これらの処理を精度良く実行できる。

また、物体検出装置５０によれば、対応付け処理において、反射強度画像、背景光画像および距離画像のそれぞれについて、２つのフレーム画像における追跡結果とクラスタリング結果の画素値の平均値をそれぞれ求め、また、かかる平均値の差分ΔＲ、ΔＢ、ΔＬを求め、反射強度画像、背景光画像および距離画像のそれぞれについての差分ΔＲ、ΔＢ、ΔＬが、いずれも設定された閾値α、β、γよりも小さい場合に、２つのフレーム画像のそれぞれの結果を対応付けるので、２つのフレーム画像間において、対応付けを精度良く実行できる。また、３種の情報を用いていることで異なる物体同士では互いに異なり易く、同じ物体同士では互いに同じになり易くなるため、対応付けを精度良く実行できる。

また、受光要素２０１は、受光信号として光の入射を示す出力信号を出力するＳＰＡＤを有するので、各画素における受光の有無を精度良く特定できる。

Ｂ．第２実施形態：
Ｂ１．装置構成：
第２実施形態の物体検出装置５０は、検出部３０に代えて、図８に示す検出部３０ａを備える点において、第１実施形態の物体検出装置５０と異なる。第２実施形態の物体検出装置５０におけるその他の構成は、第１実施形態の物体検出装置５０と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。

図８に示すように、第２実施形態の検出部３０ａは、反射強度データ入力部３１１と、背景光画像データ入力部３１２と、距離画像データ入力部３１３と、３つの識別器３２１、３２２、３２３と、３つのスコアマップ生成部３４１、３４２、３４３と、総合スコアマップ生成部３５０と、閾値処理部３６０と、物標検出部３７０とを備える。

反射強度データ入力部３１１は、反射強度画像取得部２４０から反射強度画像のデータを入力する。背景光画像データ入力部３１２は、背景光画像取得部２５０から背景光画像のデータを入力する。距離画像データ入力部３１３は、距離画像取得部２６０から距離画像のデータを入力する。

識別器３２１には、予めモデル情報３３１が設定されている。このモデル情報３３１は、物体を示す予め定められた反射強度のモデル（パターン）を示す情報である。識別器３２１は、反射強度データ入力部３１１に入力された反射強度画像をラスタ―スキャンして、反射強度画像とモデル情報３３１とを対照し、各画素について物体が存在する尤もらしさを示す尤度（以下、「第１尤度」と呼ぶ）を特定し、これら各画素の第１尤度からなるスコアマップ（以下、「第１スコアマップ」と呼ぶ）を生成する。

識別器３２２には、予めモデル情報３３２が設定されている。このモデル情報３３２は、物体を示す予め定められた背景光強度のモデル（パターン）を示す情報である。識別器３２２は、背景光画像データ入力部３１２に入力された背景光画像をラスタ―スキャンして、背景光画像と、モデル情報３３２と対照し、各画素について物体が存在する尤もらしさを示す尤度（以下、「第２尤度」と呼ぶ）を特定し、これら各画素の第２尤度からなるスコアマップ（以下、「第２スコアマップ」と呼ぶ）を生成する。

識別器３２３には、予めモデル情報３３３が設定されている。このモデル情報３３３は、物体を示す予め定められた距離のモデル（パターン）を示す情報である。識別器３２３は、距離画像データ入力部３１３に入力された距離画像をラスタ―スキャンして、距離画像と、モデル情報３３３と対照し、各画素について物体が存在する尤もらしさを示す尤度（以下、「第３尤度」と呼ぶ）を特定し、これら各画素の第３尤度からなるスコアマップ（以下、「第３スコアマップ」と呼ぶ）を生成する。

総合スコアマップ生成部３５０は、スコアマップ生成部３４１により生成された第１スコアマップＳｃｒ（１）と、スコアマップ生成部３４２により生成された第２スコアマップＳｃｒ（２）と、スコアマップ生成部３４３により生成された第３スコアマップＳｃｒ（３）とにそれぞれ重み付け（重み係数：ｗ（ｉ）（ｉ＝１，２，３））を行って下記式（１）により合算して総合スコアマップＳｃｒ（Ｔｏｔａｌ）を生成する。本実施形態において、重み付けする際の重み付け係数は、後述の重み付け設定処理により設定される。なお、重み付け係数の初期値は、第１スコアマップ：第２スコアマップ：第３スコアマップが、１：１：１となるような値に設定されている。重み付けの詳細については、後述する。総合スコアマップ生成部３５０は、総合スコアマップを生成することに加えて、背景光強度に関連する強度関連情報を取得する。強度関連情報の詳細については、後述する。なお、第２実施形態において、総合スコアマップ生成部３５０は、本開示における情報取得部の下位概念に相当する。

閾値処理部３６０は、総合スコアマップ生成部３５０により生成された総合スコアマップに対して所定のスコアの閾値を適用して、総合スコアが閾値以上の画素を特定する。物標検出部３７０は、総合スコアが閾値以上の画素を、物体を示す物標として検出する。

Ｂ２．物体検出処理：
図９に示す第２実施形態の物体検出処理は、ステップＳ１１５を省略する点と、ステップＳ１１１、Ｓ１１２、Ｓ１１３、Ｓ１１９を追加して実行する点とにおいて、第１実施形態の物体検出処理と異なる。第２実施形態の物体検出処理のその他の手順は、第１実施形態の物体検出処理と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。

ステップＳ１０５およびＳ１１０の完了後、スコアマップ生成部３４１は、反射強度データ入力部３１１に入力された反射強度画像に基づき、第１スコアマップを生成する（ステップＳ１１１）。また、スコアマップ生成部３４２は、背景光画像データ入力部３１２に入力された背景光画像に基づき、第２スコアマップを生成する（ステップＳ１１２）。また、スコアマップ生成部３４３は、距離画像データ入力部３１３に入力された距離画像に基づき、第３スコアマップを生成する（ステップＳ１１３）。本実施形態では、これら３つのステップＳ１１１～Ｓ１１３は、並列処理にて実行されるが、所定の順序でシリアル処理にて実行されてもよい。

総合スコアマップ生成部３５０は、重み付け設定処理を実行する（ステップＳ１１８）。図１０に示すように、重み付け設定処理において、まず、総合スコアマップ生成部３５０は、背景光の強度関連情報を取得する（ステップＳ３０５）。背景光の強度関連情報とは、背景光強度に関連する情報を意味する。本実施形態において、強度関連情報は、下記（ｉ）～（ｉｖ）が該当する。
（ｉ）背景光画像の強度を示す受光数の情報。
（ｉｉ）車両５００が備える図１に示すライト５１１の点灯状態を示す情報。
（ｉｉｉ）車両５００が備える図１に示す日射センサ５１２の検出結果を示す情報。
（ｉｖ）車両５００が備える図１に示すワイパ装置５１３の動作状態を示す情報。

上記情報（ｉ）は、背景光画像取得部２５０から取得する。背景光画像取得部２５０では、背景光画像の平均受光数を求め、かかる平均受光数についての情報を、背景光画像の強度を示す情報として検出部３０ａに送信する。上記情報（ｉｉ）は、ライト５１１が点灯しているか消灯しているかを示す情報を意味し、ライト５１１を制御するＥＣＵ（Electronic Control Unit）から取得される。上記情報（ｉｉｉ）は、日射センサ５１２により検出された日射量を意味し、日射センサ５１２を制御するＥＣＵから取得される。上記情報（ｉｖ）は、ワイパ装置５１３が動作しているか否かを示す情報を意味し、ワイパ装置５１３を制御するＥＣＵから取得される。

図１０に示すように、総合スコアマップ生成部３５０は、ステップＳ３０５で取得された強度関連情報に基づき、測定範囲の明るさ環境を特定する（ステップＳ３１０）。本実施形態において、明るさ環境とは、明るい環境（以下、「明環境」と呼ぶ）と、明環境よりも暗い環境（以下、「暗環境」と呼ぶ）とのいずれかを意味する。総合スコアマップ生成部３５０は、背景光の平均受光数が閾値以上である場合に明環境であり、閾値未満である場合に暗環境であると判断する。ステップＳ３１０では、上記情報（ｉ）に関して、背景光画像の平均受光数が閾値以上であり、上記情報（ｉｉ）がライト５１１は消灯状態であることを示し、上記情報（ｉｉｉ）が日射センサ５１２の検出結果は所定の日射量閾値以上であることを示し、上記（ｉｖ）がワイパ装置５１３は動作していないことを示す場合に、明環境であると特定し、それ以外の場合に暗環境であると特定する。一般的には、晴れた日の昼間に建物の陰やトンネル内等とは異なる場所を車両５００が走行中である場合に明環境であると特定される。これに対して、夜間である場合や、建物の陰やトンネル内を走行中である場合などには、暗環境であると特定される。

総合スコアマップ生成部３５０は、ステップＳ３１０の特定結果が、明環境であるか否かを判定する（ステップＳ３１５）。明環境であると判定された場合（ステップＳ３１５：ＹＥＳ）、総合スコアマップ生成部３５０は、第１スコアマップ（反射光強度画像）および第３スコアマップ（距離画像）の重み付け係数ｗ（１）、ｗ（３）を初期値に対して小さく設定し、第２スコアマップ（背景光画像）の重み付け係数ｗ（２）を初期値に対して大きく設定する（ステップＳ３２０）。なお、このとき、ｗ（１）、ｗ（３）の値を共に０にしても良い。この結果、第１、３スコアマップの重み付け係数は、第２スコアマップの重み付け係数よりも小さく設定される。換言すると、第１情報及び、第３情報の結果よりも第２情報による結果が優先されることになる。ステップＳ３２０の完了後、重み付け設定処理は終了し、図９のステップＳ１１９が実行される。

他方、明環境でない、つまり暗環境と判定された場合（ステップＳ３１５：ＮＯ）、総合スコアマップ生成部３５０は、第１スコアマップ（反射光強度画像）および第３スコアマップ（距離画像）の重み付け係数ｗ（１）、ｗ（３）を初期値に対して大きく設定し、第２スコアマップ（背景光画像）の重み付け係数ｗ（２）を初期値に対して小さく設定する（ステップＳ３２５）。なお、このとき、ｗ（２）の値を０にしても良い。この結果、第１、３スコアマップの重み付け係数は、第２スコアマップの重み付け係数よりも大きく設定される。換言すると、第２情報による結果よりも第１情報及び、第３情報の結果が優先されることになる。ステップＳ３２５の完了後、重み付け設定処理は終了し、図９のステップＳ１１９が実行される。

明環境においては、背景光強度が高いため、反射光と背景光との強度比が小さくなり、換言すると、Ｓ／Ｎ比が劣化し、反射光（対象物ＯＢ）の強度を高い精度で特定できなくなる。また、これに伴い、対象物ＯＢまでの距離を正確に特定できなくなる。このため、明環境においては、第１尤度および第３尤度の信頼性が暗環境と比べて低くなるので、本実施形態では、第１および第３スコアマップの重み付け係数を相対的に低く設定するようにしている。他方、背景光強度が高いために第２尤度の信頼性は高くなる。このため、本実施形態では、第２スコアマップの重み付け係数を相対的に高く設定するようにしている。

暗環境においては、背景光強度が弱いため、反射光と背景光との強度比が大きくなり、換言すると、Ｓ／Ｎ比が良好であり、対象物ＯＢからの反射光の強度を高い精度で特定できる。また、これに伴い、対象物ＯＢまでの距離を高い精度で特定できる。このため、暗環境においては、第１尤度および第３尤度の信頼性が暗環境と比べて高くなるので、本実施形態では、第１および第３スコアマップの重み付け係数を相対的に高く設定するようにしている。他方、背景光強度が低いために第２尤度の信頼性は低くなる。このため、本実施形態では、第２スコアマップの重み付け係数を相対的に低く設定するようにしている。

図９に示すように、ステップＳ１１９として、総合スコアマップ生成部３５０は、第１ないし第３スコアマップ、すなわち、反射強度画像、背景光画像および距離画像における物体の検出結果に対して、ステップＳ１１８で設定された重み付け係数を適用して総合スコアマップを生成する。なお、上述のように、生成された総合スコアマップを対象に閾値処理が実行され、物体を示す物標が特定される。そして、このようにして特定された物標を用いて、上述のステップＳ１２０～Ｓ１３０が実行される。

以上説明した第２実施形態の物体検出装置５０は、第１実施形態の物体検出装置５０と同様な効果を有する。加えて、３つの識別器３２１～３２３は、入力された各画像（反射強度画像、背景光画像および距離画像）と、モデル情報３３１～３３３とを対照することにより物体を検出する（第１ないし第３スコアマップを生成する）ので、並列に処理することができ検出部３０ａを高速に処理することができる。

また、入力された各画像とモデル情報３３１～３３３との対照により求めた第１ないし第３スコアマップ（第１ないし第３尤度）に対してそれぞれ重み付けをして積算して総合スコアマップ（総合尤度）を求め、得られた総合スコアマップを利用して物体を検出するので、１つまたは２つのモデル情報との対照から求めた尤度を積算して総合スコアマップを求める構成に比べて、物体の検出精度を向上できる。

背景光強度が高い場合には、すなわち、明環境では、背景光強度が低い場合に比べて、ノイズが大きくなるために反射光強度を高い精度で求めることができず、また、距離を高い精度で求めることができない。このため、背景光強度が高い場合には、低い場合に比べて、反射光強度画像および距離画像として低精度の情報を得られるため、第１尤度および第３尤度は信頼性の低い値となる。他方、背景光強度が高い場合には、強度が低い場合に比べて、背景光強度を高い精度で求めることができ、第２情報として高精度の情報を得ることができるので、第２尤度は信頼性の高い値となる。このため、第２形態の物体検出装置５０によれば、背景光強度が高い場合には、すなわち、明環境では、強度が低い場合に比べて、第１尤度および第３尤度に対する重み付けを小さく設定し、かつ、第２尤度に対する重み付けを大きく設定するので、精度の高い総合スコアマップ（総合尤度）を求めることができ、また、物体の検出精度を向上できる。

Ｃ．第３実施形態：
第３実施形態の物体検出装置５０の構成は、第１実施形態の物体検出装置５０の構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第３実施形態の物体検出処理は、図１１に示すように、ステップＳ１０６およびＳ１０７を追加する点において、第１実施形態の物体検出処理と異なる。第３実施形態の物体検出処理のその他の手順は、第１実施形態の物体検出処理と同じであるので、同一の手順には同一の符号を付し、その詳細な説明を省略する。なお、第３実施形態において、検出部３０は、本開示における検出部およびコントラスト関連値算出部の下位概念に相当する。

ステップＳ１０５の完了後、検出部３０は、反射強度画像、背景光画像および距離画像のそれぞれについて、コントラスト関連値を算出する（ステップＳ１０６）。コントラスト関連値とは、コントラストに関連する値であり、コントラストが大きいほど大きな値が設定される。本実施形態において、コントラスト関連値は、Ｍｉｃｈｅｌｓｏｎコントラストの値を意味する。なお、コントラスト関連値としては、Ｍｉｃｈｅｌｓｏｎコントラストの値に限らず、画素値の分散や、各画像内における最大画素値と最小画素値との比など、コントラストに関連する任意のパラメータを用いてもよい。

検出部３０は、すべての画像についてステップＳ１０６で算出されたコントラスト関連値が、予め設定されているコントラスト閾値以上であるか否かを判定する（ステップＳ１０７）。かかるコントラスト閾値は、物体を検出するのに適さない画像を排除するための閾値として、予め実験等により求めて設定されている。例えば、夜間、街灯などがまったく無い状況では、背景光がほとんど存在しないため、周囲の対象物ＯＢが存在しない状況ではコントラスト関連値は非常に小さい。また、これとは反対に、逆光の状況においては、背景光が非常に強いために、周囲に対象物ＯＢが存在している状況においてもコントラスト関連値は非常に小さい。これらの状況においては、対象物ＯＢを誤検出するおそれがある。そこで、このような誤検出が起きる可能性の高いコントラスト関連値の最大値を実験に求め、かかる値よりも大きな値をコントラスト閾値として設定するようにしている。

検出部３０は、すべての画像について算出されたコントラスト値がコントラスト閾値以上であると判定された場合（ステップＳ１０７：ＹＥＳ）、上述のステップＳ１１０～Ｓ１３０を実行する。これに対して、すべての画像について算出されたコントラスト値がコントラスト閾値以上でないと判定された場合（ステップＳ１０７：ＮＯ）、ステップＳ１１０～Ｓ１３０が省略され、ステップＳ１０５に戻り、次のフレーム期間において、再びステップＳ１０５～Ｓ１３０が実行されることとなる。

以上説明した第３実施形態の物体検出装置５０は、第１実施形態の物体検出装置５０と同様な効果を有する。加えて、反射強度画像、背景光画像および距離画像のうちの少なくとも１つの画像について算出されたコントラスト関連値がコントラスト閾値よりも小さい場合には、取得された３種類の画像を利用した物体の検出が行われないので、コントラスト関連値がコントラスト閾値よりも小さいために物体と背景との境界が分かりづらい画像を用いて物体検出を行うことを抑制でき、物体検出精度の低下を抑制できる。

Ｄ．第４実施形態：
第４実施形態の物体検出装置５０の構成は、第１実施形態の物体検出装置５０の構成と同じであるので、同一の構成要素には同一の符号を付し、その詳細な説明を省略する。第４実施形態の物体検出装置５０では、図４に示す対応付け処理において用いられる３つの閾値α、β、γが予め設定されている固定値ではなく、閾値設定処理によって設定される。なお、３つ閾値α、β、γには、それぞれ予め初期値が設定されている。なお、第４実施形態において、検出部３０は、本開示における検出部と情報取得部と閾値設定部の下位概念に相当する。

図１２に示す第４実施形態における閾値設定処理は、図４に示すステップＳ２１５とステップＳ２２０との間において実行される。なお、閾値設定処理が実行されるタイミングは、ステップＳ２２０が実行される前の任意のタイミングであってもよい。また、図４に示す対応付け処理とは別の処理として、対応付け処理よりも前に実行されてもよいし、対応付け処理と並列して実行されてもよい。

図１２に示すように、検出部３０は、背景光の強度関連情報を取得する（ステップＳ４０５）。検出部３０は、ステップＳ４０５で取得された強度関連情報に基づき、測定範囲の明るさ環境を特定する（ステップＳ４１０）。検出部３０は、ステップＳ４１０の特定結果が、明環境であるか否かを判定する（ステップＳ４１５）。上述のステップＳ４０５～Ｓ４１５は、第２実施形態の重み付け設定処理のステップＳ３０５～Ｓ３１５と同じであるので、その詳細な手順を省略する。

明環境であると判定された場合（ステップＳ４１５：ＹＥＳ）、閾値α（反射光強度画像）および閾値γ（距離画像）をいずれも初期値に対して大きく設定し、閾値β（背景光画像）を初期値に対して小さく設定する（ステップＳ４２０）。これに対して、明環境ではないと判定された場合（ステップＳ４１５：ＮＯ）、閾値α（反射光強度画像）および閾値γ（距離画像）をいずれも初期値に対して小さく設定し、閾値β（背景光画像）を初期値に対して大きく設定する（ステップＳ４２５）。ステップＳ４２０またはＳ４２５の完了後、対応付け処理の所定の手順に戻る、或いは、対応付け処理と並列して実行される構成においては、閾値設定処理は終了する。

上述のように、明環境においては、背景光強度が高いため、反射光と背景光との強度比が小さくなり、換言すると、Ｓ／Ｎ比が劣化し、反射光（対象物ＯＢ）の強度を正確に特定できなくなる。また、これに伴い、対象物ＯＢまでの距離を正確に特定できなくなる。このため、明環境においては、差分ΔＲおよびΔＬは、比較的低い精度の値として算出され易い。そこで、この場合、閾値α、γについては、大きな値を設定するようにしている。他方、背景光強度が高いため、背景光強度は正確に特定できるため、差分ΔＢは、比較的高い精度の値として算出され易い。そこで、この場合、閾値βについては、相対的に小さな値を設定するようにしている。

暗環境においては、背景光強度が弱いため、反射光と背景光との強度比が大きくなり、換言すると、Ｓ／Ｎ比が良好であり、反射光（対象物ＯＢ）の強度を高い精度で特定できる。また、これに伴い、対象物ＯＢまでの距離を高い精度で特定できる。このため、暗環境においては、差分ΔＲおよびΔＬは、比較的高い精度の値として算出され易い。そこで、この場合、閾値α、γについては、小さな値を設定するようにしている。他方、背景光強度が低いため、背景光強度は高い精度で特定できないおそれがあるため、差分ΔＢは、比較的低い精度の値として算出され易い。そこで、この場合、閾値βについては、相対的に大きな値を設定するようにしている。

以上説明した第４実施形態の物体検出装置５０は、第１実施形態の物体検出装置５０と同様な効果を有する。明環境、すなわち背景光の強度が高い場合には、暗環境に場合に比べてノイズが大きくなるために反射光強度を高い精度で求めることができず、また、距離を高い精度で求めることができない。このため、背景光強度が高い場合には、低い場合に比べて、反射強度画像および距離画像として低精度の画像を得られるに過ぎない。他方、明環境では、暗環境に比べて、背景光の強度を正確に求めることができ、背景光画像として高精度の画像を得ることができる。したがって、第４形態の物体検出装置５０によれば、背景光強度が高い場合には、強度が低い場合に比べて、低精度の画像として得られる反射強度画像および距離画像に対する閾値を大きく設定し、高精度の画像として得られる背景光画像に対する閾値を小さく設定するので、対応付け処理を精度良く行うことができる。

Ｅ．他の実施形態：
（Ｅ１）各実施形態では、３種類の画像、すなわち、反射強度画像、背景光画像および距離画像を利用して、路面判定、クラスタリング処理、対応付け処理を実行していたが、これら３つの処理のうちの一部のみを実行してもよい。

（Ｅ２）各実施形態の対応付け処理では、前回の追跡結果と今回のクラスタリング結果を構成する各画素値の平均値の差分（差分ΔＲ、ΔＢ、ΔＬ）を用いて対応付けるか否かを判断していたが、本開示はこれに限定されない。画素値の中央値、最大値、最小値、分散、ヒストグラムなど、かかる追跡結果及び、クラスタリング結果の画素値の特徴量を示す任意のパラメータやその組み合わせを用いて対応付けるか否かを判断してもよい。例えば、ヒストグラムについては、フレーム期間において単位時間ごとの級数の差分を、比較対象についてそれぞれ積算し、得られた差分の合計値（合計差分）が、各画像について設けられた閾値よりもいずれも小さい場合に対応付け、いずれか１つの画像について設けられた閾値以上の場合に対応付けないようにしてもよい。

（Ｅ３）第２実施形態では、明環境においては、第１および第３スコアマップに対する重み付け係数を初期値よりも小さく設定し、第２スコアマップについての重み付け係数を初期値よりも大きく設定していたが、本開示はこれに限定されない。第１および第３スコアマップに対する重み付け係数が、第２スコアマップについての重み付け係数よりも大きくなるような任意の方法により設定してもよい。同様に、暗環境においては、第１および第３スコアマップに対する重み付け係数が、第２スコアマップについての重み付け係数よりも小さくなるような任意の方法により設定してもよい。

（Ｅ４）第２実施形態では、明環境か否かは、画像全体で判断していたが、画像中の部分領域ごとに明環境か否かを判断してもよい。そして、部分領域ごとに判断された明るさ環境に応じて重み付け係数を設定してもよい。例えば、画像中の一部の部分領域が、建物の日陰を表しており、他の部分領域がいずれも日光が当たっている領域を表している場合、日陰領域についての第１スコアマップ（反射強度画像）及び、第３スコアマップ（距離画像）の重み付け係数を重み付け係数ａとし、日陰領域についての第２スコアマップ（背景光画像）の重み付け係数の重み付け係数を重み付け係数ｂとし、その他領域についての、第１ないし第３スコアマップ（反射強度画像、背景光画像および距離画像）の重み付け係数を重み付け係数ｃとして、重み付け係数ａ、ｂ、ｃについて、「ａ＞ｃ＞ｂ」の関係が成立するように、各重み付け係数を設定してもよい。

（Ｅ５）第２実施形態において、第１ないし第３スコアマップに重み付け係数を適用することに代えて、予め入力された各画像を正規化しておき、第１ないし第３スコアマップを生成し、重み付け係数を適用することなく総合スコアマップを生成してもよい。かかる正規化の方法としては、例えば、明るさ環境に応じて各画像において取りうる画素値の範囲を０～２５５の値に正規化してもよい。具体的には、背景光の画素値の取り得る値の範囲が１～１０００である場合、明環境においては、最低値１が「０」となり、最高値１０００が「２５５」となるような変換を行って正規化してもよい。また、暗環境においては、最低値１が「０」となり、最高値３００が「２５５」となるような変換を行って正規化してもよい。

（Ｅ６）第２実施形態と第３実施形態とを組み合わせてもよい。例えば、第２実施形態の重み付け設定処理において、第３実施形態の物体検出処理におけるステップＳ１０６およびＳ１０７を、例えば、ステップＳ３２０およびＳ３２５の後に実行し、すべての画像のコントラスト関連値がコントラスト閾値以上の場合には、ステップＳ３２０およびＳ３２５で設定された重み付け係数のままとし、いずれかの画像のコントラスト関連値がコントラスト閾値未満の場合には、ステップＳ３２０およびＳ３２５で設定された重み付け係数に対して、さらに１未満の所定の係数を掛け合わせてもよい。このようにすることで、コントラスト関連値が低い画像については、重み付け係数が小さくなり、総合スコアマップ（総合尤度）を小さくできる。したがって、あるフレーム期間において逆光により物体検出にふさわしくない画像が得られたとしても、かかる画像の総合スコアマップを低くして、かかる画像から物体が誤検出されることを抑制できる。

（Ｅ７）第３実施形態において、ステップＳ１０７において、３種類の情報それぞれに対して閾値処理を実行し、閾値以上の情報のみを後段の処理で使用するようにしても良い。また、第３実施形態において、ステップＳ１０７において、すべての画像について、コントラスト関連値がコントラスト閾値未満の場合には、かかる旨をユーザに報知するようにしてもよい。報知の方法としては、車両５００のインストルメントパネルに設けられた表示装置にエラーメッセージを表示する方法や、警告音や警告メッセージをスピーカから出力する方法や、所定のランプを点灯する方法など、任意の方法を採用してもよい。

（Ｅ８）第２および第３実施形態では、明るさ環境を特定する際に用いる強度関連情報のうち、情報（ｉ）については、前回のフレーム期間における背景光画像の強度を示す受光数であったが、本開示はこれに限定されない。例えば、前々回のフレーム期間における背景光画像の強度を示す受光数を用いてもよい。また、例えば、測距直前に背景光強度を求めても良いし、前回以前の複数のフレーム期間における背景光画像の強度の平均値、合算値、中央値、分散等の統計値を用いてもよい。

（Ｅ９）第２および第３実施形態では、明るさ環境を特定する際に用いる強度関連情報は、情報（ｉ）～（ｉｖ）の合計４つであったが、本開示はこれに限定されない。例えば、ユーザが視認等で明るさ環境を判断し、その判断結果を所定のユーザインターフェイスから車両５００に入力する構成としてもよい。かかる構成においては、所定のユーザインターフェイスから入力される明るさ環境を示す情報が、強度関連情報に該当する。また、例えば、情報（ｉ）～（ｉｖ）の一部を省略してもよい。また、例えば、車両５００に搭載されたマイクにより取得された音の大きさや高低などを、強度関連情報として用いてもよい。かかる構成においては、例えば、音が閾値強度よりも大きい場合には、昼間であるものと推定して明環境であると特定し、閾値強度以下の場合には、夜間であるものと推定して暗環境であると特定してもよい。

（Ｅ１０）各実施形態の物体検出装置５０は、例えば、以下のような装置に適用可能である。例えば、対象物ＯＢまでの距離を測定する測距装置に適用できる。また、例えば、車両５００の走行経路を生成する経路生成装置に適用できる。かかる構成においては、走行中の道路において障害物を避けるような経路を生成する際に、物体検出装置５０により検出された対象物ＯＢまでの距離を利用してもよい。また、例えば、自動運転制御装置に適用できる。かかる構成においては、物体検出装置５０により検出された対象物ＯＢまでの距離を利用して、車両５００の速度や操舵量を決定してもよい。また、例えば、対象物ＯＢまでの距離を車両５００の乗員に表示するための検出結果表示装置に適用できる。かかる構成においては、車両５００の乗員は、車両５００の前方に存在する物体までの距離を視覚的に確認できる。また、例えば、遠隔操作制御装置に対して車両５００の周囲の状況を通知する遠隔情報取得装置に適用できる。かかる構成においては、車両５００を遠隔操作するオペレータ側の遠隔操作制御装置（例えば、サーバ装置）に対して、対象物ＯＢまでの距離の情報（距離画像）の他、距離画像や背景光画像を送信してもよい。また、例えば、物体検出装置５０を、車両５００に搭載することに代えて、固定設置してもよい。例えば、監視カメラ（定点カメラ）に物体検出装置５０を搭載し、画像を取得するとともに、対象物ＯＢまでの距離を測定してもよい。

（Ｅ１１）各実施形態における物体検出装置５０の構成は、あくまでも一例であり、様々に変更可能である。例えば、第２および第３実施形態において明るさ環境は２段階であったが、任意の数の段階であってもよい。また、各画素Ｇが備えるマクロピクセルの数、および各マクロピクセルが有する受光要素２０１の数を、それぞれ任意の数にしてもよい。また、受光要素２０１として、ＡＰＤ（アバランシェフォトダイオード）などＳＰＡＤ以外の任意の受光素子を用いてもよい。

（Ｅ１２）本開示に記載の物体検出装置５０及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の物体検出装置５０及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の物体検出装置５０及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した形態中の技術的特徴に対応する各実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０ センサ装置、３０ 検出部、５０ 物体検出装置、１００ 照射部、２００ 受光部、２０１ 受光要素、Ｌｚ 照射光、Ｓ１ 受光面

Claims (10)

1. 物体を検出する物体検出装置（５０）であって、
   照射光（Ｌｚ）を照射する照射部（１００）と、照射された前記照射光の反射光を含む光を受光可能な複数の受光要素（２０１）が面状に配列された受光面（Ｓ１）を有し、前記受光面における予め定められている画素範囲内の前記受光要素の集まりを一画素として、各画素に含まれる前記受光要素の受光状態に応じた受光信号を出力する受光部（２００）と、を有し、前記受光信号に基づき、各画素における前記反射光の受光強度を示す第１情報と、各画素における前記反射光を除く他の光である背景光の受光強度を示す第２情報と、各画素における前記物体までの距離を示す第３情報と、を各画素の画素値として取得する単一のセンサ装置（１０）と、
   各画素の前記画素値を利用して前記物体を検出する検出部（３０）と、
   を備え、
   前記検出部は、取得された各画素の前記画素値に含まれる前記第１ないし前記第３情報をすべて利用して、前記物体を検出し、
   前記検出部は、前記第１ないし前記第３情報と、前記物体が存在する場合の前記第１ないし前記第３情報のモデルであるモデル情報（３３１－３３３）と、を対照することにより、前記物体を検出し、
   前記検出部は、
   前記第１情報と、前記第１情報に対する前記モデル情報とを対照して、画素ごとに、前記物体が存在する尤もらしさを示す第１尤度を求め、
   前記第２情報と、前記第２情報に対する前記モデル情報とを対照して、画素ごとに、前記物体が存在する尤もらしさを示す第２尤度を求め、
   前記第３情報と、前記第３情報に対する前記モデル情報とを対照して、画素ごとに、前記物体が存在する尤もらしさを示す第３尤度を求め、
   画素ごとに、前記第１ないし前記第３尤度に対してそれぞれ重み付けをして積算して総合尤度を求め、得られた前記総合尤度を利用して、前記物体を検出する、物体検出装置。
2. 請求項１に記載の物体検出装置において、
   前記検出部は、前記第１ないし前記第３情報を利用して、
   路面判定処理（Ｓ１１５）と、
   複数の測距点を対応付けるクラスタリング処理（Ｓ１２０）と、
   のうちの少なくとも１つの処理を実行する、物体検出装置。
3. 請求項２に記載の物体検出装置において、
   前記センサ装置は、車両（５００）に搭載されて用いられ、
   前記センサ装置は、予め定められたフレーム時間ごとに、前記第１ないし前記第３情報を、それぞれフレーム画像として取得し、
   前記検出部は、前記第１ないし前記第３情報について、それぞれ、
   前記クラスタリング処理を実行し、
   前記クラスタリング処理の結果であるクラスタリング結果を、時間的に前に得られた前記クラスタリング結果と対応付けて追跡結果として特定する処理である対応付け処理（Ｓ１２５）であって、取得時刻が異なる少なくとも２つの前記フレーム画像の前記画素値を利用して、２つの前記フレーム画像間における前記クラスタリング処理されたクラスタリング結果と前回特定された前記追跡結果を対応付ける対応付け処理を実行する、物体検出装置。
4. 請求項３に記載の物体検出装置において、
   前記検出部は、
   前記クラスタリング処理と、前記対応付け処理と、を実行し、
   前記対応付け処理において、
   ２つの前記フレーム画像について、それぞれ、前記クラスタリング結果の前記画素値の特徴量を求め、
   ２つの前記フレーム画像間での前記特徴量の差分（ΔＲ、ΔＢ、ΔＬ）を求め、
   前記差分に含まれる前記第１ないし前記第３情報のそれぞれについての前記差分が、いずれも設定された閾値（α、β、γ）よりも小さい場合に、２つの前記フレーム画像の前記クラスタリング結果と前回の追跡結果を対応付ける、物体検出装置。
5. 請求項４に記載の物体検出装置において、
   前記背景光の強度に関連する強度関連情報を取得する情報取得部（Ｓ３０５）と、
   前記閾値を設定する閾値設定部（Ｓ３１０）と、
   をさらに備え、
   前記閾値設定部は、取得された前記強度関連情報に関連する前記背景光の強度が高い場合には、該強度が低い場合に比べて、前記第１情報および前記第３情報に対する前記閾値を大きく設定し、かつ、前記第２情報に対する前記閾値を小さく設定する、物体検出装置。
6. 請求項４または請求項５に記載の物体検出装置において、
   前記特徴量は、前記第１ないし前記第３情報のそれぞれの各画素の前記画素値の平均値と、各画素の前記画素値のヒストグラムと、のうちの少なくとも一方である、物体検出装置。
7. 請求項１から請求項６までのいずれか一項に記載の物体検出装置において、
   前記背景光の強度に関連する強度関連情報を取得する情報取得部（３５０）をさらに備え、
   前記検出部は、取得された前記強度関連情報に関連する前記背景光の強度が高い場合には、該強度が低い場合に比べて、前記第１尤度および前記第３尤度に対する重み付けを小さく設定し、かつ、前記第２尤度に対する重み付けを大きく設定する、物体検出装置。
8. 請求項１から請求項７までのいずれか一項に記載の物体検出装置において、
   前記センサ装置は、予め定められたフレーム時間ごとに、前記第１ないし前記第３情報を、それぞれフレーム画像として取得し、
   取得された前記第１ないし前記第３情報からなるそれぞれの前記フレーム画像について、コントラストに関連するコントラスト関連値を算出するコントラスト関連値算出部（３０）を、さらに備え、
   前記検出部は、前記第１ないし前記第３情報からなる３つの前記フレーム画像が取得された場合において、
   取得された３つの前記フレーム画像のいずれについても、該フレーム画像について算出された前記コントラスト関連値が関連するコントラストが予め定められたコントラスト閾値以上の場合には、取得された３つの前記フレーム画像をすべて利用して、前記物体を検出し、
   取得された３つの前記フレーム画像のうちの少なくとも１つの前記フレーム画像について算出された前記コントラスト関連値が関連するコントラストが前記コントラスト閾値よりも小さい場合には、取得された３つの前記フレーム画像を利用した前記物体の検出を行わない、物体検出装置。
9. 請求項１から請求項８までのいずれか一項に記載の物体検出装置において、
   前記センサ装置は、前記物体までの距離を測定する測距装置として構成されている、物体検出装置。
10. 請求項１から請求項９までのいずれか一項に記載の物体検出装置において、
    前記受光要素は、前記受光信号として光の入射を示す出力信号を出力するＳＰＡＤ（シングルフォトンアバランシェダイオード）を有する、物体検出装置。

Images