JP7103324B2 - 物体認識用異常検出装置及び物体認識用異常検出プログラム - Google Patents

Description

この明細書による開示は、車両の周辺物体認識における異常の検出に関する。

特許文献１に開示の装置は、測距センサ及び外界カメラの測定結果を用いて、車両の周辺物体を認識する。当該装置は、画像に映り込む物体の画像ロストの状態に基づき、物体の検出結果の信頼度及び検出状態が安定しているか否かを判定している。

特開２０１８－９７７６５号公報

測距センサ及び外界カメラは、様々な環境に移動する車両に搭載されるものである。したがって、測距センサ及び外界カメラ自体を原因とした、周辺物体認識おける異常が発生することがある。しかしながら、特許文献１の装置では、こうした異常を検出することができない。

この明細書の開示による目的のひとつは、測距センサと外界カメラとを用いた車両の周辺物体認識における異常を、高精度に検出可能な物体認識用異常検出装置及び物体認識用異常検出プログラムを提供することにある。

ここに開示された態様のひとつは、車両（１）に搭載され、光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像を生成することに加えて、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像を生成する測距センサ（１０）と、車両に搭載され、外界からの入射光をカメラ素子（２２ａ）が検出することによりカメラ画像を生成する外界カメラ（２０）とを用いた車両の周辺物体認識における異常を検出する物体認識用異常検出装置であって、
車両の速度状態を把握する速度状態把握部（４３）と、
背景光画像及びカメラ画像を取得する画像情報取得部（４１）と、
車両が低速域以下の速度である速度状態にて背景光画像とカメラ画像とが生成されている場合に、背景光画像とカメラ画像と間の投影誤差（ＰＥ）を検出する投影誤差検出部（４４）と、を備える。

ここに開示された態様のひとつは、車両（１）の周辺物体認識における異常を検出する物体認識用異常検出プログラムであって、
少なくとも１つの処理部（３１）に、
車両に搭載された測距センサ（１０）が生成した画像であって、光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを、取得する処理と、
車両に搭載された外界カメラ（２０）が生成した画像であって、外界からの入射光をカメラ素子（２２ａ）が検出することによるカメラ画像を取得する処理と、
車両が低速域以下の速度である速度状態にて背景光画像とカメラ画像とが生成されている場合に、背景光画像とカメラ画像と間の投影誤差を検出する処理と、を実行させる。

これらの態様によると、背景光画像とカメラ画像と間の投影誤差が検出されるのは、車両が低速域以下の速度である速度状態下となっている。こうした速度状態下では、測距センサが生成する背景光画像の測定タイミングと、外界カメラが生成するカメラ画像の測定タイミングのずれを原因とした検出精度低下を抑制することができる。例えば、測定タイミングのずれの間に車両が移動することによる、背景光画像とカメラ画像との間の物体の映り込み位置ずれが低減されるので、当該位置ずれが投影誤差に包含されたとしても、位置ずれによる投影誤差の増大影響は小さい。故に、測距センサと外界カメラとを用いた車両の周辺物体認識における異常を、高精度に検出することが可能となる。

なお、括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。

第１実施形態の周辺監視画像情報システム及び運転支援ＥＣＵの全体像を示す図である。 第１実施形態の測距センサ及び外界カメラの車両への搭載状態を示す図である。 第１実施形態の画像処理ＥＣＵの構成を示す構成図である。 第１実施形態の背景光画像側の対応点を示す図である。 第１実施形態の測距センサ、外界カメラ、３次元座標の関係を示す図である。 第１実施形態のカメラ画像側の対応点、投影位置及び投影誤差を示す図である。 第１実施形態の投影誤差の増大を説明するためのグラフである。 第１実施形態の画像処理ＥＣＵによるフローチャートである。

一実施形態を図面に基づいて説明する。

（第１実施形態）
図１に示すように、本開示の第１実施形態による物体認識用異常検出装置は、車両１の周辺物体認識に用いられ、車両１に搭載されるように構成された画像処理ＥＣＵ（Electronic Control Unit）３０となっている。画像処理ＥＣＵ３０は、周辺監視画像情報提供システム１００を、測距センサ１０及び外界カメラ２０と共に構成している。本実施形態の周辺監視画像情報提供システム１００は、測距センサ１０及び外界カメラ２０の測定結果による周辺監視画像情報を、運転支援ＥＣＵ５０等に提供することが可能である。

画像処理ＥＣＵ３０は、車両１に搭載された車載ネットワークの通信バスに通信可能に接続されている。画像処理ＥＣＵ３０は、車載ネットワークに設けられた複数のノードのうちの１つである。車載ネットワークには、測距センサ１０、外界カメラ２０の他、運転支援ＥＣＵ５０等がそれぞれノードとして接続されている。

運転支援ＥＣＵ５０は、プロセッサ、ＲＡＭ（Random Access Memory）、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。運転支援ＥＣＵ５０は、車両１においてドライバの運転操作を支援する運転支援機能、及びドライバの運転操作を代行可能な運転代行機能の少なくとも一方を有している。運転支援ＥＣＵ５０は、記憶部に記憶された物体認識プログラムをプロセッサによって実行することにより、周辺監視画像情報提供システム１００により提供される周辺監視画像情報に基づき、車両１の周辺物体を認識する。運転支援ＥＣＵ５０は、記憶部に記憶されたプログラムをプロセッサによって実行することにより、認識結果に応じた車両１の自動運転又は高度運転支援を実現する。

運転支援ＥＣＵ５０は、物体認識プログラムを実行することにより、例えばセマンティックセグメンテーション（Semantic Segmentation）を用いた周辺物体認識を実施する。運転支援ＥＣＵ５０の記憶部には、物体認識プログラムの一構成要素としてニューラルネットワークを主体とした物体認識モデル５１（図３も参照）が構築されている。このニューラルネットワークには、例えばエンコーダとデコーダとを結合したＳｅｇＮｅｔと呼ばれる構造を採用することができる。なお、周辺物体認識は、バウンディングボックス（Bounding Box）を用いた物体認識であってもよい。

次に、周辺監視画像情報提供システム１００に含まれる測距センサ１０、外界カメラ２０及び画像処理ＥＣＵ３０の各詳細を、順に説明する。

測距センサ１０は、例えば車両１の前方、又は車両１のルーフに配置された、ＳＰＡＤＲｉＤＡＲ（Single Photon Avalanche Diode Light Detection And Ranging）となっている。測距センサ１０は、車両１の周辺のうち少なくとも前方の測定範囲ＭＡ１を測定可能となっている。

測距センサ１０は、発光部１１、受光部１２、制御ユニット１３等を含む構成である。発光部１１は、光源から発光された光ビームを、可動光学部材（例えばポリゴンミラー）を用いて走査することにより、図２に示す測定範囲ＭＡ１へ向けて照射する。光源は、例えば半導体レーザ（Laser diode）であり、制御ユニット１３からの電気信号に応じて、乗員（ドライバ等）及び外界の人間から視認不能な近赤外域の光ビームを発光する。

受光部１２は、照射された光ビームが測定範囲ＭＡ１内の物体から反射される反射光又は反射光に対する背景光を例えば集光レンズにより集光して、受光素子１２ａへ入射させる。

受光素子１２ａは、光電変換により光を電気信号に変換する素子であり、検出電圧を増幅することにより、高感度を実現したＳＰＡＤ受光素子である。受光素子１２ａには、例えば近赤外域の反射光を検出するために、可視域に対して近赤外域の感度が高く設定されたＣＭＯＳセンサが採用されている。この感度は、受光部１２に光学フィルタを設けることによっても調整できる。受光素子１２ａは、複数の受光画素を１次元方向又は２次元方向に並ぶようにアレイ状に有する。

制御ユニット１３は、発光部１１及び受光部１２を制御するユニットである。制御ユニット１３は、例えば受光素子１２ａと共通の基板上に配置され、例えばマイコンないしＦＰＧＡ（Field-Programmable Gate Array）等の広義のプロセッサを主体として構成されている。制御ユニット１３は、走査制御機能、反射光測定機能、及び背景光測定機能を実現している。

走査制御機能は、光ビーム走査を制御する機能である。制御ユニット１３は、測距センサ１０に設けられたクロック発振器の動作クロックに基づいたタイミングにて、光源から光ビームをパルス状に複数回発振させると共に、可動光学部材を動作させる。

反射光測定機能は、光ビーム走査のタイミングに合わせて、例えばローリングシャッタ方式を用いて各受光画素が受光した反射光に基づく電圧値を読み出し、反射光の強度を測定する機能である。反射光の測定においては、光ビームの発光タイミングと反射光の受光タイミングとの時間差を検出することにより、測距センサ１０から反射光を反射した物体までの距離を測定することができる。反射光の測定により、制御ユニット１３は、測定範囲ＭＡ１に対応した画像平面上の２次元座標に反射光の強度及び当該反射光を反射した物体の距離情報が関連付けられた画像状のデータである反射光画像を、生成することができる。

背景光測定機能は、反射光を測定する直前のタイミングにて、各受光画素が受光した背景光に基づく電圧値を読み出し、背景光の強度を測定する機能である。ここで背景光とは、反射光を実質的に含まない、外界のうち測定範囲ＭＡ１から受光素子１２ａへ入射する入射光を意味する。入射光には、自然光、外界の表示等から発光される表示光が含まれる。背景光の測定により、制御ユニット１３は、測定範囲ＭＡ１に対応した画像平面上の２次元座標に背景光の強度が関連付けられた画像状のデータである背景光画像を、生成することができる。

反射光画像及び背景光画像は、共通の受光素子１２ａにより感知され、当該受光素子１２ａを含む共通の光学系から取得される。したがって、反射光画像の座標系と背景光画像の座標系とは、互いに一致する同座標系とみなすことができる。さらには、反射光画像と背景光画像との間にて、測定タイミングのずれも殆どない（例えば１ｎｓ未満）といえる。したがって、反射光画像と背景光画像とは、同期もとれているとみなすことができる。

例えば本実施形態では、各画素に対応して、反射光の強度、物体の距離、及び背景光の強度の３チャンネルのデータが格納された画像データが、センサ画像として、画像処理ＥＣＵ３０へ逐次出力される。

外界カメラ２０は、例えば車両１のフロントウインドシールドの車室内側に配置されているカメラである。外界カメラ２０は、車両１の外界のうち少なくとも前方の測定範囲ＭＡ２、より詳細には測距センサ１０の測定範囲ＭＡ１と少なくとも一部を重複させた測定範囲ＭＡ２を、測定可能となっている。

外界カメラ２０は、受光部２２及び制御ユニット２３を含む構成である。受光部２２は、カメラ外部の測定範囲ＭＡ２から入射する入射光（背景光）を例えば受光レンズにより集光して、カメラ素子２２ａへ入射させる。

カメラ素子２２ａは、光電変換により光を電気信号に変換する素子であり、例えばＣＣＤセンサ又はＣＭＯＳセンサを採用することが可能である。カメラ素子２２ａでは、可視域の自然光等を効率的に受光するために、近赤外域に対して可視域の感度が高く設定されている。カメラ素子２２ａは、複数の受光画素（いわゆるサブ画素に相当する）を２次元方向に並ぶようにアレイ状に有する。互いに隣接する受光画素には、例えば赤色、緑色、青色のカラーフィルタが配置されている。各受光画素は、配置されたカラーフィルタに対応した色の可視光を受光する。赤色の強度、緑色の強度、青色の強度がそれぞれ測定されることによって、外界カメラ２０が撮影するカメラ画像は、反射光画像及び背景光画像よりも高解像の画像であって、可視域のカラー画像となり得る。

制御ユニット２３は、受光部２２を制御するユニットである。制御ユニット２３は、例えばカメラ素子２２ａと共通の基板上に配置され、マイコンないしＦＰＧＡ等の広義のプロセッサを主体として構成されている。制御ユニット２３は、撮影機能を実現している。

撮影機能は、上述のカラー画像を撮影する機能である。制御ユニット２３は、外界カメラ２０に設けられたクロック発振器の動作クロックに基づいたタイミングにて、例えばグローバルシャッタ方式を用いて各受光画素が受光した入射光に基づく電圧値を読み出し、入射光の強度を感知して測定する。制御ユニット２３は、測定範囲ＭＡ２に対応した画像平面上の２次元座標に入射光の強度が関連付けられた画像状のデータであるカメラ画像を、生成することができる。こうしたカメラ画像が、画像処理ＥＣＵ３０へ逐次出力される。

画像処理ＥＣＵ３０は、測距センサ１０及び外界カメラ２０の測定結果による周辺監視画像情報を、複合的に処理する電子制御装置である。画像処理ＥＣＵ３０は、図１に示すように、処理部３１、ＲＡＭ３２、記憶部３３、入出力インターフェース３４、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。処理部３１は、ＲＡＭ３２と結合された演算処理のためのハードウェアである。処理部３１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）、ＲＩＳＣ（Reduced Instruction Set Computer）等の演算コアを少なくとも１つ含む構成である。処理部３１は、ＦＰＧＡ及び他の専用機能を備えたＩＰコア等をさらに含む構成であってもよい。処理部３１は、ＲＡＭ３２へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。記憶部３３は、不揮発性の記憶媒体を含む構成である。記憶部３３には、処理部３１によって実行される種々のプログラム（物体認識用異常検出プログラム等）が格納されている。

画像処理ＥＣＵ３０は、記憶部３３に記憶されたプログラムを処理部３１によって実行することで、複数の機能部を有する。具体的に図３に示すように、画像情報取得部４１、イメージレジストレーション部４２、速度状態把握部４３、投影誤差検出部４４、異常判断部４５、異常通知情報出力部４６等の機能部が構築される。

また、画像処理ＥＣＵ３０では、測定位置データ４７及び投影誤差検出データ４８が記憶部３３に記憶されている。測定位置データ４７は、測距センサ１０の測定位置と外界カメラ２０の測定位置との位置関係に関するデータを含む。位置関係に関するデータは、車両１における測距センサ１０の受光素子１２ａの位置及び向き及び外界カメラ２０のカメラ素子２２ａの位置及び向きのデータであってもよく、これらデータを変換して得られる、後述する変換行列の成分の値を示すデータであってもよい。

投影誤差検出データ４８は、投影誤差検出部４４の検出結果を記録したデータであって、異常判断部４５が判断を実行するためのデータである。例えば投影誤差検出データ４８は、検出日時、検出元の画像、及び検出された投影誤差ＰＥの値の組を、複数組記録したデータである。

画像情報取得部４１は、測距センサ１０から反射光画像及び背景光画像を取得すると共に、外界カメラ２０からカメラ画像を取得する。画像情報取得部４１は、最新の反射光画像、背景光画像及びカメラ画像の組を、イメージレジストレーション部４２及び投影誤差検出部４４に提供する。

イメージレジストレーション部４２は、反射光画像、背景光画像の座標系とカメラ画像の座標系との対応関係の特定、すなわちイメージレジストレーションを実施する。イメージレジストレーション部４２は、イメージレジストレーション済みの反射光画像、背景光画像及びカメラ画像を、運転支援ＥＣＵ５０に逐次提供する。

速度状態把握部４３は、車両１の速度状態を把握する。速度状態把握部４３は、車両１の速度状態を、例えば車両１の速度センサから取得することにより、把握することができる。あるいは、速度状態把握部４３は、車速センサからの車速の情報を得なくてもよく、直近の２枚の背景光画像（カメラ画像でもよい）を比較し、画像に映り込む背景等の移動量から、車両１の速度状態を推測することにより把握してもよい。

投影誤差検出部４４は、図４～６に示すように、背景光画像とカメラ画像とを比較し、背景光画像とカメラ画像との間の投影誤差ＰＥを検出する。投影誤差検出部４４は、速度状態判定機能、対応点取得機能、対応点投影機能、及び投影誤差計測機能を備える。

速度状態判定機能は、車両１の速度状態が投影誤差ＰＥの検出に適した条件であるか否か、換言すると投影誤差ＰＥの検出処理を実行するか否かを判定する機能である。車両１の停止状態は、測距センサ１０から測定される静止物体ＳＯの位置精度及び外界カメラ２０から測定される当該静止物体ＳＯの位置精度が、実質的に最も高い状態であるので、投影誤差ＰＥの検出に適した条件であるといえる。一方、車両１の走行状態では、その速度が大きくなる程、測距センサ１０の測定タイミングと、外界カメラ２０の測定タイミングのずれが、背景光画像の静止物体ＳＯの映り込み位置とカメラ画像の静止物体ＳＯの映り込み位置の位置ずれを生じさせる。故に、車両１の速度が増大すると、投影誤差ＰＥの検出に適した条件は満たされなくなってしまう。

具体的に、投影誤差検出部４４は、速度状態把握部４３が把握した速度状態に基づき、投影誤差ＰＥの検出対象である背景光画像及びカメラ画像が車両１の停止状態にて生成されているか否かを判定する。停止状態にて生成されている場合には、背景光画像及びカメラ画像を対象とした投影誤差ＰＥ検出のための処理が進められる。そうでない場合には、背景光画像及びカメラ画像を対象とした投影誤差ＰＥ検出のための処理が中止される。

対応点取得機能は、組になっている背景光画像及びカメラ画像から、対応点ＣＰａ，ＣＰｂを取得する機能である。対応点ＣＰａ，ＣＰｂは、背景光画像及びカメラ画像の両方に映り込む共通の静止物体ＳＯの特徴点である（図４，６も参照）。

具体的に、投影誤差検出部４４は、背景光画像及びカメラ画像が停止状態にて生成されたと判断した場合に、背景光画像及びカメラ画像に共通に映り込んでいる静止物体ＳＯを抽出する。抽出する静止物体ＳＯは、例えば看板、標識、信号機等、外形を抽出容易な静止物体であることが好適である。

投影誤差検出部４４は、抽出した静止物体ＳＯの特徴点（例えばコーナー）を、対応点ＣＰａ，ＣＰｂとして取得する。この対応点ＣＰａ，ＣＰｂは、背景光画像とカメラ画像との間で１対又は複数対取得される。特に本実施形態では、投影誤差検出部４４は、１つの静止物体ＳＯに複数の特徴点が存在する場合、複数の静止物体ＳＯが抽出された場合等、特徴点が複数対取得可能である場合には、対応点ＣＰａ，ＣＰｂを複数対取得することが好ましい。なお、図４，６では、図示の簡略化のために、１対の対応点ＣＰａ，ＣＰｂが記載されている。

対応点投影機能は、取得された対応点ＣＰａ，ＣＰｂの各対に対して、背景光画像側の対応点ＣＰａを、カメラ画像上に投影する機能である。図５に示すように、投影誤差検出部４４は、反射光画像の距離情報を参照して、背景光画像側の対応点ＣＰａの３次元座標Ｐ（ｘ，ｙ，ｚ）を特定する。すなわち、背景光画像には距離情報が含まれないので、対応点ＣＰａが背景光画像の画像平面上の２次元座標情報であったのに対し、当該２次元座標情報に反射光画像の距離情報を組み合わせることで、対応点ＣＰａを、３次元座標情報に拡張することができる。３次元座標Ｐ（ｘ，ｙ，ｚ）の特定は、図４に示すように、反射光画像と背景光画像とが同座標系とみなされ、同期がとれているとみなされていることによって可能となる。この３次元座標Ｐ（ｘ，ｙ，ｚ）は、背景光画像の画像平面の２次元座標（ｘ，ｙ）に、当該画像平面に垂直な奥行き方向に沿ったｚ軸を追加した座標系にて表現される。

投影誤差検出部４４は、変換行列を用いた座標変換により、３次元座標Ｐ（ｘ，ｙ，ｚ）をカメラ画像の画像平面上の投影位置ＰＰに投影する。ここで変換行列は、３次元座標Ｐ（ｘ，ｙ，ｚ）に回転操作及び並進操作を加え、変換後の座標を背景光画像に逆投影する操作を加える行列である。この変換行列は、１つの行列の形態によって記述されていてもよく、複数の行列の積（例えば逆投影行列と並進行列Ｔと回転行列Ｒとの積）の形態によって記述されていてもよい。

投影誤差計測機能は、取得された対応点ＣＰａ，ＣＰｂの各対に対して、カメラ画像側の対応点ＣＰｂの位置と、座標変換によって背景光画像側から投影された投影位置ＰＰとの位置のずれ量を、投影誤差ＰＥとして計測する機能である。投影誤差ＰＥは、例えばカメラ画像側の対応点ＣＰｂの位置と、投影位置ＰＰとの距離によって表される。あるいは投影誤差ＰＥは、受光部２２の光学系に基づき、角度換算された角度誤差によって表されてもよい。検出された投影誤差ＰＥの結果は、投影誤差検出データ４８に検出日時、検出元の画像、及び検出された投影誤差ＰＥの値の組を逐次追加する形で記憶部３３に記憶される。

異常判断部４５は、投影誤差検出部４４によって検出された投影誤差ＰＥに基づき、周辺物体認識における異常を判断する。ここでいう異常には、周辺物体認識機能の故障のみならず、周辺物体認識の精度が許容し難いレベルにまで低下している状態、又は低下する可能性が高い状態が含まれる。投影誤差ＰＥが大きい値であれば、変換行列に問題があること及び測距センサ１０が測定する距離情報に問題があることのうち少なくとも一方が推測される。

異常判断部４５は、記憶部３３へのアクセスにより投影誤差検出データ４８を参照しつつ、以下の複数（例えば３つ）の判断条件を判断する。異常判断部４５は、以下の複数の判断条件のうち、１つ以上の条件が成立する場合に、周辺物体認識における異常が存在すると判断する。異常判断部４５は、複数の判断条件の全てが不成立の場合に、周辺物体認識における異常が存在しないと判断する。

第１の条件は、同じ反射光画像及びカメラ画像において、対応点ＣＰａ，ＣＰｂを複数対取得し、複数対に対してそれぞれ投影誤差ＰＥを検出した場合に判断される条件である。具体的に異常判断部４５は、第１の条件として、反射光画像及びカメラ画像の同じ組において、所定値Ａ以上の投影誤差ＰＥが所定の複数の検出数Ｋ以上検出されたか否かを判定する。所定値Ａは、ノイズを除去するためのノイズ除去値である。所定値Ａの適切な設定により、例えば車両１の内燃機関による車両振動に影響するノイズを除去することができる。検出数Ｋは、異常判断の信頼性を高めるための信頼性担保検出数であり、２以上の整数が採用される。

第２の条件は、同じ反射光画像及びカメラ画像であるか否かに関係なく、直近に検出されたＮ回の投影誤差ＰＥが判断される条件である。具体的に異常判断部４５は、第２の条件として、直近に検出された所定の複数回数Ｎ回の投影誤差ＰＥの平均値が、所定値Ｂ以上であるか否かを判定する。回数Ｎは、例えば異常判断の信頼性を高めるための信頼性担保回数であり、２以上の整数が採用される。所定値Ｂは、運転支援ＥＣＵ５０にて実行される物体認識の認識性能に基づき設定され、当該物体認識の精度維持において許容される許容投影誤差の値である。所定値Ｂは、所定値Ａと同じ値であってもよく、異なる値であってもよい。

第３の条件は、長期の投影誤差ＰＥの推移に基づき判断される条件である。異常判断部４５は、第３の条件として、継続的に投影誤差ＰＥが増加しているか否かを判断する。図７に示すように、異常判断部４５は、投影誤差検出データ４８の検出日時に基づき、投影誤差ＰＥを複数の期間毎（例えば月毎）に分類する。異常判断部４５は、各期間の投影誤差ＰＥ同士を比較する。例えば直近の３期間において、前期よりも投影誤差ＰＥが増加している場合、異常判断部４５は、継続的に投影誤差ＰＥが増加していると判断する。

異常通知情報出力部４６は、異常判断部４５が周辺物体認識における異常が存在すると判断した場合に、異常を通知するための異常通知情報を生成し、出力先に対して出力する。出力先は、例えば車両１の情報提示装置（例えばメータ、ＨＵＤ、スピーカ）である。情報提示装置が乗員に異常を通知することによって、乗員が各種の対応を実施可能となる。

また、出力先は、ＤＣＭ（Data Commumication Module）による通信を利用した車両外の情報収集センタであってもよい。ＤＣＭは、車両１に搭載される通信モジュールである。ＤＣＭは、ＬＴＥ（Long Term Evolution）及び５Ｇ等の通信規格に沿った無線通信により、車両１と周囲の基地局との間で電波を送受信する。車両１が有人タクシー用の車両、有人バス用の車両、レンタカー用、ライドシェア用の車両、無人の搬送車両等の事業用車両の場合、事業所に設けられた情報取集センタに異常が通知されてもよい。

次に、異常検出プログラムに基づき、周辺物体認識における異常を検出する異常検出方法の詳細を、図８のフローチャートを用いて説明する。

まず、Ｓ１１では、投影誤差検出部４４は、背景光画像及びカメラ画像が車両１の停止状態にて生成されているか否かを判定する。Ｓ１１にて肯定判定が下された場合、Ｓ１２へ移る。Ｓ１１にて否定判定が下された場合、一連の処理を終了する。

Ｓ１２では、投影誤差検出部４４は、背景光画像及びカメラ画像に共通に映り込む静止物体ＳＯを抽出する。Ｓ１２の処理後、Ｓ１３へ移る。

Ｓ１３では、投影誤差検出部４４は、Ｓ１２にて抽出した静止物体ＳＯの対応点ＣＰａ，ＣＰｂを取得する。Ｓ１３の処理後、Ｓ１４へ移る。

Ｓ１４では、投影誤差検出部４４は、背景光画像側の対応点ＣＰａを、カメラ画像上の投影位置ＰＰに投影する。Ｓ１４の処理後、Ｓ１５へ移る。

Ｓ１５では、投影誤差検出部４４は、Ｓ１４にて投影された投影位置ＰＰと、カメラ画像側の対応点ＣＰｂとから投影誤差ＰＥを測定する。投影誤差ＰＥの検出結果は、投影誤差検出データ４８として記録される。Ｓ１５の処理後、Ｓ１６へ移る。

Ｓ１６では、異常判断部４５は、投影誤差検出データ４８を参照して、周辺物体認識における異常を判断する。Ｓ１６にて異常ありと判断された場合、Ｓ１７へ移る。Ｓ１６にて異常なしと判断された場合、一連の処理を終了する。

Ｓ１７では、異常通知情報出力部４６は、出力先へ異常通知情報を出力する。Ｓ１７を以って一連の処理を終了する。こうして画像処理ＥＣＵ３０は、車両１の周辺物体認識における異常を検出することができる。

（作用効果）
以上説明した第１実施形態の作用効果を以下に改めて説明する。

第１実施形態によると、背景光画像とカメラ画像と間の投影誤差ＰＥが検出されるのは、車両１が低速域以下の速度である速度状態下となっている。こうした速度状態下では、測距センサ１０が生成する背景光画像の測定タイミングと、外界カメラ２０が生成するカメラ画像の測定タイミングのずれを原因とした検出精度低下を抑制することができる。例えば、測定タイミングのずれの間に車両１が移動することによる、背景光画像とカメラ画像との間の物体の映り込み位置ずれが低減されるので、当該位置ずれが投影誤差ＰＥに包含されたとしても、位置ずれによる投影誤差ＰＥの増大影響は小さい。故に、測距センサ１０と外界カメラ２０とを用いた車両１の周辺物体認識における異常を、高精度に検出することが可能となる。

また、第１実施形態によると、背景光画像とカメラ画像と間の投影誤差ＰＥが検出されるのは、車両１の停止状態下となっている。停止状態下では、測定タイミングのずれの間に車両１が移動することだけを原因とした、背景光画像とカメラ画像との間の物体の映り込み位置ずれは解消される。したがって、こうした位置ずれが投影誤差ＰＥに包含されてしまうことが抑制される。故に、測距センサ１０と外界カメラ２０とを用いた車両１の周辺物体認識における異常を、高精度に検出することが可能となる。

また、第１実施形態によると、背景光画像及びカメラ画像間で相互に対応する対応点ＣＰａ，ＣＰｂのうち、背景光画像側の対応点ＣＰａの３次元座標Ｐ（ｘ，ｙ，ｚ）が、距離情報を用いて特定される。カメラ画像の画像平面上の投影位置ＰＰに投影される投影元が３次元座標Ｐ（ｘ，ｙ，ｚ）であることにより、投影位置ＰＰの位置精度は、格段に高まる。そして、投影誤差ＰＥは、カメラ画像の画像平面上にて、カメラ画像側の対応点ＣＰｂの位置と、投影位置ＰＰとのずれを、測定することで容易に検出可能となる。

また、第１実施形態によると、周辺物体認識における異常は、検出された投影誤差ＰＥに基づいて、判断される。高精度に検出された投影誤差ＰＥを用いることにより、異常判断の精度も、高精度なものとなる。

また、第１実施形態によると、反射光画像及びカメラ画像の同じ組において、所定値Ａ以上の投影誤差ＰＥが所定複数の検出数Ｋ以上検出された場合に、周辺物体認識における異常が存在するとの判断がなされる。同じ組の投影誤差ＰＥが複数考慮されることにより、異常判断の信頼性を、大いに高めることができる。

また、第１実施形態によると、直近に検出された所定の複数回数Ｎの投影誤差ＰＥの平均値が所定値Ｂ以上である場合に、周辺物体認識における異常が存在するとの判断がなされる。直近に検出された複数回数の投影誤差ＰＥの平均値が考慮されることにより、異常判断の信頼性を、大いに高めることができる。

また、第１実施形態によると、継続的に投影誤差ＰＥが増加している場合に、周辺物体認識における異常が存在するとの判断がなされる。投影誤差ＰＥの継続的な増加状態をチェックして、今後に予測される投影誤差ＰＥが許容できない範囲まで拡大された状態を防ぐための未然の対応が可能となる。

（他の実施形態）
以上、一実施形態について説明したが、本開示は、当該実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。

具体的に変形例１としては、投影誤差検出部４４は、投影誤差ＰＥの検出対象である背景光画像及びカメラ画像が低速域以下の速度である速度状態（以下、低速域状態）にて生成されているか否かを判定してもよい。ここで低速域状態とは、車両１が停止している停止状態と、車両１が低速域で走行している低速走行状態とを含む。本実施形態における低速域は、投影誤差ＰＥの検出精度を担保するのに必要な許容上限速度未満の範囲を意味する。許容上限速度の値は、測距センサ１０及び外界カメラ２０におけるフレームレート、シャッタースピード等の画像測定仕様を考慮して変わり得るが、例えば１０ｋｍ／ｈ、２０ｋｍ／ｈ等の値を採用することができる。すなわち、本変形例１にて投影誤差検出部４４は、停止状態のみならず、低速走行状態にて背景光画像とカメラ画像とが生成されている場合に、背景光画像とカメラ画像と間の投影誤差ＰＥを検出していることになる。

変形例２としては、異常判断部４５は、複数の判断条件を判断しなくてもよく、例えば第１実施形態に示された判断条件のうちいずれか１つのみを、判断してもよい。

変形例３としては、カメラ画像は、カラー画像でなく、グレースケール画像であってもよい。

変形例４としては、画像処理ＥＣＵ３０及び運転支援ＥＣＵのうち少なくとも１つは、車両に搭載されずに、車両外の路上等に固定設置されていてもよく、他車両に搭載されていてもよい。この場合には、インターネット、路車間通信、車車間通信等の通信によって、異常検出、運転操作等が遠隔操作されてもよい。

変形例５としては、画像処理ＥＣＵ３０等の物体認識用異常検出装置と、運転支援ＥＣＵ５０等の物体認識装置とが、１つに統合され、例えば１つの複合的な機能を実現する電子制御装置を構成していてもよい。

変形例６としては、物体認識用異常検出装置は、イメージレジストレーションの機能を備えずに、異常の検出に特化した装置であってもよい。

変形例７としては、画像処理ＥＣＵ３０によって提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組み合わせによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。

変形例８としては、上記の異常検出方法を実現可能な異常検出プログラム等を記憶する記憶媒体の形態も、適宜変更されてもよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、画像処理ＥＣＵ３０の制御回路に電気的に接続される構成であってもよい。さらに、記憶媒体は、画像処理ＥＣＵ３０のプログラムのコピー基となる光学ディスク及びハードディスクであってもよい。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

１：車両、１０：測距センサ、１２ａ：受光素子、２０：外界カメラ、２２ａ：カメラ素子、４１：画像情報取得部、４３：速度状態把握部、４４：投影誤差検出部、ＰＥ：投影誤差

Claims (9)

1. 車両（１）に搭載され、光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像を生成することに加えて、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像を生成する測距センサ（１０）と、前記車両に搭載され、外界からの入射光をカメラ素子（２２ａ）が検出することによりカメラ画像を生成する外界カメラ（２０）とを用いた前記車両の周辺物体認識における異常を検出する物体認識用異常検出装置であって、
   前記車両の速度状態を把握する速度状態把握部（４３）と、
   前記背景光画像及び前記カメラ画像を取得する画像情報取得部（４１）と、
   前記車両が低速域以下の速度である前記速度状態にて前記背景光画像と前記カメラ画像とが生成されている場合に、前記背景光画像と前記カメラ画像と間の投影誤差（ＰＥ）を検出する投影誤差検出部（４４）と、を備える物体認識用異常検出装置。
2. 前記投影誤差検出部は、前記速度状態としての前記車両が停止している停止状態にて前記背景光画像と前記カメラ画像とが生成されている場合に、前記投影誤差を検出する請求項１に記載の物体認識用異常検出装置。
3. 前記投影誤差検出部は、
   前記背景光画像及び前記カメラ画像間で相互に対応する対応点（ＣＰａ，ＣＰｂ）を取得し、
   前記距離情報を参照して前記背景光画像側の前記対応点の３次元座標を特定し、
   前記３次元座標を前記カメラ画像の画像平面上の投影位置（ＰＰ）に投影し、
   前記カメラ画像側の前記対応点の位置と、前記投影位置とのずれを、前記投影誤差として検出する請求項１に記載の物体認識用異常検出装置。
4. 前記投影誤差検出部が検出した前記投影誤差に基づいて、前記周辺物体認識における異常を判断する異常判断部（４５）を、さらに備える請求項１から３のいずれか１項に記載の物体認識用異常検出装置。
5. 前記異常判断部は、前記反射光画像及び前記カメラ画像の同じ組において、所定値以上の前記投影誤差が所定複数の検出数以上検出された場合に、前記周辺物体認識における異常が存在すると判断する請求項４に記載の物体認識用異常検出装置。
6. 前記異常判断部は、直近に検出された所定の複数回数の前記投影誤差の平均値が所定値以上である場合に、前記周辺物体認識における異常が存在すると判断する請求項４又は５に記載の物体認識用異常検出装置。
7. 前記異常判断部は、継続的に前記投影誤差が増加している場合に、前記周辺物体認識における異常が存在すると判断する請求項４から６のいずれか１項に記載の物体認識用異常検出装置。
8. 前記異常判断部が異常ありと判断した場合に、装置外部の出力先に対して異常通知情報を出力する異常通知情報出力部（４６）を、さらに備える請求項４から７のいずれか１項に記載の物体認識用異常検出装置。
9. 車両（１）の周辺物体認識における異常を検出する物体認識用異常検出プログラムであって、
   少なくとも１つの処理部（３１）に、
   前記車両に搭載された測距センサ（１０）が生成した画像であって、光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを、取得する処理と、
   前記車両に搭載された外界カメラ（２０）が生成した画像であって、外界からの入射光をカメラ素子（２２ａ）が検出することによるカメラ画像を取得する処理と、
   前記車両が低速域以下の速度である速度状態にて前記背景光画像と前記カメラ画像とが生成されている場合に、前記背景光画像と前記カメラ画像と間の投影誤差を検出する処理と、を実行させる物体認識用異常検出プログラム。

Images