JP2020201876A - 情報処理装置及び運転支援システム - Google Patents

Abstract

【課題】雨滴の付着を判定する新たな技術を提供する。【解決手段】情報処理装置１３は、検出部３１と、雨滴判定部３７と、を備える。検出部は、撮影装置を用いて取得される画像は、車両の周辺を示す視差画像５２における車両の周辺に存在する物体を示す視差点７１を検出するように構成される。雨滴判定部３７は、視差画像５２において物体が存在する領域である所定領域６１に含まれる視差点の数が所定の基準を超えて減少したときに、ステレオカメラ１１の前方に雨滴が付着した雨滴付着状態であることを判定するように構成される。【選択図】図１

Description

本開示は、車両周辺の物体を認識する技術に関する。

従来、車両に搭載されたカメラの撮影画像に基づいて車両周辺の物体を検出し、当該検出結果に基づいて運転支援を行う技術が知られている。例えば、下記特許文献１には、ステレオカメラの撮影画像からの視差情報の生成状況に基づいて、検出された物体の位置の精度を出力する技術が提案されている。

特開２０１６−１４８９６２号公報

発明者の詳細な検討の結果、次のような課題が見出された。撮影装置前方のフロントガラスに付着した雨滴により物体検出精度が低下しても、ワイパー等で雨滴が除去されれば物体検出精度が早期に回復する場合がある。そこで、物体が検出されなくなった理由が雨滴によるものであると高い精度で判定できれば、物体が実際に存在しない場合とは異なる適切な制御を行うことができる。

本開示の１つの局面は、雨滴の付着を判定する新たな技術を提供する。

本開示の一態様は、撮影装置（１１）及び運転支援装置（１２）を備える車両（３）にて用いられる情報処理装置（１３）である。情報処理装置は、検出部（３１）と、雨滴判定部（３７）と、を備える。検出部は、撮影装置を用いて取得される画像であって、車両の周辺を示す周辺画像（５２，５３）における車両の周辺に存在する物体を示す特徴点を検出するように構成される。雨滴判定部は、周辺画像において物体が存在する領域である所定領域（６１，６２）に含まれる特徴点の数が、過去に取得された周辺画像の所定領域に含まれる特徴点と比較して所定の基準を超えて減少したときに、撮影装置の前方に雨滴が付着した雨滴付着状態であることを判定するように構成される。

このような構成によれば、特徴点の数が所定の基準を超えて減少したときに、雨滴が付着したと判定することができる。
また本開示の別の態様は、上記本開示の一態様において、さらに、推定部（３９）及び出力部（４０）を備えてもよい。推定部は、検出部により検出された特徴点に基づいて、物体について推定される挙動を示す推定情報を取得するように構成される。出力部は、所定の出力条件が満たされたときに、推定部により取得された推定情報を運転支援装置に出力するように構成される。出力条件には、雨滴判定部により雨滴付着状態であると判定されたことが要件として含まれる。

このような構成によれば、雨滴付着状態と判定されたとき、すなわち特徴点の数が減少することで画像認識による物体の検出が困難になる状況のときに、推定情報を運転支援装置に出力することができる。そのため、運転支援装置は推定情報を用いた運転支援の継続が可能となり、運転支援の継続時間を延ばすことができる。

本開示の別の態様は、車両（３）に搭載して用いられる運転支援システム（１）であって、撮影装置（１１）と、運転支援装置（１２）と、上述した別の態様の情報処理装置（１３）と、を備える。このような構成によれば、上述した本開示の別の態様の情報処理装置を備えることによる運転支援の継続時間を延ばすという効果を実現させることができる。

運転支援システムの構成を示すブロック図である。 実施形態の情報処理装置の機能ブロック図である。 情報出力処理のフローチャートである。 第１密度算出処理のフローチャートである。 検出枠の面積の算出方法を説明する図である。 検出枠における視差点数の算出方法を説明する図である。 第２密度算出処理のフローチャートである。 先行車両の移動を説明する図である。 推定枠の面積の算出方法を説明する図である。 推定枠における視差点数の算出方法を説明する図である。 変形例の情報処理装置の機能ブロック図である。 複数の検出枠が生じる場合の処理の例を説明する図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．実施形態］
［１−１．構成］
図１に示される運転支援システム１は、車両３に搭載して用いられるシステムであって、ステレオカメラ１１と、運転支援装置１２と、情報処理装置１３と、を備える。

ステレオカメラ１１は、右カメラ１１ａ及び左カメラ１１ｂを備える。右カメラ１１ａ及び左カメラ１１ｂは、互いに同期が取られたＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサを備える。右カメラ１１ａ及び左カメラ１１ｂは、例えば、車両３のフロントガラスの内側において、車幅方向に所定の間隔をあけて、路面から同じ高さに取り付けられている。右カメラ１１ａ及び左カメラ１１ｂは、所定の周期（例えば、０．１秒間隔）で車両３の周辺を繰り返し撮影する。ステレオカメラ１１が撮影装置に相当する。

運転支援装置１２は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏ等を備えたマイクロコンピュータを備えた装置である。運転支援装置１２は、先行車両との車間距離を維持するように加減速を行う、いわゆるアダプティブ・クルーズ・コントロール（以下、ＡＣＣと記載する）の制御が可能に構成されている。運転支援装置１２は、情報処理装置１３により出力される、後述する物体情報又は推定情報を用いてＡＣＣを実行する。

情報処理装置１３は、ＣＰＵ２１と、例えば、ＲＡＭ又はＲＯＭ等の半導体メモリ（以下、メモリ２２）と、を有するマイクロコンピュータを備える。情報処理装置１３の各機能は、ＣＰＵ２１がメモリ２２に格納されたプログラムを実行することにより実現される。

情報処理装置１３は、図２に示すように、視差検出部３１と、雨滴判定部３７と、を備える。また情報処理装置１３は、物体検出部３２と、物体追跡部３３と、距離算出部３４と、速度算出部３５と、種別判定部３６と、作動判定部３８と、推定部３９と、出力部４０と、を備えてもよい。

視差検出部３１は、ステレオカメラ１１を用いて取得された視差画像に映される物体を示す特徴点である視差点を検出する。視差画像に映される物体とは、車両３の周辺に存在する物体である。視差点は公知の手法により取得できる。例えば、視差検出部３１は、右カメラ１１ａ及び左カメラ１１ｂにより撮影がなされた都度、取得された左右の画像のアナログデータを、画素ごとに、所定の輝度階調のデジタルデータに変換する。そして、視差検出部３１は、左右のデジタル画像のステレオマッチングを行って視差を算出し、視差画像を生成する。本実施形態にて処理の対象となる物体は、車両３の前方で車両３と同じ方向に走行する先行車両である。視差画像が、周辺画像に相当する。また、視差検出部３１が、検出部に相当する。なお、視差画像からの物体の検出は、物体検出部３２が、公知の方法を用いて実行する。

雨滴判定部３７は、ステレオカメラ１１の前方に雨滴が付着した雨滴付着状態であるか否かを判定する。ステレオカメラ１１の前方とは、カメラのレンズと被写体との間に設置される透過性を有する部材であり、本実施形態ではフロントガラスが該当する。

上述した雨滴判定部３７は、視差画像において物体が存在する領域である所定領域に含まれる視差点の数が、過去に撮影された視差画像の所定領域に含まれる視差点と比較して所定の基準を超えて減少したときに、雨滴付着状態であることを判定する。具体的には、雨滴判定部３７は、第１のタイミングで撮影された視差画像の所定領域における視差点の数と、第１のタイミングよりも後の第２のタイミングで撮影された視差画像における所定領域の視差点の数と、の変化率が所定の閾値以上であるときに、雨滴付着状態であると判定する。

作動判定部３８は、車両３に搭載される図示しないワイパーが作動中であるか否かを判定する。ワイパー作動中とは、ワイパーが間欠的に作動している場合には停止期間中も含む。

推定部３９は、物体情報及び推定情報を取得する。これらの情報は、先行車両の挙動を示す情報であり、視差画像に含まれる物体の位置又は移動に関する情報を含む。以下の説明で、物体とは、視差画像にて検出される物体を指す。

物体情報には、物体距離、縦方向相対速度、物体横位置、横方向相対速度、物体横幅、物体種別などが含まれる。物体距離とは、車両３から検出された物体までの距離である。縦方向相対速度とは、車両３の進行方向に関する車両３を基準とした物体の相対速度である。相対速度は過去の複数の視差画像に係る特徴点を用いることで算出できる。物体横位置は、車両３を基準とした、車両３の進行方向と直交する方向の物体の位置である。横方向相対速度とは、車両３の進行方向と直交する方向に関する車両３を基準とした物体の相対速度である。物体横幅は上述した直交する方向に関する物体の長さである。物体種別は、物体の大きさ、移動速度、形状などから推定される物体の種別である。

また推定部３９は、物体情報を、視差検出部３１により検出された視差点に基づいて取得する。推定部３９は、物体の位置を、画像上の視差点の位置と該視差点が示す距離とにより特定する。また物体の速度を、現在及び過去の視差画像に含まれる先行車両に係る視差点を利用して求める。物体情報は、最新の視差画像に含まれる先行車両に係る視差点を用いて求められる、現時点での先行車両の挙動を示す情報である。

推定情報は、物体情報と同一種類の内容、つまり、物体距離、縦方向相対速度、物体横位置、横方向相対速度、物体横幅、物体種別などを含む。一方で、推定情報は物体情報とは異なり、先行車両について推定される挙動を示す情報である。言い換えると、ある視差画像が取得されたタイミング（以下、基準タイミングと記載する）よりも後のタイミングにおける先行車両の位置や速度について、予測される挙動を示す情報である。推定情報の各内容は次のように求められる。物体距離は、基準タイミングにおける物体の速度と等速運動を行ったものと仮定して、車両３の移動を考慮して計算される。縦方向相対速度，物体横位置，物体横幅，物体種別は、基準タイミングにおける値や内容がそのまま用いられる。横方向相対速度は、「０」と設定される。つまり横方向の相対的な移動は生じていないものと推定される。

出力部４０は、推定部３９により取得された物体情報及び推定情報を運転支援装置１２に出力する。推定情報は、所定の出力条件を満たしたときに出力される。出力条件とは、雨滴判定部３７により雨滴付着状態であると判定されたことが要件として含まれる条件である。なお、本実施形態においては、作動判定部３８により作動中であると判定されたことも出力条件を満たす要件の１つとして含まれる。出力条件を満たさない場合は、通常処理として、物体情報を運転支援装置１２に出力する。

［１−２．処理］
次に、情報処理装置１３が実行する情報出力処理について、図３のフローチャートを用いて説明する。この処理は、ステレオカメラ１１により画像が取得されるごとに実行される。なお以下の処理において、検出される物体とは先行車両である。

まず、Ｓ１では、視差検出部３１が視差算出を行う。ここでは、視差検出部３１は、右カメラ１１ａ及び左カメラ１１ｂにより撮影された左右の撮影画像に基づいて、視差点を含む視差画像を生成する。

Ｓ２では、物体検出部３２が、視差画像から物体を検出する。このとき、検出された物体それぞれに、検出枠を設定してもよい。検出枠とは、画像上の該物体が存在する領域である所定領域を特定する枠である。また、検出枠は本実施形態で説明する処理とは別の処理において設定されてもよい。検出枠の詳細については後述する。

Ｓ３では、物体追跡部３３が、物体追跡をする。ここでは、今回取得した視差画像（以下、今回画像とも記載する）よりも１回前の視差画像（以下、前回画像とも記載する）にて検出された物体を、今回画像において追跡し、特定する。物体追跡の具体的な方法は特に限定されない。例えば、前回画像にて検出された物体と今回画像にて検出された物体の尤度を算出し、尤度が所定の閾値以上である物体を同一の物体を判定してもよい。また今回画像に物体が複数存在する場合は、最も尤度が大きいものを同一の物体と判定してもよい。なお、今回画像が、上述した第１のタイミングで撮影された視差画像の例であり、前回画像が、上述した第２のタイミングで撮影された視差画像の例である。

Ｓ４では、距離算出部３４及び速度算出部３５が、Ｓ４にて追跡された物体の位置及び速度を算出する。物体の速度は、例えば、車両３の速度と、車両３と物体の相対速度から算出できる。

Ｓ５では、種別判定部３６が、テンプレートマッチング等を行い、Ｓ２にて検出された物体の種別を判定する。
Ｓ６では、種別判定部３６が、Ｓ２にて検出された物体が追跡中の物体であるか否かを判定する。追跡中の物体とは先行車両である。種別判定部３６が、Ｓ６にて、追跡中の物体でないと判定した場合には、図３の情報出力処理を終了する。一方、種別判定部３６が、Ｓ６にて、追跡中の物体であると判定した場合には、Ｓ７へ移行する。

Ｓ７では、雨滴判定部３７が、前回検出枠に対する前回画像での視差点密度を算出する第１密度算出処理を行う。
ここで、情報処理装置１３が実行する第１密度算出処理について、図４のフローチャートを用いて説明する。

まずＳ２１では、雨滴判定部３７が、前回検出枠の面積を算出する。前回検出枠とは、前回画像にて検出された物体に対して設定された検出枠である。前回検出枠は、前回画像に基づいて図３のＳ２の処理で設定されてもよい。図５に示されるように、面積Ｓは、画像５１における検出枠６１の高さＨと幅Ｗの積である。検出枠６１は、例えば、物体検出部３２により検出された物体である先行車両１０１を囲う矩形の領域として設定されてもよい。なお図５及び後述する図９，図１２では、図の理解を容易にするため、視差点の表示については割愛する。

Ｓ２２では、雨滴判定部３７が、前回画像に対する前回検出枠内の視差点数Ｎを算出する。図６に示されるように、視差画像５２には、画像上のエッジ部分を中心に、多数の視差点７１が含まれる。視差点数Ｎとは、視差画像５２における検出枠６１の内部に位置する視差点７１の数である。なお、視差点の距離情報は例えば色彩により示すことが可能であるが、図６及び後述する図１０では、図の理解を容易にするため、距離情報の表示については割愛する。

Ｓ２３では、雨滴判定部３７が、視差点密度Ｄｅｎｓ_ｐｒｅを算出する。視差点密度Ｄｅｎｓ_ｐｒｅは、Ｄｅｎｓ_ｐｒｅ＝視差点数Ｎ／面積Ｓとして算出される。このＳ２３の後、処理がＳ８に移行する。

説明を図３に戻る。
Ｓ８では、雨滴判定部３７が、前回からの推定枠に対する今回画像での視差点密度を算出する第２密度算出処理を行う。

ここで、情報処理装置１３が実行する第２密度算出処理について、図７のフローチャートを用いて説明する。なお、図９及び図１０は、フロントガラスの雨滴によりぼやけた画像の例である。

まずＳ３１では、雨滴判定部３７が、前回画像にて取得された物体情報から、今回画像で用いる推定枠を設定する。推定枠とは、前回画像の物体情報から推定される検出枠であって、今回画像において検出された物体とは無関係に、今回画像において物体が存在すると予測される位置に設定される。図８に示されるように、前回画像取得時の先行車両１０１ａは、今回画像取得時には先行車両１０１ｂの位置まで移動する。先行車両１０１ｂの位置は、前回画像取得時の先行車両１０１ａの位置と速度から推定可能である。そして、その推定される先行車両１０１ｂの位置を画像座標系に変換することで、今回画像における推定枠の位置を設定する。

Ｓ３２では、雨滴判定部３７が、図９に示されるように、画像５３におけるＳ３１にて推定された推定枠６２の面積Ｓを算出する。
Ｓ３３では、雨滴判定部３７が、今回画像に対する推定枠６２内の視差点数Ｎを算出する。ここでいう視差点数Ｎとは、図１０に示されるように、視差画像５４における推定枠６２の内部に位置する視差点７２の数である。

Ｓ３４では、雨滴判定部３７が、視差点密度Ｄｅｎｓ_ｃｕｒを算出する。視差点密度Ｄｅｎｓ_ｃｕｒは、Ｄｅｎｓ_ｃｕｒ＝視差点数Ｎ／面積Ｓとして算出される。このＳ３４の後、処理がＳ９に移行する。

説明を図３に戻る。
Ｓ９では、雨滴判定部３７が、視差点密度の比Ｒ_ｄｅｎｓを算出する。Ｒ_ｄｅｎｓは、Ｒ_ｄｅｎｓ＝Ｄｅｎｓ_ｃｕｒ／Ｄｅｎｓ_ｐｒｅとして求められる。

続いて、Ｓ１０で、雨滴判定部３７は、Ｒ_ｄｅｎｓ＜Ｒ_ｔｈであるか否かを判定する。つまり、雨滴判定部３７は、雨滴付着状態であるか否かを判定する。ここでいうＲｔｈとは、予め定められた基準値である。つまり上記の条件を満たす場合とは、前回画像と今回画像とで所定領域の視差点の数が所定の変化率を超えて急減した場合である。雨滴がステレオカメラ１１の前方に付着すると、そのタイミングで視差点密度が急激に低下する。一方、視差点密度に大きな変化がないとき、又は、徐々に視差点密度が低下していくときは、雨滴が付着した影響を受けている蓋然性が低い。よって、上記の条件を満たすときに、雨滴付着状態であると判定される。

雨滴判定部３７がＳ１０でＲ_ｄｅｎｓ＜Ｒ_ｔｈであると判定した場合には、Ｓ１１へ移行する。
Ｓ１１では、作動判定部３８が、ワイパー作動中であるか否かを判定する。作動判定部３８がＳ１１でワイパー作動中でないと判定した場合には、図３の情報出力処理を終了する。このとき、出力部４０は、通常処理として物体情報を運転支援装置１２に出力する。

一方、作動判定部３８がＳ１１でワイパー作動中であると判定した場合には、Ｓ１２へ移行する。すなわち、Ｓ１０及びＳ１１を経て、出力条件を満たしたと判定された場合には、Ｓ１２へ移行する。

Ｓ１２では、推定部３９が推定情報を生成し、出力部４０が外挿する。つまり、出力部４０は推定情報を運転支援装置１２に出力する。出力部４０による通常処理は一時的に停止される。その後、本処理を終了する。

上述したＳ１０にて、雨滴判定部３７がＲ_ｄｅｎｓ＜Ｒ_ｔｈでないと判定した場合には、Ｓ１３へ移行する。
Ｓ１３では、出力部４０が、前回外挿状態であるか否かを判定する。前回外挿状態とは、Ｓ１２による推定情報の外挿が実行され、通常処理が停止されている状態である。出力部４０は、Ｓ１３で前回外挿状態であると判定した場合には、Ｓ１４へ移行し、通常処理に復帰し、物体情報を運転支援装置１２に出力した後、図３の情報出力処理を終了する。

一方、出力部４０は、Ｓ１３にて前回画像で前回外挿状態でないと判定した場合には、図３の情報出力処理を終了する。このとき、出力部４０は、通常処理として物体情報を運転支援装置１２に出力する。

［１−３．効果］
以上詳述した実施形態によれば、以下の効果を奏する。
（１ａ）情報処理装置１３によれば、視差点の密度の変化に基づいて雨滴を検出することができる。また、情報処理装置１３は、雨滴付着状態と判定されたとき、すなわち画像認識による物体の検出が困難になる状況となったときには、推定情報を運転支援装置１２に出力することができる。そのため、運転支援装置１２は推定情報を用いて運転を継続することができる。

なお、雨滴付着状態となる場合とは、視差点の数が急速に低下した状態、言い換えるとステレオカメラ１１に基づく視差画像の急激な劣化が発生した場合である。そしてそのような状況を作り出す原因として、例えばフロントガラスへの雨滴の付着が挙げられる。通常、雨滴はワイパーにより定期的に除去されるため、雨滴により視差画像が劣化した状況は比較的短時間で解消する。よって、雨滴付着状態と判定されたときに推定情報を外挿することで、短時間の物体ロストによる運転支援装置１２の制御停止を抑制することができ、運転支援の継続時間を延ばすことができる。

（１ｂ）情報処理装置１３は、推定情報を出力するための出力条件としてワイパーが作動中であることを要件として含む。ワイパーが作動中であるということは、降雨中であったりフロントガラスに汚れがあったりする蓋然性が高い。よって、情報処理装置１３は推定情報を出力する利益が大きい場面を精度よく判定することができる。

（１ｃ）情報処理装置１３によれば、ステレオカメラ１１により取得される視差画像に含まれる視差点を用いることで、高精度な物体認識が可能となる。
（１ｄ）情報処理装置１３によれば、雨滴付着状態であるか否かを、前回検出枠６１と推定枠６２における視差点の密度の変化率で判定する。そのため、視差点数そのものを判定基準とする場合と比較して、急速に視差画像が劣化したこと、つまり雨滴等による影響を受けていることを好適に判定することができる。

［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２ａ）上記実施形態では、周辺画像に含まれる特徴点として視差点を例示したが、これに限定されるものではない。例えば、撮影画像からエッジ点を検出してエッジ点を用いる場合には、特徴点としてエッジ点を用いてもよい。エッジ点など視差点以外を特徴点として用いる場合、ステレオカメラ以外のカメラを用いてもよい。なおエッジ点とは、水平方向又は垂直方向に関して隣接した画素の輝度が急変している部分である。

（２ｂ）上記実施形態では、運転支援装置１２が実行する運転支援の内容はＡＣＣである構成を例示した。しかしながら、運転支援装置１２が実行する運転支援はＡＣＣ以外の運転支援であってもよい。例えば、運転支援装置１２は、車線逸脱防止機能や自動運転機能を実行するように構成されていてもよい。

（２ｃ）上記実施形態においては、所定領域を特定するための枠として矩形の検出枠及び推定枠を例示した。しかしながら所定領域は、検出対象の物体が含まれる領域ならばその具体的な形態は特に限定されない。例えば画像における検出物体の外形と一致するように所定領域が設定されてもよい。

（２ｄ）上記実施形態では、検出枠及び推定枠における視差点の密度の変化率を算出し、変化率が所定の閾値を超えて大きいときに雨滴付与状態であると判定される構成を例示した。しかしながら、今回画像の所定領域の特徴点の数が、前回画像の所定領域の特徴点と比較して所定の基準を超えて減少することを判定できれば、その具体的な方法は特に限定されない。例えば、今回画像の視差点数を算出する際に、前回画像に基づき設定される推定枠を用いず、今回画像で新たに設定される検出枠における視差点数を用いてもよい。また密度を用いずに、視差点数自体を比較して変化率を求めてもよい。

（２ｅ）上記実施形態では、図３のＳ１０で雨滴付着状態であると判定された場合に推定情報の出力を終了する構成を例示した。しかしながら、推定情報の出力を終了するタイミングは上記以外のタイミングであってもよい。例えば、雨滴付着状態と判定されてから一定期間後に推定情報の出力を終了するように構成されていてもよい。また、出力部４０は、雨滴付着状態であると雨滴判定部３７に判定された後において、所定領域における視差点の数が所定の閾値以上となったときに、推定情報の出力を終了するように構成されていてもよい。このような構成によれば、検出枠における視差点の数が所定の閾値まで回復すれば推定情報の出力が停止され、物体情報が出力される。そのため、物体情報の精度が高い場合にまで推定情報が出力されてしまうことを抑制でき、処理負荷の増加を抑制できる。

（２ｆ）上記実施形態では、出力部４０が通常処理として物体情報を運転支援装置１２に出力し、Ｓ１２にて、通常処理を一時的に停止する構成を例示した。しかしながら、出力部４０による物体情報の出力方法については特に限定されず、例えば物体情報は常時出力されていてもよい。

（２ｇ）上記実施形態では、出力条件は、雨滴付着状態であること、及び、ワイパー作動中であることを要件としていた。しかしながら、出力条件は上記の内容に限定されない。例えば、ワイパーの作動については出力条件の要件としなくてもよい。また、図１１に示される情報処理装置１３Ａのように、車両３が直線状の道路を走行中である直線走行状態か否かを判定するように構成された道路判定部４１を備え、道路判定部４１により直線走行状態と判定されたことを出力条件の要件の１つとしてもよい。道路判定部４１による判定は、撮影装置の撮影画像に基づいて実行してもよいし、直線状の道路か否かを示す情報を含む地図情報と車両３の現在位置との対比から判定してもよい。

（２ｈ）検出枠は、図１２の画像５５に示されるように、車両３が走行中の車線８１と、該車線に隣接する車線８２と、の位置する範囲に存在する先行車両１０１ｃ、１０１ｄを対象として設定されてもよい。また、画像５５に複数の検出枠６４、６５が存在する場合には、該複数の検出枠ごとに、雨滴判定部３７による判定と、推定部３９による推定情報の取得と、出力部４０による出力と、が実行されるように構成されていてもよい。

（２ｉ）本開示に記載の情報処理装置１３，１３Ａ及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の情報処理装置及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の情報処理装置及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。情報処理装置に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。

（２ｊ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

（２ｋ）上述した情報処理装置１３の他、当該情報処理装置１３を構成要素とするシステム、当該情報処理装置１３としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、雨滴判定方法など、種々の形態で本開示を実現することもできる。

１…運転支援システム、３…車両、１１…ステレオカメラ、１２…運転支援装置、１３，１３Ａ…情報処理装置、３１…視差検出部、３７…雨滴判定部、３９…推定部、４０…出力部５２，５４…視差画像、６１，６４…検出枠、６２…推定枠、７１，７２…視差点

Claims (10)

1. 撮影装置（１１）及び運転支援装置（１２）を備える車両（３）にて用いられる情報処理装置（１３，１３Ａ）であって、
   前記撮影装置を用いて取得される画像であって前記車両の周辺を示す周辺画像（５２，５４）における前記車両の周辺に存在する物体を示す特徴点を検出するように構成された検出部（３１）と、
   前記周辺画像において前記物体が存在する領域である所定領域（６１，６２）に含まれる前記特徴点の数が、過去に取得された前記周辺画像の前記所定領域に含まれる前記特徴点と比較して所定の基準を超えて減少したときに、前記撮影装置の前方に雨滴が付着した雨滴付着状態であることを判定するように構成された雨滴判定部（３７）と、を備える、情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記撮影装置はステレオカメラであり、
   前記周辺画像は、前記ステレオカメラを用いて取得された視差画像であり、
   前記特徴点は、前記視差画像に示される視差点（７１，７２）である、情報処理装置。
3. 請求項１又は請求項２に記載の情報処理装置であって、
   前記雨滴判定部は、第１のタイミングで撮影された前記周辺画像の前記所定領域における前記特徴点の数と、前記第１のタイミングよりも後の第２のタイミングで撮影された前記周辺画像の前記所定領域における前記特徴点の数と、の変化率が所定の閾値以上であるときに、前記雨滴付着状態であると判定するように構成されている、情報処理装置。
4. 請求項１から請求項３までのいずれか１項に記載の情報処理装置であって、
   前記所定領域は、前記車両が走行中の車線（８１）と、該車線に隣接する車線（８２）と、の位置する範囲に存在する物体を対象として設定される、情報処理装置。
5. 請求項１から請求項４のいずれか１項に記載の情報処理装置であって、
   さらに、前記検出部により検出された前記特徴点に基づいて、前記物体について推定される挙動を示す推定情報を取得するように構成された推定部（３９）と、
   前記雨滴判定部により前記雨滴付着状態であると判定されたことが要件として含まれる出力条件が満たされたときに、前記推定部により取得された前記推定情報を前記運転支援装置に出力するように構成された出力部（４０）と、を備える、情報処理装置。
6. 請求項５に記載の情報処理装置であって、
   さらに、前記車両に搭載されるワイパーが作動中であるか否かを判定するように構成された作動判定部（３８）を備え、
   前記出力条件は、前記作動判定部により作動中であると判定されたことを要件の１つとして含む、情報処理装置。
7. 請求項５又は請求項６に記載の情報処理装置であって、
   前記出力部は、前記雨滴付着状態であると前記雨滴判定部に判定された後において、前記所定領域における前記特徴点の数が所定の閾値以上となったときに、前記推定情報の出力を終了するように構成されている、情報処理装置。
8. 請求項５から請求項７までのいずれか１項に記載の情報処理装置であって、
   さらに、前記車両が直線状の道路を走行中である直線走行状態か否かを判定するように構成された道路判定部（４１）を備え、
   前記出力条件は、前記道路判定部により直線走行状態であると判定されたことを要件の１つとして含む、情報処理装置。
9. 請求項５から請求項８までのいずれか１項に記載の情報処理装置であって、
   前記周辺画像に複数の前記所定領域が存在する場合には、該複数の所定領域ごとに、前記雨滴判定部による前記判定と、前記推定部による前記推定情報の取得と、前記出力部による前記出力と、が実行される、情報処理装置。
10. 車両（３）に搭載して用いられる運転支援システム（１）であって、
    撮影装置（１１）と、
    運転支援装置（１２）と、
    請求項５から請求項９のいずれか１項に記載の情報処理装置（１３，１３Ａ）と、を備える運転支援システム。