本開示の一形態に係る情報処理装置は、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報に基づいて前記画像に映るカーブミラーおよび前記カーブミラーに映る物体を検出する検出部と、検出された前記カーブミラーにおける前記物体の位置を算出する算出部と、算出された前記カーブミラーにおける前記物体の位置に基づいて運転支援情報を生成する生成部と、生成された前記運転支援情報を出力する出力部と、を備える。
これにより、交差点など見通しが悪い場所においてカーブミラーを利用することで、車両の運転支援情報を出力することができるので、車両の安全運転を支援することができる。
ここで、例えば、前記生成部は、前記物体と、前記画像に映る道路から特定される前記カーブミラーにおける領域と、の位置関係に応じて前記運転支援情報を生成するとしてもよい。
また、例えば、前記算出部は、前記カーブミラーにおける前記物体の位置を算出する物***置算出部と、前記カーブミラー内における路面領域を算出する路面領域算出部と、算出された前記路面領域の中心軸を算出する中心軸算出部と、を備え、前記生成部は、前記物***置算出部により算出された前記物体の位置と、前記中心軸算出部により算出された前記中心軸と、の位置関係に応じて前記運転支援情報を生成するとしてもよい。
また、例えば、前記生成部は、前記物体が前記画像において前記中心軸よりも上に位置している場合、前記車両に前記物体を回避させるための前記運転支援情報を生成するとしてもよい。
これにより、物体が車両に近い場合に物体を回避することができ、物体および車両の安全性を確保することができる。
また、例えば、前記生成部は、前記算出部により算出された前記位置と前記カーブミラーの中心線との位置関係に基づいて前記運転支援情報を生成するとしてもよい。
また、例えば、前記生成部は、(i)前記カーブミラーが前記車両からみて左に向いている場合に、前記物体が前記画像において前記中心線よりも右に位置しているとき、又は(ii)前記カーブミラーが前記車両からみて右に向いている場合に、前記物体が前記画像において前記中心線よりも左に位置しているときは、前記車両に前記物体を回避させるための前記運転支援情報を生成するとしてもよい。
これにより、物体が車両に近い場合に物体を回避することができ、物体および車両の安全性を確保することができる。また、道路の中心軸を特定するような複雑な処理を省くことができ、処理速度を向上させることができる。
また、例えば、前記運転支援情報は、前記車両が前記カーブミラーに向かう方向へ進行する状況における、前記物体の前記カーブミラーにおける位置から予測される危険性に応じて出力されるとしてもよい。
また、例えば、前記算出部は、さらに、前記カーブミラーを基準とした前記物体のサイズを算出する物体サイズ算出部を備え、前記生成部は、算出された前記物体の前記カーブミラーにおける位置と、算出された前記物体のサイズとに基づいて前記運転支援情報を生成するとしてもよい。
ここで、例えば、前記生成部は、時系列に連続する少なくとも2つの画像の各々に映る前記物体それぞれのサイズの変化情報および前記物体の前記カーブミラーにおける位置に応じて前記運転支援情報を生成するとしてもよい。
また、例えば、前記運転支援情報は、前記車両の挙動の制御指令情報を含むとしてもよい。
また、例えば、前記運転支援情報は、前記車両の乗員へ提示される提示情報を含むとしてもよい。
また、例えば、前記情報処理装置は、前記カーブミラーに映る物体を認識する認識部を備えるとしてもよい。
また、例えば、前記生成部は、前記運転支援情報を、前記認識部により認識された前記物体の属性に応じて生成するとしてもよい。
また、例えば、前記生成部は、前記認識部により認識された前記物体の属性が人物の場合、前記認識部により認識された前記物体の年齢に関する情報に応じて前記運転支援情報を変化させて生成するとしてもよい。
また、例えば、前記生成部は、前記認識部により認識された前記物体の属性が人物の場合、前記認識部により認識された前記物体が不注意行動をしているか否かに応じて前記運転支援情報を変化させて生成するとしてもよい。
また、例えば、前記生成部は、さらに、時系列に連続する複数の画像のうちの少なくとも1つの画像おいて前記認識部により認識された前記物体が、前記少なくとも1つ画像より時系列的に後の画像において前記認識部により認識されない場合に、前記運転支援情報を生成するとしてもよい。
また、例えば、前記生成部は、前記1つの画像に映る前記物体の位置と、前記後の画像において前記物体が前記認識部により認識されないことと、に基づいて前記運転支援情報を生成するとしてもよい。
本開示の一形態に係る情報処理方法は、プロセッサを用いて、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報に基づいて前記画像に映るカーブミラーおよび前記カーブミラーに映る物体を検出し、検出された前記カーブミラーにおける前記物体の位置を算出し、算出された前記カーブミラーにおける前記物体の位置に基づいて運転支援情報を生成し、生成された前記運転支援情報を出力する。
本開示の一形態に係るプログラムは、情報処理方法を行うコンピュータに読み取り可能なプログラムであって、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報に基づいて前記画像に映るカーブミラーおよび前記カーブミラーに映る物体を検出し、検出された前記カーブミラーにおける前記物体の位置を算出し、算出された前記カーブミラーにおける前記物体の位置に基づいて運転支援情報を生成し、生成された前記運転支援情報を出力する。
以下、本開示の実施の形態について、図面を参照しながら説明する。
以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
(実施の形態1)
[システム1の構成]
図1は、実施の形態1におけるシステム1の構成の一例を示すブロック図である。
図1に示すシステム1は、例えば自動車などの車両に搭載され、情報処理装置10と、画像取得部11と、検出処理部12aとを備え、当該車両の運転支援情報を出力する。これらの構成等の詳細について以下説明する。なお、画像取得部11と、検出処理部12aとは、図1に示す場合に限らず、情報処理装置10に備えられてもよい。
ここで、見通しの悪い場所にはカーブミラーが設置されていることが多い。例えば、カーブミラーは、見通しの悪い交差点または先の見えにくいカーブで直接見えない様子を目視できるように道路に設置される、補助的な安全確認のための凸面鏡である。そこで、情報処理装置10は、カーブミラーを利用することで当該車両のより安全な運転を支援する。なお、以下のカーブミラーは、物理的に存在する円状または矩形状の鏡を備えるが、直接見えない様子を画像により表示する円状または矩形状の電子ミラーを備えてもよい。
[画像取得部11]
図2は、実施の形態1における画像取得部11の機能構成の一例を示す図である。図3は、実施の形態1における画像取得部11が車両に搭載された際の様子の一例を示す図である。図4は、実施の形態1における画像取得部11が取得した画像の一例の説明図である。
画像取得部11は、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報を取得する。本実施の形態では、画像取得部11は、図2に示すように、センシング部111と画像記録部112とを備える。例えば画像取得部11は、図3に示すような車載カメラであり、車両に搭載される。
センシング部111は、進行中の車両の前方を時系列に連続して画像を撮影し、画像記録部112に記録する。ここで、センシング部111は、カメラ等の動画像記録装置である。なお、センシング部111は、可視光撮影を行う可視光カメラもしくは赤外光撮影を行うInGaAsカメラであってもよい。この場合、センシング部111は、昼間は、可視光で画像を撮影し、夜間は赤外光で画像を撮影すればよい。
画像記録部112は、HDD(Hard Disk Drive)またはメモリ等を備え、センシング部111が撮影した画像を記録する。
以下では、例えば図4に示す画像50のように、交差点など見通しが悪い場所において進行中の車両の前方をセンシング部111が撮影した画像にカーブミラー51が映っている場合を例に挙げて説明する。
[検出処理部12a]
検出処理部12aは、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報に基づいて画像に映るカーブミラーおよびカーブミラーに映る物体を検出する。また、検出処理部12aは、カーブミラーに映る物体の属性を認識してもよい。本実施の形態では、検出処理部12aは、検出部12と認識部13とを備える。
<検出部12>
検出部12は、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報に基づいて画像に映るカーブミラーを検出する。より具体的には、検出部12は、進行中の車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラーを検出する。なお、撮像方向は車両の前方以外の方向であってもよい。例えば、車両が後方に進行する場合には、撮像方向は車両の後方であってもよい。
本実施の形態では、検出部12は、画像取得部11により取得された例えば図4に示す画像50に映るカーブミラー51を検出する。ここで、画像中のカーブミラーを検出する方法には、例えば単純な円または矩形等の検出に基づく方法または統計的画像認識に基づく方法などがある。以下、図を用いて、画像中のカーブミラーを検出する方法について説明する。
図5は、単純な円または矩形等の検出に基づくカーブミラーの検出の説明図である。なお、図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
まず、検出部12は、画像取得部11により取得された例えば図5に示される画像50において、エッジ検出を行う。その結果、検出部12は、画像50aに示されるように、カーブミラーの形状に対応したエッジ51aを検出する。
次に、検出部12は、エッジ検出された画像50aにおいて、エッジ類似度の探索を行う。より具体的には、検出部12は、画像50aに示すように、画像50aにおいて、円または矩形などを検出するフィルタ(ミラー形状フィルタ52)を走査させて、ミラー形状フィルタ52と類似するエッジを探索する。なお、ミラー形状フィルタ52は、カーブミラーの輪郭を検出するためのフィルタであり、例えばソーベルフィルタ、キャニーフィルタ等を用いることができる。
そして、検出部12は、例えば類似度マップ54を作成し、類似度マップ54中の類似度が高い位置53のものをカーブミラー51として検出する。
なお、画像取得部11により取得された画像に映る被写体の地図上の位置がわかる場合には、当該位置から推定できるカーブミラーの形状等の情報に基づいて、円または矩形などを検出するフィルタを選択して用いてもよい。
図6は、統計的画像認識に基づくカーブミラーの検出の説明図である。なお、図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
例えば、検出部12は、画像取得部11により取得された例えば図6の(a)に示される画像50において、サイズを変えた円を備えるマッチング領域52aを走査させる。
その結果、検出部12は、図6の(b)に示されるように、画像50中の各位置とその位置でのサイズとにより当該円との類似度を示す類似度マップ54aを作成する。
そして、検出部12は、類似度マップ54a中の類似度が高い位置53aのものをカーブミラー51として検出する。
なお、統計的画像認識は、図6を用いて説明した場合に限らない。検出部12は、予め、大量のカーブミラーの画像とカーブミラー以外の画像とを学習した識別器(Deep Learning, SVM等)を備えるとしてよい。この場合、検出部12は、この識別器を用いて、画像50中の各位置でカーブミラーの画像か否かの判定を実施することで、カーブミラー51を検出すればよい。
<認識部13>
認識部13は、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報に基づいてカーブミラーに映る物体を認識する。より具体的には、認識部13は、画像取得部11により取得された画像に映るカーブミラー内の物体を認識する。なお、認識部13は、カーブミラーに映る物体の属性を認識してもよい。
本実施の形態では、認識部13は、検出部12により検出された画像に含まれるカーブミラーに映る人、自転車または自動車など動く物体(以降、動物体とも称する)の位置とサイズとを認識する。ここで、画像に映るカーブミラー内に存在する動物体を認識する方法には、例えばDeep Learningなどの機械学習を利用する方法がある。以下、図7を用いて、画像に映るカーブミラー内に存在する動物体を認識する方法について説明する。
図7は、Deep Learningを利用したカーブミラーに映る動物体の認識方法の説明図である。図7の(a)および(b)では、カーブミラー51に人60が映るすなわち、カーブミラー51内に人60が存在する場合の例が示されている。なお、図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
認識部13は、例えば図7の(a)に示される画像50において検出部12で検出されたカーブミラー51の領域を、例えば図7の(b)に示されるように位置およびサイズを変えながら、人60を認識する認識処理を行う。
なお、認識部13に上記の認識処理を行わせるために、予め、動物体すなわち人、自転車および自動車と、動物体以外とを認識する学習が認識部13に対して行われていればよい。これにより、認識部13は、カーブミラー内に存在すると認識したものの信頼度が閾値を超えており、かつ最大の大きさのものがあれば、カーブミラーに動物体が映っていると認識することができる。また、認識部13は、カーブミラーに動物体が映っていると認識するときには、その位置とサイズとを出力する。ここで、信頼度は、人、自転車または自動車の動物体を示す形または輪郭らしさを示す値を示す。一方、認識部13は、カーブミラー内に存在すると認識したもの信頼度に閾値を超えるものがなければカーブミラーに動物体は映っていないと認識する。
[情報処理装置10]
次に、実施の形態1における情報処理装置10について説明する。
実施の形態1における情報処理装置10は、カーブミラーを利用することで、当該車両の運転支援情報を出力する。本実施の形態では、情報処理装置10は、図1に示すように、算出部101と、出力処理部102と、死角判定部103とを備える。以下、これらの構成等の詳細について説明する。
<算出部101>
算出部101は、検出処理部12aにより検出されたカーブミラーのサイズと基準サイズとの差異を算出し、算出された当該差異を用いて物体のサイズを算出する。ここで、差異は、基準サイズに対するカーブミラーの倍率を含む。物体のサイズは、カーブミラーに映る物体を差異に応じた拡大または縮小により算出される。
図8は、実施の形態1における算出部101の機能構成の一例を示す図である。
実施の形態1における算出部101は、図8に示すように、差異算出部1011と、物体サイズ算出部1012とを備える。
差異算出部1011は、検出部12により検出されたカーブミラーのサイズと基準サイズとの差異を算出する。より具体的には、差異算出部1011は、検出部12により検出されたカーブミラーであって進行中の車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラーのサイズと基準サイズとの差異を算出する。本実施の形態では、差異算出部1011は、差異として、例えば撮影することにより得られた画像に映るカーブミラーの基準サイズに対する倍率を算出する。基準サイズは、予め定められたカーブミラーの高さおよび幅で示されるサイズである。
なお、基準サイズは、所定時間において撮影された複数の画像に映るカーブミラーのうち最大のカーブミラーのサイズとしてもよいし、撮影された1フレーム前の画像に映るカーブミラーのサイズとしてもよい。また、差異算出部1011は、時系列に連続する少なくとも2つの画像において算出した倍率に応じてカーブミラー内の物体が拡大または縮小されたことで得る当該物体のサイズの変化量を、上記差異として算出してもよい。
また、差異算出部1011は、1枚の画像から上記差異を算出してもよい。具体的には、基準サイズは予め記憶される値であり、差異算出部1011は、1枚の画像に映るカーブミラーのサイズと記憶される基準サイズとに基づいて上記倍率を算出する。なお、基準サイズは、被写体との距離と対応付けられ、車両と画像に映るカーブミラーとの距離に応じて補正されてもよい。
物体サイズ算出部1012は、差異算出部1011により算出された当該差異を用いて物体のサイズを算出する。より具体的には、物体サイズ算出部1012は、認識部13により認識されたカーブミラーに映る物体と、差異算出部1011により算出された差異とを用いて当該物体のサイズを算出する。本実施の形態では、物体サイズ算出部1012は、カーブミラーに映る物体のサイズとして、認識部13により認識されたカーブミラーに映る物体を差異算出部1011で算出された差異に応じて拡大または縮小させることで物体のサイズを算出する。
ここで、このように構成される算出部101が行う算出処理の一例について図を用いて説明する。
図9は、実施の形態1における算出部101が行う算出処理の一例を示す説明図である。なお、図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図9の(a)に示される画像50n、画像50n+1および画像50n+2は、進行中の車両の前方を時系列に連続した時刻tn、時刻tn+1および時刻tn+2において撮影されたものである。画像50n、画像50n+1および画像50n+2のそれぞれには、カーブミラー51、カーブミラー51n+1およびカーブミラー51n+2が含まれており、カーブミラー51、カーブミラー51n+1およびカーブミラー51n+2には人60、人60n+1および人60n+2が映っている。また、カーブミラー51、カーブミラー51n+1およびカーブミラー51n+2のサイズは、例えば(w1a、h1a)、(w1b、h1b)および(w1c、h1c)であり、幅と高さとで表現される。カーブミラー51、カーブミラー51n+1およびカーブミラー51n+2のサイズは、検出部12で検出される。図9の(b)には、基準サイズに拡大されたカーブミラー51´、カーブミラー51´n+1およびカーブミラー51´n+2が示されている。
この場合において、算出部101すなわち差異算出部1011は、画像50n、画像50n+1および画像50n+2に映るカーブミラー51、カーブミラー51n+1およびカーブミラー51n+2を基準サイズに拡大または縮小したときの倍率を算出する。基準サイズを例えば(ws、hs)とした場合、差異算出部1011は、カーブミラー51、51n+1および51n+2を基準サイズに拡大または縮小したときの倍率を、ws/w1a、ws/w1b、ws/w1cと算出する。hs/h1a、hs/h1b、hs/h1cと算出してもよい。
そして、算出部101すなわち物体サイズ算出部1012は、図9の(b)に示されるように、差異算出部1011で算出された倍率ws/w1a、ws/w1b、ws/w1bに応じてカーブミラー51、カーブミラー51n+1およびカーブミラー51n+2、並びに、人60、人60n+1および人60n+2を拡大させたときの人60´、人60´n+1および人60´n+2のサイズを算出すればよい。
<死角判定部103>
死角判定部103は、時系列に連続する複数の画像の少なくとも1つの画像において検出処理部12aにより検出(認識)された物体が、少なくとも1つ画像より時系列的に後の画像において検出処理部12aにより検出(認識)されない場合に、当該後の画像を当該物体がカーブミラーの死角に存在し得る死角画像と判定する。換言すると、死角判定部103は、時系列に連続する画像において、カーブミラー内に見えていた動物体が見えなくなったか否かを判定し、見えなくなった画像を死角画像と判定する。
ここで、このように構成される死角判定部103が行う死角判定処理の一例について図を用いて説明する。
図10は、実施の形態1における死角判定部103が行う死角判定処理の一例を示す説明図である。なお、図4と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図10に示される画像50m、画像50m+1および画像50m+2は、進行中の車両の前方を時系列に連続した時刻tm、時刻tm+1および時刻tm+2において撮影されたものである。また、画像50m、画像50m+1および画像50m+2のそれぞれには、カーブミラー51m、カーブミラー51m+1およびカーブミラー51m+2が映っており、カーブミラー51m、カーブミラー51m+1およびカーブミラー51m+2にはさらに人60m、および人60m+1が映っている。
この場合において、時系列に連続する画像50mおよび画像50m+1のカーブミラー51mおよびカーブミラー51m+1には、認識部13に認識された人60mおよび人60m+1が映っている。一方、画像50m+1の後の画像50m+2のカーブミラー51m+2には、人が映っておらず認識部13には人が認識されない。そのため、死角判定部103は、画像50m+2を死角画像であると判定する。このように死角判定部103が死角画像を判定できる理由を図11を用いて説明する。
図11は、カーブミラーの死角の説明図である。
カーブミラーにも画角があり、死角すなわち死角領域が存在する。例えば図11には、交差点において車両2の一時停止中に、自転車に乗った人である動物体61m+1が動物体61m+2の位置に移動し、カーブミラー72の死角領域に入ってた場合の例が示されている。この場合、一時停止中の車両2の運転者は、カーブミラー71に映る動物体61m+1を確認できる一方で、カーブミラー72で動物体61m+2を確認できない。しかし、カーブミラー72に動物体61m+2が映らなくても動物体61m+2は存在している。そのため、死角判定部103は、上記のように判定することで、画像50m+2を人である動物体がカーブミラー51m+2の死角に存在し得る死角画像と判定する。
なお、死角判定部103が死角画像を判定した場合、出力処理部102は、車両から直接またはカーブミラー内に人が見えるようになるまで、車両を一時停止させる車両制御情報を生成して出力する。また、死角判定部103が死角画像を判定した後、一定時間たっても人が見えるようにならない場合には、タイムアウトと判定し、死角判定処理を初めから行えばよい。タイムアウトと判定するのは、一定時間たってもカーブミラーに人が見えるようにならない場合には、カーブミラーの死角領域に存在する人などの動物体が家または店などに入ってしまい、いつまで待ってもカーブミラーに人が見えるようにならないことが考えられるからである。
さらに、死角判定部103は、複数の画像のうちの時系列に連続する少なくとも2つの画像においてサイズの異なる物体が検出処理部12aにより検出(認識)され、少なくとも2つの画像の時系列的に後の画像において物体が検出処理部12aにより検出(認識)されない場合に、当該後の画像を上記死角画像と判定してもよい。例えば図10を用いて説明すると、画像50m+1に映るカーブミラー内の人60m+1のサイズが、時系列的に前の画像50mに映るカーブミラー51m内の人60mのサイズよりも大きくなっている。これは、人60が交差点に近づいていることを意味している。そして、画像50m+1の時系列的に後の画像50m+2のカーブミラー51m+2には、人が映っていない。これは、人60が交差点近くの死角に入ったことを意味している。したがって、死角判定部103は、画像50m+1に映るカーブミラー内の人60m+1のサイズと、時系列的に前の画像50mに映るカーブミラー51m内の人60mのサイズとの比較結果および画像50m+2における人60の有無とに基づいて、画像50m+2を死角画像であると判定することができる。これにより、人60が交差点から遠ざかって死角に入った場合には人60がカーブミラーに映らなくなった画像が死角画像と判定されないため、安全であるのに車両が停止させられるなどの無駄が発生することを抑制できる。
<出力処理部102>
出力処理部102は、算出部101で算出された物体のサイズに基づいて、車両の運転支援情報を生成し、生成した運転支援情報を出力する。運転支援情報は、時系列に連続する少なくとも2つの画像の各々に対応する物体それぞれのサイズの変化情報に応じて生成されて出力される。ここで、運転支援情報は、変化情報がサイズの拡大を示す場合、車両を減速させるための情報および車両を物体から遠ざかる方向に移動させるための情報の少なくとも1つを含む。また、運転支援情報は、変化情報がサイズの拡大を示す場合、物体が車両から遠ざかった後に車両を走行させるための情報を含む。また、運転支援情報は、車両の挙動の制御指令情報であってもよいし、車両の乗員へ提示される提示情報であってもよい。
図12は、実施の形態1における出力処理部102の機能構成の一例を示す図である。
本実施の形態では、出力処理部102は、図12に示すように、危険予測部1031と、情報生成部1032と、情報出力部1033とを備える。
危険予測部1031は、算出部101で算出された物体のサイズに基づいて、車両がこのまま進行したときに予測される危険性を予測する。当該危険性は、危険度であってもよく、危険内容(例えば、接触、衝突、巻き込み等)であってもよい。危険予測部1031は、時系列に連続する少なくとも2つの画像に対応する物体のサイズの変化量に応じて危険度を判定する。ここで、一例として物体のサイズの変化量に応じて危険度が予測できることについて説明する。
図13は、図9の(b)における物体のサイズの変化量を示す概念図である。なお、図9の(b)と同様の要素には同一の符号を付しており、詳細な説明は省略する。図13には、物体サイズ算出部1012で算出された、基準サイズに拡大または縮小されたカーブミラーに映る物体である人60´、人60´n+1および人60´n+2が概念的に示されている。
危険予測部1031は、図13に示されるように、人60´、人60´n+1および人60´n+2のサイズが順に大きくなっていることから、その人がカーブミラー51に近づいているすなわち交差点に近づいているのがわかる。そして、危険予測部1031は、人60´、人60´n+1および人60´n+2のサイズの変化量が大きいときには、その人がカーブミラー51に近づいている速度および速度変化が大きいことがわかるので、危険度が高いと判定できる。つまり、人60´、人60´n+1および人60´n+2のサイズの変化量が閾値より大きいと、当該人がカーブミラー51がある交差点に急速に近づいており、情報処理装置10を搭載する車両と衝突または接触する可能性が高いと判断できる。このようにして、危険予測部1031は、物体のサイズの変化量に応じて危険度を予測できる。
情報生成部1032は、算出部101で算出された物体のサイズに基づいて、車両の運転支援情報を生成する。情報生成部1032は、物体のサイズに応じて車両の運転支援情報を生成してよい。例えば、情報生成部1032は、時系列に連続する少なくとも2つの画像の各々に対応する物体それぞれのサイズの変化情報に応じて運転支援情報を生成してよい。また、情報生成部1032は、物体のサイズに加えて車両の状態に基づいて、車両の運転支援情報を生成してもよい。
また、情報生成部1032は、車両がカーブミラーに向かう方向へ進行する状況における変化情報から予測される危険性に応じて運転支援情報を生成してもよい。情報生成部1032は、危険予測部1031で予測された危険性に基づいて、車両制御情報を生成してもよい。
なお、情報生成部1032は、危険予測部1031で予測された危険度を示す情報を、運転支援情報として生成してもよい。例えば、情報生成部1032は、危険予測部1031により時系列に連続する少なくとも2つの画像に対応する物体のサイズの変化量に応じて判定される危険度を示す情報を、運転支援情報として生成してもよい。
また、情報生成部1032は、死角判定部103による死角画像の判定結果に基づいて、車両を一時停止させる車両制御情報を生成してもよい。具体的には、情報生成部1032は、時系列に連続する複数の画像のうちの少なくとも1つの画像において検出処理部12aにより検出(認識)された物体が、少なくとも1つ画像より時系列的に後の画像において検出処理部12aにより検出(認識)されない場合に、運転支援情報を生成してよい。また、情報生成部1032は、複数の画像のうちの時系列に連続する少なくとも2つの画像においてサイズの異なる物体が検出処理部12aにより検出(認識)され、少なくとも2つの画像の時系列的に後の画像において物体が検出処理部12aにより検出(認識)されない場合に、運転支援情報を生成してよい。
情報出力部1033は、情報生成部1032により生成された運転支援情報を出力する。
以下、このように構成される出力処理部102が行う出力処理の一例について図を用いて説明する。
図14は、実施の形態1における曲線カーブ道路の一例を示す図である。図15は、実施の形態1における出力処理部102が行う出力処理の一例を示す説明図である。
図14に示される曲線カーブ道路は、見通しが悪い場所の一例である。図14には、本実施の形態の情報処理装置10またはシステム1が搭載された車両2が曲線カーブ道路を進行している様子が示されている。また、図14には、物体の一例として車両3が示されており、車両2から、カーブミラー73に映っている車両3が確認できる場合が示されている。
この場合において、出力処理部102すなわち危険予測部1031は、算出部101により基準サイズに拡大または縮小すなわち正規化されたカーブミラーに映る物体のサイズ変化に応じて、危険度を判定する。
より具体的には、危険予測部1031は、図15に示すように、正規化されたカーブミラーに映る物体のサイズ変化が小さくなるまたはサイズ変化がないときには、危険度が低であると判定する。ここで、出力処理部102すなわち情報生成部1032は、危険予測部1031で判定された危険度が低であることを示す情報を生成してもよい。また、情報生成部1032は、図15に示すように、危険度が低であることに基づいて、車両2の速度等の制御の変更がないことを示す車両制御情報を生成してもよい。図14に示す例では、危険予測部1031は、正規化されたカーブミラー73内の車両3のサイズ変化が小さくなるまたはサイズ変化がないときには、車両3は車両2から遠ざかる方向に進行中または停止中であると判定できるので、危険度が低であると判定する。そして、情報生成部1032は、判定された危険度が低であることを示す情報または車両2の速度等の制御の変更がないことを示す車両制御情報を生成してもよい。
また、危険予測部1031は、図15に示すように、正規化されたカーブミラーに映る物体のサイズが除々に大きくなっているときには、危険度が中であると判定する。ここで、情報生成部1032は、判定された危険度が中であることを示す情報を出力してもよいし、図15に示すように、危険度が中であることに基づいて、車両を減速させるための車両制御情報を生成してもよい。図14に示す例では、危険予測部1031は、正規化されたカーブミラー73内の車両3のサイズ変化が閾値aより大きく除々に大きくなるときには、車両3は車両2に近づいている方向に進行中であると判定できるので、危険度が中であると判定する。そして、情報生成部1032は、判定された危険度が中であることを示す情報または車両2を減速させるための車両制御情報を生成してもよい。
また、危険予測部1031は、図15に示すように、正規化されたカーブミラーに映る物体のサイズが急に大きくなっているときには、危険度が高であると判定する。ここで、情報生成部1032は、判定された危険度が高であることを示す情報を生成してもよい。また、情報生成部1032は、図15に示すように、危険度が高であることに基づいて、車両を減速かつ対象物から遠ざかる方向に移動させるための車両制御情報を生成してもよい。図14に示す例では、危険予測部1031は、正規化されたカーブミラー73内の車両3のサイズ変化が閾値aより大きい閾値bより大きいときには、車両3は車両2に近づいている方向に大きな速度で進行中であると判定できるので、危険度が高であると判定する。そして、情報生成部1032は、判定された危険度が高であることを示す情報または車両2を減速かつ、車両3が曲線カーブ道路の車線をはみ出しても衝突しないような位置となるように車両3から遠ざかる方向に移動せるための車両制御情報を生成してもよい。
なお、図14および図15では、車両2が曲線カーブ道路を進行中すなわち走行中である場合について説明したが、これに限らない。車両2が道路が交差する交差点を進行する場合でも同様のことが言える。
図16は、実施の形態1におけるT字交差点の一例を示す図である。図17は、実施の形態1における出力処理部102が行う出力処理の別の一例を示す説明図である。
図16に示されるT字交差点は、見通しが悪い場所の一例である。図16には、本実施の形態の情報処理装置10またはシステム1が搭載された車両2がT字交差点を進行している様子が示されている。また、図16には、物体の一例として車両3が示されており、車両2から、カーブミラー74に映っている車両3が確認できる場合が示されている。
この場合において、出力処理部102すなわち危険予測部1031は、図17に示すように、正規化されたカーブミラーに映る物体のサイズ変化が小さくなるまたはサイズ変化がないときには、危険度が低であると判定する。ここで、出力処理部102すなわち情報生成部1032は、危険予測部1031で判定された危険度が低であることを示す情報を生成してもよい。また、情報生成部1032は、図17に示すように、危険度が低であることに基づいて、車両2を一時停止後させ、その後発進させるための車両制御情報を生成してもよい。図16に示す例では、危険予測部1031は、正規化されたカーブミラー74に映る車両3のサイズ変化が小さくなるまたはサイズ変化がないときには、車両3は車両2から遠ざかる方向に進行中または停止中であると判定できるので、危険度が低であると判定する。そして、情報生成部1032は、判定された危険度が低であることを示す情報または車両2を一時停止させ、その後発進させるための車両制御情報を生成してもよい。
また、危険予測部1031は、図17に示すように、正規化されたカーブミラーに映る物体のサイズ変化が大きくなるときには、危険度が高であると判定する。ここで、情報生成部1032は、危険予測部1031で判定された危険度が高であることを示す情報を生成してもよい。また、情報生成部1032は、図17に示すように、危険度が高であることに基づいて、車両2を一時停止後させ、対象物である車両2の通過をセンサ等で確認後に発進させるための車両制御情報を生成してもよい。図16に示す例では、危険予測部1031は、正規化されたカーブミラー74内の車両3のサイズ変化が大きくなるときには、車両3は、車両2に向かう方向に進行中であると判定できるので、危険度が高であると判定する。そして、情報生成部1032は、判定された危険度が高であることを示す情報または車両2を一時停止させ、車両2の通過をセンサ等で確認後に発進させるための車両制御情報を生成してもよい。
なお、上記では、サイズの変化情報がサイズの変化量である例を説明したが、サイズの変化情報はサイズの変化内容を示す情報であってもよい。例えば、サイズの変化内容は、サイズが大きくなった(または小さくなった)、サイズが所定サイズ以上になった(所定のサイズ未満になった)などであってよい。
また、上記では、運転支援情報が制御指令情報である例を説明したが、運転支援情報は提示情報であってもよい。例えば、提示情報は、後述する危険性を示す情報、運転手への推奨操作を示す情報であってよい。
[システム1の動作]
次に、以上のように構成されたシステム1の情報処理方法について説明する。図18は、実施の形態1におけるシステム1の情報処理方法の概要を示すフローチャートである。図19は、実施の形態1におけるシステム1の情報処理方法の詳細を示すフローチャートである。なお、図18および図19において同様の要素には同一の符号を付しており、詳細な説明は省略する。
まず、図18に示すように、システム1は、画像情報に基づいて画像に映るカーブミラーとカーブミラーに映る物体を検出する(S10)。次に、システム1は、画像に映るカーブミラーのサイズと基準サイズとの差異を算出し、当該差異を用いてカーブミラーに映る物体のサイズを算出する(S11)。次に、システム1は、S11で算出した物体のサイズに基づいて、車両の運転支援情報を生成する(S12)。そして、システム1は、S12で生成した運転支援情報を出力する(S13)。
より詳細には、図19に示すように、まず、システム1は、画像取得部11で進行中の車両に搭載された撮像装置の撮像により得られた画像を示す画像情報を取得する画像取得処理を行う(S101)。
次に、システム1は、図18で説明したS10の処理を行う。より具体的には、システム1は、S10において、S101で得られた画像に映るカーブミラーを検出する検出処理を行う(S102)。次いで、システム1は、S101で得られた画像に映るカーブミラー内の物体を認識(検出)する認識処理を行う(S103)。
次に、システム1は、図18で説明したS11の処理を行う。より具体的には、S11において、システム1は、S102で検出されたカーブミラーのサイズと基準サイズとの差異を算出する差異算出処理を行う(S104)。次いで、システム1は、S103で認識されたカーブミラー内の物体に対して、S104で算出された差異を用いて当該物体のサイズを算出する物体サイズ算出処理を行う(S105)。なお、S104およびS105で行われる処理の詳細については上述した通りであるのでここでの詳細な説明は省略する。
次に、システム1は、時系列に連続する3つ画像のうち時系列に連続する2つの画像においてS103で認識された物体が、当該2つの画像の後の画像においてS103で認識されない場合に、当該後の画像を当該物体がカーブミラーの死角に存在し得る死角画像と判定する死角判定処理を行う(S106)。
ここで、システム1は、S106で死角画像を判定後にS103において当該物体が出現したことを認識した、または当該判定後に一定時間経過したかどうかを判定する(S106)。システム1は、S106で死角画像を判定後にS103で当該物体が出現したとき、またはタイムアウトすなわちS106で死角画像を判定後に一定時間経過してもS103で当該物体の出現を認識できない場合(S107でYes)には、次の処理(S12)に進む。それ以外の場合(S107でNo)には、S107の判定処理を繰り返す。
次に、システム1は、図18で説明したS12の処理を行う。より具体的には、S12において、システム1は、S105で算出された物体のサイズに基づいて、車両がこのまま進行したときに判定される危険度を予測する危険予測処理を行う(S108)。次いで、システム1は、S108で判定された危険度を示す情報を、運転支援情報として生成したり、S108で判定された危険度に基づいて、車両を制御するための車両制御情報を生成したりする情報生成処理を行う(S109)。なお、S108およびS109で行われる処理の詳細については上述した通りであるのでここでの説明は省略する。
そして、システム1は、図18で説明したS13の処理を行う。より具体的には、S13において、システム1は、S109で生成された運転支援情報等を出力する情報出力処理を行う(S110)。
なお、S103、S104、S105の処理順序は図19に示された場合に限らない。S104の後にS103を行いS105を行ってもよい。また、S106およびS107の処理は、S11の算出処理の前に行うとしてもよい。
[実施の形態1の効果等]
以上のように、実施の形態1に係る情報処理装置10またはシステム1によれば、交差点など見通しが悪い場所においてカーブミラーを利用することで、危険度を判定することができ、判定した危険度に基づいて車両の運転支援情報を生成して出力することができる。これにより、情報処理装置10を搭載した車両の安全運転を支援することができる。
具体的には、見通しが悪い交差点などの場所において、カーブミラーに映る人物などの物体の移動量が大きい場合は、当該物体が当該場所に飛び出してくる可能性が高い。この場合、車両を早期に減速させて危険を回避させる必要がある。
そこで、本実施の形態では、進行中の車両から得ることのできる画像に映るカーブミラーのサイズは変化することから、カーブミラーのサイズを所定の基準サイズに揃える正規化を行う。これにより、カーブミラー内の人物等の物体の移動量をカーブミラー内の物体の大きさつまりサイズに変換できるので、サイズの変化量に応じて危険度を判定できる。このようにして、実施の形態1に係る情報処理装置10は、カーブミラーを利用することで、危険度を判定することができる。
なお、例えば自動運転中の車両が情報処理装置10を備える場合には、当該車両は、上記のようにカーブミラーを利用して、危険度を判定することできるので、判定した危険度に応じて車両制御を行うことができる。
また、上述したように、運転支援情報が、時系列に連続する少なくとも2つの画像の各々に対応する物体それぞれのサイズの変化情報に応じて生成され、変化情報がサイズの拡大を示してもよい。この場合、運転支援情報は、車両を減速させるための情報および車両を物体から遠ざかる方向に移動させるための情報の少なくとも1つを含んでもよいし、物体が車両から遠ざかった後に車両を走行させるための情報を含んでもよい。これらにより、交差点に近づいている物体および車両の安全を確保することができるからである。
また、運転支援情報は、物体のサイズに加えて車両の状態に基づいて生成されてもよい。車両の状態(走行状態、停止状態など)に合わせて無駄のない制御が可能となるからである。
また、運転支援情報は、物体のサイズに応じて生成されてもよい。サイズの変化情報を用いた処理を行わなくても危険を予測することができるからである。
以上のように、実施の形態1に係る情報処理装置10またはシステム1によれば、交差点など見通しが悪い場所においてカーブミラーを利用することで、車両の安全運転を支援することができる。
(変形例1)
実施の形態1では、正規化されたカーブミラー内の物体のサイズの変化量に応じて危険度を判定する場合について説明したが、これに限らない。認識部13がカーブミラーに映る物体の属性を認識し、算出部101が当該属性を考慮して危険度を判定してもよい。本変形例では、カーブミラーに映る物体が有する移動速度に関する属性をさらに考慮して危険度を判定する場合について説明する。
図20および図21は、実施の形態1の変形例1における出力処理部102が行う危険予測処理の一例を示す説明図である。なお、図15および図17と同様の内容には同一の文言が記載されており、詳細な説明は省略する。
図20には、曲線カーブ道路において変形例1における出力処理部102が行う危険予測処理の一例が示されており、図21にはT字交差点において変形例1における出力処理部102が行う危険予測処理の一例が示されている。なお、低、中または高の危険度に基づく、車両制御情報は、図15と図17に示す通りでよいため、図20および図21では図示を省略している。
図20および図21に示すように物体が人物である場合には、危険予測部1031は図15および図17のときと同様に危険度を判定する。一方で、物体が人物よりも移動速度の速い自転車、バイクまたは自動車である場合には、危険予測部1031は移動速度に応じて物体が人物であるときよりも高い危険度を判定する。
以上のように、本変形例では、出力処理部102は、運転支援情報を、認識部13により認識された物体の属性に応じて生成して、生成した運転支援情報を出力する。
(変形例2)
変形例1では、カーブミラーに映る物体が有する移動速度に関する属性をさらに考慮して危険度を判定する場合について説明したが、これに限らない。カーブミラーに映る物体が人である場合には、危険予測部1031はその人の年齢に関する属性をさらに考慮して危険度を判定してもよい。この場合を変形例2として以下に説明する。
図22および図23は、実施の形態1の変形例2における出力処理部102が行う危険予測処理の一例を示す説明図である。なお、図15および図17と同様の内容には同一の文言が記載されており、詳細な説明は省略する。
図22には、曲線カーブ道路において変形例2における出力処理部102が行う危険予測処理の一例が示されており、図23にはT字交差点において変形例1における出力処理部102が行う危険予測処理の一例が示されている。なお、低、中または高の危険度に基づく、車両制御情報は、図15と図17に示す通りでよいため、図22および図23でも図示を省略している。
図22および図23に示すように、物体が人物であり、かつその人物が子供またはお年寄りである場合には、危険予測部1031は図15および図17と同様の危険度を判定すればよい。一方で、物体が人物であり、かつ、その人物が子供およびお年寄り以外のその他である場合には、人物が子供またはお年寄りであるときよりも高い危険度を判定すればよい。
以上のように、本変形例では、出力処理部102は、認識部13により認識された物体の属性が人物の場合、認識部13により認識された当該物体の年齢に関する情報に応じて運転支援情報を変化させて出力する。なお、上記では、年齢に関する情報が人物の世代である例を説明したが、年齢に関する情報は人物の年齢または年代であってもよい。
(変形例3)
変形例2では、カーブミラーに映る物体が人である場合には、その人の年齢に関する属性をさらに考慮して危険度を判定する場合について説明したが、これに限らない。カーブミラーに映る物体が人である場合に、危険予測部1031は、さらに、その人が不注意行動を行っているか否かという属性をさらに考慮して危険度を判定してもよい。具体的には、不注意行動は、非前方視行動である。例えば、非前方視行動は、スマートフォンなどの携帯端末または本などの注視がある。この場合を変形例3として以下に説明する。
図24および図25は、実施の形態1の変形例3における出力処理部102が行う危険予測処理の一例を示す説明図である。なお、図15および図17と同様の内容には同一の文言が記載されており、詳細な説明は省略する。
図24には、曲線カーブ道路において変形例3における出力処理部102が行う危険予測処理の一例が示されており、図25にはT字交差点において変形例1における出力処理部102が行う危険予測処理の一例が示されている。なお、低、中または高の危険度に基づく、車両制御情報は、図15と図17に示す通りでよいため、図24および図25でも図示を省略している。
図24および図25に示すように、物体が人物であり、かつその人物が携帯端末を見て移動行動を行う非前方視行動をしていないすなわちその人物が携帯端末を見ながら歩いていない場合には、危険予測部1031は、図15および図17のときと同様の危険度を判定すればよい。一方で、物体が人物であり、かつ、その人物が非前方視行動をしているすなわちその人物が携帯端末を見ながら歩いている場合には、危険予測部1031は、その人物が非前方視行動をしていないときよりも高い危険度を判定すればよい。なお、上記では、不注意行動が非前方視行動である例を説明したが、不注意行動は、人物の前方だが上方または下方を見ている行動、または人物の前方にある乳母車もしくはボールなどの特定物を注視している行動であってもよい。
以上のように、本変形例では、出力処理部102は、認識部13により認識された物体の属性が人物の場合、認識部13により認識された物体が不注意行動をしているか否かに応じて運転支援情報を生成して出力する。
(実施の形態2)
実施の形態1では、交差点などの見通しが悪い場所において、カーブミラーを利用することで進行中の車両の安全運転を支援することができる情報処理装置等について説明したが、これに限らない。一時停止中の車両においても、カーブミラーを利用して安全運転を支援することができる。以下、この場合について実施の形態2として説明する。
[システム1Aの構成]
図26は、実施の形態2におけるシステム1Aの構成の一例を示すブロック図である。なお、図1と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図26に示すシステム1Aは、実施の形態1におけるシステム1と比較して、情報処理装置10Aの構成が異なる。システム1Aもまた、システム1と同様に、例えば自動車などの車両に搭載され、カーブミラーを利用することで、当該車両の運転支援情報を出力することができる。
本実施の形態では、一時停止中の車両の安全運転を支援するために、情報処理装置10Aは、カーブミラー内の物体の位置も加味する。なお、画像取得部11と、検出処理部12aとは、実施の形態1と同様に、情報処理装置10Aに構成されてもよい。
[情報処理装置10A]
実施の形態2における情報処理装置10Aは、カーブミラーを利用することで、一時停止中の車両の運転支援情報を出力する。本実施の形態では、一時停止中の車両の安全運転を支援するために、情報処理装置10Aは、カーブミラー内の物体の位置も加味する。この理由について図27A〜図27Cを用いて説明する。図27Aは、交差点で一時停止した車両2aの運転者が視認したカーブミラー75内に映る物体63の一例を示す図である。図27Bおよび図27Cは、カーブミラーの特性の説明図である。
例えば図27Aには、交差点で一時停止した車両2aの運転者が、当該交差点に設置されたカーブミラー75を視認した場合に、カーブミラー75に映る物体63として自転車に乗った人が確認できる場合の例が示されている。図27Aでは、カーブミラー75内の奥すなわちカーブミラー内の上部に人である物体63が映っていることから、車両2aの運転者は、物体63が図27Bに示すように車両2aから見て道路の奥側の位置に存在するように見える。しかし、左右が反対に映るカーブミラーの特性から、実際には、物体63は図27Bに示すような位置すなわち車両2aから見て道路の手前側の位置に存在する。
そのため、本実施の形態における情報処理装置10Aは、カーブミラー内の物体の位置も加味した上で、車両2aの運転支援情報を出力する。
より具体的には、本実施の形態における情報処理装置10Aは、図26に示すように、算出部101Aと、出力処理部102Aと、死角判定部103とを備える。図26に示す情報処理装置10Aは、実施の形態1における情報処理装置10と比較して、算出部101Aと出力処理部102Aとの構成が異なる。以下、算出部101Aおよび出力処理部102Aの構成等の詳細について説明する。
<算出部101A>
図28は、実施の形態2における算出部101Aの機能構成の一例を示す図である。図29Aは、図28に示す物***置算出部1013が算出する物体の位置の一例を示す図である。図29Bは、図28に示す路面領域算出部1015が算出する路面領域の一例を示す図である。図30は、図28に示す中心軸算出部1016が算出する中心軸の算出方法の説明図である。
実施の形態2における算出部101Aは、検出処理部12aにより検出されたカーブミラーにおける物体の位置を算出する。より具体的には、算出部101Aは、検出部12により検出されたカーブミラーであって車両に搭載された撮像装置の撮像により得られる画像に映るカーブミラー内において認識部13により認識された物体の、カーブミラーにおける位置を算出する。
例えば、算出部101Aは、図28に示すように、物***置算出部1013と、物体サイズ算出部1014と、路面領域算出部1015と、中心軸算出部1016とを備える。なお、算出部101Aは、物***置算出部1013のみ、または、物***置算出部1013および物体サイズ算出部1014のみを有するとしてもよい。
物***置算出部1013は、カーブミラーにおける物体の位置を算出する。より具体的には、物***置算出部1013は、検出部12により検出されたカーブミラーであって一時停止中の車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラー内において認識部13により認識された物体の、カーブミラーにおける位置を算出する。例えば、物***置算出部1013は、図29Aに示すように、自転車に乗った人である物体63のカーブミラー75の領域内の位置を算出する。なお、算出部101Aが、物***置算出部1013のみを有する場合、物***置算出部1013は、カーブミラーにおける物体の位置が、カーブミラー内の所定の位置を示す閾値よりも右か左かを算出してもよい。また、物***置算出部1013は、カーブミラーにおける物体の位置が、カーブミラー内の所定の位置を示す閾値よりも上か下かを算出してもよい。
物体サイズ算出部1014は、カーブミラーを基準とした物体のサイズを算出する。より具体的には、物体サイズ算出部1014は、検出部12により検出されたカーブミラーであって一時停止中の車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラー内において認識部13により認識された物体の大きさを算出する。
路面領域算出部1015は、カーブミラー内における路面領域を算出する。より具体的には、路面領域算出部1015は、検出部12により検出されたカーブミラー内に映る道路を示す領域である路面領域を算出する。例えば、路面領域算出部1015は、図29Bに示すように、カーブミラー75の領域内に存在する道路を示す路面領域80を算出する。路面領域算出部1015は、畳み込み層を用いたDeep Learningなどにより、予め、道路を映す大量のカーブミラーの画像を用いて学習されることで、上記のような路面領域を算出することができる。
中心軸算出部1016は、路面領域算出部1015で算出された路面領域の中心軸を算出する。より具体的には、中心軸算出部1016は、例えば図30に示すように、路面領域算出部1015により算出された路面領域80において、まず、路面の路肩に相当する直線(路肩直線と称する)をHough変換を用いて算出する。次いで、中心軸算出部1016は、算出した路肩直線の端点からの距離dが同じである路肩直線の位置を通り、路肩直線と直交する線L1、線L2を算出する。同様に、算出した路肩直線の端点からの距離が同じである路肩直線の位置を通り、路肩直線と直交する線L3および線L4並びに線L5および線L6を算出する。そして、中心軸算出部1016は、これらの交点を結ぶ直線を路面領域の中心軸82として算出する。
なお、中心軸算出部1016は、上述したように、線L1および線L2、線L3および線L4、並びに線L5および線L5の3組の線を算出することで中心軸82を算出すると説明したが、これに限らない。中心軸82は、最低二本の交点から求められるので、中心軸算出部1016は、算出した線L1および線L2の交点と路肩直線の端点とから算出することもできる。また、中心軸算出部1016は、4組以上の線を算出し、最小二乗法を用いて、4組以上の線の交点と直線の二乗誤差を最小にする直線を中心軸82として算出してもよい。
<出力処理部102A>
出力処理部102Aは、算出部101Aで算出されたカーブミラーにおける物体の位置に基づいて運転支援情報を生成し、生成した運転支援情報を出力する。ここで、運転支援情報は、車両の挙動の制御指令情報を含んでいてもよいし、車両の乗員へ提示される提示情報を含んでいてもよい。
図31は、実施の形態2における出力処理部102Aの機能構成の一例を示す図である。図32は、実施の形態2におけるカーブミラー内の物体の位置の一例を示す図である。
本実施の形態では、出力処理部102Aは、図31に示すように、危険予測部1031Aと、情報生成部1032Aと、情報出力部1033Aとを備える。
《危険予測部1031A》
危険予測部1031Aは、算出部101Aで算出されたカーブミラーにおける物体の位置に基づいて危険性を予測する。例えば、危険予測部1031Aは、車両がカーブミラーに向かう方向へ進行する状況における、物体のカーブミラーにおける位置から危険性を予測してもよいし、物体と、画像に映る道路から特定されるカーブミラーにおける領域と、の位置関係に応じて危険性を予測してもよい。
本実施の形態では、危険予測部1031Aは、物***置算出部1013より算出された位置と中心軸算出部1016により算出された中心軸とに基づいて、危険性を予測する。具体的には、当該危険性は、危険度であってもよく、危険内容(例えば、接触、衝突、巻き込み等)であってもよい。
危険予測部1031Aは、物***置算出部1013より算出された位置が中心軸算出部1016により算出された中心軸よりも右である場合、当該位置が当該中心軸よりも左であるときよりも高い危険度を判定する。例えば、図32に示すように、物体63の下端が路面領域の中心軸82より右または上に位置していれば、物体63がカーブミラー75の領域内において奥に存在すると定義できる。そして、物体63がカーブミラー75の領域内において奥に存在するときには、物体63が車両から見て道路の手前側の位置に位置するので、一時停止中の車両が発進したときには物体63と衝突する危険がある。そのため、危険予測部1031Aは、物体63がカーブミラー75の領域内において奥に存在するときには、危険度を高く判定する。一方、物体63の下端が中心軸82より左または下に位置していれば、物体63がカーブミラーの領域内において手前に存在すると定義できる。そして、物体63がカーブミラー75の領域内において手前に存在するときには、物体63が車両から見て道路の奥側の位置に位置するので、一時停止中の車両が発進しても物体63と衝突する危険は低い。そのため、危険予測部1031Aは、物体63がカーブミラー75の領域内において手前に存在するときには、危険度を低く判定できる。
以下、この場合について図を用いてより具体的に説明する。
図33、図34および図35は、実施の形態2におけるカーブミラー75の奥側に物体64が位置する場合の危険度の説明図である。図33には、一時停止している車両2aから、物体64が奥側に映るカーブミラー75の画像を取得している場面が示されている。図34の(a)には、カーブミラー75に存在する物体64の位置とその大きさが示されており、(b)は、(a)のカーブミラー75の拡大図に該当し、物体64と道路との関係が示されている。図35には、図34に示される物体64と車両2aとカーブミラー75との位置関係が示されている。
図35に示されるように、人である物体64が車両2aから見て道路の手前側を交差点の方向に歩いているとする。そして、一時停止している車両2aに搭載されるシステム1Aが、図34に示すような、時刻tj、時刻tj+1または時刻tj+2における画像50j、画像50j+1または画像50j+2を取得するとする。この場合、システム1Aすなわち情報処理装置10Aは物体64j、物体64j+1または物体64j+2のカーブミラー75における位置を算出する。画像50j、画像50j+1または画像50j+2では、物体64j、物体64j+1または64j+2は奥側に存在するため、物体64j、64j+1または64j+2は車両2aから見て道路の手前側の位置する。つまり、一時停止中の車両2aが発進したときには物体64と衝突する危険があるため、危険度を高めに判定する。
なお、一時停止している車両2aに搭載されるシステム1Aは、画像50j、50j+1および50j+2を取得し、物体64j、64j+1または64j+2の位置およびそのサイズを算出してもよい。この場合、物体64j、64j+1または64j+2のサイズが大きくなってくるという連続性から、物体64が交差点で一時停止中の車両2aに近づいてくることがわかる。そのため、物体64j+2に対する危険度を物体64j+1等と比較してより高く判定してもよい。このように、危険予測部1031Aは、時系列に連続する少なくとも2つの画像に対応する物体のサイズの変化量に応じて危険度を判定してもよい。つまり、危険予測部1031Aは、物体サイズ算出部1014でカーブミラーを基準とした物体のサイズが算出されているときには、物***置算出部1013より算出された物体のカーブミラーにおける位置と、物体サイズ算出部1014により算出された物体のサイズとに基づいて、危険度を予測してもよい。
また、一時停止している車両2aに搭載されるシステム1Aが、画像50j+2、画像50j+3を取得した場合、画像50j+3のカーブミラー75には物体64が存在していない。しかし、連続性すなわち直前に取得した時刻tj+2における画像50j+2のカーブミラー75には物体64j+2が存在したことから、画像50j+3を当該物体64がカーブミラー75の死角に存在し得る死角画像と判定し、画像50j+3に対する危険度を物体64j+2等と比較してより高く判定すればよい。
図36、図37および図38は、実施の形態2におけるカーブミラー75の手前側に物体64が位置する場合の危険度の説明図である。図36には、一時停止している車両2aから物体64が手前側に映るカーブミラー75の画像を取得している場面が示されている。図37の(a)には、カーブミラー75に存在する物体64の位置とその大きさが示されており、(b)は、(a)のカーブミラー75の拡大図に該当し、物体64と道路との関係が示されている。図38には、図37に示される物体64と車両2aとカーブミラー75との位置関係が示されている。
図38に示されるように、人である物体64が車両2aから見て道路の奥側を交差点の方向に歩いているとする。そして、一時停止している車両2aに搭載されるシステム1Aが、図37に示すような、時刻tk、時刻tk+1または時刻tk+2における画像50k、画像50k+1または画像50k+2を取得するとする。この場合、システム1Aすなわち情報処理装置10Aは物体64k、物体64k+1または物体64k+2のカーブミラー75における位置を算出する。画像50k、画像50k+1または画像50k+2では、物体64k、物体64k+1または物体64k+2は手前側に存在するため、物体64k、物体64k+1または物体64k+2は車両2aから見て道路の奥側の位置する。つまり、一時停止中の車両2aが発進したときには物体64と衝突する危険が低いため、危険度を低めに判定する。
なお、一時停止している車両2aに搭載されるシステム1Aは、画像50k、画像50k+1および画像50k+2を取得し、物体64k、物体64k+1または物体64k+2の位置およびそのサイズを算出してもよい。この場合、物体64k、物体64k+1または物体64k+2のサイズが大きくなってくるという連続性から、物体64が交差点で一時停止中の車両2aに近づいてくることがわかる。そのため、物体64k+2に対する危険度を物体64k+1等と比較して高く判定してもよい。このように、危険予測部1031Aは、時系列に連続する少なくとも2つの画像の各々に映る物体それぞれのサイズの変化情報および物体のカーブミラーにおける位置に応じて危険度を予測してもよい。つまり、危険予測部1031Aは、算出部101Aにより算出されたカーブミラーにおける物体の位置と、算出された物体のサイズとに基づいて、危険性を予測してもよい。
上記では、サイズの変化情報がサイズの変化量である例を説明したが、サイズの変化情報はサイズの変化内容を示す情報であってもよい。例えば、サイズの変化内容は、サイズが大きくなった(または小さくなった)、サイズが所定サイズ以上になった(所定のサイズ未満になった)などであってよい。
また、一時停止している車両2aに搭載されるシステム1Aが、画像50k+2、画像50k+3を取得した場合、画像50k+3のカーブミラー75には物体64が存在していない。しかし、連続性すなわち直前に取得した時刻tk+2における画像50k+2のカーブミラー75には物体64k+2が存在したことから、画像50k+3を当該物体64がカーブミラー75の死角に存在し得る死角画像と判定し、物体64k+3に対する危険度を物体64k+2等と比較してより高く予測すればよい。
また、危険予測部1031Aは、算出部101Aで算出された物体のカーブミラーにおける位置に基づいて、車両がこのまま進行したときに予測される危険度を判定してもよい。例えば、危険予測部1031Aは、算出部101Aにより算出された物体の位置がカーブミラーの中心線より下である場合、当該位置がカーブミラーの中心線より上であるときよりも高い危険度を判定するとしてもよい。また、危険予測部1031Aは、算出部101Aにより算出された物体の位置がカーブミラーの所定の位置よりも右にある場合、当該位置がカーブミラーの所定の位置よりも左側にあるときよりも高い危険度を判定するとしてもよい。なお、所定の位置は、中心軸の位置でもよいし、予め定められた中心近傍の位置であってもよい。また、中心線は、例えばカーブミラーの中心を通る線であり、水平線、垂直線、斜線、曲線などがある。中心線が水平線である場合には、上/下により危険度を判定すればよいし、中心線が垂直線である場合には、右/左により危険度を判定すればよい。また、中心線が斜線または曲線である場合には、一方/他方により危険度を判定すればよい。
《情報生成部1032A》
情報生成部1032Aは、算出部101Aで算出されたカーブミラーにおける物体の位置に基づいて運転支援情報を生成する。例えば、情報生成部1032Aは、物体と、画像に映る道路から特定されるカーブミラーにおける領域と、の位置関係に応じて運転支援情報を生成してもよい。また、情報生成部1032Aは、算出部101Aで算出された物体のカーブミラーにおける位置と、算出部101Aで算出された物体のサイズとに基づいて運転支援情報を生成してもよく、例えば、時系列に連続する少なくとも2つの画像の各々に映る物体それぞれのサイズの変化情報および物体のカーブミラーにおける位置に応じて運転支援情報を生成してもよい。
より詳細には、情報生成部1032Aは、物***置算出部1013により算出された物体の位置と、中心軸算出部1016により算出された中心軸と、の位置関係に応じて運転支援情報を生成してもよい。例えば、情報生成部1032Aは、物体が画像において中心軸よりも上に位置している場合、車両に物体を回避させるための運転支援情報を生成する。
また、情報生成部1032Aは、算出部101Aにより算出された物体の位置とカーブミラーの中心線との位置関係に基づいて運転支援情報を生成してもよい。例えば、情報生成部1032Aは、(i)カーブミラーが車両からみて左に向いている場合に、物体が画像において中心線よりも右に位置しているとき、又は、(ii)カーブミラーが車両からみて右に向いている場合に、物体が画像において中心線よりも左に位置しているときは、車両に物体を回避させるための運転支援情報を生成すればよい。
本実施の形態では、情報生成部1032Aは、危険予測部1031Aで予測された危険性に応じて、運転支援情報を生成する。例えば、情報生成部1032Aは、危険予測部1031Aで予測された危険性に基づいて、車両制御情報を生成してもよい。また、情報生成部1032Aは、車両が前記カーブミラーに向かう方向へ進行する状況における、前記物体の前記カーブミラーにおける位置から予測される危険性に応じて運転支援情報を生成してもよい。
なお、情報生成部1032Aは、危険予測部1031Aで予測された危険度を示す情報を、運転支援情報として出力してもよい。例えば、情報生成部1032Aは、危険予測部1031により時系列に連続する少なくとも2つの画像に対応する物体のサイズの変化量に応じて判定される危険度を示す情報を、運転支援情報として出力する。
さらに、情報生成部1032Aは、物***置算出部1013により算出された物体の位置と、死角判定部103により死角画像が判定されたことと、に基づいて、車両を一時停止させる車両制御情報を含む運転支援情報を生成してもよい。具体的には、情報生成部1032Aは、さらに、時系列に連続する複数の画像のうちの少なくとも1つの画像おいて認識部13により認識された物体が、少なくとも1つ画像より時系列的に後の画像において認識部13により認識されない場合に、運転支援情報を生成してもよい。また、情報生成部1032Aは、当該1つの画像に映る物体の位置と、その後の画像において物体が認識部13により認識されないことと、に基づいて運転支援情報を生成してもよい。
《情報出力部1033A》
情報出力部1033Aは、情報生成部1032Aにより生成された運転支援情報を出力する。
なお、上記では、運転支援情報が制御指令情報である例を説明したが、運転支援情報は提示情報であってもよい。例えば、提示情報は、後述する危険性を示す情報、運転手への推奨操作を示す情報であってよい。
ここで、このように構成される出力処理部102Aが行う出力処理の一例について図を用いて説明する。
図39は、実施の形態2におけるT字交差点の一例を示す図である。図40は、実施の形態2における出力処理部102Aが行う出力処理の別の一例を示す説明図である。図40には、本実施の形態の情報処理装置10Aまたはシステム1Aが搭載された車両2aがT字交差点で一時停止している様子が示されている。
この場合において、出力処理部102Aすなわち危険予測部1031Aは、図40に示すように、物体の時間毎のサイズが小さくなるまたは変化がないときには、カーブミラー75内の物体の位置が奥側であっても手前側であっても危険度が低であると判定する。ここで、出力処理部102Aすなわち情報生成部1032Aは、危険予測部1031Aで予測された危険度が低であることを示す情報を出力してもよい。また、情報生成部1032Aは、図40に示すように、危険度が低であることに基づいて、一時停止中の車両2aを発進させるための車両制御情報を生成してもよい。図39に示す例では、危険予測部1031Aは、カーブミラー75内の車両3のサイズが小さくなるまたは変化がないときには、車両3は、車両2aから遠ざかる方向に進行中であると判定できるので、危険度が低であると判定する。そして、情報生成部1032Aは、判定された危険度が低であることを示す情報または一時停止中の車両2aを発進させるための車両制御情報を生成してもよい。
また、危険予測部1031Aは、図40に示すように、カーブミラー75内の物体の位置が手前側、かつ、カーブミラー75内の物体のサイズが大きくなるときには、危険度が中であると判定する。ここで、情報生成部1032Aは、危険予測部1031Aで判定された危険度が中であることを示す情報を生成してもよい。また、情報生成部1032Aは、図40に示すように、危険度が中であることに基づいて、一時停止中の車両2aを徐行しながら発進させるための車両制御情報を生成してもよい。図39に示す例では、危険予測部1031Aは、カーブミラー75内の車両3の位置が手前、かつ、カーブミラー75内の車両3サイズが大きくなるときには、車両3は、道路の奥側を車両2aに向かう方向に進行中であると判定できるので、危険度が中であると判定する。そして、情報生成部1032Aは、判定された危険度が中であることを示す情報または一時停止中の車両2aを徐行で発進させるための車両制御情報を生成してもよい。
また、危険予測部1031Aは、図40に示すように、カーブミラー75内の物体の位置が奥側、かつ、カーブミラー75内の物体のサイズが大きくなるときには、危険度が高であると判定する。ここで、情報生成部1032Aは、危険予測部1031Aで判定された危険度が高であることを示す情報を生成してもよい。また、情報生成部1032Aは、図40に示すように、危険度が高であることに基づいて、対象物である車両3の通過をセンサ等で確認後に一時停止中の車両2aを発進させるための車両制御情報を生成してもよい。図39に示す例では、危険予測部1031は、カーブミラー75内の車両3のサイズが大きくなるときには、車両3は、道路の手前側を車両2aに向かう方向に進行中であると判定できるので、危険度が高であると判定する。そして、情報生成部1032Aは、判定された危険度が高であることを示す情報または、車両3の通過をセンサ等で確認後に一時停止中の車両2aを発進させるための車両制御情報を生成してもよい。
[システム1Aの動作]
次に、以上のように構成されたシステム1Aの情報処理方法について説明する。図41は、実施の形態2におけるシステム1Aの情報処理方法の概要を示すフローチャートである。図42は、実施の形態2におけるシステム1Aの情報処理方法の詳細を示すフローチャートである。なお、図19と同様の要素には同一の符号を付しており、詳細な説明は省略する。
まず、図41に示すように、システム1Aは、画像情報に基づいて画像に映るカーブミラーとカーブミラーに映る物体を検出する(S20)。次に、システム1Aは、S20で検出されたカーブミラーにおける位置を算出する(S21)。次に、システム1Aは、S21で算出した位置に基づいて運転支援情報を生成する(S22)。そして、システム1Aは、S22で生成した運転支援情報を出力する(S23)。
より詳細には、図42に示すように、S21の処理において、システム1Aは、S102で検出されたカーブミラーにおける、S103で認識された物体の位置を算出する物***置算出処理を行う(S204)。次いで、システム1Aは、S102で検出されたカーブミラーを基準とした、S103で認識された物体の大きさを算出する物体サイズ算出処理を行う(S205)。次いで、システム1Aは、S102で検出されたカーブミラー内における路面領域を算出する路面領域算出処理を行う(S206)。次いで、システム1Aは、S206で算出された路面領域の中心軸を算出する中心軸算出処理を行う(S207)。なお、S204〜S207で行われる処理の詳細については上述した通りであるのでここでの詳細な説明は省略する。
また、図41で説明したS22の処理において、システム1Aは、S21で算出された物体のカーブミラーにおける位置に基づいて、車両がこのまま進行したときに予測される危険度を判定する危険予測処理を行う(S221)。次いで、システム1Aは、S221で判定された危険度を示す情報を、運転支援情報として生成したり、S221で判定された危険度に基づいて、車両を制御するための車両制御情報を生成したりする情報生成処理を行う(S222)。なお、S221およびS222で行われる処理の詳細については上述した通りであるのでここでの説明は省略する。
そして、システム1Aは、図41で説明したS23の処理を行う。より具体的には、S23において、システム1Aは、S222で生成された運転支援情報等を出力する情報出力処理を行う(S223)。
[実施の形態2の効果等]
以上のように、実施の形態2に係る情報処理装置10Aまたはシステム1Aによれば、交差点など見通しが悪い場所において、カーブミラーを利用することで、危険度を判定することができ、判定した危険度に基づいて車両の運転支援情報を生成して出力することができる。それにより、情報処理装置10Aを搭載した車両の安全運転を支援することができる。
具体的には、交差点などの見通しが悪い場所において、カーブミラーに、人物などの物体が映っている場合には、当該物体が当該場所に飛び出してくる可能性がある。この場合、一時停止中の車両を早期に発進させると当該物体と衝突する危険がある。また、カーブミラーは左右反転して映すという特性がある。
したがって、カーブミラーの奥側に人物などの物体が映っている場合には、カーブミラーの手前側に人物などの物体が映っている場合に比べて、当該場所の一時停止中の車両に近い側の道路の路肩側近傍を移動中であることがわかる。つまり、カーブミラーの奥側に人物などの物体が映っている場合には、カーブミラーの手前側に人物などの物体が映っている場合に比べて、一時停止中の車両を早期に発進させると当該物体と衝突する危険が高い。
そこで、本実施の形態では、一時停止中の車両から得ることのできる画像に映るカーブミラー内の物体の位置と必要ならそのサイズ変化とから危険度を判定する。このようにして、実施の形態2に係る情報処理装置10Aは、カーブミラーを利用することで、危険度を判定することができる。
なお、例えば自動運転中の車両が情報処理装置10Aを備える場合には、当該車両は、上記のようにカーブミラーを利用して、危険度を判定することできるので、予測した危険度に応じて車両制御を行うことができる。
また、上述したように、例えば、実施の形態2に係る情報処理装置10Aは、物体が画像において中心軸よりも上に位置している場合、車両に物体を回避させるための運転支援情報を生成するとしてもよい。これにより、物体が車両に近い場合に物体を回避することができ、物体および車両の安全性を確保することができる。
また、例えば、実施の形態2に係る情報処理装置10Aは、(i)カーブミラーが車両からみて左に向いている場合に、物体が画像において中心線よりも右に位置しているとき、または(ii)カーブミラーが車両からみて右に向いている場合に、物体が画像において中心線よりも左に位置しているときは、車両に物体を回避させるための運転支援情報を生成するとしてもよい。これにより、物体が車両に近い場合に物体を回避することができ、物体および車両の安全性を確保することができる。また、道路の中心軸を特定するような複雑な処理を省くことができ、処理速度を向上させることができる。
以上のように、実施の形態2に係る情報処理装置10Aまたはシステム1Aによれば、交差点など見通しが悪い場所において、カーブミラーを利用することで、車両の安全運転を支援することができる。
なお、上記では、車両が一時停止中である例を説明したが、実施の形態2は低速(所定速度以下)で移動している車両について適用されてもよい。
(変形例1)
実施の形態2では、カーブミラー内の物体の位置と必要ならその大きさに応じて危険度を判定する場合について説明したが、これに限らない。認識部13がカーブミラーに映る物体の属性を認識し、算出部101が当該属性を考慮して危険度を判定してもよい。本変形例では、カーブミラーに映る物体が有する移動速度に関する属性をさらに考慮して危険度を判定する場合について説明する。
図43は、実施の形態2の変形例1における出力処理部102Aが行う危険予測処理の一例を示す説明図である。なお、図40と同様の内容には同一の文言が記載されており、詳細な説明は省略する。また、図43にはT字等の交差点において変形例1における出力処理部102Aが行う危険予測処理の一例が示されている。なお、低、中または高の危険度に基づく、車両制御情報は、図40に示す通りでよいため、図43では図示を省略している。
図43に示すように、物体が人物である場合には、危険予測部1031Aは図40のときと同様の危険度を判定すればよい。一方で、物体が人物よりも移動速度の速い自転車、バイクまたは自動車である場合には、危険予測部1031Aは移動速度に応じて物体が人物であるときよりも高い危険度を判定すればよい。
以上のように、本変形例では、出力処理部102Aは、運転支援情報を、認識部13により認識された物体の属性に応じて生成して、生成した運転支援情報を出力する。
(変形例2)
変形例1では、カーブミラーに映る物体が有する移動速度に関する属性をさらに考慮して危険度を判定する場合について説明したが、これに限らない。カーブミラーに映る物体が人である場合には、危険予測部1031Aはその人の年齢に関する属性をさらに考慮して危険度を判定してもよい。この場合を変形例2として以下に説明する。
図44は、実施の形態2の変形例2における出力処理部102Aが行う危険予測処理の一例を示す説明図である。なお、図40と同様の内容には同一の文言が記載されており、詳細な説明は省略する。また、図44にはT字等の交差点において変形例2における出力処理部102Aが行う危険予測処理の一例が示されている。なお、低、中または高の危険度に基づく、車両制御情報は、図40に示す通りでよいため、図44でも図示を省略している。
図44に示すように、物体が人物であり、かつその人物が子供またはお年寄りである場合には、危険予測部1031Aは図40と同様の危険度を判定すればよい。一方で、物体が人物であり、かつ、その人物が子供およびお年寄り以外のその他である場合には、危険予測部1031Aは人物が子供またはお年寄りであるときよりも高い危険度を判定すればよい。
以上のように、本変形例では、出力処理部102Aは、認識部13により認識された物体の属性が人物の場合、認識部13により認識された当該物体の年齢に関する情報に応じて運転支援情報を変化させて生成し、生成した当該運転支援情報を出力する。なお、上記では、年齢に関する情報が人物の世代である例を説明したが、年齢に関する情報は人物の年齢または年代であってもよい。
(変形例3)
変形例2では、カーブミラーに映る物体が人である場合には、その人の年齢に関する属性をさらに考慮して危険度を判定する場合について説明したが、これに限らない。カーブミラーに映る物体が人である場合に、危険予測部1031Aは、さらに、その人がスマートフォンなどの携帯端末を見ながら歩いているか否かという属性をさらに考慮して危険度を判定してもよい。具体的には、不注意行動は、非前方視行動である。例えば、非前方視行動は、スマートフォンなどの携帯端末または本などの注視がある。この場合を変形例3として以下に説明する。
図45は、実施の形態2の変形例3における出力処理部102Aが行う危険予測処理の一例を示す説明図である。なお、図40と同様の内容には同一の文言が記載されており、詳細な説明は省略する。また、図45にはT字等の交差点において変形例1における出力処理部102Aが行う危険予測処理の一例が示されている。なお、低、中または高の危険度に基づく、車両制御情報は、図40に示す通りでよいため、図45でも図示を省略している。
図45に示すように、物体が人物であり、かつその人物が携帯端末を見て移動行動を行う非前方視行動をしていないすなわちその人物が携帯端末を見ながら歩いていない場合には、危険予測部1031Aは、図40のときと同様の危険度を判定すればよい。一方で、物体が人物であり、かつ、その人物が非前方視行動をしているすなわちその人物が携帯端末を見ながら歩いている場合には、危険予測部1031Aは、その人物が非前方視行動をしていないときよりも高い危険度を判定すればよい。なお、上記では、不注意行動が非前方視行動である例を説明したが、不注意行動は、人物の前方だが上方または下方を見ている行動、または人物の前方にある乳母車もしくはボールなどの特定物を注視している行動であってもよい。
以上のように、本変形例では、出力処理部102Aは、認識部13により認識された物体の属性が人物の場合、認識部13により認識された物体が不注意行動をしているか否かに応じて運転支援情報を変化させて生成し、生成した当該運転支援情報を出力する。
(実施の形態3)
カーブミラーは、実施の形態1および2で説明したT字路または曲線カーブ道路以外の見通しが悪い場所にも存在する。
例えば車両専用道路の出口付近の場所では、車がスピードを緩めず飛び出してくる可能性が高いし、ショッピングモールの入庫口では人または車両の飛び出しがある可能性が高い。また、例えばショッピングモールの入り口では人の出入りが多いため人の飛び出しがある可能性が高い。また、例えば自動車がスピードを出しやすい直線に連なる曲がり角などの場所では、自動車がスピードを緩めず車線を越えて膨らむつまり飛び出してくる可能性がある。これらのようなカーブミラーが存在する見通しの悪い場所では、事故が発生する危険度が高い。つまり、自車両の位置またはカーブミラーの設置場所によっては、人が多く現れる場所かまたは自動車の速度が速い場所かなどの条件が異なることから危険度も異なる。
そこで、実施の形態3では、カーブミラーの設置場所の特徴を考慮することで、一時停止中または進行中の車両の安全運転を支援することができる情報処理装置等について説明する。なお、以下では、実施の形態3におけるシステムまたは情報処理装置が搭載された車両を自車両と称する。
[システム1Bの構成]
図46は、実施の形態3におけるシステム1Bの構成の一例を示すブロック図である。なお、図1および図26と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図46に示すシステム1Bは、実施の形態1におけるシステム1と比較して、取得部11B、検出処理部12bおよび情報処理装置10Bの構成が異なる。システム1Bもまた、システム1と同様に、例えば自動車などの車両に搭載され、カーブミラーを利用することで、当該車両すなわち自車両の運転支援情報を出力することができる。
本実施の形態では、一時停止中または進行中の自車両の安全運転を支援するために、情報処理装置10Bは、カーブミラーの設置場所の特徴も加味する。
[取得部11B]
取得部11Bは、画像取得部11と同様に、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報を取得する。取得部11Bは、マップ情報を取得してもよい。マップ情報とは、地理上の位置における動的に変化する事象を示す情報または地理上の静的な情報である。マップ情報には、マップ上の交通事故、渋滞、工事、路面状態および気象の少なくとも1つを示す追加マップ情報を含む。
なお、取得部11Bは、実施の形態1における画像取得部11と比較して、マップ情報を取得できる点が異なり、その他の点は同じである。取得部11Bでは、センシング部111が通信等によりマップ情報を取得し、画像記録部112に記録すればよい。
[検出処理部12b]
検出処理部12bは、カーブミラーおよびカーブミラーに映る物体を検出する。本実施の形態では、検出処理部12bは、マップ情報または、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報に基づいて、車両周辺のカーブミラーを検出する。
検出処理部12bは、図46に示すように、検出部12Bと認識部13Bとを備える。
<検出部12B>
検出部12Bは、カーブミラーを検出する。より具体的には、検出部12Bは、画像情報に基づいて車両周辺のカーブミラーを検出する。例えば、検出部12Bは、カーブミラーの識別情報またはカーブミラーの識別器を用いて、画像情報に基づいて車両周辺のカーブミラーを検出する。なお、画像情報に基づいて車両周辺のカーブミラーを検出する方法は、実施の形態1で画像中のカーブミラーを検出する方法と同様である。
また、検出部12Bは、マップ情報に基づいて車両周辺のカーブミラーを検出してもよい。例えば、検出部12Bは、車両の位置とマップ情報が示すカーブミラーの設置場所とに基づいて車両周辺のカーブミラーを検出する。
<認識部13B>
認識部13Bは、車両に搭載された撮像装置の撮像により得られる画像を示す画像情報に基づいてカーブミラーに映る物体を認識する。また、認識部13Bは、カーブミラーの識別情報またはカーブミラーの識別器を用いて、画像情報に基づいてカーブミラーの周囲環境を認識する。このように、認識部13Bは、取得部11Bにより取得された画像に映るカーブミラー内の物体およびカーブミラーの周囲環境を認識する。
なお、取得部11Bと、検出処理部12bとは、実施の形態1および2と同様に、情報処理装置10Bに構成されてもよい。
[情報処理装置10B]
実施の形態3における情報処理装置10Bは、カーブミラーを利用することで、一時停止中または進行中の自車両の運転支援情報を出力する。本実施の形態では、一時停止中または進行中の自車両の安全運転を支援するために、情報処理装置10Bは、カーブミラーの設置場所の特徴も加味する。上述したように、自車両の位置またはカーブミラーの設置場所によって異なる危険度を考慮することができるからである。
より具体的には、情報処理装置10Bは、図46に示すように、出力処理部102Bと、死角判定部103と、判定部104とを備える。図46に示す情報処理装置10Bは、実施の形態1における情報処理装置10と比較して、判定部104の構成が追加され、出力処理部102Bの構成が異なる。以下、判定部104および出力処理部102Bの構成等の詳細について説明する。
<判定部104>
図47は、実施の形態3における判定部104の機能構成の一例を示す図である。
判定部104は、図47に示すように、特徴判定部1041と、第1危険度判定部1042と、第2危険度判定部1043とを備える。
《特徴判定部1041》
特徴判定部1041は、カーブミラーの設置場所の特徴を判定する。当該特徴には、カーブミラーの設置場所における道路の態様または設置場所における物体の通過の態様を含む。
より具体的には、特徴判定部1041は、マップ情報に基づいて、カーブミラーの設置場所の特徴を判定する。例えば、特徴判定部1041は、カーブミラーの周辺のマップ情報に基づいて当該特徴を判定する。特徴判定部1041は、追加マップ情報から道路の態様または物体の通過の態様を判定してもよい。
また、特徴判定部1041は、画像情報に基づいてカーブミラーの設置場所の特徴を判定してもよい。例えば、特徴判定部1041は、カーブミラーの周囲環境に基づいて特徴を判定してもよい。特徴判定部1041は、カーブミラーの周囲環境から道路の態様または物体の通過の態様を判定してもよい。
さらに、特徴判定部1041は、カーブミラーに映る物体に基づいて当該特徴を判定してもよい。この場合、特徴判定部1041は、カーブミラーに物体が映っていること、またはカーブミラーに映っている物体の多寡を当該特徴として判定してもよい。
なお、特徴判定部1041は、自車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラーの設置場所の特徴に関する情報を取得する設置場所取得部をさらに有していてもよい。当該設置場所取得部は、特徴判定部1041が有する場合に限らず、検出処理部12bまたは取得部11Bが有していてもよい。
例えば、設置場所取得部は、自車両の位置を示すGPS(Global PositioningSystem)情報から、自車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラーの設置場所を取得することができる。この場合、設置場所取得部は、取得した設置場所と、交通事故多発地点の情報、渋滞情報、道路工事情報、事故現場および路面情報などが埋め込まれたローカルダイナミックマップとから、カーブミラーの設置場所の特徴に関する情報を取得する。
カーブミラーの設置場所の特徴とは、上述した道路の態様である。具体的には、道路の態様は、事故が起こりやすいもしくは実際に事故が起きた場所、車両の台数もしくは渋滞の有無などの道路の混雑度、落葉、落石、積雪もしくは凍結などの路面状況、または工事有無などである。例えば、事故が起こりやすい場所は、車両専用道路の出口付近、ショッピングモールの入庫口若しくは入口、または、自動車がスピードを出しやすい直線に連なる曲がり角である。
図48は、ダイナミックマップの一例を示す説明図である。ローカルダイナミックマップは、所定場所付近を含む一部のダイナミックマップであり、道路・地物など静的な情報である高精細な地図データに、自車両位置周辺の刻々と変化する動的な情報を重ね合わせることで高度化された地図情報である。ローカルダイナミックマップには、例えば図48に示すように、路面情報、車線情報および3次元構造物などの静的な情報である最下層の基盤データ上に、準静的データと準動的データと動的データとが重畳されている。ここで、準静的データには、例えば交通規制情報、道路工事情報および広域気象情報などが含まれ、準動的データには例えば事故情報、渋滞情報および狭域気象情報などが含まれる。動的データには例えば周辺車両情報、歩行者情報および信号情報などITS(Intelligent Transport Systems:高度道路交通システム)の先読み情報などが含まれる。
また、設置場所取得部は、GPS情報により取得した設置場所と、自車両に設置された車載カメラなどにより撮影さすることにより得られた画像に映るカーブミラーの周囲環境とから、カーブミラーの設置場所の特徴に関する情報を取得してもよい。さらに、カーブミラーの設置場所の特徴とは、上述した設置場所における物体の通過の態様であってもよい。具体的には、設置場所における物体の通過の態様は、人または車両の出入りの有無または程度である。
ここでは、カーブミラーの設置場所の特徴に関する情報とは、上述したようなマップ情報または撮影画像を用いて得られる事故が起こりやすい場所か否かを示す情報である。
図49A〜図49Eは、実施の形態3におけるカーブミラーの周囲環境の一例である。周囲環境は、例えば図49A〜図49Eに示すようなショッピングセンターなどの商業施設の出入り口である。なお、商業施設の出入り口は、図49A〜図49Eに示すようなバリエーションがあるため、設置場所取得部は、商業施設の出入り口が映る画像を入力とする学習(Deep Learningなど)により得られる商業施設の出入り口認識器を備えるとしてよい。これにより、設置場所取得部は、画像に映るカーブミラーの周囲環境を示す画像から、ショッピングモールの入庫口若しくは入口などの事故が起こりやすい場所を示す情報を取得することができる。
図50は、実施の形態3における設置場所取得部が用いるマップ86の一例を示す図である。
設置場所取得部は、自車両の現在位置を図50に示すマップ86を取得後に画像に映るカーブミラーの周囲環境からカーブミラーの設置場所の特徴に関する情報を取得してもよい。自車両の現在位置が図50に示すマップ86上のショッピングセンターなどの商業施設860付近にあり、その後自車両の現在位置がGPS情報が取得できない商業施設860の屋内駐車場である場合において、商業施設860に自車両の現在位置があることを取得できるからである。これにより、設置場所取得部は、画像に映るカーブミラーの周囲環境から、商業施設860の入庫口または出庫口などの事故が起こりやすい場所を示す情報をより精度よく取得できるからである。
なお、自車両の現在位置がGPS情報が取得できるショッピングセンターの屋外駐車場である場合には、設置場所取得部は、地理情報からカーブミラーの設置場所の特徴に関する情報を取得してもよい。
《第1危険度判定部1042》
第1危険度判定部1042は、設置場所取得部により取得されたカーブミラーの設置場所の特徴に関する情報に基づいて、自車両の事故が起こる可能性の高さを示す第1危険度を判定する。第1危険度判定部1042は、自車両の現在位置とマップ情報とに基づいて判定(取得)されたカーブミラーの設置場所の特徴に関する情報に基づいて第1危険度を判定してもよいし、画像に映るカーブミラーの周囲環境に基づいて判定(取得)されたカーブミラーの設置場所の特徴に関する情報に基づいて第1危険度を判定してもよい。
まず、図51〜図54を用いて、第1危険度判定部1042が地理情報に基づいて第1危険度を判定する方法の一例について説明する。図51〜図54は、実施の形態3における第1危険度判定部1042が判定に用いるローカルダイナミックマップの一例を示す図である。図51〜図54において、同様の要素には同一の符号を付している。
図51には、自車両の現在位置により取得される通勤時間帯のローカルダイナミックマップ86tの一例が示されている。図51において、道路861、道路862、高速道路863よび道路864は、自車両が走行する可能性のある道路を示すとする。また、ローカルダイナミックマップ86tでは、動的に変化する交通事故、渋滞情報および、道路861を抜けて通勤する人が多いことを示す情報を含んでいるとする。
この場合、第1危険度判定部1042は、ハッチングされた道路861において自車両の事故の起こる可能性が最も高いとして、道路861の第1危険度を大と判定する。また、第1危険度判定部1042は、道路861に繋がり、商業施設865を通る道路862であってハッチングされた道路862において自車両の事故の起こる可能性が次に高いとして、その第1危険度を中と判定する。第1危険度判定部1042は、道路861および862以外の高速道路863および道路864においては自車両の事故の起こる可能性が低いとして、その第1危険度を小と判定する。
図52には、自車両の現在位置により取得される大型連休時のローカルダイナミックマップ86t1の一例が示されている。ローカルダイナミックマップ86t1では、動的に変化する交通事故、渋滞情報として、高速道路863で渋滞および事故発生が多いことを示す情報を含んでいるとする。この場合、第1危険度判定部1042は、ハッチングされた高速道路863において自車両の事故の起こる可能性が最も高いとして、高速道路863の第1危険度を大と判定する。また、第1危険度判定部1042は、高速道路863に繋がるハッチングされた道路862および道路864において自車両の事故の起こる可能性が次に高いとして、それらの第1危険度を中と判定する。第1危険度判定部1042は、高速道路863、道路862および道路864以外の道路862においては自車両の事故の起こる可能性が低いとして、その第1危険度を小と判定する。
また、図53には、自車両の現在位置により取得される土日の午後の時間帯のローカルダイナミックマップ86t2の一例が示されている。ローカルダイナミックマップ86t2では、動的に変化する交通事故、渋滞情報として、ショッピングセンターなどの商業施設865が混雑する時間帯を示すグラフと商業施設865に繋がる道路862で渋滞および事故発生が多いことを示す情報を含んでいるとする。
この場合、第1危険度判定部1042は、ハッチングされた道路862において自車両の事故の起こる可能性が最も高いとして、道路862の第1危険度を大と判定する。また、第1危険度判定部1042は、道路862に繋がるハッチングされた道路861において車両の事故の起こる可能性が次に高いとして、その第1危険度を中と判定する。第1危険度判定部1042は、道路861および道路862以外の高速道路863および道路864においては自車両の事故が起こる可能性が低いとして、それらの第1危険度を小と判定する。
また、図54には、自車両の現在位置により取得されるイベント時のローカルダイナミックマップ86t3の一例が示されている。また、ローカルダイナミックマップ86t3では、動的に変化する交通事故、渋滞情報として、コンサートなどのイベントが発生したコンサート会場866に繋がる道路862で渋滞および事故発生が多いことを示す情報を含んでいるとする。
この場合、第1危険度判定部1042は、ハッチングされた道路862において自車両の事故の起こる可能性が最も高いとして、道路862の第1危険度を大と判定する。また、第1危険度判定部1042は、道路862に繋がるハッチングされた道路861において車両の事故の起こる可能性が次に高いとして、その第1危険度を中と判定する。第1危険度判定部1042は、道路861および道路862以外の高速道路863および道路864においては自車両の事故が起こる可能性が低いとして、それらの第1危険度を小と判定する。
このようにして、第1危険度判定部1042は、自車両の現在位置と、現在の時間、季節または現在イベントが発生している等により動的に変化する交通事故、渋滞情報を示す地理情報に基づいて第1危険度を判定することができる。
次に、第1危険度判定部1042が画像に映るカーブミラーの周囲環境に基づいて第1危険度を判定する方法の一例について説明する。ここで、設置場所取得部は、画像に映るカーブミラーの周囲環境から、ショッピングセンターの出入り口または駐車場などのカーブミラーの設置場所の特徴に関する情報を取得しているとする。
第1危険度判定部1042は、カーブミラーの設置場所の特徴に関する情報から自車両の現在位置がショッピングセンターなどの商業施設の駐車場であると推定される場合には、自車両の事故の起こる可能性が中程度であるとして、第1危険度を中と判定する。駐車場では自動車が多数停車しており、駐車場内での自車両の移動は見通しが悪いためである。一方、第1危険度判定部1042は、カーブミラーの設置場所の特徴に関する情報から自車両の現在位置がショッピングセンターなどの商業施設の出入り口または入庫口である場合には、自車両の事故の起こる可能性が高いとして、第1危険度を大と判定する。商業施設の出入り口では、移動中の人が多く、自車両と人との衝突可能性が高いからである。また、ショッピングセンターの入庫口では、通常傾斜があり自動車またはバイクが一旦停止後に加速または飛び出しをする可能性があり、自車両と人との衝突可能性が高いからである。
《第2危険度判定部1043》
第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度とカーブミラーに映る物体の有無とに基づいて、自車両が進行するときに予測される危険度である第2危険度を判定する。
第2危険度判定部1043は、カーブミラーに映る物体が有るときには、自車両が進行するときに物体と衝突する危険性が高まることから、これを加味した第2危険度を判定する。より具体的には、第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度が小の場合、カーブミラーに映る物体が有るときには第2危険度を中と判定し、カーブミラーに映る物体が無ければ第2危険度を低と判定する。第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度が中の場合、カーブミラーに映る物体が有れば第2危険度を中と判定し、カーブミラーに映る物体が無ければ第2危険度を低と判定する。また、第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度が大の場合、カーブミラーに映る物体が有れば第2危険度を高と判定し、カーブミラーに映る物体が無ければ第2危険度を中と判定する。
例えば、自車両の位置がショッピングモールの入庫口では、入庫口では自動車またはバイクが一旦停止後に加速まはた飛び出しをする可能性があるため、上述したように第1危険度判定部1042により第1危険度が中であると判定される。第2危険度判定部1043は、カーブミラーに映る車があるときには、入庫口付近に位置する自車両とその車との衝突可能性が高いとして第2危険度を中と判定する。一方、第2危険度判定部1043は、カーブミラーに映る車がないときには、自車両と車との衝突可能性が低くなるため、第2危険度を低と判定する。
また、例えば自車両の位置がショッピングモールの出入り口近辺の場合、出入り口近辺では、人の出入りが多く事故の発生確率も増えることから、上述したように第1危険度判定部1042により第1危険度が大であると判定される。第2危険度判定部1043は、カーブミラーに映る人があるときには、出入り口近辺に位置する自車両と人との衝突可能性が高いとして第2危険度を高と判定する。一方、第2危険度判定部1043は、カーブミラーに映る人がないときには、自車両と人との衝突可能性が低くなるため、第2危険度を中と判定する。
なお、第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度のみに基づいて、第2危険度を判定してもよい。この場合には、第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度が大であれば第2危険度を高と判定すればよい。同様に、第2危険度判定部1043は、第1危険度判定部1042で判定された第1危険度が中または小であれば第2危険度を中または低と判定すればよい。
このようにして、判定部104は、自車両の前方を時系列に連続して撮影することにより得られた画像に映るカーブミラーの設置場所の特徴として、第2危険度を判定する。
なお、例えば自車両の位置が自動車専用道路または高速の出入り口近辺の場所である場合、出入り口近辺では、車両専用道路等から出た車がスピードを緩めない可能性があり事故の発生確率も増えることから、第1危険度判定部1042は第1危険度を大であると判定してもよい。そして。第2危険度判定部1043は、カーブミラーに映る車があるときには、自車両と人との衝突可能性が高いとして第2危険度を高と判定すればよい。一方、第2危険度判定部1043は、カーブミラーに映る車がないときには、自車両と人との衝突可能性が低くなるため、第2危険度を中と判定してもよい。
なお、上記では、第2危険度の判定にカーブミラーに映る物体の有無が用いられる例を説明したが、第2危険度の判定にはカーブミラーに映る物体の種類、数、多寡または密集度などが用いられてもよい。
<出力処理部102B>
出力処理部102Bは、判定部104で判定された特徴に基づいて運転支援情報を生成し、生成した運転支援情報を出力する。ここで、運転支援情報は、車両の挙動の制御指令情報を含んでいてもよいし、車両の乗員へ提示される提示情報を含んでいてもよい。提示情報は、カーブミラーの設置場所における特徴から予測される危険性を提示する情報を含んでもよい。
図55は、実施の形態3における出力処理部102Bの機能構成の一例を示す図である。
本実施の形態では、出力処理部102Bは、図55に示すように、情報生成部1032Bと、情報出力部1033Bとを備える。
《情報生成部1032B》
情報生成部1032Bは、判定部104で判定された特徴に基づいて運転支援情報を生成する。情報生成部1032Bは、判定された道路の態様または物体の通過の態様に応じた運転支援情報を生成してもよい。例えば、情報生成部1032Bは、判定された道路の態様または物体の通過の態様が車両の安全な走行を妨げる態様である場合、車両を減速、停止または迂回させるための運転支援情報を生成する。また、例えば、情報生成部1032Bは、判定部104で判定された、カーブミラーに物体が映っていること、または前記カーブミラーに映っている物体の多寡に応じて、車両を減速、停止または迂回させるための運転支援情報を生成してもよい。
なお、情報生成部1032Bは、特徴から予測される危険性に応じて運転支援情報を生成してもよい。
また、実施の形態2同様に、出力処理部102Bは、さらに、上述の死角画像が判定された場合に、運転支援情報を生成してもよい。例えば、出力処理部102Bは、死角判定部103により死角画像が判定された時、運転支援情報として、一定期間、車両を一時停止させるための情報を生成してもよい。
《情報出力部1033B》
情報出力部1033Bは、情報生成部1032Bにより生成された運転支援情報を出力する。
以下、このように構成される出力処理部102Bが行う出力処理の一例について図を用いて説明する。図56および図57は、実施の形態3における出力処理部102Bが行う出力処理の一例を示す説明図である。図56には、曲線カーブ道路において実施の形態3における出力処理部102Bが出力する自車両の車両制御情報の一例が示されており、図57にはT字交差点において実施の形態3における出力処理部102Bが出力する自車両の車両制御情報の一例が示されている。なお、図56および図57には、第2危険度とその車両制御情報に加えて、カーブミラー設置場所に基づく第1危険度およびカーブミラーに映る物体の有無も合わせて示されている。
したがって、出力処理部102Bは、自車両が曲線カーブ道路に位置する場合には、第2危険度判定部1043により判定された第2危険度に基づいて、図56に示すように車両を制御するための車両制御情報を生成して出力すればよい。一方、出力処理部102Bは、自車両がT字交差点に位置する場合には、第2危険度判定部1043により判定された第2危険度に基づいて、図57に示すように車両を制御するための車両制御情報を生成して出力すればよい。
なお、第2危険度と車両制御情報との関係は、図16および図17で説明した危険度と車両制御情報との関係と同様であるため、ここでの詳細な説明は省略する。
[システム1Bの動作]
次に、以上のように構成されたシステム1Bの情報処理方法について説明する。図58は、実施の形態3におけるシステム1Bの情報処理方法の概要を示すフローチャートである。図59は、実施の形態3におけるシステム1Bの情報処理方法の詳細を示すフローチャートである。なお、図19等と同様の要素には同一の符号を付しており、詳細な説明は省略する。
図58に示すように、まず、システム1Bは、マップ情報または車両に搭載された撮像装置の撮像により得られる画像を示す画像情報を取得する(S30)。次に、システム1Bは、S30で取得したマップ情報または画像情報に基づいて、車両周辺のカーブミラーを検出する(S31)。次に、システム1Bは、カーブミラーの設置場所の特徴を、マップ情報または画像情報に基づいて判定する(S32)。次に、システム1Bは、S32で判定した特徴に基づいて、運転支援情報を生成する(S33)。そして、システム1Bは、S33で生成した運転支援情報を出力する(S34)。
より詳細には、図59に示すように、まず、システム1Bは、図58で説明したS30の処理を行う。より具体的には、システム1Bは、S30の処理において、マップ情報または車両に搭載された撮像装置の撮像により得られた画像を示す画像情報を取得する取得処理を行う(S301)。
次に、システム1Bは、図58で説明したS31の処理を行う。より具体的には、システム1Bは、S31の処理において、S301で取得したマップ情報または画像情報に基づいて車両周辺のカーブミラーを検出する検出処理を行う(S302)。また、システム1Bは、S302で取得した画像情報に基づいてカーブミラーに映る物体を認識する認識処理を行う(S303)。
次に、システム1Bは、図58で説明したS32の処理を行う。より具体的には、システム1Bは、S32の処理において、マップ情報または画像情報に基づいてカーブミラーの設置場所の特徴を判定する特徴判定処理を行う(S304)。次いで、システム1Bは、カーブミラーの設置場所の特徴に関する情報に基づいて、自車両の事故が起こる可能性の高さを示す第1危険度を判定する第1危険度判定処理を行う(S305)。次いで、システム1Bは、S305で判定された第1危険度とカーブミラーに映る物体の有無とに基づいて、自車両が進行するときに予測される危険度である第2危険度を判定する第2危険度判定処理を行う(S306)。なお、S304〜S306で行われる処理の詳細については上述した通りであるのでここでの詳細な説明は省略する。
また、S33の処理において、システム1Bは、S306で判定された第2危険度に応じて、運転支援情報として生成する情報生成処理を行う(S307)。なお、S307で行われる処理の詳細については上述した通りであるのでここでの説明は省略する。
そして、システム1Bは、図57で説明したS34の処理を行う。より具体的には、S34において、システム1Bは、S307で生成された運転支援情報等を出力する情報出力処理を行う(S308)。
[実施の形態3の効果等]
以上のように、実施の形態3に係る情報処理装置10Bまたはシステム1Bによれば、交差点に加えて駐車場または商業施設の出入口等の見通しが悪い場所においても、カーブミラーを利用することで、車両が進行するときの危険度(すなわち第2危険度)を判定することができる。そして、判定した第2危険度に基づいて車両の運転支援情報を生成して出力することができるので、情報処理装置10Bを搭載した車両の安全運転を支援することができる。
具体的には、カーブミラーの設置場所の特徴すなわちカーブミラーの設置場所が交差点または駐車場、商業施設の出入口、車両専用道路の出口付近など見通しが悪く事故が起こりやすい場所である場合、自車両にも事故が発生する可能性がある。つまり、この場所近辺に位置する車両を進行させた場合、自車両に事故が発生してしまう危険性がある。さらに、カーブミラーの設置場所が見通しが悪く事故が起こりやすい場所である場合、カーブミラーに物体が映っている場合には、さらに自車両に事故が発生してしまう危険性が高くなる。
そこで、本実施の形態では、一時停止中または進行中の車両から得ることのできる画像に映るカーブミラーの設置場所の特徴とカーブミラーに映る物体の有無とから、車両が進行するときに予測される危険度である第2危険度を判定する。
このように、実施の形態3に係る情報処理装置10Bは、カーブミラーを利用することで、車両が進行するときの危険度である第2危険度)を判定することができる。
なお、上述したように、一時停止中または進行中の車両から得ることのできる画像に映るカーブミラーの設置場所の特徴のみから、車両が進行するときに予測される危険度である第2危険度を判定してもよい。
また、例えば自動運転中の車両が情報処理装置10Bを備える場合には、当該車両は、上記のようにカーブミラーを利用して、第2危険度を判定することできるので、判定した第2危険度に応じて車両制御を行うことができる。
以上のように、実施の形態3に係る情報処理装置10Bまたはシステム1Bによれば、見通しが悪い場所において、カーブミラーを利用することで、車両の安全運転を支援することができる。
(変形例1)
実施の形態3では、カーブミラーの設置場所の特徴とカーブミラーに映る物体の有無と車両が進行するときに予測される危険度である第2危険度を判定する場合について説明したが、これに限らない。認識部13Bがカーブミラーに映る物体の属性を認識し、判定部104が当該属性を考慮して危険度を判定してもよい。本変形例では、カーブミラーに映る物体が有する移動速度に関する属性をさらに考慮して危険度を判定する場合について説明する。
図60は、実施の形態3の変形例1における第2危険度判定部1043が行う第2危険度判定処理の一例を示す説明図である。なお、図56および図57と同様の内容には同一の文言が記載されており、詳細な説明は省略する。また、低、中または高の第2危険度に基づく、自車両の車両制御情報は、図56または図57に示す通りでよいため、図60では図示を省略している。
図60に示すように、物体が人物である場合には、第2危険度判定部1043は、図56および図57と同様の第2危険度を判定すればよい。一方で、物体が人物よりも移動速度の速い自転車、バイクまたは自動車である場合には、第2危険度判定部1043は、移動速度に応じて物体が人物であるときよりも高い第2危険度を判定すればよい。
以上のように、本変形例では、第2危険度判定部1043は、認識部13Bにより認識された物体の属性に応じて変化させた第2危険度を判定する。その結果、出力処理部102Bは、運転支援情報を、認識部13Bにより認識された物体の属性に応じて生成して、生成した運転支援情報を出力することができる。
(変形例2)
変形例1では、カーブミラーに映る物体が有する移動速度に関する属性をさらに考慮して第2危険度を判定する場合について説明したが、これに限らない。カーブミラーに映る物体が人である場合には、その人の年齢に関する属性をさらに考慮して第2危険度を判定してもよい。この場合を変形例2として以下に説明する。
図61は、実施の形態3の変形例2における第2危険度判定部1043が行う第2危険度判定処理の一例を示す説明図である。なお、図56および図57と同様の内容には同一の文言が記載されており、詳細な説明は省略する。また、低、中または高の第2危険度に基づく、自車両の車両制御情報は、図56または図57に示す通りでよいため、図60でも図示を省略している。
図61に示すように、物体が人物であり、かつその人物が子供またはお年寄りである場合には、第2危険度判定部1043は、図56および図57と同様の第2危険度を判定すればよい。一方で、物体が人物であり、かつ、その人物が子供およびお年寄り以外のその他である場合には、第2危険度判定部1043は、人物が子供またはお年寄りであるときよりも高い第2危険度を判定すればよい。
以上のように、本変形例では、第2危険度判定部1043は、認識部13Bにより認識された物体の属性が人物の場合、認識部13Bにより認識された当該物体の年齢に応じて変化させた第2危険度を判定する。その結果、出力処理部102Bは、認識部13Bにより認識された物体の属性が人物の場合、認識部13Bにより認識された当該物体の年齢に応じて運転支援情報を変化させて生成し、生成した運転支援情報を出力することができる。なお、上記では、年齢に関する情報が人物の世代である例を説明したが、年齢に関する情報は人物の年齢または年代であってもよい。
(変形例3)
変形例2では、カーブミラーに映る物体が人である場合には、その人の年齢に関する属性をさらに考慮して第2危険度を判定する場合について説明したが、これに限らない。カーブミラーに映る物体が人である場合に、さらに、第2危険度判定部1043は、その人がスマートフォンなどの携帯端末を見ながら歩いているか否かという属性をさらに考慮して第2危険度を判定してもよい。具体的には、不注意行動は、非前方視行動である。例えば、非前方視行動は、スマートフォンなどの携帯端末または本などの注視がある。この場合を変形例3として以下に説明する。
図62は、実施の形態3の変形例3における第2危険度判定部1043が行う第2危険度判定処理の一例を示す説明図である。なお、図56および図57と同様の内容には同一の文言が記載されており、詳細な説明は省略する。また、低、中または高の第2危険度に基づく、自車両の車両制御情報は、図56または図57に示す通りでよいため、図60では図示を省略している。
図62に示すように、物体が人物であり、かつその人物が携帯端末を見て移動行動を行う非前方視行動をしていないすなわちその人物が携帯端末を見ながら歩いていない場合には、第2危険度判定部1043は、図56および図57のときと同様の第2危険度を判定すればよい。一方で、物体が人物であり、かつ、その人物が非前方視行動をしているすなわちその人物が携帯端末を見ながら歩いている場合には、第2危険度判定部1043はその人物が非前方視行動をしていないときよりも高い第2危険度を判定すればよい。なお、上記では、不注意行動が非前方視行動である例を説明したが、不注意行動は、人物の前方だが上方または下方を見ている行動、または人物の前方にある乳母車もしくはボールなどの特定物を注視している行動であってもよい。
以上のように、本変形例では、第2危険度判定部1043は、認識部13Bにより認識された物体の属性が人物の場合、認識部13Bにより認識された物体が不注意行動をしているか否かに応じて変化させた第2危険度を判定する。その結果、出力処理部102Bは、認識部13Bにより認識された物体の属性が人物の場合、認識部13Bにより認識された物体が不注意行動をしているか否かに応じて運転支援情報を変化させて生成し、出力することができる。
以上のように、本開示の情報処理装置および情報処理方法等によれば、交差点など見通しが悪い場所において、当該場所に設置されたカーブミラーを利用することで車両の安全運転を支援することができる。また、日本以外の国では、あまりカーブミラーが普及していないこともあるが、交通事故の防止等の観点から将来的に見通しの悪い場所に交通事故防止のための何らかの設備が配置される可能性がある。ここで、本開示の各実施形態に係る情報処理装置等を用いられれば、配置される設備を高価な設備(例えばレーダーなど)にすることなく、安価なカーブミラーで交通の安全性を高めることができる。
なお、上記の実施の形態等では、カーブミラーの形状は、円状または矩形状として説明したが、これに限らない。設置されたカーブミラーの形状がなんらかの理由により変形しミラーの表面が凸凹状になっている場合またはカーブミラーの鏡面が曇っている場合も本開示の範囲に含まれる。この場合、カーブミラーに映る物体の認識に信頼度を導入し、信頼度が閾値以下である場合には、カーブミラーに映る物体の情報が信頼できないとして、本開示の情報処理方法を使用しないとしてもよい。
以上、本開示の情報処理装置および情報処理方法等について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、または、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。例えば、以下のような場合も本発明に含まれる。
(1)上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどを備えるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
(2)上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)を備えるとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
(3)上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールを備えるとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどを備えるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
(4)本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
(5)また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
(6)また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
(7)また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
(8)また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。