JP2022067928A - 対象物推定装置、その対象物推定方法、および、車両 - Google Patents

Abstract

【課題】対象物の存在場所についての推定を改善する。【解決手段】対象物推定装置１０は、空間に存在する対象物１００を含む空間画像（３４）を取得して、取得される対象物１００を含む空間画像（３４）に基づいて空間画像（３４）における対象物１００の存在場所を示す画像領域情報５１，５２を推定する。取得される空間画像（３４）に含まれる対象物１００が斜めになる姿勢で含まれている場合には、対象物推定装置１０は、空間画像（３４）において斜めになる姿勢で含まれている対象物１００の画像領域３５より広い画像領域を、空間画像（３４）における対象物１００の存在場所を示す画像領域情報５１，５２として推定することができる。【選択図】 図７

Description

本発明は、対象物推定装置、その対象物推定方法、および、車両に関する。

自動車といった車両では、自車である自動車の周囲を自動車に設けられるカメラにより撮像し、撮像画像から周囲に存在する他の車両などの対象物の存在場所を推定し、たとえば対象物の存在場所を避けて移動できるようになることが望ましい。
たとえば、特許文献１の物体検出装置は、撮影画像について検出される物体候補領域の物体の姿勢と相対距離とをニューラルネットワークにより学習し、推定して出力する。そして、特許文献１から得られる物体の姿勢と相対距離とを用いることにより、車両は、推定されている物体の存在場所を避けて移動することが可能となる。

特開２０１９－００８４６０号公報

しかしながら、特許文献１のニューラルネットワークは、単純に、撮影画像と、撮影画像における物体の画像領域の周囲を囲うように設けられる推定枠とを教師データとして用いて、それらの関連性を機械的に学習するものである。
この場合、ニューラルネットワークは、基本的に撮影画像における物体の画像領域に対して推定枠を関連付けることになり、その結果として、実空間におけるたとえば車両といった物体が存在している場所と、撮影画像における物体の画像領域の周囲を囲う推定枠に基づいて推定される場所との間に、大きな誤差を生じることがある。
たとえば、撮像画像に含まれる物体としての車両が、撮像画像の視点位置に対して斜めになる姿勢で撮像画像に含まれている場合、実空間での車両の先端は、撮像画像における車両の画像領域に基づいて推定される車両の存在位置を示す推定枠より撮影画像の視点位置へ向かって飛び出したようになってしまう。一つの理由は、車両の外形が、これらの推定処理において一般的に仮定されている立方体形状ではないことに起因する。特に、近年の自動車は、歩行者などの車外の人との衝突安全性を高めるために、旧来のものより丸みを帯びた角が立っていない外形を有するため、この仮定に起因する誤差はとても大きいものになる。その結果、たとえば推定されている物体の存在場所の近くを通過しようと制御されている自動車は、正常な制御の下で、物体と触れてしまう可能性が生じ得る。

このように対象物の存在場所についての推定は、改善することが求められる。

本発明の一形態に係る対象物推定装置は、空間に存在する対象物を含む空間画像を取得可能な取得部と、前記取得部により取得される前記対象物を含む前記空間画像の少なくとも一部に基づいて、前記空間画像における前記対象物の存在場所を示す画像領域情報を推定する推定部と、を有し、前記推定部は、前記取得部により取得される前記空間画像に含まれる前記対象物が斜めになる姿勢で含まれている場合には、前記空間画像において斜めになる姿勢で含まれている前記対象物の画像領域より広い画像領域を、前記空間画像における前記対象物の存在場所を示す前記画像領域情報として推定することができる。

好適には、前記推定部は、空間に存在する前記対象物を含む前記空間画像と、前記空間画像における前記対象物の存在場所を示す前記画像領域情報との関連性を機械学習して、前記取得部により取得される前記空間画像における前記対象物の存在場所を示す前記画像領域情報を推定することができる、とよい。

好適には、前記推定部は、前記画像領域情報として、前記空間画像における前記対象物の画像領域の周囲を囲う推定パターンを機械学習し、または推定することができる、とよい。

好適には、前記推定部は、前記空間画像に含まれる対象物が斜めになる姿勢で含まれている場合には、斜めになる姿勢で含まれている前記対象物の画像領域から少なくとも一部が離れている前記推定パターンを機械学習し、または推定することができる、とよい。

好適には、前記推定部は、前記空間画像に含まれる対象物が斜めになる姿勢で含まれている場合には、前記空間画像に含まれる対象物が対向するように向いた姿勢で含まれている場合と比べて、前記対象物の画像領域から少なくとも一部が離れている前記推定パターンを機械学習し、または推定することができる、とよい。

好適には、前記推定部は、前記取得部により取得される前記空間画像に含まれる対象物が対向するように向いた姿勢で含まれている場合には、対向する姿勢で含まれている前記対象物の画像領域と接する前記推定パターンを推定し、前記取得部により取得される前記空間画像に含まれる対象物が斜めになる姿勢で含まれている場合には、前記取得部により取得される前記空間画像に含まれる対象物が対向するように向いた姿勢で含まれている場合と比べて、前記対象物の画像領域から少なくとも一部が離れている前記推定パターンを推定することができる、とよい。

好適には、前記推定部は、前記空間画像に含まれる対象物を平面視した状態で前記対象物の全体を含むように囲う四角形の平面枠を基準として、前記平面枠に対して立設することになる推定パターンを機械学習して、前記取得部により取得される前記空間画像における前記対象物の存在場所を示す前記画像領域情報としての前記推定パターンを推定することができる、とよい。

好適には、前記推定部は、前記推定パターンとして、前記空間画像の地面に立接していることになる四角形の前記推定パターン、または前記空間画像の地面と接していることになる四角形の前記推定パターンを機械学習し、または推定することができる、とよい。

好適には、前記推定部は、前記取得部により取得される前記空間画像に含まれる前記対象物として少なくとも車両を対象として、前記取得部により取得される前記空間画像における前記対象物の存在場所を示す前記画像領域情報を推定するものであり、前記空間画像に含まれる対象物としての前記車両が斜めになる姿勢で含まれている場合には、斜めになる姿勢で含まれている前記車両についての正対面、前記正対面に隣接する隣接面、並びに、前記正対面および前記隣接面の双方の中の少なくとも２つに対応している、少なくとも２種類の推定パターンを機械学習し、または推定することができる、とよい。

好適には、前記推定部により生成される前記画像領域情報を用いて、空間に存在する対象物についての位置、方向、または距離を生成する後処理部、を有する、とよい。

好適には、前記後処理部は、前記取得部により取得される前記空間画像に含まれる前記対象物として少なくとも車両を対象として、前記対象物についての位置、方向、または距離を生成するものであり、少なくとも、前記空間画像に含まれる対象物としての前記車両が斜めになる姿勢で含まれている場合には、前記推定部か推定する前記画像領域情報としての、斜めになる姿勢で含まれている前記車両についての正対面、前記正対面に隣接する隣接面、並びに、前記正対面および前記隣接面の双方の中の少なくとも２つに対応している、少なくとも２種類の推定パターンを用いて、斜めになる姿勢で含まれている前記車両についての位置、方向、または距離を生成する、とよい。

好適には、前記後処理部は前記空間画像において斜めになる姿勢で含まれている対象物としての車両について、前記推定部か推定する前記画像領域情報としての少なくとも２種類の推定パターンに基づいて、前記空間画像に含まれる対象物を平面視した状態で前記対象物の全体を含むように囲う四角形の平面枠の角を路面へ写した複数の路面点位置として、斜めになる姿勢で含まれている前記車両の画像領域の左右両側の前記路面点位置を特定し、斜めになる姿勢で含まれている前記車両の画像領域についての特定した左右両側の前記路面点位置を基準として、左右両側の前記路面点位置の間にある中央の前記路面点位置を特定し、特定した３つの前記路面点位置から、空間に存在する対象物としての前記車両についての位置、方向、または距離を生成する、とよい。

本発明の一形態に係る対象物推定装置の対象物推定方法は、空間に存在する対象物を含む空間画像における、前記対象物の存在場所を示す前記画像領域情報を推定する対象物推定装置の対象物推定方法であって、前記空間に存在する前記対象物を含む前記空間画像を取得可能な取得工程と、前記取得工程により取得される前記対象物を含む前記空間画像の少なくとも一部に基づいて、前記空間画像における前記対象物の存在場所を示す前記画像領域情報を推定する推定工程と、を有し、前記推定工程は、前記取得工程により取得される前記空間画像に含まれる前記対象物が斜めになる姿勢で含まれている場合には、前記空間画像において斜めになる姿勢で含まれている前記対象物の画像領域より広い画像領域を、前記空間画像における前記対象物の存在場所を示す前記画像領域情報として推定することができる。

本発明の一形態に係る車両は、車両の周辺の空間を撮像する撮像デバイスと、前記撮像デバイスによる撮像画像を処理する処理部と、前記処理部の処理結果を用いて、車両の走行を制御する制御部と、を有し、前記処理部は、前記空間に存在する前記対象物を含む空間画像として前記撮像画像を取得可能な取得部と、前記取得部により取得される前記対象物を含む前記空間画像の少なくとも一部に基づいて、前記空間画像における前記対象物の画像領域情報を推定する推定部と、前記推定部により生成される前記画像領域情報を用いて、空間に存在する対象物についての位置、方向、または距離を生成する後処理部と、を有し、前記推定部は、前記取得部により取得される前記空間画像に含まれる前記対象物が斜めになる姿勢で含まれている場合には、前記空間画像において斜めになる姿勢で含まれている前記対象物の画像領域より広い画像領域を、前記空間画像における前記対象物の存在場所を示す前記画像領域情報として推定することができ、前記制御部は、前記処理部の処理結果としての、前記後処理部により推定された空間に存在する対象物についての位置、方向、または距離を用いて、前記空間画像において斜めになる姿勢で含まれている前記対象物と接触し難くした進路または進行可能範囲を決定して、前記車両の走行を制御する。

本発明において、取得される対象物を含む空間画像の少なくとも一部に基づいて、空間画像における対象物の存在場所を示す画像領域情報を推定する推定部は、取得される空間画像に含まれる対象物が斜めになる姿勢で含まれている場合には、空間画像において斜めになる姿勢で含まれている対象物の画像領域より広い画像領域を、空間画像における対象物の存在場所を示す画像領域情報として推定することができる。
その結果、本発明では、空間画像において斜めになる姿勢で含まれている対象物についての空間画像における対象物の存在場所を示す画像領域情報に基づいて、たとえば対象物の画像領域と接している推定枠による画像領域情報と比べて、より近づいた対象物の存在場所を得ることが可能になる。
これにより、本発明では、対象物の存在場所についての推定を改善できる可能性がある。

図１は、本発明の実施形態に係る自律的な運転支援または自動運転の機能を有する自動車の制御系の説明図である。 図２は、図１の対象物推定装置の説明図である。 図３は、図２（Ｂ）の深層学習ニューラルネットワークが学習する学習画像の一例の説明図である。 図４は、図２（Ｂ）の深層学習ニューラルネットワークに対して、図３の学習画像とともに学習させることができる推定枠の一例の説明図である。 図５は、対象物である他の自動車についての自車としての自動車からの相対的な位置、方向、間隔（距離）の説明図である。 図６は、図３（Ｂ）において斜めになる姿勢で撮像されている他の自動車に外接する平面枠、および外接立方体の説明図である。 図７は、本実施形態において、斜めになる姿勢で学習画像に撮像されている他の自動車の画像領域と対応付けて関連性が学習される推定枠の一例の説明図である。 図８は、図２の対象物推定装置による対象物の推定制御のフローチャートである。 図９は、２つの推定枠に基づく後処理制御のフローチャートである。

以下、本発明の実施形態を、図面に基づいて説明する。

図１は、本発明の実施形態に係る自律的な運転支援または自動運転の機能を有する自動車１の制御系の説明図である。
自動車１は、車両の一例である。
図１の自動車１は、自動車１の外側である周囲を撮像して撮像画像を生成する撮像デバイス２、対象物推定装置１０、三次元地図装置３、走行制御部４、アクチュエータ５、車両動きセンサ６、位置情報生成装置７、車両通信装置８、を有する。対象物推定装置１０、三次元地図装置３、および走行制御部４は、自動車１の走行を制御するための自動車１の制御装置として機能する。

アクチュエータ５は、たとえばエンジン、モータ、トランスミッション、制動装置、ステアリング装置といった自動車１の走行を実現するための不図示の装置の動作を制御するものである。アクチュエータ５は、たとえば装置ごとに、複数で設けられてよい。

車両動きセンサ６は、自動車１の走行などによる動きを検出する。車両動きセンサ６は、たとえば加速度センサ、速度センサ、などでよい。加速度センサは、たとえば自動車１の前後左右上下の３軸方向の加速度を検出してよい。速度センサは、たとえば自動車１の前後左右上下の３軸方向の速度を検出してよい。車両動きセンサ６は、自動車１の走行による動きを検出して、その検出情報を走行制御部４へ出力する。

走行制御部４は、自動車１の走行を制御するものであり、アクチュエータ５へ制御信号を出力する。走行制御部４は、たとえば、乗員の運転操作に基づいて自動車１の走行を制御しても、自動運転により自動車１の走行を制御しても、よい。また、走行制御部４は、自車で検出または生成される各種の情報を用いて、手動運転または自動運転による車両の走行を調整するように運転を支援してよい。このような走行が可能な自動車１は、自律的な運転支援または自動運転により走行することができる。

位置情報生成装置７は、たとえばＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）衛星からの電波を受信して、位置情報生成装置７が設けられている自動車１の現在位置、現在時刻を生成する。位置情報生成装置７は、生成した自動車１の現在位置、現在時刻を走行制御部４へ出力する。

三次元地図装置３は、たとえば自動車１の現在位置の周辺の地図情報を、走行制御部４へ出力する。

撮像デバイス２は、自動車１の周辺空間を撮像するために自動車１に設けられる、たとえば単眼カメラデバイスでよい。単眼カメラデバイスは、たとえば自動車１の前へ向けて、フロントガラスの上部に設けられてよい。この場合、単眼カメラデバイスは、自動車１の進行方向である前方向について撮像して、その二次元的な平面の撮像画像を生成し、撮像画像を所定の信号フォーマットで出力する。検出された撮像画像を含む画像信号は、撮像デバイス２から出力された後、制御装置へ伝送されて、制御装置に入力される。撮像画像についての画像信号は、制御装置において分岐されて、対象物推定装置１０と走行制御部４とに入力されてよい。撮像デバイス２は、自動車１において複数で設けられてよい。複数の撮像デバイス２は、たとえば互いの画角が重ならないように４方向に向けて設けられて、自動車１の周囲である３６０度のすべての方向を撮像してよい。この場合、制御装置、対象物推定装置１０、および走行制御部４には、複数の撮像デバイス２からの複数の撮像画像の画像信号が入力されてよい。なお、撮像デバイス２には、たとえばステレオカメラデバイスといった複眼カメラデバイスが含まれてよい。複眼カメラデバイスは、複数のカメラで撮像した複数の撮像画像の１つを、またはすべてを合成した画像を、制御装置、対象物推定装置１０、および走行制御部４へ出力してよい。

車両通信装置８は、自動車１の外と通信する。車両通信装置８は、たとえば移動体通信網の基地局、交通情報配信網の基地局、他の自動車１００といった移動体、歩行者などが所持する携帯端末、通信衛星、などと通信路を生成してよい。車両通信装置８は、生成している通信路を通じて、不図示のサーバ装置との間でデータを送受してよい。車両通信装置８は、たとえばサーバ装置から受信した受信データを制御装置へ出力する。車両通信装置８は、制御装置からの送信データをたとえばサーバ装置へ送信する。受信データは、たとえば自動運転のための経路、進路、移動可能範囲、周辺に存在する他の自動車１００の現在または将来の位置、移動速度、移動方向、周辺空間の撮像画像、についてのものでよい。送信データは、たとえば自車である自動車１の現在または将来の位置、移動速度、移動方向、進路、移動想定範囲、経路、についてのものでよい。

対象物推定装置１０は、撮像デバイス２による周辺空間の撮像画像を処理する処理部である。対象物推定装置１０は、撮像画像の処理結果を、走行制御部４へ出力する。対象物推定装置１０は、たとえば、撮像画像に含まれる他の移動体の相対的な位置、方向、間隔（距離）を、周辺車情報として走行制御部４へ出力してよい。

走行制御部４は、これらの装置から得られる情報を用いて、自動車１の自律的な走行を制御してよい。たとえば、走行制御部４は、対象物推定装置１０による撮像画像の処理結果を用いて、自動車１の走行を制御してよい。

なお、特段の図示はしないが、図１の各部は、自動車１に設けられる制御系の車ネットワークにより、相互に接続されよい。車ネットワークには、たとえば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＦｌｅｘＲａｙ、ＣＸＰＩ（Ｃｌｏｃｋ Ｅｘｔｅｎｓｉｏｎ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）といったものがある。車ネットワークは、たとえば、複数の装置に接続される複数のバスケーブルと、複数のバスケーブルがバス接続される中継装置としてのセントラルゲートウェイ（ＣＧＷ）と、で構成されてよい。複数の制御ＥＣＵは、車ネットワークを通じて相互にメッセージを送受することにより、情報を送受できる。これにより、自動車１の制御系に設けられる各部は、協働して自動車１を制御する。

図２は、図１の対象物推定装置１０の説明図である。

図２（Ａ）は、図１の対象物推定装置１０のハードウェア構成の説明図である。
図２（Ａ）の対象物推定装置１０は、入出力ポート１１、メモリ１２、ＣＰＵ１３、タイマ１４、および、これらが接続される内部バス１５、を有する。

入出力ポート１１は、対象物推定装置１０の物理的な出力部２３である。入出力ポート１１には、撮像デバイス２、走行制御部４、が接続される。
入出力ポート１１は、特に、撮像デバイス２と接続されて、撮像デバイス２の撮像画像を所定の信号フォーマットで入力される画像信号に専用の入力端子を備えてよい。画像信号に専用の入力端子は、たとえばビデオ端子でよい。

タイマ１４は、時刻、時間を計測する。

メモリ１２は、ＣＰＵ１３により実行されるプログラムおよびデータを記憶する。データには、たとえば、設定データ、実行中データ、がある。メモリ１２は、たとえばＲＯＭ、ＲＡＭ、記録ディスク、半導体メモリ、で構成されてよい。メモリ１２は、揮発性であっても不揮発性であってもよいが、ＣＰＵ１３により実行されるプログラムおよび設定データについては少なくとも不揮発性のメモリ１２に記録するとよい。

ＣＰＵ１３は、たとえば情報処理装置にて用いられる汎用的なＣＰＵ１３であっても、自動車１で用いられるＥＣＵであっても、画像処理などの特殊な処理において高い機能を有するＧＰＵ、ＡＳＩＣ、であってもよい。ＣＰＵ１３は、メモリ１２に記録されているプログラムを読み込んで実行する。これにより、ＣＰＵ１３は、撮像デバイス２による周辺空間の撮像画像を取得して処理する取得部および処理部として機能し得る。
ＣＰＵ１３は、たとえば、内部バス１５を通じて入出力ポート１１から撮像デバイス２から画像信号に重畳されていた周辺空間の撮像画像を取得し、撮像画像に含まれる対象物についての推定処理などを実行する。ＣＰＵ１３は、撮像画像についての対象物の処理結果の情報を、内部バス１５を通じて入出力ポート１１へ出力する。入出力ポート１１へ出力された撮像画像についての対象物の処理結果の情報は、走行制御部４へ出力される。

図２（Ｂ）は、図２（Ａ）の対象物推定装置１０において実現される深層学習ニューラルネットワーク（ＤＮＮ）の説明図である。
ＣＰＵ１３は、メモリ１２に記録されているプログラムを読み込んで実行することにより、図２（Ｂ）の深層学習ニューラルネットワークを対象物推定装置１０に実現する。
図２（Ｂ）の対象物推定装置１０に実現される深層学習ニューラルネットワークは、入力部２１、ＤＮＮ部２２、出力部２３、を有する。

ＤＮＮ部２２は、学習画像とその推定結果である推定枠との関連性を機械学習した学習済みモデルにより推定処理を実行するものである。ＤＮＮ部２２は、たとえばニューラルネットワークを模した多段の信号処理構造を有する。
学習画像は、撮像デバイス２による周辺空間の撮像画像であっても、仮想空間についての画像であっても、これらを混合した画像であってもよい。
推定枠は、学習画像に含まれるたとえば後述する図５に示す他の自動車１００といった対象物についての、画像中の存在場所を示す情報である。

そして、ＤＮＮ部２２は、学習画像と、その画像に含まれている他の自動車１００についての画像中の存在場所を示す推定枠との入力に基づいて、これらの関連性を学習する。
これにより、ＤＮＮ部２２は、画像から推定枠を得るための関連性についてのパラメータなどを生成する。メモリ１２には、ＤＮＮ部２２のためのニューラルネットワークのプログラムとともに、この関連性のパラメータなどが記録されてよい。
このような学習を終えたＤＮＮ部２２は、撮像デバイス２の周辺空間の撮像画像が入力部２１から入力されると、入力された撮像画像についてのニューラルネットワークによる推定処理を実行して、画像中の他の自動車１００の存在場所を示す推定枠を、出力部２３から出力する。
なお、ＣＰＵ１３は、撮像画像に他の自動車１００の画像成分が含まれているか否かを判断し、他の自動車１００の画像成分が含まれている場合には、少なくとも他の自動車１００の画像成分が含まれている一部についてＤＮＮ部２２としての推定処理を実行してもよい。この場合、ＤＮＮ部２２としてのＣＰＵ１３は、他の自動車１００を一部に含む画像の全体についてではなく、他の自動車１００の画像領域より少し大きいサイズの部分画像について学習して、学習する画像と、その画像中の他の自動車１００の存在場所を示す推定枠との関連性を学習することになる。
このように、対象物推定装置１０のＣＰＵ１３は、実空間に存在する他の自動車１００といった対象物を含む空間画像と、空間画像における対象物の存在場所を示す推定枠との関連性を機械学習して、学習した関連性に基づいて撮像デバイス２による周辺空間の撮像画像に含まれる他の自動車１００の存在場所を示す推定枠を推定することができる。

図３は、図２（Ｂ）の深層学習ニューラルネットワークが学習する学習画像の一例の説明図である。学習画像は、空間画像の一例である。撮像画像も、空間画像の一例である。

図３（Ａ）は、自車である自動車１の前を走行する他の自動車１００を後方から撮像した学習画像３１である。
この場合、他の自動車１００は、学習画像３１において、その後面が学習画像３１の視点位置へ向かう姿勢で含まれている。この場合、学習画像３１に含まれる物体としての他の自動車１００についての後面は、学習画像３１の視点位置に対して向いた正対面となる。学習画像３１には、他の自動車１００についての後面の画像領域３２が含まれる。

図３（Ｂ）は、先行する他の自動車１００を斜め後方から撮像した学習画像３４である。他の自動車１００は、たとえば自車である自動車１が走行している車線に隣接する車線を走行している。
この場合、他の自動車１００は、学習画像３４おいて、学習画像３４の視点位置に対して斜めになる姿勢で含まれている。学習画像３４には、他の自動車１００の左側面と後面とが含まれている。学習画像３４に含まれる物体としての他の自動車１００の後面は、学習画像３４の視点位置に対して向いた正対面となり、左側面が正対面と隣接する隣接面となる。学習画像３４には、他の自動車１００についての後面および左側面の画像領域３５が含まれる。

図４は、図２（Ｂ）の深層学習ニューラルネットワークに対して図３の学習画像３１，３４とともに学習させることが可能な、他の自動車１００の画像領域３２，３５に対して設定される一般的な推定枠３３，３６の一例の説明図である。
ここでの推定枠３３，３６は、学習画像３１，３４における他の自動車１００の画像領域３２，３５を示すものであり、処理の対象物である他の自動車１００の画像領域３２，３５の周囲を囲う四角形の推定パターンとされている。推定枠３３，３６は、他の自動車１００の画像中の存在場所を示す画像領域情報として用いることが可能である。

図４（Ａ）の左側には、学習画像３１に含まれる他の自動車１００の背面の画像領域３２が示されている。この場合、他の自動車１００の画像領域３２に対して設定される一般的な推定枠３３は、図４（Ａ）の右側に示すように、他の自動車１００の画像領域３２の輪郭に対して４辺のすべてが接する四角形の推定枠となる。四角形の推定枠３３は、他の自動車１００の画像領域３２に対して４辺のすべてが外接している。

図４（Ｂ）の左側には、学習画像３４に含まれる他の自動車１００の背面と左側面との画像領域３５が示されている。他の自動車１００は、学習画像３４の視点位置に対して斜めとなる姿勢で、学習画像３４に含まれている。この場合、他の自動車１００の画像領域３５に対して設定される一般的な推定枠３６は、図４（Ｂ）の右側に示すように、他の自動車１００の画像領域３５の輪郭に対して４辺のすべてが接する四角形の推定枠となる。四角形の推定枠３６は、他の自動車１００の画像領域３５に対して４辺のすべてが外接している。

このような推定枠３３，３６を学習画像３１，３４とともに学習した場合、深層学習ニューラルネットワークは、周辺空間の撮像画像に含まれる他の自動車１００についての存在場所の推定処理により、図４と同様に周辺空間の撮像画像に含まれる他の自動車１００の画像範囲の輪郭に対して４辺のすべてが接する推定枠を推定するようになると考えられる。

図５は、対象物である他の自動車１００についての、自車としての自動車１からの相対的な位置、方向、間隔の説明図である。
図５は、撮像デバイス２が設けられる自車である自動車１と、他の自動車１００とを、真上方向から平面視した状態での模式図である。
図５には、撮像デバイス２を中心として、撮像デバイス２が設けられる自車である自動車１の走行方向の前側の周辺空間が示されている。
ここで、他の自動車１００は、自車である自動車１についての右前方向に存在する。この場合、他の自動車１００は、学習画像、または撮像デバイス２による周辺空間の撮像画像において、斜めとなる姿勢で映ることになる。画像中の他の自動車１００の前面が画像の視点位置へ向かう正対面となり、左側面が、正対面と隣接する隣接面となる。

そして、図５（Ａ）は、図４（Ｂ）の推定枠３６を学習している場合での、図２の対象物推定装置１０により撮像画像について推定される他の自動車１００の相対的な位置、方向、間隔についての説明図である。
これに対し、図５（Ｂ）は、本実施形態の後述する推定枠５１，５２を学習した場合での、図２の対象物推定装置１０により撮像画像について推定される他の自動車１００の相対的な位置、方向、間隔についての説明図である。

そして、図４（Ｂ）の推定枠３６を学習している場合、撮像画像についての推定枠は、図５（Ａ）に示す推定枠３６のように推定される。
図４では、図３の学習画像３１，３４とともに、他の自動車１００の画像領域３２，３５の輪郭に対して４辺のすべてが外接する四角形の推定枠３３，３６が教師データとして用いられる。この関連性を機械的に学習している場合、深層学習ニューラルネットワークは、学習画像３１，３４について、学習画像３１，３４に含まれる他の自動車１００の画像領域３２，３５の輪郭に対して４辺のすべてが外接する四角形の推定枠３３，３６を学習することになる。
図２の対象物推定装置１０のＣＰＵ１３は、撮像デバイス２の撮像画像における他の自動車１００の存在場所を示す推定枠として、図４の推定枠３３，３６と同様に、撮像デバイス２の撮像画像に含まれる他の自動車１００の画像領域の輪郭に対して４辺のすべてが外接する四角形の推定枠を出力するようになる。
そして、この場合の推定枠は、図５（Ａ）に示すように、実際に他の自動車１００が存在している範囲の内側に収まる。推定枠３６が対角を結ぶことになる平面枠１０１は、他の自動車１００の右側面、前面、左側面、後面による外形より小さくなる。実空間に存在する他の自動車１００は、平面枠１０１の前後左右へ飛び出すようになる。たとえば他の自動車１００の前部は、平面枠１０１より前へ飛び出してる。他の自動車１００は、平面枠１０１の位置より自車である自動車１へ向かうように手前へ飛び出している。
このような関係となる理由の一つとしては、たとえば自動車１がその前後左右の４つの角が削られて丸くなっており、自動車１の実際の外形が平面枠１０１より小さくなっていることにあると考えられる。自動車１の外形が立方体形状ではないことに起因して、自動車１に対応四する推定枠３６および平面枠１０１が、自動車１の外形より小さくなる。

このように推定枠３６の範囲が、被写体である他の自動車１００の実際の外形より小さくなると、それに基づいて得られる他の自動車１００の相対的な位置、方向、間隔は、図中に実線矢印で示すように、自車である自動車１から他の自動車１００までの実際の位置、方向、間隔とは異なるものとなる。図５（Ａ）中の実線の矢印の先端は、推定枠３６の中央部分へ向けて描画されている。
特に、図５（Ａ）のように推定枠３６の範囲が他の自動車１００の実際の外形より小さくなると、他の自動車１００について推定される間隔は、実際の間隔より広くなり易い。その結果、他の自動車１００は、実際より遠くに存在すると推定されてしまう。そのような推定に基づく自動車１の走行制御が正常に実行されたとしても、自車である自動車１と他の自動車１００とが必要以上に接近してしまう可能性がある。自動車１は、推定されている他の自動車１００の存在場所の近くを通過しようと正常な制御を実行しているにもかかわらず、その正常な制御の下で他の自動車１００と触れてしまう可能性が生じ得る。
なお、仮に図５（Ａ）の推定枠３６から平面枠１０１を得て、その平面枠１０１の近接角Ｐ３’を得るようにしても、平面枠１０１そのものが他の自動車１００の実際の外形より小さくなっているため、推定される間隔は、同様に、実際より広くなってしまう。したがって、それに基づく自動車１の走行制御が正常に実行されたとしても、自車である自動車１と他の自動車１００とが必要以上に接近してしまう可能性が生じ得ることには変わりがない。

このように、図４のように他の自動車１００の画像領域３２，３５の輪郭に対して４辺のすべてが外接している四角形の推定枠３３，３６を学習し、それに基づいて推定枠の推定を実行してしまうと、図２の対象物推定装置１０のＣＰＵ１３は、他の自動車１００についての相対的な位置、方向、間隔として、実際との誤差が大きいものを推定してしまうことになる。
このように他の自動車１００などの、自車である自動車１の周辺にいる対象物の存在場所についての推定は、改善することが求められる。

図６は、図３（Ｂ）において斜めになる姿勢で撮像されている他の自動車１００に外接する平面枠４１、および外接立方体４２の説明図である。

図６（Ａ）は、他の自動車１００を上から見た平面図である。図６（Ａ）の他の自動車１００は、その前後左右の４つの角が削られて丸くなっている外形を有する。
本実施形態では、図６（Ａ）の他の自動車１００に対して、その全体を含むように囲う四角形の平面枠４１を想定する。本実施形態の平面枠４１において、他の自動車１００の前後左右それぞれの側面に沿って延在する４辺は、各々に対応する他の自動車１００の側面と外接している。

図６（Ｂ）は、図６（Ａ）の他の自動車１００を、左斜め後方から見た斜視図である。
図６（Ｂ）には、他の自動車１００の全体を含む外接立方体４２が示されている。外接立方体４２の６つの各面は、他の自動車１００の上下左右前後の各面と接する。外接立方体４２の上面は、四角形の平面枠４１と同じになってよい。
図６（Ｂ）の外接立方体４２の底面は、基本的に他の自動車１００が走行している路面であると想定できる。この想定を前提にすれば、外接立方体４２の底面の角である図中のＰ１、Ｐ２、およびＰ３は、四角形の平面枠４１の角を路面へ写した複数の路面点位置となる。
そして、本実施形態では、これらの他の自動車１００を含むように外接している平面枠４１または外接立方体４２を基準として、画像に含まれる他の自動車１００についての存在場所を示す推定枠を機械学習に使用し、推定する。
また、学習する推定枠には、路面に対して接しているもの、または路面に対して立設しているものを使用する。
これにより、学習済みの深層学習ニューラルネットワークは、他の自動車１００を含むように外接している平面枠４１または外接立方体４２を基準とした推定枠を、画像に含まれる他の自動車１００についての存在場所を示す画像領域情報として推定できるようになることが期待できる。
また、学習済みの深層学習ニューラルネットワークは、路面に対して接している推定枠、または路面に対して立設している推定枠を、推定できるようになることが期待できる。

図７は、本実施形態において、斜めになる姿勢で学習画像３４に撮像されている他の自動車１００の画像領域３５と対応付けて関連性が学習される推定枠５１～５４の一例の説明図である。
この学習画像３４についての推定枠５１～５４は、学習済みの深層学習ニューラルネットワークにより、撮像デバイス２の撮像画像について推定されることが望まれているものである。

図７（Ａ）は、斜めになる姿勢で撮像されている他の自動車１００の正対面および隣接面の全体を囲う全体推定枠５１の一例の説明図である。
図７（Ａ）の全体推定枠５１は、他の自動車１００の正対面および隣接面による画像領域３５の全体を囲うように設定される。
全体推定枠５１の左辺は、学習画像３４（撮像画像でもある。以下の説明において同じ。）において基本的に画面の上下方向に沿って延在するものである。全体推定枠５１の左辺は、学習画像３４の視点位置から見て、学習画像３４における外接立方体４２の左前側の縦縁と、重なる。全体推定枠５１の左辺は、他の自動車１００の画像領域３５から離れている。全体推定枠５１の左辺は、学習画像３４において、外接立方体４２の左前側の縦縁による底面の角である路面点位置Ｐ１と重なる。
全体推定枠５１の右辺は、学習画像３４において基本的に画面の上下方向に沿って延在するものである。全体推定枠５１の右辺は、学習画像３４の視点位置から見て、学習画像３４における外接立方体４２の右後側の縦縁と、学習画像３４において重なる。全体推定枠５１の右辺は、他の自動車１００の画像領域３５から離れている。全体推定枠５１の右辺の下端は、学習画像３４において、外接立方体４２の右後側の縦縁による底面の角である路面点位置Ｐ２と重なる。
全体推定枠５１の上辺と下辺とは、学習画像３４において基本的に画面の左右方向に沿って延在するものである。上辺と下辺とは、左辺と左辺とを連結する。
これにより、四角形の全体推定枠５１は、他の自動車１００の正対面および隣接面による画像領域３５の全体を含んで囲うように、学習画像３４に対して設定される。
全体推定枠５１は、学習画像３４に含まれる他の自動車１００を平面視した状態で、他の自動車１００の前後左右それぞれの側面に沿って囲う四角形の平面枠４１を基準として、平面枠４１の対角を結ぶ姿勢で立設している。
また、全体推定枠５１についての図中の右下角は、路面点位置Ｐ２と重なっており、学習画像３４に含まれている他の自動車１００の周囲の地面と接している。

図７（Ｂ）は、斜めになる姿勢で撮像されている他の自動車１００の隣接面を囲う隣接推定枠５２の一例の説明図である。
図７（Ｂ）の隣接推定枠５２は、他の自動車１００の隣接面による画像領域に対して重ねて設定される。
隣接推定枠５２の左辺は、学習画像３４において画面の上下方向に沿って延在するものである。隣接推定枠５２の左辺は、学習画像３４の視点位置から見て、学習画像３４における外接立方体４２の左前側の縦縁と、重なる。隣接推定枠５２の左辺は、他の自動車１００の画像領域３５から離れている。隣接推定枠５２の左辺の下端は、学習画像３４において、外接立方体４２の左前側の縦縁による底面の角である路面点位置Ｐ１と重なる。
隣接推定枠５２の右辺は、学習画像３４において画面の上下方向に沿って延在するものである。隣接推定枠５２の右辺は、学習画像３４の視点位置から見て、学習画像３４における外接立方体４２の左後側の縦縁と、重なる。学習画像３４において隣接推定枠５２の右辺の下方には、外接立方体４２の左後側の縦縁による底面の角である路面点位置Ｐ３が位置する。
隣接推定枠５２の上辺と下辺とは、学習画像３４において基本的に画面の左右方向に沿って延在するものである。上辺と下辺とは、左辺と左辺とを連結する。
これにより、四角形の隣接推定枠５２は、他の自動車１００の隣接面による画像領域に対して重なるように、学習画像３４に対して設定される。
隣接推定枠５２は、学習画像３４に含まれる他の自動車１００を平面視した状態で、他の自動車１００の前後左右それぞれの側面に沿って囲う四角形の平面枠４１を基準として、平面枠４１の図中の左縁に沿うように立設している。
また、隣接推定枠５２についての図中の左下角は、路面点位置Ｐ１と重なっており、学習画像３４に含まれている他の自動車１００の周囲の地面と接している。

図７（Ｃ）は、斜めになる姿勢で撮像されている他の自動車１００の隣接面を囲う他の隣接推定枠５３の一例の説明図である。
図７（Ｃ）の他の隣接推定枠５３は、他の自動車１００の隣接面による画像領域に対して重ねて設定される。
他の隣接推定枠５３の左辺は、学習画像３４において画面の上下方向に沿って延在するものである。他の隣接推定枠５３の左辺は、学習画像３４の視点位置から見て、学習画像３４における外接立方体４２の左前側の縦縁と、重なる。他の隣接推定枠５３の左辺は、他の自動車１００の画像領域３５から離れている。他の隣接推定枠５３の左辺は、学習画像３４において、外接立方体４２の左前側の縦縁による底面の角である路面点位置Ｐ１と重なる。
他の隣接推定枠５３の右辺は、学習画像３４において画面の上下方向に沿って延在するものである。他の隣接推定枠５３の右辺は、学習画像３４の視点位置から見て、学習画像３４における外接立方体４２の左後側の縦縁と、重なる。他の隣接推定枠５３の右辺の下端は、学習画像３４において、外接立方体４２の左後側の縦縁による底面の角である路面点位置Ｐ３と重なる。
他の隣接推定枠５３の上辺と下辺とは、学習画像３４において基本的に画面の左右方向に沿って延在するものである。上辺と下辺とは、左辺と左辺とを連結する。
これにより、四角形の他の隣接推定枠５３は、他の自動車１００の隣接面による画像領域に対して重なるように、学習画像３４に対して設定される。
他の隣接推定枠５３は、学習画像３４に含まれる他の自動車１００を平面視した状態で、他の自動車１００の前後左右それぞれの側面に沿って囲う四角形の平面枠４１を基準として、平面枠４１の図中の左縁に沿うように立設している。
また、他の隣接推定枠５３についての図中の右下角は、路面点位置Ｐ３と重なっており、学習画像３４に含まれている他の自動車１００の周囲の地面と接している。

図７（Ｄ）は、斜めになる姿勢で撮像されている他の自動車１００の正対面を囲う正対推定枠５４の一例の説明図である。
図７（Ｄ）の正対推定枠５４は、他の自動車１００の正対面による画像領域に対して重ねて設定される。
正対推定枠５４の左辺は、学習画像３４において画面の上下方向に沿って延在するものである。正対推定枠５４の左辺は、学習画像３４の視点位置から見て、学習画像３４における外接立方体４２の左後側の縦縁と、重なる。正対推定枠５４の左辺の下端は、学習画像３４において、外接立方体４２の左後側の縦縁による底面の角である路面点位置Ｐ３と重なる。
正対推定枠５４の右辺は、学習画像３４において画面の上下方向に沿って延在するものである。正対推定枠５４の右辺は、学習画像３４の視点位置から見て、学習画像３４における外接立方体４２の右後側の縦縁と、重なる。正対推定枠５４の右辺は、他の自動車１００の画像領域３５から離れている。学習画像３４において正対推定枠５４の右辺には、外接立方体４２の右後側の縦縁による底面の角である路面点位置Ｐ２と重なる。
正対推定枠５４の上辺と下辺とは、学習画像３４において基本的に画面の左右方向に沿って延在するものである。上辺と下辺とは、左辺と左辺とを連結する。
これにより、四角形の正対推定枠５４は、他の自動車１００の正対面による画像領域に対して重なるように、学習画像３４に対して設定される。
正対推定枠５４は、学習画像３４に含まれる他の自動車１００を平面視した状態で、他の自動車１００の前後左右それぞれの側面に沿って囲う四角形の平面枠４１を基準として、平面枠４１の図中下側の正対縁に沿うように立設している。
また、正対推定枠５４についての図中の左下角は、路面点位置Ｐ３と重なっており、学習画像３４に含まれている他の自動車１００の周囲の地面と接している。

これらの学習画像３４と対応付けて学習される推定枠５１～５４は、学習画像３４に含まれる他の自動車１００の画像領域３５より幅広となる。
幅広の推定枠５１～５４は、少なくとも、学習画像３４に含まれる対象物としての他の自動車１００が、学習画像３４の視点位置に対して斜めになる姿勢で、学習画像３４に含まれている場合において、学習画像３４と対応付けて学習されるとよい。幅広の推定枠５１～５４は、学習画像３１に含まれる他の自動車１００が、学習画像３１の視点位置へ向かう姿勢で、学習画像３１に含まれている場合においても、その学習画像３１と対応付けて学習されてもよい。

このような学習をした学習済みの深層学習ニューラルネットワークは、撮像デバイス２による撮像画像における対象物である他の自動車１００の存在場所を示す画像領域情報として、撮像画像において他の自動車１００の画像領域と重なる幅広の推定枠５１～５４を推定するようになる。図３の学習画像３４とともにたとえば図７（Ａ）の全体推定枠５１と図７（Ｂ）の隣接推定枠５２とを教師データとして用いて、それらの関連性を機械的に学習している場合、その学習済みモデルによる推定を実行する図２の対象物推定装置１０のＣＰＵ１３は、撮像デバイス２の撮像画像について、撮像デバイス２の撮像画像に斜めになる姿勢で含まれる他の自動車１００の画像領域の輪郭に対して４辺の少なくとも一部が離れている全体推定枠５１と隣接推定枠５２とを推定することになる。図２の対象物推定装置１０のＣＰＵ１３は、撮像画像に斜めになる姿勢で含まれている自動車１についての、撮像画像における対象物の存在場所を示す対象物推定情報として、撮像デバイス２の撮像画像に含まれる他の自動車１００の画像領域の輪郭に対して４辺の少なくとも一部が離れている全体推定枠５１と隣接推定枠５２とを推定することができる。
撮像画像について推定された幅広の推定枠は、図７の場合と同様に、撮像画像において斜めになる姿勢で含まれている他の自動車１００の画像領域から、四角形の４辺の中の少なくとも一部が離れている。撮像画像に含まれる他の自動車１００が撮像画像の視点位置に対して斜めになる姿勢で含まれている場合での幅広の推定枠は、たとえば撮像画像の視点位置と対向するように向いた姿勢で含まれている場合での図４（Ａ）のような一般的な推定枠３３と比べて、４辺の中の少なくとも一部が他の自動車１００の画像領域から離れるようになっている。
しかも、推定された幅広の推定枠は、撮像画像に含まれる地面と接している、または撮像画像に含まれる地面に立設している、と推定できる。

なお、本実施形態において学習可能な推定枠または推定可能な推定枠は、図７に例示する推定枠５１～５４に限られない。学習可能な推定枠または推定可能な推定枠は、少なくとも、対象物である他の自動車１００の前後左右それぞれの側面に沿って囲う四角形の平面枠４１を基準として立設しているものであればよい。
また、本実施形態において学習可能な推定枠または推定可能な推定枠は、好ましくは、図７のものと同様に、撮像画像に含まれる地面と接している、または撮像画像に含まれる地面に立設している、ものにするとよい。この際、学習可能な推定枠または推定可能な推定枠は、図７とは異なる路面点位置において地面と接したり、地面に立設したり、してよい。

本実施形態では、たとえば図７に示す４つの推定枠５１～５４の中の、少なくとも２つの推定枠について、撮像画像とともに機械学習する。学習に係る複数の推定枠は、画像における位置および広さが互いに異なる。以下の説明では、図７（Ａ）の全体推定枠５１と、図７（Ｂ）の隣接推定枠５２とを機械学習した学習済みの深層学習ニューラルネットワークを例として説明する。

なお、深層学習ニューラルネットワークの学習に用いられる推定枠は、図６や図７に示す平面枠４１より大きいサイズの平面枠を基準とするものでもよい。基準となる平面枠が大きくなると、推定枠も大きく幅広になる。推定枠は、被写体である他の自動車１００の実際の位置から外側へ向けて離れるように設定されることになる。大きい推定枠に基づいて生成される自車である自動車１から他の自動車１００までの間隔は、小さい推定枠での間隔より小さくなる。その結果、推定枠に基づいて自動車１の走行を制御する際には、他の自動車１００からより離れるように走行が制御され得る。自車である自動車１は、他の自動車１００へ近接するような走行制御を実行し難くなる。推定枠を大きくすることで、走行制御においてより大きい安全マージンを確保できるようなる。ただし、平面枠４１を大きくしすぎると、他の自動車１００が実際のものより大きく推定されてしまうことになり、他の自動車１００へ近接し過ぎないように走行を制御することが難しくなってゆく。走行制御そのものが実行できなくなる可能性が高まる。平面枠４１の大きさは、自動車１の走行制御の継続性を勘案して、走行制御の安全性などについしての要求仕様に応じて決定してよい。

図８は、図２の対象物推定装置１０による対象物の推定制御のフローチャートである。
図２の対象物推定装置１０のＣＰＵ１３は、上述した学習画像と全体推定枠５１および隣接推定枠５２との関連性を学習している。
図２の対象物推定装置１０のＣＰＵ１３は、学習済みの深層学習ニューラルネットワークを用いて、たとえば自動車１の走行のために図８の対象物の推定制御を繰り返し実行する。
上述した学習画像と全体推定枠５１および隣接推定枠５２との関連性を学習した学習済みモデルのデータは、深層学習ニューラルネットワークのデータの一部として、メモリ１２に記録されてよい。
以下の説明では、図８の推定制御における撮像画像についての対象物として、撮像デバイス２が設けられる自車である自動車１の周辺にいる他の自動車（周辺車両）１００を例に説明する。

ステップＳＴ１において、対象物推定装置１０のＣＰＵ１３は、撮像デバイス２による新たな周辺空間の撮像画像を取得するか否かを判断する。撮像デバイス２から新たな周辺空間の撮像画像を取得している場合、または撮像デバイス２から新たな周辺空間の撮像画像を取得するタイミングである場合、ＣＰＵ１３は、撮像デバイス２による新たな周辺空間の撮像画像を取得すると判断し、処理をステップＳＴ２へ進める。撮像デバイス２による新たな周辺空間の撮像画像を取得しない場合、ＣＰＵ１３は、本処理を繰り返す。

ステップＳＴ２において、ＣＰＵ１３は、撮像デバイス２による新たな周辺空間の撮像画像を取得する。ＣＰＵ１３は、取得部として、実空間に存在する実体物である周辺にいる他の自動車１００を含む周辺空間の撮像画像を取得することが可能である。

ステップＳＴ３から、ＣＰＵ１３は、新たに取得した撮像画像を解析し、撮像画像に含まれている対象物としての周辺にいる他の自動車１００を解析する。

ステップＳＴ４において、ＣＰＵ１３は、新たに取得した撮像画像に、周辺にいる他の自動車１００が含まれているか否かを判断する。撮像画像に周辺にいる他の自動車１００が含まれていない場合、ＣＰＵ１３は、ステップＳＴ５からステップＳＴ８の処理を飛ばし、処理をステップＳＴ９へ進める。撮像画像に周辺にいる他の自動車１００が含まれている場合、ＣＰＵ１３は、処理をステップＳＴ５へ進める。

ステップＳＴ５において、ＣＰＵ１３は、学習済みの深層学習ニューラルネットワークを用いて、新たに取得した周辺空間の撮像画像に含まれている周辺にいる他の自動車１００について、四角形の全体推定枠５１を推定する。全体推定枠５１は、画像中の周辺にいる他の自動車１００の全体の存在場所を示す画像領域情報である。
たとえば周辺空間の撮像画像に含まれる周辺にいる他の自動車１００が、撮像画像の視点位置へ向かう正対した姿勢で、撮像画像に含まれている場合、ＣＰＵ１３は、撮像画像において正対した姿勢にある周辺にいる他の自動車１００の画像領域の輪郭と接する四角形の全体推定枠５１を推定する。四角形の全体推定枠５１の４辺のすべての辺は、撮像画像における周辺にいる他の自動車１００の画像領域の輪郭と接している。
この他にもたとえば、周辺空間の撮像画像に含まれる周辺にいる他の自動車１００が、撮像画像の視点位置に対して斜めになる姿勢で、撮像画像に含まれている場合、ＣＰＵ１３は、撮像画像において斜めになる姿勢にある周辺にいる他の自動車１００の画像領域より幅広の全体推定枠５１を推定する。四角形の全体推定枠５１の４辺の中の少なくとも左右両側の辺は、撮像画像における周辺にいる他の自動車１００の画像領域の輪郭から左右方向へ離れる。
このようにＣＰＵ１３は、撮像画像に含まれる周辺にいる他の自動車１００が、撮像画像の視点位置に対して斜めになる姿勢で、撮像画像に含まれている場合には、撮像画像に含まれる周辺にいる他の自動車１００が、撮像画像の視点位置と対向するように向いた姿勢で、撮像画像に含まれている場合と比べて、周辺にいる他の自動車１００の画像領域から、四角形の推定枠の４辺の中の少なくとも一部が離れている推定枠を推定する。

ステップＳＴ６において、ＣＰＵ１３は、学習済みの深層学習ニューラルネットワークを用いて、新たに取得した周辺空間の撮像画像に含まれている周辺にいる他の自動車１００について、四角形の隣接推定枠５２を推定する。隣接推定枠５２は、画像中の周辺にいる他の自動車１００の隣接面の存在場所を示す画像領域情報である。
たとえば、周辺空間の撮像画像に含まれる周辺にいる他の自動車１００が、撮像画像の視点位置に対して斜めになる姿勢で、撮像画像に含まれている場合、ＣＰＵ１３は、撮像画像において斜めになる姿勢にある周辺にいる他の自動車１００の隣接面の画像領域から離れるように幅広の隣接推定枠５２を推定する。四角形の隣接推定枠５２の４辺の中の少なくとも左側の辺または右側の辺は、撮像画像における周辺にいる他の自動車１００の隣接面の画像領域の輪郭から左右方向へ離れる。
また、周辺空間の撮像画像に含まれる周辺にいる他の自動車１００が、撮像画像の視点位置へ向かう正対した姿勢で、撮像画像に含まれている場合、ＣＰＵ１３は、四角形の隣接推定枠５２の替わりに、四角形の正対推定枠５４を推定してよい。ＣＰＵ１３は、四角形の隣接推定枠５２、および四角形の正対推定枠５４の双方を推定しないようにしてもよい。

ステップＳＴ７から、ＣＰＵ１３は、深層学習ニューラルネットワークによる推定枠の推定処理の後処理を開始する。ＣＰＵ１３は、推定した２つの推定枠から、撮像画像の撮像範囲を基準として、自車である自動車１の撮像デバイス２に対する周辺にいる他の自動車１００についての相対的な位置、方向、間隔を生成する。
たとえば、周辺空間の撮像画像に含まれる周辺にいる他の自動車１００が、撮像画像の視点位置に対して斜めになる姿勢で、撮像画像に含まれている場合、ＣＰＵ１３は、撮像画像において斜めになる姿勢にある周辺にいる他の自動車１００について推定した全体推定枠５１および隣接推定枠５２の双方を用いて、周辺にいる他の自動車１００の位置および姿勢を特定し、特定した周辺にいる他の自動車１００の位置および姿勢に基づいて、周辺にいる他の自動車１００についての相対的な位置、方向、間隔を生成する。
この他にもたとえば、周辺空間の撮像画像に含まれる周辺にいる他の自動車１００が、撮像画像の視点位置へ向かう正対した姿勢で、撮像画像に含まれている場合、ＣＰＵ１３は、全体推定枠５１および隣接推定枠５２の中の全体推定枠５１を用いて、周辺にいる他の自動車１００の位置および姿勢を特定し、特定した周辺にいる他の自動車１００の位置および姿勢に基づいて、周辺にいる他の自動車１００についての相対的な位置、方向、間隔を生成する。この際、ＣＰＵ１３は、四角形の全体推定枠５１の下端辺の中点を周辺にいる他の自動車１００の位置として、周辺にいる他の自動車１００についての相対的な位置、方向、間隔を生成してよい。

ステップＳＴ８において、ＣＰＵ１３は、生成した周辺にいる他の自動車１００についての相対的な位置、方向、間隔を、周辺車情報として出力する。周辺車情報は、入出力ポート１１を通じて、走行制御部４へ出力される。走行制御部４は、対象物推定装置１０により生成された周辺車情報を用いて、自車の走行を制御する。走行制御部４は、周辺にいる他の自動車１００と接触し難くなるように、周辺にいる他の自動車１００から離れた進路または進行可能範囲を決定して、自動車１の走行を制御する。

ステップＳＴ９において、ＣＰＵ１３は、対象物推定制御を終了するか否かを判断する。ＣＰＵ１３は、たとえば自車である自動車１の移動（走行）が終了した場合、対象物推定制御を終了すると判断し、本制御を終了する。対象物推定制御を終了すると判断しない場合、ＣＰＵ１３は、処理をステップＳＴ１へ戻す。ＣＰＵ１３は、次の撮像画像を取得してステップＳＴ１からステップＳＴ９までの処理を繰り返す。

図９は、２つの推定枠に基づく後処理制御のフローチャートである。
周辺空間の撮像画像に含まれる周辺にいる他の自動車１００が、撮像画像の視点位置に対して斜めになる姿勢で、撮像画像に含まれている場合、図２の対象物推定装置１０のＣＰＵ１３は、図８のステップＳＴ７において、図９の２つの推定枠に基づく後処理制御を実行してよい。

この状況下における自車の自動車１、周辺にいる他の自動車１００、平面枠、外接立方体、全面推定枠、隣接推定枠５２、複数の路面点位置Ｐ１～Ｐ３は、たとえば図５（Ｂ）の周辺空間において同図に示す位置関係である。図５（Ｂ）の周辺空間において、全面推定枠は、周辺にいる他の自動車１００の右前より右前方向へ突出し、周辺にいる他の自動車１００の左後より左後方向へ突出している。隣接推定枠５２は、周辺にいる他の自動車１００の左後より左後方向へ突出している。
図５（Ｂ）は、本実施形態の推定枠を学習した場合での、図２の対象物推定装置１０により推定される他の自動車１００の相対的な位置、方向、間隔についての説明図である。

ステップＳＴ１１において、ＣＰＵ１３は、全面推定枠および隣接推定枠５２の２つの推定枠に含まれている角から、周辺にいる他の自動車１００の画像中の左右両側の路面点位置Ｐ１、Ｐ２を特定する。図５（Ｂ）の場合、ＣＰＵ１３は、たとえば全面推定枠の右下角を、周辺にいる他の自動車１００の画像中の右側の路面点位置Ｐ２として特定し、隣接推定枠５２の左下角を、周辺にいる他の自動車１００の画像中の左側の路面点位置Ｐ１として特定してよい。複数の推定枠から路面点位置として抽出する角は、複数の推定枠の組み合わせ、各推定枠において角として含ませる路面点位置の対応付け、などにより変わる。
ＣＰＵ１３は、図５（Ｂ）のような周辺空間において、特定した路面点位置Ｐ１、Ｐ２を設定する。

ステップＳＴ１２において、ＣＰＵ１３は、路面点位置Ｐ１、Ｐ２を設定した周辺空間に、周辺にいる他の自動車１００の正対面に沿う線分を描画する。ＣＰＵ１３は、たとえば図６（Ｂ）に示すように、正対面である周辺にいる他の自動車１００の後面において左右両端部分に存在する一対のテールライトを、周辺にいる他の自動車１００の撮像画像から特定して抽出し、一対のテールライトを結ぶ線分と平行な正対線を、正対面を基準として隣接面とは反対側にある路面点位置Ｐ２から描画してよい。

ステップＳＴ１３において、ＣＰＵ１３は、路面点位置Ｐ１、Ｐ２を設定した周辺空間に、周辺にいる他の自動車１００の隣接面に沿う線分を描画する。ＣＰＵ１３は、たとえば図６（Ｂ）に示すように、隣接面である周辺にいる他の自動車１００の左側面において前後方向に並んでいる一対のホイールを、周辺にいる他の自動車１００の撮像画像から特定して抽出し、一対のホイールの中心を結ぶ線分と平行な隣接線を、隣接面の側にある路面点位置Ｐ１から描画してよい。

ステップＳＴ１４において、ＣＰＵ１３は、ステップＳＴ１２により描画した正対線と、ステップＳＴ１３により描画した隣接線との交点を、中央の路面点位置Ｐ３として特定する。ＣＰＵ１３は、正対線と隣接線とを描画した周辺空間において、中央の路面点位置Ｐ３を特定してよい。これにより、ＣＰＵ１３は、図５（Ｂ）のような周辺空間において、自車である自動車１の撮像デバイス２に対する、３つの路面点位置Ｐ１～Ｐ３を特定できる。

ステップＳＴ１５において、ＣＰＵ１３は、特定した３つの路面点位置Ｐ１～Ｐ３を用いて、自車から周辺にいる他の自動車１００までの相対的な位置、方向、間隔を演算して生成する。ＣＰＵ１３は、図５（Ｂ）のような周辺空間における、特定した中央の路面点位置Ｐ３と、自車である自動車１の位置との相対関係に基づいて、自車から周辺にいる他の自動車１００までの相対的な位置、方向、間隔を生成してよい。

なお、周辺環境の撮像画像は、たとえば図３（Ｂ）の学習画像のようなものである。撮像デバイス２の撮像範囲（画角）がたとえば図５（Ｂ）の状態などに固定化されている場合、平らな路面のみを画像成分として含む周辺環境の撮像画像の各画素についての自車からの相対的な位置、方向、間隔も固定的なものになる、と言うことができる。ＣＰＵ１３は、このような画素ごとの相対的な位置、方向、間隔の情報を用いて、たとえば中央の路面点位置Ｐ３を映している画素を特定して、特定した画素に対応付けられている位置、方向、間隔を、中央の路面点位置Ｐ３の位置、方向、間隔としてよい。この場合、ＣＰＵ１３は、特定した画素に対応付けられている位置、方向、間隔を、自車から周辺にいる他の自動車１００までの相対的な位置、方向、間隔として生成することになる。画素ごとの相対的な位置、方向、間隔の情報は、たとえばメモリ１２に記録されてよい。

このような処理により、ＣＰＵ１３は、後処理部として、推定された画像領域情報としての複数の推定枠を用いて、周辺空間に存在する周辺にいる他の自動車１００である他の自動車１００についての、撮像デバイス２の視点位置に対する相対的な方向、間隔、または位置を生成することができる。
ＣＰＵ１３は、撮像画像に含まれる周辺にいる他の自動車１００が、撮像画像の視点位置に対して斜めになる姿勢で、撮像画像に含まれているとしても、斜めになる姿勢で含まれている自動車１についての２種類の全体推定枠５１および隣接推定枠５２を用いて、斜めになる姿勢で含まれている自動車１についての、撮像デバイス２の視点位置に対する相対的な方向、間隔、または位置を高精度に生成することができる。

以上のように、本実施形態では、対象物としての周辺にいる他の自動車１００を含む周辺空間の撮像画像に基づいて、周辺空間の撮像画像における周辺にいる他の自動車１００の存在場所を示す画像領域情報としての幅広の推定枠を推定する。そして、周辺空間の撮像画像に含まれる周辺にいる他の自動車１００が、周辺空間の撮像画像の視点位置に対して斜めになる姿勢で、撮像画像に含まれている場合には、本実施形態では、撮像画像において斜めになる姿勢にある周辺にいる他の自動車１００の画像領域より幅が広い画像領域を、周辺空間の撮像画像における周辺にいる他の自動車１００の存在場所を示す幅広の推定枠とする。
その結果、本実施形態では、周辺空間の撮像画像において斜めになる姿勢にある周辺にいる他の自動車１００についての幅広の推定枠に基づいて、たとえば対象物の画像領域と４辺のすべてが接している推定枠と比べて、撮像画像の視点位置に対して近づいた周辺にいる他の自動車１００の存在場所を得ることが可能になる。
これにより、本実施形態では、周辺にいる他の自動車１００の存在場所についての推定を改善することができる。

特に、本実施形態のような幅広の推定枠を、深層学習ニューラルネットワークに学習させて、推定させることより、推定枠に基づいて、推定枠を推定した後に、他の自動車１００の正対面や隣接面を判断するための処理を別途実行したり、推定枠に対応する路面の位置を求める処理を別途実行したり、する必要がなくなる。推定枠そのものが、ある程度の確からしさで、他の自動車１００の正対面や隣接面の情報と、および路面点位置の情報とを含んでいることにより、推定枠に基づく後処理が非常に軽負荷の簡便なものとなる。本実施形態では、推定枠に既に含まれているそれらの情報を用いて、簡単な後処理により、周辺にいる他の自動車１００の相対的な位置、方向、間隔を得ることができる。後処理を含む対象物推定装置１０の処理は、自動車１の走行制御において求められるリアルタイム性が得られるように、短時間および軽負荷なものとすることができる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

上述した実施形態では、対象物推定装置１０は、自車である自動車１の周辺に存在する周辺にいる他の自動車１００を、対象物推定装置１０による推定処理の対象物としている。
対象物推定装置１０は、この他にもたとえば、人、自転車、電車、航空機、ボールなどの遊具、段ボール箱などの移動可能な落下物、構造物などの固定されている物体を、対象物推定装置１０による推定処理の対象物としてよい。これらの実体を有する対象物についても、上述した推定処理を適用することにより、自車である自動車１に対する対象物までの相対的な位置、方向、間隔を高精度に得ることが可能となる。

上述した実施形態では、対象物推定装置１０は、実空間に存在する実体物を、推定処理の対象物としている。
この他にもたとえば、対象物推定装置１０は、仮想空間に存在すると考えることができるオブジェクト、または仮想空間と実空間との混合空間に存在すると考えることができるオブジェクトを、推定処理の対象物としてよい。

上述した実施形態では、対象物推定装置１０は、撮像デバイス２による周辺空間の撮像画像などを学習して、推定処理に用いている。
対象物推定装置１０は、自動車１に設けられる他の検出デバイス、たとえば超音波により自動車１の周辺をスキャンするレーダにより生成される周辺空間についての空間画像を学習して、推定処理に用いてもよい。この場合の空間画像は、撮像画像と同様に平面的な画像であってもよいが、たとえば湾曲するなどした立体的な画像であってもよい。湾曲するなどした立体的な画像であっても、たとえば対象物の画像領域およびその周囲における局所的な平面性を利用した近似的な処理に対して、上述した実施形態と同様の処理を適用することにより、対象物についての相対的な位置、方向、間隔を高精度に得ることが可能となると考えられる。

１…自動車（車両）、２…撮像デバイス、３…三次元地図装置、４…走行制御部、５…アクチュエータ、６…車両動きセンサ、７…位置情報生成装置、８…車両通信装置、１０…対象物推定装置、１１…入出力ポート、１２… ステップＳＴ、１２…メモリ、１３…ＣＰＵ、１４…タイマ、１５…内部バス、２１…入力部、２２…ＤＮＮ部、２３…出力部、３１…学習画像、３２…画像領域、３３…推定枠、３４…学習画像、３５…画像領域、３６…推定枠、４１…平面枠、４２…外接立方体、５１…全体推定枠、５２…隣接推定枠、５３…他の隣接推定枠、５４…正対推定枠、１００…他の自動車（周辺車両）、１０１…平面枠、Ｐ１～Ｐ３…路面点位置

Claims (14)

1. 空間に存在する対象物を含む空間画像を取得可能な取得部と、
   前記取得部により取得される前記対象物を含む前記空間画像の少なくとも一部に基づいて、前記空間画像における前記対象物の存在場所を示す画像領域情報を推定する推定部と、
   を有し、
   前記推定部は、
   前記取得部により取得される前記空間画像に含まれる前記対象物が斜めになる姿勢で含まれている場合には、前記空間画像において斜めになる姿勢で含まれている前記対象物の画像領域より広い画像領域を、前記空間画像における前記対象物の存在場所を示す前記画像領域情報として推定することができる、
   対象物推定装置。
   
2. 前記推定部は、
   空間に存在する前記対象物を含む前記空間画像と、前記空間画像における前記対象物の存在場所を示す前記画像領域情報との関連性を機械学習して、前記取得部により取得される前記空間画像における前記対象物の存在場所を示す前記画像領域情報を推定することができる、
   請求項１記載の、対象物推定装置。
   
3. 前記推定部は、
   前記画像領域情報として、前記空間画像における前記対象物の画像領域の周囲を囲う推定パターンを機械学習し、または推定することができる、
   請求項２記載の、対象物推定装置。
   
4. 前記推定部は、
   前記空間画像に含まれる対象物が斜めになる姿勢で含まれている場合には、斜めになる姿勢で含まれている前記対象物の画像領域から少なくとも一部が離れている前記推定パターンを機械学習し、または推定することができる、
   請求項３記載の、対象物推定装置。
   
5. 前記推定部は、
   前記空間画像に含まれる対象物が斜めになる姿勢で含まれている場合には、前記空間画像に含まれる対象物が対向するように向いた姿勢で含まれている場合と比べて、前記対象物の画像領域から少なくとも一部が離れている前記推定パターンを機械学習し、または推定することができる、
   請求項３または４記載の、対象物推定装置。
   
6. 前記推定部は、
   前記取得部により取得される前記空間画像に含まれる対象物が対向するように向いた姿勢で含まれている場合には、対向する姿勢で含まれている前記対象物の画像領域と接する前記推定パターンを推定し、
   前記取得部により取得される前記空間画像に含まれる対象物が斜めになる姿勢で含まれている場合には、前記取得部により取得される前記空間画像に含まれる対象物が対向するように向いた姿勢で含まれている場合と比べて、前記対象物の画像領域から少なくとも一部が離れている前記推定パターンを推定することができる、
   請求項３から５の中のいずれか一項記載の、対象物推定装置。
   
7. 前記推定部は、
   前記空間画像に含まれる対象物を平面視した状態で前記対象物の全体を含むように囲う四角形の平面枠を基準として、前記平面枠に対して立設することになる推定パターンを機械学習して、前記取得部により取得される前記空間画像における前記対象物の存在場所を示す前記画像領域情報としての前記推定パターンを推定することができる、
   請求項１から６の中のいずれか一項記載の、対象物推定装置。
   
8. 前記推定部は、
   前記推定パターンとして、前記空間画像の地面に立接していることになる四角形の前記推定パターン、または前記空間画像の地面と接していることになる四角形の前記推定パターンを機械学習し、または推定することができる、
   請求項１から７の中のいずれか一項記載の、対象物推定装置。
   
9. 前記推定部は、
   前記取得部により取得される前記空間画像に含まれる前記対象物として少なくとも車両を対象として、前記取得部により取得される前記空間画像における前記対象物の存在場所を示す前記画像領域情報を推定するものであり、
   前記空間画像に含まれる対象物としての前記車両が斜めになる姿勢で含まれている場合には、斜めになる姿勢で含まれている前記車両についての正対面、前記正対面に隣接する隣接面、並びに、前記正対面および前記隣接面の双方の中の少なくとも２つに対応している、少なくとも２種類の推定パターンを機械学習し、または推定することができる、
   請求項１から８の中のいずれか一項記載の、対象物推定装置。
   
10. 前記推定部により生成される前記画像領域情報を用いて、空間に存在する対象物についての位置、方向、または距離を生成する後処理部、を有する、
    請求項１から９の中のいずれか一項記載の、対象物推定装置。
    
11. 前記後処理部は、
    前記取得部により取得される前記空間画像に含まれる前記対象物として少なくとも車両を対象として、前記対象物についての位置、方向、または距離を生成するものであり、
    少なくとも、前記空間画像に含まれる対象物としての前記車両が斜めになる姿勢で含まれている場合には、
    前記推定部か推定する前記画像領域情報としての、斜めになる姿勢で含まれている前記車両についての正対面、前記正対面に隣接する隣接面、並びに、前記正対面および前記隣接面の双方の中の少なくとも２つに対応している、少なくとも２種類の推定パターンを用いて、斜めになる姿勢で含まれている前記車両についての位置、方向、または距離を生成する、
    請求項１０記載の、対象物推定装置。
    
12. 前記後処理部は、
    前記空間画像において斜めになる姿勢で含まれている対象物としての車両について、
    前記推定部か推定する前記画像領域情報としての少なくとも２種類の推定パターンに基づいて、前記空間画像に含まれる対象物を平面視した状態で前記対象物の全体を含むように囲う四角形の平面枠の角を路面へ写した複数の路面点位置として、斜めになる姿勢で含まれている前記車両の画像領域の左右両側の前記路面点位置を特定し、
    斜めになる姿勢で含まれている前記車両の画像領域についての特定した左右両側の前記路面点位置を基準として、左右両側の前記路面点位置の間にある中央の前記路面点位置を特定し、
    特定した３つの前記路面点位置から、空間に存在する対象物としての前記車両についての位置、方向、または距離を生成する、
    請求項１０または１１記載の、対象物推定装置。
    
13. 空間に存在する対象物を含む空間画像における、前記対象物の存在場所を示す前記画像領域情報を推定する対象物推定装置の対象物推定方法であって、
    前記空間に存在する前記対象物を含む前記空間画像を取得可能な取得工程と、
    前記取得工程により取得される前記対象物を含む前記空間画像の少なくとも一部に基づいて、前記空間画像における前記対象物の存在場所を示す前記画像領域情報を推定する推定工程と、
    を有し、
    前記推定工程は、
    前記取得工程により取得される前記空間画像に含まれる前記対象物が斜めになる姿勢で含まれている場合には、前記空間画像において斜めになる姿勢で含まれている前記対象物の画像領域より広い画像領域を、前記空間画像における前記対象物の存在場所を示す前記画像領域情報として推定することができる、
    対象物推定装置の対象物推定方法。
    
14. 車両の周辺の空間を撮像する撮像デバイスと、
    前記撮像デバイスによる撮像画像を処理する処理部と、
    前記処理部の処理結果を用いて、車両の走行を制御する制御部と、
    を有し、
    前記処理部は、
    前記空間に存在する前記対象物を含む空間画像として前記撮像画像を取得可能な取得部と、
    前記取得部により取得される前記対象物を含む前記空間画像の少なくとも一部に基づいて、前記空間画像における前記対象物の画像領域情報を推定する推定部と、
    前記推定部により生成される前記画像領域情報を用いて、空間に存在する対象物についての位置、方向、または距離を生成する後処理部と、
    を有し、
    前記推定部は、
    前記取得部により取得される前記空間画像に含まれる前記対象物が斜めになる姿勢で含まれている場合には、前記空間画像において斜めになる姿勢で含まれている前記対象物の画像領域より広い画像領域を、前記空間画像における前記対象物の存在場所を示す前記画像領域情報として推定することができ、
    前記制御部は、
    前記処理部の処理結果としての、前記後処理部により推定された空間に存在する対象物についての位置、方向、または距離を用いて、前記空間画像において斜めになる姿勢で含まれている前記対象物と接触し難くした進路または進行可能範囲を決定して、前記車両の走行を制御する、
    車両。
    
    
    

Images