JP2022098397A - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

Abstract

【課題】駐車スペースの環境に左右されることなく、人間の感覚に近い迅速でスムーズな駐車支援を実現できるようにする。【解決手段】画像データの画素単位で、デプスデータと、画像データに対する３Ｄセマンティックセグメンテーション処理により分類されたクラス情報とを有する３Ｄセマンティックセグメンテーション画像を生成し、３Ｄセマンティックセグメンテーション画像に基づいて、駐車可能な駐車スペースを探索し、探索された駐車スペースへの経路を計画して車両を制御する。本開示は、駐車支援システムに適用することができる。【選択図】図６

Description

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、駐車スペースの環境に左右されることなく、人間の感覚に近い迅速でスムーズな駐車支援を実現できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。

近年、駐車支援システムに関する関心が高まっている。日常の様々なドライブシーンにおいて車両を駐車する場面があり、より安全・快適で利便性の高い駐車支援システムが求められている。

例えば、カメラ画像に基づいて駐車スペースを検出し、検出した駐車スペースに対して駐車するための駐車支援をする技術が提案されている（特許文献１参照）。

特開２０１７－１１１８０３号公報

しかしながら、特許文献１に記載の技術においては、奥行き情報を考慮した駐車スペースの検出がなされていない。

このため、奥行きが認識できないと駐車スペースの検出が難しい環境下においては、人間が駐車スペースを検出する感覚と近い感覚で駐車スペースを判別することができないので、スムーズな駐車支援を実現できない恐れがある。

本開示は、このような状況に鑑みてなされたものであり、特に、駐車スペースの環境に左右されることなく、人間の感覚に近い迅速でスムーズな駐車支援を実現するものである。

本開示の一側面の情報処理装置、およびプログラムは、車両の周囲の画像データを取得する画像取得部と、前記車両の周囲のデプスデータを取得するデプスデータ取得部と、前記画像データの画素単位で、前記デプスデータと、前記画像データに対する３Ｄセマンティックセグメンテーション処理により分類されたクラス情報とが設定された３Ｄセマンティックセグメンテーション画像を生成する３Ｄセマンティックセグメンテーション処理部と、前記３Ｄセマンティックセグメンテーション画像に基づいて、駐車可能な駐車スペースを探索する駐車スペース探索部とを備える情報処理装置、およびプログラムである。

本開示の一側面の情報処理方法は、車両の周囲の画像データを取得し、前記車両の周囲のデプスデータを取得し、前記画像データの画素単位で、前記デプスデータと、前記画像データに対する３Ｄセマンティックセグメンテーション処理により分類されたクラス情報とが設定された３Ｄセマンティックセグメンテーション画像を生成し、前記３Ｄセマンティックセグメンテーション画像に基づいて、駐車可能な駐車スペースを探索するステップを含む情報処理方法である。

本開示の一側面においては、車両の周囲の画像データが取得され、前記車両の周囲のデプスデータが取得され、前記画像データの画素単位で、前記デプスデータと、前記画像データに対する３Ｄセマンティックセグメンテーション処理により分類されたクラス情報とが設定された３Ｄセマンティックセグメンテーション画像が生成され、前記３Ｄセマンティックセグメンテーション画像に基づいて、駐車可能な駐車スペースが探索される。

駐車支援機能の制限を説明する図である。 駐車支援機能による運転支援の例を説明する図である。 本開示の技術を適用した駐車支援機能の概要を説明する図である。 車両制御システムの構成例を示すブロック図である。 センシング領域の例を示す図である。 本開示の駐車支援制御部の構成例を説明する図である。 図６の３Ｄセマンティックセグメンテーション処理部の構成例を説明する図である。 ３Ｄセマンティックセグメンテーション情報を説明する図である。 駐車スペースの検出例を説明する図である。 駐車スペースの検出例を説明する図である。 ３Ｄセマンティックセグメンテーション情報生成処理を説明するフローチャートである。 駐車支援処理を説明するフローチャートである。 駐車スペース探索モード処理を説明するフローチャートである。 駐車モード処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．車両制御システムの構成例
３．本開示の駐車支援機能を実現する駐車支援制御部の構成例
４．ソフトウエアにより実行させる例

＜＜１．本開示の概要＞＞
本開示の技術を適用した、駐車スペースの環境に左右されることなく、人間の感覚に近い迅速でスムーズな駐車支援を実現する技術の概要について説明する。

駐車スペースを認識して自動的に駐車する、または最適な駐車経路へと誘導するといった、駐車支援機能については、既に様々な形態での製品化がなされているが、いずれにおいても様々な制約が設けられている。

例えば、第１の駐車支援機能では、図１における点線で示されるように、行った事のあるなしに関わらず、すなわち、車両に予め登録されていない駐車スペースでも駐車可能であるが、白線がない、または白線がかすれた駐車スペースに対しては駐車できない。

また、例えば、第２の駐車支援機能では、図１における一点鎖線で示されるように、白線の有無に関わらず、白線がある駐車スペースでも、白線がない駐車スペースでも駐車可能ではあるが、行った事がある駐車スペース、すなわち、車両に予め登録されている駐車スペースに対してのみ機能するものである。

すなわち、上述した駐車支援機能を実現させるためには、対象となる駐車スペースの白線の有無や、駐車スペースが予め登録されているか否かに応じた条件が設定されている。尚、図１においては、横軸が白線の有無（白線があるか否か）の程度を示しており、縦軸が行った事の有無（事前登録されているか否か）の程度を示している。

そこで、本開示における駐車支援機能においては、図１における実線で示されるように、対象となる駐車スペースについて、車両に予め登録されているか否か（行った事があるか否か）や、白線の有無に関わらず、駐車スペースや駐車している車両の方向(並列、縦列)といった周辺の状況を適切に認識することにより、人間が操作することでなされる駐車操作のように、迅速でスムーズな駐車支援を実現する。

例えば、図２の左部で示されるように、本体の左右にカメラなどのセンサＳｃ１－１，Ｓｃ１－２が設けられた車両Ｃ１が、駐車スペースＳＰ１に駐車する場合の駐車支援について考える。

尚、図２においては、図中の二等辺三角形の印の二等辺で示される凸部の方向が車両Ｃ１の前方であるものとする。

図２の左部で示されるように、車両Ｃ１は、左側方に取り付けられたセンサＳｃ１－１により、駐車できる空スペースとなる駐車スペースＳＰ１の位置を検出するために、少なくとも一度は、駐車スペースＳＰ１の前を横切る必要がある。

また、例えば、図２の右部で示されるように、本体の左右に超音波センサなどのセンサＳｃ１１－１，Ｓｃ１１－２が設けられた車両Ｃ２が、駐車スペースＳＰ２に駐車する場合の駐車支援について考える。

図２の右部の場合にも、車両Ｃ２の左側方に取り付けられたセンサＳｃ１１－１により、駐車できる空スペースとなる駐車スペースＳＰ１を検出するために、少なくとも一度は、駐車スペースＳＰ２の付近を通行する必要がある。

すなわち、図２を参照して説明したように、本体の左右にカメラや超音波センサなどを設けて、駐車支援を考える場合、事前に対象となる駐車スペースの前を通過する、または、付近を通過する必要がある。

このため、図２を参照して説明した駐車支援の例においては、人間が駐車操作を行う場合のように、対象となる空きスペースを目視で探索し、探索した空きスペースを対象の駐車スペースに定めて駐車操作を開始することができない。

このため、上述した駐車支援を用いた駐車が行われる場合、車両は、空きスペースとなる駐車スペースの前や傍を通過するまで、駐車場内を巡回し続けることになる。

この際、場合によっては、車両に搭乗している人間は、空きスペースとなる駐車スペースを目視で確認できているのにも関わらず、空きスペースが全くないと分かっている範囲までも駐車スペースを探索するために走り回るといったことも起こり得る。

結果として、駐車が完了するまでに、不要な時間が掛かる可能性があり、車両に搭乗する人間にとっては迅速でスムーズな駐車とは感じられず、違和感のある駐車操作と感じられる可能性があった。

そこで、本開示の技術を適用した駐車支援機能においては、車両の周囲の状況を、３Ｄ（３次元）セマンティックセグメンテーションを用いた物体認識処理により把握して、駐車スペースを特定した後に、駐車操作が行われるようにする。

例えば、図３で示されるように、車両Ｃ１１の前方について、画像とデプスデータとを検出するセンサＳｃ３１が設けられるようにする。

まず、車両Ｃ１１においては、センサＳｃ３１により検出される前方のデプスデータと、画像とに基づいた３Ｄセマンティックセグメンテーションを用いた物体認識処理がなされることにより、周囲の状況が認識される。次に、車両Ｃ１１においては、物体認識結果に基づいて、車両Ｃ１１から所定の距離だけ前方の位置（例えば15m乃至30m手前の位置）までの範囲について駐車目標となる空きスペースが探索される。

そして、車両Ｃ１１より所定の距離だけ前方の範囲の探索結果から、空きスペースが探索されると、探索された空スペースが駐車目標となる駐車スペースＳＰ１１として認識されて、駐車するための、例えば、図中の太い実線で示されるような駐車経路が算出されて、算出された駐車経路に沿って車両Ｃ１１が動作するように制御される。

このような駐車操作を実現することにより、空きスペースを目視により探索し、探索された空きスペースが、駐車スペースとして認識されたときに、駐車操作がなされるといった、人間の駐車操作を行う場合と同様の駐車支援がなされる。

結果として、搭乗者である人間が見ても違和感のない、迅速でスムーズな駐車支援を実現することが可能となる。

また、３Ｄセマンティックセグメンテーションによる物体認識処理により周囲の状況が認識されて、駐車スペースが特定されることにより、駐車スペースの環境によらず、様々な場所にある駐車スペースでも、快適な駐車支援を実現することが可能となる。

＜＜２．車両制御システムの構成例＞＞
図４は、本技術が適用される移動装置制御システムの一例である車両制御システム１１の構成例を示すブロック図である。

車両制御システム１１は、車両１に設けられ、車両１の走行支援及び自動運転に関わる処理を行う。

車両制御システム１１は、車両制御ECU（Electronic Control Unit）２１、通信部２２、地図情報蓄積部２３、GNSS（Global Navigation Satellite System）受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、DMS（Driver Monitoring System）３０、HMI（Human Machine Interface）３１、及び、車両制御部３２を備える。

プロセッサ２１、通信部２２、地図情報蓄積部２３、GNSS受信部２４、外部認識センサ２５、車内センサ２６、車両センサ２７、記録部２８、走行支援・自動運転制御部２９、ドライバモニタリングシステム（DMS）３０、ヒューマンマシーンインタフェース（HMI）３１、及び、車両制御部３２は、通信ネットワーク４１を介して相互に通信可能に接続されている。通信ネットワーク４１は、例えば、CAN（Controller Area Network）、LIN（Local Interconnect Network）、LAN（Local Area Network）、FlexRay（登録商標）、イーサネット（登録商標）といったディジタル双方向通信の規格に準拠した車載通信ネットワークやバス等により構成される。通信ネットワーク４１は、通信されるデータの種類によって使い分けられても良く、例えば、車両制御に関するデータであればCANが適用され、大容量データであればイーサネットが適用される。なお、車両制御システム１１の各部は、通信ネットワーク４１を介さずに、例えば近距離無線通信（NFC（Near Field Communication））やBluetooth（登録商標）といった比較的近距離での通信を想定した無線通信を用いて直接的に接続される場合もある。

なお、以下、車両制御システム１１の各部が、通信ネットワーク４１を介して通信を行う場合、通信ネットワーク４１の記載を省略するものとする。例えば、プロセッサ２１と通信部２２が通信ネットワーク４１を介して通信を行う場合、単にプロセッサ２１と通信部２２とが通信を行うと記載する。

プロセッサ２１は、例えば、CPU（Central Processing Unit）、MPU（Micro Processing Unit）といった各種プロセッサにより構成される。プロセッサ２１は、車両制御システム１１全体の制御を行う。

通信部２２は、車内及び車外の様々な機器、他の車両、サーバ、基地局等と通信を行い、各種のデータの送受信を行う。このとき、通信部２２は、複数の通信方式を用いて通信を行うことができる。

通信部２２が実行可能な車外との通信について、概略的に説明する。通信部２２は、例えば、5G（第５世代移動通信システム）、LTE（Long Term Evolution）、DSRC（Dedicated Short Range Communications）等の無線通信方式により、基地局又はアクセスポイントを介して、外部ネットワーク上に存在するサーバ（以下、外部のサーバと呼ぶ）等と通信を行う。通信部２２が通信を行う外部ネットワークは、例えば、インターネット、クラウドネットワーク、又は、事業者固有のネットワーク等である。通信部２２による外部ネットワークに対して通信を行う通信方式は、所定以上の通信速度、且つ、所定以上の距離間でディジタル双方向通信が可能な無線通信方式であれば、特に限定されない。

また、例えば、通信部２２は、P2P（Peer To Peer）技術を用いて、自車の近傍に存在する端末と通信を行うことができる。自車の近傍に存在する端末は、例えば、歩行者や自転車など比較的低速で移動する移動体が装着する端末、店舗などに位置が固定されて設置される端末、あるいは、MTC（Machine Type Communication）端末である。さらに、通信部２２は、V2X通信を行うこともできる。V2X通信とは、例えば、他の車両との間の車車間（Vehicle to Vehicle）通信、路側器等との間の路車間（Vehicle to Infrastructure）通信、家との間（Vehicle to Home）の通信、及び、歩行者が所持する端末等との間の歩車間（Vehicle to Pedestrian）通信等の、自車と他との通信をいう。

通信部２２は、例えば、車両制御システム１１の動作を制御するソフトウエアを更新するためのプログラムを外部から受信することができる。通信部２２は、さらに、地図情報、交通情報、車両１の周囲の情報等を外部から受信することができる。また、例えば、通信部２２は、車両１に関する情報や、車両１の周囲の情報等を外部に送信することができる。通信部２２が外部に送信する車両１に関する情報としては、例えば、車両１の状態を示すデータ、認識部７３による認識結果等がある。さらに例えば、通信部２２は、ｅコール等の車両緊急通報システムに対応した通信を行う。

通信部２２が実行可能な車内との通信について、概略的に説明する。通信部２２は、例えば無線通信を用いて、車内の各機器と通信を行うことができる。通信部２２は、例えば、無線LAN、Bluetooth（登録商標）、NFC、WUSB（Wireless USB）といった、無線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の機器と無線通信を行うことができる。これに限らず、通信部２２は、有線通信を用いて車内の各機器と通信を行うこともできる。例えば、通信部２２は、図示しない接続端子に接続されるケーブルを介した有線通信により、車内の各機器と通信を行うことができる。通信部２２は、例えば、USB（Universal Serial Bus）、HDMI（High-Definition Multimedia Interface）（登録商標）、MHL（Mobile High-definition Link）といった、有線通信により所定以上の通信速度でディジタル双方向通信が可能な通信方式により、車内の各機器と通信を行うことができる。

ここで、車内の機器とは、例えば、車内において通信ネットワーク４１に接続されていない機器を指す。車内の機器としては、例えば、運転者等の搭乗者が所持するモバイル機器やウェアラブル機器、車内に持ち込まれ一時的に設置される情報機器等が想定される。

例えば、通信部２２は、電波ビーコン、光ビーコン、FM多重放送等の道路交通情報通信システム（VICS（Vehicle Information and Communication System）（登録商標））により送信される電磁波を受信する。

地図情報蓄積部２３は、外部から取得した地図及び車両１で作成した地図の一方または両方を蓄積する。例えば、地図情報蓄積部２３は、３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ等を蓄積する。

高精度地図は、例えば、ダイナミックマップ、ポイントクラウドマップ、ベクターマップなどである。ダイナミックマップは、例えば、動的情報、準動的情報、準静的情報、静的情報の４層からなる地図であり、外部のサーバ等から車両１に提供される。ポイントクラウドマップは、ポイントクラウド（点群データ）により構成される地図である。ここで、ベクターマップは、車線や信号の位置といった交通情報などをポイントクラウドマップに対応付けた、ADAS（Advanced Driver Assistance System）に適合させた地図を指すものとする。

ポイントクラウドマップ及びベクターマップは、例えば、外部のサーバ等から提供されてもよいし、レーダ５２、LiDAR５３等によるセンシング結果に基づいて、後述するローカルマップとのマッチングを行うための地図として車両１で作成され、地図情報蓄積部２３に蓄積されてもよい。また、外部のサーバ等から高精度地図が提供される場合、通信容量を削減するため、車両１がこれから走行する計画経路に関する、例えば数百メートル四方の地図データが外部のサーバ等から取得される。

GNSS受信部２４は、GNSS衛星からGNSS信号を受信し、車両１の位置情報を取得する。受信したGNSS信号は、走行支援・自動運転制御部２９に供給される。尚、GNSS受信部２４は、GNSS信号を用いた方式に限定されず、例えば、ビーコンを用いて位置情報を取得しても良い。

外部認識センサ２５は、車両１の外部の状況の認識に用いられる各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。外部認識センサ２５が備えるセンサの種類や数は任意である。

例えば、外部認識センサ２５は、カメラ５１、レーダ５２、LiDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）５３、及び、超音波センサ５４を備える。これに限らず、外部認識センサ２５は、カメラ５１、レーダ５２、LiDAR５３、及び、超音波センサ５４のうち１種類以上のセンサを備える構成でもよい。カメラ５１、レーダ５２、LiDAR５３、及び、超音波センサ５４の数は、現実的に車両１に設置可能な数であれば特に限定されない。また、外部認識センサ２５が備えるセンサの種類は、この例に限定されず、外部認識センサ２５は、他の種類のセンサを備えてもよい。外部認識センサ２５が備える各センサのセンシング領域の例は、後述する。

なお、カメラ５１の撮影方式は、測距が可能な撮影方式であれば特に限定されない。例えば、カメラ５１は、ToF（Time of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった各種の撮影方式のカメラを、必要に応じて適用することができる。これに限らず、カメラ５１は、測距に関わらずに、単に撮影画像（撮像画像）を取得するためのものであってもよい。

また、例えば、外部認識センサ２５は、車両１に対する環境を検出するための環境センサを備えることができる。環境センサは、天候、気象、明るさ等の環境を検出するためのセンサであって、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ、照度センサ等の各種センサを含むことができる。

さらに、例えば、外部認識センサ２５は、車両１の周囲の音や音源の位置の検出等に用いられるマイクロフォンを備える。

車内センサ２６は、車内の情報を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車内センサ２６が備える各種センサの種類や数は、現実的に車両１に設置可能な数であれば特に限定されない。

例えば、車内センサ２６は、カメラ、レーダ、着座センサ、ステアリングホイールセンサ、マイクロフォン、生体センサのうち１種類以上のセンサを備えることができる。車内センサ２６が備えるカメラとしては、例えば、ToFカメラ、ステレオカメラ、単眼カメラ、赤外線カメラといった、測距可能な各種の撮影方式のカメラを用いることができる。これに限らず、車内センサ２６が備えるカメラは、測距に関わらずに、単に撮影画像を取得するためのものであってもよい。車内センサ２６が備える生体センサは、例えば、シートやステアリングホイール等に設けられ、運転者等の搭乗者の各種の生体情報を検出する。

車両センサ２７は、車両１の状態を検出するための各種のセンサを備え、各センサからのセンサデータを車両制御システム１１の各部に供給する。車両センサ２７が備える各種センサの種類や数は、現実的に車両１に設置可能な数であれば特に限定されない。

例えば、車両センサ２７は、速度センサ、加速度センサ、角速度センサ（ジャイロセンサ）、及び、それらを統合した慣性計測装置（IMU（Inertial Measurement Unit））を備える。例えば、車両センサ２７は、ステアリングホイールの操舵角を検出する操舵角センサ、ヨーレートセンサ、アクセルペダルの操作量を検出するアクセルセンサ、及び、ブレーキペダルの操作量を検出するブレーキセンサを備える。例えば、車両センサ２７は、エンジンやモータの回転数を検出する回転センサ、タイヤの空気圧を検出する空気圧センサ、タイヤのスリップ率を検出するスリップ率センサ、及び、車輪の回転速度を検出する車輪速センサを備える。例えば、車両センサ２７は、バッテリの残量及び温度を検出するバッテリセンサ、及び、外部からの衝撃を検出する衝撃センサを備える。

記録部２８は、不揮発性の記憶媒体および揮発性の記憶媒体のうち少なくとも一方を含み、データやプログラムを記憶する。記録部２８は、例えばEEPROM（Electrically Erasable Programmable Read Only Memory）およびRAM（Random Access Memory）として用いられ、記憶媒体としては、HDD（Hard Disc Drive）といった磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイスを適用することができる。記録部２８は、車両制御システム１１の各部が用いる各種プログラムやデータを記録する。例えば、記録部２８は、EDR（Event Data Recorder）やDSSAD（Data Storage System for Automated Driving）を備え、事故等のイベントの前後の車両１の情報を記録する。

走行支援・自動運転制御部２９は、車両１の走行支援及び自動運転の制御を行う。例えば、走行支援・自動運転制御部２９は、分析部６１、行動計画部６２、及び、動作制御部６３を備える。また、走行支援・自動運転制御部２９は、後述する本開示の駐車支援機能を実現する駐車支援制御部２０１（図６）の機能を実現する。

分析部６１は、車両１及び周囲の状況の分析処理を行う。分析部６１は、自己位置推定部７１、センサフュージョン部７２、及び、認識部７３を備える。

自己位置推定部７１は、外部認識センサ２５からのセンサデータ、及び、地図情報蓄積部２３に蓄積されている高精度地図に基づいて、車両１の自己位置を推定する。例えば、自己位置推定部７１は、外部認識センサ２５からのセンサデータに基づいてローカルマップを生成し、ローカルマップと高精度地図とのマッチングを行うことにより、車両１の自己位置を推定する。車両１の位置は、例えば、後輪対車軸の中心が基準とされる。

ローカルマップは、例えば、SLAM（Simultaneous Localization and Mapping）等の技術を用いて作成される３次元の高精度地図、占有格子地図（OGM：Occupancy Grid Map）等である。３次元の高精度地図は、例えば、上述したポイントクラウドマップ等である。占有格子地図は、車両１の周囲の３次元又は２次元の空間を所定の大きさのグリッド（格子）に分割し、グリッド単位で物体の占有状態を示す地図である。物体の占有状態は、例えば、物体の有無や存在確率により示される。ローカルマップは、例えば、認識部７３による車両１の外部の状況の検出処理及び認識処理にも用いられる。

なお、自己位置推定部７１は、GNSS信号、及び、車両センサ２７からのセンサデータに基づいて、車両１の自己位置を推定してもよい。

センサフュージョン部７２は、複数の異なる種類のセンサデータ（例えば、カメラ５１から供給される画像データ、及び、レーダ５２から供給されるセンサデータ）を組み合わせて、新たな情報を得るセンサフュージョン処理を行う。異なる種類のセンサデータを組合せる方法としては、統合、融合、連合等がある。

認識部７３は、車両１の外部の状況の検出を行う検出処理と、車両１の外部の状況の認識を行う認識処理と、を実行する。

例えば、認識部７３は、外部認識センサ２５からの情報、自己位置推定部７１からの情報、センサフュージョン部７２からの情報等に基づいて、車両１の外部の状況の検出処理及び認識処理を行う。

具体的には、例えば、認識部７３は、車両１の周囲の物体の検出処理及び認識処理等を行う。物体の検出処理とは、例えば、物体の有無、大きさ、形、位置、動き等を検出する処理である。物体の認識処理とは、例えば、物体の種類等の属性を認識したり、特定の物体を識別したりする処理である。ただし、検出処理と認識処理とは、必ずしも明確に分かれるものではなく、重複する場合がある。

例えば、認識部７３は、LiDAR５３又はレーダ５２等によるセンサデータに基づくポイントクラウドを点群の塊毎に分類するクラスタリングを行うことにより、車両１の周囲の物体を検出する。これにより、車両１の周囲の物体の有無、大きさ、形状、位置が検出される。

例えば、認識部７３は、クラスタリングにより分類された点群の塊の動きを追従するトラッキングを行うことにより、車両１の周囲の物体の動きを検出する。これにより、車両１の周囲の物体の速度及び進行方向（移動ベクトル）が検出される。

例えば、認識部７３は、カメラ５１から供給される画像データに対してセマンティックセグメンテーション等の物体認識処理を行うことにより、車両１の周囲の物体の種類を認識する。

なお、認識部７３による検出又は認識対象となる物体としては、例えば、車両、人、自転車、障害物、構造物、道路、信号機、交通標識、道路標示が想定される。

例えば、認識部７３は、地図情報蓄積部２３に蓄積されている地図、自己位置推定部７１による自己位置の推定結果、及び、認識部７３による車両１の周囲の物体の認識結果に基づいて、車両１の周囲の交通ルールの認識処理を行うことができる。認識部７３は、この処理により、信号の位置及び状態、交通標識及び道路標示の内容、交通規制の内容、並びに、走行可能な車線などを認識することができる。

例えば、認識部７３は、車両１の周囲の環境の認識処理を行うことができる。認識部７３が認識対象とする周囲の環境としては、天候、気温、湿度、明るさ、及び、路面の状態等が想定される。

行動計画部６２は、車両１の行動計画を作成する。例えば、行動計画部６２は、経路計画、経路追従の処理を行うことにより、行動計画を作成する。

なお、経路計画（Global path planning）とは、スタートからゴールまでの大まかな経路を計画する処理である。この経路計画には、軌道計画と言われ、経路計画で計画された経路において、車両１の運動特性を考慮して、車両１の近傍で安全かつ滑らかに進行することが可能な軌道生成（Local path planning）の処理も含まれる。

経路追従とは、経路計画により計画した経路を計画された時間内で安全かつ正確に走行するための動作を計画する処理である。行動計画部６２は、例えば、この経路追従の処理の結果に基づき、車両１の目標速度と目標角速度を計算することができる。

動作制御部６３は、行動計画部６２により作成された行動計画を実現するために、車両１の動作を制御する。

例えば、動作制御部６３は、後述する車両制御部３２に含まれる、ステアリング制御部８１、ブレーキ制御部８２、及び、駆動制御部８３を制御して、軌道計画により計算された軌道を車両１が進行するように、加減速制御及び方向制御を行う。例えば、動作制御部６３は、衝突回避あるいは衝撃緩和、追従走行、車速維持走行、自車の衝突警告、自車のレーン逸脱警告等のADASの機能実現を目的とした協調制御を行う。例えば、動作制御部６３は、運転者の操作によらずに自律的に走行する自動運転等を目的とした協調制御を行う。

DMS３０は、車内センサ２６からのセンサデータ、及び、後述するHMI３１に入力される入力データ等に基づいて、運転者の認証処理、及び、運転者の状態の認識処理等を行う。この場合にDMS３０の認識対象となる運転者の状態としては、例えば、体調、覚醒度、集中度、疲労度、視線方向、酩酊度、運転操作、姿勢等が想定される。

なお、DMS３０が、運転者以外の搭乗者の認証処理、及び、当該搭乗者の状態の認識処理を行うようにしてもよい。また、例えば、DMS３０が、車内センサ２６からのセンサデータに基づいて、車内の状況の認識処理を行うようにしてもよい。認識対象となる車内の状況としては、例えば、気温、湿度、明るさ、臭い等が想定される。

HMI３１は、各種のデータや指示等の入力と、各種のデータの運転者などへの提示を行う。

HMI３１によるデータの入力について、概略的に説明する。HMI３１は、人がデータを入力するための入力デバイスを備える。HMI３１は、入力デバイスにより入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１１の各部に供給する。HMI３１は、入力デバイスとして、例えばタッチパネル、ボタン、スイッチ、及び、レバーといった操作子を備える。これに限らず、ＨＭＩ３１は、音声やジェスチャ等により手動操作以外の方法で情報を入力可能な入力デバイスをさらに備えてもよい。さらに、HMI３１は、例えば、赤外線あるいは電波を利用したリモートコントロール装置や、車両制御システム１１の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器を入力デバイスとして用いてもよい。

HMI３１によるデータの提示について、概略的に説明する。HMI３１は、搭乗者又は車外に対する視覚情報、聴覚情報、及び、触覚情報の生成を行う。また、HMI３１は、生成されたこれら各情報の出力、出力内容、出力タイミングおよび出力方法等を制御する出力制御を行う。HMI３１は、視覚情報として、例えば、操作画面、車両１の状態表示、警告表示、車両１の周囲の状況を示すモニタ画像等の画像や光により示される情報を生成および出力する。また、HMI３１は、聴覚情報として、例えば、音声ガイダンス、警告音、警告メッセージ等の音により示される情報を生成および出力する。さらに、HMI３１は、触覚情報として、例えば、力、振動、動き等により搭乗者の触覚に与えられる情報を生成および出力する。

HMI３１が視覚情報を出力する出力デバイスとしては、例えば、自身が画像を表示することで視覚情報を提示する表示装置や、画像を投影することで視覚情報を提示するプロジェクタ装置を適用することができる。なお、表示装置は、通常のディスプレイを有する表示装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR（Augmented Reality）機能を備えるウエアラブルデバイスといった、搭乗者の視界内に視覚情報を表示する装置であってもよい。また、HMI３１は、車両１に設けられるナビゲーション装置、インストルメントパネル、CMS（Camera Monitoring System）、電子ミラー、ランプなどが有する表示デバイスを、視覚情報を出力する出力デバイスとして用いることも可能である。

HMI３１が聴覚情報を出力する出力デバイスとしては、例えば、オーディオスピーカ、ヘッドホン、イヤホンを適用することができる。

HMI３１が触覚情報を出力する出力デバイスとしては、例えば、ハプティクス技術を用いたハプティクス素子を適用することができる。ハプティクス素子は、例えば、ステアリングホイール、シートといった、車両１の搭乗者が接触する部分に設けられる。

車両制御部３２は、車両１の各部の制御を行う。車両制御部３２は、ステアリング制御部８１、ブレーキ制御部８２、駆動制御部８３、ボディ系制御部８４、ライト制御部８５、及び、ホーン制御部８６を備える。

ステアリング制御部８１は、車両１のステアリングシステムの状態の検出及び制御等を行う。ステアリングシステムは、例えば、ステアリングホイール等を備えるステアリング機構、電動パワーステアリング等を備える。ステアリング制御部８１は、例えば、ステアリングシステムの制御を行うＥＣＵ等の制御ユニット、ステアリングシステムの駆動を行うアクチュエータ等を備える。

ブレーキ制御部８２は、車両１のブレーキシステムの状態の検出及び制御等を行う。ブレーキシステムは、例えば、ブレーキペダル等を含むブレーキ機構、ABS（Antilock Brake System）、回生ブレーキ機構等を備える。ブレーキ制御部８２は、例えば、ブレーキシステムの制御を行うECU等の制御ユニット等を備える。

駆動制御部８３は、車両１の駆動システムの状態の検出及び制御等を行う。駆動システムは、例えば、アクセルペダル、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構等を備える。駆動制御部８３は、例えば、駆動システムの制御を行うECU等の制御ユニット等を備える。

ボディ系制御部８４は、車両１のボディ系システムの状態の検出及び制御等を行う。ボディ系システムは、例えば、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、空調装置、エアバッグ、シートベルト、シフトレバー等を備える。ボディ系制御部８４は、例えば、ボディ系システムの制御を行うECU等の制御ユニット等を備える。

ライト制御部８５は、車両１の各種のライトの状態の検出及び制御等を行う。制御対象となるライトとしては、例えば、ヘッドライト、バックライト、フォグライト、ターンシグナル、ブレーキライト、プロジェクション、バンパーの表示等が想定される。ライト制御部８５は、ライトの制御を行うECU等の制御ユニット等を備える。

ホーン制御部８６は、車両１のカーホーンの状態の検出及び制御等を行う。ホーン制御部８６は、例えば、カーホーンの制御を行うECU等の制御ユニット等を備える。

図５は、図４の外部認識センサ２５のカメラ５１、レーダ５２、LiDAR５３、及び、超音波センサ５４等によるセンシング領域の例を示す図である。なお、図５において、車両１を上面から見た様子が模式的に示され、左端側が車両１の前端（フロント）側であり、右端側が車両１の後端（リア）側となっている。

センシング領域１０１Ｆ及びセンシング領域１０１Ｂは、超音波センサ５４のセンシング領域の例を示している。センシング領域１０１Ｆは、複数の超音波センサ５４によって車両１の前端周辺をカバーしている。センシング領域１０１Ｂは、複数の超音波センサ５４によって車両１の後端周辺をカバーしている。

センシング領域１０１Ｆ及びセンシング領域１０１Ｂにおけるセンシング結果は、例えば、車両１の駐車支援等に用いられる。

センシング領域１０２Ｆ乃至センシング領域１０２Ｂは、短距離又は中距離用のレーダ５２のセンシング領域の例を示している。センシング領域１０２Ｆは、車両１の前方において、センシング領域１０１Ｆより遠い位置までカバーしている。センシング領域１０２Ｂは、車両１の後方において、センシング領域１０１Ｂより遠い位置までカバーしている。センシング領域１０２Ｌは、車両１の左側面の後方の周辺をカバーしている。センシング領域１０２Ｒは、車両１の右側面の後方の周辺をカバーしている。

センシング領域１０２Ｆにおけるセンシング結果は、例えば、車両１の前方に存在する車両や歩行者等の検出等に用いられる。センシング領域１０２Ｂにおけるセンシング結果は、例えば、車両１の後方の衝突防止機能等に用いられる。センシング領域１０２Ｌ及びセンシング領域１０２Ｒにおけるセンシング結果は、例えば、車両１の側方の死角における物体の検出等に用いられる。

センシング領域１０３Ｆ乃至センシング領域１０３Ｂは、カメラ５１によるセンシング領域の例を示している。センシング領域１０３Ｆは、車両１の前方において、センシング領域１０２Ｆより遠い位置までカバーしている。センシング領域１０３Ｂは、車両１の後方において、センシング領域１０２Ｂより遠い位置までカバーしている。センシング領域１０３Ｌは、車両１の左側面の周辺をカバーしている。センシング領域１０３Ｒは、車両１の右側面の周辺をカバーしている。

センシング領域１０３Ｆにおけるセンシング結果は、例えば、信号機や交通標識の認識、車線逸脱防止支援システム、自動ヘッドライト制御システムに用いることができる。センシング領域１０３Ｂにおけるセンシング結果は、例えば、駐車支援、及び、サラウンドビューシステムに用いることができる。センシング領域１０３Ｌ及びセンシング領域１０３Ｒにおけるセンシング結果は、例えば、サラウンドビューシステムに用いることができる。

センシング領域１０４は、LiDAR５３のセンシング領域の例を示している。センシング領域１０４は、車両１の前方において、センシング領域１０３Ｆより遠い位置までカバーしている。一方、センシング領域１０４は、センシング領域１０３Ｆより左右方向の範囲が狭くなっている。

センシング領域１０４におけるセンシング結果は、例えば、周辺車両等の物体検出に用いられる。

センシング領域１０５は、長距離用のレーダ５２のセンシング領域の例を示している。
センシング領域１０５は、車両１の前方において、センシング領域１０４より遠い位置までカバーしている。一方、センシング領域１０５は、センシング領域１０４より左右方向の範囲が狭くなっている。

センシング領域１０５におけるセンシング結果は、例えば、ACC（Adaptive Cruise Control）、緊急ブレーキ、衝突回避等に用いられる。

なお、外部認識センサ２５が含むカメラ５１、レーダ５２、LiDAR５３、及び、超音波センサ５４の各センサのセンシング領域は、図５以外に各種の構成をとってもよい。具体的には、超音波センサ５４が車両１の側方もセンシングするようにしてもよいし、LiDAR５３が車両１の後方をセンシングするようにしてもよい。また、各センサの設置位置は、上述した各例に限定されない。また、各センサの数は、１つでも良いし、複数であっても良い。

＜＜３．本開示の駐車支援機能を実現する駐車支援制御部の構成例＞＞
次に、図６を参照して、本開示の駐車支援機能を実現する駐車支援制御部２０１の構成例について説明する。

駐車支援制御部２０１は、上述した車両制御システム１１における走行支援・自動運転制御部２９により実現される。

駐車支援制御部２０１は、カメラ２０２－１乃至２０２－ｑ、ToFカメラ２０３－１乃至２０３－ｒ、およびレーダ２０４－１乃至２０４－ｓより供給される画像データ、デプスデータ（測距結果）、およびレーダ検出結果に基づいて、駐車支援機能を実現する。

尚、カメラ２０２－１乃至２０２－ｑ、ToFカメラ２０３－１乃至２０３－ｒ、およびレーダ２０４－１乃至２０４－ｓのそれぞれについて、特に区別する必要がない場合、単に、カメラ２０２、ToFカメラ２０３、およびレーダ２０４と称するものとし、その他の構成も同様に称する。

カメラ２０２、およびToFカメラ２０３は、図４のカメラ５１に対応する構成であり、レーダ２０４は、図４のレーダ５２に対応する構成である。

尚、駐車支援制御部２０１は、図６におけるカメラ２０２－１乃至２０２－ｑ、ToFカメラ２０３－１乃至２０３－ｒ、およびレーダ２０４－１乃至２０４－ｓのみならず、図４の外部認識センサ２５、および車両センサ２７の各種の構成の検出結果を用いて駐車支援機能を実現させるようにしてもよい。

駐車支援制御部２０１は、カメラ２０２、ToFカメラ２０３、およびレーダ２０４より供給される画像データ、およびデプスデータに基づいて、画像データの画素単位でデプスデータと対応付ける。

駐車支援制御部２０１は、画素単位で対応付けられたデプスデータに加えて、画像データ、デプスデータ、およびレーダ検出結果を含めた情報を用いて、３Ｄセマンティックセグメンテーション処理を実行し、画素単位でデプスデータと物体認識結果とを対応付けた３Ｄセマンティックセグメンテーション画像を生成する。

駐車支援制御部２０１は、３Ｄセマンティックセグメンテーション画像に基づいて、駐車スペースを探索し、探索された駐車スペースに車両１への駐車動作を支援する。

この際、駐車支援制御部２０１は、駐車スペース探索モードと、駐車モードの２つの動作モードで動作して、駐車支援機能を実現する。

すなわち、まず、駐車支援制御部２０１は、駐車スペース探索モードで動作し、３Ｄセマンティックセグメンテーション画像に基づいて、駐車スペースを探索し、探索結果を記憶する。

そして、駐車支援制御部２０１は、駐車スペースが探索されると動作モードを駐車モードに切り替えて、探索された駐車スペースへの経路を計画し、計画された経路で駐車が完了するように車両１の動作を制御する。

このような動作により、駐車支援機能が実現されることで、人間が駐車操作をするときのように、駐車スペースの探索がなされた後に、駐車動作がなされるので、迅速でスムーズな駐車支援を実現することが可能となる。

より具体的には、駐車支援制御部２０１は、分析部２６１、行動計画部２６２、および動作制御部２６３より構成される。

分析部２６１は、図４の分析部６１に対応する構成であり、行動計画部２６２は、図４の行動計画部６２に対応する構成であり、動作制御部２６３は、図４の動作制御部６３に対応する構成である。

分析部２６１は、自己位置推定部２７１、センサフュージョン部２７２、および認識部２７３を備えている。

自己位置推定部２７１、センサフュージョン部２７２、および認識部２７３は、それぞれ、図４の自己位置推定部７１、センサフュージョン部７２、および認識部７３に対応する構成である。

自己位置推定部２７１は、自動駐車支援処理を実現するための機能として、SLAM処理部３０１、およびOMG記憶部３０２を備えている。

SLAM（Simultaneous Localization and Mapping）処理部３０１は、自動駐車支援機能を実現するための自己位置推定および周辺地図作成を同時に行う。具体的には、SLAM処理部３０１は、センサフュージョン部２７２より供給される複数のセンサからの情報が統合（、融合、または連合）された情報（以下、単に統合情報とも称する）に基づいて、自己位置推定および周辺の三次元地図を、例えば、占有格子地図（OGM：Occupancy Grid Map）として作成し、OMG記憶部３０２に記憶させる。

OMG記憶部３０２は、SLAM処理部３０１により作成されたOMGを記憶し、必要に応じて、行動計画部２６２に供給する。

認識部２７３は、物体検出部３２１、物体追跡部３２２、３Ｄセマンティックセグメンテーション処理部３２３、およびコンテキストアウェアネス部３２４を備えている。

物体検出部３２１は、センサフュージョン部２７２より供給される統合情報に基づいて、例えば、物体の有無、大きさ、形、位置、動き等を検出することで、物体を検出する。物体追跡部３２２は、物体検出部３２１により検出する物体を追跡する。

３Ｄセマンティックセグメンテーション処理部３２３は、カメラ２０２により撮像された画像データ、ToFカメラ２０３により検出されたデプスデータ（測距結果）、およびレーダ２０４の検出結果に基づいて、３次元のセマンティックセグメンテーション（３Ｄセマンティックセグメンテーション）を実行し、３Ｄセマンティックセグメンテーション結果を生成する。尚、３Ｄセマンティックセグメンテーション処理部３２３の詳細な構成については、図７を参照して後述する。

コンテキストアウェアネス部３２４は、例えば、DNN（ディープニューラルネットワーク）等を用いた機械学習がなされた認識器からなり、３Ｄセマンティックセグメンテーション結果に基づいて、物体と物体との関係性から状況（例えば、駐車スペース）を認識する。

より詳細には、コンテキストアウェアネス部３２４は、駐車スペース検出部３２４ａを備えており、３Ｄセマンティックセグメンテーション結果に基づいて、物体と物体との関係性から駐車スペースを検出させる。

駐車スペース検出部３２４ａは、例えば、３Ｄセマンティックセグメンテーション結果に基づいて、車両が駐車可能な大きさの白線などの枠で囲まれた空間、白線がなくても車輪止めが存在する車両が駐車可能な大きさの空間、車両と支柱との間に存在する車両が駐車可能な大きさの空間など、複数の物体認識結果の相互の関係性から駐車スペースを認識して検出する。

行動計画部２６２は、経路計画部３５１を備えており、認識部２７３により駐車スペースが検出されるとき、自車の現状の位置から、検出された駐車スペースに駐車するまでの経路を計画する。動作制御部２６３は、行動計画部２６２により作成された、認識部２７３により認識された駐車スペースに駐車するまでの行動計画を実現するために、車両１の動作を制御する。

＜３Ｄセマンティックセグメンテーション処理部の構成例＞
次に、図７を参照して、３Ｄセマンティックセグメンテーション処理部３２３の構成例について説明する。

３Ｄセマンティックセグメンテーション処理部３２３は、前処理部３７１、画像特徴量抽出部３７２、単眼デプス推定部３７３、３Ｄアンカグリッド生成部３７４、デンスフュージョン処理部３７５、前処理部３７６、ポイントクラウド特徴量抽出部３７７、レーダ検出結果特徴量抽出部３７８、および種別判定部３７９を備えている。

前処理部３７１は、カメラ２０２より時系列で供給される画像データに対して、所定の前処理（コントラスト補正やエッジ強調等）を施して、画像特徴量抽出部３７２、および種別判定部３７９に出力する。

画像特徴量抽出部３７２は、前処理が施された画像データより画像の特徴量を画像特徴量として抽出して単眼デプス推定部３７３、ポイントクラウド特徴量抽出部３７７、種別判定部３７９に出力する。

単眼デプス推定部３７３は、画像特徴量に基づいて、単眼デプス（測距画像）を推定し、デンスデプスデータ（画像に基づいたデプスデータ）としてデンスフュージョン処理部３７５に出力する。単眼デプス推定部３７３は、例えば、１枚の２次元画像データ内の消失点から画像特徴量が抽出される特徴点までの距離の情報を用いて単眼デプス（測距画像）を推定し、デンスデプスデータとしてデンスフュージョン処理部３７５に出力する。

３Ｄアンカグリッド生成部３７４は、ToFカメラ２０３により検出された測距結果に基づいた、３次元のアンカポジションを格子状にした３Ｄアンカグリッドを生成し、デンスフュージョン処理部３７５に出力する。

デンスフュージョン処理部３７５は、３Ｄアンカグリッド生成部３７４より供給される３Ｄアンカグリッドと、単眼デプス推定部３７３より供給されるデンスデプスとを融合してデンスフュージョンを生成し、ポイントクラウド特徴量抽出部３７７に出力する。

前処理部３７６は、ToFカメラ２０３より供給される測距結果からなるポイントクラウドデータにノイズ除去等の前処理を施して、ポイントクラウド特徴量抽出部３７７、および種別判定部３７９に出力する。

ポイントクラウド特徴量抽出部３７７は、画像特徴量抽出部３７２より供給される画像特徴量、デンスフュージョン処理部３７５より供給されるデンスフュージョンに基づいて、前処理部３７６より供給される前処理が施されたポイントクラウドデータよりポイントクラウド特徴量を抽出して種別判定部３７９に出力する。

レーダ検出結果特徴量抽出部３７８は、レーダ２０４より供給されるレーダ２０４の検出結果よりレーダ検出結果特徴量を抽出して、種別判定部３７９に出力する。

種別判定部３７９は、前処理部３７６より供給されるポイントクラウドデータ（デプスデータ）に基づいて、前処理部３７１より供給される画像データの各画素におけるデプスデータを対応させることで、画像データにおける画素単位でデプスデータを対応付ける。この際、種別判定部３７９は、必要に応じて、ポイントクラウドデータと、レーダ２０４のレーダ検出結果（レーダ検出結果に基づいたデプスデータ（ポイントクラウド））とを合成したデプスデータを生成し、画像データにおける画素単位で対応付けるようにしてもよい。これにより、ToFカメラ２０３を補完することが可能となる。すなわち、例えば、霧等により、ToFカメラ２０３の信頼性が所定の閾値よりも低下するようなシーンにおいても、電波を用いるレーダ２０４のレーダ検出結果を用いることで、所定の閾値よりも信頼性を低下させることなく測距することが可能となる。この場合、レーダ２０４は、カメラ２０２並みの高解像度を有する、いわゆるイメージングレーダとすることが望ましい。また、レーダ２０４によるレーダ検出結果を用いることにより、物体との相対速度を算出することができるため、対象物が動いているか否かを判定することが可能となり、例えば、画素単位での速度情報を加えることで、物体認識性能を向上させることが可能となる。より具体的には、画素ごとに（ｘ，ｙ，ｚ，ｖｘ，ｖｙ，ｖｚ）の６つのパラメータを用いた物体認識処理を実現することで、物体認識精度を向上させることが可能となる。尚、ｖｘ，ｖｙ，ｖｚは、それぞれｘ，ｙ，ｚ方向の速度情報である。

また、種別判定部３７９は、例えば、DNN（ディープニューラルネットワーク）などの機械学習を用いた３Ｄセマンティックセグメンテーション処理を実行する認識器より構成され、画像特徴量抽出部３７２より供給される画像特徴量、ポイントクラウド特徴量抽出部３７７より供給されるポイントクラウド特徴量、およびレーダ検出結果特徴量抽出部３７８より供給されるレーダ検出結果特徴量に基づいて、画像データの画素単位で、物体認識処理を施して、種別（クラス）を特定する。

すなわち、種別判定部３７９は、例えば、図８で示されるように、画像Ｐ１１のグリッドで示される画素単位で、デプスデータ（ｘ，ｙ，ｚ）を対応付ける。さらに、種別判定部３７９は、デプスデータ、画像特徴量、ポイントクラウド特徴量、およびレーダ検出結果特徴量に基づいて、画素単位で３Ｄセマンティックセグメンテーション処理を実行することにより種別（クラス）（ｓｅｇ）を判定する。そして、種別判定部３７９は、画素単位で種別判定結果とデプスデータとを両者を対応付けることにより、３Ｄセマンティックセグメンテーション情報（ｘ，ｙ，ｚ，ｓｅｇ）を設定する。

種別判定部３７９は、画素単位で設定された３Ｄセマンティックセグメンテーション情報（ｘ，ｙ，ｚ，ｓｅｇ）からなる画像を、３Ｄセマンティックセグメンテーション画像として生成する。この結果、３Ｄセマンティックセグメンテーション画像は、画像内に種別（クラス）毎の領域が形成された画像となる。

物体認識処理により物体として認識される種別（クラス）は、例えば、車道、歩道、歩行者、自転車やモーターバイクのライダー、車両、トラック、バス、モーターバイク、自転車、建物、壁、ガードレール、橋、トンネル、ポール、交通標識、交通信号、白線等である。例えば、種別（クラス）として、例えば、車両に分類された画素は、その周辺に同様に車両の種別（クラス）として分類された画素が存在し、それらが形成する領域が全体として車両として視認可能な画像を形成する。したがって、画像内には、画素単位で分類された種別（クラス）毎の領域が形成されることになる。

尚、種別判定部３７９は、デプスデータ、画像特徴量、ポイントクラウド特徴量、およびレーダ検出結果特徴量に基づいて、画素単位で３Ｄセマンティックセグメンテーション処理を実行して種別を判定する例について説明してきた。

しかしながら、デプスデータに代えて、２Ｄ（２次元）の画像データ、および画像特徴量のみを用いて２Ｄセマンティックセグメンテーション処理を実行して画素単位で種別を判定した後、画素単位で、デプスデータと対応付けることで、３Ｄセマンティックセグメンテーション処理を実現するようにしてもよい。また、レーダ検出結果特徴量を用いずに、３Ｄセマンティックセグメンテーション処理が行われるようにしてもよい。

＜コンテキストアウェアネス部による駐車スペースの検出（その１）＞
次に、コンテキストアウェアネス部３２４による駐車スペースの検出について説明する。

上述したように３Ｄセマンティックセグメンテーション情報は、撮像された画像データにおける画素単位のデプスデータと種別から構成される。

そこで、コンテキストアウェアネス部３２４は、コンテキストアウェアネス処理と呼ばれる処理により３Ｄセマンティックセグメンテーション情報に基づいて、周囲を撮像した画像内の画素単位の種別判定結果を用いた物体間の関係性を特定し、特定した物体間の関係性から周囲の状況を認識する。

この例においては、コンテキストアウェアネス部３２４が駐車スペース検出部３２４ａを備えており、駐車スペース検出部３２４ａを制御することで、３Ｄセマンティックセグメンテーション情報に基づいたコンテキストアウェアネス処理を実行させることで、物体間の関係性から、画像内における駐車スペースを検出させる。

例えば、図９の画像Ｐ３１の場合、駐車スペース検出部３２４ａは、画素単位のデプスデータと種別に基づいて、画像Ｐ３１内における支柱Ｃｈ１１と停車中の車両Ｃｈ１２との位置関係や、スペースのサイズや形状などに基づいて、実線で示される範囲を駐車スペースと認識する。

また、例えば、図９の画像Ｐ３２の場合、駐車スペース検出部３２４ａは、画素単位のデプスデータと種別に基づいて、画像Ｐ３２内における複数の車輪止めＣｈ２１の配置間隔と、スペースのサイズや形状などに基づいて、実線で示される範囲を駐車スペースと認識する。

さらに、例えば、図９の画像Ｐ３３の場合、駐車スペース検出部３２４ａは、画素単位のデプスデータと種別に基づいて、画像Ｐ３３内におけるコインパーキングの可倒式の車輪止めＣｈ３１と白線Ｃｈ３２との配置間隔と、スペースのサイズに基づいて、実線で示される範囲を駐車スペースと認識する。

また、例えば、図９の画像Ｐ３４の場合、駐車スペース検出部３２４ａは、画素単位のデプスデータと種別に基づいて、画像Ｐ３４内における車両Ｃｈ４１と立体駐車用の支柱Ｃｈ４２との位置関係と、スペースのサイズや形状などから、実線で示される範囲を駐車スペースと認識する。

このように、コンテキストアウェアネス部３２４（の駐車スペース検出部３２４ａ）は、DNN（ディープニューラルネットワーク）などの機械学習がなされた認識器として機能することにより、３Ｄセマンティックセグメンテーション情報に含まれるデプスデータと種別（クラス）の情報に基づいた、複数の認識結果の関係性に基づいて、駐車スペースを検出する。

尚、コンテキストアウェアネス部３２４（の駐車スペース検出部３２４ａ）を実現するDNNによる機械学習がなされた認識器と、種別判定部３７９を実現するDNNによる機械学習がなされた認識器とは、異なるものでもよいし、同一のものでもよい。

そして、コンテキストアウェアネス部３２４の駐車スペース検出部３２４ａは、図９を参照して説明した駐車スペースとして検出された領域のうち、車両が駐車していない空きスペースとなっている駐車スペースを駐車支援機能としての駐車目標となる、目標駐車スペースとして検出する。

＜コンテキストアウェアネス部による駐車スペースの検出（その２）＞
以上においては、駐車場における駐車スペースの検出方法について説明してきたが、駐車場ではなく、路上の駐車スペースを検出する例について説明する。

例えば、図１０で示されるような画像Ｐ３１がカメラ２０２により撮像される場合について考える。

画像Ｐ３１は、図１０の右部で示される俯瞰図における車両Ｃ５１から図中上方を前方として撮像したときの画像である。画像Ｐ５１においては、道路の左側に車両Ｃ６１乃至Ｃ６４が縦列駐車している。

画像Ｐ３１における各画素には、デプスデータと種別（クラス）からなる３Ｄセマンティックセグメンテーション情報が設定されている。このため、コンテキストアウェアネス部３２４の駐車スペース検出部３２４ａは、図中右部で示されるように、画像Ｐ３１内における車両Ｃ６１，Ｃ６２のそれぞれの右後部の車両Ｃ５１からの距離を認識することが可能であり、その距離の差から、駐車スペースＳＰ５１の存在を認識することが可能である。

より詳細には、例えば、車両Ｃ６２の右先端部と白線までの距離ＤＬ、車両Ｃ６２の右先端部までの距離、視認可能な車両Ｃ６１の右後端部の幅ＤＳ、車両Ｃ６１の右後端部までの距離に基づいて、コンテキストアウェアネス部３２４の駐車スペース検出部３２４ａは、図中の点線で示される矩形状の空きスペースの大きさを特定することができる。具体的には、３Ｄセマンティックセグメンテーション情報に基づく、オフラインにて学習された特徴量抽出器を用いた駐車スペース認識処理と、上記距離ＤＬや上記幅ＤＳ等の距離情報を用いた駐車スペース認識処理との両方を用いて空きスペースの大きさを特定する。

そこで、コンテキストアウェアネス部３２４の駐車スペース検出部３２４ａは、特定した空きスペースの大きさから、車両Ｃ５１を駐車可能な大きさであることが認識できるとき、図中の点線で示される矩形状の空きスペースを駐車スペースＳＰ５１として認識する。

このように、図１０の画像Ｐ３１で示されるような画像と、対応する３Ｄセマンティックセグメンテーション情報とに基づいて、コンテキストアウェアネス部３２４の駐車スペース検出部３２４ａは、車両Ｃ６１，Ｃ６２の間の空きスペースを駐車スペースとして認識することが可能である。

これにより、２次元の画像Ｐ３１のみでは、前方15乃至30m先程度に、駐車スペースＳＰ５１のような空きスペースを認識することは難しいが、３Ｄセマンティックセグメンテーション情報が設定されることにより、車体の右後部のエッジ部しか見えない状況でも、適切に駐車スペースＳＰ５１を検出することが可能となる。

＜３Ｄセマンティックセグメンテーション画像生成処理＞
次に、図１１のフローチャートを参照して、３Ｄセマンティックセグメンテーション処理部３２３による３Ｄセマンティックセグメンテーション画像を生成する３Ｄセマンティックセグメンテーション画像生成処理について説明する。

ステップＳ１１において、前処理部３７１は、カメラ２０２より供給される撮像された画像データを取得する。

ステップＳ１２において、３Ｄアンカグリッド生成部３７４、および前処理部３７６は、ToFカメラ２０３によりセンシングされたデプスデータ（測距結果）を取得する。

ステップＳ１３において、レーダ検出結果特徴量抽出部３７８は、レーダ２０４の検出結果をレーダ検出結果として取得する。

ステップＳ１４において、前処理部３７１は、カメラ２０２より供給された画像データに対して、所定の前処理（コントラスト補正やエッジ強調等）を施して、画像特徴量抽出部３７２、および種別判定部３７９に出力する。

ステップＳ１５において、画像特徴量抽出部３７２は、前処理が施された画像データより画像の特徴量を画像特徴量として抽出して単眼デプス推定部３７３、ポイントクラウド特徴量抽出部３７７、および種別判定部３７９に出力する。

ステップＳ１６において、単眼デプス推定部３７３は、画像特徴量に基づいて、単眼デプス（測距画像）を推定し、デンスデプス（画像に基づいたデプスデータ）としてデンスフュージョン処理部３７５に出力する。

ステップＳ１７において、３Ｄアンカグリッド生成部３７４は、ToFカメラ２０３により検出されたデプスデータ（測距結果）に基づいた、３次元のアンカポジションをグリッド化した３Ｄアンカグリッドを生成し、デンスフュージョン処理部３７５に出力する。

ステップＳ１８において、デンスフュージョン処理部３７５は、３Ｄアンカグリッド生成部３７４より供給される３Ｄアンカグリッドと、単眼デプス推定部３７３より供給されるデンスデプスとを融合してデンスフュージョンデータを生成し、ポイントクラウド特徴量抽出部３７７に出力する。

ステップＳ１９において、前処理部３７６は、ToFカメラ２０３より供給されるデプスデータ（測距結果）からなるポイントクラウドデータにノイズ除去等の前処理を施して、ポイントクラウド特徴量抽出部３７７、および種別判定部３７９に出力する。

ステップＳ２０において、ポイントクラウド特徴量抽出部３７７は、画像特徴量抽出部３７２より供給される画像特徴量、デンスフュージョン処理部３７５より供給されるデンスフュージョンデータに基づいて、前処理部３７６より供給される前処理が施されたポイントクラウドデータよりポイントクラウド特徴量を抽出して種別判定部３７９に出力する。

ステップＳ２１において、レーダ検出結果特徴量抽出部３７８は、レーダ２０４より供給されるレーダ２０４の検出結果よりレーダ検出結果特徴量を抽出して、種別判定部３７９に出力する。

ステップＳ２２において、種別判定部３７９は、前処理部３７６より供給されるポイントクラウドデータに基づいて、前処理部３７１より供給される画像データの各画素におけるデプスデータを対応させることで、画像データにおける画素単位でデプスデータを対応付ける。

ステップＳ２３において、種別判定部３７９は、画素単位のデプスデータ、画像特徴量抽出部３７２より供給される画像特徴量、ポイントクラウド特徴量抽出部３７７より供給されるポイントクラウド特徴量、およびレーダ検出結果特徴量抽出部３７８より供給されるレーダ検出結果特徴量に基づいて、３Ｄセマンティックセグメンテーション処理による物体認識処理を施して、画像データの種別（クラス）を画素単位で判定し、３Ｄセマンティックセグメンテーション情報（ｘ，ｙ，ｚ，ｓｅｇ）を生成する。

ステップＳ２４において、種別判定部３７９は、撮像された画像データについて、画素単位毎で、３Ｄセマンティックセグメンテーション情報（ｘ，ｙ，ｚ，ｓｅｇ）を対応付けた画像を、３Ｄセマンティックセグメンテーション画像として生成し、時系列に記憶する。

ステップＳ２５において、停止動作がなされたか否かが判定されて、停止動作がなされない場合、処理は、ステップＳ１１に戻る。すなわち、停止動作がなされるまで、ステップＳ１１乃至Ｓ２５の処理が繰り返される。

そして、ステップＳ２５において、停止動作が指示された場合、処理は、終了する。

以上の処理により、時系列に撮像される画像データのそれぞれについて、画素単位で３Ｄセマンティックセグメンテーション情報が設定されて、さらに、３Ｄセマンティックセグメンテーション情報からなる画像が、３Ｄセマンティックセグメンテーション画像として生成される処理が繰り返されて、順次記憶される。

そして、時系列に順次生成される３Ｄセマンティックセグメンテーション画像が用いられて、以降において説明する駐車支援処理が実現される。

また、以上の処理により、他の処理と独立して、３Ｄセマンティックセグメンテーション画像が時系列に順次記憶されるため、他の処理において、時系列に生成された３Ｄセマンティックセグメンテーション画像を用いた処理が可能となる。

例えば、物体検出部３２１は、３Ｄセマンティックセグメンテーション画像に基づいて物体を検出するようにしてもよい。また、物体追跡部３２２は、物体検出部３２１の物体検出結果に対して、３Ｄセマンティックセグメンテーション画像を用いて、物体を追跡するようにしてもよい。さらに、後述する駐車モードの処理において、車両の駐車スペースへの駐車が完了するまでの間に、駐車スペース周辺の３Ｄセマンティックセグメンテーション画像に基づいて、駐車スペースに障害物が発見されるなどして駐車不可の状態に変化したか否かなどを確認する処理に用いることも可能となる。

＜駐車支援処理＞
次に、図１２のフローチャートを参照して、駐車支援処理について説明する。

ステップＳ４１において、駐車支援制御部２０１は、駐車支援処理を開始させるか否かを判定する。駐車支援制御部２０１は、例えば、駐車支援処理の開始を指示するHMI３１等の入力デバイスが操作されたか否かに基づいて、駐車支援処理を開始させるか否かを判定するようにしてもよい。

また、駐車支援制御部２０１は、３Ｄセマンティックセグメンテーション画像から駐車場の入口を示す情報が検出されたか否かに基づいて、駐車支援処理を開始させるか否かを判定するようにしてもよい。

ステップＳ４１において、駐車支援処理の開始が指示されたとみなされた場合、処理は、ステップＳ４２に進む。

ステップＳ４２において、駐車支援制御部２０１は、HMI３１を制御して、駐車支援処理を開始したことを示す情報を提示する。

ステップＳ４３において、駐車支援制御部２０１は、動作モードを駐車スペース探索モードに設定し、HMI３１を制御して、現在の動作モードが駐車スペース探索モードであることを提示する。

ステップＳ４４において、駐車支援制御部２０１は、分析部２６１の認識部２７３におけるコンテキストアウェアネス部３２４を制御して、駐車スペース探索モード処理を実行させて、駐車スペースを探索させて、探索結果となる駐車スペースを登録させる。尚、駐車スペース探索モード処理については、図１３のフローチャートを参照して、詳細を後述する。

ステップＳ４５において、駐車支援制御部２０１は、コンテキストアウェアネス部３２４において、駐車可能な駐車スペースが登録されているか否かを判定する。尚、「登録されている」の意味は、自宅の駐車スペース等が予め登録されていることを意味するものではなく、コンテキストアウェアネス部３２４において一時的に登録されていることを意味する。

ステップＳ４５において、駐車可能な駐車スペースが登録されていると判定された場合、処理は、ステップＳ４６に進む。

ステップＳ４６において、駐車支援制御部２０１は、動作モードを駐車モードに切り替えて設定し、HMI３１を制御して、動作モードが駐車モードであることを提示する。

ステップＳ４７において、駐車支援制御部２０１は、行動計画部２６２を制御して、駐車モード処理を実行させて車両を駐車させる。尚、駐車モード処理については、図１４のフローチャートを参照して、詳細を後述する。

ステップＳ４８において、駐車支援制御部２０１は、駐車支援処理の終了か否かを判定する。より詳細には、駐車支援制御部２０１は、駐車モード処理により駐車が完了したか、または、駐車スペースがなく、駐車ができないことが提示されることにより、駐車支援処理が終了したか否かを判定する。

ステップＳ４８において、駐車支援処理が終了したと判定された場合、処理は、ステップＳ４９に進む。

ステップＳ４９において、駐車支援制御部２０１は、HMI３１を制御して、駐車支援処理が終了したことを提示する。

ステップＳ５０において、駐車支援制御部２０１は、車両１の操作を停止させる停止動作がなされたか否かを判定し、車両１の停止動作がなされていないと判定された場合、処理は、ステップＳ４１に戻る。

一方、ステップＳ４５において、駐車可能な駐車スペースが登録されていないと判定された場合、処理は、ステップＳ５１に進む。

ステップＳ５１において、駐車支援制御部２０１は、HMI３１を制御して、駐車スペースがないことを提示し、処理は、ステップＳ４８に進む。

また、ステップＳ４１において、駐車支援処理の開始が指示されていない場合、処理は、ステップＳ５０に進む。

すなわち、駐車支援処理の開始が指示されず、車両１の停止動作もなされない場合、ステップＳ４１，Ｓ５０の処理が、繰り返される。

そして、ステップＳ５０において、車両１の停止動作がなされた場合、処理は終了する。

以上の処理により、駐車スペース探索モードにより、３Ｄセマンティックセグメンテーション情報に基づいた駐車スペースの探索がなされ、駐車スペースが探索されて登録されている場合、探索結果として登録されている駐車スペースへの車両１の駐車動作がなされる。

また、駐車スペースが探索されず、駐車可能な駐車スペースが登録されていない場合、駐車スペースがなく駐車することができないことが提示される。

以上の処理により、駐車スペース探索モードの処理がなされた後に、駐車モードの処理がなされることにより、人間が駐車操作をするときのように、周囲にある駐車スペースを見つけてから駐車操作がなされることになるので、迅速でスムーズな駐車支援を実現することが可能となる。

＜駐車スペース探索モード処理＞
次に、図１３のフローチャートを参照して、駐車スペース探索モード処理について説明する。

ステップＳ７１において、コンテキストアウェアネス部３２４は、３Ｄセマンティックセグメンテーション処理部３２３に登録されている３Ｄセマンティックセグメンテーション画像を取得する。

ステップＳ７２において、コンテキストアウェアネス部３２４は、駐車スペース検出部３２４ａを制御して、３Ｄセマンティックセグメンテーション画像に基づいて、駐車スペースを探索させる。ここで、コンテキストアウェアネス部３２４の駐車スペース検出部３２４ａによる駐車スペースの探索処理は、例えば、図９や図１０を参照して説明したコンテキストアウェアネス処理である。

ステップＳ７３において、コンテキストアウェアネス部３２４は、駐車スペース検出部３２４ａによる、３Ｄセマンティックセグメンテーション画像に基づいた、駐車スペースの探索結果として、探索された駐車スペースと、その位置の情報を登録（更新）する。

以上の処理により、３Ｄセマンティックセグメンテーション画像に基づいたコンテキストアウェアネス処理により、駐車スペースが探索されて、順次駐車スペース検出部３２４ａにおいて登録される。

尚、駐車スペース探索モードが継続されている限り、同様の処理が繰り返されることになるので、一度は、探索されていた駐車可能な駐車スペースに、例えば、障害物が発生したり、別の車両が駐車するなどして、駐車可能な駐車スペースではなくなった場合、登録されていた駐車スペースの情報は削除されて更新される。

また、同様に、駐車可能な駐車スペースとして探索されていないスペースであっても、駐車スペース探索モード中に駐車スペースから車両が走り去るなどして、新たな駐車スペースとして探索されると、新たに登録されることになる。

さらに、複数の駐車スペースが探索される場合については、複数の駐車スペースの位置情報が登録される。

＜駐車モード処理＞
次に、図１４のフローチャートを参照して、駐車モード処理について説明する。

ステップＳ９１において、行動計画部２６２は、駐車スペース検出部３２４ａに登録されている駐車スペースの位置情報を読み出す。複数の駐車スペースの位置情報が登録されている場合については、複数の駐車スペースの位置情報が読み出される。

ステップＳ９２において、行動計画部２６２は、読み出した駐車スペースの位置情報のうち、自車の位置から最短距離となる駐車スペースを目的駐車スペースに設定する。その際、最短距離となる駐車スペースを目的駐車スペースに設定して良いか、ユーザに確認を取るステップがあっても良い。または、車室内に配置されたディスプレイに複数の駐車スペースを表示し、ユーザが当該複数の駐車スペースの中から目的駐車スペースを選択しても良い。

ステップＳ９３において、行動計画部２６２は、経路計画部３５１を制御して、目的駐車スペースまでの経路を駐車経路として計画させる。

ステップＳ９４において、行動計画部２６２は、HMI３１を制御して、経路計画部３５１により計画された、目的駐車スペースまでの駐車経路を提示させる。

ステップＳ９５において、行動計画部２６２は、動作制御部２６３を制御して、駐車経路に沿って、車両１を動作させる。

ステップＳ９６において、行動計画部２６２は、駐車完了か否かを判定する。ステップＳ９６において、駐車完了ではないと判定された場合、処理は、ステップＳ９７に進む。

ステップＳ９７において、行動計画部２６２は、目的駐車スペースが、例えば、最新の３Ｄセマンティックセグメンテーション画像に基づいて、駐車不可の状態になっているか否かを判定する。すなわち、駐車経路に沿って移動する中で、目的駐車スペース内に障害物が発見されたり、駐車経路に移動している間に、目的駐車スペースに他の車両が入るなどして駐車不可となっていないか否かが判定される。

ステップＳ９６において、目的駐車スペースが駐車不可になっていない場合、処理は、ステップＳ９４に戻る。すなわち、駐車経路に沿って動作がなされ、目的駐車スペースが駐車不可にならない限り、駐車が完了するまで、ステップＳ９４乃至Ｓ９７の処理が繰り返される。

また、ステップＳ９７において、目的駐車スペースが駐車不可になったと判定された場合、処理は、ステップＳ９８に進む。

ステップＳ９８において、行動計画部２６２は、読み出した駐車スペースの位置情報にその他の駐車スペースの位置情報が存在するか否かを判定する。

ステップＳ９８において、読み出した駐車スペースの位置情報にその他の駐車スペースの位置情報が存在すると判定された場合、処理は、ステップＳ９２に戻る。

すなわち、新たな駐車スペースが、目的駐車スペースと、その駐車経路が再設定されて、ステップＳ９４乃至Ｓ９７の処理が繰り返される。

そして、ステップＳ９６において、駐車が完了したと判定された場合、処理は、ステップＳ１００に進む。

ステップＳ１００において、行動計画部２６２は、HMI３１を制御して、駐車完了を通知する画像を提示させる。

また、ステップＳ９８において、駐車スペースが他にない場合、処理は、ステップＳ９９に進む。

ステップＳ９９において、行動計画部２６２は、HMI３１を制御して、駐車スペースが見つからず、駐車ができないことを通知する画像を提示する。

以上の処理により、駐車スペースとして登録されている位置情報のうち、自車から最も近い位置情報の駐車スペースが目的駐車スペースに設定されて、駐車経路が計画されて駐車経路に沿った動作がなされて、自動駐車が実現される。

この際、目的駐車スペースに向かって駐車がなされる間に、目的駐車スペースに障害物があることが検出されたり、他の車両が駐車するなどして駐車不可になった場合については、他の駐車スペースの位置情報が登録されているときには、他の駐車スペースのうち、自車から最も近い位置の駐車スペースが目的駐車スペースに再設定されて駐車がなされる。

以上の一連の処理により、カメラ２０２により撮像された画像、ToFカメラ２０３により検出されたデプスデータ（測距結果）、およびレーダ２０４の検出結果に基づいて、画像内の画素単位でデプスデータ（３次元位置）と物体の種別（クラス）が設定されて、３Ｄセマンティックセグメンテーション画像が生成される。

また、３Ｄセマンティックセグメンテーション画像に基づいたコンテキストアウェアネス処理により駐車スペースが検出されて、位置情報が登録される。

そして、登録された駐車スペースの位置情報に基づいて、駐車経路が設定されて、駐車するための動作が制御される。

これにより、画像特徴量に加えて、３次元の情報であるポイントクラウド特徴量やレーダ検出結果特徴量が組み合わされて、画素単位で種別（クラス）が判定されることになるので、より高精度な種別判定を実現することが可能となる。

また、高精度な種別判定がなされた３Ｄセマンティックセグメンテーション画像を用いたコンテキストアウェアネス処理により、駐車スペースを特定することが可能となるので、駐車スペースの環境に左右されることなく、様々な駐車スペースを適切に探索することが可能となる。また、車両のカメラで撮像された画像で駐車スペースが設定されてから駐車経路を設定させることができるので、駐車スペースの付近を通過しなくても駐車経路を設定することが可能となる。

結果として、カメラで撮像された画像内の情報に基づいて駐車スペースを特定してから駐車経路を設定して駐車することが可能となるため、人間が駐車操作をするときのような迅速でスムーズな駐車支援を実現することが可能となる。

＜＜４．ソフトウエアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。

図１５は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

尚、図１５におけるCPU１００１が、図６の駐車支援制御部２０１の機能を実現させる。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本開示は、以下のような構成も取ることができる。

＜１＞ 車両の周囲の画像データを取得する画像取得部と、
前記車両の周囲のデプスデータを取得するデプスデータ取得部と、
前記画像データの画素単位で、前記デプスデータと、前記画像データに対する３Ｄセマンティックセグメンテーション処理により分類されたクラス情報とが設定された３Ｄセマンティックセグメンテーション画像を生成する３Ｄセマンティックセグメンテーション処理部と、
前記３Ｄセマンティックセグメンテーション画像に基づいて、駐車可能な駐車スペースを探索する駐車スペース探索部と
を備える情報処理装置。
＜２＞ 前記３Ｄセマンティックセグメンテーション処理部は、前記画像データと前記デプスデータとに基づいて、前記画素単位のデプスデータを生成し、前記画素単位のデプスデータに対応付けて、前記画像データに対して前記３Ｄセマンティックセグメンテーション処理を実行し、前記画素単位でクラス情報を設定することで複数の領域からなる前記３Ｄセマンティックセグメンテーション画像を生成する
＜１＞に記載の情報処理装置。
＜３＞ 前記デプスデータに基づいたポイントクラウドにおける特徴量をポイントクラウド特徴量として抽出するポイントクラウド特徴量抽出部とをさらに備え、
前記３Ｄセマンティックセグメンテーション処理部は、前記画素単位のデプスデータに対応付けて、前記ポイントクラウド特徴量に基づいて、前記画像データに対して前記３Ｄセマンティックセグメンテーション処理を実行し、それぞれクラス情報を設定することで複数の領域からなる前記３Ｄセマンティックセグメンテーション画像を生成する
＜２＞に記載の情報処理装置。
＜４＞ 前記画像データにおける特徴量を画像特徴量として抽出する画像特徴量抽出部をさらに備え、
前記ポイントクラウド特徴量抽出部は、前記デプスデータに基づいたポイントクラウドにおける特徴量を、前記画像特徴量に基づいて、前記ポイントクラウド特徴量として抽出し、
前記３Ｄセマンティックセグメンテーション処理部は、前記画素単位のデプスデータに対応付けて、前記ポイントクラウド特徴量および前記画像特徴量に基づいて、前記画像データに対して前記３Ｄセマンティックセグメンテーション処理を実行し、それぞれクラス情報を設定することで複数の領域からなる前記３Ｄセマンティックセグメンテーション画像を生成する
＜３＞に記載の情報処理装置。
＜５＞ 前記画像特徴量に基づいて、単眼デプスを推定する単眼デプス推定部をさらに備え、
前記ポイントクラウド特徴量抽出部は、前記デプスデータに基づいたポイントクラウドにおける特徴量を、前記画像特徴量と前記単眼デプスとに基づいて、前記ポイントクラウド特徴量として抽出する
＜４＞に記載の情報処理装置。
＜６＞ 前記デプスデータに基づいて、３Ｄアンカグリッドを生成する３Ｄアンカグリッド生成部と、
前記単眼デプスに基づいたデンスデプスデータと、前記３Ｄアンカグリッドとを融合してデンスフュージョンデータを生成する融合部とをさらに備え、
前記ポイントクラウド特徴量抽出部は、前記デプスデータに基づいたポイントクラウドにおける特徴量を、前記画像特徴量と前記デンスフュージョンデータとに基づいて、前記ポイントクラウド特徴量として抽出する
＜５＞に記載の情報処理装置。
＜７＞ レーダを用いた前記車両の周囲の検出結果をレーダ検出結果として取得するレーダ検出結果取得部と、
前記レーダ検出結果の特徴量をレーダ検出結果特徴量として抽出するレーダ検出結果特徴量抽出部とをさらに含み、
前記３Ｄセマンティックセグメンテーション処理部は、前記画素単位のデプスデータに対応付けて、前記ポイントクラウド特徴量、前記画像特徴量、および前記レーダ検出結果特徴量に基づいて、前記画像データに対して前記３Ｄセマンティックセグメンテーション処理を実行し、それぞれクラス情報を設定することで複数の領域からなる前記３Ｄセマンティックセグメンテーション画像を生成する
＜３＞に記載の情報処理装置。
＜８＞ 前記デプスデータは、光測距センサを用いて生成され、
前記３Ｄセマンティックセグメンテーション処理部は、前記光測距センサを用いて生成される前記デプスデータの信頼度が所定の閾値以下である場合に、前記レーダ検出結果特徴量に基づいて、前記画像データに対して前記３Ｄセマンティックセグメンテーション処理を実行する
＜７＞に記載の情報処理装置。
＜９＞ 前記レーダ検出結果は、前記車両の周囲の物体が動く速度情報である
＜７＞に記載の情報処理装置。
＜１０＞ 前記３Ｄセマンティックセグメンテーション処理部は、前記画素単位で、前記画像データに対して２Ｄセマンティックセグメンテーション処理を実行し、その後、前記画像データと前記デプスデータとに基づいて、前記画素単位のデプスデータを生成して、それぞれクラス情報を設定することで複数の領域からなる前記３Ｄセマンティックセグメンテーション画像を生成する
＜１＞に記載の情報処理装置。
＜１１＞ 前記３Ｄセマンティックセグメンテーション処理部は、DNN（ディープニューラルネットワーク）を用いた機械学習により実現される認識器であり、前記画素単位のデプスデータに対応付けて、前記画像データに対して前記３Ｄセマンティックセグメンテーション処理を実行してクラス情報を設定する
＜１＞乃至＜１０＞のいずれかに記載の情報処理装置。
＜１２＞ 前記駐車スペース探索部は、前記３Ｄセマンティックセグメンテーション画像におけるクラス情報が設定されることで形成される複数の領域間の関係性に基づいて、前記駐車可能な駐車スペースを探索する
＜１＞乃至＜１１＞のいずれかに記載の情報処理装置。
＜１３＞ 前記駐車スペース探索部は、前記３Ｄセマンティックセグメンテーション画像におけるクラス情報が設定されることで形成される複数の領域間の関係性に基づいた、コンテキストアウェアネス処理により前記駐車可能な駐車スペースを探索する
＜１２＞に記載の情報処理装置。
＜１４＞ 前記駐車スペース探索部は、DNN（ディープニューラルネットワーク）を用いた機械学習により実現される認識器であり、前記３Ｄセマンティックセグメンテーション画像におけるクラス情報が設定されることで形成される複数の領域間の関係性に基づいた、前記コンテキストアウェアネス処理により前記駐車可能な駐車スペースを探索する
＜１３＞に記載の情報処理装置。
＜１５＞ 前記駐車スペース探索部は、探索された前記駐車可能な駐車スペースを登録し、
前記駐車スペース探索部に登録された、前記駐車可能な駐車スペースへの経路を計画し、計画した経路に沿った駐車に係る前記車両の動作を制御する駐車制御部をさらに備える
＜１＞乃至＜１４＞のいずれかに記載の情報処理装置。
＜１６＞ 前記駐車スペース探索部に登録された、前記駐車可能な駐車スペースが複数である場合、前記駐車制御部は、複数の前記駐車可能な駐車スペースのうち、最寄りの駐車可能な駐車スペースを、目的駐車スペースとして設定し、前記目的駐車スペースへの経路を計画し、計画した経路に沿った駐車に係る前記車両の動作を制御する
＜１５＞に記載の情報処理装置。
＜１７＞ 計画した前記目的駐車スペースへの経路に沿って駐車に係る前記車両の動作が制御される場合、前記駐車制御部は、前記車両の駐車が完了するまでの間、前記３Ｄセマンティックセグメンテーション画像に基づいて、前記目的駐車スペースが駐車可能な状態であることを継続して確認し、駐車不能な状態になったとき、前記駐車スペース探索部に登録された、複数の前記駐車可能な駐車スペースのうち、現在の前記目的駐車スペースの次に最寄りの駐車可能な駐車スペースを、新たな目的駐車スペースとして設定し、前記新たな目的駐車スペースへの経路を計画し、計画した経路に沿った駐車に係る前記車両の動作を制御する
＜１６＞に記載の情報処理装置。
＜１８＞ 前記駐車スペース探索部に登録された、前記駐車可能な駐車スペースが複数である場合、前記駐車制御部は、複数の前記駐車可能な駐車スペースのうち、ユーザによって選択された駐車可能な駐車スペースを、目的駐車スペースとして設定し、前記目的駐車スペースへの経路を計画し、計画した経路に沿った駐車に係る前記車両の動作を制御する
＜１５＞に記載の情報処理装置。
＜１９＞ 車両の周囲の画像データを取得し、
前記車両の周囲のデプスデータを取得し、
前記画像データの画素単位で、前記デプスデータと、前記画像データに対する３Ｄセマンティックセグメンテーション処理により分類されたクラス情報とが設定された３Ｄセマンティックセグメンテーション画像を生成し、
前記３Ｄセマンティックセグメンテーション画像に基づいて、駐車可能な駐車スペースを探索する
ステップを含む情報処理方法。
＜２０＞ 車両の周囲の画像データを取得する画像取得部と、
前記車両の周囲のデプスデータを取得するデプスデータ取得部と、
前記画像データの画素単位で、前記デプスデータと、前記画像データに対する３Ｄセマンティックセグメンテーション処理により分類されたクラス情報とが設定された３Ｄセマンティックセグメンテーション画像を生成する３Ｄセマンティックセグメンテーション処理部と、
前記３Ｄセマンティックセグメンテーション画像に基づいて、駐車可能な駐車スペースを探索する駐車スペース探索部と
してコンピュータを機能させるプログラム。

２０１ 駐車支援制御部， ２０２，２０２－１乃至２０２－ｑ， ２０３，２０３－１，２０３－ｒ ToFカメラ， ２０４，２０４－１乃至２０４－ｓ， ２６１ 分析部， ２６２ 行動計画部， ２７１ 自己位置推定部， ２７２ センサフュージョン部， ２７３ 認識部， ３０１ SLAM処理部， ３０２ OGM記憶部， ３２１ 物体検出部， ３２２ 物体追跡部， ３２３ ３Ｄセマンティックセグメンテーション処理部， ３２４ コンテキストアウェアネス部， ３２４ａ 駐車スペース検出部， ３５１ 経路計画部， ３７１ 前処理部， ３７２ 画像特徴量抽出部， ３７３ 単眼デプス推定部， ３７４ ３Ｄアンカグリッド生成部， ３７５ デンスフュージョン処理部， ３７６ 前処理部， ３７７ ポイントクラウド特徴量抽出部， ３７８ レーダ検出結果特徴量抽出部， ３７９ 種別判定部

Claims (20)

1. 車両の周囲の画像データを取得する画像取得部と、
   前記車両の周囲のデプスデータを取得するデプスデータ取得部と、
   前記画像データの画素単位で、前記デプスデータと、前記画像データに対する３Ｄセマンティックセグメンテーション処理により分類されたクラス情報とが設定された３Ｄセマンティックセグメンテーション画像を生成する３Ｄセマンティックセグメンテーション処理部と、
   前記３Ｄセマンティックセグメンテーション画像に基づいて、駐車可能な駐車スペースを探索する駐車スペース探索部と
   を備える情報処理装置。
2. 前記３Ｄセマンティックセグメンテーション処理部は、前記画像データと前記デプスデータとに基づいて、前記画素単位のデプスデータを生成し、前記画素単位のデプスデータに対応付けて、前記画像データに対して前記３Ｄセマンティックセグメンテーション処理を実行し、前記画素単位でクラス情報を設定することで複数の領域からなる前記３Ｄセマンティックセグメンテーション画像を生成する
   請求項１に記載の情報処理装置。
3. 前記デプスデータに基づいたポイントクラウドにおける特徴量をポイントクラウド特徴量として抽出するポイントクラウド特徴量抽出部とをさらに備え、
   前記３Ｄセマンティックセグメンテーション処理部は、前記画素単位のデプスデータに対応付けて、前記ポイントクラウド特徴量に基づいて、前記画像データに対して前記３Ｄセマンティックセグメンテーション処理を実行し、それぞれクラス情報を設定することで複数の領域からなる前記３Ｄセマンティックセグメンテーション画像を生成する
   請求項２に記載の情報処理装置。
4. 前記画像データにおける特徴量を画像特徴量として抽出する画像特徴量抽出部をさらに備え、
   前記ポイントクラウド特徴量抽出部は、前記デプスデータに基づいたポイントクラウドにおける特徴量を、前記画像特徴量に基づいて、前記ポイントクラウド特徴量として抽出し、
   前記３Ｄセマンティックセグメンテーション処理部は、前記画素単位のデプスデータに対応付けて、前記ポイントクラウド特徴量および前記画像特徴量に基づいて、前記画像データに対して前記３Ｄセマンティックセグメンテーション処理を実行し、それぞれクラス情報を設定することで複数の領域からなる前記３Ｄセマンティックセグメンテーション画像を生成する
   請求項３に記載の情報処理装置。
5. 前記画像特徴量に基づいて、単眼デプスを推定する単眼デプス推定部をさらに備え、
   前記ポイントクラウド特徴量抽出部は、前記デプスデータに基づいたポイントクラウドにおける特徴量を、前記画像特徴量と前記単眼デプスとに基づいて、前記ポイントクラウド特徴量として抽出する
   請求項４に記載の情報処理装置。
6. 前記デプスデータに基づいて、３Ｄアンカグリッドを生成する３Ｄアンカグリッド生成部と、
   前記単眼デプスに基づいたデンスデプスデータと、前記３Ｄアンカグリッドとを融合してデンスフュージョンデータを生成する融合部とをさらに備え、
   前記ポイントクラウド特徴量抽出部は、前記デプスデータに基づいたポイントクラウドにおける特徴量を、前記画像特徴量と前記デンスフュージョンデータとに基づいて、前記ポイントクラウド特徴量として抽出する
   請求項５に記載の情報処理装置。
7. レーダを用いた前記車両の周囲の検出結果をレーダ検出結果として取得するレーダ検出結果取得部と、
   前記レーダ検出結果の特徴量をレーダ検出結果特徴量として抽出するレーダ検出結果特徴量抽出部とをさらに含み、
   前記３Ｄセマンティックセグメンテーション処理部は、前記画素単位のデプスデータに対応付けて、前記ポイントクラウド特徴量、前記画像特徴量、および前記レーダ検出結果特徴量に基づいて、前記画像データに対して前記３Ｄセマンティックセグメンテーション処理を実行し、それぞれクラス情報を設定することで複数の領域からなる前記３Ｄセマンティックセグメンテーション画像を生成する
   請求項３に記載の情報処理装置。
8. 前記デプスデータは、光測距センサを用いて生成され、
   前記３Ｄセマンティックセグメンテーション処理部は、前記光測距センサを用いて生成される前記デプスデータの信頼度が所定の閾値以下である場合に、前記レーダ検出結果特徴量に基づいて、前記画像データに対して前記３Ｄセマンティックセグメンテーション処理を実行する
   請求項７に記載の情報処理装置。
9. 前記レーダ検出結果は、前記車両の周囲の物体が動く速度情報である
   請求項７に記載の情報処理装置。
10. 前記３Ｄセマンティックセグメンテーション処理部は、前記画素単位で、前記画像データに対して２Ｄセマンティックセグメンテーション処理を実行し、その後、前記画像データと前記デプスデータとに基づいて、前記画素単位のデプスデータを生成して、それぞれクラス情報を設定することで複数の領域からなる前記３Ｄセマンティックセグメンテーション画像を生成する
    請求項１に記載の情報処理装置。
11. 前記３Ｄセマンティックセグメンテーション処理部は、DNN（ディープニューラルネットワーク）を用いた機械学習により実現される認識器であり、前記画素単位のデプスデータに対応付けて、前記画像データに対して前記３Ｄセマンティックセグメンテーション処理を実行してクラス情報を設定する
    請求項１に記載の情報処理装置。
12. 前記駐車スペース探索部は、前記３Ｄセマンティックセグメンテーション画像におけるクラス情報が設定されることで形成される複数の領域間の関係性に基づいて、前記駐車可能な駐車スペースを探索する
    請求項１に記載の情報処理装置。
13. 前記駐車スペース探索部は、前記３Ｄセマンティックセグメンテーション画像におけるクラス情報が設定されることで形成される複数の領域間の関係性に基づいた、コンテキストアウェアネス処理により前記駐車可能な駐車スペースを探索する
    請求項１２に記載の情報処理装置。
14. 前記駐車スペース探索部は、DNN（ディープニューラルネットワーク）を用いた機械学習により実現される認識器であり、前記３Ｄセマンティックセグメンテーション画像におけるクラス情報が設定されることで形成される複数の領域間の関係性に基づいた、前記コンテキストアウェアネス処理により前記駐車可能な駐車スペースを探索する
    請求項１３に記載の情報処理装置。
15. 前記駐車スペース探索部は、探索された前記駐車可能な駐車スペースを登録し、
    前記駐車スペース探索部に登録された、前記駐車可能な駐車スペースへの経路を計画し、計画した経路に沿った駐車に係る前記車両の動作を制御する駐車制御部をさらに備える
    請求項１に記載の情報処理装置。
16. 前記駐車スペース探索部に登録された、前記駐車可能な駐車スペースが複数である場合、前記駐車制御部は、複数の前記駐車可能な駐車スペースのうち、最寄りの駐車可能な駐車スペースを、目的駐車スペースとして設定し、前記目的駐車スペースへの経路を計画し、計画した経路に沿った駐車に係る前記車両の動作を制御する
    請求項１５に記載の情報処理装置。
17. 計画した前記目的駐車スペースへの経路に沿って駐車に係る前記車両の動作が制御される場合、前記駐車制御部は、前記車両の駐車が完了するまでの間、前記３Ｄセマンティックセグメンテーション画像に基づいて、前記目的駐車スペースが駐車可能な状態であることを継続して確認し、駐車不能な状態になったとき、前記駐車スペース探索部に登録された、複数の前記駐車可能な駐車スペースのうち、現在の前記目的駐車スペースの次に最寄りの駐車可能な駐車スペースを、新たな目的駐車スペースとして設定し、前記新たな目的駐車スペースへの経路を計画し、計画した経路に沿った駐車に係る前記車両の動作を制御する
    請求項１６に記載の情報処理装置。
18. 前記駐車スペース探索部に登録された、前記駐車可能な駐車スペースが複数である場合、前記駐車制御部は、複数の前記駐車可能な駐車スペースのうち、ユーザによって選択された駐車可能な駐車スペースを、目的駐車スペースとして設定し、前記目的駐車スペースへの経路を計画し、計画した経路に沿った駐車に係る前記車両の動作を制御する
    請求項１５に記載の情報処理装置。
19. 車両の周囲の画像データを取得し、
    前記車両の周囲のデプスデータを取得し、
    前記画像データの画素単位で、前記デプスデータと、前記画像データに対する３Ｄセマンティックセグメンテーション処理により分類されたクラス情報とが設定された３Ｄセマンティックセグメンテーション画像を生成し、
    前記３Ｄセマンティックセグメンテーション画像に基づいて、駐車可能な駐車スペースを探索する
    ステップを含む情報処理方法。
20. 車両の周囲の画像データを取得する画像取得部と、
    前記車両の周囲のデプスデータを取得するデプスデータ取得部と、
    前記画像データの画素単位で、前記デプスデータと、前記画像データに対する３Ｄセマンティックセグメンテーション処理により分類されたクラス情報とが設定された３Ｄセマンティックセグメンテーション画像を生成する３Ｄセマンティックセグメンテーション処理部と、
    前記３Ｄセマンティックセグメンテーション画像に基づいて、駐車可能な駐車スペースを探索する駐車スペース探索部と
    してコンピュータを機能させるプログラム。

Images