以下に、本願にかかる情報処理装置、情報処理方法および情報処理プログラムを実施するための形態(以下、「実施形態」と呼ぶ)について図面を参照しつつ説明する。なお、この実施形態により本願にかかる情報処理装置、情報処理方法および情報処理プログラムが限定されるものではない。また、以下の実施形態において、同一の部位には同一の符号を付し、重複する説明は省略される。
〔1.第1の情報処理の一例〕
まず、図1を用いて、実施形態にかかる情報処理のうち、第1の情報処理の一例について説明する。図1は、実施形態にかかる第1の情報処理の一例を示す図である。実施形態にかかる第1の情報処理は、図1に示す情報処理装置100によって行われる。また、実施形態にかかる情報処理のうち、第2の情報処理も情報処理装置100によって行われるが、第2の情報処理の説明は後ほど図4等を用いて行うことにする。
図1の説明に先立って、図3を用いて、実施形態にかかる情報処理システムについて説明する。図3は、実施形態にかかる情報処理システム1の構成例を示す図である。実施形態にかかる情報処理システム1は、図3に示すように、ドラレコ(ドライブレコーダー)装置10と、情報処理装置100とを含む。ドラレコ装置10、情報処理装置100は、ネットワークNを介して有線または無線により通信可能に接続される。なお、図3に示す情報処理システム1には、複数台のドラレコ装置10や、複数台の情報処理装置100が含まれてよい。
また、以下に説明する実施形態にかかる第1の情報処理は、ドラレコ装置10と、情報処理装置100とが協働することにより、情報処理装置100側で主に行われるものとして説明するが、実施形態にかかる第1の情報処理は、ドラレコ(ドライブレコーダー)装置10が独立して行ってもよい。この場合には、実施形態にかかる情報処理システム1には、情報処理装置100は必ずしも含まれなくてよい。また、ドラレコ装置10が独立して第1の情報処理を行う場合、ドラレコ装置10が、実施形態にかかる第1の情報処理を行う情報処理装置の一例といえる。以下の例において、車両毎のドラレコ装置10を区別する必要がある場合には、「ドラレコ装置10-n」(nは任意の数値)といった表記を用いる。例えば、車両C5のドラレコ装置10を「ドラレコ装置10-5」と表記する場合がある。
ここで、本願で対象とする駐車場所について説明する。本願で対象とする駐車場所は、パーキングメーター用の駐車場所のように道路に設置される駐車場所(道路に付随する付随型駐車場所等とも言い換えることができる)や、コインパーキングや、店舗等の各種施設に併設される一般的な駐車場、その他駐停車禁止でないエリアである。なお、実施形態にかかる第1の情報処理では、駐車場所は、パーキングメーター用の駐車場所(道路に設置される駐車場所)であるものとして説明する。
また、通常、パーキングメーター用の駐車場所は、パーキングメーター毎に存在する駐車区画であって、車両1台を駐車するための駐車区画(駐車スペース)が一の方向(車道の方向)に連なった集合体として、各地の特定のエリアにおいて構成されている。このため、以下の実施形態において、例えば、道路に設置される駐車場所、もしくは、単に駐車場所と表記する場合、かかる駐車場所は、上記のような1つの集合体、および、1つの駐車区画の双方を示すものとする。また、説明するうえで、区別が必要な場合には、適宜、集合体、駐車区画との表現を用いることにする。
また、パーキングメーター用の駐車場所は、上記にような集合体であるため、施設等に併設される一般的な駐車場(コインパーキングもこれに含まれる)と比較して、地理的な広がりがある。このため、ある1つの集合体であっても、利用する駐車区画によっては目的地から非常に遠くなってしまうといった問題が発生する。
次に、ドラレコ装置10は、ドライブレコーダーに関する端末装置(情報処理装置)であって、車両(移動体の一例)のドライバー(ユーザ)によって利用される情報処理装置である。実施形態にかかるドラレコ装置10は、ドライブレコーダーが内蔵されたカーナビゲーションシステム(カーナビ)用の端末装置であるものとする。言い換えれば、ドラレコ装置10は、ドライブレコーダーとカーナビゲーションシステム用の端末装置とが一体型となった情報処理装置であるものとする。しかしながら、ドラレコ装置10は、ドライブレコーダーと、カーナビゲーションシステム用の端末装置とが別々になっており外部で接続されている状態であってもよいし、ドライブレコーダーだけを指し示してもよい。
また、ドラレコ装置10は、車外を撮像するカメラ(撮像部または撮像手段)と、カメラによる撮像によって得られた撮像データが表示される表示画面Dとを有する。また、この表示画面Dには、カーナビゲーションシステムによる道案内情報も表示される。また、この表示画面Dには、タッチパネルが採用されているものとする。また、ドラレコ装置10は、ドライバーの音声を集音するマイク(集音部)や、音声を出力するスピーカー(出力部)も有する。また、ドラレコ装置10は、車外ではなく車内の所定の対象(例えば、徂徠バーの顔)を撮像するためのインカメラも備えてよい。インカメラは、例えば、ドライバーの居眠り運転防止の一機能として利用される場合がある。
ここで、実施形態にかかる第1の情報処理が行われるにあたっての前提について説明する。例えば、空車のため車両を駐車可能な駐車場所が存在する場合、運転中のドライバーに対してこの駐車場所の位置をより的確にわかりやすく案内することは重要である。例えば、ある駐車区画は空車であるが、その前後の駐車区画には車両が駐車されている場合、これらの車両によって空の駐車区画が邪魔されることにより、ドライバーは運転に集中していることも要因となり空の駐車区画の位置を認識できない場合がある。このような場合、空の駐車区画の位置をより的確にわかりやすく案内できれば便利であるし、運転の安全性も確保できる。
以上のような前提を踏まえて、実施形態にかかる情報処理装置100は、実施形態にかかる第1の情報処理を行う。具体的には、情報処理装置100は、処理対象の車両(移動体の一例)に搭載された撮像手段(例えば、ドラレコ装置10が有するカメラ)によって撮像された撮像データを取得する。そして、情報処理装置100は、取得した撮像データに基づいて、撮像データに写される駐車場所であって、空車であるため車両を駐車可能となっている駐車場所の近傍に駐車されている車両である駐車車両(駐車移動体の一例)の位置を基準として、駐車場所の位置を指し示す情報を車両のドライバーに提供する。例えば、情報処理装置100は、処理対象の車両に対する駐車車両の位置を基準として、駐車場所の位置を指し示す情報を提供する。
例えば、情報処理装置100は、撮像データに基づいて、駐車車両の特徴を認識し、認識した駐車車両の特徴をさらに用いて、駐車場所の位置を指し示す情報を処理対象の車両のドライバーに提供する。例えば、情報処理装置100は、駐車車両の特徴として、駐車車両の色、形状、車種、名称、または、ナンバープレートに記載される情報の少なくともいずれか1つを認識する。また、情報処理装置100は、認識した特徴を用いて当該特徴を有する駐車車両と、駐車場所との位置関係を説明する情報を駐車場所の位置を指し示す情報として提供する。
また、例えば、情報処理装置100は、1台の駐車車両について、複数の特徴が認識された場合には、複数の特徴を組合せた状態で、駐車場所の位置を指し示す情報を提供する。また、例えば、情報処理装置100は、処理対象の車両が駐車場所に駐車される際の時間帯、または、天候に応じて、認識した特徴のうち処理対象の車両のドライバーの視認率がより高くなるような特徴を選択し、選択した特徴を用いて、駐車場所の位置を指し示す情報をこのドライバーに提供する。以下では、図1を用いて、実施形態にかかる第1の情報処理の一例を手順を追って説明する。
図1の例では、第1の情報処理の対象となる処理対象の車両を車両C5とする。すなわち、図1の例では、駐車場所の位置を指し示す情報が提供される提供対象となる車両を車両C5とする。また、図1の例では、車両C5は、ドライバーD5によって道路L5を運転されており、ドラレコ装置10-5が搭載されている。
このような状態において、情報処理装置100は、車両C5のドラレコ装置10-5によって現在撮像された撮像データDA5をドラレコ装置10-5から取得する(ステップS11)。つまり、情報処理装置100は、ドラレコ装置10-5のリアルタイム撮像によって得られた撮像データDA5をドラレコ装置10-5から取得する。例えば、ドラレコ装置10-5が情報処理装置100に対して撮像データDA5を送信することにより、情報処理装置100は、撮像データDA5をドラレコ装置10-5から取得する。
例えば、ドラレコ装置10-5は、車両C5が運転されている間において録画設定(例えば、録画ボタンを押下)されている場合には、録画設定されている間は連続的に撮像を行う。このようなことから、ドラレコ装置10-5の撮像によって得られる撮像データは動画データである。したがって、ドラレコ装置10-5が動画データを構成する画像ファイルをリアルタイムに連続的に送信することで、情報処理装置100は、連続的に送信された動画ファイルで構成される動画データを撮像データDA5として取得する。
次に、情報処理装置100は、処理対象の車両である車両C5のドライバーD5が、空車の駐車場所(空車場所)を探しているタイミングであるか否かを判定する(ステップS12)。例えば、ドライバーD5は、空車のため駐車可能となっている駐車場所を特に探してもいない(現状、駐車する予定がない)場合、このような駐車場所の位置を指し示す情報が提供されるとこれを煩わしく感じる可能性がある。このため、情報処理装置100は、ステップS12のような判定処理を行う。例えば、情報処理装置100は、車両C5の運転に関する挙動が所定の条件を満たしたか否かを判定する。そして、情報処理装置100は、所定の条件を満たしたと判定した場合には、車両C5のドライバーD5が、空車場所を探しているタイミングであると判定する。
例えば、情報処理装置100は、車両C5の運転に関する挙動として、車両C5の速度が、所定の速度より遅くなったか否かを判定し、所定の速度より遅くなったと判定した場合には、ドライバーD5が、空車場所を探しているタイミングであると定め、空車場所を検出する処理(ステップS13での処理)を開始する。
なお、情報処理装置100は、車両C5の運転に関する挙動として、ドライバーD5が車両C5を運転している際の運転態様が、所定の運転態様(例えば、車両C5を道路脇に寄せる運転、あるいは、同一エリアを周回する運転)となったか否かを判定し、所定の運転態様となったと判定した場合には、ドライバーD5が、空車場所を探しているタイミングであると定め、空車場所を検出する処理を開始してもよい。
また、情報処理装置100は、車両C5の運転に関する挙動として、ドライバーD5が車両C5を運転している際の身体的挙動が、所定の身体的挙動(例えば、顔を左右に動かして辺りを見渡す挙動、あるいは、「どこか空いてないかな」といった発話)となったか否かを判定し、所定の身体的挙動となったと判定した場合には、ドライバーD5が、空車場所を探しているタイミングであると定め、空車場所を検出する処理を開始してもよい。
情報処理装置100は、車両C5のドライバーD5が、空車場所を探しているタイミングでないと判定した場合には(ステップS12;No)、このタイミングになるまで待機する。一方、情報処理装置100は、車両C5のドライバーD5が、空車場所を探しているタイミングであると判定した場合には(ステップS12;Yes)、ステップS13の処理(空車場所を検出する処理)を開始する。図1の例では、情報処理装置100は、車両C5のドライバーD5が、空車場所を探しているタイミングであると判定したものとする。
そうすると、情報処理装置100は、ステップS11で取得した撮像データDA5に基づいて、空車場所を検出する検出処理を開始する(ステップS13)。例えば、情報処理装置100は、撮像データDA5を画像解析することにより空車場所を検出することができる。情報処理装置100は、かかる画像解析として、既存の画像解析技術を用いることができる。例えば、情報処理装置100は、画像解析により撮像データDA5の中に駐車区画が写されているか否かを判定し、駐車区画が写されている場合には、その駐車区画の満空状況を判定する満空判定を行う。そして、情報処理装置100は、満空判定による判定結果に基づき駐車区画に中に空車の駐車区画が存在する場合には、その空車の駐車区画を検出する。
ここで、図1に示す撮像データDA5について説明する。図1に示す撮像データDA5の例では、道路L5に沿って、パーキングメーター用の駐車区画で構成される集合体を含む区間が写されている。図1に示す撮像データDA5の例では、車両C10と車両C12との間に空車の駐車区画である空車場所SP5が存在する。よって、情報処理装置100は、ステップS13において、画像解析により空車場所SP5を検出する。なお、上記例は、情報処理装置100が単なる画像解析により空車場所を検出する例であるが、このような処置では、満空状況が高精度に判定されるとは限らないため、精度よく空車場所を検出できない状況が起こり得る。そこで、情報処理装置100は、満空判定として、後述する第2の情報処理を行うことができる。
次に、情報処理装置100は、ステップS13で検出した空車場所SP5の近傍に存在する駐車車両を基準とした、空車場所SP5の位置を特定する(ステップS14)。例えば、情報処理装置100は、撮像データDA5を画像解析することにより、空車場所SP5の近傍(例えば、空車場所を中心とする半径Xメートル以内のエリア)に駐車(もしくは停車)されている駐車車両が存在するか否かを判定する。そして、情報処理装置100は、駐車車両が存在すると判定した場合には、この駐車車両を基準とした、空車場所SP5の位置を特定する。
図1に示す撮像データDA5の例では、情報処理装置100は、画像解析により空車場所SP5の近傍(例えば、前方または後方)には、駐車車両である車両C10および車両C12が存在すると判定する。また、撮像データDA5の例によると、車両C10は空車場所SP5の後方の駐車区画に駐車されており、車両C12は空車場所SP5の前方の駐車区画に駐車されている。以降は、説明を簡単にするために、情報処理装置100は、駐車車両として車両C10のみを用いる例を示すが、情報処理装置100は、駐車車両として車両C12を用いてもよいし、車両C10および車両C12の双方を用いてもよい。
そして、情報処理装置100は、図1に示す撮像データDA5の例では、駐車車両である車両C10(駐車車両C10)を基準とした、空車場所SP5の位置として、「車両C10の前方の位置」を特定する。また、このような位置を示す情報を基準情報B11とする。
次に、情報処理装置100は、駐車車両C10の特徴を認識する(ステップS15)。例えば、情報処理装置100は、撮像データDA5の画像解析により、駐車車両C10の特徴として、駐車車両C10の色、形状、車種、名称、または、ナンバープレートに記載される情報の少なくともいずれか1つを認識する。ここでは、情報処理装置100は、駐車車両C10の色および車種を認識するものとする。そうすると、情報処理装置100は、図1の例では、駐車車両C10の色として「白色」、駐車車両C10の車種として「大型トラック」を認識する。
なお、情報処理装置100は、駐車車両C10の特徴だけでなく空車場所SP5の周辺環境の特徴をさらに認識してもよい。図1に示す撮像データDA5の例では、情報処理装置100は、撮像データDA5の画像解析により、空車場所SP5の周辺環境の特徴として、「空車場所SP5の後方に横断歩道あり」、あるいは、「空車場所SP5の横に植木あり」を認識する。
次に、情報処理装置100は、現在の時間帯や天候に基づいて、ステップS15で認識した特徴のうち、ドライバーD5の視認に最適な特徴を選択する(ステップS16)。具体的には、情報処理装置100は、車両C5が空車場所SP5に駐車される際の時間帯、または、天候に応じて、ステップS15で認識した特徴のうち車両C5のドライバーD5の視認率がより高くなるような特徴を選択する。
例えば、現在が「日中の時間帯」かつ「晴れ」であれば、周囲の対象物に対するドライバーD5の視認率は、所定値より高くなると考えられる。したがって、かかる場合には、情報処理装置100は、ステップS15で認識した特徴のうち、いずれの特徴を選択してもよい。
一方、現在が「晩の時間帯」であれば、周囲の対象物に対するドライバーD5の視認率は、所定値より低くなると考えられる。したがって、かかる場合には、情報処理装置100は、ステップS15で認識した特徴のうち、ドライバーD5がより認識し易いと考えられる特徴を選択する。「晩の時間帯」の場合、ドライバーD5は、車両C5のヘッドライトの影響を受けて、周囲の対象物に対する色を実際とは異なる色で認識してしなう可能性が高くなるが、車種であれば正しく認識し易いと考えられる。このため、情報処理装置100は、「晩の時間帯」では、駐車車両C10の色「白色」、および、駐車車両C10の車種「大型トラック」のうち、車種「大型トラック」を選択する。
また、現在が「雨」であれば、周囲の対象物に対するドライバーD5の視認率は、所定値より低くなると考えられる。したがって、かかる場合には、情報処理装置100は、ステップS15で認識した特徴のうち、ドライバーD5がより認識し易いと考えられる特徴を選択する。「雨」の場合、ドライバーD5は、雨の影響を受けて視界が悪くなるため、色や細かな文字は非常に視認し難くなるが、車種であれば比較的正しく認識し易いと考えられる。このため、情報処理装置100は、「雨」では、駐車車両C10の色「白色」、および、駐車車両C10の車種「大型トラック」のうち、車種「大型トラック」を選択する。
ステップS16で示した選択例は、一例に過ぎず、情報処理装置100は、例えば、人間工学に基づいて、より最適な特徴を選択することができる。また、情報処理装置100は、ステップS15で認識した特徴を示す特徴情報や、ステップS16で選択した特徴を示す選択情報を図示しない所定の記憶部に格納しておくことで、これらの情報を適宜、記憶部から取得することができる。
図1の例では、情報処理装置100は、ドライバーD5の視認に最適な特徴として、単純に、駐車車両C10の色「白色」、および、駐車車両C10の車種「大型トラック」の双方を選択したものとする。また、これらの特徴を示す特徴情報を特徴情報B12とする。
次に、情報処理装置100は、空車場所SP5の位置を指し示す情報をドライバーD5に提供する(ステップS17)。具体的には、情報処理装置100は、ステップS14で特定した基準情報B11と、ステップS16で選択した特徴を示す特徴情報B12とに基づいて、空車場所SP5の位置を指し示す(定義付ける)情報である定義情報B13を生成する。そして、情報処理装置100は、生成した定義情報をドライバーD5に提供する。例えば、情報処理装置100は、基準情報B11と特徴情報J12とを組み合わせることにより定義情報B13を生成する。そして、情報処理装置100は、定義情報B13で定義付けた内容をドライバーD5に提供する。
例えば、定義情報B13では、基準として用いられる駐車車両が「車両C10」であること、空車場所SP5は「車両C10の前方の位置」に存在すること、駐車車両C10の色は「白色」であること、駐車車両C10の車種は「大型トラック」であることが定義されている。
また、ドライバーD5への情報提供としては、ドライバーD5に対する画面表示や音声出力がある。したがって、情報処理装置100は、ステップS17では、ドラレコ装置10-5を制御することにより、定義情報B13で定義付けた内容に基づく情報を表示画面Dに表示させるとともにスピーカーから音声出力させる。この点について、図2を用いて説明する。図2は、実施形態にかかる第1の情報処理での情報提供の一例を示す図である。
図2の例では、ドラレコ装置10-5は、情報処理装置100から制御(指示)を受けて、自装置の表示画面Dに定義情報B13で定義されている内容を表示させる。例えば、表示画面Dには、現在の車外の様子が表示されている。第1の情報処理は、リアルタイムで撮像された撮像データに基づき行われるものであるため、表示画面Dには、例えば、撮像データDA5に写される車外の様子とほぼ同一の様子が表示されている。
このような状態において、ドラレコ装置10-5は、図2示すように、表示画面Dに現在表示されている車外の様子対して、空車場所SP5を囲むように枠線を表示させるととともに、「白トラックの前方に駐車可能スペースあり!」との文章表示させる。もちろん、図2での表示例は一例に過ぎず、ドラレコ装置10-5は、任意の態様で定義情報B13を表示させることができる。また、ドラレコ装置10-5は、表示画面Dへの表示と同じタイミングで、スピーカーに対して「白トラックの前方に駐車可能スペースあり!」との音声を出力させる。
さて、図1および図2を用いて説明してきたように、実施形態にかかる情報処理装置100が、第1の情報処理を行う。具体的には、情報処理装置100は、処理対象の車両に搭載された撮像手段によって撮像された撮像データを取得する。そして、情報処理装置100は、取得した撮像データに基づいて、撮像データに写される駐車場所であって、空車であるため車両を駐車可能となっている駐車場所の近傍に駐車されている車両である駐車車両(駐車移動体の一例)の位置を基準として、駐車場所の位置を指し示す情報を車両のドライバーに提供する。
このように、情報処理装置100は、空車の駐車場所の近傍として、例えば、空車の駐車場所の左右、または、空車の駐車場所の前方あるいは後方に駐車(駐車)されている駐車車両があれば、その駐車車両を基準とした位置であって、空車の駐車場所の位置を指し示す情報をドライバーに提案する。具体的には、情報処理装置100は、駐車車両の特徴や、空車の駐車場所の周辺環境の特徴も絡めて、空車の駐車場所の位置を指し示す情報をドライバーに提案する。これにより、情報処理装置100は、空車の駐車場所の位置をよりわかりやすくドライバーに案内することができる。この結果、情報処理装置100は、利便性の高い情報提案を実現することができるとともに、運転の安全性も確保した情報提案を実現することができる。
上記例では、情報処理装置100は、ステップS15では、駐車車両の特徴だけでなく、空車場所SP5の周辺環境の特徴をさらに認識してよく、また、ステップS17では、駐車車両の特徴とともにこの周辺環境の特徴も用いて、空車場所SP5の位置を指し示す情報をドライバーD5に提案してよい旨説明した。この処理に加えて、情報処理装置100は、例えば、駐停車禁止エリアの位置を指し示す情報をさらに案内してもよい。駐停車禁止エリアとは、法的に定められた各種駐停車禁止エリア、信号機付近のエリア、停止線付近のエリア、所定の施設への出入り口付近のエリア等が一例として挙げられるが、もちろんこれらに限定されない。
図1の例を用いて説明すると、情報処理装置100は、例えば、ステップS13での撮像データDA5の画像解析により、上記のような駐停車禁止エリアを検出したとすると、ステップS14では、検出した駐停車禁止エリアの近傍に駐車車両が存在するか否かを判定する。そして、情報処理装置100は、駐車車両が存在すると判定した場合には、ステップS15において、この駐車車両を基準とした、駐停車禁止エリアの位置を特定する。そして、例えば、駐車車両C12の前方が駐停車禁止エリアなのであれば、情報処理装置100は、ドラレコ装置10-5に対して、例えば、「白の乗用車の前方は駐車可能エリアです!ご注意ください!」といった案内を表示、および、出力させる。
このように、情報処理装置100は、駐車車両の位置を基準として、駐停車禁止エリアの位置を指し示す情報もドライバーに提供する。これにより、例えば、ドライバーによっては一見すると駐停車禁止エリアかどうか判断付かないといった場合でも、情報処理装置100は、駐停車禁止エリアの位置を的確に提案することができるため、より利便性の高い情報提案を実現することができる。また、情報処理装置100は、例えば、駐車違反防止や事故防止にも貢献することができる。
〔2.第2の情報処理の一例〕
さて、これまで図1および図2を用いて実施形態にかかる第1の情報処理について説明してきた。ここからは、実施形態にかかる第2の情報処理について説明する。上記の通り、単なる画像解析では満空状況が高精度に判定されない場合があるため、精度よく空車場所を検出できない状況が起こり得る。そこで、情報処理装置100は、満空判定として、第2の情報処理を行うことができる。
第2の情報処理の説明に先立って、第2の情報処理が行われるにあたっての他の前提についても説明する。例えば、地図上でパーキングメーター用の駐車場所の満空状況が案内されても、取り合いの激しいパーキングメーターも多く存在することから、到着したときには、全ての駐車区画が満車となっている、という状況が起こり得る。このため、例えば、パーキングメーター用の駐車場所付近を通りがかったときに、この駐車場所において、適宜、各駐車区画の満空状況が通知されれば、空車の駐車区画を通り過ぎてしまうことを防止することができる。例えば、一旦、空車の駐車区画を通り過ぎてしまうと、取り合いの激しい駐車場所では、次にこの駐車区画に戻ってきたときには、満車となっていることもあり得る。
このようなことから、道路に設置される駐車場所の満空状況であって、走行付近の駐車場所の満空状況を走行中のドライバーに対して的確に通知することが可能なカーナビやドライブレコーダーがあれば非常に便利であるし、運転の安全性も高まる。
以上のような前提を踏まえて、実施形態にかかる情報処理装置100は、実施形態にかかる第2の情報処理を行う。具体的には、情報処理装置100は、撮像データを取得する。例えば、情報処理装置100は、道路を走行する車両に搭載されたカメラによって撮像された撮像データを取得する。すなわち、情報処理装置100は、車両のドライブレコーダーによって撮像された撮像データを取得する。そして、情報処理装置100は、取得した撮像データに基づいて、撮像データに写される道路に設置される駐車場所の満空状況を判定する。そして、情報処理装置100は、判定結果をドライバー(ユーザ)に通知する。例えば、情報処理装置100は、カメラが搭載された車両が現在走行中の道路に設置される駐車場所であって、当該移動体の進行方向に存在する駐車場所の現在の満空状況を判定する。具体的には、情報処理装置100は、駐車場所として、1台の移動体を駐車させるための駐車区画毎に、当該駐車場所の満空状況を判定する。
また、情報処理装置100は、撮像データに基づいて、撮像データに写される所定の撮像物の撮像態様が所定の条件を満たしているか否かに応じて、駐車場所の満空状況を判定する。例えば、情報処理装置100は、所定の撮像物の撮像態様として、道路上に引かれたライン(例えば、駐車区画を示す白線)が移動体との位置関係に応じてどのように撮像されるかを示す撮像態様であって、ラインの撮像態様が所定の条件を満たしているか否かに応じて、駐車場所の満空状況を判定する。例えば、情報処理装置100は、撮像態様が示す形状であって、所定の撮像物の形状が所定の形状であるか否かに応じて、所定の駐車場所の満空状況を判定する。例えば、情報処理装置100は、所定の撮像物の撮像態様と、当該撮像態様が示すように撮像物が撮像された際の駐車場所の満空状況とが対応付けられた情報により学習されたモデルに基づいて、処理対象の駐車場所の満空状況を判定する。
以下では、図4を用いて、実施形態にかかる第2の情報処理の一例を手順を追って説明する。図4は、実施形態にかかる第2の情報処理の一例を示す図である。実施形態にかかる第2の情報処理も図3に示す情報処理システム1に対応する。また、第2の情報処理で対象とする駐車場所は、基本的には、パーキングメーター用の駐車場所のような、道路に設置される駐車場所(駐車区画)であるが、一般的な駐車場やコインパーキング等にも適用されてよい。
ステップS23までの説明は、駐車場所の満空状況を判定する満空判定を行うための、前段階の処理であり、学習モデルを生成するための処理である。学習には、各車両がドライブレコーダーで撮影(録画)しながら、各地を走行することにより収集された撮像データサンプルの実績が用いられる。そして、実績としての撮像データサンプルに対して、正解データ(正解ラベル、教師データ)が指定されることにより、情報処理装置100は、例えば、道路に描かれたライン(白線)がどのように写されているときには、そのラインが駐車区画を示すラインであり、その駐車区画が空車であるのか満車であるのかを学習し、学習結果が反映されたモデルを生成する。
図4では、撮像データサンプルを得るための車両として、車両C1、車両C2、車両C3といった3台の車両が例示されているが、車両の台数に制限は無い。また、車両の車種等にも制限は無い。また、図4の例では、車両C1は、ドライバーD1によって道路L1を運転されており、ドラレコ装置10-1が搭載されている。また、図4の例では、車両C2は、ドライバーD2によって道路L2を運転されており、ドラレコ装置10-2が搭載されている。また、図4の例では、車両C3は、ドライバーD3によって道路L3を運転されており、ドラレコ装置10-3が搭載されている。ドラレコ装置10-1、10-2、10-3を特に区別する必要がない場合には、単にドラレコ装置10と表記する。
そして、車両C1、車両C2、車両C3の各ドラレコ装置10は、例えば、撮像中(録画中)となっている場合には、撮像によって得られた撮像データ(動画像データ)サンプルを随時、情報処理装置100に送信する。一方で、各ドラレコ装置10は、ある期間(例えば、1日、または、1週間)毎に、この期間中に得られた撮像データサンプルをまとめて情報処理装置100に送信してもよい。つまり、ドラレコ装置10が、どのようなタイミングで撮像データを送信するかは限定されない。
情報処理装置100は、各ドラレコ装置10から撮像データサンプルが送信されることにより、送信された撮像データサンプルを取得(受信)し、取得した撮像データサンプルを撮像データ記憶部121に格納する(ステップS21)。図4の例では、ドラレコ装置10-1は、撮像データサンプルとして、撮像データVG1を送信している。よって、情報処理装置100は、ドラレコ装置10-1から撮像データVG1を取得し、撮像データ記憶部121に格納する。なお、図4の例では、撮像データVG1は、ある一場面(一コマ)のみを示したデータとなっているが、撮像データVG1は、実際には、動画長さ30分(再生時間30分)といったように時間の概念を有する。また、図4の例では、ドラレコ装置10-2は、撮像データサンプルとして、撮像データVG2を送信している。よって、情報処理装置100は、ドラレコ装置10-2から撮像データVG2を取得し、撮像データ記憶部121に格納する。撮像データVG2も同様に時間の概念を有する。また、図4の例では、ドラレコ装置10-3は、撮像データサンプルとして、撮像データVG3を送信している。よって、情報処理装置100は、ドラレコ装置10-3から撮像データVG3を取得し、撮像データ記憶部121に格納する。撮像データVG3も同様に時間の概念を有する。撮像データ記憶部121の内部構成については後述する。
このような状態において、情報処理装置100は、正解ラベルを取得する(ステップS22)。情報処理装置100は、撮像データサンプルに対して、人手によってタグ付けされた部分を正解ラベルとして撮像データ記憶部121から取得する。このタグ付けの手法には、任意の手法が用いられる。例えば、作業員は、撮像データサンプルに駐車区画を示すラインが含まれる場合には、そのラインに色塗りし、色塗りした部分の意味をタグ付けする。例えば、作業員は、この部分が「どういうラインなのか」、「どういう色か」等の属性をタグ付けする。また、例えば、駐車区画に車両が駐車されている場合、ラインと、駐車されている車両との位置関係に応じて、ラインは様々な撮像態様を示す(ラインは様々な形状で写される)。したがって、作業員は、ラインが駐車されている車両の影響を受けて様々な撮像態様を示す各場合において、「ラインがこの形状のときは空車」、「ラインがこの形状のときは満車」等のタグ付けを行う。
このようなことから、作業員は、所定の撮像物の撮像態様として、道路上に引かれたラインが車両との位置関係に応じてどのように撮像されるかを示す撮像態様に応じて、各撮像態様での満空状況を示すタグ付けを行うことにより、タグ付けした部分を正解ラベルとして指定する。例えば、作業員は、撮像態様が示す形状であって、道路上に引かれたラインの形状が所定の形状であるか否かに応じて、各形状での満空状況を示すタグ付けを行うことにより、タグ付けした部分を正解ラベルとして指定する。この点について図4に示す各サンプルデータの例を用いて説明する。
撮像データVG1において、正解ラベルCL11は、「コの字形の白ラインは駐車区画であり、空車の場合にはコの字形に見える態様で撮像される」といった意味のタグ付けが行われることにより指定された正解データの一例である。また、正解ラベルCL12は、「横断歩道付近の直線白ラインは停止線であり(駐車区画ではない)、この直線白ライン付近は駐停車禁止エリアのため、満空判定の対象外」といった意味のタグ付けが行われることにより指定された正解データの一例である。また、正解ラベルCL13は、「信号機付近の直線白ラインは停止線であり、また、複数ラインは横断歩道であり、これらのライン付近は駐停車禁止エリアのため、満空判定の対象外」といった意味のタグ付けが行われることにより指定された正解データの一例である。
また、撮像データVG2において、正解ラベルCL21は、「コの字形の白ラインは駐車区画であり、空車の場合にはコの字形に見える態様で撮像される」といった意味のタグ付けが行われることにより指定された正解データの一例である。また、正解ラベルCL22は、「鍵形の白ラインは駐車区画の一部であり、満車の場合には駐車されている車両との位置関係に応じて鍵型に見える態様で撮像される」といった意味のタグ付けが行われることにより指定された正解データの一例である。
また、撮像データVG3において、正解ラベルCL31は、「タイヤ後ろにわずかに見える白い対象物は駐車区画を示す白ラインの一部であり、満車の場合には駐車されている車両との位置関係に応じてこのような態様で撮像される」といった意味のタグ付けが行われることにより指定された正解データの一例である。また、正解ラベルCL32は、「鍵形の白ラインは駐車区画の一部であり、満車の場合には駐車されている車両との位置関係に応じて鍵型に見える態様で撮像される」といった意味のタグ付けが行われることにより指定された正解データの一例である。
上記のような正解ラベルは、撮像データ記憶部121に格納される。また、上記例では、作業員が人手によってタグ付けにより正解ラベル指定を行う例を示したが、手作業のため多くの手間と時間を要する。したがって、この手作業は、自動化または効率化されてもよい。この一例として、情報処理装置100は、教師なし学習や半教師付き学習などを組み合わせたり、強化学習のように報酬と罰を決めることによって、後はアルゴリズムでシミュレートしながら学習し、モデルを生成してもよい。このようなことから、情報処理装置100は、必ずしも教師あり学習でモデルを生成する必要はない。以下では、教師あり学習として説明を進める。
さて、次に、情報処理装置100は、撮像物の撮像態様に応じた満空状況を学習することにより、撮像物の撮像態様に応じた満空状況を学習されたモデルを生成する(ステップS23)。具体的には、情報処理装置100は、所定の撮像物の撮像態様と、当該撮像態様が示すように撮像物が撮像された際の所定の駐車場所の満空状況とが対応付けられた情報により、撮像物の撮像態様に応じた満空状況を学習しモデルを生成する。例えば、情報処理装置100は、撮像物の撮像態様のうち、駐車場所の満空状況に応じた撮像態様を正解データとして学習されたモデルを生成する。
例えば、情報処理装置100は、ステップS22で説明したように、撮像物の撮像態様として、道路上に引かれたラインが車両との位置関係に応じてどのような形状で撮像されるかを示す撮像態様と、各撮像態様での満空状況との組合せを正解データとして用いることにより、ラインがどのようなパターンのときは空車であるのかや、ラインがどのようなパターンのときは空車であるのかを学習しモデルを生成する。
また、例えば、情報処理装置100は、ステップS22で説明したように、撮像物の撮像態様として、道路上に引かれたラインが車両との位置関係に応じてどのような形状で撮像されるかを示す撮像態様と、各撮像態様での満空状況との組合せを正解データとして用いることにより、ラインがどのようなパターンのときは空車であるのか、また、ラインがどのようなパターンのときは満車であるのかを学習しモデルを生成する。
また、例えば、情報処理装置100は、時間帯、天候、周辺の照度等がさらに要素として組み合わされた正解データを用いて、ラインがどのようなパターンや色のときは空車であるか、また、ラインがどのようなパターンや色のときは満車であるのかを学習しモデルを生成する。また、例えば、情報処理装置100は、車両の駐停車が禁止とされる禁止エリアに関する情報も学習することにより、そもそもどのような形状(パターン)のラインが駐車区画のラインであるのかも学習しモデルを生成する。
さらに、情報処理装置100は、上記のような学習により、満空判定の判定結果が通知される処理対象の車両からの撮像データが入力された場合に、この撮像データに写される対象物(例えば、道路上に引かれたライン)の形状(パターン)と、正解データとしての撮像態様が示すラインの形状(パターン)との一致度に基づくスコアであって、駐車場所の満空状況に関する確度を示すスコアを出力するモデルを生成する。生成されたモデルは、情報処理装置100内の所定の記憶部に格納される。なお、情報処理装置100は、道路がメッシュ状に仮想的に分割された各エリアのうち、どのエリアに駐車場所が存在するかを示す位置情報を記憶部内に有している場合がある。かかる場合、情報処理装置100は、駐車場所が存在するエリア毎に、そのエリアの撮像データサンプルに基づき学習されたモデルを生成してもよい。
また、モデルの学習手法については、任意の公知技術が適用可能である。例えば、モデルの生成は、機械学習に関する種々の従来技術を適宜用いて行われてもよい。例えば、モデルの生成は、SVM(Support Vector Machine)等の教師あり学習の機械学習に関する技術を用いて行われてもよい。また、例えば、モデルの生成は、教師なし学習の機械学習に関する技術を用いて行われてもよい。例えば、モデルの生成は、深層学習(ディープラーニング)の技術を用いて行われてもよい。例えば、モデルの生成は、RNN(Recurrent Neural Network)やCNN(Convolutional Neural Network)等の種々のディープラーニングの技術を適宜用いて行われてもよい。なお、上記モデルの生成に関する記載は例示であり、モデルの生成は、取得可能な情報等に応じて適宜選択された学習手法により行われてもよい。
次に、情報処理装置100は、処理対象の車両について、駐車場所の満空状況を判定する判定処理を行い、その判定結果を通知するタイミングであるか否かを判定する(ステップS24)。処理対象の車両は、ドラレコ装置10を有する車両であればどのような車両であってもよい。ここでは、処理対象の車両として、道路L5を走行中の車両C5(ドライバーD5が運転)を例に挙げる。例えば、情報処理装置100は、車両C5の運転態様が所定の条件を満たした場合(例えば、速度が所定速度より遅くなった場合)や、ドライバーD10の身体的挙動が所定の条件を満たした場合(例えば、首を振る等の左右を見渡す挙動が取られた場合)には、上記タイミングであると判定する。情報処理装置100は、かかるタイミングでないと判定した場合には(ステップS24;No)、条件が満たされるまで待機する。一方、情報処理装置100は、かかるタイミングであると判定した場合には(ステップS24;Yes)、ステップS25の処理を行う。
次に、情報処理装置100は、ステップS25で取得した対象撮像データに基づいて、例えば、道路L5に存在するパーキングメーター用の駐車場所の満空状況を判定する満空判定を実行する(ステップS26)。そして、情報処理装置100は、満空判定の判定結果を処理対象の車両C5のドライバーD5に通知する(ステップS27)。
ここで、実施形態にかかる撮像データは、動画であるため、例えば、1秒間において数十枚もの画像データにおいて構成される。したがって、情報処理装置100が、リアルタイムに撮像データを遂次取得するというのは、車両の走行および走行中の時間経過に応じて変化する画像データを連続的に取得してゆくことを意味する。このため、例えば、車両C5のドラレコ装置10-5から遂次取得された対象撮像データとして、画像データGP5-1、画像データGP5-2、画像データGP5-3を例に挙げる。言い換えれば、ドラレコ装置10-5から遂次取得される動画としての対象撮像データは、画像データGP5-1、画像データGP5-2、画像データGP5-3によって構成されるものとする。
また、画像データGP5-1は、車両C5が道路L5を走行しているときの、ある所定の時刻t1において撮像されたデータであるものとする。また、画像データGP5-2は、車両C5が道路L5を走行しているときの、ある所定の時刻t2において撮像されたデータであるものとする。また、画像データGP5-3は、車両C5が道路L5を走行しているときの、ある所定の時刻t3において撮像されたデータであるものとする。
まず、画像データGP5-1の例について説明する。情報処理装置100は、画像データGP5-1を取得した時点で、画像データGP5-1をモデルに入力することにより、画像データGP5-1に写されている駐車区画が空車である確率(空車率)を算出する。情報処理装置100は、正解データに基づきどのような形状のラインが駐車区画のラインであるかや、このラインが駐車区画のラインである場合、近傍の車両との位置関係に応じてどのような態様で撮像されているときに空車あるいは満車であるかを学習している。したがって、情報処理装置100は、画像データGP5-1に一切ラインが映されてない場合には満空判定を行わない。一方、情報処理装置100は、画像データGP5-1に駐車区画のラインが映されている場合には、このラインに対応する駐車区画について、モデルを用いて空車である確率を算出する。空車である確率を算出するは、満車である確率(満車率)を算出するとも言い換えることができる。
例えば、情報処理装置100は、画像データGP5-1に写されている駐車区画について、所定値(例えば、90%)以上の確率を算出した場合にはその駐車場所は空車であると判定し、所定値(例えば、3%)以下の確率を算出した場合にはその駐車場所は満車であると判定する。この後、図5を用いて詳しく説明するが、画像データGP6-1に写されている駐車区画には、車両C100が駐車されているため満車である。したがって、かかる例では、情報処理装置100は、車両C100が駐車されている駐車区画について、空車率3%以下の確率を算出することになる。そうすると、情報処理装置100は、車両C100が駐車されているこの駐車区画は満車と判定する。
かかる場合、情報処理装置100は、ステップS27において、車両C100が駐車されている駐車区画は満車であることを示す情報を、ドラレコ装置10-5を介してドライバーD5に通知する。例えば、情報処理装置100は、ドラレコ装置10-5の表示画面Dに現在表示されている画像データGP5-1に対して、車両C100が駐車されている駐車区画は満車であることを示す満車情報を重ねて表示させる。このあと図5で説明するが、一例を示すと、情報処理装置100は、「満」という文字が対応付けられた矩形の枠線としての満車情報IF100を、車両C100が駐車されている駐車区画を囲むようにして表示させる。
次に、画像データGP5-2の例について説明する。同様に、情報処理装置100は、画像データGP5-2を取得した時点で、画像データGP5-2をモデルに入力することにより、画像データGP5-2に写されている駐車区画が空車である確率(空車率)を算出する。例えば、情報処理装置100は、画像データGP5-2に駐車区画のラインが映されている場合には、このラインに対応する駐車区画について、モデルを用いて空車である確率を算出する。
例えば、情報処理装置100は、画像データGP5-2に写されている駐車区画について、所定値(例えば、90%)以上の確率を算出した場合にはその駐車場所は空車であると判定し、所定値(例えば、3%)以下の確率を算出した場合にはその駐車場所は満車であると判定する。次の図5の例では、画像データGP5-2に写されている手前の駐車区画には、車両C110が駐車されているため満車である。したがって、情報処理装置100は、車両C110が駐車されている駐車区画について、空車率3%以下の確率を算出することになる。そうすると、情報処理装置100は、車両C110が駐車されているこの駐車区画は満車と判定する。
また、図5の例によると、画像データGP5-2では、車両C110と車両C120との間には車両一台分の駐車区画が存在し、かかる駐車区画には車両が駐車されていない。したがって、情報処理装置100は、車両C110と車両C120との間に存在するこの駐車区画について、空車率90%以上の確率を算出することになる。そうすると、情報処理装置100は、車両C110と車両C120との間に存在するこの駐車区画は空車と判定する。
以上のような場合、情報処理装置100は、ステップS27において、車両C110が駐車されている駐車区画は満車であることを示す情報、および、車両C110と車両C120との間に存在する駐車区画は空車であることを示す情報をドラレコ装置10-5を介して、ドライバーD5に通知する。例えば、情報処理装置100は、ドラレコ装置10-5の表示画面Dに現在表示されている画像データGP5-2に対して、満車情報および空車情報を重ねて表示させる。このあと図5で説明するが、一例を示すと、情報処理装置100は、「満」という文字が対応付けられた矩形の枠線としての満車情報IF110を、車両C110が駐車されている駐車区画を囲むようにして表示させる。また、情報処理装置100は、「空」という文字が対応付けられた矩形の枠線としての空車情報IF115を、車両C110と車両C120との間に存在する駐車区画を囲むようにして表示させる。
次に、画像データGP5-3の例について説明する。同様に、情報処理装置100は、画像データGP5-3を取得した時点で、画像データGP5-3をモデルに入力することにより、画像データGP5-3に写されている駐車区画が空車である確率(空車率)を算出する。例えば、情報処理装置100は、画像データGP5-3に駐車区画のラインが映されている場合には、このラインに対応する駐車区画について、モデルを用いて空車である確率を算出する。
例えば、情報処理装置100は、画像データGP5-3に写されている駐車区画について、所定値(例えば、90%)以上の確率を算出した場合にはその駐車場所は空車であると判定し、所定値(例えば、3%)以下の確率を算出した場合にはその駐車場所は満車であると判定する。次の図5の例では、画像データGP5-3に写されている駐車区画には、車両C120が駐車されているため満車である。したがって、情報処理装置100は、車両C120が駐車されている駐車区画について、空車率3%以下の確率を算出することになる。そうすると、情報処理装置100は、車両C120が駐車されているこの駐車区画は満車と判定する。
かかる場合、情報処理装置100は、ステップS27において、車両C120が駐車されている駐車区画は満車であることを示す情報をドラレコ装置10-5を介して、ドライバーD5に通知する。例えば、情報処理装置100は、ドラレコ装置10-5の表示画面Dに現在表示されている画像データGP5-3に対して、満車情報を重ねて表示させる。このあと図5で説明するが、一例を示すと、情報処理装置100は、「満」という文字が対応付けられた矩形の枠線としての満車情報IF120を、車両C120が駐車されている駐車区画を囲むようにして表示させる。
ここからは、図5を用いて、画像データGP5-1、画像データGP5-2、画像データGP5-3それぞれで説明した通知例についてあらためて説明する。図5は、満空判定での判定結果を通知する一例を示す図である。図5に示すように、処理対象の車両C5のドラレコ装置10-5は、ステップS27での判定結果の通知を受けて、満空状況を示す情報を表示画面Dに表示する。例えば、ドラレコ装置10-5は、時間経過に応じて逐次変化する撮像データに応じて、そのときの撮像データに対する判定結果を重ねて表示する(ステップS28)。
図5(a)に示す画像データGP5-1は、時間経過に応じて変化する動画データのうち、車両C5が道路L5を走行しているときの、ある所定の時刻t1において撮像されたデータである。例えば、ドラレコ装置10-5は、情報処理装置100からの通知(表示指示)を受けて、自装置の表示画面Dに現在時刻(時刻t1)に表示されている画像データGP5-1に対して、車両C100が駐車されている駐車区画は満車であることを示す満車情報を重ねて表示させる。図5(a)に示すように、ドラレコ装置10-5は、例えば、「満」という文字が対応付けられた矩形の枠線としての満車情報IF100を、車両C100が駐車されている駐車区画を囲むようにして表示させる。例えば、ドラレコ装置10-6は、車両C5の走行によりこの駐車区画が撮像範囲から完全に外に出るまで、満車情報IF100を表示し続ける。
図5(b)に示す画像データGP5-2は、時間経過に応じて変化する動画データのうち、車両C5が道路L5を走行しているときの、ある所定の時刻t2において撮像されたデータである。例えば、ドラレコ装置10-5は、情報処理装置100からの通知(表示指示)を受けて、自装置の表示画面Dに現在時刻(時刻t2)に表示されている画像データGP5-2に対して、車両C110が駐車されている駐車区画は満車であることを示す情報、および、車両C110と車両C120との間に存在する駐車区画は空車であることを示す情報を重ねて表示させる。図5(b)に示すように、ドラレコ装置10-5は、例えば、「満」という文字が対応付けられた矩形の枠線としての満車情報IF110を、車両C110が駐車されている駐車区画を囲むようにして表示させる。また、ドラレコ装置10-5は、「空」という文字が対応付けられた矩形の枠線としての空車情報IF115を、車両C110と車両C120との間に存在する駐車区画を囲むようにして表示させる。例えば、ドラレコ装置10-5は、車両C5の走行によりこれらの駐車区画が撮像範囲から完全に外に出るまで、満車情報IF110および空車情報IF115を表示し続ける。
図5(c)に示す画像データGP5-3は、時間経過に応じて変化する動画データのうち、車両C5が道路L5を走行しているときの、ある所定の時刻t3において撮像されたデータである。例えば、ドラレコ装置10-5は、情報処理装置100からの通知(表示指示)を受けて、自装置の表示画面Dに現在時刻(時刻t3)に表示されている画像データGP5-3に対して、車両C120が駐車されている駐車区画は満車であることを示す満車情報を重ねて表示させる。図5(c)に示すように、ドラレコ装置10-5は、例えば、「満」という文字が対応付けられた矩形の枠線としての満車情報IF120を、車両C120が駐車されている駐車区画を囲むようにして表示させる。例えば、ドラレコ装置10-6は、車両C5の走行によりこの駐車区画が撮像範囲から完全に外に出るまで、満車情報IF120を表示し続ける。
なお、情報処理装置100は、例えば、正解データと対象撮像データとのマッチング、あるいは、対象撮像データに対する動画解析により駐車区画のラインを検出できた時点で、検出した駐車区画について満空判定を開始することができる。これにより、情報処理装置100は、例えば、車両C5と駐車区画とが離れすぎておりドライバーD5が駐車区画の存在を視認不可能な位置を車両C5が走行している段階で、判定結果を通知することができる。また、情報処理装置100は、車両C110と車両C120との間に存在する駐車区画のように、他の車両に邪魔されて目視ではその存在を視認不可能な位置を車両C5が走行している段階で、判定結果を通知することができる。このように、情報処理装置100は、例えば、ドライバーが駐車区画の存在を完全に視認できるような位置まで近づかなくともかなり早い段階で判定結果を通知することができるため、駐車区画に駐車するか否かの判断を余裕をもって行わせることができる。
さて、図4および図5を用いて説明してきたように、実施形態にかかる情報処理装置100は、第2の情報処理として、空車場所の満空状況を判定する満空判定を行う。具体的には、情報処理装置100は、車両のドライブレコーダーによって撮像された撮像データを取得する。そして、情報処理装置100は、取得した撮像データに基づいて、撮像データに写される道路に設置される駐車場所の満空状況をリアルタイム判定する。そして、情報処理装置100は、判定結果をドライバー(ユーザ)にリアルタイム通知する。
これにより、実施形態にかかる情報処理装置100は、道路に設置される駐車場所の満空状況であって、走行付近の駐車場所の満空状況を走行中のドライバーに対して、リアルタイムかつ的確に通知することができる。
また、情報処理装置100は、車両の駐停車が禁止とされる禁止エリアに関する情報も学習しているため、例えば、信号前の停止線、横断歩道を駐車区画として認識し、満空判定してしまうといった状況を回避することができる。また、情報処理装置100は、特定の施設(例えば、店舗、消防署、警察所)前のエリアも駐停車禁止エリアとして学習することもできる。このため、情報処理装置100は、例えば、これらの施設前にライン等の特定の撮像物が存在するような場合、これを駐車区画として認識し、満空判定してしまうといった状況を回避することができる。
また、ドラレコ装置10のカメラは、例えば、暗闇や悪天候時等、視認によって得られる情報が不確かな環境下や、その他の希少環境下においても、その環境下におかれた対象物を高精度に認識することができる場合がある。このようなことからも、本実施形態では、撮像データを用いることに優位性を見出している。すなわち、情報処理装置100は、車両の周辺環境がどのような環境であってもそれに左右されずに、的確に精度よく満空状況を通知することができる。
また、先に、ドラレコ装置10が、実施形態にかかる情報処理を行う情報処理装置の一例として単独で動作してもよいことを示したが、かかる場合には、ドラレコ装置10は、例えば、自装置が設置される車両を処理対象の車両として、図4および図5で説明した各ステップでの処理を行う。また、ドラレコ装置10は、学習によるモデル生成は行わず、例えば、所定期間毎にそれまでに収集された撮像データサンプルを用いて更新されるモデルを外部装置(例えば、情報処理装置100)から取得してもよい。
また、情報処理装置100は、ドラレコ装置10とパーキングメータ間での近距通信による決済や、例えば、ドライバーがスマートフォン等の端末装置に表示されたバーコードをパーキングメーターにかざすことによるバーコード決済に関する決済処理を行う機能を有してもよい。また、ドラレコ装置10が単独で動作する場合には、例えば、ドラレコ装置10が、パーキングメーターとの近距通信で取得した決済情報を所定の決済サーバ等に送信することにより決済処理を行ってもよい。
また、上記例では、情報処理装置100が、撮像データに写される所定の撮像物として、ラインの撮像態様が所定の条件を満たしているか否かに応じて、駐車場所の満空状況を判定する例を示した。しかし、情報処理装置100は、撮像データに写される所定の撮像物のうち、駐車場所が存在することを示す所定の対象物に基づいて、駐車場所の満空状況を判定することもできる。例えば、情報処理装置100は、所定の対象物として、パーキングメーター、または、駐車場所に対応する(駐車場所を示す)標識に基づいて、駐車場所の満空状況を判定する。この場合、例えば、情報処理装置100、駐車区画が満車および空車それぞれの場合においてパーキングメーター、または、標識がどのような撮像態様で撮像されるかが正解データとしてさらに学習されたモデルに基づいて、処理対象の駐車場所の満空状況を判定する。
また、情報処理装置100は、判定結果が通知される処理対象の車両から取得した撮像データにパーキングメータ、または、標識が写されている場合に、処理対象の車両はパーキングメーター用の駐車場所が存在するエリアに進入したと判断し、このエリア内に存在する駐車場所の満空状況を判定することもできる。
〔3.情報処理装置の構成〕
次に、図6を用いて、実施形態にかかる情報処理装置100について説明する。図6は、実施形態にかかる情報処理装置100の構成例を示す図である。図6に示すように、情報処理装置100は、通信部110と、記憶部120と、制御部130とを有する。例えば、情報処理装置100は、図1~図5で説明した情報処理を行うサーバ装置である。一方で、実施形態にかかる情報処理を行うのは、端末装置としてのドラレコ装置10であってもよい。
(記憶部120について)
記憶部120は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部120は、撮像データ記憶部121と、駐車場所情報記憶部122と、モデル記憶部123とを有する。
(撮像データ記憶部121について)
撮像データ記憶部121は、ドラレコ装置10のカメラ(撮像手段)による撮像で得られた撮像データに関する情報を記憶する。ここで、図7に実施形態にかかる撮像データ記憶部121の一例を示す。図7の例では、撮像データ記憶部121は、「ドライバーID」、「端末ID」、「日時」、「撮像データ」、「正解ラベル」といった項目を有する。
「ドライバーID」は、ドラレコ装置10が設置される車両のドライバーを識別する識別情報を示す。なお、ドライバーは、ドラレコ装置10の所有者であるため、「ユーザ」と言い換えることができる。「端末ID」は、ドラレコ装置10を識別する識別情報を示す。「日時」は、「撮像データ」が得られた日時を示す。図7の例では、日時に「DT1」といった概念的な記号を用いているが、実際には、例えば、年月日、日付、時刻情報が入力される。「撮像データ」は、ドラレコ装置10のカメラ(撮像部)による撮像で得られた撮像データを示す。「撮像データ」は、例えば、情報処理装置100の学習のために正解データ用のサンプルとして用いられることから、図4で示した撮像データサンプルに相当する。また、「撮像データ」は、動画であり、動画長「10分」といったように時間の概念を有する。「正解ラベル」は、対応する「撮像データ」に対するタグ付けによって指定された機械学習用の正解データ(教師データ)である。
すなわち、図7の例では、ドライバーID「D1」によって識別されるドライバー(ドライバーD1)のドラレコ装置であって、端末ID「10-1」によって識別されるドラレコ装置(ドラレコ装置10-1)が、日時「DT1」での撮像によって取得した撮像データ(撮像データサンプル)である「撮像データVG1」を情報処理装置100に送信することにより、情報処理装置100がこれを格納している例を示す。かかる例は、図4での説明に対応する。また、図7の例では、図4で説明したように、撮像データVG1に対して、正解ラベルCL11、正解ラベルCL12、正解ラベルCL13が指定されている例を示す。
なお、例えば、ドラレコ装置10-5が独立して実施形態にかかる第2の情報処理を実行する場合、ドラレコ装置10-5は、図7に示すような撮像データ記憶部121を有することができる。
(駐車場所情報記憶部122について)
駐車場所情報記憶部122は、道路に設置される駐車場所(例えば、パーキングメーター用の駐車場所)の位置(所在地)に関する情報を記憶する。ここで、図8に実施形態にかかる駐車場所情報記憶部122の一例を示す。図8の例では、駐車場所情報記憶部122は、「都道府県」、「市区町村」、「道路ID」、「エリア」、「位置情報」といった項目を有する。
「都道府県」、および、「市区町村」は、対応する「位置情報」が示す位置が含まれる都道府県および市区町村を示す。「道路ID」は、道路を識別する識別情報を示す。「エリア」は、「道路ID」が示す道路がメッシュ状に仮想的に分割された各エリアのうち、駐車場所が存在するエリアを識別する識別情報を示す。「位置情報」は、対応する「エリア」の位置を示す位置情報である。このようなことから、「位置情報」は、駐車場所の位置を示す位置情報とも言い換えることができる。図8の例では、「位置情報」に概念的な記号を用いているが、実際に例えば、住所あるいは経緯度等によって示される。
すなわち、図8の例では、東京都M区を通る道路であって、道路ID「RT11」によって識別される道路(道路RT11)が仮想的に分割された各エリアのうち、「PTm1」の位置にあるエリア「ARm1」、「PTm2」の位置にあるエリア「ARm2」、「PTm3」の位置にあるエリア「ARm3」に駐車場所が存在する例を示す。つまり、図6の例では、道路RT11上の位置である位置「PTm1」、位置「PTm2」、位置「PTm3」には、駐車場所が存在する例を示す。
(モデル記憶部123について)
モデル記憶部123は、情報処理装置100により生成されたモデルを記憶する記憶部である。モデル記憶部123は、例えば、各モデルを識別する「モデルID」と、当該モデルを示すモデル情報とを対応付けて記憶する。
(制御部130について)
図6に戻り、制御部130は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部130は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
図6に示すように、制御部130は、取得部131と、検出部132と、認識部133と、提供部134と、学習部135、生成部136と、満空判定部137と、通知部138と、動作制御部139とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部130の内部構成は、図6に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部130が有する各処理部の接続関係は、図6に示した接続関係に限られず、他の接続関係であってもよい。
(取得部131について)
取得部131は、撮像データを取得する。例えば、取得部131は、リアルタイムに撮像された撮像データを、このリアルタイムに合わせて取得する。例えば、取得部131は、道路を走行する移動体に搭載されたカメラ(ドラレコ装置10のカメラ)によって撮像された撮像データを取得する。例えば、ドラレコ装置10から撮像データが送信される場合、取得部131は、ドラレコ装置10から撮像データを取得(受信)する。また、取得部131は、取得した撮像データを撮像データ記憶部121に格納する。
なお、取得部131は、必ずしもドラレコ装置10のカメラによる撮像データだけを取得する必要はなく、例えば、各地の施設(例えば、信号機、電柱、マンション、店舗等)に備え付けられるカメラ(例えば、防犯カメラ)と通信可能なのであれば、このようなカメラよる撮像データも取得することができる。
また、取得部131は、撮像データを利用して処理が行われる場合、撮像データ記憶部121から必要な撮像データを取得し、対応する処理部に出力するといった処理も行うことができる。例えば、後述する生成部136が学習を行う際には、取得部131は、撮像データ記憶部121から撮像データを取得し、生成部136に出力する。このようなことから、取得部131は、処理の一例として、例えば、図1で説明したステップS11、図4で説明したステップS21やS25の処理を行う。
(検出部132について)
検出部132は、空車の駐車場所である空車場所を検出する検出処理を行う。例えば、検出部132は、取得部131により取得された撮像データを画像解析することにより空車場所を検出する。例えば、検出部132は、画像解析により撮像データの中に駐車場所が写されているか否かを判定し、駐車場所が写されている場合には、その駐車場所の満空状況を判定する満空判定を行う。そして、検出部132は、満空判定による判定結果に基づき駐車場所に中に空車の駐車場所が存在する場合には、その空車の駐車場所を検出する。
なお、検出部132は、満空状況を高精度に判定することができるとは限らないため、精度よく空車場所を検出できない場合がある。そこで、後述する満空判定部137が、第2の情報処理としての満空判定を行い、検出部132は、満空判定部137による判定結果が示す満空情報に基づいて、空車場所を検出してもよい。また、このようなことから、検出部132は、処理の一例として、例えば、図1で説明したステップS13の処理を行う。
また、検出部132は、空車場所を検出したことにより、検出した空車場所の近傍に存在する駐車移動体(駐車車両)を基準とした、空車場所の位置を特定する処理も行うことができる。例えば、検出部132は、取得部131によりリアルタイム取得されたリアルタイム撮像データを画像解析することにより、空車場所の近傍(例えば、空車場所を中心とする半径Xメートル以内のエリア)に駐車(もしくは停車)されている駐車移動体が存在するか否かを判定する。そして、検出部132は、駐車移動体が存在すると判定した場合には、この駐車移動体を基準とした、空車場所の位置を特定する。このようなことから、検出部132は、処理の一例として、例えば、図1で説明したステップS14の処理も行う。なお、情報処理装置100は、かかる処理を行う他の処理部(例えば、特定部)を有してもよい。
また、検出部132は、検出した駐車移動体を認識部133に通知する。例えば、検出部132は、撮像データの写される移動体のうち、どの移動体を駐車移動体として特定したかを認識部133に通知する。
(認識部133について)
認識部133は、取得部131によりリアルタイム取得されたリアルタイム撮像データに基づいて、検出部132により検出された空車場所の近傍に駐車されている駐車移動体(駐車車両)の特徴を認識する。検出部132により検出された空車場所の近傍とは、かかる空車場所を中心とする所定範囲内において、かかる空車場所の前方位置または後方位置、あるいは、かかる空車場所の左右いずれかの位置である。
例えば、認識部133は、駐車移動体の特徴として、駐車移動体の色、形状、車種、名称、または、ナンバープレートに記載される情報の少なくともいずれか1つを認識する。また、認識部133は、取得部131によりリアルタイム取得されたリアルタイム撮像データに基づいて、空車場所の周辺環境の特徴をさらに認識する。例えば、認識部133は、空車場所の周辺環境の特徴として、空車場所から所定範囲内に存在する対象物の特徴を認識する。
例えば、認識部133は、空車場所から所定範囲内に存在する対象物として、信号機、横断歩道、停止線、駐停車禁止エリア、電柱、植木、各種施設(店舗、その他公共施設等)等の特徴(例えば、色、形状、名称等)を認識する。また、空車場所から所定範囲内に存在する対象物としてどのような対象物が存在するかの特定(検出)は、検出部132によって行われてよい。このようなことから、認識部133は、処理の一例として、例えば、図1で説明したステップS15の処理も行う。
(提供部134について)
提供部134は、取得部131により取得された撮像データに基づいて、撮像データに写される駐車場所であって、空車であるため移動体を駐車可能となっている駐車場所(空車場所)の近傍に駐車されている移動体である駐車移動体の位置を基準として、駐車場所の位置を指し示す情報を移動体のドライバーに提供する。具体的には、提供部134は、処理対象の移動体に対する駐車移動体の位置を基準として、駐車場所の位置を指し示す情報を提供する。
例えば、提供部134は、認識部133により認識された駐車移動体の特徴をさらに用いて、空車場所の位置を指し示す情報を、処理対象の移動体のユーザ(ドライバー)に提供する。例えば、提供部134は、認識部133により認識された特徴を用いて当該特徴を有する駐車移動体と空車場所との位置関係を説明する情報を、空車場所の位置を指し示す情報として提供する。例えば、提供部134は、1台の駐車移動体について、複数の特徴が認識された場合には、複数の特徴を組合せた状態で、空車場所の位置を指し示す情報を提供する。
また、例えば、提供部134は、認識部133により周辺環境の特徴が認識された場合には、認識された周辺環境の特徴をさらに用いて、空車場所の位置を指し示す情報をする。また、例えば、提供部134は、認識部133により駐停車禁止エリアが認識された場合には、駐停車禁止エリアの位置を指し示す情報をさらに提供する。
また、提供部134は、処理対象の移動体が空車場所に駐車される際の時間帯、または、天候に応じて、認識部133により認識された特徴のうち処理対象の移動体のドライバーの視認率がより高くなるような特徴を選択し、選択した特徴を用いて、空車場所の位置を指し示す情報を提供する。このようなことから、提供部134は、処理の一例として、例えば、図1で説明したステップS16およびS17の処理を行う。
(学習部135について)
学習部135は、提供部134により空車場所の位置を指し示す情報が提供された際の、処理対象の移動体のドライバーの運転特性を学習する。この場合、提供部134は、学習部135により学習された運転特性に基づいて、認識部133により認識された特徴のうち、ドライバーの運転特性に応じた特徴を選択し、選択した特徴を用いて、空車場所の位置を指し示す情報をドライバーに提供する。この点について、図1および図2の例を用いて説明する。図1および図2の例では、処理対象の移動体は車両C5であり、処理対象の移動体のドライバーは車両C5のドライバーD5である。そして、図2の例では、提供部134は、ドラレコ装置10-5を制御し、「白トラックの前方に駐車可能スペースあり!」といった、空車場所SP5の位置を指し示す情報の提供を行っている。
そうすると、ドライバーD5は、この情報提供に従って空車場所SP5を駐車させようと車両C5を操作する。かかる操作を示す情報や、かかる操作に応じて車両C5がどのように運転されたかを示す運転履歴は、例えば、ドラレコ装置10-5によって情報処理装置100に送信される。運転履歴は、ドラレコ装置10-5のカメラによる撮像データであってもよい。
このようなことから、情報処理装置100は、例えば、空車場所の位置を指し示す情報が提供されたドライバーがどのような運転を行ったかを示す情報である運転履歴を、空車場所の位置を指し示す情報が提供される度にドラレコ装置10から取得することができる。よって、学習部135は、ドラレコ装置10から取得された運転履歴に基づいて、この運転履歴が示す運転を行ったドライバーの運転特性を学習する。例えば、学習部135は、運転特性として、空車場所の位置を指し示す情報の提供を受けたドライバーが、この情報に対してどれだけスムーズに(効率的に)駐車を行うことができたか、その傾向を学習する。例えば、学習部135は、駐車車両の特徴として、駐車車両の色だけが提供された場合、そのドライバーがどれだけスムーズに駐車を行うことができた、その傾向を学習する。また、例えば、学習部135は、駐車車両の特徴として、駐車車両の色および形状が提供された場合、そのドライバーがどれだけスムーズに駐車を行うことができた、その傾向を学習する。また、例えば、学習部135は、駐車車両の特徴として、駐車車両の色、形状、車種が提供された場合、そのドライバーどれだけスムーズに駐車を行うことができた、その傾向を学習する。
例えば、図2の例において、ドライバーD5は、特徴として色だけが提供された場合、高頻度で駐車場所を認識できず通り過ぎてしまうとする。このような場合、学習部135は、上記のような学習により、ドライバーD5は特徴として色だけが提供されてもスムーズに停車することができない傾向にあると学習することができる。そうすると、提供部134は、ドライバーD5には複数の特徴を用いたより明確な情報提供が必要と認識する。そして、提供部134は、例えば、ドライバーD5が次回、所定の空車場所に駐車しようとする際には、認識部133により認識された特徴のうち、駐車車両の色、形状、車種の3つを選択し、これらを組み合わせた情報であって、空車場所の位置を指し示す情報をドライバーD5に提供する。
これにより、実施形態にかかる情報処理装置100は、例えば、少ない情報でも空車場所を容易に認識できるようなドライバーには必要最低限の情報提供に済ますことで、例えば、情報が多すぎることによる混乱を回避することができる。また、情報処理装置100は、例えば、少ない情報ではスムーズに駐車できないようなドライバーにはより多くの情報を提供することで、例えば、空車場所の位置をよりわかりやすくドライバーに案内することができる。
また、提供部134は、処理対象の移動体のドライバーと同一、または、類似する属性(例えば、年代、性別、車両に対する趣味嗜好)を有するドライバー全体での運転特性の傾向に基づいて、認識部133により認識された特徴のうち、当該運転特性の傾向に応じた特徴を選択し、選択した特徴を用いて、駐車場所の位置を指し示す情報を処理対象の移動体のドライバーに提供してもよい。
例えば、学習部135は、上記のような学習により得た学習結果に基づいて、例えば、「20代、女性」ではどのような運転特性(例えば、「20代、女性」は少ない情報提供では、スムーズな駐車が困難な傾向にある等)にあるかを総合的に学習する。また、例えば、学習部135は、上記のような学習により得た学習結果に基づいて、例えば、「50代、男性」ではどのような運転特性(例えば、「50代、男性」は少ない情報提供でスムーに駐車出来る傾向にある等)にあるかを総合的に学習する。
このような状態において、提供部134は、例えば、図2のドライバーD5が「20代、女性」なのであれば、「20代、女性」に対応する学習結果(例えば、「20代、女性」は少ない情報提供では、スムーズな駐車が困難な傾向にある)に基づいて、次回の情報提供に応用させる。例えば、提供部134は、ドライバーD5が次回、所定の空車場所に駐車しようとする際には、認識部133により認識された特徴のうち、駐車車両の色、形状、車種の3つを選択し、これらを組み合わせた情報であって、空車場所の位置を指し示す情報をドライバーD5に提供する。
(生成部136について)
生成部136は、学習によりモデルを生成する。生成部136は、所定の撮像物の撮像態様と、当該撮像態様が示すようにこの撮像物が撮像された際の駐車場所の満空状況とが対応付けられた情報により学習されたモデルを生成する。例えば、生成部136は、撮像物の撮像態様のうち、駐車場所の満空状況に応じた撮像態様を正解データとして学習されたモデルを生成する。例えば、生成部136は、判定結果が通知される処理対象の移動体に搭載されたカメラによって撮像された撮像データが入力された場合に、撮像データに写される対象物である道路上に引かれたラインの形状と、正解データとしての撮像態様が示すラインの形状との一致度に基づくスコアであって、駐車場所の満空状況に関する確度を示すスコアを出力するモデルを生成する。
また、生成部136は、移動体の駐停車が禁止とされる禁止エリアに関する情報がさらに学習されたモデルを生成することもできる。例えば、生成部136は、移動体の駐停車が禁止とされる禁止エリアに関する情報を、満空判定を行わないための正解データとして学習することによりモデルを生成する。このようなことから、生成部136は、処理の一例として、例えば、図4で説明したステップS22およびS23の処理を行う。
(満空判定部137について)
満空判定部137は、取得部131により取得された撮像データに基づいて、撮像データに写される道路に設置される駐車場所の満空状況を判定する。例えば、満空判定部137は、ドラレコ装置10を有する移動体が現在走行中の道路に設置される駐車場所であって、当該移動体の進行方向に存在する駐車場所の現在の満空状況を判定する。例えば、満空判定部137は、駐車場所として、1台の移動体を駐車させるための駐車区画毎に、当該駐車区画の満空状況を判定する。
また、満空判定部137は、撮像データに基づいて、撮像データに写される所定の撮像物の撮像態様が所定の条件を満たしているか否かに応じて、駐車場所の満空状況を判定する。例えば、満空判定部137は、所定の撮像物の撮像態様として、道路上に引かれたラインが移動体との位置関係に応じてどのように撮像されるかを示す撮像態様であって、ラインの撮像態様が所定の条件を満たしているか否かに応じて、駐車場所の満空状況を判定する。例えば、満空判定部137は、撮像態様が示す形状であって、所定の撮像物の形状が所定の形状であるか否かに応じて、駐車場所の満空状況を判定する。
一例として、満空判定部137は、所定の撮像物の撮像態様と、当該撮像態様が示すように撮像物が撮像された際の駐車場所の満空状況とが対応付けられた情報により学習されたモデルに基づいて、処理対象の駐車場所の満空状況を判定する。例えば、満空判定部137は、撮像物の撮像態様のうち、駐車場所の満空状況に応じた撮像態様を正解データとして学習されたモデルに基づいて、処理対象の駐車場所の満空状況を判定する。例えば、満空判定部137は、判定結果が通知される処理対象の移動体に搭載されたカメラによって撮像された撮像データが入力された場合に、撮像データに写される対象物である道路上に引かれたラインの形状と、正解データとしての撮像態様が示すラインの形状との一致度に基づくスコアであって、駐車場所の満空状況に関する確度を示すスコアを出力するモデルに基づいて、駐車場所の満空状況を判定する。また、満空判定部137は、移動体の駐停車が禁止とされる禁止エリアに関する情報が学習された前記モデルに基づいて、禁止エリアを除く領域における駐車場所の満空状況を判定する。このようなことから、満空判定部137は、処理の一例として、例えば、図4で説明したステップS26の処理を行う。
また、検出部132は、第1の情報処理では、満空判定部137による満空判定での判定結果が示す満空情報に基づいて、空車場所を検出する。
また、図8で説明したように、情報処理装置100は、駐車場所情報記憶部122において、駐車場所が存在するエリアを示す位置情報を有している。したがって、満空判定部137は、例えば、処理対象の移動体が、駐車場所が存在するエリアに近付いた場合に、満空判定を行ってもよい。具体的には、満空判定部137は、駐車場所が存在するエリアを示す位置情報に基づいて、駐車場所の満空状況を判定する。例えば、満空判定部137は、判定結果が通知される処理対象の移動体がこのエリア内に進入した場合に、エリア内に存在する駐車場所の満空状況を判定する。
(通知部138について)
通知部138は、満空判定部137による判定結果をドライバーに通知する。例えば、通知部138は、判定結果が通知される処理対象の移動体に搭載されたカメラによって撮像された撮像データであって、表示画面においてリアルタイムに表示される撮像データに写される駐車場所毎に、現在の満空状況を表示させる。例えば、通知部138は、図5で説明したように、「満」という文字が対応付けられた矩形の枠線としての満車情報を、車両が駐車されている駐車区画を囲むようにして表示させる。また、例えば、通知部138は、図2で説明したように、「空」という文字が対応付けられた矩形の枠線としての空車情報を、車両が駐車されていない駐車区画を囲むようにして表示させる。
さて、ここからは、通知部138による他の通知について説明する。例えば、情報処理装置100は、情報通知される通知対象の移動体(判定結果が通知される処理対象の移動体)以外の他の移動体を基準とする満空情報であって、駐車場所の満空状況を示す満空情報(判定結果)を取得し、取得した満空情報を情報通知される通知対象の移動体に通知する。よりわかり易く説明する。図4および図5の例では、情報処理装置100が、処理対象の車両C5のドラレコ装置10から現在の撮像データを取得し、この撮像データについて満空判定し、表示画面の撮像データに重ねる形で判定結果(すなわち、満空情報)を通知する例を示した。しかしながら、このような一連の第2の情報処理は、当然ながら車両C5だけでなく、多くの各車両に対して行われる。例えば、車両C5から見て他の車両である車両C6についても同様の情報処理が行われる。したがって、ここで説明する通知は、車両C5から見て他の車両である車両C6からの撮像データに基づき、車両C6を基準として満空判定された際の判定結果を、車両C5のドラレコ装置10-5が有する表示画面に現在写される撮像データに対して反映させる、という通知手法である。
このような通知を行う前提について説明する。例えば、図5の例によると、情報処理装置100は、車両C5の走行車線側に存在する駐車区画を対象に満空判定している。しかし、車両C5の走行車線に対する反対車線側にも駐車区画があり、この駐車区画が撮像データに写されていれば、情報処理装置100は、当然、この駐車区画についても満空判定することができる。要は、情報処理装置100は、判定結果が通知される処理対象の車両の走行車線、反対車線に拘わらず撮像データに駐車区画が写されていればそれに対して満空判定を行うことができる。しかしながら、ドラレコ装置10は、基本的には走行車線側の情報を中心に撮像してしまう傾向にあるため、撮像データからは、反対車線側の情報(例えば、駐車区画が存在するか否か)を高精度に認識することができない場合がある。そうすると、車両C5の撮像データに基づき反対車線側の駐車区画について満空判定された判定結果より、反対車線を走行する車両C6の撮像データについて満空判定された判定結果の方が精度が高い場合がある。このため、車両C5のドライバーD5に対して、車両C6を基準とする判定結果も通知することができれば、より正確な満空状況をドライバーD5に通知することができるようになる。
以上の前提を踏まえて、車両C5および車両C6を例に用いると、情報処理装置100は、情報通知される通知対象の車両C5以外の他の移動体である車両C6であって、反対車線を走行する車両C6を基準とする満空情報であって、駐車区画の満空状況を示す満空情報を取得する。そして、情報処理装置100(通知部138)は、取得された満空情報を車両C5のドライバーD5に通知する。この点について、図9を用いて説明する。図9は、情報通知の他の一例を示す図である。
図9の例では、車両C6は、車両C5とは反対車線を車両C5に向かって走行してきている。このようなことから、車両C6は、この先、車両C5が通過し得る地点を既に走行してきているため、同時刻において、車両C5から見るよりもその地点の情報を正確に知ることができる。例えば、図9において丸印で囲まれる2つの駐車区画の満空状況がどうであるかは、時刻t4の時点では、車両C6の方が車両C5よりも早く知ることができる。言い換えれば、情報処理装置100は、時刻t4の時点では、車両C5の撮像データよりも車両C6の撮像データからの方が精度よく、上記2つの車区画の満空状況を判定することができる。
例えば、情報処理装置100は、通知対象の車両C5以外の他の車両のうち、例えば、車両C5が将来通過し得る地点を走行してきた車両を特定する、図9の例では、情報処理装置100は、このような車両として車両C6を特定したとする。なお、図9では不図示であるが、情報処理装置100は、かかる特定処理を行う処理部(例えば、特定部)をさらに有してよい。そしてこのように特定された時点である時刻t4では、例えば、車両C5および車両C6は、図9のような位置関係で走行している。
このような状態において、取得部131は、車両C5のドラレコ装置10-5から時刻t4時点での撮像データ(画像データGP5-4)を取得する(ステップS31)。また、取得部131は、ステップS31において、車両C6のドラレコ装置10-6からも時刻t4時点での撮像データ(画像データ)を取得する。次に、満空判定部137は、画像データGP5-4をモデルに適用することにより、画像データGP5-4について満空判定を行う(ステップS32)。満空判定の詳細については、図4で説明したとおりであるため省略する。また、満空判定部137は、ステップS32において、ドラレコ装置10-6からの画像データについても満空判定を行う。例えば、ドラレコ装置10-6からの画像データについての満空判定で得られた判定結果は、車両C6を基準とする判定結果である。
例えば、満空判定部137は、ドラレコ装置10-6からの画像データに基づいて、丸印で囲まれる2つの駐車区画のうち、車両C5から見て手前の駐車区画は車両C200が駐車されており満車で、後方の駐車区画は空車と判定したとする。このような判定結果は、車両C6を基準とする判定結果である。
また、かかる場合、通知部138は、車両C6を基準とする判定結果を、例えば、満空判定部137から取得する。そして、通知部138は、車両C6を基準とする判定結果と、車両C5側での判定結果とを合わせて通知する(ステップS33)。例えば、通知部138は、車両C6を基準とする判定結果として、車両C200が駐車されている手前の駐車区画は満車であることを示す情報と、その後方の駐車区画は空車であること示す情報とを、ドラレコ装置10-5を介して、ドライバーD5に通知する。例えば、通知部138は、ドラレコ装置10-5の表示画面に現在表示されている画像データGP5-4に対して、車両C200が駐車されている駐車区画は満車であることを示す満車情報を重ねて表示させる。一例を示すと、通知部138は、「満」という文字が対応付けられた矩形の枠線としての満車情報IF200を、車両C200が駐車されている駐車区画を囲むようにして表示させる。
また、通知部138は、ドラレコ装置10-5の表示画面に現在表示されている画像データGP5-4に対して、後方の駐車区画は空車であることを示す空車情報を重ねて表示させる。一例を示すと、通知部138は、「空」という文字が対応付けられた矩形の枠線としての空車情報IF210を、この駐車区画を囲むようにして表示させる。
図9(a)は、上述した状況が反映されている図である。図9(a)に示す画像データGP5-4は、時間経過に応じて変化する動画データのうち、車両C5が道路L5を走行しているときの時刻t4において撮像されたデータである。例えば、ドラレコ装置10-5は、通知部138からの通知(表示指示)を受けて、自装置の表示画面に現在時刻(時刻t4)に表示されている画像データGP5-4に対して、車両C200が駐車されている駐車区画は満車であることを示す満車情報を重ねて表示させる。図9(a)に示すように、ドラレコ装置10-5は、例えば、「満」という文字が対応付けられた矩形の枠線としての満車情報IF200を、車両C200が駐車されている駐車区画を囲むようにして表示させる。例えば、ドラレコ装置10-5は、車両C5の走行によりこの駐車区画が撮像範囲から完全に外に出るまで、満車情報IF200を表示し続ける。
また、例えば、ドラレコ装置10-5は、通知部138からの通知(表示指示)を受けて、自装置の表示画面に現在時刻(時刻t4)に表示されている画像データGP5-4に対して、後方の駐車区画は空車であることを示す空車情報を重ねて表示させる。図9(a)に示すように、ドラレコ装置10-5は、例えば、「空」という文字が対応付けられた矩形の枠線としての空車情報IF210を、後方の駐車区画を囲むようにして表示させる。例えば、ドラレコ装置10-5は、車両C5の走行によりこの駐車区画が撮像範囲から完全に外に出るまで、空車情報IF210を表示し続ける。
図9を用いて説明したように、情報処理装置100は、情報通知される通知対象の移動体(判定結果が通知される処理対象の移動体)以外の他の移動体を基準とする満空情報であって、駐車場所の満空状況を示す満空情報(判定結果)を取得し、取得した満空情報を情報通知される通知対象の移動体に通知する。これにより、情報処理装置100は、より正確な満空状況を通知することができる。
また、図9の例では、情報処理装置100が、通知対象の車両が将来通過し得る地点を走行してきた車両(通知対象の車両のために満空情報が利用される利用対象の車両)として、通知対象の車両以外の他の車両であって、対向車線を走行する車両を特定する例を示した。また、情報処理装置100が、通知対象の車両以外の他の車両を基準とする満空情報であって、駐車場所の満空状況を示す満空情報を通知対象の車両に通知する例を示した。ここで、情報処理装置100は、通知対象の車両が将来通過し得る地点を走行してきた車両として、対向車線を走行する車両を特定する以外に、例えば、所定のカーナビゲーションサービスに対する登録情報に基づいて、通知対象の車両が将来通過し得る道路や目的地を取得し、通知対象の車両が将来通過し得る道路や目的付近を現在走行中の車両を、満空情報が利用される利用対象の車両として特定してもよい。また、情報処理装置100は、このように特定した車両を基準とする満空情報であって、駐車場所の満空状況を示す満空情報を取得し、通知対象の車両に通知する。
(動作制御部139について)
ここで、例えば、情報処理装置100による満空判定や満空判定での判定結果の通知が常時行われると、ドラレコ装置10の表示画面には、矩形の枠線としての満車情報や空車情報が高頻度で表示される場合がある。この場合、駐車区画に駐車予定の無いドライバーにとっては、かかる表示を煩わしく思うかもしれない。したがって、情報処理装置100は、ドライバーが駐車区画に駐車しようとしているか否かを判定し、車区画に駐車しようとしている状況下でのみ、駐車区画の通知に関する処理(満空判定や満空判定での判定結果を通知する処理)を開始する。
具体的には、動作制御部139は、車両の運転に関する挙動が所定の条件を満たしたか否かを判定する。そして、動作制御部139は、所定の条件を満たしたと判定した場合には、駐車区画の通知に関する処理(満空判定や満空判定での判定結果を通知する処理を開始させる。例えば、動作制御部139は、所定の条件を満たしたと判定した場合には、満空判定部137に対して満空判定を開始するよう指示する。なお、車両の運転に関する挙動が所定の条件を満たしたか否かを判定する判定処置は、動作制御部139以外の処理部(例えば、挙動判定部)によって行われてもよい。
処理対象の車両C5を例に説明すると、例えば、動作制御部139は、車両C5の運転に関する挙動として、車両C5の速度が、所定の速度より遅くなったか否かを判定し、車両C5の速度が所定の速度より遅くなったと判定した場合には、満空判定部137に対して満空判定を開始させる。
また、動作制御部139は、車両C5の運転に関する挙動として、ドライバーD5が車両C5を運転している際の運転態様が、所定の運転態様となったか否かを判定し、運転態様が所定の運転態様(例えば、車両C5を道路脇に寄せる運転、あるいは、同一エリアを周回する運転)となったと判定した場合には、満空判定部137に対して満空判定を開始させる。
また、動作制御部139は、車両C5の運転に関する挙動として、ドライバーD5が車両C5を運転している際の身体的挙動が、所定の挙動となったか否かを判定し、ドライバーD5の身体的挙動が所定の挙動(例えば、顔を左右に動かして辺りを見渡す挙動、「どこか空いてないかな」といった発話)となったと判定した場合には、満空判定部137に対して満空判定を開始させる。
なお、例えば、図1のステップS11や、図4のステップS24で示した判定処理が、動作制御部139によって行われる判定処理に相当する。
〔4.処理手順(1)〕
次に、図10を用いて、実施形態にかかる情報処理のうち、第1の情報処理の手順について説明する。図10は、実施形態にかかる第1の情報処理の処理手順を示すフローチャートである。なお、図10の例では、移動体を車両値とする。また、図10の例では、情報処理装置100による各種処理対象となっている処理対象の車両のドライバーは、駐車場所を探しているものとする。
また、取得部131は、処理対象の車両のドラレコ装置10からリアルタイム撮像された撮像データをそのリアルタイムに合わせて取得する(ステップS101)。
次に、検出部132は、空車の駐車場所である空車場所を検出する検出処理を行う(ステップS102)。例えば、検出部132は、取得部131により取得された撮像データを画像解析することにより空車場所を検出する。例えば、検出部132は、画像解析により撮像データの中に駐車場所が写されているか否かを判定し、駐車場所が写されている場合には、その駐車場所の満空状況を判定する満空判定を行う。そして、検出部132は、満空判定による判定結果に基づき駐車場所に中に空車の駐車場所が存在する場合には、その空車の駐車場所を検出する。
また、検出部132は、空車場所を検出したことにより、検出した空車場所の近傍に存在する駐車車両を基準とした、空車場所の位置を特定する(ステップS103)。例えば、検出部132は、取得部131により取得された撮像データを画像解析することにより、空車場所の近傍に駐車されている駐車車両が存在するか否かを判定する。そして、検出部132は、駐車車両が存在すると判定した場合には、この駐車車両を基準とした、空車場所の位置を特定する。
次に、認識部133は、取得部131により取得された撮像データに基づいて、検出部132により検出された空車場所の近傍に駐車されている駐車車両の特徴を認識する(ステップS104)。例えば、認識部133は、駐車車両の特徴として、駐車移動体の色、形状、車種、名称、または、ナンバープレートに記載される情報の少なくともいずれか1つを認識する。また、認識部133は、撮像データに基づいて、空車場所の周辺環境の特徴をさらに認識するしてもよい。
次に、提供部134は、現在の時間帯、または、天候に応じて、認識部133により認識された特徴のうち処理対象の車両のドライバーの視認率がより高くなるような特徴を選択する(ステップS105)。そして、提供部134は、空車場所の位置を指し示す情報を処理対象の車両のドライバーに提供する(ステップS106)。例えば、提供部134は、ステップS103で特定された空車場所の位置と、ステップS105で選択した特徴とに基づいて、空車場所の位置を指し示す(定義付ける)情報を生成する。そして、提供部134は、生成した情報を処理対象の車両のドライバーに提供する。
〔5.処理手順(2)〕
次に、図11を用いて、実施形態にかかる情報処理のうち、第2の情報処理の手順について説明する。図11は、実施形態にかかる第2の情報処理の処理手順を示すフローチャートである。なお、図11の例では、情報処理装置100は、各地を走行する車両のドラレコ装置10から、学習のためのサンプルとなる撮像データ(撮像データサンプル)を収集し、収集した撮像データサンプルを用いてモデルを生成済みであるものとする。なお、情報処理装置100は、撮像データサンプルを随時取得(収集)している場合には、所定のタイミング毎に(例えば、1週間経過する毎に)、当該所定のタイミングまでに取得した撮像データサンプルを用いてこれまでに生成したモデルを更新することができる。
まず、動作制御部139は、処理対象の車両について、駐車場所の満空状況を判定する判定処理を行い、その判定結果を通知するタイミングであるか否かを判定する(ステップS201)。例えば、動作制御部139は、処理対象の車両の運転に関する挙動が所定の条件を満たしたか否かを判定する。動作制御部139は、処理対象の車両の運転に関する挙動が所定の条件を満たしていないと判定した場合には(ステップS201;No)、処理を行うタイミングではないと判断し、所定の条件が満たされるまで待機する。一方、動作制御部139は、処理対象の車両の運転に関する挙動が所定の条件を満たしたと判定した場合には(ステップS201;Yes)、、満空判定や満空判定での判定結果を処理対象の車両に通知する処理を開始させる制御を行う。
このような制御を受けて、取得部131は、処理対象の車両から撮像データ(対象撮像データ)を取得する(ステップS202)。例えば、取得部131は、処理対象の車両のドラレコ装置10から、撮像によって得られた対象撮像データを取得する。より具体的には、取得部131は、処理対象の車両が走行中においてリアルタイム撮像された対象撮像データを逐一取得する。
次に、満空判定部137は、ステップS202で取得された対象撮像データに基づいて、例えば、対象撮像データに写される駐車場所の満空状況を判定する満空判定を実行する(ステップS203)。例えば、満空判定部137は、駐車区画毎に、当該駐車区画の満空状況を判定する満空判定を実行する。例えば、満空判定部137は、対象撮像データをモデルに入力することにより出力された確度であって、対象撮像データに写される駐車区画が空車である確率、または、対象撮像データに写される駐車区画が満車である確率に基づいて、駐車区画の満空状況を判定する。
次に、通知部138は、満空判定の判定結果を処理対象の車両のドライバーに通知する(ステップS204)。例えば、通知部138は、処理対象の車両のドラレコ装置10を制御することにより、現在の撮像データに写される駐車区画毎に満車情報や空車情報を表示させる。
〔6.ハードウェア構成〕
また、上記実施形態にかかる情報処理装置100は、例えば図12に示すような構成のコンピュータ1000によって実現される。図12は、情報処理装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM1300、HDD1400、通信インターフェイス(I/F)1500、入出力インターフェイス(I/F)1600、及びメディアインターフェイス(I/F)1700を有する。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス1500は、通信網50を介して他の機器からデータを受信してCPU1100へ送り、CPU1100が生成したデータを、通信網50を介して他の機器へ送信する。
CPU1100は、入出力インターフェイス1600を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。CPU1100は、入出力インターフェイス1600を介して、入力装置からデータを取得する。また、CPU1100は、生成したデータを、入出力インターフェイス1600を介して出力装置へ出力する。
メディアインターフェイス1700は、記録媒体1800に格納されたプログラム又はデータを読み取り、RAM1200を介してCPU1100に提供する。CPU1100は、かかるプログラムを、メディアインターフェイス1700を介して記録媒体1800からRAM1200上にロードし、ロードしたプログラムを実行する。記録媒体1800は、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態にかかる情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされたプログラムを実行することにより、制御部130の機能を実現する。また、HDD1400には、記憶部120内のデータが格納される。コンピュータ1000のCPU1100は、これらのプログラムを、記録媒体1800から読み取って実行するが、他の例として、他の装置から、通信網50を介してこれらのプログラムを取得してもよい。
〔7.その他〕
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、上述してきた「部(section、module、unit)」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。