JP7011472B2 - 情報処理装置、情報処理方法 - Google Patents

Description

本発明は、学習モデルを取り扱う情報処理技術に関するものである。

画像情報に基づく撮像装置の位置及び姿勢の計測は、複合現実感／拡張現実感における現実空間と仮想物体との位置合わせ、ロボットや自動車の自己位置推定、物体や空間の三次元モデリングなど、様々な目的で利用される。

非特許文献１では、事前に学習した学習モデルを用いて画像から位置姿勢を算出するための指標である幾何情報（奥行き情報）を推定し、該推定した奥行き情報をもとに位置姿勢を算出する方法が開示されている。

Ｋ． Ｔａｔｅｎｏ， Ｆ． Ｔｏｍｂａｒｉ， Ｉ． Ｌａｉｎａ ａｎｄ Ｎ． Ｎａｖａｂ， "ＣＮＮ－ＳＬＡＭ： Ｒｅａｌ－ｔｉｍｅ ｄｅｎｓｅ ｍｏｎｏｃｕｌａｒ ＳＬＡＭ ｗｉｔｈ ｌｅａｒｎｅｄ ｄｅｐｔｈ ｐｒｅｄｉｃｔｉｏｎ"， ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ２０１７

非特許文献１では、学習モデルを予め準備しておく必要がある。しかし、全てのシーンを網羅する学習モデルを予め準備することは非常に多くの時間や手間がかかるために難しい。係る点、本発明では、学習モデルの準備を効率的に行うための技術を提供する。

本発明の一様態は、設定領域を設定する設定手段と、
入力された撮像画像に対応する奥行き情報を出力するように学習済みの複数の学習済みモデルのうち、前記設定領域内の撮像位置で撮像された撮像画像と該撮像位置で撮像された撮像画像の奥行き情報とを教師データとして用いて学習した少なくとも１つの学習済みモデルを取得する取得手段と
を備えることを特徴とする。

本発明の構成によれば、学習モデルの準備を効率的に行うための技術を提供することができる。

システムの機能構成例を示すブロック図。 情報処理装置１００が行う処理のフローチャート。 学習モデル情報の表示例を示す図。 システムの機能構成例を示すブロック図。 情報処理装置４００が行う処理のフローチャート。 表示部４０３における表示画面の一例を示す図。 システムの機能構成例を示すブロック図。 情報処理装置７００の機能構成例を示すブロック図。 情報処理装置７００が行う処理のフローチャート。 包含領域情報の表示例を示す図。 情報処理装置１１００の機能構成例を示すブロック図。 情報処理装置１１００が行う処理のフローチャート。 情報処理装置１３００の機能構成例を示すブロック図。 情報処理装置１３００が行う処理のフローチャート。 コンピュータ装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。

［第１の実施形態］
本実施形態では、目的地までの行き方を誘導するカーナビゲーション装置へ適用したシステムの一例について説明する。具体的には、カーナビゲーション装置から得られた出発地から目的地までの経路に基づいて領域を設定し、該設定した領域に該当する学習モデルを取得する。学習モデルは、入力画像から対応する幾何情報を推定するためのモデルであり、本実施形態では一例としてＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）とする。幾何情報とは、入力画像の各画素に対応する奥行き値（デプス値）を保持するデプスマップである。学習モデルは、複数の画像とそれと同時刻に同視野を撮影した複数のデプスマップをもとに、画像を入力すると対応するデプスマップが推定できるようにあらかじめ学習（学習済み）して生成されたものとする。なお、本実施形態において、推定した幾何情報の用途は特に限定されないが、例えば、衝突予測、衝突回避等の制御に用いることができる。

先ず、本実施形態に係るシステムの機能構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、カーナビゲーション装置１０３、情報処理装置１００、生成部１０４、記憶装置１０５、を有する。なお、図１では、カーナビゲーション装置１０３、情報処理装置１００、生成部１０４、記憶装置１０５のそれぞれを別個の装置としているが、これらのうち２つ以上を１つの装置としてもよい。

先ず、カーナビゲーション装置１０３について説明する。カーナビゲーション装置１０３は、自身の現在位置を取得するＧＰＳと、地図画像を含む様々な情報を表示する表示画面と、を有する。また、カーナビゲーション装置１０３には、様々な地域の様々な縮尺の地図画像が登録されている。表示画面には、ＧＰＳにより測定された現在位置やユーザがカーナビゲーション装置１０３を操作して指定した位置の周辺の地図画像が表示される。ユーザがカーナビゲーション装置１０３を操作して目的地を設定する操作を行うと、カーナビゲーション装置１０３は、出発地（現在位置）から目的地までの経路を求める。そしてカーナビゲーション装置１０３は、該求めた経路に係る情報を表示画面に表示すると共に、該経路に係る情報を経路情報として情報処理装置１００に対して出力する。経路情報には、「出発地の位置」、「目的地の位置」、「出発地から目的地までの経路上の経由地の位置」、が含まれている。「出発地の位置」、「目的地の位置」、「経由地の位置」は、例えば、緯度、経度で表される。

次に、記憶装置１０５について説明する。記憶装置１０５には、撮像画像を入力すると対応する幾何情報が出力されるように学習された複数の学習モデルが登録されており、該複数の学習モデルのそれぞれは、例えば、次のような学習処理によって生成された学習モデルである。つまり、学習データごとに、該学習データに含まれている撮像画像を学習モデルに入力することで該学習モデルから出力される幾何情報と、該学習データに含まれている幾何情報（教師データ）と、の差分を求める。そして、学習データごとに求めた差分の合計を極小化するように、該学習モデルを更新する。それぞれの学習モデルで異なる条件（学習環境）の学習データを用いて学習処理を行うことで、互いに異なる条件に対応する学習モデルを生成することができる。なお、記憶装置１０５に登録されているそれぞれの学習モデルには、該学習モデルの学習処理において使用したそれぞれの撮像画像の撮像位置（例えば、緯度、経度）を示す情報（撮像位置情報）が関連づけられている。なお、画像を入力すると対応する幾何情報を出力する学習モデルであれば、如何なる学習モデルあっても良く、例えば、機械学習のモデルを学習モデルとして使用しても良く、学習モデルはＣＮＮに限らない。

次に、情報処理装置１００について説明する。図１に示す如く、情報処理装置１００は、領域設定部１０１と、取得部１０２と、を有する。領域設定部１０１は、カーナビゲーション装置１０３から取得した情報に基づいて設定領域を設定する。本実施形態では、領域設定部１０１はカーナビゲーション装置１０３から経路情報を取得する。本実施形態に係る領域設定部１０１は、該経路情報に含まれている「出発地の位置」、「目的地の位置」、「経由地の位置」、のそれぞれの位置について、該位置を含む領域を設定領域として設定する。例えば領域設定部１０１は、「出発地の位置」、「目的地の位置」、「経由地の位置」、のそれぞれの位置について、該位置を中心とする円形若しくは矩形の領域（該位置を中心とする緯度、経度の範囲）を設定領域として設定する。なお、設定領域は円形の領域や矩形の領域に限らず、例えば、「出発地の位置」、「目的地の位置」、「経由地の位置」、のそれぞれの位置を含む行政上の区画（町、市、県など）の領域であっても良い。

取得部１０２は、記憶装置１０５に登録されている学習モデルごとに、該学習モデルに関連づけられている撮像位置情報のうち設定領域内の撮像位置を表している撮像位置情報の数がＮ（Ｎは１以上の整数）以上であるか否かを判断する。そして取得部１０２は、「設定領域内の撮像位置を表している撮像位置情報の数がＮ以上である」と判断された学習モデルを取得対象として決定し、該決定した取得対象の学習モデルを記憶装置１０５から取得する。このようにして取得部１０２は、カーナビゲーション装置１０３が求めた経路上及び該経路の近傍領域において撮像された撮像画像を学習処理に用いた学習モデルを取得する。

次に、生成部１０４について説明する。生成部１０４は、カーナビゲーション装置１０３の表示画面等の表示装置の表示画面に表示するための表示情報を生成する。本実施形態に係る生成部１０４は、取得部１０２が記憶装置１０５から取得した学習モデルに係る情報を学習モデル情報として生成する。例えば生成部１０４は、取得部１０２が取得した学習モデルのファイル名、該学習モデルの生成日時、該学習モデルの学習に使用した撮像画像の撮像日時、撮像位置など、の情報を含む学習モデル情報を生成する。そして生成部１０４は、該生成した学習モデル情報をカーナビゲーション装置１０３に対して出力する。これによりカーナビゲーション装置１０３の表示画面には、カーナビゲーション装置１０３が求めた経路上及び該経路の近傍領域において撮像された撮像画像を用いて学習した学習モデルに係る学習モデル情報が一覧表示される（図３）。図３に示す如く、カーナビゲーション装置１０３の表示画面には、出発地、目的地、出発地と目的地との間の経路に加えて、取得部１０２が取得した学習モデルａ、学習モデルｂ、学習モデルｃの名称と、各学習モデルの適用範囲が表示されている。学習モデルａは、出発地及びその周辺において撮像された撮像画像を学習処理に用いた学習モデルである。学習モデルｂは、経路上の経由地及びその周辺において撮像された撮像画像を学習処理に用いた学習モデルである。学習モデルｃは、目的地及びその周辺において撮像された撮像画像を学習処理に用いた学習モデルである。学習モデルａの適用範囲とは、学習モデルａに関連づけられている撮像位置情報群が表す撮像位置群を包含する領域である。学習モデルｂの適用範囲とは、学習モデルｂに関連づけられている撮像位置情報群が表す撮像位置群を包含する領域である。学習モデルｃの適用範囲とは、学習モデルｃに関連づけられている撮像位置情報群が表す撮像位置群を包含する領域である。

次に、本実施形態に係る情報処理装置１００が行う処理について、図２のフローチャートに従って説明する。図２のフローチャートに従った処理は、領域設定部１０１がカーナビゲーション装置１０３から経路情報を取得した後で情報処理装置１００によって行われる処理である。

ステップＳ２００では領域設定部１０１は、カーナビゲーション装置１０３から取得した経路情報に含まれている「出発地の位置」、「目的地の位置」、「経由地の位置」、のそれぞれの位置について、該位置を含む領域を設定領域として設定する。

ステップＳ２０１では、取得部１０２は、記憶装置１０５に登録されている学習モデルごとに、該学習モデルに関連づけられている撮像位置情報のうち設定領域内の撮像位置を表している撮像位置情報の数がＮ以上であるか否かを判断する。そして取得部１０２は、「設定領域内の撮像位置を表している撮像位置情報の数がＮ以上である」と判断された学習モデルを取得対象として決定し、該決定した取得対象の学習モデルを記憶装置１０５から取得する。

なお、「設定領域内の撮像位置を表している撮像位置情報の数がＮ以上である」学習モデルがない場合には、その設定領域では幾何情報の推定を行なわないようにしてもよい。また、「設定領域内の撮像位置を表している撮像位置情報の数がＮ以上である」学習モデルが複数ある場合には、後述する第３の実施形態のようにして、複数の学習モデルから幾何情報を推定するようにしてもよい。

このように、本実施形態によれば、出発地から目的地までの経路及びその周辺に対応する学習モデルを取得することができる。なお、各撮像画像の撮像位置については、例えば、代表的な幾つかの撮像画像について撮像位置を取得しておき、他の撮像画像の撮像位置については該代表的な幾つかの撮像画像の撮像位置から補間により求めても良い。また、撮像位置の代わりに全ての撮像位置から作成した自由曲線を記憶装置１０５に登録しておいても良く、その場合、各撮像位置はこの自由曲線上の位置として表される。また、撮像位置群を比較的位置が近いものを１つのグループに纏めることでグループ分割し、グループごとに、該グループに属する撮像位置を、該グループの代表撮像位置（該グループに属する撮像位置の平均撮像位置など）に変更しても良い。

＜変形例１＞
本変形例を含む以下の各実施形態や各変形例では、第１の実施形態との差分について説明し、特に触れない限りは、第１の実施形態と同様であるものとする。第１の実施形態では、出発地、目的地、経由地、のそれぞれを含む周辺領域に対応する学習モデルを取得したが、これらの地点の何れかの周辺領域に対応する学習モデルを取得するようにしても良い。例えば、カーナビゲーション装置１０３においてユーザが指定した目的地周辺に該当する学習モデルを取得する場合、図２のステップＳ２００において以下の処理を行う点が第１の実施形態と異なる。なお、以下の説明において「目的地」を「出発地」や「経由地」や、「ＧＰＳによって測定した現在位置」と読み替えることで、出発地周辺や経由地周辺や現地位置周辺に該当する学習モデルを取得することができる。

ステップＳ２００では領域設定部１０１は、カーナビゲーション装置１０３から取得した経路情報に含まれている「目的地の位置」を含む領域を設定領域として設定する。これにより、目的地周辺に対応する学習モデルを取得することができる。

＜変形例２＞
本変形例では、カーナビゲーション装置１０３においてユーザが指定した領域に対応する学習モデルを取得する。ユーザがカーナビゲーション装置１０３の表示画面において円形若しくは矩形の領域を指定領域として指定すると、カーナビゲーション装置１０３は、該指定領域を規定する情報（指定領域情報）を情報処理装置１００に対して出力する。例えば指定領域情報は、指定領域が円形領域である場合には、該円形領域の中心に対応する緯度、経度と、該円形領域の半径に対応する距離（地図画像の縮尺と表示画面上の円形領域の半径とから算出可能な実際の半径）と、を表す。また例えば指定領域情報は、指定領域が矩形領域である場合には、該矩形領域の左上隅及び右下隅に対応する緯度、経度を表す。領域設定部１０１は、カーナビゲーション装置１０３から出力された指定領域情報が示す指定領域を設定領域として設定する。取得部１０２の動作については第１の実施形態と同様である。

本変形例では、図２のフローチャートのステップＳ２００において以下の処理を行う点が第１の実施形態と異なる。ステップＳ２００では領域設定部１０１は、カーナビゲーション装置１０３から出力された指定領域情報が示す指定領域を設定領域として設定する。これにより、ユーザが地図上で指定した領域に対応する学習モデルを取得することができる。

なお、指定領域の指定方法は特定の指定方法に限らない。例えば、カーナビゲーション装置１０３の表示画面に住所や地名の一覧を表示し、該一覧からユーザにより指定された住所や地名に該当する領域を指定領域としても良いし、ユーザがテキストや音声で入力した住所や地名に該当する領域を指定領域としても良い。また、設定領域は、指定領域及び該指定領域の周辺領域としても良い。

＜変形例３＞
本変形例では、現在位置に該当する学習モデルを記憶装置１０５から取得する。本実施形態に係るカーナビゲーション装置１０３は、ＧＰＳによって測定した現在位置を情報処理装置１００に対して出力する。

取得部１０２は、第１の実施形態と同様にして取得対象となる学習モデルを決定する。そして取得部１０２は、該決定した取得対象の学習モデルのうち実際に記憶装置１０５から取得する１つ以上の学習モデルを、カーナビゲーション装置１０３から取得した現在位置に基づいて選択する。例えば、取得部１０２は、取得対象の学習モデルのうち、現在位置との距離が閾値以下となる撮像位置を表す撮像位置情報と関連づけられている学習モデルを記憶装置１０５から取得する。これにより、現在位置に応じて学習モデルを取得することができる。

なお、現在位置との距離が閾値以下となる撮像位置を表す撮像位置情報と関連づけられている学習モデルがない場合には、その設定領域では幾何情報の推定を行なわないようにしてもよい。また、現在位置との距離が閾値以下となる撮像位置を表す撮像位置情報と関連づけられている学習モデルが複数ある場合には、後述する第３の実施形態のようにして、複数の学習モデルから幾何情報を推定するようにしてもよい。

本変形例では、図２のフローチャートのステップＳ２０１において以下の処理を行う点が第１の実施形態と異なる。ステップＳ２０１では取得部１０２は、第１の実施形態と同様にして取得対象となる学習モデルを決定する。そして取得部１０２は、該決定した取得対象の学習モデルのうち実際に記憶装置１０５から取得する１つ以上の学習モデルを、カーナビゲーション装置１０３から取得した現在位置に基づいて選択する。以降は第１の実施形態と同様である。

なお、記憶装置１０５から学習モデルを取得するタイミングは上記の例に限らない。例えば、学習モデルごとに、該学習モデルのデータサイズ及び記憶装置１０５からのデータ読み出し速度から該学習モデルを記憶装置１０５から取得する（読み出す）ために要する時間（取得時間）を予め求めて記憶装置１０５に登録しておく。そして、取得部１０２は、記憶装置１０５から取得する学習モデルとして選択された学習モデル（対象学習モデル）の取得時間と移動速度との積（距離）を基準距離として求める。「移動速度」とは、例えば、カーナビゲーション装置１０３を搭載した車両の移動速度である。そして取得部１０２は、対象学習モデルに関連づけられている何れかの撮像位置情報が示す撮像位置と現在位置との間の距離が基準距離を下回った時点で、対象学習モデルを記憶装置１０５から取得する。

＜変形例４＞
本変形例では、学習モデルには、該学習モデルの学習時に使用した撮像画像に対応する属性情報が関連づけられているものとする。例えば、高速道路を含む撮像画像を用いて学習した学習モデルには、高速道路を示す属性情報が関連づけられ、一般道を含む撮像画像を用いて学習した学習モデルには、一般道を示す属性情報が関連づけられる。また、行政上規定される道路の種類に応じるようにしてもよい。第１種道路を含む撮像画像を用いて学習した学習モデルには、第１種道路を示す属性情報が関連づけられ、第２種道路を含む撮像画像を用いて学習した学習モデルには、第２種道路を示す属性情報が関連づけられる。また、第３種道路を含む撮像画像を用いて学習した学習モデルには、第３種道路を示す属性情報が関連づけられ、第４種道路を含む撮像画像を用いて学習した学習モデルには、第４種道路を示す属性情報が関連づけられる。

取得部１０２は、領域設定部１０１が設定した設定領域の属性情報を特定する。例えば、カーナビゲーション装置１０３から各道路の種別を取得可能な場合、取得部１０２は、設定領域に含まれている道路の種別を属性情報としてカーナビゲーション装置１０３から取得する。そして取得部１０２は、設定領域の属性情報と関連づけて記憶装置１０５に登録されている学習モデルを該記憶装置１０５から取得する。

本変形例では、図２のフローチャートのステップＳ２０１において以下の処理を行う点が第１の実施形態と異なる。ステップＳ２０１では、取得部１０２は、領域設定部１０１が設定した設定領域の属性情報を特定し、該属性情報と関連づけて記憶装置１０５に登録されている学習モデルを該記憶装置１０５から取得する。以降は第１の実施形態と同様である。

これにより、設定領域の属性に応じて学習モデルを取得することができる。なお、本変形例では、属性情報は道路の種別を表す情報としたが、これに限らず、例えば、東京や北海道といった地域を属性情報としてもよい。この場合、東京を撮像した撮像画像を用いて学習した学習モデルには東京を表す属性情報が関連づけられ、北海道を撮像した撮像画像を用いて学習した学習モデルには北海道を表す属性情報が関連づけられる。このように、各学習モデルが、どのような属性の撮像画像を用いて学習したのか（どのような学習環境において学習したのか）が分かるように、該学習モデルに該属性を示す情報を関連づけることができればよい。そして取得部１０２は、カーナビゲーション装置１０３から属性情報を取得し、該属性情報と関連づけられている学習モデルを記憶装置１０５から取得する。なお、領域設定部１０１において、属性情報を指定することで領域を設定するようにしてもよい。

［第２の実施形態］
本実施形態では、学習モデルごとに、該学習モデルに関連づけられている撮像位置情報群が表す撮像位置群を包含する地図画像上の領域を示す情報（領域情報）をユーザに提示する。そして、ユーザに提示したそれぞれの領域情報のうちユーザにより選択された領域情報に対応する学習モデルを記憶装置１０５から取得する。

本実施形態に係るシステムの機能構成例について、図４のブロック図を用いて説明する。図４に示す如く、本実施形態に係るシステムは、表示部４０３と、生成部４０４と、記憶装置４０５と、情報処理装置４００と、を有する。なお、図４では、表示部４０３、情報処理装置４００、生成部４０４、記憶装置４０５のそれぞれを別個の装置としているが、これらのうち２つ以上を１つの装置としてもよい。

先ず、記憶装置４０５について説明する。記憶装置４０５には記憶装置１０５と同様に複数の学習モデルが、該学習モデルの学習時に使用した撮像画像の撮像位置を示す撮像位置情報と関連づけて登録されているが、該学習モデルには更に、該学習モデルの識別情報が関連づけられている。

次に、表示部４０３について説明する。表示部４０３は、ＣＲＴや液晶画面などにより構成されている表示画面である。なお、表示部４０３は、カーナビゲーション装置１０３の表示画面であっても良い。

次に、生成部４０４について説明する。生成部４０４は、表示部４０３に地図画像を表示する。この地図画像は、記憶装置４０５に登録されている全ての撮像位置情報が示す撮像位置を含む範囲の地図画像である。そして生成部４０４は、この地図画像上に、学習モデルごとに、該学習モデルの識別情報と、該学習モデルに関連づけられている全ての撮像位置情報が示す撮像位置を包含する包含領域に係る包含領域情報と、を重ねて表示する。表示部４０３における表示画面の一例を図６に示す。

図６では、道路及び池を含む地図画像上に、各学習モデルの名称（学習モデルＡ～Ｅ）と、該学習モデルに関連づけられている全ての撮像位置情報が示す撮像位置を包含する包含領域の境界と、を重ねて表示している。

次に、情報処理装置４００について説明する。ユーザが表示部４０３の表示画面上若しくは不図示の操作部を用いて学習モデルの識別情報や包含領域情報を指定すると、選択部４０１は、該指定された識別情報若しくは包含領域情報を取得部４０２に通知する。取得部４０２は、選択部４０１から通知された識別情報若しくは包含領域情報に対応する学習モデルを記憶装置４０５から取得する。

次に、情報処理装置４００が行う処理について、図５のフローチャートに従って説明する。ステップＳ５００では、選択部４０１は、ユーザにより指定された識別情報若しくは包含領域情報を取得部４０２に通知する。ステップＳ５０１では、取得部４０２は、選択部４０１から通知された識別情報若しくは包含領域情報に対応する学習モデルを記憶装置４０５から取得する。これにより、ユーザが所望する領域に該当する学習モデルを選択して取得することができる。

＜変形例１＞
記憶装置４０５には、学習モデルに対応する撮像位置情報群の代わりに、該撮像位置情報群が示す撮像位置群を包含する包含領域に係る包含領域情報を該学習モデルに関連づけて登録するようにしても良い。

＜変形例２＞
本変形例では、記憶装置４０５には複数の学習モデルが登録されており、該複数の学習モデルのそれぞれには、該学習モデルの学習時に使用した撮像画像の撮像位置を表す撮像位置情報と、該学習の精度を表す評価値（学習精度）と、が関連づけられている。評価値は、例えば、次のようにして予め求められた値である。「学習データに含まれている撮像画像を学習モデルに入力することで該学習モデルから出力される幾何情報と、該学習データに含まれている幾何情報と、で対応する画素のデプス値の差の絶対を全ての画素について加算した値Ｅ」を各学習データについて求める。そして学習データの数をＮとすると、各学習データについて求めた値Ｅの合計値ＳをＮで除算した値（＝Ｓ／Ｎ、即ち値Ｅの平均値）の逆数を、評価値とする。このような評価値は、それぞれの学習モデルについて予め求めて記憶装置４０５に登録されている。

生成部４０４は、表示部４０３に地図画像を表示する。この地図画像は、記憶装置４０５に登録されている全ての撮像位置情報が示す撮像位置を含む範囲の地図画像である。そして生成部４０４は、地図画像上に、学習モデルごとに、該学習モデルに関連づけられている全ての撮像位置情報が示す撮像位置を包含する包含領域に係る包含領域情報を、該学習モデルと関連づけられている評価値に応じた表示形態で表示する。

生成部４０４による包含領域情報の表示例を図１０に示す。図１０に示す如く、道路及び池を含む地図画像上に包含領域情報１００１、１００２，１００３のそれぞれが、対応する評価値に応じた色でもって表示されている。図１０では、より高い評価値（高精度）の包含領域情報はより黒い色で表示され、より低い評価値（低精度）の包含領域情報はより白い色で表示されている。

ユーザが表示部４０３の表示画面上若しくは不図示の操作部を用いて包含領域情報を指定すると、選択部４０１は、該包含領域情報を取得部４０２に通知する。取得部４０２は、選択部４０１から通知された包含領域情報に対応する学習モデルを記憶装置４０５から取得する。

本変形例では、図５のフローチャートにおいて、ステップＳ５００、Ｓ５０１における処理が第２の実施形態と異なる。ステップＳ５００では、選択部４０１は、ユーザにより指定された包含領域情報を取得部４０２に通知する。ステップＳ５０１では、取得部４０２は、選択部４０１から通知された包含領域情報に対応する学習モデルを記憶装置４０５から取得する。これによりユーザは、カーナビゲーション装置１０３の表示画面を閲覧することでより精度の高い学習モデルに対応する領域を把握して選択することができる。

なお、上記の通り評価値は、学習の精度を表す値であれば良い。例えば、学習モデルの使用頻度や、複数のユーザによる評価点数などであっても良い。また、生成部４０４は、包含領域情報に加えて、該包含領域情報に対応する学習モデルの評価値を表示しても良い。

なお、上記の第１、２の実施形態や変形例では、取得部１０２（４０２）が記憶装置１０５（４０５）から取得した学習モデルの使用目的については触れておらず、つまりは、特定の使用目的に限定していない。しかし、上記の第１、２の実施形態や変形例の一部若しくは全部、または上記の第１、２の実施形態や変形例の一部若しくは全部の組み合わせを、以下に説明する各実施形態や変形例に適用しても構わない。

［第３の実施形態］
本実施形態では、第１の実施形態に係るシステムを、車両の自動運転に適用したケースについて説明する。先ず、本実施形態に係るシステムの機能構成例について、図７のブロック図を用いて説明する。

撮像装置７０２は、車両の一例としての自動車７０１の前方方向の動画像を撮像するべく自動車７０１に取り付けられたもので、撮像装置７０２により撮像された動画像を構成する各フレームの画像（撮像画像）は、情報処理装置７００に対して送出される。

カーナビゲーション装置１０３については第１の実施形態にて説明したとおりであるが、本実施形態では更に、現在位置、経路情報、自動車７０１の進行方向及び移動速度に基づいて、目的地まで自動車７０１を誘導するための情報を表示画面上に表示する。

送受信装置７０６は、無線ネットワークを介して外部機器との間のデータ通信を行う。情報処理装置７００は、上記の情報処理装置１００と同様にして設定領域に対応する学習モデルを取得する。そして情報処理装置７００は、該取得した学習モデルと、撮像装置７０２から取得した撮像画像と、に基づいて幾何情報を推定し、該幾何情報に基づいて自動車７０１の位置姿勢を求める。そして情報処理装置７００は、推定した幾何情報及び自動車７０１の位置姿勢を運転制御部７０３に対して送出する。ここで「位置姿勢」とは、「位置及び／又は姿勢」を表すものとする。

運転制御部７０３は、情報処理装置７００で推定した幾何情報及び自動車７０１の位置姿勢に基づいて、自動車７０１の進行方向及び移動速度を算出する。アクチュエータ部７０４は、自動車７０１の動きを制御する制御装置であり、運転制御部７０３が算出した自動車７０１の進行方向及び移動速度に基づいて自動車７０１のアクチュエータを制御する。これにより例えば、自動車７０１自身の位置と幾何情報が表す周囲の幾何形状とに基づき、幾何情報から障害物を推定し、該障害物との距離が規定値以上となるように速度や進行方向を決定することで、衝突回避や加速、減速などの運転制御が可能になる。

次に、情報処理装置７００の機能構成例について、図８のブロック図を用いて説明する。図８において図１に示した機能部と同様の機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。

画像入力部８００は、撮像装置７０２から送出される撮像画像を取得し、該取得した撮像画像を後段の推定部８０１に対して送出する。推定部８０１は、取得部１０２が取得対象として決定した学習モデルのうち現在位置に基づいて選択した１つの学習モデルと、画像入力部８００からの撮像画像と、に基づいて幾何情報を推定する。算出部８０２は、推定部８０１が推定した幾何情報に基づいて撮像装置７０２の位置姿勢を求め、該求めた撮像装置７０２の位置姿勢を自動車７０１の位置姿勢に変換する。そして算出部８０２は、変換した自動車７０１の位置姿勢と、推定部８０１が推定した幾何情報（若しくは該幾何情報から求めた幾何情報）と、を運転制御部７０３に対して出力する。

次に、情報処理装置７００が行う処理について、同処理のフローチャートを示す図９を用いて説明する。なお、図９において図２に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ９００では、画像入力部８００は、撮像装置７０２から送出される撮像画像（例えば濃淡画像）を取得し、該取得した撮像画像を後段の推定部８０１に対して送出する。

ステップＳ９０１では、推定部８０１は、取得部１０２が取得対象として決定した学習モデルのうち現在位置に対応する学習モデルを、カーナビゲーション装置１０３から取得した現在位置に基づいて選択する。取得部１０２が取得対象として決定した学習モデルのうち現在位置に対応する学習モデルを現在位置に基づいて選択する方法には、例えば、上記の変形例３にて説明した方法が適用可能である。そして推定部８０１は、選択した学習モデルに撮像装置７０２から出力された撮像画像を入力することで該学習モデルから出力される幾何情報を「幾何情報の推定結果」である推定幾何情報として取得する。

なお、推定部８０１は、現在位置に対応する学習モデルとして複数の学習モデルを選択した場合には、以下のような処理によって推定幾何情報を取得する。先ず推定部８０１は、選択した複数の学習モデルのそれぞれについて、該学習モデルに撮像装置７０２からの撮像画像を入力することで該学習モデルから出力される幾何情報を取得する。そして推定部８０１は、複数の学習モデルのそれぞれについて取得した幾何情報の重み付き平均を推定幾何情報として求める。例えば、複数の学習モデルのそれぞれについて取得した幾何情報において、撮像画像における画素位置（ｘ、ｙ）に対応するデプス値の重み付き平均を、推定幾何情報において撮像画像の画素位置（ｘ、ｙ）に対応するデプス値とする。着目学習モデルについて取得した幾何情報の各デプス値に対する重み値は、例えば、次のような方法でもって求めることができる。着目学習モデルと関連づけられている撮像位置情報群が示す撮像位置群を包含する包含領域の輪郭と現在位置との間の距離が大きいほど、着目学習モデルについて取得した幾何情報の各デプス値に対する重み値を大きくする。例えば、包含領域の輪郭を複数の線分で近似し、現在位置と各線分との間の距離の最小値を重み値とする。

ステップＳ９０２では、算出部８０２は、推定部８０１が推定した推定幾何情報に基づいて撮像装置７０２の位置姿勢を求め、該求めた撮像装置７０２の位置姿勢を自動車７０１の位置姿勢に変換する。

本実施形態に係る撮像装置７０２の位置姿勢とは、世界座標系における撮像装置７０２の位置を表す３パラメータ及び姿勢を表す３パラメータの合計６パラメータによって規定されるものである。ここで、世界座標系とは、現実空間における規定の１点を原点とし、該原点で互いに直交する３軸をそれぞれＸ軸、Ｙ軸、Ｚ軸とする座標系である。また以下では、撮像装置７０２の光軸をＺ軸、該撮像装置７０２による撮像画像の水平方向をＸ軸、垂直方向をＹ軸とする、撮像装置７０２上に規定される三次元の座標系をカメラ座標系と称する。また以下では、原点を自動車７０１の重心位置、Ｚ軸を自動車７０１の進行方向、Ｙ軸を重力方向、Ｘ軸を自動車７０１の左右方向とする三次元の座標系でを自動車座標系と称する。ここで、カメラ座標系から自動車座標系への変換行列は、予め計測して求めておく。例えば、３次元の位置を特定するために一般的に用いられる既知のマーカを使用してもよい。具体的には、自動車７０１の重心位置に設置したマーカを撮像装置で撮影し、撮影した画像から撮像装置の位置姿勢を算出する。この位置姿勢をカメラとマーカとの間の座標変換行列、すなわちカメラ座標系と自動車座標系間の変換行列とする。

本実施形態では算出部８０２は、世界座標系における撮像装置７０２の位置姿勢（世界座標系におけるカメラ座標系の位置姿勢）を求め、該位置姿勢を、世界座標系における自動車７０１の位置姿勢（世界座標系における自動車座標系の位置姿勢）に変換する。

ここで、算出部８０２による撮像装置７０２の位置姿勢の算出方法の一例について説明する。具体的には、時刻ｔに撮像された撮像画像（現フレーム）に対し、現フレーム以前の時刻ｔ’に撮像された撮像画像（前フレーム）を学習モデルに入力することで該学習モデルから出力された幾何情報（前幾何情報）に基づき、前フレームの各画素を射影する。ここでいう射影とは、前フレームの画素が現フレームのどこに写るのかを算出することである。具体的には、算出部８０２は、前フレームにおける着目画素の画像座標（ｕ_ｔ－１，ｖ_ｔ－１）、撮像装置７０２の内部パラメータ（ｆｘ、ｆｙ、ｃｘ、ｃｙ）、前幾何情報における該着目画素の奥行き値Ｄを用いて以下の式１を計算する。これにより算出部８０２は、該着目画素の前フレームのカメラ座標系における三次元座標（Ｘ_ｔ－１，Ｙ_ｔ－１，Ｚ_ｔ－１）を求めることができる。

ここで、前フレームを撮像した撮像装置７０２の位置に対する現フレームを撮像した撮像装置７０２の位置をｔ_{（ｔ－１）→ｔ}、前フレームを撮像した撮像装置７０２の姿勢に対する現フレームを撮像した撮像装置７０２の姿勢をＲ_{（ｔ－１）→ｔ}とする。このとき、算出部８０２は、ｔ_{（ｔ－１）→ｔ}、Ｒ_{（ｔ－１）→ｔ}を用いて以下の式２を計算することで、現フレームのカメラ座標系における該着目画素の三次元座標（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）を求めることができる。

次に算出部８０２は、以下の式３を計算することで、現フレームのカメラ座標系における該着目画素の三次元座標（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）を現フレームの画像座標（ｕ_ｔ，ｖ_ｔ）に変換する。

本実施形態では、上記の式１～式３に従った処理を射影と呼ぶ。そして算出部８０２は、このような射影を、前フレームにおける全ての着目画素について行うことで、現フレームにおいて対応する画像座標を求めることができる。そして算出部８０２は、前フレームの画像座標（ｕ_ｔ－１，ｖ_ｔ－１）における画素の輝度値と、該画素の射影先の現フレームの画素（画像座標は（ｕ_ｔ，ｖ_ｔ））における輝度値と、の輝度差が最小となるようにｔ_{（ｔ－１）→ｔ}、Ｒ_{（ｔ－１）→ｔ}を算出する。

そして算出部８０２は、前フレームを撮像した撮像装置７０２の世界座標系における位置ｔ_{w→（ｔ－１)}及び姿勢Ｒ_{w→（ｔ－１)}を用いて以下の式４を計算する。これにより算出部８０２は、現フレームを撮像した撮像装置７０２の世界座標系における位置ｔ_w→ｔ及び姿勢Ｒ_w→ｔを算出する。

そして算出部８０２は、予め求めておいたカメラ座標系と自動車座標系との間の変換行列Ｍを用いて以下の式５を計算する。これにより算出部８０２は、現フレームを撮像した撮像装置７０２の世界座標系における位置ｔ_w→ｔ及び姿勢Ｒ_w→ｔのそれぞれを、世界座標系における自動車７０１の位置ｔ’_w→ｔ、姿勢Ｒ’_w→ｔに変換する。

そして算出部８０２は、変換した自動車７０１の位置姿勢と、推定部８０１が推定した幾何情報（若しくは重み付き平均した幾何情報）と、を運転制御部７０３に対して出力する。

そして、図９のフローチャートに従った処理の終了条件が満たされた場合には、図９のフローチャートに従った処理は終了し、該終了条件が満たされていない場合には、処理はステップＳ９００に戻る。例えば、自動車７０１が目的地に到着したり、自動車７０１の運転者や同乗者がカーナビゲーション装置１０３の表示画面に対してシステムの停止を指示したりした場合には、終了条件が満たされたと判断する。

このように、本実施形態によれば、自動運転に必要な学習モデルを取得することができる。なお、本実施形態では、記憶装置１０５は自動車７０１が有するものとして説明した。しかし記憶装置１０５は、例えば、送受信装置７０６が通信可能な外部機器（例えばサーバ装置）であっても良く、その場合、取得部１０２は、送受信装置７０６を制御して外部機器としての記憶装置１０５から必要な情報を取得するようにしても良い。

また、記憶装置１０５に登録されているものとして説明した各種の情報を外部機器に登録しておき、取得部１０２が送受信装置７０６を制御して外部機器から受信した学習モデルや各種の情報を記憶装置１０５にダウンロードするようにしても良い。このような構成によれば、一度記憶装置１０５にダウンロードした情報については再度外部機器にアクセスして取得する必要はない。

［第４の実施形態］
本実施形態は、図７の情報処理装置７００を図１１の情報処理装置１１００に置き換えたものである。図１１に示す如く、情報処理装置１１００は、情報処理装置７００にナビゲーション部１１０１を加えたものである。図１１は、情報処理装置１１００の機能構成例を示すブロック図である。

なお、本実施形態に係る領域設定部１０１は、ユーザが自動運転を実施したい領域を設定領域として設定する。例えばユーザがカーナビゲーション装置１０３の表示画面に表示されている地図画像上で自動運転を実施したい領域を設定した場合には、カーナビゲーション装置１０３は、該ユーザが設定した領域を示す情報を情報処理装置１１００に対して送出する。領域設定部１０１は、カーナビゲーション装置１０３から受信した情報が示す領域（ユーザが設定した領域）を設定領域として設定する。取得部１０２は、第１の実施形態と同様にして、設定領域に対応する学習モデルを記憶装置１０５から取得する。

ナビゲーション部１１０１は、取得部１０２が取得した学習モデルに関連づけられている撮像位置情報群を包含する包含領域を求める。そしてナビゲーション部１１０１は、カーナビゲーション装置１０３から出力された経路情報から出発地と目的地とを取得し、出発地から包含領域を通って目的地に向かう経路として最短距離の経路を探索する。

情報処理装置１１００が行う処理について、図１２のフローチャートに従って説明する。図２，９と同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。なお、ステップＳ２００では、領域設定部１０１は、ユーザが自動運転を実施したい領域を設定領域として設定し、ステップＳ２０１では、取得部１０２は、ステップＳ２００において設定された設定領域に対応する学習モデルを記憶装置１０５から取得する。

ステップＳ１２００では、ナビゲーション部１１０１は、取得部１０２が取得した学習モデルに関連づけられている撮像位置情報群を包含する包含領域を求める。そしてナビゲーション部１１０１は、カーナビゲーション装置１０３から出力された経路情報から出発地と目的地とを取得し、出発地から包含領域を通って目的地に向かう経路として最短距離の経路を探索する。ナビゲーション部１１０１が探索した最短経路は、生成部１０４によりカーナビゲーション装置１０３の表示画面に表示される。

＜変形例＞
ステップＳ１２００でナビゲーション部１１０１が「出発地から包含領域を通って目的地に向かう経路」として複数の経路を探索した場合、生成部１０４は、該探索した複数の経路をカーナビゲーション装置１０３の表示画面に表示しても良い。この場合、ユーザはカーナビゲーション装置１０３を操作して該複数の経路のうち何れか１つを選択する。

［第５の実施形態］
本実施形態は、図７の情報処理装置７００を図１３の情報処理装置１３００に置き換えたものである。図１３に示す如く、情報処理装置１３００は、情報処理装置７００に通知部１３０１を加えたものである。図１３は、情報処理装置１３００の機能構成例を示すブロック図である。

本実施形態に係る推定部８０１は、第３の実施形態と同様に、学習モデルと撮像画像とに基づいて推定幾何情報を推定する。本実施形態では推定部８０１は更に、学習モデルと撮像画像との適合度合を示す評価値を求める。通知部１３０１は、推定部８０１が求めた評価値が規定値未満であれば、その旨（取得した学習モデルが適切でない旨）をユーザに通知する。

情報処理装置１３００が行う処理について、同処理のフローチャートを示す図１４を用いて説明する。図１４において、図２，９と同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

本実施形態に係るステップＳ９０１では、推定部８０１は、第３の実施形態と同様に、学習モデルと撮像画像とに基づいて推定幾何情報を推定する。そして推定部８０１は更に、学習モデルと撮像画像との適合度合を示す評価値を求める。評価値は、例えば、次のようにして求める。推定部８０１は、撮像画像を学習モデルに入力することで該学習モデルから出力される幾何情報と、該撮像画像のみから推定した幾何情報と、の画素ごとのデプス値の差分（絶対値）の合計値の逆数を評価値として求める。撮像画像のみから幾何情報を推定する方法としては、例えば、次のような方法が適用可能である。推定部８０１は、第一の時刻ｔに撮像装置７０２が撮像した第一の撮像画像と、撮像装置７０２を既定の移動量（例えばカメラ座標系でＸ軸方向に１０ｃｍ）動かした後の第二の時刻（ｔ＋１）に撮像装置７０２が撮像した第二の撮像画像と、を取得する。そして推定部８０１は、第一の撮像画像と第二の撮像画像とからモーションステレオ法により幾何情報を求める。なお、前述の既定の移動量をベースライン長として奥行きのスケールを規定する。

そしてステップＳ１４００では、通知部１３０１は、ステップＳ９０１において推定部８０１が求めた評価値が規定値未満であれば、その旨をユーザに通知する。通知部１３０１による通知方法は特定の通知方法に限らない。例えば、カーナビゲーション装置１０３の表示画面に「学習モデルと入力画像との適合度合が低い」旨のメッセージや対応する画像を表示しても良いし、評価値そのものを表示しても良い。また、カーナビゲーション装置１０３が音声出力機能を有している場合には、音声でもって評価値に応じたメッセージをユーザに通知しても良い。

なお、通知部１３０１は、ステップＳ９０１において推定部８０１が求めた評価値が規定値以上であれば、その旨をユーザに通知しても良い。通知方法については上記の通り特定の通知方法に限らない。

＜変形例＞
推定部８０１による評価値の求め方は特定の求め方に限らない。つまり、推定部８０１は、学習モデルと入力画像との適合度合を表す値であれば、如何なる値を評価値として求めても良い。例えば、学習モデルの学習時に使用した撮像画像の撮像位置と、撮像装置７０２から取得した撮像画像の撮像位置と、の差の逆数を評価値としてもよい。

以上説明したユーザによる各種の操作の方法（地図画像上の領域や位置の指定方法等）は、特定の操作方法に限らない。例えば、カーナビゲーション装置１０３の表示画面がタッチパネル画面であれば、該タッチパネル画面に対してユーザが操作入力を行うことで地図画像上の領域や位置の指定を行うようにしても良い。また例えば、カーナビゲーション装置１０３に備わっているボタン群をユーザが操作することで地図画像上の領域や位置の指定を行うようにしても良い。

また、上記の各実施形態や各変形例では、情報処理装置は、カーナビゲーション装置１０３からの情報に基づいて設定領域の設定などの処理を行っていたが、このような形態に限らない。例えば、カーナビゲーション装置１０３から得られる情報を一端サーバ装置などの機器に保存しておき、情報処理装置はこのサーバ装置から情報を取得して設定領域の設定などの処理を行うようにしても良い。また、情報処理装置は、カーナビゲーション装置１０３の代わりにタブレット端末装置やスマートフォンなどの機器からの情報に基づいて同様の処理を行うようにしても良い。

なお、以上説明した各実施形態や各変形例はその一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や各変形例はその一部若しくは全部を選択的に使用しても構わない。

［第６の実施形態］
情報処理装置１００（図１）、４００（図４）、７００（図８）、１１００（図１１）、１３００（図１３）を構成する各機能部はハードウェアで実装しても良いし、ソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このコンピュータプログラムを実行可能なプロセッサを有するコンピュータ装置は、上記の情報処理装置１００、４００、７００、１１００、１３００に適用可能である。このようなコンピュータ装置のハードウェア構成例について、図１５のブロック図を用いて説明する。

ＣＰＵ１５０１は、ＲＡＭ１５０２やＲＯＭ１５０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１５０１は、コンピュータ装置全体の動作制御を行うと共に、上記の情報処理装置１００、４００、７００、１１００、１３００が行うものとして上述した各処理を実行若しくは制御する。

ＲＡＭ１５０２は、ＲＯＭ１５０３や外部記憶装置１５０５からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１５０６を介して外部から受信したデータ、を格納するためのエリアを有する。更にＲＡＭ１５０２は、ＣＰＵ１５０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１５０２は、各種のエリアを適宜提供することができる。ＲＯＭ１５０３には、書換不要のコンピュータプログラムやデータが格納されている。

操作部１５０４は、マウス、キーボード、タッチパネル、ボタン群などのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ１５０１に対して入力することができる。

外部記憶装置１５０５は、ハードディスクドライブ装置、不揮発性メモリ、等の大容量情報記憶装置である。外部記憶装置１５０５には、ＯＳ（オペレーティングシステム）が保存されている。また外部記憶装置１５０５には、上記の情報処理装置１００、４００、７００、１１００、１３００が行うものとして上述した各処理をＣＰＵ１５０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。

外部記憶装置１５０５に保存されているコンピュータプログラムには、情報処理装置１００、４００、７００、１１００、１３００の各機能部の機能をＣＰＵ１５０１に実現させるためのコンピュータプログラムが含まれている。また、外部記憶装置１５０５に保存されているデータには、上記の説明において既知の情報として説明したものが含まれている。

外部記憶装置１５０５に保存されているコンピュータプログラムやデータは、ＣＰＵ１５０１による制御に従って適宜ＲＡＭ１５０２にロードされ、ＣＰＵ１５０１による処理対象となる。

Ｉ／Ｆ１５０６は、外部機器との間のデータ通信を行うためのインターフェースとして機能するものである。外部機器としては、例えば、カーナビゲーション装置１０３、表示部４０３、生成部１０４（４０４）、記憶装置１０５（４０５）、撮像装置７０２、送受信装置７０６、運転制御部７０３がある。また、Ｉ／Ｆ１５０６は、外部機器ごとに設けても良い。

ＣＰＵ１５０１、ＲＡＭ１５０２、ＲＯＭ１５０３、操作部１５０４、外部記憶装置１５０５、Ｉ／Ｆ１５０６は何れも、バス１５０７に接続されている。なお、外部記憶装置１５０５には、上記の記憶装置１０５（４０５）に登録されているものとして上述した各情報を格納しても良い。

また、上記の生成部１０４（４０４）についてもハードウェアで実装しても良いし、コンピュータプログラムで実装しても良い。後者の場合、このコンピュータプログラムは、上記の外部記憶装置１５０５に保存されることになる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：領域設定部 １０２：取得部

Claims (18)

1. 設定領域を設定する設定手段と、
   入力された撮像画像に対応する奥行き情報を出力するように学習済みの複数の学習済みモデルのうち、前記設定領域内の撮像位置で撮像された撮像画像と該撮像位置で撮像された撮像画像の奥行き情報とを教師データとして用いて学習した少なくとも１つの学習済みモデルを取得する取得手段と
   を備えることを特徴とする情報処理装置。
2. 前記設定手段は、ユーザにより指定された地点を含む領域を前記設定領域として設定することを特徴とする請求項１に記載の情報処理装置。
3. 前記地点は、設定された出発地、目的地、該出発地と該目的地との間の経路上の経由地、前記情報処理装置を含むシステムの現在位置、のうち少なくとも１つを含むことを特徴とする請求項２に記載の情報処理装置。
4. 前記設定手段は、地図画像上に前記設定領域を設定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
5. 前記設定手段は、ユーザにより指定された前記地図画像上の領域を設定領域として設定することを特徴とする請求項４に記載の情報処理装置。
6. 前記取得手段は、前記取得した学習済みモデルから、前記情報処理装置を含むシステムの現在位置に基づいて１つ以上の学習済みモデルを取得することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記取得手段は、前記１つ以上の学習済みモデルを、該学習済みモデルの取得に要する時間として予め求めた取得時間と、前記情報処理装置を含むシステムの移動速度と、に基づくタイミングで取得することを特徴とする請求項６に記載の情報処理装置。
8. 前記取得手段は、前記設定領域に含まれる現実空間に対応する学習環境において学習した学習済みモデルを取得することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
9. 入力された撮像画像に対応する奥行き情報を出力するように学習済みの複数の学習済みモデルのそれぞれについて、学習に用いた撮像画像の撮像位置を含む領域を示す情報を提示する提示手段と、
   前記提示手段が提示した情報のうちユーザにより選択された情報に対応する領域内の撮像位置で撮像された撮像画像と該撮像位置で撮像された撮像画像の奥行き情報とを教師データとして用いて学習した少なくとも１つの学習済みモデルを取得する取得手段と
   を備えることを特徴とする情報処理装置。
10. 前記提示手段は、学習済みモデルの学習に用いた撮像画像の撮像位置を含む領域を示す情報を、該学習済みモデルの学習精度に応じた表示形態で提示することを特徴とする請求項９に記載の情報処理装置。
11. 更に、
    前記撮像画像を撮影した撮像装置の位置姿勢を、入力された前フレームの撮像画像を前記取得手段が取得した学習済みモデルに入力することで該学習済みモデルから出力される奥行き情報と、該前フレームの撮像画像を撮像したときの該撮像装置の世界座標系における撮像位置と、に基づいて求める算出手段を備えることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
12. 前記算出手段は、前記入力された前フレームの撮像画像を前記取得手段が取得したそれぞれの学習済みモデルに入力することで該それぞれの学習済みモデルから出力される奥行き情報の重み付き平均に基づいて、前記撮像装置の位置姿勢を求めることを特徴とする請求項１１に記載の情報処理装置。
13. 更に、
    前記取得手段が取得した学習済みモデルの学習に用いた撮像画像の撮像位置を含む領域と、指定された出発地及び目的地と、に基づいて該出発地から該目的地までの経路を探索する探索手段を備えることを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
14. 更に、
    入力された撮像画像を前記取得手段が取得した学習済みモデルに入力することで該学習済みモデルから出力される奥行き情報と、前記入力された撮像画像から求めた奥行き情報と、に基づいて、前記取得手段が取得した学習済みモデルの評価値を求める手段と、
    前記評価値に応じた通知を行う手段と
    を備えることを特徴とする請求項１乃至１３の何れか１項に記載の情報処理装置。
15. 前記奥行き情報は、前記撮像画像の各画素に対応する奥行き値を保持するデプスマップであることを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
16. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の設定手段が、設定領域を設定する設定工程と、
    前記情報処理装置の取得手段が、入力された撮像画像に対応する奥行き情報を出力するように学習済みの複数の学習済みモデルのうち、前記設定領域内の撮像位置で撮像された撮像画像と該撮像位置で撮像された撮像画像の奥行き情報とを教師データとして用いて学習した少なくとも１つの学習済みモデルを取得する取得工程と
    を備えることを特徴とする情報処理方法。
17. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の提示手段が、入力された撮像画像に対応する奥行き情報を出力するように学習済みの複数の学習済みモデルのそれぞれについて、学習に用いた撮像画像の撮像位置を含む領域を示す情報を提示する提示工程と、
    前記情報処理装置の取得手段が、前記提示工程で提示した情報のうちユーザにより選択された情報に対応する領域内の撮像位置で撮像された撮像画像と該撮像位置で撮像された撮像画像の奥行き情報とを教師データとして用いて学習した少なくとも１つの学習済みモデルを取得する取得工程と
    を備えることを特徴とする情報処理方法。
18. コンピュータを、請求項１乃至１５の何れか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

Images