JP2021064109A - 位置推定装置、位置推定方法、推定モデル生成方法および位置推定用プログラム - Google Patents

Abstract

【課題】撮影画像から撮影者の存在位置を推定することができるようにする。【解決手段】位置推定装置１０が画像取得部１１と位置推定部１２とを備え、位置推定部１２が、現実世界の固定オブジェクトを撮影して得られる撮影画像と固定オブジェクトの撮影位置情報とを教師データとして機械学習された推定モデルを用いて、撮影者が所持する撮影装置１００から画像取得部１１により取得された撮影画像における固定オブジェクトの特徴および写り具合から推定される撮影者の存在位置情報を出力することにより、撮影者が現在いる場所において周囲の画像を撮影するだけで、その撮影画像から撮影者の存在位置を推定することができるようにする。【選択図】図１

Description

本発明は、位置推定装置、位置推定方法、推定モデル生成方法および位置推定用プログラムに関し、特に、撮影画像を解析することによってユーザの存在位置を推定する装置に用いて好適なものである。

従来、現在位置を測定するシステムが種々提供されている。ＧＰＳ（Global Positioning System）受信機を用いて現在位置を測定するシステムが典型例である。現状、１台のＧＰＳ受信機で測位する場合の測位誤差は数ｍ〜数十ｍほどあり、それほど精度は高くない。また、衛星波の受信環境が悪い場所では測位ができないか、仮にできても精度は更に悪くなる。

また、カメラによる撮影画像と教師データとを用いて機械学習を行うことにより、対象物の位置を推定するシステムも知られている（例えば、特許文献１〜４参照）。しかしながら、特許文献１〜４に記載の技術は何れも、撮影画像の中に写っているオブジェクトの位置を推定するものであり、撮影者の位置を推定することはできない。

特開２０１９−１２５２０３号公報 特開２０１９−１２５２０４号公報 特開２０１９−３６１６７号公報 特開２０１６−２０６７９５号公報

本発明は、このような問題を解決するために成されたものであり、撮影画像から撮影者の存在位置を推定することができるようにすることを目的とする。

上記した課題を解決するために、本発明では、現実世界の固定オブジェクトを撮影して得られる撮影画像と固定オブジェクトの撮影位置を示す位置情報とを教師データとして機械学習された推定モデルを用いて、撮影者が所持する撮影装置から取得された撮影画像を推定モデルに入力し、固定オブジェクトの特徴および写り具合から推定される撮影者の存在位置情報を出力するようにしている。

現実世界の固定オブジェクトを撮影した場合、その撮影画像内に写る固定オブジェクトは、固定オブジェクトと撮影者との相対位置関係によって写り具合が変わる。上記のように構成した本発明によれば、このように固定オブジェクトの写り具合が変わる撮影画像と撮影位置を示す位置情報とのセットを教師データとして機械学習された推定モデルに基づいて、撮影者が所持する撮影装置により撮影された推定対象の撮影画像に写っている固定オブジェクトの特徴および写り具合から、撮影者の撮影位置、つまり撮影者の存在位置が推定される。これにより、本発明によれば、撮影画像から撮影者の存在位置を推定することができる。

本実施形態による位置推定装置の機能構成例を示すブロック図である。 複数の撮影位置と固定オブジェクトの写り方との関係を示す図である。 本実施形態による機械学習装置の機能構成例を示すブロック図である。 本実施形態による位置推定装置の動作例を示すフローチャートである。 本実施形態による機械学習装置の動作例を示すフローチャートである。 変形例に係る位置推定装置の機能構成例を示すブロック図である。 変形例に係る機械学習装置の機能構成例を示すブロック図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による位置推定装置１０の機能構成例を示すブロック図である。図１に示すように、本実施形態の位置推定装置１０は、機能構成として、画像取得部１１および位置推定部１２を備えている。位置推定部１２は、具体的な機能構成として、固定オブジェクト識別部１２Ａおよび推定モデル適用部１２Ｂを備えている。

上記各機能ブロック１１〜１２は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１２は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された位置推定用プログラムが動作することによって実現される。ＣＰＵに代えてまたは加えてＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）などを用いてもよい。

また、本実施形態の位置推定装置１０には、撮影装置１００が電気的に接続されている。なお、位置推定装置１０と撮影装置１００は、１つの電子機器が備える構成であってもよい。例えば、スマートフォンまたはタブレット端末のようなモバイル端末が位置推定装置１０と撮影装置１００とを備える構成であってよい。あるいは、１つの電子機器が位置推定装置１０を内蔵し、撮影装置１００が有線または無線により電子機器に接続される構成であってもよい。

画像取得部１１は、撮影者が所持する撮影装置１００から撮影画像を取得する。撮影者は、撮影装置１００を操作して、自分がいる場所の周囲の任意の方向を撮影する。撮影する画像は少なくとも１枚あればよい。この撮影画像には、現実世界の固定オブジェクトが被写体として含まれる。固定オブジェクトとは、例えば、建物、道路、立木、信号機等の道路付帯物といった土地およびその定着物である。撮影装置１００は、撮影画像を位置推定装置１０に供給し、画像取得部１１がこれを取得する。

位置推定部１２は、現実世界の固定オブジェクトを撮影して得られる撮影画像と固定オブジェクトの撮影位置を示す位置情報（例えば、緯度経度情報）とを教師データとして機械学習された推定モデルを用いて、画像取得部１１により取得された撮影画像における固定オブジェクトの特徴および写り具合から推定される撮影者の存在位置情報（例えば、緯度経度情報）を出力する。ここで、推定モデルは、１つの固定オブジェクトについて、固定オブジェクトからの相対位置が異なる複数の撮影位置から撮影した複数の撮影画像と、複数の撮影位置をそれぞれ示す複数の位置情報とのセットを教師データとして、当該教師データを用いた機械学習処理が施されている。

推定モデルは、例えばニューラルネットワークを活用した機械学習に基づくモデルである。ただし、これに限定されるものではない。例えば、推定モデルの形態は、ロジスティック回帰またはサポートベクターマシーンなどの回帰モデル、ランダムフォレストなどの木モデル、ベイズモデルなどのうち何れかとすることも可能である。ここに挙げた推定モデルの形態は一例に過ぎず、これに限定されるものではない。

図２は、固定オブジェクトからの相対位置が異なる複数の撮影位置と、当該複数の撮影位置から撮影をした場合の固定オブジェクトの写り方との関係を示す図である。ここでは説明を簡単にするために、固定オブジェクトの一例として、１つの家屋を示している。

図２（Ａ）は、玄関のある家屋の正面を、家屋の正面から垂直方向に距離Ｒの位置から撮影した状況を示しており、（Ａ１）は撮影画像に写る家屋を示し、（Ａ２）は家屋と撮影者との位置関係を示している。図２（Ｂ）は、家屋の左側面を、家屋の左側面から垂直方向に距離Ｒの位置から撮影した状況を示しており、（Ｂ１）は撮影画像に写る家屋を示し、（Ｂ２）は家屋と撮影者との位置関係を示している。図２（Ｃ）は、家屋の正面と左側面との間の位置で家屋から距離Ｒの位置から家屋を撮影した状況を示しており、（Ｃ１）は撮影画像に写る家屋を示し、（Ｃ２）は家屋と撮影者との位置関係を示している。

図２に示すように、固定オブジェクトに対して異なる方向から固定オブジェクトを撮影すると、撮影画像に写る固定オブジェクトの向きが変わる。固定オブジェクトの向きがどの程度変わるかは、固定オブジェクトに対する撮影位置の方向がどの程度変わるかに依存する。図２では、どの方向から撮影する場合も固定オブジェクトからの距離を同じとしているが、固定オブジェクトから撮影位置までの距離が変わると、撮影画像に写る固定オブジェクトの大きさが変わる。すなわち、撮影画像における固定オブジェクトの写り具合（固定オブジェクトの向きおよび大きさ）は、固定オブジェクトに対する撮影者の相対位置関係に依存して変動する。

上述のように、位置推定部１２が用いる推定モデルは、図２のように様々な撮影位置から固定オブジェクトを撮影して得られる複数の撮影画像と、それぞれの撮影位置を示す位置情報（以下、撮影位置情報という）とを教師データとして、教師有り機械学習によって生成されるものである。撮影位置情報は、例えば、現実の固定オブジェクトが存在する現場で実際に固定オブジェクトを撮影した際に、所定の位置検出手段を用いて検出される位置情報である。本実施形態では、固定オブジェクトの撮影画像と撮影位置情報とを紐付けて記憶し、これを教師データとする。

撮影位置情報を検出する位置検出手段は任意であるが、測位誤差の小さい高精度の検出手段を用いるのが好ましい。例えば、複数の測位衛星システムからの信号の搬送波をカウントし、それを距離に換算して測位するマルチＧＮＳＳ（Global Navigation Satellite System：全世界測位システム）、ＧＰＳ衛星からの複数の周波数の信号の搬送波をカウントし、それを距離に換算して測位する多周波ＧＰＳ、あるいは多周波マルチＧＮＳＳなどの検出手段を用いれば、測位誤差を１０ｃｍ未満に抑えることが可能である。また、電波の受信環境が悪い場所では、自律航法センサを利用して撮影位置情報を検出するようにしてもよい。

以上のような教師データを推定モデルのニューラルネットワークに与えて機械学習を行うことにより、ある特徴を有する固定オブジェクトがある写り具合で写っている撮影画像が入力された際にそれに対応する正解としての撮影位置情報が高い確率で出力されやすくなるように、ニューラルネットワークの各種パラメータが調整される。ここで、固定オブジェクトの特徴とは、固定オブジェクトの形状、色、模様などのうち少なくとも１つであり、固定オブジェクトを他と識別し得る視覚的要素である。

また、固定オブジェクトの写り具合とは、基本的には図２で説明したように固定オブジェクトの向きおよび大きさをいうが、それだけではない。例えば、撮影画像に同じ向きおよび同じ大きさで固定オブジェクトが写っている場合でも、固定オブジェクトから撮影位置までの実距離が短くて撮影装置の焦点距離が短い場合と、固定オブジェクトから撮影位置までの実距離が長くて撮影装置の焦点距離が長い場合とでは、固定オブジェクトの写り具合（精細度等）が異なる。機械学習によるニューラルネットワークの各種パラメータは、この焦点距離に応じて異なる固定オブジェクトの写り具合も反映して調整される。

位置推定部１２の固定オブジェクト識別部１２Ａは、公知の画像認識処理を行うことにより、画像取得部１１により取得された撮影画像に写っている固定オブジェクトを識別する。撮影画像に複数の固定オブジェクトが写っている場合は、それぞれを識別する。なお、撮影画像に写っている全ての固定オブジェクトを識別することは必須ではない。例えば、建物、道路、立木、信号機等の道路付帯物といった種々の固定オブジェクトのうち、特定の１種類以上の固定オブジェクトのみを識別するようにしてもよい。あるいは、撮影画像の全体面積に対する固定オブジェクトの画像部分の占有面積の割合が所定値以上の大きな固定オブジェクトに限定して識別するようにしてもよい。

推定モデル適用部１２Ｂは、固定オブジェクト識別部１２Ａにより識別された１以上の固定オブジェクトの画像を推定モデルに適用することにより、当該１以上の固定オブジェクトの特徴および写り具合から推定される撮影位置情報、つまり撮影者の存在位置情報を出力する。固定オブジェクト識別部１２Ａを設けず、撮影画像の全体を推定モデルに適用するようにしてもよいが、撮影画像に写っている移動オブジェクトの画像や、空の画像などを除外して推定モデルに適用することにより、推定の精度を上げることができる。移動オブジェクトや空などは、同じ場所にいても常に変動する要素であるため、撮影者の存在位置を推定するのに役立たないばかりか、推定の際にノイズとして働く恐れもあるからである。

一方、固定オブジェクトに関しては、撮影画像内から複数を識別して推定モデルに適用することにより、撮影者の存在位置の推定精度を上げることができる。建物、道路、立木、信号機といった固定オブジェクトは、それ１つのみを見た場合、類似の特徴を有するものが異なる場所に複数存在し得る。そのため、撮影画像の中から１つの固定オブジェクトのみを識別して推定モデルに適用した場合、その固定オブジェクトの特徴から導き出される存在位置情報の候補が複数となり、その中から１つの存在位置情報を抽出することが難しくなる。

これに対し、撮影画像の中から複数の固定オブジェクトを識別して推定モデルに適用すれば、それらの固定オブジェクトの特徴および写り具合を総合して撮影者の存在位置情報の候補が絞り込まれるため、正しい存在位置情報を推定することが容易となる。すなわち、個々の固定オブジェクトの特徴および写り具合に加え、複数の固定オブジェクトの組み合わせおよび相対位置関係も反映して撮影者の存在位置情報の推定を行うことができるため、正しい存在位置情報を推定することが可能となる。

図３は、本実施形態の位置推定装置１０が用いる推定モデルを生成するための機械学習装置２０の機能構成例を示すブロック図である。図３に示すように、本実施形態の機械学習装置２０は、機能構成として、教師データ入力部２１および推定モデル生成部２２を備えている。推定モデル生成部２２は、具体的な機能構成として、固定オブジェクト識別部２２Ａおよび学習部２２Ｂを備えている。

上記各機能ブロック２１〜２２は、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック２１〜２２は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。ＣＰＵに代えてまたは加えてＧＰＵ、ＦＰＧＡまたはＡＳＩＣなどを用いてもよい。

また、本実施形態の機械学習装置２０には、教師データ記憶部２０１および推定モデル記憶部２０２が接続されている。教師データ記憶部２０１および推定モデル記憶部２０２は、機械学習装置２０に対して有線または無線のローカル通信ネットワークにより接続される構成であってよい。あるいは、教師データ記憶部２０１および推定モデル記憶部２０２は、インターネット等のグローバル通信ネットワークを介して接続されたデータサーバが備える構成であってもよい。

教師データ入力部２１は、教師データ記憶部２０１から読み出された教師データを入力する。教師データ記憶部２０１に記憶されている教師データは、上述したように、１つの固定オブジェクトを様々な撮影位置から撮影して得られる複数の撮影画像と、それぞれの撮影位置を示す撮影位置情報とのセットから成るデータである。教師データ記憶部２０１には、様々な場所において様々なオブジェクトを撮影して得られる撮影画像と撮影位置情報とのセットを教師データとして記憶している。

推定モデル生成部２２は、教師データ入力部２１により入力された教師データを用いて、機械学習によってパラメータを調整することにより、固定オブジェクトを撮影して得られる撮影画像が入力された際に固定オブジェクトの特徴および写り具合に応じて撮影者の存在位置情報を出力するための推定モデルを生成する。すなわち、推定モデル生成部２２は、教師データ入力部２１により入力された教師データを推定モデルのニューラルネットワークに与えて機械学習を行い、当該ニューラルネットワークの各種パラメータを調整することにより、撮影画像における固定オブジェクトの特徴および写り具合から撮影者の存在位置（緯度経度）を推定するための推定モデルを生成する。

この推定モデルの生成の際に、固定オブジェクト識別部２２Ａは、公知の画像認識処理を行うことにより、教師データ入力部２１により教師データとして入力された複数の撮影画像のそれぞれについて、その中に写っている固定オブジェクトを識別する。固定オブジェクトの識別の仕方は、位置推定装置１０が備える固定オブジェクト識別部１２Ａと同様である。

学習部２２Ｂは、教師データ入力部２１により入力された複数の教師データのそれぞれについて、固定オブジェクト識別部２２Ａにより識別された１以上の固定オブジェクトの画像を推定モデルに入力するとともに、教師データ入力部２１により入力された正解データとしての撮影位置情報を推定モデルに入力することにより、推定モデルの機械学習を行う。そして、学習部２２Ｂは、学習済みの推定モデルを推定モデル記憶部２０２に記憶させる。

以上のように構成した推定モデル生成部２２により生成される推定モデルは、撮影画像においてどのような固定オブジェクトが、どの向きに、どの程度の大きさで、どの程度の精細度で写っているかなどの特徴に応じて、その撮影画像を撮影したときの撮影位置を推定して、撮影者の存在位置情報を出力するものである。図１に示した位置推定部１２の推定モデル適用部１２Ｂは、推定モデル記憶部２０２に記憶された推定モデルをデプライすることによって構成される。

なお、上記実施形態では、位置推定装置１０と機械学習装置２０とを別の装置として構成する例について説明したが、本発明はこれに限定されない。すなわち、１つの装置の中に位置推定装置１０の機能および機械学習装置２０の機能を実装する構成としてもよい。

図４は、上記のように構成した位置推定装置１０の動作例を示すフローチャートである。まず、位置推定装置１０の画像取得部１１が、撮影者が所持する撮影装置１００から撮影画像を取得する（ステップＳ１）。すなわち、撮影装置１００を所持する撮影者が任意の場所にいて、任意の方向に向かって現実世界の固定オブジェクトの撮影を行うと、画像取得部１１はその撮影画像をリアルタイムで取得する。

次いで、位置推定装置１０の位置推定部１２が、教師データを用いて学習済みの推定モデルを用いて、画像取得部１１により取得された撮影画像における固定オブジェクトの特徴および写り具合から推定される撮影者の存在位置情報を出力する（ステップＳ２，Ｓ３）。

すなわち、位置推定部１２の固定オブジェクト識別部１２Ａが、画像取得部１１により取得された撮影画像に写っている固定オブジェクトを識別する（ステップＳ２）。そして、推定モデル適用部１２Ｂが、当該識別された１以上の固定オブジェクトの画像を推定モデルに適用することにより、当該１以上の固定オブジェクトの特徴および写り具合から推定される撮影位置情報を、撮影者の存在位置情報として出力する（ステップＳ３）。これにより、図４に示すフローチャートの処理は終了する。

図５は、上記のように構成した機械学習装置２０の動作例を示すフローチャートである。まず、機械学習装置２０の教師データ入力部２１が、教師データ記憶部２０１から読み出された教師データの１セット（現実世界の固定オブジェクトを撮影して得られる撮影画像と、固定オブジェクトの撮影位置情報との１組）を入力する（ステップＳ１１）。

次いで、機械学習装置２０の推定モデル生成部２２が、教師データ入力部２１により入力された教師データを用いて、機械学習によってパラメータを調整することにより、固定オブジェクトを撮影して得られる撮影画像が入力された際に撮影者の存在位置情報を出力するための推定モデルを生成する（ステップＳ１２，Ｓ１３）。

すなわち、推定モデル生成部２２の固定オブジェクト識別部２２Ａが、教師データ入力部２１により入力された撮影画像に写っている固定オブジェクトを識別する（ステップＳ１２）。そして、学習部２２Ｂが、固定オブジェクト識別部２２Ａにより識別された１以上の固定オブジェクトの画像と教師データ入力部２１により入力された撮影位置情報とを推定モデルに与えて機械学習を行うことにより、ニューラルネットワークの各種パラメータを調整する（ステップＳ１３）。

その後、推定モデル生成部２２は、機械学習の終了条件を満たしたか否かを判定する（ステップＳ１４）。終了条件を満たしていない場合、処理はステップＳ１１に戻り、次の教師データを入力してステップＳ１２，Ｓ１３の処理を実行する。なお、機械学習の終了条件は任意に設定し得る。例えば、教師データ記憶部２０１に学習用データとして用意された教師データが全て処理されたことを終了条件としてよい。ステップＳ１１〜Ｓ１３の処理が複数の教師データを対象として繰り返し実行されることにより、推定モデルのパラメータが適切に調整されていく。そして、ステップＳ１４において終了条件を満たしたと判定されたとき、図５に示すフローチャートの処理は終了する。

以上詳しく説明したように、本実施形態では、位置推定装置１０が画像取得部１１と位置推定部１２とを備え、位置推定部１２が、現実世界の固定オブジェクトを撮影して得られる撮影画像と固定オブジェクトの撮影位置情報とを教師データとして機械学習された推定モデルを用いて、撮影者が所持する撮影装置１００から画像取得部１１により取得された撮影画像における固定オブジェクトの特徴および写り具合から推定される撮影者の存在位置情報を出力するようにしている。

このように構成した本実施形態によれば、教師データを用いて機械学習された推定モデルを用いて、撮影者が撮影装置１００によって撮影した撮影画像に写っている固定オブジェクトの特徴および写り具合から、撮影者の撮影位置、つまり撮影者の存在位置を推定することができる。すなわち、本実施形態によれば、撮影者が現在いる場所において周囲の画像を撮影するだけで、その撮影画像から撮影者の存在位置を推定することができる。

なお、上記実施形態では、画像取得部１１が１枚の撮影画像を取得し、当該１枚の撮影画像から撮影者の存在位置を推定する例について説明したが、本発明はこれに限定されない。例えば、同じ場所から方向を変えて撮影した複数の撮影画像を画像取得部１１により取得し、当該複数の撮影画像に対してそれぞれ位置推定部１２の処理を行うことによって撮影者の存在位置を推定するようにしてもよい。このようにすれば、一の方向に向かって撮影した撮影画像に写る複数の固定オブジェクトの特徴および写り具合と、他の方向に向かって撮影した撮影画像に写る複数の固定オブジェクトの特徴および写り具合とを総合して撮影者の存在位置情報の候補を絞り込むことが可能となるため、正しい存在位置情報を推定することができる確度が高くなる。

また、上記実施形態では、撮影装置の焦点距離に応じた固定オブジェクトの精細度等も写り具合の特徴の１つとして機械学習を行い、当該精細度等をニューラルネットワークのパラメータ調整に反映させた推定モデルを生成する例について説明したが、本発明はこれに限定されない。例えば、図６のように位置推定装置１０’を構成するとともに、図７のように機械学習装置２０’を構成するようにしてもよい。

図７に示す機械学習装置２０’において、教師データ入力部２１’は、撮影画像および撮影位置情報に加え、画像を撮影したときの撮影装置の焦点距離情報を入力する。

前処理部２３は、あらかじめ定めた基準の焦点距離ではない焦点距離のもとで撮影された撮影画像について、基準の焦点距離で撮影された仮定した場合の画像と同等となるように撮影画像を拡大または縮小するという前処理を行う。すなわち、前処理部２３は、教師データ入力部２１’により取得された撮影画像が、あらかじめ定めた基準の焦点距離ではない焦点距離のもとで撮影されたものである場合に、基準の焦点距離で撮影されたと仮定した場合の画像と同等となるように撮影画像を拡大または縮小する前処理を行い、当該前処理によって加工した撮影画像を推定モデル生成部２２’に供給する。ここで行う前処理は、基準の焦点距離と実際の焦点距離との差分に応じて決定されるズーム倍率によって撮影画像を拡大または縮小する処理である。

推定モデル生成部２２’は、前処理部２３によって適宜加工された撮影画像を用いて機械学習を行うことにより、推定モデルを生成する。すなわち、推定モデル生成部２２’は、教師データ入力部２１’により入力された撮影画像が基準の焦点距離のもとで撮影されたものである場合には、当該教師データ入力部２１’により入力された撮影画像を用いて推定モデルを学習する。一方、推定モデル生成部２２’は、教師データ入力部２１’により入力された撮影画像が基準の焦点距離ではない焦点距離のもとで撮影されたものである場合には、前処理部２３によって加工された撮影画像を用いて推定モデルを学習する。

なお、前処理部２３を機械学習装置２０’から省略し、当該前処理部２３が行う画像処理をあらかじめ行うことによって生成した画像データを教師データ記憶部２０１に教師データとして記憶させておくようにしてもよい。

図６に示す位置推定装置１０’において、画像取得部１１’は、撮影装置１００から撮影画像を取得する際に、当該撮影装置１００に設定されている焦点距離情報も取得する。図６では、画像取得部１１’が撮影装置１００から撮影画像と共に焦点距離情報を取得する例を示しているが、これに限定されない。例えば、焦点距離情報は、位置推定装置１０’が実装されている電子機器から取得するようにしてもよい。

前処理部１３は、あらかじめ定めた基準の焦点距離ではない焦点距離のもとで撮影された撮影画像について、基準の焦点距離で撮影されたと仮定した場合の画像と同等となるように撮影画像を拡大または縮小するという前処理を行う。すなわち、前処理部１３は、画像取得部１１’により取得された撮影画像が、あらかじめ定めた基準の焦点距離ではない焦点距離のもとで撮影されたものである場合に、基準の焦点距離で撮影されたと仮定した場合の画像と同等となるように撮影画像を拡大または縮小する前処理を行い、当該前処理によって加工した撮影画像を位置推定部１２’に供給する。

位置推定部１２’は、前処理部１３によって適宜加工された撮影画像を推定モデルに適用することにより、撮影者の存在位置を推定する。すなわち、位置推定部１２’は、画像取得部１１’により取得された撮影画像が基準の焦点距離のもとで撮影されたものである場合には、当該画像取得部１１’により取得された撮影画像を推定モデルに適用することにより、撮影者の存在位置を推定する。一方、位置推定部１２’は、画像取得部１１’により取得された撮影画像が基準の焦点距離ではない焦点距離のもとで撮影されたものである場合には、前処理部１３によって加工された撮影画像を推定モデルに適用することにより、撮影者の存在位置を推定する。

このように、異なる焦点距離の下で撮影された撮影画像に対し、焦点距離を統一させるための画像処理（拡大または縮小）を行うことにより、どのような焦点距離で撮影された画像であるかにかかわらず、固定オブジェクトから同じ相対距離の位置から撮影された撮影画像に写る固定オブジェクトが同じ大きさで揃うことになる。このため、固定オブジェクトの精細度等を写り具合の特徴の１つとして用いることなく、撮影者の存在位置を推定することができるようになる。

また、撮影画像に対する前処理の他の例として、露出調整処理やホワイトバランス調整処理などの画像処理を行うようにしてもよい。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０，１０’ 位置推定装置
１１，１１’ 画像取得部
１２，１２’ 位置推定部
１２Ａ 固定オブジェクト識別部
１２Ｂ 推定モデル適用部
１３ 前処理部
２０，２０’ 機械学習装置
２１，２１’ 教師データ入力部
２２，２２’ 推定モデル生成部
２２Ａ 固定オブジェクト識別部
２２Ｂ 学習部
２３ 前処理部

Claims (7)

1. 撮影者が所持する撮影装置から撮影画像を取得する画像取得部と、
   現実世界の固定オブジェクトを撮影して得られる撮影画像と上記固定オブジェクトの撮影位置を示す位置情報とを教師データとして機械学習された推定モデルを用いて、上記画像取得部により取得された上記撮影画像における上記固定オブジェクトの特徴および写り具合から推定される上記撮影者の存在位置情報を出力する位置推定部とを備えた
   ことを特徴とする位置推定装置。
2. 上記推定モデルは、１つの上記固定オブジェクトについて、上記固定オブジェクトからの相対位置が異なる複数の撮影位置から撮影した複数の撮影画像と、上記複数の撮影位置をそれぞれ示す複数の位置情報とのセットを上記教師データとして、当該教師データを用いた機械学習処理が施されている
   ことを特徴とする請求項１に記載の位置推定装置。
3. 上記位置推定部は、
   上記画像取得部により取得された撮影画像に写っている１以上の固定オブジェクトを識別する固定オブジェクト識別部と、
   上記固定オブジェクト識別部により識別された１以上の固定オブジェクトの画像を上記推定モデルに適用することにより、上記撮影者の存在位置情報を出力する推定モデル適用部とを備えた
   ことを特徴とする請求項１または２に記載の位置推定装置。
4. 上記画像取得部は、上記撮影装置から上記撮影画像を取得する際に、上記撮影装置の焦点距離情報を取得し、
   上記画像取得部により取得された撮影画像が、あらかじめ定めた基準の焦点距離ではない焦点距離のもとで撮影されたものである場合に、上記基準の焦点距離で撮影されたと仮定した場合の画像と同等となるように上記撮影画像を拡大または縮小する前処理を行い、当該前処理によって加工した撮影画像を上記位置推定部に供給する前処理部を更に備えた
   ことを特徴とする請求項１〜３の何れか１項に記載の位置推定装置。
5. コンピュータの画像取得部が、撮影者が所持する撮影装置から撮影画像を取得するステップと、
   上記コンピュータの位置推定部が、現実世界の固定オブジェクトを撮影して得られる撮影画像と上記固定オブジェクトの撮影位置を示す位置情報とを教師データとして機械学習された推定モデルを用いて、上記画像取得部により取得された上記撮影画像における上記固定オブジェクトの特徴および写り具合から推定される上記撮影者の存在位置情報を出力するステップとを有する
   ことを特徴とする位置推定方法。
6. コンピュータの教師データ入力部が、現実世界の固定オブジェクトを撮影して得られる撮影画像と上記固定オブジェクトの撮影位置を示す位置情報とを教師データとして入力するステップと、
   上記コンピュータの推定モデル生成部が、上記教師データ入力部により入力された上記教師データを用いて、機械学習によってパラメータを調整することにより、上記固定オブジェクトを撮影して得られる撮影画像が入力された際に上記固定オブジェクトの特徴および写り具合に応じて撮影者の存在位置情報を出力するための推定モデルを生成するステップとを有する
   ことを特徴とする推定モデル生成方法。
7. 撮影者が所持する撮影装置から撮影画像を取得する画像取得手段、および
   現実世界の固定オブジェクトを撮影して得られる撮影画像と上記固定オブジェクトの撮影位置を示す位置情報とを教師データとして機械学習された推定モデルを用いて、上記画像取得手段により取得された上記撮影画像における上記固定オブジェクトの特徴および写り具合から推定される上記撮影者の存在位置情報を出力する位置推定手段
   としてコンピュータを機能させるための位置推定用プログラム。

Images