JP7243867B2 - 撮影範囲推定装置、撮影範囲推定方法およびプログラム - Google Patents

Description

本発明は、カメラデバイスの撮影範囲を推定する、撮影範囲推定装置、撮影範囲推定方法およびプログラムに関する。

近年、データのオープン化が進んできている。例えば、自治体では、人口動態などのデータをオープンにして、他の自治体や事業者から利用可能とする取り組みが進められている。また、企業内のデータ共有の事例として、万引き取り締まりを目的とした複数店舗のデータ共有が行われている。各店舗の万引き犯データを店舗内に限定して保存するのではなく、クラウドサーバに集約し、店舗間で共有することで、店舗を跨った万引き犯の取り締まりを行っている。このように、各業種・分野ごとにデータ集約や汎用分析アプリケーションを備えたＩｏＴ（Internet of Things）プラットフォームが既に構築されている。現在、事業者を跨ったデータ共有が行われるＩｏＴプラットフォームが複数設立されており、業種・分野を超えたデータ共有化が進んでいくと予想される。

しかし、個人ユーザについて、データのオープン化・共有化は事業者と比較して進んでいない。現在はＩｏＴデバイス所有者が自らの目的のために設置し、データの共有も個人に限られる場合が多く、他者が利用する場合には手間がかかっている。例えば、ある市内に不審者が現れた場合、その顔や服装、位置が分からないときには、通報者の目撃情報をもとに警察が近隣の店舗及び個人宅の監視カメラ情報の開示を要求し、画像を取得することで、不審者の外観情報を取得している。

個人ユーザも含めて、データのオープン化・共有化を進めていくためには、参入障壁の低いＩｏＴプラットフォームが必要となる。具体的には、デバイス所有者の立場では、ＩｏＴプラットフォームへの登録稼働の削減、デバイス登録による利益、個人情報保護の保証を実現する必要がある。これは、デバイス所有者の費用対効果をプラスにしなければデバイスの登録という手間のかかる作業を行う可能性が低いと考えられるためである。一方、データ利用者およびサービス事業者の立場では、目的とするデバイスの探索稼働の削減を実現する必要がある。これは、膨大な登録デバイスから目的のデータもしくはデバイスを人力で探索することは困難と考えられるためである。

このＩｏＴデバイスの中でも、特に防犯等を目的としたカメラの台数が急速に増えてきており、日本では５００万台、世界では数億台となっている。また、近年の画像解析技術の発達やカメラデバイスのコスト低下に伴い、画像を通じて多量の情報を得ることのできるカメラの重要性が増している。

このカメラデバイスの画像情報を用いて、該当カメラデバイスの撮影向きおよび位置を推定する技術がある（非特許文献１，２参照）。非特許文献１，２に記載の技術は、ＧＰＳの精度が低くなるビル群の環境において、スマートフォンなどのモバイル端末のデバイス位置および向きを把握することを目的とした技術である。

非特許文献１に記載の技術は、カメラで撮影された映像をもとに、カメラ位置を推定するものである。非特許文献１では、地上撮影画像、例えば、ストリートビュー画像から物体検出もしくは物体輪郭を特徴として検出し、検出された特徴が位置情報とともにデータベース上に登録されている場合には、登録されている情報を参照してデバイスの位置を推定する。非特許文献１の技術では、検出および登録されている特徴が多いほど、位置推定の精度は向上する。

非特許文献２に記載の技術は、衛星画像や鳥観画像に映る建物の矩形を抽出および記録し、地上撮影画像から抽出した建物の矩形と照合し、地上撮影を行ったカメラデバイスの設置位置および向きを推定するものである。

Nathan Piasco, et. al.,"A survey on Visual-Based Localization: On the benefit of heterogeneous data", Pattern Recognition, Volume 74, February 2018, Pages 90-109 Tat-Jen Cham, et.al.,"Estimating Camera Pose from a Single Urban Ground-View Omnidirectional Image and a 2D Building Outline Map,"IEEE Computer Society Conference on Computer Vision and Pattern Recognition, December 2010

しかしながら、非特許文献１に記載の技術では、詳細に特徴を検出するために、利用地域の高精度な地上撮影画像情報を事前に撮影しておく必要がある。そのため、利用地域の拡大にはコストを要し、あらゆる地域を網羅することは困難である。例えば、現在のストリートビュー画像提供サービスでは、人口密度が疎らである地域や、道幅の狭い路地の地上撮影画像は利用できない。

また、非特許文献２に記載の技術では、衛星画像の場合、あらゆる地域を網羅的に撮影可能である。しかし、この技術ではカメラが撮影する画像に建物の存在が不可欠であるため、建物のない範囲では利用できない。また、屋内の撮影範囲を推定することはできない。

このような点に鑑みて本発明がなされたのであり、本発明は、カメラデバイスの撮影範囲を、事前に収集した地上撮影画像情報や建物の存在に依存することなくカメラ画像から推定することを課題とする。

本発明に係る撮影範囲推定装置は、カメラデバイスの撮影範囲を推定する撮影範囲推定装置であって、前記カメラデバイスが撮影した画像データを取得し、当該画像データに映る各物体が占める領域を物体名ラベルを付して識別する画像解析を行わせ、前記物体名ラベルが付された画像データを生成する画像データ処理部と、前記カメラデバイスが設置されている推定位置から撮影可能な所定距離内の領域を地理情報を用いて設定し、設定した領域内の物体に物体名ラベルを付した参照データを生成する参照データ生成部と、前記画像データの各物体名ラベルの領域で示される特徴量と、前記参照データの各物体名ラベルの領域で示される特徴量とを比較して一致率を算出し、前記画像データに対応する前記参照データの領域を前記カメラデバイスの撮影範囲として推定する撮影範囲推定部と、を備えることを特徴とする。

本発明によれば、カメラデバイスの撮影範囲を、事前に収集した地上撮影画像情報や建物の存在に依存することなくカメラ画像から推定することができる。

本実施形態に係る撮影範囲推定装置の構成を示すブロック図である。 画像データに特徴量抽出線を設定した例を示す図である。 画像データの各特徴量抽出線におけるラベル名とラベル比率を示す表である。 参照データに候補特徴量抽出線を設定した例を示す図である。 参照データの候補特徴量抽出線に線分を設定した例を示す図である。 参照データに設定した線分のラベル名とラベル比率を示す表である。 物体名ラベルが一致しない候補線分と一致する候補線分の例を示す図である。 カメラ画角の地面への投影面を、カメラ位置が頂点となった二等辺三角形のうちの底辺側の台形部分であると想定した図である。 参照データ上で、候補領域が選択された例を示す図である。 本実施形態に係る撮影範囲推定装置が実行する全体の処理の流れを示すフローチャートである。 本実施形態に係る撮影範囲推定装置が実行する抽出線一致率算出処理の流れを示すフローチャートである。 本実施形態に係る撮影範囲推定装置が実行する候補領域選択処理の流れを示すフローチャートである。 本実施形態に係る撮影範囲推定装置が実行する撮影領域算出処理の流れを示すフローチャートである。 画像データに特徴量抽出線を設定した例を示す図である。 画像データの各特徴量抽出線におけるラベル名とラベル比率を示す表である。 候補領域のラベル名とラベル比率を示す表である。 候補領域のラベル名とラベル比率を示す表である。 カメラデバイスが地面に垂直（真下）の方向に向かっている場合において、画像データに特徴量抽出線を設定した例を示す図である。 本実施形態に係る撮影範囲推定装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

次に、本発明を実施するための形態（以下、「本実施形態」と称する。）について説明する。
図１は、本実施形態に係る撮影範囲推定装置１の構成を示すブロック図である。
本実施形態に係る撮影範囲推定装置１は、カメラデバイス２１が撮影した画像データと、カメラデバイス２１周辺の地図情報や衛星画像等の地理情報に基づき、カメラデバイス２１の撮影範囲および位置を推定する。
この撮影範囲推定装置１は、ＩｏＴプラットフォーム２０、画像解析装置３０、参照データベース４０等に接続される。

ＩｏＴプラットフォーム２０は、ＩｏＴデバイスとしての監視カメラ等のカメラデバイス２１から画像データを取得し記憶している。このカメラデバイス２１からの画像データには、そのカメラデバイス２１の識別情報とともに、そのカメラデバイス２１の位置を特定（推定）する情報が付されている。例えば、そのカメラデバイス２１の位置情報（経度・緯度情報そのものや、住所の情報）、ＩＰアドレスやＷｉ-Ｆｉ（登録商標）等の無線基地局などのデバイスの位置を推定できる情報である。

画像解析装置３０は、一般的な画像解析の機能を備える。この画像解析装置３０は、画像データに対し画像解析を行うことにより、画素単位で物体認識を行い、画像データ中の領域ごとに物体名ラベルを付与する。カメラデバイス２１の設置場所は、例えば、街中監視、自然監視、車載等により異なるため、画像解析装置３０は、設置場所に適した学習モデルを用いたＡＩ（人工知能）等を用いて解析する。

参照データベース４０には、地図情報４１、衛星画像４２のいずれかまたは両方が格納される。地図情報４１については、予め建物や、歩道、道路、植物（街路樹）等の位置関係と、物体の種類、即ち物体名ラベルとが既知であるとする。
なお、衛星画像４２については、画像解析装置３０にその衛星画像を解析させることにより、物体の位置に物体名ラベルを付与することができる。
また、地図情報４１と衛星画像４２は、２種類の情報が１つのデータベース（参照データベース４０）に記憶されている必要はなく、別々のデータベースに格納されていてもよい。

撮影範囲推定装置１は、カメラデバイス２１の画像データ（撮影画像）を画像解析して得られる物体認識に基づく特徴量と、地図情報や衛星画像から生成した参照データにより得られる特徴量とを比較し、より特徴量が一致する領域を、撮影範囲として算出する。
図１を参照して、撮影範囲推定装置１の機能について具体的に説明する。

撮影範囲推定装置１は、制御部１０、入出力部１１、記憶部１２を備えるコンピュータにより実現される。
入出力部１１は、ＩｏＴプラットフォーム２０、画像解析装置３０、参照データベース４０等との間で情報の送受信を行う通信インタフェース、および、タッチパネルやキーボード等の入力装置や、モニタ等の出力装置との間で情報の送受信を行うための入出力インタフェースからなる。

記憶部１２は、フラッシュメモリやハードディスク、ＲＡＭ（Random Access Memory）等により構成される。この撮影範囲推定装置１の記憶部１２には、処理の過程で必要となる情報等が記憶されるとともに、制御部１０の機能を実現するためのプログラムが格納される。

また、制御部１０は、図１に示すように、画像データ処理部１１０と、参照データ生成部１２０と、撮影範囲推定部１３０とを含んで構成される。

画像データ処理部１１０は、カメラデバイス２１が撮影した画像データを取得し、当該画像データに映る各物体が占める領域を物体名ラベルを付して識別する画像解析を行わせ、物体名ラベルが付された画像データを生成する。

より詳細に説明すると、画像データ処理部１１０は、ＩｏＴプラットフォーム２０から撮影範囲を推定する処理の対象となる画像データを取得する。その際、画像データ処理部１１０は、当該画像データが撮影されたカメラデバイスの位置に関する情報も併せて取得する。
画像データ処理部１１０は、カメラデバイスの位置に関する情報が、カメラデバイス２１の設置位置の情報そのもの（緯度・経度、住所等）でない場合には、ＩＰアドレスや無線基地局等の情報に基づき、おおよその地域を特定する情報（地域特定情報）を外部装置（図示省略）等から収集する。

また、画像データ処理部１１０は、取得した画像データを、ネットワーク等を介して画像解析装置３０に送信する。これにより、画像データ処理部１１０は、画像解析装置３０から、画像データを画像解析し画素単位で物体認識した結果として、画像データ中の領域ごとに物体名ラベル（例えば、建物、歩道、道路、植物等）を付与した情報（後記する図２等参照）を取得する。

参照データ生成部１２０は、カメラデバイス２１が設置されている推定位置（カメラ位置）から撮影可能な所定距離内の領域を地理情報を用いて設定し、設定した領域内の物体に物体名ラベルを付した参照データを生成する。

ここで参照データとは、カメラデバイス２１が撮影した画像データに対して、撮影領域を算出する際に用いる地理情報であり、例えば、地図情報や衛星画像である。参照データ生成部１２０は、ネットワーク等を介して、参照データベース４０にアクセスすることにより、地図情報４１や衛星画像４２を取得する。
カメラデバイス２１の位置情報が既知の場合に、参照データ生成部１２０は、そのカメラ位置を中心として最大撮影距離（所定距離）を半径とした円内の地図情報もしくは衛星画像を参照データベース４０から取得する。ここでは、一例として、一般的な監視カメラで想定される最大撮影距離を数十メートルとし、以下に示す図等において説明する。なお、カメラデバイス２１の位置情報が既知でない場合には、参照データ生成部１２０が、画像データ処理部１１０が収集した地域特定情報に基づき、カメラデバイス２１の推定位置を決定して地図情報もしくは衛星画像を参照データベース４０から取得する。

参照データ生成部１２０が参照データとして地図情報を用いる場合には、その地図情報に基づき、特定した範囲内の物体名ラベルは既知とする。また、参照データとして衛星画像を用いる場合には、参照データ生成部１２０は、その衛星画像を画像解析装置３０に送信する。これにより、参照データ生成部１２０は、画像解析装置３０から、衛星画像を画像解析し画素単位で物体認識した結果として、衛星画像中の領域ごとに物体名ラベル（例えば、建物、歩道、道路、植物等）を付与した情報（後記する図４等参照）を取得する。

撮影範囲推定部１３０は、画像データの各物体名ラベルの領域で示される特徴量と、参照データの各物体名ラベルの領域で示される特徴量とを比較して一致率を算出し、画像データに対応する参照データの領域をカメラデバイス２１の撮影範囲として推定する。
この撮影範囲推定部１３０は、「抽出線一致率算出機能」、「候補領域選択機能」、「撮影領域算出機能」を用いて、参照データにおいて候補領域を絞り込んでいくことにより、撮影範囲を推定する（詳細は後記）。
撮影範囲推定部１３０は、上記した各機能に対応した、抽出線算出部１３１、候補領域選択部１３２および撮影領域算出部１３３を含んで構成される。

≪抽出線一致率算出機能≫
抽出線算出部１３１は、画像データ処理部１１０から物体名ラベル付きの画像データを取得し、参照データ生成部１２０から物体名ラベル付きの参照データを取得する。そして、抽出線算出部１３１は、例えば、画像データの少なくとも左端および右端に設定した特徴量抽出線に対応する線（線分）を、参照データに設けた特徴量抽出線（後記する「候補特徴量抽出線」）から算出する。以下、具体的に説明する。

まず、抽出線算出部１３１は、カメラデバイス２１が監視カメラのように斜め下を撮影している場合、画像の下側がカメラ近傍、上部がカメラ遠方となるため、画像データ（撮影画像）の下部から上部に向かって線を引いて線上にある物体名を抽出し、画像データの特徴量抽出線とする。ここで、抽出線算出部１３１は、図２に示すように、例えば、画像データの左端（抽出線番号「１」）、中央（抽出線番号「２」）、右端（抽出線番号「３」）の３本の特徴量抽出線を設定する。なお、少なくとも、左端と右端は必須であり、特徴量抽出線をより多く設定することにより、精度を向上させることができる。
このとき、抽出線算出部１３１は、画像データの各特徴量抽出線における物体名ラベル（ラベル名）のラベル比率を算出する。抽出線算出部１３１は、分母を画像データの縦方向の画素数とし、分子を該当する物体名ラベルの画素数とすることで、各物体名ラベルの当該特徴量抽出線におけるラベル比率を、例えば図３に示すように算出する。
図３に示す抽出線番号「１」の左端の特徴量抽出線は、画像データ（撮影画像）の下から、道（Road）、歩道（Sidewalk）、建物（Building）の順に、物体名ラベルの比率（ラベル比率）が（0.2, 0.2, 0.6）となっている。

抽出線算出部１３１は、参照データ生成部１２０が生成した参照データにおいて、カメラデバイス２１の位置（推定位置）を中心として当該カメラデバイス２１の最大撮影距離（所定距離）を半径とした円内の動径方向に線を引き、線上にある物体名を抽出し、参照データの特徴量抽出線とする（図４参照）。なお、この参照データの特徴量抽出線を「候補特徴量抽出線」と以下において称する。抽出線算出部１３１が設定する候補特徴量抽出線の数は、任意に設定可能であり、例えば、一度ずつ角度を変化させる場合に抽出される候補特徴量抽出線の数は、３６０本となる。

抽出線算出部１３１は、さらに、１本の候補特徴量抽出線に対して、始点と終点を任意に設定した線分を設ける。
例えば、図４の候補特徴量抽出線「α」について、図５で示すように、始点と終点が異なる線分（線分番号「１」，「２」，「３」）を設ける。なお、図５においては、候補特徴量抽出線「α」に重なる線分を見分けがつくように、候補特徴量抽出線「α」からずらして記載している。
このとき、抽出線算出部１３１は、参照データの各候補特徴量抽出線の線分における物体名ラベルのラベル比率を算出する。抽出線算出部１３１は、参照データにおける物体名ラベルのラベル比率を、当該物体の地理的な距離から算出する。つまり、抽出線算出部１３１は、物体名ラベルが続く全体の線の長さを分母とし、分子を該当の物体名の平面距離とすることで、各物体名ラベルの当該候補特徴量抽出線におけるラベル比率を、例えば、図６に示すように算出する。
図６に示す、線分番号「１」の候補特徴量抽出線は、参照データのカメラに近い方から、歩道（Sidewalk）、道（Road）の比率が（0.1, 0.9）であり、建物は含まれない。また、線分番号「２」の候補特徴量抽出線は、道（Road）、歩道（Sidewalk）、建物（Building）の順に、物体名ラベルの比率が（0.5, 0.2, 0.3）となっている。また、線分番号「３」の候補特徴量抽出線は、道（Road）、歩道（Sidewalk）、建物（Building）の順に、物体名ラベルの比率が（0.2, 0.2, 0.6）となっている。

抽出線算出部１３１は、画像データの特徴量抽出線において算出した物体名ラベルのラベル比率と、参照データの候補特徴量抽出線の線分において算出した物体名ラベルのラベル比率との一致率を算出し、算出した一致率が高い参照データの候補特徴量抽出線の線分を抽出する。
具体的には、抽出線算出部１３１は、物体名ラベル数が一致する候補特徴量抽出線の線分を選出し、その選出した候補特徴量抽出線の線分（以下、「候補線分」と称する場合がある。）と、画像データの特徴量抽出線との一致率を、以下の式（１）により算出する。なお、ここで、例えば、物体名ラベル「道」のラベル番号を「１」、物体名ラベル「歩道」のラベル番号を「２」、物体名ラベル「建物」のラベル番号を「３」とする。
そして、物体名ラベルが一致しない候補線分については、予め一致率の算出対象から除いた上で計算を行う。例えば、画像データの抽出線番号「１」は、物体名ラベルの「道」「歩道」「建物」を含んでいる。これに対し、図７の「×」印で示す、候補線分「γ」は、物体名ラベルに「建物」を含まないため、予め算出対象から除かれる。一方、図７の「〇」印で示す、候補線分「α」「β」は、物体名ラベルに「道」「歩道」「建物」が含まれるため、線分の一致率の算出対象となる。

線分の一致率Ｌ＝summation{画像データのラベル番号の和と候補線分のラベル番号の和との一致判定[0,1] ×（１－｜候補線分ラベル比率－画像データラベル比率｜）} ・・・式（１）

ここで、画像データのラベル番号の和と候補線分のラベル番号の和が一致しなければ[0]、一致すれば[1]とする。なお、具体的な算出例は後記する。
また、抽出線算出部１３１は、候補線分における始点と終点の位置をパラメータとして調整しながら、式（１）による線分の一致率Ｌの計算を繰り返し行う。そして、抽出線算出部１３１は、パラメータの調整による一致率Ｌの算出が所定回数（下限）以上であり、かつ、一致率Ｌのスコアの増加が所定の閾値以下となったときに処理を終了する。
これにより、例えば、図２で示した画像データに設定した特徴量抽出線（左端、中央、右端の特徴量抽出線）それぞれに対応する、有力な候補としての線分を参照データの中から算出することができる。

≪候補領域選択機能≫
図１に戻り、候補領域選択部１３２は、上記のように、画像データの少なくとも左端および右端の特徴量抽出線に対応する線分であると抽出線算出部１３１が算出した線分に基づき、おおまかな候補領域を選択する処理を実行する。以下、具体的に説明する。

候補領域選択部１３２は、抽出線算出部１３１が算出した、左端と右端の情報およびその他の設定された線分の情報を用いて、1つ以上の候補領域を設定する。候補領域選択部１３２は、候補領域をおおまかに絞り組むため、後記する図８に示すカメラ位置から左端・右端の各終点までの距離が近い（等しい）ものを優先する。図８は、カメラ画角の地面への投影面を、カメラ位置が頂点となった二等辺三角形のうちの底辺側の台形部分であると想定した図である。
候補領域選択部１３２は、左端と右端の終点までの距離が等しい領域を優先するとともに、左端・右端以外の抽出線においては、図８の三角形の頂点から各抽出線分の始点までの距離と、三角形の頂点から各抽出線分の終点（二等辺三角形の底辺側）までの距離との比率の標準偏差を用いて、以下の式（２）で示す、領域の有効性Ｙの値が小さいものを、候補領域として選択する。ここで、図８で示すｘ１は、カメラ位置（二等辺三角形の頂点）から右端の終点までの距離、ｘ２は、カメラ位置から左端の終点までの距離である。また、カメラ位置からｙ１で示される右端の始点、ｘ１で示される右端の終点、カメラ位置からｙ２で示される左端の始点、ｘ２で示される左端の終点の４点で示される四角形（台形）が参照データの候補領域を示す。

領域の有効性Ｙ ＝ ｜ｘ１－ｘ２｜×（三角形の頂点から各抽出線分の始点までの距離と三角形の頂点から各抽出線分の終点までの距離との比率の標準偏差） ・・・式（２）

ただし、右端ｘ１と左端ｘ２とで決定されるカメラの視野角θ（図８参照）は、指定した角度以内で設定される。普及している広角カメラの視野角が１５０度程度あるため、例えば、視野角θの上限を１８０度に設定する。
これにより、候補領域選択部１３２は、例えば図９に示すように、候補領域[Ａ]、候補領域[Ｂ]のような複数の候補領域を選択する。なお、式（２）において、右端ｘ１と左端ｘ２の距離が等しい場合は、有効性評価値が０となり、候補領域[Ａ]，[Ｂ]はその場合、二等辺三角形の下部にある台形として設定される。

≪撮影領域算出機能≫
図１に戻り、撮影領域算出部１３３は、画像データと、候補領域選択部１３２が選択した１つ以上の候補領域とにおいて、特徴量抽出線を複数設定し、画像データと候補領域との領域の一致率を、以下の式（３）に基づき算出する。

候補領域の一致率Ｒ ＝ summation{画像データのラベル番号と候補線分のラベル番号との一致判定[0,1] ×（画像ラベル数－画像ラベルの長さ比率順位＋１）×（１－｜候補線分ラベル比率－画像データラベル比率｜）} ・・・式（３）

ここで、画像ラベルの長さ比率順位は、長さ比率の大きい順に昇順に順位をつける。例えば、図２および図３で示した画像データの左端にある抽出線番号１の長さ比率順位は、比率が大きい順に、建物が「0.6」で１位、歩道が「0.2」で２位、道が「0.2」で歩道と同率で２位となる。

撮影領域算出部１３３は、この候補領域の一致率Ｒの計算を、パラメータを調整しながら繰り返し行う。ここでのパラメータは、図８で示される、カメラ位置（三角形の頂点）、カメラ位置から終点までの距離ｘ１，ｘ２、カメラ位置から始点までの距離ｙ１，ｙ２、視野角θ、カメラデバイス２１の向きφである。そして、撮影領域算出部１３３は、パラメータの調整により繰り返された一致率Ｒの算出が所定回数（下限）以上であり、かつ、一致率Ｒのスコアの増加が所定の閾値以下となったときに処理を終了する。撮影領域算出部１３３は、得られた複数の候補領域の算出結果のうち、一致率Ｒが最も高い候補領域を撮影範囲であると推定する。
撮影領域算出部１３３は、推定した撮影範囲とそのときのカメラ位置の情報を、ＩｏＴプラットフォーム２０に出力する。

＜処理の流れ＞
次に、撮影範囲推定装置１が実行する処理の流れについて説明する。

≪全体の流れ≫
図１０は、本実施形態に係る撮影範囲推定装置１が実行する全体の処理の流れを示すフローチャートである。

まず、撮影範囲推定装置１の画像データ処理部１１０は、ＩｏＴプラットフォーム２０から、撮影範囲を推定する処理の対象となる画像データを取得する（ステップＳ１）。
この際、画像データ処理部１１０は、当該画像データが撮影されたカメラデバイスの位置に関する情報を合わせて取得する。そして、画像データ処理部１１０は、カメラデバイスの位置に関する情報が、カメラデバイス２１の設置位置の情報そのもの（緯度・経度、住所等）でない場合には、ＩＰアドレスや無線基地局等の情報に基づき、おおよその地域を特定する情報（地域特定情報）を収集する。

また、画像データ処理部１１０は、取得した画像データを画像解析装置３０に送信することにより、画像データ中の領域ごとに物体名ラベルを付与した情報（画像データ）を取得する（ステップＳ２）。

次に、参照データ生成部１２０は、画像データ処理部１１０により得られたカメラデバイスの位置に関する情報に基づき、参照データベース４０にアクセスし、地理情報（地図情報または衛星画像）を取得することにより参照データを生成する（ステップＳ３）。ここで、参照データとして、地図情報と衛星画像の両方が取得可能である場合には、参照データ生成部１２０は、予め設定しておいた方の情報を取得するように参照データ生成部１２０に設定しておいてもよい。また、参照データ生成部１２０は、カメラ位置を中心として最大撮影距離を半径とした円内の地図情報および衛星画像を参照データとして生成する。この最大撮影距離の情報は、画像データともにＩｏＴプラットフォーム２０から取得してもよいし、カメラデバイス２１の撮影環境に応じて予め設定した値（例えば、５０メートル）を用いるようにしてもよい。

続いて、参照データ生成部１２０は、取得した地理情報が地図情報であるか否かを判定する（ステップＳ４）。参照データ生成部１２０は、取得した地理情報が地図情報であれば（ステップＳ４→Ｙｅｓ）、物体名ラベルはその地図情報に基づき既知であるとして、次のステップＳ６に進む。
一方、参照データ生成部１２０は、取得した地理情報が地図情報でなく衛星画像であれば（ステップＳ４→Ｎｏ）、取得した衛星画像を画像解析装置３０に送信することにより、衛星画像中の領域ごとに物体名ラベルを付与した情報（衛星画像）を取得し（ステップＳ５）、次のステップＳ６に進む。
このステップＳ１～Ｓ５までの処理において、物体名ラベルを付与した画像データと、物体名ラベルを付与した参照データとが用意される。

次に、撮影範囲推定装置１の撮影範囲推定部１３０（抽出線算出部１３１）は、抽出線一致率算出処理を実行する（ステップＳ６）。
この抽出線一致率算出処理は、抽出線算出部１３１が、画像データについて左端および右端を含む特徴量抽出線を設定し、参照データに設けた候補特徴量抽出線の線分のうち、物体名ラベルの比率が一致する線分を算出する処理である（詳細は図１１参照）。これにより、画像データに設定した左端、右端、その他の特徴量抽出線それぞれについて、一致率Ｌのスコアの高い線分が、参照データ上で対応する線分として算出される。

次に、撮影範囲推定部１３０の候補領域選択部１３２は、ステップＳ６において算出された、左端、右端、その他に対応する参照データ上の線分の情報を用いて、１つ以上の候補領域を選択する候補領域選択処理を実行する（ステップＳ７：詳細は図１２参照）。このとき、候補領域選択部１３２は、上記した式（２）に基づき、カメラ位置から左端・右端の終点までの距離が近くなる（等しくなる）領域を候補領域に設定する。また、候補領域選択部１３２は、各抽出線における線分のカメラ位置からの距離と、図８で示す三角形の頂点から各抽出線の終点までの距離の比率の標準偏差が小さいものを候補領域に設定する。

続いて、撮影範囲推定部１３０の撮影領域算出部１３３は、画像データと、候補領域選択部１３２が選択した候補領域とにおいて、特徴量抽出線を複数設定し、画像データと候補領域との領域の一致率Ｒを算出する撮影領域算出処理を実行する（ステップＳ８：詳細は図１３参照）。これにより、撮影領域算出部１３３は、一致率Ｒが最も高い候補領域を、画像データの撮影範囲であるとして推定する。そして、撮影領域算出部１３３は、推定した画像データの撮影範囲とそのときのカメラデバイスの位置情報を、ＩｏＴプラットフォーム２０に送信する。

≪抽出線一致率算出処理≫
撮影範囲推定装置１の抽出線算出部１３１が実行する抽出線一致率算出処理の詳細を説明する。この処理は、図１０のステップＳ６で行われる処理である。
図１１は、本実施形態に係る撮影範囲推定装置１が実行する抽出線一致率算出処理の流れを示すフローチャートである。

まず、抽出線算出部１３１は、画像データの下部から上部に向かって線を引いて線上にある物体名を抽出し、画像データの特徴量抽出線を設定する（ステップＳ６０１）。ここで、抽出線算出部１３１は、少なくとも左端と右端の特徴量抽出線を設定する。図２は、左端、中央、右端の特徴量抽出線を設定した例を示している。

続いて、抽出線算出部１３１は、参照データ生成部１２０が生成した参照データにおいて、円内の動径方向に線を引き、線上にある物体名を抽出して候補特徴量抽出線を設定する（ステップＳ６０２）。抽出線算出部１３１は、例えば、カメラデバイス２１の位置を中心として３６０度のうち１度ずつ角度を変化させて候補特徴量抽出線を設定する（図４参照）。

次に、抽出線算出部１３１は、各候補特徴量抽出線に沿って、撮影範囲の始点から終点までの線に相当する線分を設定する（ステップＳ６０３：図５参照）。

そして、抽出線算出部１３１は、ステップＳ６０１で設定した画像データの特徴量抽出線のうちの１つを選択する（ステップＳ６０４）。なお、これ以下の処理（ステップＳ６０５～Ｓ６１１）は、画像データの各特徴量抽出線のそれぞれにおいて行われる処理である。

続いて、抽出線算出部１３１は、ステップＳ６０３で設定した線分のうち、ステップＳ６０４で選択した特徴量抽出線に含まれる物体名ラベルのすべてを含んでいない線分を除外する（ステップＳ６０５）。
例えば、特徴量抽出線に含まれる物体名ラベルが、道（Road）、歩道（Sidewalk）、建物（Building）であった場合、この３つの物体名ラベルをすべて含んでいない線分を除外する。これは、線分の一致率の計算の負荷を低減するための処理である。

次に、抽出線算出部１３１は、線分の１つを抽出し、上記した式（１）に基づき、線分の一致率Ｌを算出する（ステップＳ６０６）。
例えば、図２に示すデータ画像の左端における特徴量抽出線のラベル比率が、図３の抽出線番号「１」で示すように、道（Road）、歩道（Sidewalk）、建物（Building）のラベル比率（0.2, 0.2, 0.6）であるとする。このとき、図５に示す各線分（線分番号「１」「２」「３」）の線分一致率Ｌは、以下のように計算される。なお、各線分のラベル比率は、図６に示すものとする。なお、線分番号「１」については、物体名ラベルに建物（Building）が含まれていないため、ステップＳ６０５において、線分の一致率Ｌの算出対象から削除される。

線分番号「２」の一致率Ｌ＝1×（1－｜0.5－0.2｜）＋1×（1－｜0.2－0.2｜）＋1×（1－｜0.3－0.6｜）＝2.4
線分番号「３」の一致率Ｌ＝1×（1－｜0.2－0.2｜）＋1×（1－｜0.2－0.2｜）＋1×（1－｜0.6－0.6｜）＝3

なお、ステップＳ６０６では、１つの線分、例えば、上記の線分番号「２」が選択され、線分の一致率Ｌ＝2.4が算出される。そして、抽出線算出部１３１による各線分の抽出のループ処理に伴い、線分番号「３」の一致率Ｌが算出される。

この線分の一致率Ｌの算出において、画像データにおける物体名ラベルのラベル比率が高いものについては、誤識別の確率が低くなるため、より大きい重みをつけるようにしてもよい。例えば、図３の抽出線番号「１」の道、歩道、建物のラベル比率は（0.2, 0.2, 0.6）であるので、建物、道、歩道の順に大きい重みを設定し、例えば「３」「２」「２」のようにして、各物体名ラベルのラベル比率の差を算出する項に乗算し一致率Ｌを算出してもよい。

図１１に戻り、次に、抽出線算出部１３１は、抽出した１つの線分について、所定の算出回数の下限を超えたか否かを判定する（ステップＳ６０７）。そして、抽出線算出部１３１は、所定の算出回数の下限を超えていない場合には（ステップＳ６０７→Ｎｏ）、今回のステップＳ６０６で算出した際のパラメータである各線分のラベル比率を調整し、ステップＳ６０６に戻る。つまり、抽出線算出部１３１は、よりデータ画像の特徴量抽出線のラベル比率に一致する線分を探索するため、パラメータである各線分のラベル比率を微調整して線分の一致率Ｌの算出を繰り返すようにする。

一方、抽出線算出部１３１は、所定の算出回数の下限を超えた場合には（ステップＳ６０７→Ｙｅｓ）、所定の算出回数の上限を超えたか否かを判定する（ステップＳ６０８）。ここで、所定の算出回数の上限を超えていれば（ステップＳ６０８→Ｙｅｓ）、ステップＳ６１１に進む。
一方、所定の算出回数の上限を超えていなければ（ステップＳ６０８→Ｎｏ）、それまでのその線分で算出されたうちの最高の一致率Ｌと比較し、今回のステップＳ６０６で算出された一致率Ｌの値が、最高の一致率Ｌ以下であるか否かを判定する（ステップＳ６０９）。そして、最高の一致率Ｌ以下であれば（ステップＳ６０９→Ｙｅｓ）、パラメータである各線分のラベル比率を調整した上で、ステップＳ６０６に戻る。

一方、最高の一致率Ｌ以下でなければ（ステップＳ６０９→Ｎｏ）、抽出線算出部１３１は、今回のステップＳ６０６で算出された一致率Ｌの値と、それまでその線分で算出されたうちの最高の一致率Ｌとを比較し、上昇差分が所定の閾値（第１の閾値）以下であるかを判定する（ステップＳ６１０）。そして、上昇差分が所定の閾値以下でなければ（ステップＳ６１０→Ｎｏ）、パラメータである各線分のラベル比率を調整した上で、ステップＳ６０６に戻る。一方、上昇差分が所定の閾値以下であれば（ステップＳ６１０→Ｙｅｓ）、ステップＳ６１１に進む。

ステップＳ６１１において、抽出線算出部１３１は、最も一致率Ｌの高い線分を、ステップＳ６０４で選択した画像データの特徴量抽出線（例えば、左端）についての、参照データ中の有力な候補となる線分として決定（抽出）する。
この処理が、画像データにおいて抽出した各特徴量抽出線において行われ、それぞれの特徴量抽出線において、候補となる線分が決定（抽出）される。

≪候補領域選択処理≫
撮影範囲推定装置１の候補領域選択部１３２が実行する候補領域選択処理の詳細を説明する。この処理は、図１０のステップＳ７で行われる処理である。
図１２は、本実施形態に係る撮影範囲推定装置１が実行する候補領域選択処理の流れを示すフローチャートである。

候補領域選択部１３２は、図１０のステップＳ６（詳細には図１１のステップＳ６１１）において特徴量抽出線それぞれで候補として決定された線分のうち、左端と右端の候補となる線分の組を選択する（ステップＳ７０１）。
このとき、候補領域選択部１３２は、左端と右端の線分の視野角θの上限を所定の角度（例えば、１８０度）として、左端と右端の線分の組を選択する。

続いて、候補領域選択部１３２は、左端と右端の間に位置するその他の特徴量抽出線に対応する線分を選択する（ステップＳ７０２）。なお、左端と右端の間に位置する特徴量抽出線が設定されていない場合には、このステップＳ７０２の処理は実行されない。

次に、候補領域選択部１３２は、ステップＳ７０１およびＳ７０２において選択された線分の組で構成される領域それぞれについて、上記した式（２）を用いて、領域の有効性Ｙを算出する（ステップＳ７０３）。
式（２）を用いることにより、ｘ１で示される右端の終点までの距離と、ｘ２で示される左端の終点までの距離とが近い（等しい）ほど、領域の有効性Ｙが０に近い値となる。また、図８で示す二等辺三角形の頂点（カメラ位置）から網掛けを含んだ二等辺三角形の底辺までの距離が、左端と右端の間に位置する特徴量抽出線の距離と近い（等しい）ほど、領域の有効性Ｙが０に近い値となる。

候補領域選択部１３２は、領域の有効性Ｙの算出結果において、０または０に近い値の１つ以上の領域を候補領域として選択する（ステップＳ７０４）。
例えば、図９で示したように、候補領域[Ａ]および候補領域[Ｂ]は、右端のカメラ位置から終点までの距離と、左端のカメラ位置から終点までの距離が等しい場合に、領域の有効性Ｙが０として算出され、候補領域として選択される。
このようにすることにより、候補領域選択部１３２は、参照データにおいて、おおまかな候補領域を絞り込むことができる。

≪撮影領域算出処理≫
撮影範囲推定装置１の撮影領域算出部１３３が実行する撮影領域算出処理の詳細を説明する。この処理は、図１０のステップＳ８で行われる処理である。
図１３は、本実施形態に係る撮影範囲推定装置１が実行する撮影領域算出処理の流れを示すフローチャートである。

この撮影領域算出処理では、最終的に撮影範囲を特定するため、図１０のステップＳ７（詳細には図１２のステップＳ７０４）において選択された候補領域内の特徴量抽出線の一致率を詳細に検証する。ここでは、例えば図１４に示すように、画像データの下部から上部に向かって５本（抽出線番号「１」～「５」）の特徴量抽出線を引いたものとして説明する。そして、この抽出線番号「１」～「５」の特徴量抽出線のラベル比率が図１５で示す値であるとする。また、この抽出線番号「１」～「５」の特徴量抽出線に対応する位置にある領域候補[Ａ]のラベル比率が図１６で示す値であり、領域候補[Ｂ]のラベル比率を図１７で示す値であるとする。

撮影領域算出部１３３は、まず、１つ以上の候補領域のうちのこれまで選択していない候補領域の１つを選択する（ステップＳ８０１）。ここでは、候補領域［Ａ］がまず選択されたものとする。
次に、撮影領域算出部１３３は、画像データと候補領域との領域の一致率Ｒを、上記した式（３）に基づき算出する（ステップＳ８０２）。

候補領域[Ａ]の一致率Ｒ＝[抽出線番号「１」]＋[抽出線番号「２」]＋・・・
＝[｛1×（3－2＋1）×（1－｜0.2－0.2｜）｝＋｛1×（3－2＋1）×（1－｜0.2－0.2｜）｝＋｛1×（3－1＋1）×（1－｜0.6－0.6｜）｝]
＋[｛1×（3－2＋1）×（1－｜0.3－0.3｜）｝＋｛1×（3－3＋1）×（1－｜0.2－0.2｜）｝＋｛1×（3－1＋1）×（1－｜0.5－0.5｜）｝]
＋・・・
＝[2＋2＋3]＋[2＋1＋3]＋・・・

なお、この領域の一致率Ｒの算出において、画像データにおける物体名ラベルのラベル比率が高いものについては、誤識別の確率が低くなるため、より大きい重みをつけるようにしてもよい。例えば、図１４の抽出線番号「５」の道、歩道、建物のラベル比率は（0.6, 0.2, 0.2）（図１５参照）であるので、道、歩道、建物の順に大きい重みを設定し、例えば「３」「２」「２」のようにして、各物体名ラベルのラベル比率の差を算出する項に乗算し領域の一致率Ｒを算出してもよい。

図１３に戻り、次に、撮影領域算出部１３３は、選択した候補領域について、領域の一致率Ｒについての所定の算出回数の下限を超えたか否かを判定する（ステップＳ８０３）。そして、撮影領域算出部１３３は、所定の算出回数の下限を超えていない場合には（ステップＳ８０３→Ｎｏ）、今回のステップＳ８０２で算出した際のパラメータとなる候補領域の図８のｘ１、ｘ２、ｙ１、ｙ２、視野角θ、カメラデバイス２１の向きφおよびカメラ位置を変更することにより各抽出線のラベル比率を調整し、ステップＳ８０２に戻る。つまり、撮影領域算出部１３３は、より画像データで示される領域に一致する参照データ上の領域を探索するため、パラメータを微調整して領域の一致率Ｒの算出を繰り返すようにする。

一方、撮影領域算出部１３３は、所定の算出回数の下限を超えた場合には（ステップＳ８０３→Ｙｅｓ）、所定の算出回数の上限を超えたか否かを判定する（ステップＳ８０４）。ここで、所定の算出回数の上限を超えていれば（ステップＳ８０４→Ｙｅｓ）、ステップＳ８０７に進む。
一方、所定の算出回数の上限を超えていなければ（ステップＳ８０４→Ｎｏ）、それまでのその候補領域で算出されたうちの最高の一致率Ｒと比較し、今回のステップＳ８０２で算出された領域の一致率Ｒの値が、最高の一致率Ｒ以下であるか否かを判定する（ステップＳ８０５）。そして、最高の一致率Ｒ以下であれば（ステップＳ８０５→Ｙｅｓ）、候補領域のパラメータを変更することにより各抽出線のラベル比率を調整した上で、ステップＳ８０２に戻る。

一方、最高の一致率Ｒ以下でなければ（ステップＳ８０５→Ｎｏ）、撮影領域算出部１３３は、今回のステップＳ８０２で算出された一致率Ｒの値と、それまでその候補領域で算出されたうちの最高の一致率Ｒとを比較し、上昇差分が所定の閾値（第２の閾値）以下であるかを判定する（ステップＳ８０６）。そして、上昇差分が所定の閾値以下でなければ（ステップＳ８０６→Ｎｏ）、候補領域のパラメータを変更することにより各抽出線のラベル比率を調整した上で、ステップＳ８０２に戻る。一方、上昇差分が所定の閾値以下であれば（ステップＳ８０６→Ｙｅｓ）、ステップＳ８０７に進む。

ステップＳ８０７において、撮影領域算出部１３３は、まだ選択していない候補領域があるか否かを判定する。そして、まだ選択していない候補領域がある場合には（ステップＳ８０７→Ｙｅｓ）、ステップＳ８０１に戻り、次の候補領域についての処理を続ける。
この場合、ステップＳ８０２において、例えば候補領域[Ｂ]の一致率Ｒは、以下のように計算される。

候補領域[Ｂ]の一致率Ｒ＝[抽出線番号「１」]＋[抽出線番号「２」]＋・・・
＝[｛1×（3－2＋1）×（1－｜0.2－0.2｜）｝＋｛1×（3－2＋1）×（1－｜0.2－0.2｜）｝＋｛1×（3－1＋1）×（1－｜0.6－0.6｜）｝]
＋[｛1×（3－1＋1）×（1－｜1.0－0.3｜）｝＋0＋0]
＋・・・
＝[2＋2＋3]＋[0.9]＋・・・

ステップＳ８０７において、選択していない候補領域がない、つまり、すべての候補領域を選択した場合には（ステップＳ８０７→Ｎｏ）、ステップＳ８０８において、１つ以上の候補領域のうち、最も一致率Ｒの高い候補領域を撮影範囲であると推定する。
候補領域[Ａ]と候補領域[Ｂ]との一致率Ｒの算出においては、抽出線番号「２」のスコアにおいて大差が生じるため、候補領域[Ａ]を調整した領域が撮影範囲であると推定される。
そして、撮影領域算出部１３３は、推定した撮影範囲の情報とそのときのカメラデバイスの位置情報とをＩｏＴプラットフォーム２０に出力し、処理を終える。

以上説明したように、本実施形態に係る撮影範囲推定装置１は、カメラデバイス２１の撮影範囲および位置を、事前に収集した地上撮影画像情報や建物の存在に依存することなくカメラ画像から推定することができる。
なお、上記の説明においては、カメラデバイス２１が斜め下方向を撮影しているものとして説明した。しかしながら、本実施形態に係る撮影範囲推定装置１は、これに限定されず、例えば、図１８に示すように、カメラデバイス２１が地面に垂直（真下）の方向に向いていてもよい。その場合には、カメラデバイス２１に一番近い距離にある画像データの中心部（中心および中心付近）から、画角の四隅に向かって線を引いて線上にある物体名を抽出し、画像データの特徴量抽出線とする。このとき、抽出線一致率算出処理において、画像データの中心部から四隅に向かう少なくとも４本の特徴量抽出線を設定することにより、同様にカメラデバイス２１の撮影範囲および位置を推定することができる。

さらに、上記の説明においては、室外に設置されるカメラデバイス２１の撮影範囲と位置を推定するものとして説明した。しかしながら、本実施形態に係る撮影範囲推定装置１は、室内（例えば、建物内のイベント会場、競技場、コンサートホール等）においても適応可能である。この場合、壁や席等の配置（位置情報）を、室内の見取り図や設計図（屋内の設計図情報）により取得して参照データとし、物体名ラベルのラベル比率を算出して画像データとの一致率を求める。このように、撮影範囲推定装置１は、室内にカメラデバイス２１が設置された場合でも、撮影範囲およびカメラ位置を推定することができる。

＜ハードウェア構成＞
本実施形態に係る撮影範囲推定装置１は、例えば図１９に示すような構成のコンピュータ９００によって実現される。
図１９は、本実施形態に係る撮影範囲推定装置１の機能を実現するコンピュータ９００の一例を示すハードウェア構成図である。コンピュータ９００は、ＣＰＵ（Central Processing Unit）９０１、ＲＯＭ（Read Only Memory）９０２、ＲＡＭ（Random Access Memory）９０３、ＨＤＤ（Hard Disk Drive）９０４、入出力Ｉ／Ｆ（Interface）９０５、通信Ｉ／Ｆ９０６およびメディアＩ／Ｆ９０７を有する。

ＣＰＵ９０１は、ＲＯＭ９０２またはＨＤＤ９０４に記憶されたプログラムに基づき作動し、図１の制御部１０による制御を行う。ＲＯＭ９０２は、コンピュータ９００の起動時にＣＰＵ９０１により実行されるブートプログラムや、コンピュータ９００のハードウェアに係るプログラム等を記憶する。

ＣＰＵ９０１は、入出力Ｉ／Ｆ９０５を介して、マウスやキーボード等の入力装置９１０、および、ディスプレイやプリンタ等の出力装置９１１を制御する。ＣＰＵ９０１は、入出力Ｉ／Ｆ９０５を介して、入力装置９１０からデータを取得するともに、生成したデータを出力装置９１１へ出力する。

ＨＤＤ９０４は、ＣＰＵ９０１により実行されるプログラムおよび当該プログラムによって使用されるデータ等を記憶する。通信Ｉ／Ｆ９０６は、通信網（例えば、ネットワーク９２０）を介して図示せぬ他の装置（例えば、画像解析装置３０など）からデータを受信してＣＰＵ９０１へ出力し、また、ＣＰＵ９０１が生成したデータを、通信網を介して他の装置へ送信する。

メディアＩ／Ｆ９０７は、記録媒体９１２に格納されたプログラムまたはデータを読み取り、ＲＡＭ９０３を介してＣＰＵ９０１へ出力する。ＣＰＵ９０１は、目的の処理に係るプログラムを、メディアＩ／Ｆ９０７を介して記録媒体９１２からＲＡＭ９０３上にロードし、ロードしたプログラムを実行する。記録媒体９１２は、ＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto Optical disk）等の光磁気記録媒体、磁気記録媒体、導体メモリテープ媒体又は半導体メモリ等である。

例えば、コンピュータ９００が本実施形態に係る撮影範囲推定装置１として機能する場合、コンピュータ９００のＣＰＵ９０１は、ＲＡＭ９０３上にロードされたプログラムを実行することにより、撮影範囲推定装置１の機能を実現する。また、ＨＤＤ９０４には、ＲＡＭ９０３内のデータが記憶される。ＣＰＵ９０１は、目的の処理に係るプログラムを記録媒体９１２から読み取って実行する。この他、ＣＰＵ９０１は、他の装置から通信網（ネットワーク９２０）を介して目的の処理に係るプログラムを読み込んでもよい。

＜効果＞
以下、本発明に係る撮影範囲推定装置の効果について説明する。
本発明に係る撮影範囲推定装置は、カメラデバイス２１の撮影範囲を推定する撮影範囲推定装置１であって、カメラデバイス２１が撮影した画像データを取得し、当該画像データに映る各物体が占める領域を物体名ラベルを付して識別する画像解析を行わせ、物体名ラベルが付された画像データを生成する画像データ処理部１１０と、カメラデバイス２１が設置されている推定位置から撮影可能な所定距離内の領域を地理情報を用いて設定し、設定した領域内の物体に物体名ラベルを付した参照データを生成する参照データ生成部１２０と、画像データの各物体名ラベルの領域で示される特徴量と、参照データの各物体名ラベルの領域で示される特徴量とを比較して一致率を算出し、画像データに対応する参照データの領域をカメラデバイス２１の撮影範囲として推定する撮影範囲推定部１３０と、 を備えることを特徴とする。

このようにすることで、撮影範囲推定装置１は、カメラデバイス２１の撮影範囲を、事前に収集した地上撮影画像情報や建物の存在に依存することなくカメラ画像（画像データ）から推定することができる。
撮影範囲推定装置１は、市中の地理情報（例えば、地図情報や衛星画像）を用いて、画像データとの特徴量の一致率を算出する。よって、カメラデバイス２１のユーザが新たな情報をＩｏＴプラットフォーム２０に登録する必要もなく、サービス事業者側でも高精度な地上撮影画像情報を追加して撮影する必要もない。また、建物に依存することなくカメラデバイス２１の撮影範囲を推定できる。よって、撮影範囲推定装置１は、従来技術よりも簡易かつ広範な領域で、カメラデバイス２１の撮影範囲を推定することができる。

また、撮影範囲推定装置１において、撮影範囲推定部１３０は、画像データの下部から上部に向かって線を引き、物体名ラベルを抽出する特徴量抽出線を設定し、参照データの推定位置を中心とした円内で動径方向に線を引き、物体名ラベルを抽出する候補特徴量抽出線を設定し、画像データの特徴量抽出線の各物体名ラベルのラベル比率と、参照データの候補特徴量抽出線の各物体名ラベルのラベル比率とを特徴量として比較して一致率を算出することを特徴とする。

このように、撮影範囲推定装置１は、物体名ラベルのラベル比率を特徴量として一致率を計算し、画像データのラベル比率と一致する参照データのラベル比率となる領域を、カメラデバイス２１の撮影範囲として推定することができる。

また、撮影範囲推定装置１において、撮影範囲推定部１３０は、候補特徴量抽出線上に始点と終点を持つ線分を設定して物体名ラベルを抽出し、画像データの少なくとも左端と右端に特徴量抽出線を設定し、設定した画像データの少なくとも左端と右端それぞれのラベル比率と、線分の各物体名ラベルのラベル比率との一致率を算出し、画像データの少なくとも左端と右端それぞれに対応する参照データ上の線分を抽出し、左端と右端に対応する線分で囲まれる四角形の領域を、カメラデバイス２１の撮影範囲として推定すること を特徴とする。

このように、撮影範囲推定装置１は、画像データの少なくとも左端と右端それぞれのラベル比率に一致する参照データ上の線分を抽出し、その線分で囲まれる四角形の領域を、カメラデバイス２１の撮影範囲として推定することができる。

また、撮影範囲推定装置１において、画像データに付された各物体名ラベルのうち、ラベル比率が高い物体名ラベルほど、より大きい重みをつけて、一致率を算出することを特徴とする。

このように、撮影範囲推定装置１は、ラベル比率が高く、誤識別の確率が低い物体名ラベルの重みを大きくすることにより、カメラデバイス２１の撮影範囲の推定の精度を向上させることができる。

また、撮影範囲推定装置１において、画像データの下部から上部に向かって特徴量抽出線を設定する代わりに、画像データの中心部から四隅に向かって特徴量抽出線を設定することを特徴とする。

これにより、撮影範囲推定装置１は、カメラデバイス２１が地面に垂直（真下）の方向に向いている場合あっても、画像データの中心部から四隅に向かって特徴量抽出線を設定することにより、そのカメラデバイス２１の撮影範囲を推定することができる。

また、撮影範囲推定装置１において、地理情報として屋内の設計図情報を用いること を特徴とする。

これにより、撮影範囲推定装置１は、屋内に設置されたカメラデバイス２１についての撮影範囲を推定することが可能となる。

なお、本発明は、以上説明した実施形態に限定されるものではなく、多くの変形が本発明の技術的思想内で当分野において通常の知識を有する者により可能である。

１ 撮影範囲推定装置
１０ 制御部
１１ 入出力部
１２ 記憶部
２０ ＩｏＴプラットフォーム
２１ カメラデバイス
３０ 画像解析装置
４０ 参照データベース
４１ 地図情報
４２ 衛星画像
１１０ 画像データ処理部
１２０ 参照データ生成部
１３０ 撮影範囲推定部
１３１ 抽出線算出部
１３２ 候補領域選択部
１３３ 撮影領域算出部

Claims (8)

1. カメラデバイスの撮影範囲を推定する撮影範囲推定装置であって、
   前記カメラデバイスが撮影した画像データを取得し、当該画像データに映る各物体が占める領域を物体名ラベルを付して識別する画像解析を行わせ、前記物体名ラベルが付された画像データを生成する画像データ処理部と、
   前記カメラデバイスが設置されている推定位置から撮影可能な所定距離内の領域を地理情報を用いて設定し、設定した領域内の物体に物体名ラベルを付した参照データを生成する参照データ生成部と、
   前記画像データの各物体名ラベルの領域で示される特徴量と、前記参照データの各物体名ラベルの領域で示される特徴量とを比較して一致率を算出し、前記画像データに対応する前記参照データの領域を前記カメラデバイスの撮影範囲として推定する撮影範囲推定部と、
   を備えることを特徴とする撮影範囲推定装置。
2. 前記撮影範囲推定部は、
   前記画像データの下部から上部に向かって線を引き、前記物体名ラベルを抽出する特徴量抽出線を設定し、
   前記参照データの前記推定位置を中心とした円内で動径方向に線を引き、前記物体名ラベルを抽出する候補特徴量抽出線を設定し、
   前記画像データの特徴量抽出線の各物体名ラベルのラベル比率と、前記参照データの候補特徴量抽出線の各物体名ラベルのラベル比率とを前記特徴量として比較して前記一致率を算出すること
   を特徴とする請求項１に記載の撮影範囲推定装置。
3. 前記撮影範囲推定部は、
   前記候補特徴量抽出線上に始点と終点を持つ線分を設定して物体名ラベルを抽出し、
   前記画像データの少なくとも左端と右端に前記特徴量抽出線を設定し、
   前記設定した画像データの少なくとも左端と右端それぞれの前記ラベル比率と、前記線分の各物体名ラベルのラベル比率との一致率を算出し、前記画像データの少なくとも左端と右端それぞれに対応する参照データ上の線分を抽出し、左端と右端に対応する線分で囲まれる四角形の領域を、前記カメラデバイスの撮影範囲として推定すること
   を特徴とする請求項２に記載の撮影範囲推定装置。
4. 前記画像データに付された各物体名ラベルのうち、ラベル比率が高い物体名ラベルほど、より大きい重みをつけて、前記一致率を算出すること
   を特徴とする請求項２または請求項３に記載の撮影範囲推定装置。
5. 前記画像データの下部から上部に向かって特徴量抽出線を設定する代わりに、前記画像データの中心部から四隅に向かって特徴量抽出線を設定すること
   を特徴とする請求項２乃至請求項４のいずれか一項に記載の撮影範囲推定装置。
6. 前記地理情報として屋内の設計図情報を用いること
   を特徴とする請求項１乃至請求項５のいずれか一項に記載の撮影範囲推定装置。
7. カメラデバイスの撮影範囲を推定する撮影範囲推定装置の撮影範囲推定方法であって、
   前記撮影範囲推定装置は、
   前記カメラデバイスが撮影した画像データを取得し、当該画像データに映る各物体が占める領域を物体名ラベルを付して識別する画像解析を行わせ、前記物体名ラベルが付された画像データを生成するステップと、
   前記カメラデバイスが設置されている推定位置から撮影可能な所定距離内の領域を地理情報を用いて設定し、設定した領域内の物体に物体名ラベルを付した参照データを生成するステップと、
   前記画像データの各物体名ラベルの領域で示される特徴量と、前記参照データの各物体名ラベルの領域で示される特徴量とを比較して一致率を算出し、前記画像データに対応する前記参照データの領域を前記カメラデバイスの撮影範囲として推定するステップと、
   を実行することを特徴とする撮影範囲推定方法。
8. コンピュータを、請求項１乃至請求項６のいずれか一項に記載の撮影範囲推定装置として機能させるためのプログラム。

Images