JP6267809B1 - パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム - Google Patents

Abstract

【課題】画像解析の精度を向上させたパノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラムを提供することを目的とする。【解決手段】パノラマ画像合成解析システム１は、複数台のカメラ２００で撮像された撮像画像を合成してパノラマ画像を作成し、合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行い、画像解析の結果を、表示する。さらに、合成されたパノラマ画像の繋ぎ目部分に映り込んだ被写体に対して画像解析を行う。また、画像解析の結果を、被写体に関連付けて表示する。また、画像解析の結果に基づいて、被写体の欠けている部分を補完する。また、複数台のカメラのうち、一番大きい画素数又は一番小さい画素数の撮像画像に合わせてパノラマ画像を作成する。【選択図】図１

Description

本発明は、パノラマ画像を作成するパノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラムに関する。

近年、複数のカメラユニットを備えた撮像装置において、各カメラユニットが撮像した画像を合成することにより、パノラマ画像を作成するシステムが存在する。このようなシステムは、各カメラユニットが撮像した画像を、其々の位置に基づいて、画像を合成し、パノラマ画像を作成する。しかしながら、このようなシステムは、高価であった。

一方、複数の撮像装置を用いて、各撮像装置が撮像した画像を合成することにより、パノラマ画像を作成するシステムも存在する。このようなシステムにおいて、複数台の撮像装置が撮像する画像と、各撮像装置の撮像位置とに基づいて、画像を合成することにより、パノラマ画像を作成する構成が開示されている（特許文献１参照）。

特開２０１４−１５５１６８号公報

しかしながら、特許文献１の構成では、画像に対して画像解析を行う際に、各撮像装置が撮像した画像に対して画像解析を行うことになるため、全てが映り込んでいる被写体に対する画像解析の精度と、全てが映り込んでいる訳ではない被写体に対する画像解析の精度とを比較した場合、後者の精度が低くなるという問題点があった。すなわち、ある撮像装置においては、被写体の全てが映り込んでいるものの、異なる撮像装置においては、被写体の全てが映り込んでいる訳ではない場合、後者の画像解析の精度が低くなってしまっていた。

本発明は、一台のカメラの画像では全てが映り込んでいる訳ではない被写体に対する画像解析であっても、複数台のカメラを使用し、この複数台のカメラが撮像した画像を合成したパノラマ画像を作成してから画像解析を行うことにより、画像解析の精度を向上させたパノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、複数台のカメラで撮像された撮像画像を合成してパノラマ画像を作成するパノラマ画像作成手段と、
前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行う画像解析手段と、
前記画像解析の結果を、表示する解析結果表示手段と、
を備えることを特徴とするパノラマ画像合成解析システムを提供する。

第１の特徴に係る発明によれば、パノラマ画像合成解析システムは、複数台のカメラで撮像された撮像画像を合成してパノラマ画像を作成し、前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行い、前記画像解析の結果を、表示する。

第１の特徴に係る発明は、パノラマ画像合成解析システムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

第２の特徴に係る発明は、前記画像解析手段が、前記合成されたパノラマ画像の繋ぎ目部分に映り込んだ被写体に対して画像解析を行う、
ことを特徴とする第１の特徴に係る発明であるパノラマ画像合成解析システムを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明であるパノラマ画像合成解析システムは、前記合成されたパノラマ画像の繋ぎ目部分に映り込んだ被写体に対して画像解析を行う。

第３の特徴に係る発明は、前記解析結果表示手段が、前記画像解析の結果を、前記被写体に関連付けて表示する、
ことを特徴とする第１の特徴に係る発明であるパノラマ画像合成解析システムを提供する。

第３の特徴に係る発明によれば、第１の特徴に係る発明であるパノラマ画像合成解析システムは、前記画像解析の結果を、前記被写体に関連付けて表示する。

第４の特徴に係る発明は、前記画像解析の結果に基づいて、前記被写体の欠けている部分を補完して表示する補完表示手段と、
を備えることを特徴とする第１の特徴に係る発明であるパノラマ画像合成解析システムを提供する。

第４の特徴に係る発明によれば、第１の特徴に係る発明であるパノラマ画像合成解析システムは、前記画像解析の結果に基づいて、前記被写体の欠けている部分を補完して表示する。

第５の特徴に係る発明は、前記パノラマ画像作成手段が、前記複数台のカメラのうち、一番大きい画素数の撮像画像に合わせてパノラマ画像を作成する、
ことを特徴とする第１の特徴に係る発明であるパノラマ画像合成解析システムを提供する。

第５の特徴に係る発明によれば、第１の特徴に係る発明であるパノラマ画像合成解析システムは、前記複数台のカメラのうち、一番大きい画素数の撮像画像に合わせてパノラマ画像を作成する。

第６の特徴に係る発明は、前記パノラマ画像作成手段が、前記複数台のカメラのうち、一番小さい画素数の撮像画像に合わせてパノラマ画像を作成する、
ことを特徴とする第１の特徴に係る発明であるパノラマ画像合成解析システムを提供する。

第６の特徴に係る発明によれば、第１の特徴に係る発明であるパノラマ画像合成解析システムは、前記複数台のカメラのうち、一番小さい画素数の撮像画像に合わせてパノラマ画像を作成する。

第７の特徴に係る発明は、複数台のカメラで撮像された撮像画像を合成してパノラマ画像を作成するステップと、
前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行うステップと、
前記画像解析の結果を、表示するステップと、
を備えることを特徴とするパノラマ画像合成解析方法を提供する。

第８の特徴に係る発明は、パノラマ画像合成解析システムに、
複数台のカメラで撮像された撮像画像を合成してパノラマ画像を作成するステップ、
前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行うステップ、
前記画像解析の結果を、表示するステップ、
を実行させるためのプログラムを提供する。

本発明によれば、画像解析の精度を向上させたパノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラムを提供することが可能となる。

図１は、パノラマ画像合成解析システム１の概要を示す図である。 図２は、パノラマ画像合成解析システム１の全体構成図である。 図３は、ユーザ端末１００、カメラ２００の機能ブロック図である。 図４は、ユーザ端末１００、カメラ２００が実行するパノラマ画像合成解析処理を示すフローチャートである。 図５は、カメラ２００を構成するカメラ２０１，２０２，２０３の配置の一例を示した図である。 図６は、ユーザ端末１００が合成した一の画像の一例を示す図である。 図７は、ユーザ端末１００が作成したパノラマ画像領域の一例を示す図である。 図８は、ユーザ端末１００が作成したパノラマ画像領域の一例を示す図である。 図９は、ユーザ端末１００が作成したパノラマ画像の一例を示す図である。 図１０は、ユーザ端末１００が作成したパノラマ画像の一例を示す図である。 図１１は、ユーザ端末１００が表示するパノラマ画像の一例を示す図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［パノラマ画像合成解析システム１の概要］
本発明の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるパノラマ画像合成解析システム１の概要を説明するための図である。パノラマ画像合成解析システム１は、ユーザ端末１００、カメラ２００から構成される。このカメラ２００は、カメラ２０１、カメラ２０２及びカメラ２０３から構成される。なお、カメラ２００は、便宜的にカメラ２０１，２０２，２０３を一のグループとして表現するものに過ぎず、カメラ２０１，２０２，２０３が一の撮像装置として存在する訳ではない。

ユーザ端末１００の数は、１つに限らず複数であってもよい。また、カメラ２００の数は、３つに限らず、それ以上の数又はそれ以下の数であってもよい。また、ユーザ端末１００は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。また、後述する各処理は、ユーザ端末１００、カメラ２００のいずれか又は双方により実現されてもよい。

ユーザ端末１００は、カメラ２００とデータ通信可能な、ユーザが所持する端末装置である。カメラ２００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。なお、ユーザ端末１００は、クラウドコンピューティング等のユーザが所持しない端末装置や仮想的な装置であってもよい。

カメラ２００は、其々がユーザ端末１００とデータ通信可能な、動画や静止画等の画像を撮像する撮像装置である。カメラ２００は、カメラ２０１，２０２，２０３が所定の間隔で一列に配置される。なお、カメラ２００は、カメラ２０１，２０２，２０３が所定の間隔で円形に配置されていてもよいし、その他の状態で配置されていてもよい。撮像画像とは、カメラ２００が撮像する動画や静止画等の画像を意味する。

はじめに、カメラ２００は、画像を撮像する（ステップＳ０１）。カメラ２００は、ユーザ端末１００からの撮像指示や自身が有するスイッチの操作入力を受け付けることにより、画像を撮像する。カメラ２０１，２０２，２０３の其々は、異なる画像を撮像する。また、カメラ２０１，２０２，２０３は、同時に画像を撮像する。

カメラ２００は、撮像した画像のデータである撮像画像データを、ユーザ端末１００に送信する（ステップＳ０２）。このとき、カメラ２０１，２０２，２０３の其々は、撮像画像データとともに、自身の位置情報や、カメラ２０１，２０２，２０３の位置関係等のデータをユーザ端末１００に送信する。

ユーザ端末１００は、撮像画像データを受信する。ユーザ端末１００は、受信した複数の撮像画像データを合成し、パノラマ画像を作成する（ステップＳ０３）。なお、ユーザ端末１００は、カメラ２００のうち、一番大きい画素数の画像に合わせてパノラマ画像を作成してもよい。また、ユーザ端末１００は、カメラ２００のうち、一番小さい画素数の画像に合わせてパノラマ画像を作成してもよい。

ユーザ端末１００は、合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行う（ステップＳ０４）。なお、ユーザ端末１００は、合成されたパノラマ画像の繋ぎ目部分に映り込んだ被写体に対して画像解析を行ってもよい。このとき、例えば、繋ぎ目部分に映り込んだ被写体の一部が欠けている場合、欠けている一部を補完し、パノラマ画像を作成してもよい。

ユーザ端末１００は、画像解析の結果を、表示する（ステップＳ０５）。ユーザ端末１００は、パノラマ画像と画像解析の結果とを合わせて表示する。なお、ユーザ端末１００は、画像解析の結果を、パノラマ画像に映り込んだ被写体に関連付けて表示してもよい。

以上が、パノラマ画像合成解析システム１の概要である。

［パノラマ画像合成解析システム１のシステム構成］
図２に基づいて、パノラマ画像合成解析システム１のシステム構成について説明する。図２は、本発明の好適な実施形態であるパノラマ画像合成解析システム１のシステム構成を示す図である。パノラマ画像合成解析システム１は、ユーザ端末１００、複数台のカメラ（カメラ２０１，２０２，２０３）２００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成される。なお、ユーザ端末１００は、１つに限らず、複数であってもよい。また、カメラ２００は、３つに限らず、それ以上の数又はそれ以下の数であってもよい。また、ユーザ端末１００は、実在する装置又は仮想的な装置のいずれか又は双方により実現されてもよい。また、後述する各処理は、ユーザ端末１００、カメラ２００のいずれか又は双方により実現されてもよい。

ユーザ端末１００は、後述の機能を備えた上述した端末装置である。

カメラ２００は、後述の機能を備えた上述した撮像装置である。カメラ２００は、複数のカメラ２０１，２０２，２０３の総称である。以下の説明において、カメラ２０１，２０２，２０３の其々の構成は、同様であるため、カメラ２００として説明する。

［各機能の説明］
図３に基づいて、パノラマ画像合成解析システム１の機能について説明する。図３は、ユーザ端末１００、カメラ２００の機能ブロック図を示す図である。

ユーザ端末１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイスやＵＳＢやＨＤＭＩ（登録商標）等の有線接続対応デバイス等を備える。また、ユーザ端末１００は、入出力部１４０として、制御部１１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部等を備える。

ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、データ受信モジュール１５０を実現する。また、ユーザ端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、画像合成モジュール１７０、パノラマ画像作成モジュール１７１、画像解析モジュール１７２、画像補完モジュール１７３、表示モジュール１７４を実現する。

カメラ２００は、ユーザ端末１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのデバイス等を備える。また、カメラ２００は、撮像部２４０として、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイス等を備える。

カメラ２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、データ送信モジュール２５０を実現する。また、カメラ２００において、制御部２１０が所定のプログラムを読み込むことにより、撮像部２４０と協働して、撮像モジュール２７０を実現する。

［パノラマ画像合成解析処理］
図４に基づいて、パノラマ画像合成解析システム１が実行するパノラマ画像合成解析処理について説明する。図４は、ユーザ端末１００、カメラ２００が実行するパノラマ画像合成解析処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

はじめに、図５に基づいて、カメラ２００について説明する。図５は、カメラ２００を構成するカメラ２０１，２０２，２０３の配置の一例を示した図である。図５において、カメラ２０１，２０２，２０３が撮像する領域を模式的に示している。カメラ２０１，２０２，２０３は、所定の間隔で横一列に配置される。カメラ２０１が撮像する領域が、撮像領域３０１である。カメラ２０２が撮像する領域が、撮像領域３０２である。カメラ２０３が撮像する領域が、撮像領域３０３である。このとき、カメラ２０１の撮像領域３０１と、カメラ２０２の撮像領域３０２とは、重なっている領域である重複領域３１０が存在する。カメラ２０２の撮像領域３０２と、カメラ２０３の撮像領域３０３とは、重なっている領域である重複領域３１１が存在する。また、カメラ２０１には、撮像できない領域である非撮像領域３２０が存在する。また、カメラ２０１と、カメラ２０２との間には、撮像できない領域である非撮像領域３２１が存在する。カメラ２０２と、カメラ２０３との間には、撮像できない領域である非撮像領域３２２が存在する。カメラ２０３には、撮像できない領域である非撮像領域３２３が存在する。

なお、撮像領域３０１〜３０３、非撮像領域３２０〜３２３及び重複領域３１０，３１１の位置及び形状等は、適宜変更可能である。すなわち、カメラの数を増やすことにより、非撮像領域を無くしてもよい。また、カメラの位置を調整することにより、非撮像領域を無くしてもよい。また、カメラの数を増やすことにより、重複領域を増やしてもよい。また、カメラの位置を調整することにより、重複領域を増やしてもよい。

ユーザ端末１００は、後述する処理において、カメラ２０１，２０２，２０３が撮像する画像を合成することにより、パノラマ画像を作成する。ユーザ端末１００は、このパノラマ画像を画像解析することにより、各カメラ２０１，２０２，２０３が撮像した画像を別々に画像解析する場合に比べて、撮像領域３０１，３０２，３０３に存在する被写体に対する画像解析の精度を向上させることが可能となる。また、非撮像領域３２０，３２１に存在する被写体を、パノラマ画像の画像解析の結果に基づいて、この被写体を補完したパノラマ画像を作成することが可能となる。

撮像モジュール２７０は、画像を撮像する（ステップＳ１０）。ステップＳ１０において、撮像モジュール２７０は、例えば、ユーザ端末１００からの撮像指示や、カメラ２００への入力操作を受け付けることにより、画像を撮像する。ステップＳ１０において、カメラ２０１〜２０３は、上述した図５で示した撮像領域３０１〜３０３を其々撮像する。

データ送信モジュール２５０は、撮像モジュール２７０が撮像した画像のデータである撮像画像データを、ユーザ端末１００に送信する（ステップＳ１１）。ステップＳ１１において、データ送信モジュール２５０は、カメラ２０１，２０２，２０３の其々の位置情報や、位置関係等の配置データを撮像画像データに付加し、ユーザ端末１００に送信する。

データ受信モジュール１５０は、カメラ２００が送信した撮像画像データを受信する。データ受信モジュール１５０は、カメラ２０１〜２０３から撮像画像データを受信する。画像合成モジュール１７０は、受信した撮像画像データ及び配置データに基づいて、一の画像を合成する（ステップＳ１２）。

図６は、画像合成モジュール１７０が合成した一の画像の一例を示す図である。図６において、画像合成モジュール１７０は、カメラ２０１〜２０３の配置データと、カメラ２０１〜２０３の其々が撮像した撮像画像データとに基づいて、一の画像４００を合成する。画像合成モジュール１７０は、カメラ２０１〜２０３の配置に基づいて、カメラ２０１が撮像した画像４０１、カメラ２０２が撮像した画像４０２、カメラ２０３が撮像した画像４０３を横一列に配置し、一の画像４００を合成する。画像合成モジュール１７０は、画像４０１と画像４０２とにおいて、上述した重複領域３１０の画像に基づいて、その繋ぎ目部分を判断し、合成する。また、画像合成モジュール１７０は、画像４０２と画像４０３とにおいて、上述した重複領域３１１の画像に基づいて、その繋ぎ目部分を判断し、合成する。

パノラマ画像作成モジュール１７１は、合成した一の画像に基づいて、パノラマ画像領域を作成する（ステップＳ１３）。

図７は、パノラマ画像作成モジュール１７１が作成したパノラマ画像領域の一例を示す図である。図７において、パノラマ画像作成モジュール１７１は、一番大きい画素数の画像４０２に合わせて太線で囲ったパノラマ画像領域５００を作成する。図７において、パノラマ画像作成モジュール１７１は、一番大きい画素数の画像４０２を基準として、画像４０１、画像４０２及び画像４０３を全て含んだパノラマ画像領域５００を作成する。この時点では、パノラマ画像領域５００には、上述した非撮像領域３２０〜３２３に対応する領域である空白領域５１０〜５１３が存在する。

図８は、パノラマ画像作成モジュール１７１が作成したパノラマ画像領域の一例を示す図である。図８において、パノラマ画像作成モジュール１７１は、一番小さい画素数の画像４０３に合わせて太線で囲ったパノラマ画像領域６００を作成する。図８において、パノラマ画像作成モジュール１７１は、一番小さい画素数の画像４０３を基準として、画像４０１の一部、画像４０２の一部及び画像４０３の全部を含んだパノラマ画像領域６００を作成する。この時点では、パノラマ画像領域６００には、上述した非撮像領域３２１に対応する領域である空白領域６１０が存在する。

画像解析モジュール１７２は、合成されたパノラマ画像領域に映り込んだ被写体に対して画像解析を行う（ステップＳ１４）。ステップＳ１４において、画像解析モジュール１７２は、合成されたパノラマ画像領域内の各画像の繋ぎ目部分に映り込んだ被写体に対しても画像解析を実行する。合成されたパノラマ画像領域内の各画像の繋ぎ目部分とは、例えば、上述した図７又は図８における画像４０１と画像４０２との境界や画像４０２と画像４０３との境界を意味する。ステップＳ１４において、画像解析モジュール１７２は、各被写体の特徴量を抽出し、この抽出した特徴量と、外部コンピュータやユーザ端末１００自身が記憶する特徴量とを比較することにより、各被写体を特定する。画像解析モジュール１７２は、特定した被写体の名称、各種情報等を外部コンピュータやユーザ端末１００が記憶するデータベース等に基づいて、取得する。例えば、被写体が車両である場合、画像解析モジュール１７２は、この車両の名称、型式、製造元等の情報を取得する。また、被写体が人物である場合、画像解析モジュール１７２は、この人物の名称、年齢、職業、住所、電話番号、メールアドレス等の情報を取得する。また、画像解析モジュール１７２は、その他の被写体であっても同様に、各種情報を取得する。

画像解析モジュール１７２は、特定した被写体に欠けている部分が存在しているか否かを判断する（ステップＳ１５）。ステップＳ１５において、画像解析モジュール１７２は、特定した被写体の一部がパノラマ画像領域内に存在していないか等に基づいて、被写体に欠けている部分が存在しているか否かを判断する。

ステップＳ１５において、画像解析モジュール１７２は、欠けている部分が存在していると判断した場合（ステップＳ１５ ＹＥＳ）、画像補完モジュール１７３は、欠けている部分を補完する（ステップＳ１６）。ステップＳ１６において、画像補完モジュール１７３は、例えば、特定した被写体に関する画像を、外部コンピュータやユーザ端末１００が記憶するデータベース等から取得し、欠けている部分に取得した画像の対する部分を合成することにより、補完する。

なお、画像補完モジュール１７３は、欠けている部分と、欠けていない部分とを繰り返すことにより補完する構成であってもよい。例えば、画像解析モジュール１７２は、被写体として壁面を特定し、この壁面に欠けている部分が存在していると判断した場合、画像補完モジュール１７３は、この壁面の欠けていない部分に存在するパターンや柄等の特徴を欠けている部分でも繰り返すことにより、欠けている部分を補完してもよい。また、画像補完モジュール１７３は、上述した構成以外の構成により欠けている部分を補完してもよい。

ユーザ端末１００は、ステップＳ１６の処理を実行した後、後述するステップＳ１７の処理を実行する。

一方、ステップＳ１５において、画像解析モジュール１７２は、欠けている部分が存在していないと判断した場合（ステップＳ１５ ＮＯ）、パノラマ画像作成モジュール１７１は、パノラマ画像を作成する（ステップＳ１７）。

図９は、画像補完モジュール１７３が上述した図７におけるパノラマ画像領域５００の一部を補完し、パノラマ画像作成モジュール１７１が作成したパノラマ画像の一例を示す図である。図９において、パノラマ画像７００には、合成画像７３０、空白補完領域７１０〜７１３が存在する。また、合成画像７３０内には、被写体７３１が映り込んでいる。被写体７３１は、車両や標識等の物品や人物や自然等である。合成画像７３０は、上述した図７における画像４０１〜４０３を合成した画像である。空白補完領域７１０〜７１３は、上述した図７における空白領域５１０〜５１３を、画像補完モジュール１７３が上述したステップＳ１６により補完した領域である。また、被写体７３１は、その一部が空白領域５１０，５１１に存在していたことから欠けているため、画像補完モジュール１７３がこの被写体７３１の一部を補完した被写体補完領域７２０，７２１が存在する。空白補完領域７１０〜７１３及び被写体補完領域７２０，７２１は、上述したステップＳ１６の処理により補完される。

図１０は、画像補完モジュール１７３が上述した図８におけるパノラマ画像領域７００の一部を補完し、パノラマ画像作成モジュール１７１が作成したパノラマ画像の一例を示す図である。図１０において、パノラマ画像８００には、合成画像８３０、空白補完領域８１０が存在する。また、合成画像８３０内には、被写体８３１が映り込んでいる。被写体８３１は、車両や標識等の物品や人物や自然等である。合成画像８３０は、上述した図８における画像４０１〜４０３を合成した画像である。空白補完領域８１０は、上述した図８における空白領域６１０を、画像補完モジュール１７３が上述したステップＳ１６により補完した領域である。また、被写体８３１は、その一部が空白領域６１０に存在していたことから欠けているため、画像補完モジュール１７３がこの被写体８３１の一部を補完した被写体補完領域８２０が存在する。空白補完領域８１０及び被写体補完領域８２０は、上述したステップＳ１６の処理により補完される。

このように、ユーザ端末１００は、空白領域に存在する被写体を推測して補完することにより、撮像されていない被写体をパノラマ画像として作成することが可能となる。

表示モジュール１７４は、画像解析の結果を、表示する（ステップＳ１８）。ステップＳ１８において、表示モジュール１７４は、作成したパノラマ画像に、画像解析の結果を表示する。このとき、表示モジュール１７４は、作成したパノラマ画像に映り込んでいる被写体に関連付けて画像解析の結果を表示する。ステップＳ１８において、例えば、表示モジュール１７４は、被写体が車両である場合、この車両の名称、型式、所有者名等の情報を被写体に関連付けて表示する。また、表示モジュール１７４は、被写体が人物である場合、この人物の名称、年齢、職業、住所、電話番号、メールアドレス等の情報を被写体に関連付けて表示する。また、表示モジュール１７４は、被写体がその他の場合であっても同様に、各種情報を、この被写体に関連付けて表示する。

図１１は、表示モジュール１７４が表示するパノラマ画像の一例を示す図である。図１１において、表示モジュール１７４は、パノラマ画像９００に、被写体として車９１０を表示する。図１１において、表示モジュール１７４が表示する車９１０以外の被写体を省略するとともに、簡略化のために、車９１０を模式的に示している。図１１において、表示モジュール１７４は、この車９１０に関連付けた情報表示領域９２０を、パノラマ画像９００に重畳させて表示する。この情報表示領域９２０は、車９１０に引出線を引き、関連付けた被写体がどの被写体であるかを示している。表示モジュール１７４は、情報表示領域９２０に、上述したステップＳ１４において実行した画像解析の結果を表示する。図１１において、表示モジュール１７４は、情報表示領域９２０に、車種名、型式、所有者を表示する。

なお、表示モジュール１７４は、情報表示領域９２０を、パノラマ画像に重畳させるのではなく、パノラマ画像の周囲又はその他の箇所に表示する構成であってもよい。このとき、例えば、関連付けを明示するために、被写体に対して符号を付すとともに、情報表示領域９２０にも被写体に付した符号と同様の符号を付してもよい。

また、表示モジュール１７４は、ユーザからの入力操作を受け付けた被写体に対して、画像解析の結果を表示する構成であってもよい。この場合、例えば、表示モジュール１７４は、いずれかの被写体に対しての入力操作を受け付け、受け付けた被写体に関する画像解析の結果を表示する。

以上が、パノラマ画像合成解析処理である。

パノラマ画像合成解析システム１は、上述した処理により、一台のカメラ２００の撮像画像では全てが映り込んでいる訳ではない被写体に対する画像解析であっても、複数台のカメラ２００を使用して撮像画像を合成してパノラマ画像を作成してから画像解析を行うことで、画像解析の精度を向上させることができる。さらには、画像解析の結果に基づいて、映っていない部分についても補完して表示することができる。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ パノラマ画像合成解析システム、１００ ユーザ端末、２００ カメラ

Claims (9)

1. 複数台のカメラで撮像された撮像画像を合成し、当該複数台のカメラのうち、一番大きい画素数の撮像画像に合わせてパノラマ画像を作成するパノラマ画像作成手段と、
   前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行う画像解析手段と、
   前記画像解析の結果を、表示する解析結果表示手段と、
   を備えることを特徴とするパノラマ画像合成解析システム。
2. 複数台のカメラで撮像された撮像画像を合成し、当該複数台のカメラのうち、一番小さい画素数の撮像画像に合わせてパノラマ画像を作成するパノラマ画像作成手段と、
   前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行う画像解析手段と、
   前記画像解析の結果を、表示する解析結果表示手段と、
   を備えることを特徴とするパノラマ画像合成解析システム。
3. 前記画像解析手段は、前記合成されたパノラマ画像の繋ぎ目部分に映り込んだ被写体に対して画像解析を行う、
   ことを特徴とする請求項１又は２に記載のパノラマ画像合成解析システム。
4. 前記解析結果表示手段は、前記画像解析の結果を、前記被写体に関連付けて表示する、
   ことを特徴とする請求項１又は２に記載のパノラマ画像合成解析システム。
5. 前記画像解析の結果に基づいて、前記被写体の欠けている部分を補完して表示する補完表示手段と、
   を備えることを特徴とする請求項１又は２に記載のパノラマ画像合成解析システム。
6. パノラマ画像合成解析システムが実行するパノラマ画像合成解析方法であって、
   複数台のカメラで撮像された撮像画像を合成し、当該複数台のカメラのうち、一番大きい画素数の撮像画像に合わせてパノラマ画像を作成するステップと、
   前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行うステップと、
   前記画像解析の結果を、表示するステップと、
   を備えることを特徴とするパノラマ画像合成解析方法。
7. パノラマ画像合成解析システムが実行するパノラマ画像合成解析方法であって、
   複数台のカメラで撮像された撮像画像を合成し、当該複数台のカメラのうち、一番小さい画素数の撮像画像に合わせてパノラマ画像を作成するステップと、
   前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行うステップと、
   前記画像解析の結果を、表示するステップと、
   を備えることを特徴とするパノラマ画像合成解析方法。
8. パノラマ画像合成解析システムに、
   複数台のカメラで撮像された撮像画像を合成し、当該複数台のカメラのうち、一番大きい画素数の撮像画像に合わせてパノラマ画像を作成するステップ、
   前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行うステップ、
   前記画像解析の結果を、表示するステップ、
   を実行させるためのコンピュータ読み取り可能なプログラム。
9. パノラマ画像合成解析システムに、
   複数台のカメラで撮像された撮像画像を合成し、当該複数台のカメラのうち、一番小さい画素数の撮像画像に合わせてパノラマ画像を作成するステップ、
   前記合成されたパノラマ画像に映り込んだ被写体に対して画像解析を行うステップ、
   前記画像解析の結果を、表示するステップ、
   を実行させるためのコンピュータ読み取り可能なプログラム。