JP7205386B2 - 撮像装置、画像処理方法、プログラム - Google Patents

Description

本発明は、撮像装置、画像処理方法、及び、プログラムに関する。

魚眼レンズや超広角レンズなどの広角なレンズを複数使用して周囲３６０度又は全方位を一度に撮像する撮像装置が知られている。この撮像装置では、各々のレンズからの像を各撮像素子に投影し、得られる各画像を画像処理によってつなぎ合わせることで、３６０度画像を生成する（例えば、特許文献１参照。）。特許文献１には、複数の撮像光学系の撮像条件を変更して、複数の撮像光学系で撮像された画像データのつなぎ目の不連続性を軽減する撮像装置が開示されている。

しかしながら、従来の撮像装置は、３６０度画像をリアルタイムに送信する場合、受信側のユーザに対して所望の被写体を簡単に明示できないという問題がある。例えば、不動産業者が３６０度画像を撮像できる撮像装置を手に持って不動産の物件の映像を遠隔地にいる顧客にリアルタイムに送信する内見システムがある。不動産業者は任意の所定範囲（例えば、エアコンがある範囲や見晴らしのよい窓がある方向）を顧客にわかるように表示させることが簡単にはできないため、不動産業者と顧客との間のコミュニケーションに時間がかかり、内見システムの利便性が損なわれていた。

また、例えば、撮像装置がバーコードなどを撮像してバーコードが有する情報を復号する場合、３６０度画像からバーコードを検出するまでに時間がかかるという問題がある。

本発明は、上記課題に鑑み、広角な画像から不必要な領域の画像の処理を停止することで、遠隔地にいるユーザとのコミュニケーションにて、所望の被写体を簡単に明示でき、また、別の形態では、所望の被写体を探し出すまでに要する時間を低減できる撮像装置を提供することを目的とする。

上記課題に鑑み、本発明は、複数の撮像素子で撮像された画像データを合成して１つの撮像素子で撮像された画像データよりも広角な画像データを生成する撮像装置であって、任意の第一の撮像素子で撮像された第一の画像データの輝度平均値と、残りの撮像素子のうち任意の第二の撮像素子で撮像された第二の画像データの輝度平均値との差が所定の値以上の場合、前記第一の画像データと前記第二の画像データのうち輝度平均値の小さい方の画像データを合成に使用せず、前記第一の画像データと前記第二の画像データのうち輝度平均値の大きい方を出力するか、又は、輝度平均値の大きい方を残りの撮像素子の画像データとの合成に使用することを特徴とする。

広角な画像から不必要な領域の画像の処理を停止することで、遠隔地にいるユーザとのコミュニケーションにて、所望の被写体を簡単に明示でき、また、別の形態では、所望の被写体を探し出すまでに要する時間を低減できる撮像装置を提供することができる。

画像通信システムの一例のユースケースを説明する図である。 不動産物件を案内している不動産業者が任意の所定範囲を不動産店舗にいる顧客に表示させる画像通信システムの概略的な動作を説明する図である。 画像通信システムの構成の概略図の一例である。 画像通信システムの別の構成の概略図の一例である。 撮像装置の断面図の一例である。 撮像装置のハードウェア構成例を示す図である。 端末装置のハードウェア構成図の一例である。 撮像装置の使用イメージ図である。 撮像装置で撮像された画像から３６０度画像が作成されるまでの処理の概略を説明する図である（その１）。 撮像装置で撮像された画像から３６０度画像が作成されるまでの処理の概略を説明する図である（その２）。 全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 入力画像処理モジュールの機能をブロック状に示す機能ブロック図の一例である。 撮像装置が撮像する空間の一例を示す図である。 撮像装置が３６０度画像から１８０度画像に切り替える手順を示すフローチャート図の一例である（実施例１）。 撮像装置が１８０度画像から３６０度画像へ切り替える手順を示すフローチャート図の一例である（実施例１）。 時系列な複数のフレームの輝度平均値を説明する図である。 複数のフレームの輝度値に基づいて撮像装置が３６０度画像から１８０度画像に切り替える手順を示すフローチャート図の一例である（実施例２）。 複数のフレームの輝度値に基づいて撮像装置が１８０度画像から３６０度画像へ切り替える手順を示すフローチャート図の一例である（実施例２）。 複数のブロックに分割された１フレームの画像データを示す図である。 フレームをブロックに分割して撮像装置が３６０度画像から１８０度画像に切り替える手順を示すフローチャート図の一例である（実施例３）。 フレームをブロックに分割して撮像装置が１８０度画像から３６０度画像へ切り替える手順を示すフローチャート図の一例である（実施例３）。 撮像装置の機能をブロック状に示す機能ブロック図の一例である（実施例４）。 撮像システムのシステム構成図の一例である。 撮像装置が３６０度画像から１８０度画像に切り替え、画像コードを検出する手順を示すフローチャート図の一例である（実施例４）。 撮像装置が撮像した静止画又は動画をサーバに送信する手順を示すフローチャート図の一例である。 撮像装置のハードウェア構成図の一例である（実施例５）。

以下、本発明を実施するための形態の一例として、撮像装置と撮像装置が行う画像処理方法について図面を参照しながら説明する。

＜画像通信システムの概略＞
図１は、画像通信システム１００のユースケースを説明する図である。不動産物件１１０にいる不動産業者１０１は撮像装置５を把持して、３６０度画像を撮像しながら各部屋を移動する。撮像装置５は３６０度画像（動画）をリアルタイムに不動産店舗にある端末装置１０Ａへ送信する。端末装置１０Ａは受信した３６０度画像の所定範囲を平面デバイスであるディスプレイに表示する。

不動産店舗にいる顧客１０２は、端末装置１０Ａを操作して３６０度画像を回転させる（任意の所定範囲を表示させる）ことができ、不動産店舗にいながら不動産物件の任意の方向を閲覧できる。

不動産物件１１０にいる不動産業者１０１が部屋に設置された例えばエアコンを顧客１０２に見せたい場合を説明する。従来は、３６０度画像のどこにエアコンが写っているかを不動産業者１０１が音声で説明しなければならなかったが、コミュニケーションが容易でなく説明が煩わしいと感じられるおそれがあった。

そこで、本実施形態の画像通信システム１００は、以下のようにして、不動産業者１０１が見せたい被写体を、顧客１０２が操作する端末装置１０Ａに容易に表示することを可能にする。

図２を用いて、画像通信システム１００の概略的な動作について説明する。図２は、不動産物件１１０にいる不動産業者１０１が任意の所定範囲を不動産店舗１２０にいる顧客１０２に表示させる画像通信システム１００の概略的な動作を説明する図である。

不動産業者１０１が把持する撮像装置５は３６０度画像を撮像できるため２つ以上の撮像素子を有している。本実施形態では主に２つの撮像素子を有する撮像装置５について説明するが、撮像素子は３以上の場合もある。撮像装置５は２つの撮像素子でそれぞれ撮像された画像データをつなぎ合わせて（合成して）３６０度画像を作成する。

不動産業者１０１が例えば顧客１０２をエアコン９０１に注目させてエアコン９０１について説明したい場合、不動産業者１０１はエアコン９０１とは反対側の撮像素子に光が入射しないように遮光する。図２では、エアコン９０１とは反対側のレンズが手のひらで遮光されている。撮像装置５は２つの撮像素子のうち一方が検出する輝度が大きく減少したことを検出した場合、２つの撮像素子でそれぞれ撮像された画像データの合成を行わず、輝度が低下していない方の画像データのみを不動産店舗１２０の端末装置１０Ａに送信する。本実施形態では、２つの撮像素子でそれぞれ撮像された画像データを合成すると３６０度（全天球）の画像が得られるので、１つの撮像素子で撮像された画像データを１８０度画像といい、２つの撮像素子で撮像された２つの画像データを合成したものを３６０度画像という。

不動産店舗１２０の端末装置１０Ａは、１８０度画像の全体を表示するが、不動産業者１０１は撮像装置５の光軸の中心にエアコン９０１が写るように撮像しているため、端末装置１０Ａのディスプレイのほぼ中央付近にエアコン９０１が表示される。したがって、顧客１０２はエアコン９０１が写るように表示範囲を調整する必要があまりない。

このように、本実施形態の画像通信システム１００は、３６０度画像から１８０度画像へ切り替えて広角な画像から任意の範囲を表示させることができる。また、ハード的なスイッチを使用することなく実行させることができ、直感的な操作で実現できる。したがって、不動産業者１０１が着目して欲しい被写体がどこあるかを説明しなくても、顧客１０２は不動産業者１０１が着目して欲しい被写体を閲覧できる。

＜画像通信システムの概略＞
続いて、図３を用いて、本実施形態の画像通信システム１００の構成の概略について説明する。図３は、本実施形態の画像通信システム１００の構成の概略図である。

図３Ａに示されているように、本実施形態の画像通信システム１００は、拠点Ａに配置された端末装置１０Ａと拠点Ｂに配置された撮像装置５がインターネットやセルラー回線等の通信ネットワークＮを介して通信することができる。拠点Ａは例えば顧客１０２がいる不動産店舗１２０であり、拠点Ｂは例えば内見の対象となる不動産物件１１０である。

撮像装置５は、上記のように、被写体や風景等を撮像して３６０度画像の元になる２つの１８０度画像を合成する特殊なデジタルカメラである。

端末装置１０Ａはビデオ会議用のアプリケーションソフトを動作させることで他の拠点と通信する汎用的な情報処理装置である。端末装置１０Ａは例えば、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、カーナビ、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ又はデスクトップＰＣ等である。しかし、これらには限られない。

端末装置１０Ａは、自装置に設けられたディスプレイ７２０に受信した画像を表示する。

また、端末装置１０Ａには、OpenGL ES（Open Graphics Library for Embedded Systems）がインストールされており、撮像装置５から送られて来た３６０度画像から所定領域画像を作成することができる。したがって、各端末装置１０Ａは３６０度画像から切り出した所定領域画像を表示できる。

拠点Ａには少なくとも一人の顧客１０２が存在し、端末装置１０Ａは撮像装置５が撮像する映像（３６０度画像又は１８０度画像）をディスプレイ７２０に表示する。拠点Ａの顧客１０２は、不動産業者１０１により切り替えられた１８０度画像又は３６０度画像を閲覧するユーザである。ただし、顧客１０２の人数は一例である。

拠点Ｂには、少なくとも一人の不動産業者１０１が存在し、撮像装置５を手に把持したり棒状部材に取り付けたりして保持している。不動産業者１０１は撮像装置５と共に移動することができる。不動産業者１０１は不動産物件１１０を撮像する撮像者である。ただし、不動産業者１０１の人数は一例である。

次に、図３Ｂに示されているように、本実施形態の別の画像通信システム１００は、少なくとも２つの拠点Ａ、拠点Ｂに配置された各端末装置１０Ａ，１０Ｂがインターネット等の通信ネットワークＮを介して通信して、各拠点の端末装置１０Ａ，１０Ｂが映像を共有することができる。拠点Ａには撮像装置４と端末装置１０Ａが配置されており、拠点Ｂには端末装置１０Ｂと撮像装置５が配置されている。拠点Ａは例えば顧客１０２がいる不動産店舗１２０であり、拠点Ｂは例えば内見の対象となる不動産物件１１０である。

撮像装置５は、上記のように、被写体や風景等を撮像して３６０度画像の元になる２つの１８０度画像を合成する特殊なデジタルカメラである。一方、撮像装置４は、被写体や風景等を撮像して一般の平面画像を得るための一般のデジタルカメラである。

端末装置１０Ａ，１０Ｂはビデオ会議用のアプリケーションソフトを動作させることで他の拠点と通信する汎用的な情報処理装置である。端末装置１０Ａ、１０Ｂは例えば、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、カーナビ、ゲーム機、ＰＤＡ（Personal Digital Assistant）、ウェアラブルＰＣ又はデスクトップＰＣ等である。しかし、これらには限られない。

端末装置１０Ａは、自装置に設けられたディスプレイ７２０に映像通話の画像を表示する。端末装置１０Ａは、外付けされた撮像装置４で顧客１０２等を撮像する。

端末装置１０Ｂは、自装置に設けられたディスプレイ７２０に映像通話の画像を表示する。端末装置１０Ｂは、通常は自装置に設けられた後述のＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ７１２等で撮像するが、Wi－Fi(Wireless Fidelity)やBluetooth（登録商標）等の無線通信技術を利用して、撮像装置５で得られた３６０度画像を取得することができる。

また、端末装置１０Ａ，１０Ｂには、OpenGL ESがインストールされており、３６０度画像の一部の領域を示す所定領域画像を作成したり、他の端末装置１０から送られて来た３６０度画像から所定領域画像を作成したりすることができる。したがって、各端末装置１０Ａ，１０Ｂは３６０度画像から切り出した所定領域画像を表示できる。

拠点Ａには少なくとも一人の顧客１０２が存在し、端末装置１０Ａは撮像装置５が撮像する映像（３６０度画像又は１８０度画像）及び撮像装置４が撮像する映像をディスプレイ７２０に表示する。拠点Ａの顧客１０２は、不動産業者１０１により切り替えられた１８０度画像又は３６０度画像を閲覧するユーザである。ただし、顧客１０２の人数は一例である。

拠点Ｂには、少なくとも一人の不動産業者１０１が存在し、撮像装置５を手に把持したり棒状部材に取り付けたりして保持している。不動産業者１０１は撮像装置５と共に移動することができる。不動産業者１０１は不動産物件１１０を撮像する撮像者である。また、端末装置１０Ｂは、撮像装置４、５が撮像する映像をディスプレイ７２０に表示する。ただし、不動産業者１０１の人数は一例である。

通信管理システム７０は、端末装置１０Ａ，１０Ｂの通信を管理及び制御する。よって、通信管理システム７０は通信制御システムでもある。なお、通信管理システム７０は、通信サービスを行うデータセンタやクラウドに設置されている。また、通信管理システム７０は、単一のコンピュータによって構築されてもよいし、各部（機能、手段、又は記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。

なお、図３Ｂに示した、拠点数、各拠点に配置される端末装置１０Ａ，１０Ｂの種類、撮像装置４，５の種類、及び、ユーザ（顧客と不動産業者）の人数は一例であり、本実施形態では、拠点Ａと他の１つの拠点があればよいが、画像通信システム１００は３つ以上の拠点で通信できる。また、拠点Ａは撮像装置４を有していなくてもよく、拠点Ｂから送信される３６０度画像を表示できればよい。

＜構成例＞
以下、図４及び図５を参照しながら、本実施形態による撮像装置５の全体構成について説明する。図４は、本実施形態による撮像装置５の断面図である。図４に示す撮像装置５は、撮像体１９と、上記撮像体１９の他、制御ユニット１６やバッテリ１５などの部品を保持する筐体１７と、上記筐体１７に設けられた撮像ボタン１８とを備える。

図４に示す撮像体１９は、２つの結像光学系２０Ａ，２０Ｂと、撮像素子２１Ａ，撮像素子２１Ｂと、を有する。撮像素子２１Ａ，２１Ｂ（それぞれ第一の撮像素子、第二の撮像素子の一例）は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳセンサなどである。結像光学系２０Ａ、２０Ｂは、例えば６群７枚の魚眼レンズとして構成される。上記魚眼レンズは、図４に示す実施形態では、１８０度（＝３６０度／ｎ；光学系の数ｎ＝２）より大きい画角を有し、好適には、１９０度以上の画角を有する。このような広角な結像光学系２０Ａ，２０Ｂと撮像素子２１Ａ，２１Ｂとを１個ずつ組み合わせたものを広角撮像光学系と称する。

２つの結像光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタ及び開口絞り）は、撮像素子２１Ａ，２１Ｂに対して位置が定められる。結像光学系２０Ａ，２０Ｂの光学素子の光軸が、対応する撮像素子２１の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように位置決めが行われる。

図４に示す実施形態では、結像光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するようにして、互いに逆向きに組み合わせられる。撮像素子２１Ａ，２１Ｂは、受光した光分布を画像信号に変換し、制御ユニット１６に、順次、画像フレームを出力する。撮像素子２１Ａ，２１Ｂでそれぞれ撮像された画像は、合成処理されて、これにより、立体角４πステラジアンの画像（３６０度画像又は全天球画像）が生成される。３６０度画像は、撮像地点から見渡すことのできる全ての方向を撮像したものとなる。説明する実施形態では、３６０度画像を生成するものとして説明するが、水平面のみ３６０度を撮像した、いわゆるパノラマ画像であってもよく、全天球又は水平面３６０度の全景のうちの一部を撮像した画像であってもよい。また、３６０度画像は、静止画として保存することもできるし、動画として保存することもできる。

図５は、撮像装置５のハードウェア構成例を示す図である。撮像装置５は、ＣＰＵ３０、メインメモリ３１、フラッシュＲＯＭ３２、魚眼レンズ１４Ａ，１４Ｂ、撮像素子２１Ａ、２１Ｂ、Ａ/Ｄ変換回路３３Ａ，３３Ｂ、入力画像処理モジュール３４Ａ、３４Ｂ、３軸加速度センサ３５、歪曲補正・画像合成モジュール３６、画像コーデック３７、音声コーデック３８、マイク３９、スピーカー４０、無線通信モジュール４１、メモリカードＩ/Ｆモジュール４２、及び、メモリカード４３を有している。

ＣＰＵ３０はフラッシュＲＯＭ３２に記憶されているプログラムをメインメモリ３１に展開して実行して撮像装置５の全体を制御する。メインメモリ３１は、例えばＤＲＡＭ(Dynamic Random Access Memory)であり、ＣＰＵ３０のワークエリアとして使用される。フラッシュＲＯＭ３２は、電源オン時のシステム立ち上げや撮像装置５の機能を実現するための各種プログラムを記憶する。

画像コーデック３７は画像データを圧縮する。音声コーデック３８はマイクが集音した音声データを圧縮し、また、無線通信モジュール４１から入力された音声データを伸長してスピーカー４０から出力する。

無線通信モジュール４１はセルラー回線に接続して無線で映像や音声等を送受信する。メモリカードＩ/Ｆモジュール４２は装着されたメモリカード４３にデータを書き込み、また、メモリカード４３からデータを読み出す。

撮像素子２１Ａ、２１Ｂから出力されたアナログ画像信号はＡ/Ｄ変換回路３３Ａ、３３Ｂによりデジタル画像データに変換され、これらの画像データは入力画像処理モジュール３４Ａ、３４Ｂに入力される。

入力画像処理モジュール３４Ａ、３４Ｂは、画像データの輝度情報を利用して測光し、露光量を調整する露光制御（ＡＥ（Automatic Exposure））やＲＧＢの割合を均一にして色の再現性をよくするためのホワイトバランス（ＡＷＢ（Automatic White Balance）の処理を行っている。これらの処理を施された画像データは歪曲補正・画像合成モジュール３６に入力される。

歪曲補正・画像合成モジュール３６は、３軸加速度センサ３５からの情報を利用して、２つの画像データに対して歪曲補正と共に天地補正を行って３６０度画像を合成する。この３６０度画像データは画像コーデック３７で圧縮されて、無線通信（セルラー回線）により不動産店舗１２０にある端末装置１０Ａへ送信される。また、マイク３９で集音された音声信号も無線通信（セルラー回線）により不動産店舗１２０にある端末装置１０Ａに送信される。

図６は、端末装置１０のハードウェア構成図である。図６に示されているように、端末装置１０は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、フラッシュメモリ７０４、ＳＳＤ７０５、メディアＩ／Ｆ７０７、操作ボタン７０８、電源スイッチ７０９、バスライン７１０、ネットワークＩ／Ｆ７１１、ＣＭＯＳ７１２、撮像素子Ｉ／Ｆ７１３、マイク７１４、スピーカー７１５、音入出力Ｉ／Ｆ７１６、ディスプレイＩ／Ｆ７１７、外部機器接続Ｉ／Ｆ７１８、近距離通信回路７１９、近距離通信回路７１９のアンテナ７１９ａを備えている。これらのうち、ＣＰＵ７０１は、端末装置全体の動作を制御する。ＲＯＭ７０２は、ＩＰＬ等のＯＳの起動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。フラッシュメモリ７０４は、通信用プログラム、画像データ、及び音データ等の各種データを記憶する。ＳＳＤ７０５は、ＣＰＵ７０１の制御にしたがってフラッシュメモリ７０４に対する各種データの読み出し又は書き込みを制御する。なお、ＳＳＤに代えてＨＤＤを用いてもよい。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。操作ボタン７０８は、端末装置１０の宛先を選択する場合などに操作されるボタンである。電源スイッチ７０９は、端末装置１０の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。

また、ネットワークＩ／Ｆ７１１は、インターネット等の通信ネットワークＮを利用してデータ通信をするためのインターフェイスである。ＣＭＯＳセンサ７１２は、ＣＰＵ７０１の制御にしたがって被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサではなく、ＣＣＤセンサ等の撮像手段であってもよい。撮像素子Ｉ／Ｆ７１３は、ＣＭＯＳセンサ７１２の駆動を制御する回路である。マイク７１４は、音を電気信号に変える内蔵型のデバイスである。スピーカー７１５は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型のデバイスである。音入出力Ｉ／Ｆ７１６は、ＣＰＵ７０１の制御にしたがってマイク７１４及びスピーカー７１５との間で音信号の入出力を処理する回路である。ディスプレイＩ／Ｆ７１７は、ＣＰＵ７０１の制御にしたがって外付けのディスプレイに画像データを送信する回路である。外部機器接続Ｉ／Ｆ７１８は、各種の外部機器を接続するためのインターフェイスである。近距離通信回路７１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

また、バスライン７１０は、図６に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

ディスプレイ７２０は、被写体の画像や操作用アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)等によって構成された表示手段の一種である。また、ディスプレイ７２０は、ケーブルによってディスプレイＩ／Ｆ７１７に接続される。このケーブルは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、ＨＤＭＩ(High-Definition Multimedia Interface)（登録商標）やＤＶＩ(Digital Video Interactive)信号用のケーブルであってもよい。

なお、ＣＭＯＳセンサ７１２は、ＣＰＵ７０１の制御にしたがって被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサではなく、ＣＣＤセンサ等の撮像手段であってもよい。外部機器接続Ｉ／Ｆ７１８には、ＵＳＢケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカー等の外部機器がそれぞれ接続可能である。外付けカメラが接続された場合には、ＣＰＵ７０１の制御にしたがって、内蔵型のＣＭＯＳセンサ７１２に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカーが接続された場合には、ＣＰＵ７０１の制御にしたがって、それぞれが内蔵型のマイク７１４や内蔵型のスピーカー７１５に優先して、外付けマイクや外付けスピーカーが駆動する。

また、記録メディア７０６は、端末装置１０に対して着脱自在な構成となっている。また、ＣＰＵ７０１の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ７０４に限らず、ＥＥＰＲＯＭ等を用いてもよい。

＜３６０度画像の生成方法＞
次に、図７～図９を用いて３６０度画像の生成方法を説明する。図７は、撮像装置５の使用イメージ図である。撮像装置５は、図７に示されているように、例えば、ユーザ（本実施形態では不動産業者）が手に持ってユーザの周りの被写体を撮像するために用いられる。この場合、図４に示されている撮像素子２１Ａ及び撮像素子２１Ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの１８０度画像を得ることができる。

次に、図８及び図９を用いて、撮像装置５で撮像された画像から３６０度画像が作成されるまでの処理の概略を説明する。なお、図８（ａ）は撮像装置５で撮像された１８０度画像（前側）、図８（ｂ）は撮像装置５で撮像された１８０度画像（後側）、図８（ｃ）は正距円筒射影図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図９（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図９（ｂ）は３６０度画像を示した図である。

図８（ａ）に示されているように、撮像素子２１Ａによって得られた画像は、魚眼レンズ１４Ａによって湾曲した１８０度画像（前側）となる。また、図８（ｂ）に示されているように、撮像素子２１Ｂによって得られた画像は、魚眼レンズ１４Ｂによって湾曲した１８０度画像（後側）となる。そして、１８０度画像（前側）と、１８０度反転された１８０度画像（後側）とは、撮像装置５によって合成され、図８（ｃ）に示されているように、正距円筒射影画像が作成される。

そして、端末装置１０においてOpenGL ESが利用されることで、図９（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図９（ｂ）に示されているような３６０度画像が作成される。このように、３６０度画像は、正距円筒射影画像が球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2－Dimensions)及び３Ｄ(3－Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、３６０度画像は、静止画であっても動画であってもよい。

以上のように、３６０度画像は、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、３６０度画像の一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。

図１０は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。

図１０に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域である。所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。

＜機能について＞
図１１は、入力画像処理モジュール３４Ａ、３４Ｂの機能をブロック状に示す機能ブロック図の一例である。入力画像処理モジュール３４Ａ、３４Ｂの機能は同じであるものとするが一方にのみ存在する機能があってもよい。

入力画像処理モジュール３４Ａ、３４Ｂは露光制御部５０、輝度値記憶部５１、輝度値比較部５２、ホワイトバランス制御部５３、ガンマ補正部５４、及び、色変換部５５を有している。露光制御部５０は、撮像素子２１Ａ、２１Ｂから出力され、Ａ/Ｄ変換された画像データの輝度情報を利用して測光し、露光量を調整したり、後述する３６０度画像と１８０度画像の切り替えに関する処理を実行したりする。

輝度値記憶部５１は露光制御部５０にて求められた輝度値を、時間的に後の画像データと比較するために一時的に記憶する。輝度値比較部５２は露光制御部５０が求めた１フレーム又は複数フレーム分の輝度平均値と輝度値記憶部５１に記憶された１フレーム又は複数フレーム分の輝度平均値とを比較する。

ホワイトバランス制御部５３は色の再現性をよくするために、ＲＧＢの割合を均一にする処理を行う。ガンマ補正部５４は１フレーム分の画像全体の色合いを調整する処理を行う。色変換部５５はＲＧＢデジタル画像データについて、色差成分（Ｃｂ，Ｃｒ）と輝度成分（Ｙ）に変換する。

魚眼レンズ１４Ａ、１４Ｂから入力される光量が変化して、入力画像処理モジュール３４Ａ、３４Ｂに入力される１フレーム分の全ての画像データの平均輝度値が、前フレームの全ての画像データの平均輝度値と大きく異なる場合の処理について説明する。入力画像処理モジュール３４Ａ、３４Ｂの露光制御部５０は入力される１フレーム分の全ての画像データの輝度成分の値の平均値を求め、この輝度平均値を輝度値記憶部５１に記憶する。輝度値比較部５２は露光制御部５０が求めた１フレーム分の輝度平均値と輝度値記憶部５１に記憶された前フレームの輝度平均値とを比較する。そして、これらの輝度平均値の差が所定の値以上で、かつ、現在のフレームの輝度平均値が所定の値以下の場合には、入力画像処理モジュール３４Ａ、３４Ｂは歪曲補正・画像合成モジュール３６へ輝度低下信号を出す。

また、これらの輝度平均値の差が所定の値以上で、かつ、現在のフレームの輝度平均値が所定の値以上の場合には、入力画像処理モジュール３４Ａ、３４Ｂは歪曲補正・画像合成モジュール３６へ輝度上昇信号を出す。なお、露光制御部５０は画像データの１画素当たりの輝度成分の値を８ビットで処理しており、８ビットで表現できる値（0～255）の内、黒の値である16から白の値である235の範囲の値を使用する。

＜不動産業者による撮像装置の使用例＞
図１２に基づいて、３６０度画像から１８０度画像に切り替える際の不動産業者１０１の動作と撮像装置５の処理について説明する。図１２は撮像装置５が撮像する空間の一例を示す図である。

不動産物件を案内している不動産業者１０１は一脚３を持って撮像装置５で室内を撮像しながら、不動産店舗にいる顧客１０２に対して音声にて説明している。まず、全天球の映像を送信して顧客１０２に部屋全体（Ａ空間とＢ空間）を見てもらうが、部屋に設置されたエアコン９０１の説明をする場合、３６０度画像におけるエアコン９０１の位置を説明する必要がある。

このエアコン９０１の位置の説明を省略するために、不動産業者１０１は３６０度画像を１８０度画像に切り替えて、エアコン９０１がこの１８０度画像の中心付近に映るように撮像装置５の向きと傾きを調整する。

撮像素子２１Ａにて撮像される空間をＡ空間、撮像素子２１Ｂにて撮像される空間をＢ空間と定義する。今、エアコン９０１がＡ空間にある場合、不動産業者１０１は魚眼レンズ１４Ａの光軸がおおよそエアコン９０１に向くように撮像装置５の向きと傾きを変える。そして、魚眼レンズ１４Ｂを手で覆うと、魚眼レンズ１４Ｂから入力される光量が低下する。入力画像処理モジュール３４Ｂの輝度値比較部５２は露光制御部５０が求めた１フレーム分の輝度平均値と輝度値記憶部５１に記憶された前フレームの輝度平均値とを比較して、これらの輝度平均値の差が所定の値以上（例えば、100以上）で、かつ、現在のフレームの輝度平均値が所定の値以下（例えば、40以下）であると判断すると、歪曲補正・画像合成モジュール３６へ輝度低下信号を出力する。歪曲補正・画像合成モジュール３６はこの輝度低下信号を検出すると、３６０度画像の合成処理を止め、入力画像処理モジュール３４Ａから入力される画像データについて（輝度低下信号を出力しない方又は明るい方の入力画像処理モジュール）、歪曲補正と共に天地補正を行って１８０度画像を生成するモードに切り替える。この１８０度画像は画像コーデック３７にてH.264に圧縮して、無線通信モジュール４１がこの画像データを、通信ネットワークＮ（セルラー回線等）を使用して不動産店舗１２０にある端末装置１０Ａに送信する。端末装置１０Ａのディスプレイには、１８０度画像のほぼ中心付近にエアコン９０１が表示される。

その後、不動産物件１１０にいる不動産業者１０１が魚眼レンズ１４Ｂの近辺から手を離すと、魚眼レンズ１４Ｂから入力される光量が増加する。入力画像処理モジュール３４Ｂの輝度値比較部５２は露光制御部５０が求めた１フレーム分の輝度平均値と輝度値記憶部５１に記憶された前フレームの輝度平均値とを比較して、これらの輝度平均値の差が所定の値以上（例えば、100以上）で、かつ、現在のフレームの輝度平均値が所定の値以上（例えば、140以上）であると判断すると、歪曲補正・画像合成モジュール３６へ輝度上昇信号を出力する。

歪曲補正・画像合成モジュール３６はこの輝度上昇信号を検出すると、３６０度画像の合成処理を再開する。そして、この３６０度画像はH.264に圧縮されて、無線通信モジュール４１によって通信ネットワークＮ（セルラー回線等）を使用して不動産店舗１２０にある端末装置１０Ａへ送信される。

ここでは撮像素子２１が２つの場合を説明したが、撮像素子が３つ以上の場合、１つの撮像素子の入力画像処理モジュール３４が輝度低下信号を出力すると、歪曲補正・画像合成モジュール３６は残りの２つの撮像素子２１の画像データを合成する。撮像素子が４つ以上の場合も同様である。

このように、３６０度画像から撮像素子２１Ａにて撮像される画像（概ね１８０度の画像）への切り替えや、３６０度画像から撮像素子２１Ｂにて撮像される画像（概ね１８０度の画像）への切り替えをハード又はソフト的なスイッチを使用することなく、片方の魚眼レンズを手で覆うといった直感的な操作で実現することが可能となる。撮像素子２１Ａ、２１Ｂにて撮像される画像（概ね１８０度の画像）から３６０度画像への切り替えも、ハード又はソフト的なスイッチを使用することなく片方の魚眼レンズから手を離すといった直感的な操作で実現することが可能となる。

＜動作手順＞
図１３は、撮像装置５が３６０度画像から１８０度画像に切り替える手順を示すフローチャート図の一例である。図１３の処理は撮像装置５が２つの画像データを合成して３６０度画像を作成している間、繰り返し実行される。

入力画像処理モジュール３４Ａ、３４Ｂの輝度値比較部５２は露光制御部５０が求めた１フレーム分の画像データ（第一の画像データの一例）の輝度平均値と輝度値記憶部５１に記憶された前フレームの画像データ（第二の画像データの一例）の輝度平均値とを比較して２つの連続したフレーム間の輝度平均値の差を求める（Ｓ１０）。

次に、輝度値比較部５２は２つの連続したフレーム間の輝度平均値の差が所定の値以上で、かつ、現在のフレームの輝度平均値が所定の値以下か否かを判断する（Ｓ２０）。ステップＳ２０の判断がＮｏの場合、処理はステップＳ１０に戻る。

ステップＳ２０の判断がＹｅｓの場合、歪曲補正・画像合成モジュール３６は３６０度画像の合成処理を止め、もう一方の入力画像処理モジュール３４（明るい方）から入力される画像について１８０度画像を生成する（Ｓ３０）。

そして、画像コーデック３７は１８０度画像をH.264に圧縮して、通信ネットワークＮを使用して端末装置１０Ａへ送信する（Ｓ４０）。

図１４は、撮像装置５が１８０度画像から３６０度画像へ切り替える手順を示すフローチャート図の一例である。図１４の説明では図１３との相違を主に説明する。図１４の処理は撮像装置５が２つの画像データを合成せず１８０度画像を送信している間、繰り返し実行される。

図１３との処理の違いはステップＳ２０－２で、１フレーム分の輝度平均値と輝度値記憶部５１に記憶された前フレームの輝度平均値との差が所定の値以上で、かつ、現在のフレームの輝度平均値が所定の値以上かが判断される点である。

ステップＳ２０－２の判断がＹｅｓの場合、歪曲補正・画像合成モジュール３６は３６０度画像の合成処理を再開する（Ｓ３０－２）。

そして、画像コーデック３７は３６０度画像をH.264に圧縮して、通信ネットワークＮを使用して端末装置１０Ａへ送信する（Ｓ４０－２）。

＜まとめ＞
以上説明したように、本実施形態の画像通信システム１００は、３６０度画像から１８０度画像への切り替えをハード的又はソフト的なスイッチを使用することなく実行させることができ、また、直感的な操作で実現できる。したがって、不動産業者１０１が着目して欲しい被写体がどこあるかを説明しなくても、顧客１０２は不動産業者１０１が着目して欲しい被写体を閲覧できる。

本実施例では、時系列な複数のフレームの輝度平均値を比較し、差が所定の値以上で、かつ、時間的に新しい複数のフレームの輝度平均値が所定の値以下の場合、３６０度画像から１８０度画像に切り替える撮像装置５について説明する。

なお、本実施例においては、上記の実施例１にて説明した図５のハードウェア構成図、及び、図１１に示した機能ブロック図を援用できるものとして説明する。

＜時系列な複数のフレームの輝度平均値＞
図１５は、時系列な複数のフレームの輝度平均値を説明する図である。図１５では、時間に対し時系列な複数のフレームの輝度値を示す。図１５において、Ｆ１、Ｆ２、…… はフレームの番号を示しており、黒丸は各フレームにおける画像データの輝度平均値である。フレームレートが速い場合、魚眼レンズが手で覆われた時に、図１５のように複数のフレームに跨がって輝度値（平均値）が減少する。つまり、１つのフレームに着目するだけでは輝度の変化を検出できないおそれがある（輝度が徐々に変化する場合、１つのフレーム間の差異が所定の値以上にならない）。

そこで、入力画像処理モジュール３４Ａ、３４Ｂの露光制御部５０は一定時間に入力される複数のフレームの画像データの輝度成分値の平均値をそれぞれ求め、この輝度平均値を輝度値記憶部５１に記憶する。本実施例では、例えば８フレーム分の画像データの８個の輝度平均値を輝度値記憶部５１に記憶する。

輝度値比較部５２は輝度値記憶部５１に記憶された８フレーム分の輝度平均値の内、前半の４フレーム分の輝度平均値（図１５のグループＡ）と後半の４フレーム分の輝度平均値（図１５のグループＢ）について、更に、それぞれ平均を求める。そして、輝度値比較部５２はグループＡについての輝度平均値とグループＢについての輝度平均値とを比較する。これらの輝度平均値の差が所定の値以上で、かつ、時間的に後の直近のグループ（グループＢ）の輝度平均値が所定の値以下の場合には、入力画像処理モジュール３４Ａ、３４Ｂは歪曲補正・画像合成モジュール３６へ輝度低下信号を出す。

例えば、魚眼レンズ１４Ｂが手で覆われた場合、魚眼レンズ１４Ｂから入力される光量が低下する。入力画像処理モジュール３４Ｂの輝度値比較部５２は上記のグループＡについての輝度平均値とグループＢについての輝度平均値とを比較して、これらの輝度平均値の差が所定の値以上（例えば、80以上）で、かつ、時間的に後のグループ（グループＢ）の輝度平均値が所定の値以下（例えば、50以下）であると判断すると、歪曲補正・画像合成モジュール３６へ輝度低下信号を出力する。

歪曲補正・画像合成モジュール３６はこの輝度低下信号を検出すると、３６０度画像の合成処理を止め、輝度低下信号を出力しない輝度値が明るい方の入力画像処理モジュール３４Ａから入力される画像データについて、歪曲補正と共に天地補正を行って１８０度画像を生成するモードに切り替える。

その後、入力画像処理モジュール３４Ｂの輝度値比較部５２はグループＡについての輝度平均値とグループＢについての輝度平均値との比較処理を繰り返して、これらの輝度平均値の差が所定の値以上（例えば、80以上）で、かつ、時間的に後のグループ（グループＢ）の輝度平均値が所定の値以上（例えば、130以上）であると判断すると、歪曲補正・画像合成モジュール３６へ輝度上昇信号を出力する。歪曲補正・画像合成モジュール３６はこの輝度上昇信号を検出すると、３６０度画像の合成処理を再開する。

＜動作手順＞
図１６は、複数のフレームの輝度値に基づいて撮像装置５が３６０度画像から１８０度画像に切り替える手順を示すフローチャート図の一例である。なお、図１６の説明では主に図１３との相違を説明する。

入力画像処理モジュール３４Ａ、３４Ｂの輝度値比較部５２は、露光制御部５０が求めた前半のグループの輝度平均値と、後半のグループの輝度平均値の差を求める（Ｓ１１０）。

輝度値比較部５２は、前半のグループの輝度平均値と、後半のグループの輝度平均値の差が所定の値以上で、後半のグループの輝度平均値が所定の値以下か判断する（Ｓ１２０）。以降のステップＳ１３０、Ｓ１４０の処理は図１３と同様でよい。

図１７は、複数のフレームの輝度値に基づいて撮像装置５が１８０度画像から３６０度画像へ切り替える手順を示すフローチャート図の一例である。図１７の説明では図１４との相違を主に説明する。

入力画像処理モジュール３４Ａ、３４Ｂの輝度値比較部５２は、露光制御部５０が求めた前半のグループの輝度平均値と、後半のグループの輝度平均値の差を求める（Ｓ１１０－２）。

輝度値比較部５２は、前半のグループの輝度平均値と、後半のグループの輝度平均値の差が所定の値以上で、後半のグループの輝度平均値が所定の値以上か判断する（Ｓ１２０－２）。以降のステップＳ１３０－２、Ｓ１４０－２の処理は図１４のステップＳ３０－２、Ｓ４０－２と同様でよい。

＜まとめ＞
本実施例によれば、実施例１の効果に加え、撮像装置５で撮像する動画像のフレームレートが速い場合に、輝度の変化の検出精度を向上させることができる。

本実施例では、１フレームの画像データを複数のブロックに分割して、ブロックごとに画像データの輝度平均値を求める撮像装置５について説明する。

なお、本実施例においては、上記の実施例１にて説明した図５のハードウェア構成図、及び、図１１に示した機能ブロック図を援用できるものとして説明する。

＜複数のブロックに分割された１フレームの画像データ＞
図１８は、複数のブロックに分割された１フレームの画像データを示す図である。入力画像処理モジュール３４Ａ、３４Ｂの露光制御部５０は入力される１フレーム分の画像データを図１８に示すようなブロックに分割する。図１８では８×８のブロックに分割されているがもっと細かく又は大きく分割してもよい。また、各ブロックのサイズは均一でなくてもよい。

図１８の円１４０内が撮像された画像データの領域（光が到達する領域）であり、四隅のＣ１～Ｃ４のブロックは画像データが全く無い領域である。Ｃ１～Ｃ４の隣のＡ１～Ａ８のブロックは撮像された画像データの量が少ないため、輝度平均値を求める必要性が低い。換言すると、輝度値比較部５２がＡ１～Ａ８のブロックの輝度値を比較しても変化がなく、輝度値の変化を検出しにくい。

このため、露光制御部５０は１から５２の番号が振られた各ブロックについて、ブロック内の画像データの輝度平均値を求めて、この輝度平均値をブロック番号と対応付けて輝度値記憶部５１に記憶する。

輝度値比較部５２は、各ブロックについて、現在のフレームでの輝度平均値と輝度値記憶部５１に記憶された前フレームの輝度平均値とを比較する。そして、これらの輝度平均値の差が所定の値以上で、かつ、現在のフレームの輝度平均値が所定の値以下の場合は、そのブロック番号と対応付けられた輝度低下フラグを１にする。この輝度低下フラグの値も輝度値記憶部５１に記憶する。図１８の斜線のブロックは輝度低下フラグが１となったブロックを示す。輝度低下フラグの値が１となったブロックの数が所定の値以上、例えば、３０個以上の場合は、歪曲補正・画像合成モジュール３６へ輝度低下信号を出力する。歪曲補正・画像合成モジュール３６はこの輝度低下信号を検出すると、３６０度画像の合成処理を止め、入力画像処理モジュール３４Ａから入力される画像データについて、歪曲補正と共に天地補正を行って１８０度画像を生成するモードに切り替える。

その後、入力画像処理モジュール３４Ｂの輝度値比較部５２は各ブロックについて、現在のフレームでの輝度平均値と輝度値記憶部５１に記憶された前フレームの輝度平均値との比較処理を繰り返して、輝度低下フラグが１となった全てのブロックについて、輝度平均値の差が所定の値以上（例えば、100以上）で、かつ、現在のフレームの輝度平均値が所定の値以上（例えば、140以上）と判断すると、歪曲補正・画像合成モジュール３６へ輝度上昇信号を出力する。歪曲補正・画像合成モジュール３６はこの輝度上昇信号を検出すると、３６０度画像の合成処理を再開する。

＜動作手順＞
図１９は、フレームをブロックに分割して撮像装置５が３６０度画像から１８０度画像に切り替える手順を示すフローチャート図の一例である。

まず、露光制御部５０は１フレーム分の画像データをブロックに分割する（Ｓ２１０）、ブロックの数は予め決まっているものとする。

次に、露光制御部５０はブロックごとに画像データの輝度平均値を求め、ブロック番号と対応付けて輝度値記憶部５１に記憶する（Ｓ２２０）。

輝度値比較部５２はブロックごとに前フレームの輝度平均値と比較する（Ｓ２３０）。比較の結果、ブロックごとに、輝度値の差が所定の値以上で、現在のブロックの輝度平均値が所定の値以下かを判断する（Ｓ２４０）。ステップＳ２４０の判断がＮｏの場合、処理はステップＳ２３０に戻る。

ステップＳ２４０の判断がＹｅｓの場合、輝度値比較部５２はブロック番号に対応した輝度低下フラグを１に設定する（Ｓ２５０）。

輝度値比較部５２は輝度低下フラグが１となったブロックの数が所定の数以上か否かを判断する（Ｓ２６０）。ステップＳ２６０の判断がＮｏの場合、処理はステップＳ２３０に戻る。

ステップＳ２６０の判断がＹｅｓの場合、輝度値比較部５２は歪曲補正・画像合成モジュール３６へ輝度低下信号を出力する（Ｓ２７０）。これにより、３６０度画像の合成処理が止まり、１８０度画像が送信される。

図２０は、フレームをブロックに分割して撮像装置５が１８０度画像から３６０度画像へ切り替える手順を示すフローチャート図の一例である。図２０の説明では図１９との相違を主に説明する。

ステップＳ２１０－２～Ｓ２３０－２の処理は図１９のステップＳ２１０～Ｓ２３０の処理と同様でよい。

次に、輝度値比較部５２は輝度低下フラグが１となった全てのブロックについて、輝度平均値の差が所定の値以上で、かつ、現在のフレームの各ブロックの輝度平均値が所定の値以上かを判断する（Ｓ２４０－２）。

ステップＳ２４０－２の判断がＹｅｓの場合、輝度値比較部５２は歪曲補正・画像合成モジュール３６へ輝度上昇信号を出力する（Ｓ２５０－２）。これにより、３６０度画像の合成処理が再開される。

＜まとめ＞
本実施例によれば、実施例１の効果に加え、１８０度画像へ切り替えるために不動産業者１０１が片方の魚眼レンズを手で覆う場合、光が多少漏れて入っても、１８０度画像へ切り替えることができる。

なお、本実施例では、現在の１フレームの各ブロックの輝度値と時間的に前のフレームの各ブロックの輝度値を比較したが、実施例３のように、複数のフレームのグループごとにブロックの輝度値を比較してもよい。

本実施例では、撮像装置５で静止画像を撮像して、３６０度画像の中から画像コードを検出する場合について説明する。画像コードとは、バーコードや２次元バーコードなどをいう。

＜機能について＞
図２１は撮像装置５の機能をブロック状に示す機能ブロック図の一例である。本実施例において、図１１において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

本実施例の入力画像処理モジュール３４Ａ、３４Ｂは画像コード検出部５６を有している。画像コード検出部５６は、バーコードや２次元コードなどの画像コードの有無を判断し、画像コードを検出した場合は復号（デコード）して情報を取り出す。

また、撮像装置５は画像データ送信部６０を有している。画像データ送信部６０は無線通信モジュール４１などにより実現され、１８０度画像又は３６０度画像を後述するサーバに送信する。

＜全体的な構成例＞
図２２は本実施例の撮像システム２００のシステム構成図の一例である。図３Ａ又は図３Ｂとシステム構成が異なるのは、内見システムでは動画撮像が一般的であるのに対し、本実施形態では静止画を処理の対象とする。

撮像装置５の無線通信モジュール４１はIEEE802.11g等により、無線ＬＡＮアクセスポイント６１と接続してデータ通信を行う。無線ＬＡＮアクセスポイント６１はイーサネット（登録商標）６４等を使用して、サーバ６２とデータ通信を行う。

ユーザ（このユーザは撮像装置５を使用する者であればよく不動産業者でないことが想定される）は撮像装置５で撮像した画像データをサーバ６２に送信したいが、サーバ６２のアドレス（URL（Uniform Resource Locator））情報が記憶されていない場合、このアドレスを撮像装置５に入力する必要がある。しかし、撮像装置５が入力のインターフェイスを有していないと、ユーザはＵＲＬを入力できない。

そこで、ユーザはサーバ６２のアドレスが埋め込まれた画像コードをスマートフォン６３の画面に表示して、この画像コードを撮像装置５で撮像して画像コードからサーバ６２のアドレスを取得する。

ユーザは撮像装置５の片方の魚眼レンズ（魚眼レンズ１４Ａ）の光軸がおおよそスマートフォン６３の画面に向くようにして、魚眼レンズ１４Ｂを手で覆いながら静止画像を撮像する。

入力画像処理モジュール３４Ａの露光制御部５０及び入力画像処理モジュール３４Ｂの露光制御部５０は入力された全ての画像データの輝度平均値を求める。そして、入力画像処理モジュール３４Ａ、３４Ｂの露光制御部５０はこの輝度平均値が所定の値以下（例えば、40以下）であると判断すると、歪曲補正・画像合成モジュール３６へ輝度が低いことを示す信号（輝度低下信号を利用）を出力する。

歪曲補正・画像合成モジュール３６は入力画像処理モジュール３４Ｂの露光制御部５０からの輝度低下信号を検出して、入力画像処理モジュール３４Ａの露光制御部５０からの輝度低下信号を検出しない場合、３６０度画像の合成処理は行わずに、入力画像処理モジュール３４Ａから入力される画像データについて、歪曲補正と共に天地補正を行って１８０度画像を生成する。そして、歪曲補正・画像合成モジュール３６はこの生成された１８０度画像をメインメモリ３１へ転送する。この逆に、入力画像処理モジュール３４Ａの露光制御部５０からの輝度低下信号を検出したが、入力画像処理モジュール３４Ｂの露光制御部５０からの輝度低下信号を検出しない場合、３６０度画像の合成処理は行わずに、入力画像処理モジュール３４Ｂから入力される画像データについて歪曲補正と共に天地補正を行って１８０度画像を生成する。

なお、歪曲補正・画像合成モジュール３６は入力画像処理モジュール３４Ａの露光制御部５０からの輝度低下信号と入力画像処理モジュール３４Ｂの露光制御部５０からの輝度低下信号の両方を検出した場合、又は、輝度低下信号の両方を検出しない場合は、３６０度画像の合成処理を行い、この画像データについて、歪曲補正と共に天地補正を行って３６０度画像を生成する。そして、歪曲補正・画像合成モジュール３６はこの生成された３６０度画像データをメインメモリ３１へ転送する。

続いて、ＣＰＵ３０がフラッシュＲＯＭ３２に記憶された制御処理プログラムを実行することで実現される画像コード検出部５６が、メインメモリ３１に記憶された１８０度画像又は３６０度画像から画像コードを検出して、この画像コードを復号してサーバ６２のアドレスを取得する。そして、このサーバ６２のアドレスをメインメモリ３１に記憶しておく。

その後、撮像装置５が静止画像や動画像を撮像すると、画像データ送信部６０これらの画像データをメインメモリ３１に記憶されたアドレス宛に送信する。すなわち、これらの画像データを、無線ＬＡＮアクセスポイント６１を介してサーバ６２へ送信する。

なお、撮像装置５で撮像された画像データをインターネットに接続されたサーバ６２へ送信する場合は、無線通信モジュール４１は無線ＬＡＮではなく、セルラー回線を介して送信するようにしてもよい。

＜動作手順＞
図２３は、撮像装置５が３６０度画像から１８０度画像に切り替え、画像コードを検出する手順を示すフローチャート図の一例である。

入力画像処理モジュール３４Ａの露光制御部５０は全ての画像データ（第一の画像データの一例）の輝度平均値を求める（Ｓ３１０－１）。

入力画像処理モジュール３４Ａの露光制御部５０はこの輝度平均値が所定の値以下（例えば、40以下）か否かを判断する（Ｓ３２０－１）。

輝度平均値が所定の値以下であると判断すると、露光制御部５０は歪曲補正・画像合成モジュール３６へ輝度が低いことを示す信号（輝度低下信号を利用）を出力する（Ｓ３３０－１）。

入力画像処理モジュール３４Ｂの露光制御部５０は全ての画像データ（第二の画像データの一例）の輝度平均値を求める（Ｓ３１０－２）。

入力画像処理モジュール３４Ｂの露光制御部５０はこの輝度平均値が所定の値以下（例えば、40以下）か否かを判断する（Ｓ３２０－２）。

輝度平均値が所定の値以下であると判断すると、露光制御部５０は歪曲補正・画像合成モジュール３６へ輝度が低いことを示す信号（輝度低下信号を利用）を出力する（Ｓ３３０－２）。

次に、歪曲補正・画像合成モジュールは入力画像処理モジュール３４Ａ又は入力画像処理モジュール３４Ｂのいずれか一方から輝度低下信号を検出したか否かを判断する（Ｓ３４０）。

ステップＳ３４０の判断がＹｅｓの場合、歪曲補正・画像合成モジュール３６は３６０度画像の合成処理は行わずに、輝度が低いことを示す信号を検出しない方の入力画像処理モジュールから入力される画像について１８０度画像を生成する（Ｓ３５０）。

歪曲補正・画像合成モジュール３６は１８０度画像データをメインメモリ３１に記憶する（Ｓ３６０）。

ステップＳ３４０の判断がＮｏの場合、歪曲補正・画像合成モジュール３６は３６０度画像の合成処理を行って、３６０度画像を生成する（Ｓ３７０）。

歪曲補正・画像合成モジュール３６は３６０度画像データをメインメモリ３１に記憶する（Ｓ３８０）。

画像コード検出部５６はメインメモリ３１から画像コードを検出、復号してサーバのアドレスを取得する（Ｓ３９０）。

画像コード検出部５６はサーバのアドレスをメインメモリ３１に記憶する（Ｓ４００）。

図２４は撮像装置５が撮像した静止画又は動画をサーバに送信する手順を示すフローチャート図の一例である。

撮像装置５は静止画又は動画を撮像する（Ｓ４１０）。画像データ送信部６０はメインメモリ３１にアドレスが記憶されているか否かを判断する（Ｓ４２０）。この判断は、サーバのＵＲＬを示すラベルと共にアドレスを表す所定のフォーマットのデータが記憶されているか否かにより判断される。アドレスを表す所定のフォーマットのデータのみで判断してもよい。

ステップＳ４２０の判断がＹｅｓの場合、画像データ送信部６０はメインメモリ３１に記憶されているアドレス（サーバ６２）を宛先にして静止画又は動画を送信する（Ｓ４３０）。

＜まとめ＞
本実施例によれば、実施例１の効果に加え、静止画であっても所望の被写体を探し出すまでに要する時間を低減できる。撮像した画像データから画像コード等の情報を探す場合、探す範囲が３６０度画像から１８０度画像に狭くなるため、画像コードを検出するまでの時間が短くなり、ユーザの利便性が向上する。

本実施例では、魚眼レンズ１４、撮像素子２１及び入力画像処理モジュール３４をそれぞれ４つ備えた撮像装置５について説明する。

図２５は、本実施例の撮像装置５のハードウェア構成図の一例である。本実施例において、図５において同一の符号を付した構成要素は同様の機能を果たすので、主に本実施例の主要な構成要素についてのみ説明する場合がある。

図２５の撮像装置５は図５に対して、魚眼レンズ１４Ｃ、１４Ｄ、撮像素子２１Ｃ、２１Ｄ、Ａ/Ｄ変換回路３３Ｃ、３３Ｄ、入力画像処理モジュール３４Ｃ、３４Ｄがそれぞれ追加されている。歪曲補正・画像合成モジュール３６は、３軸加速度センサ３５からの情報を利用して、４つの画像データに対して歪曲補正と共に天地補正を行って３６０度画像を合成する。１つの魚眼レンズ１４、撮像素子２１、Ａ/Ｄ変換回路３３、及び、入力画像処理モジュール３４の画角は９０度であり、４つで３６０度の画像を生成する。

魚眼レンズ１４Ａ、１４Ｂ、１４Ｃ、１４Ｄから入力される光量が変化して、入力画像処理モジュール３４Ａ、３４Ｂ、３４Ｃ、３４Ｄに入力される１フレーム分の全ての画像データの平均輝度値が、前フレームの全ての画像データの平均輝度値と大きく異なる場合の処理について説明する。入力画像処理モジュール３４Ａ、３４Ｂ、３４Ｃ、３４Ｄの露光制御部５０は入力される１フレーム分の全ての画像データの輝度成分の値の平均値を求め、この輝度平均値を輝度値記憶部５１に記憶する。入力画像処理モジュール３４Ａ、３４Ｂ、３４Ｃ、３４Ｄのそれぞれの輝度成分の値の平均値Ａ０、Ｂ０，Ｃ０、Ｄ０を記憶する。

輝度値比較部５２は露光制御部５０が求めた１フレーム分の輝度平均値（平均値Ａ１、Ｂ１，Ｃ１、Ｄ１）と輝度値記憶部５１に記憶された前フレームの輝度平均値（平均値Ａ０、Ｂ０，Ｃ０、Ｄ０）とを比較する。例えば４つの輝度平均の平均を比較する。そして、これらの輝度平均値の差が所定の値以上で、かつ、現在のフレームの輝度平均値が所定の値以下の場合には、入力画像処理モジュール３４Ａ、３４Ｂ、３４Ｃ、３４Ｄは歪曲補正・画像合成モジュール３６へ輝度低下信号を出す。

また、これらの輝度平均値の差が所定の値以上で、かつ、現在のフレームの輝度平均値が所定の値以上の場合には、入力画像処理モジュール３４Ａ、３４Ｂ、３４Ｃ、３４Ｄは歪曲補正・画像合成モジュール３６へ輝度上昇信号を出す。

歪曲補正・画像合成モジュール３６はこの輝度低下信号を検出すると、３６０度画像の合成処理を止め、輝度低下信号を出した入力画像処理モジュールを除いた他の３つ以下の入力画像処理モジュール３４から入力される画像データについて、歪曲補正と共に天地補正を行って２７０度画像を生成するモードに切り替える。歪曲補正・画像合成モジュール３６はまた、輝度上昇信号を検出すると、３６０度画像の合成処理を再開する。

なお、魚眼レンズ１４、撮像素子２１及び入力画像処理モジュール３４の数は５つ以上でもよい。

＜まとめ＞
本実施例によれば、撮像素子等の画角が小さいため、３つ以上の撮像素子等で撮像された画像データを合成する撮像装置５においても、３６０度画像から２７０度画像（又は１８０度画像、９０度画像）へ切り替えて広角な画像から任意の範囲を表示させることができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では不動産の内見を例にして説明したが、画像通信システム１００の適用例はこれに限られない。例えば、展示会、展覧会、工場見学、観光、視察、など現地の対象を指し示す場合に適用できる。

また、本実施形態では人間が撮像装置５で対象を撮像したが、機械やロボット、動物が指し示してもよい。

また、図１１、図２１などの構成例は、画像通信システム１００による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。画像通信システム１００の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

複数の通信管理システム７０が存在してもよいし、通信管理システム７０の機能が複数のサーバに分散していてもよい。画像データと音データを中継する中継装置があってもよい。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

５ 撮像装置
１０ 端末装置
２１ 撮像素子
３４ 入力画像処理モジュール
５０ 露光制御部
５１ 輝度値記憶部
５２ 輝度値比較部
７０ 通信管理システム
１００ 画像通信システム

特開2014－57156号公報

Claims (12)

1. 複数の撮像素子で撮像された画像データを合成して１つの撮像素子で撮像された画像データよりも広角な画像データを生成する撮像装置であって、
   任意の第一の撮像素子で撮像された第一の画像データの輝度平均値と、残りの撮像素子のうち任意の第二の撮像素子で撮像された第二の画像データの輝度平均値との差が所定の値以上の場合、前記第一の画像データと前記第二の画像データのうち輝度平均値の小さい方の画像データを合成に使用せず、
   前記第一の画像データと前記第二の画像データのうち輝度平均値の大きい方を出力するか、又は、輝度平均値の大きい方を輝度が低下していない残りの撮像素子の画像データとの合成に使用することを特徴とする撮像装置。
2. 任意の第一の撮像素子で撮像された第一の画像データの輝度平均値と、残りの撮像素子のうち任意の第二の撮像素子で撮像された第二の画像データの輝度平均値との差が所定の値以上であり、更に、
   前記第一の撮像素子で撮像された第一の画像データの輝度平均値、又は、前記第二の撮像素子で撮像された第二の画像データの輝度平均値の一方のみが所定の値以下の場合、
   前記第一の画像データと前記第二の画像データのうち輝度平均値の大きい方を出力するか、又は、輝度平均値の大きい方を輝度が低下していない残りの撮像素子の画像データとの合成に使用することを特徴とする請求項１に記載の撮像装置。
3. 複数の撮像素子で撮像された画像データを合成して１つの撮像素子で撮像された画像データよりも広角な画像データを生成する撮像装置であって、
   第一の撮像素子で撮像された第一の画像データの輝度平均値と、前記第一の画像データよりも後に前記第一の撮像素子で撮像された第二の画像データの輝度平均値との差が所定の値以上で、更に、前記第二の画像データの輝度平均値が所定の値以下の場合、
   前記第一の撮像素子を除いた残りの撮像素子が撮像した画像データを出力するか、又は、残りの撮像素子が撮像した複数の画像データを合成に使用することを特徴とする撮像装置。
4. 前記第一の撮像素子で撮像された前記第一の画像データの輝度平均値と、前記第一の画像データよりも後に前記第一の撮像素子で撮像された前記第二の画像データの輝度平均値との差が所定の値以上で、更に、前記第二の画像データの輝度平均値が所定の値以上の場合、
   前記第一の撮像素子を含む、複数の撮像素子で撮像された画像データの合成を再開することを特徴とする請求項３に記載の撮像装置。
5. 前記第一の撮像素子で撮像された複数の前記第一の画像データの輝度平均値と、前記第一の画像データよりも後に前記第一の撮像素子で撮像された複数の前記第二の画像データの輝度平均値との差が所定の値以上で、更に、複数の前記第二の画像データの輝度平均値が所定の値以下の場合、
   前記第一の撮像素子を除いた残りの撮像素子が撮像した画像データを出力するか、又は、残りの撮像素子が撮像した複数の画像データを合成に使用することを特徴とする請求項３に記載の撮像装置。
6. 前記第一の撮像素子で撮像された複数の前記第一の画像データの輝度平均値と、前記第一の画像データよりも後に前記第一の撮像素子で撮像された複数の前記第二の画像データの輝度平均値との差が所定の値以上で、更に、複数の前記第二の画像データの輝度平均値が所定の値以上の場合、
   前記第一の撮像素子を含む、複数の撮像素子で撮像された画像データの合成を再開することを特徴とする請求項５に記載の撮像装置。
7. 画像データを複数のブロックに分割して、ブロックごとに輝度平均値を求め、
   第一の撮像素子で撮像された第一の画像データのブロックごとの輝度平均値と、前記第一の画像データよりも後に前記第一の撮像素子で撮像された第二の画像データのブロックごとの輝度平均値との差が所定の値以上で、更に、
   輝度平均値が所定の値以下であるブロックの数が所定の数以上の場合、前記第一の撮像素子を除いた残りの撮像素子が撮像した画像データを出力するか、又は、残りの撮像素子が撮像した複数の画像データを合成に使用することを特徴とする請求項３に記載の撮像装置。
8. 輝度平均値が所定の値以下であった全てのブロックについて、前記第一の撮像素子で撮像された第一の画像データのブロックごとの輝度平均値と、前記第一の画像データよりも後に前記第一の撮像素子で撮像された第二の画像データのブロックごとの輝度平均値との差が所定の値以上で、更に、前記第二の画像データのブロックごとの輝度平均値が所定の値以上の場合、
   前記第一の撮像素子を含む、複数の撮像素子で撮像された画像データの合成を再開することを特徴とする請求項７に記載の撮像装置。
9. 複数の撮像素子で撮像された画像データを合成して１つの撮像素子で撮像された画像データよりも広角な画像データを生成する撮像装置が行う画像処理方法であって、
   任意の第一の撮像素子で撮像された第一の画像データの輝度平均値と、残りの撮像素子のうち任意の第二の撮像素子で撮像された第二の画像データの輝度平均値との差が所定の値以上の場合、前記第一の画像データと前記第二の画像データのうち輝度平均値の小さい方の画像データを合成に使用せず、
   前記第一の画像データと前記第二の画像データのうち輝度平均値の大きい方を出力するか、又は、輝度平均値の大きい方を残りの撮像素子の画像データとの合成に使用することを特徴とする画像処理方法。
10. 複数の撮像素子で撮像された画像データを合成して１つの撮像素子で撮像された画像データよりも広角な画像データを生成する撮像装置が行う画像処理方法であって、
    第一の撮像素子で撮像された第一の画像データの輝度平均値と、前記第一の画像データよりも後に前記第一の撮像素子で撮像された第二の画像データの輝度平均値との差が所定の値以上で、更に、前記第二の画像データの輝度平均値が所定の値以下の場合、
    前記第一の撮像素子を除いた残りの撮像素子が撮像した画像データを出力するか、又は、残りの撮像素子が撮像した複数の画像データを合成に使用することを特徴とする画像処理方法。
11. 複数の撮像素子で撮像された画像データを合成して１つの撮像素子で撮像された画像データよりも広角な画像データを生成する撮像装置に、
    任意の第一の撮像素子で撮像された第一の画像データの輝度平均値と、残りの撮像素子のうち任意の第二の撮像素子で撮像された第二の画像データの輝度平均値との差が所定の値以上の場合、前記第一の画像データと前記第二の画像データのうち輝度平均値の小さい方の画像データを合成に使用せず、
    前記第一の画像データと前記第二の画像データのうち輝度平均値の大きい方を出力するか、又は、輝度平均値の大きい方を残りの撮像素子の画像データとの合成に使用する処理を実行させるプログラム。
12. 複数の撮像素子で撮像された画像データを合成して１つの撮像素子で撮像された画像データよりも広角な画像データを生成する撮像装置に、
    第一の撮像素子で撮像された第一の画像データの輝度平均値と、前記第一の画像データよりも後に前記第一の撮像素子で撮像された第二の画像データの輝度平均値との差が所定の値以上で、更に、前記第二の画像データの輝度平均値が所定の値以下の場合、
    前記第一の撮像素子を除いた残りの撮像素子が撮像した画像データを出力するか、又は、残りの撮像素子が撮像した複数の画像データを合成に使用する処理を実行させるプログラム。

Images