JP6543108B2 - 情報処理装置およびその制御方法、並びにプログラム - Google Patents

Description

本発明は、情報処理装置およびその制御方法、並びにプログラムに関し、特に撮像装置にて撮影された全方位画像を用いたプレビュー枠表示方法に関する。

近年普及しつつあるネットワークカメラには、ネットワークを介して遠隔の映像を取り込んでその映像をモニタに表示させるとともに、パン、チルト、ズームなどのカメラ制御を遠隔で行えるものがある。また、魚眼レンズを搭載し、座標系を変換した上で一部を切り出して表示可能なネットワークカメラもある。

これらの操作を行うＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）には、矩形または円形の全方位画像を用いてパン、チルト、ズームや切り出し位置を指定するＧＵＩがある。矩形の全方位画像を用いたＧＵＩでは、矩形のプレビュー枠を表示し、マウスのクリックでプレビュー枠の中心を移動したり、ドラッグでプレビュー枠の大きさを変えたり、プレビュー枠を描画しなおしたりすることで、パン、チルト、ズーム制御を行えるものがある。また、円形の全方位画像を用いたＧＵＩでは、全方位画像上の任意の箇所をマウスでクリックすることで、パン、チルト制御や切り出し位置を変更できるものがある。

特許文献１では、パン、チルト、ズームを変化させることによって撮影可能な範囲を示す矩形の撮影画像上のプレビュー枠をマウスで操作することで、パン、チルト、ズーム制御を行うことが開示されている。また、特許文献２では、円形のパノラマ画像のクリックによるカメラ制御のＧＵＩが開示されている。

特許第３３１５５５４号公報 特許第５４６４２９０号公報

特許文献１の技術では、撮影可能な範囲を示す矩形上に撮影画像を表示させる。そのため、天井に設置したカメラの真下方向を見たい場合に、被写体の歪みが大きくなる可能性がある。特許文献２の技術では、円形のパノラマ画像を使用する特許文献１で開示されたような直観的なプレビュー枠の操作によるカメラ制御の要望がある。

また、矩形および円形の全方位画像のいずれでも、現在見えている映像の全方位画像上において対応部分をプレビュー枠で正確に囲むと、曲線で囲まれた複雑な形状になる。そのため、プレビュー枠のマウスドラッグでのスムーズな位置や大きさの変更が難しい。

本発明は、矩形の全方位画像上だけでなく円形のパノラマ画像上でもプレビュー枠を表示し、それを用いたカメラ制御を可能にすることを目的とする。

上記課題を解決するために本願発明は以下の構成を有する。すなわち、ネットワークを介してカメラ装置に接続された情報処理装置であって、前記カメラ装置が撮影した全方位画像を取得する取得手段と、前記取得手段にて取得した全方位画像を表示手段の表示画面に表示させる表示処理手段と、前記表示画面にて表示された全方位画像に重畳される枠であって、前記全方位画像から切り出される所定の視野範囲の部分画像の位置を決定するための枠に対するユーザー操作の検出に応じて、前記全方位画像に重畳される枠および当該枠に対応する前記部分画像の切り替えを行う制御手段とを備え、前記表示処理手段は、ユーザー操作を受け付けている間は、矩形の前記枠を前記表示画面に表示させ、前記枠に対するユーザー操作を受け付けていない間は、当該枠を、当該枠に対応する視野範囲に基づく、少なくとも一部が曲線で構成された形状で前記表示画面に表示させる。

本発明により、円形の全方位画像上でプレビュー枠を表示し、それを用いたカメラ制御におけるユーザーの利便性を向上できる。

システム構成例を示す図。 ビューワー端末のハードウェア構成例を示す図。 カメラ装置の設置例を示す図。 ビューワー画面の構成例を示す図。 球体モデル、円形の全方位画像、プレビュー枠の対応関係を表す図。 球体モデルへの内接と外接によるプレビュー枠の違いを表す図。 プレビュー枠外クリック時の画面の変化を説明するための図。 プレビュー枠外ドラッグ時の画面の変化を説明するための図。 プレビュー枠外クリック・ドラッグ時の処理のフローチャート。 プレビュー枠内ドラッグ時の画面の変化を説明するための図。 プレビュー枠内ドラッグ時の処理のフローチャート。 プレビュー枠上ドラッグ時の画面の変化を説明するための図。 プレビュー枠上ドラッグ時の処理のフローチャート。 球体モデル、矩形の全方位画像、プレビュー枠の対応関係を表す図。 円形の全方位画像上でのプレビュー枠操作時の画面の変化を説明するための図。 矩形の全方位画像上でのプレビュー枠操作時の画面の変化を説明するための図。 矩形の全方位画像と円形の全方位画像の自動切換時を説明するための図。 矩形の全方位画像と円形の全方位画像の自動切換時の処理のフローチャート。

以下に、本発明の一実施形態を、図面に基づいて詳細に説明する。

＜第一の実施形態＞
第一の実施形態では、円形の全方位画像上でプレビュー枠を用いてパン、チルト、ズーム制御、および画像切り出し制御が行える実施形態について説明する。

［システム構成］
図１は、本実施形態に係るシステム構成例を示す図である。本実施形態に係るシステムは、カメラ装置１、カメラ装置２、およびビューワー端末３を含み、各装置はネットワーク４を介して接続されている。

カメラ装置１は、ズームレンズ１０１、撮像部１０２、画像圧縮部１０３、可動雲台１０４、カメラ制御部１０５、通信部１０６、および全方位画像記憶部１０７を含んで構成される。また、カメラ装置１は、各種カメラ制御コマンドに応じて、パン、チルト、ズーム制御が可能であるとする。

ビューワー端末３からネットワーク４を介してパン、チルト、ズームいずれかのカメラ制御コマンドが送信されると、カメラ装置１は、通信部１０６によりカメラ制御コマンドを受信する。更に、通信部１０６は、受信したカメラ制御コマンドをカメラ制御部１０５に渡す。カメラ制御部１０５は、カメラ制御コマンドに対応して、パン、チルト制御信号を可動雲台１０４に、ズーム制御信号をズームレンズ１０１に送出することで、カメラ制御を実行する。また、それと並行して、画像圧縮部１０３は、撮像部１０２から受け取った画像をネットワーク配信可能な画像データに圧縮する。最後に、カメラ制御部１０５はカメラ制御結果を通信部１０６に渡し、画像圧縮部１０３は圧縮した画像データをメイン画像データとして通信部１０６に渡す。通信部１０６は、取得した情報を外部装置へと送信する。

なお、図１には記載されていないが、全方位画像作成端末（不図示）によって、カメラ装置１をパン、チルト制御しながら撮影された画像を合成、圧縮されることで得られる全方位画像のデータが、全方位画像記憶部１０７に保存される。

カメラ装置２は、魚眼レンズ２０１、撮像部２０２、画像圧縮部２０３、デワープ処理部２０４、カメラ制御部２０５、および通信部２０６を含んで構成される。また、カメラ装置２は、画像切り出し処理による仮想的なパン、チルト、ズーム制御が可能であるとする。

ビューワー端末３からネットワーク４を介してパン、チルト、ズームいずれかのカメラ制御コマンドが送信されると、カメラ装置２は、通信部２０６によりカメラ制御コマンドを受信する。更に、通信部２０６は、受信したカメラ制御コマンドをカメラ制御部２０５に渡す。カメラ制御部１０５は、カメラ制御コマンドに対応して、画像切り出しパラメーターを生成し、デワープ処理部２０４に送出する。次に、デワープ処理部２０４は、取得した画像切り出しパラメーターに応じて撮像部２０２から取得した全方位画像の歪みを低減するためのデワープ処理（座標系変換と切り出し処理）を行う。

最後に、画像圧縮部２０３は、デワープ処理後の画像をネットワーク配信可能な画像データに圧縮し、メイン画像データとして通信部２０６に渡す。また、それと並行して、撮像部２０２は、全方位画像を画像圧縮部２０３に直接渡し、画像圧縮部２０３はその全方位画像をネットワーク配信可能な画像データに圧縮して、全方位画像データとして通信部２０６に渡す。通信部２０６は、取得した各画像データを外部装置へと送信する。

これらのカメラ装置自体は、従来のカメラシステムと同様の構成を用いてもよいが、ネットワーク４を介してカメラ装置１、カメラ装置２と接続されるビューワー端末３の構成が、本願発明の特徴であり、従来のカメラシステムと異なる。ビューワー端末３のハードウェア構成については、図２を用いて後述するものとし、ここではソフトウェア構成の例について示す。ビューワー端末３は、メイン画像表示部３０１、全方位画像表示部３０２、画像伸長部３０３、プレビュー枠算出部３０４、操作入力部３０５、操作コマンド生成・解釈部３０６、および通信部３０７を含んで構成される。

操作入力部３０５は、マウスやタッチパネルなどを介して入力されたユーザー操作を検出する。操作入力部３０５が、ユーザーからのカメラ制御に関する操作を検出すると、操作コマンド生成・解釈部３０６とプレビュー枠算出部３０４がプレビュー枠の位置と大きさを決定する。また、プレビュー枠の位置と大きさに応じたカメラ制御コマンドが生成され、生成されたカメラ制御コマンドが通信部３０７を介してカメラ装置１またはカメラ装置２に送信される。ここで生成されるカメラ制御コマンドは、カメラ装置１、２それぞれの仕様に応じて、生成されるものとする。通信部３０７は、カメラ制御結果とともに、各カメラ装置からメイン画像データと、全方位画像データを受信する。これらの画像データは、画像伸長部３０３で表示可能なメイン画像、全方位画像に伸長され、メイン画像表示部３０１、および全方位画像表示部３０２に渡される。

［ハードウェア構成］
図２は、情報処理装置である、ビューワー端末３のハードウェア構成例を示す図である。ビューワー端末３は、一般的な情報処理装置のハードウェアで構成することができる。ＣＰＵ３１１は、ＲＯＭ３１３内のプログラム用ＲＯＭに記憶されたプログラムや、ハードディスク３２０からＲＡＭ３１２にロードされたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーション等のプログラムを実行する。

すなわち、ＣＰＵ３１１が、読み取り可能な記憶媒体に格納されたプログラムを実行することにより、図１のビューワー端末３の各部位として機能し、後述する各フローチャートの処理を実行する。ＲＡＭ３１２は、ＣＰＵ３１１のメインメモリであり、ワークエリア等として機能する。キーボードコントローラ３１４は、キーボード３１８や図示しないポインティングデバイス（マウス、タッチパッド、タッチパネル、トラックボールなど）からの操作入力を制御する。ディスプレイコントローラ３１５は、ディスプレイ３１９の表示を制御する。ディスクコントローラ３１６は、各種データを記憶するハードディスク（ＨＤ）３２０へのデータアクセスを制御する。ネットワークコントローラ（ＮＣ）３１７はネットワーク４に接続され、ネットワーク４に接続されたカメラ装置１、２との通信制御処理を実行する。

［配置および画像の例］
図３は、カメラの設置の一例を示す図である。また、図４は、ビューワー端末３にて表示される表示画面の概要を示す図である。

図３で示すように、ある空間においてカメラ装置１とカメラ装置２が天井に設置され、下を通る人物を撮影している。カメラ装置１とカメラ装置２は、ビューワー端末３にネットワーク４を介して接続されている。

図３の状態では、図４で示すように、ビューワー端末３上のビューワー画面にメイン画像４００と円形の全方位画像５１０が表示される。全方位画像５１０上には、プレビュー枠５１１とマウスカーソル５２０が表示され、ユーザーがマウスを操作することによってマウスカーソル５２０が動き、それに応じてプレビュー枠５１１の移動や大きさの変更が行える。メイン画像４００は、プレビュー枠５１１に対応した画像である。

ここで、ビューワー画面の構成は、カメラ装置１、カメラ装置２ともに共通であるとする。カメラ装置１およびカメラ装置２のビューワー画面において異なる点としては、カメラ装置１では、円形の全方位画像５１０がパン、チルトして撮影された複数の過去画像を繋ぎ合せた静止画像である。一方、カメラ装置２では、円形の全方位画像５１０が魚眼レンズ２０１で撮影されデワープされずに圧縮されたライブの動画像である。なお、円形の全方位画像を魚眼画像とも呼ぶ。

［画像の対応関係］
図５は、本実施形態に係るプレビュー枠を算出するための球体モデル、円形の全方位画像、プレビュー枠の対応関係を表す図である。

プレビュー枠を算出するための球体モデル５００はカメラ装置の視点を中心とした球体で示され、図３のように天井に設置したカメラ装置の場合は、球体の下半分が撮影可能範囲に対応する。枠５０１は、球体の視野範囲内の曲面に内接または外接し、視線方向と直交する平面領域としての平面５０２のうち、視野範囲の部分を示す。ここで、全方位画像５１０は、球体の下半分に射影されたシーンの映像を球体の垂直軸と直交する平面５０３に射影したものである。また、プレビュー枠５１１は、枠５０１の各頂点を平面５０３に射影し、直線で結んだ矩形である。

図６は、球体モデル５００への内接と外接によるプレビュー枠の違いを説明するための図である。図６（ａ）は、球体モデル５００を平面５０２上の点から見た図である。枠５０１は、視野範囲内の曲面５０６に内接する場合は面５０５に対応し、視野範囲内の曲面５０６に外接する場合は面５０４に対応する。曲面５０６を平面５０３に射影すると、その縁部分が図６（ｂ）および図６（ｃ）のプレビュー枠５１６になる。基準点５０８は、曲面５０６と視線方向を表す直線との交差する点を平面５０３に射影した点である。図６（ｂ）のプレビュー枠５１５は、平面５０３上に面５０５の４頂点を射影し、直線で結んだ矩形である。図６（ｃ）のプレビュー枠５１４は、平面５０３上に面５０５の４頂点を射影し、直線で結んだ矩形である。

ここで、曲面５０６の４頂点は面５０５の４頂点と一致するため、プレビュー枠５１５とプレビュー枠５１６の４頂点も一致する。また、曲面５０６の中心点および面５０４の中心点は視線方向を表す直線との交点で一致するため、プレビュー枠５１４の中心点と基準点５０８も一致する。プレビュー枠５１５、５１４は、両方同時に画面上に表示すると、ユーザーが視認しにくくなるため、いずれかを選択してプレビュー枠５１１としてビューワー画面上に表示する。なお、本実施形態では、プレビュー枠５１６はビューワー画面上に表示しない。

プレビュー枠５１５を表示するように選択した場合、実際に見える範囲に相当するプレビュー枠５１６よりも円形の全方位画像の中心寄りに表示され、全方位画像上からプレビュー枠がはみ出すことがないという利点がある。ただし、この場合は、基準点５０８とプレビュー枠５１５の中心点にずれが生じる。一方、プレビュー枠５１４を表示するように選択した場合、実際に見える範囲に相当するプレビュー枠５１６よりも円形の全方位画像の中心に対して外寄りに表示され、全方位画像上からプレビュー枠がはみ出す場合がある。ただし、この場合は、基準点５０８とプレビュー枠５１４の中心点にずれは生じない。これらの特徴に応じて、ユーザーはどちらを表示するかを選択できる。

［処理フロー］
以下、図７〜図１３を用いて、本実施形態に係る表示処理について説明する。ここでは、プレビュー枠に対するいずれかの位置を指定した場合の画面遷移を表示例と併せて説明する。

本実施形態では、操作入力部３０５に対してユーザー入力を行うためのデバイスとしてマウスを用いた例について説明する。ここでのマウス操作は、マウスの左側のボタンを主となる操作に使うものとし、右側のボタンを副となる操作に用いるものとする。しかし、これに限定するものではなく、逆の設定がなされているマウスの場合には、以下の処理フローでのマウス操作も右ボタンと左ボタンとが逆になる。また、特に指定する場合を除いて、以下に示すマウスアップ、マウスダウンの操作は、左側のボタンを用いた操作を指すものとする。なお、ドラッグとは、マウスダウンした状態で、マウスカーソルを移動させることを指す。

なお、図９、図１１、図１３、および図１８に示す各処理フローチャートは、ビューワー端末３のＣＰＵがＲＯＭ等に格納されたプログラムを実行することで実現される。

（プレビュー枠の枠外を指定した際の動作）
図７は、ユーザー操作により、プレビュー枠の外側の領域をクリックした時の表示の変遷を説明するための図である。図８は、プレビュー枠の外側の領域をドラッグした時の表示の変遷を説明するための図である。また、図９は、図７に係る操作を行った際の処理を表すフローチャートである。

図９に示す処理フローが開始される時点では、図７（ａ）のように、全方位画像５１０にプレビュー枠５１１が表示された状態であるとする。

Ｓ１０１にて、ビューワー端末３は、マウスダウンが行われたか否かを検知する。マウスダウンが行われていない場合は（Ｓ１０１にてＮＯ）本処理フローを終了する。マウスダウンが行われた場合（Ｓ１０１にてＹＥＳ）、ビューワー端末３は、マウスダウンが行われた位置（以下、マウスダウン位置）が、現在表示されているプレビュー枠５１１の枠外であって、かつ、全方位画像５１０上であるか否かを判定する。上記条件を満たさない場合（Ｓ１０２にてＮＯ）本処理フローを終了する。上記条件を満たす場合（Ｓ１０２にてＹＥＳ）、Ｓ１０３にて、ビューワー端末３は、マウスダウン位置を基準点５０８とする別のプレビュー枠５１２を表示する。図７（ｂ）のように、プレビュー枠５１２は、プレビュー枠５１１と識別可能なように、例えば、線種や線の色が異なるように表示される。このとき、プレビュー枠５１１、５１２に対応する視野範囲である曲面５０６の大きさ（つまり、ズーム位置もしくは画角）が維持されるように、プレビュー枠算出部３０４がプレビュー枠５１２の大きさを算出する。例えば、円形の全方位画像５１０において、円の中心に近い位置をマウスダウンするほど、同じ大きさであってもプレビュー枠５１２は大きく表示される。これは、図５に示すように、平面５０３に射影した際の関係に起因する。また、全方位画像５１０の中心位置と基準点５０８との位置関係に応じてプレビュー枠５１２はプレビュー枠５１１から回転される。

Ｓ１０４にて、ビューワー端末３は、ドラッグが行われたか否かを検知する。ドラッグが行われていない場合は（Ｓ１０４にてＮＯ）、Ｓ１０６へ進む。ドラッグが行われた場合は（Ｓ１０４にてＹＥＳ）、Ｓ１０５にて、ビューワー端末３は、マウスダウン位置と、ドラッグされることにより移動した現在のマウスカーソル５２０の位置とに応じて、プレビュー枠５１２を再描画する。このとき、プレビュー枠算出部３０４は、図８（ｂ）のように、基準点５０８の位置が変わらず、ユーザー操作によるマウスカーソル５２０の移動に合せてマウスカーソル５２０の位置が常にプレビュー枠５１２上になるように大きさを変化させる。その後、Ｓ１０６へ進む。

Ｓ１０６にて、ビューワー端末３は、マウスアップが行われたか否かを検知する。マウスアップが行われていない場合は（Ｓ１０６にてＮＯ）Ｓ１０７へ進み、マウスアップが行われた場合には（Ｓ１０６にてＹＥＳ）Ｓ１０９へ進む。

Ｓ１０７にて、ビューワー端末３は、右クリックがされたか否かを判定する。右クリックがされていない場合は（Ｓ１０７にてＮＯ）Ｓ１０４へ戻り、右クリックがされた場合は（Ｓ１０７にてＹＥＳ）Ｓ１０８へ進む。Ｓ１０８にて、ビューワー端末３は、プレビュー枠５１２に対する操作をキャンセルし、プレビュー枠５１１のみが表示された状態（図７（ａ）の状態）に戻す。この場合は、カメラ制御コマンドは生成されず、送信も行われない。そして、本処理フローを終了する。

Ｓ１０９にて、ビューワー端末３は、プレビュー枠５１１を削除し、プレビュー枠５１２のみを表示した状態に変更する。これに伴って、ビューワー端末３は、変更後のプレビュー枠をプレビュー枠５１１として扱う。具体的な動作として、マウスダウンがされた後、ドラッグせずにマウスダウンした位置のままマウスアップすると（Ｓ１０４にてＮＯかつＳ１０６にてＹＥＳ）、図７（ａ）にて表示されていたプレビュー枠５１１が消える。そして、図７（ｃ）に示すように新たなプレビュー枠がプレビュー枠５１１として表示される。

その後、Ｓ１１０にて、ビューワー端末３は、新たなプレビュー枠５１１に対応したカメラ制御を行うためにカメラ制御コマンドをカメラ装置１もしくはカメラ装置２に送信する。つまり、プレビュー枠算出部３０４が、新たなプレビュー枠５１１に対応するカメラ制御パラメーターを算出し、操作コマンド生成・解釈部３０６がその算出したパラメーター対応したカメラ制御コマンドを生成する。そして、通信部３０７が、生成したカメラ制御コマンドをカメラ装置１またはカメラ装置２に送信する。

（プレビュー枠の枠内を指定した際の動作）
図１０は、ユーザー操作により、プレビュー枠内をドラッグした時の画面の遷移を説明するための図である。図１１は、図１０に係る操作を行った際の処理を表すフローチャートである。

Ｓ２０１にて、ビューワー端末３は、マウスダウンが行われたか否かを検知する。マウスダウンが行われていない場合は（Ｓ２０１にてＮＯ）、本処理フローを終了する。マウスダウンが行われた場合（Ｓ２０１にてＹＥＳ）、Ｓ２０２にて、ビューワー端末３は、マウスダウン位置が、プレビュー枠５１１の枠内か否かを判定する。枠内でない場合（Ｓ２０２にてＮＯ）本処理フローを終了する。枠内である場合（Ｓ２０２にてＹＥＳ）、Ｓ２０３にて、ビューワー端末３は、プレビュー枠５１１と同じ位置、同じ大きさでプレビュー枠５１２を表示する。このとき、図１０（ａ）に示すように、マウスカーソル５２０の形状が変化する。

その後、Ｓ２０４にて、ビューワー端末３は、ドラッグが行われたか否かを検知する。ドラッグが行われていない場合は（Ｓ２０４にてＮＯ）、Ｓ２０６へ進む。ドラッグが行われた場合（Ｓ２０４にてＹＥＳ）、Ｓ２０５にてビューワー端末３は、図１０（ｂ）のようにマウスカーソル５２０の動きに合わせてプレビュー枠５１１を平行移動させると共に、基準点５０８の位置に応じてプレビュー枠５１２を回転させて再描画する。このとき、プレビュー枠５１１、５１２に対応する視野範囲である曲面５０６の大きさ（つまり、ズーム位置）が維持されるように、プレビュー枠算出部３０４がプレビュー枠５１２の大きさを算出する。その後、Ｓ２０６へ進む。

Ｓ２０６にて、ビューワー端末３は、マウスアップが行われたか否かを検知する。マウスアップが行われていない場合は（Ｓ２０６にてＮＯ）Ｓ２０７へ進み、マウスアップが行われた場合には（Ｓ２０６にてＹＥＳ）Ｓ２０９へ進む。

Ｓ２０７にて、ビューワー端末３は、右クリックがされたか否かを判定する。右クリックがされてない場合は（Ｓ２０７にてＮＯ）Ｓ２０４へ戻り、右クリックがされた場合は（Ｓ２０７にてＹＥＳ）Ｓ２０８へ進む。Ｓ２０８にて、ビューワー端末３は、プレビュー枠５１２の操作をキャンセルし、プレビュー枠５１１のみが表示された状態（図１０（ａ）の状態）に戻す。この場合は、カメラ制御コマンドは生成されず、送信も行われない。そして、本処理フローを終了する。

Ｓ２０９にて、ビューワー端末３は、プレビュー枠５１１を削除し、プレビュー枠５１２のみを表示した状態に変更する。これに伴って、ビューワー端末３は、変更後のプレビュー枠をプレビュー枠５１１として扱う。具体的な例として、図１０（ｃ）のように表示される。

その後、Ｓ２１０にて、ビューワー端末３は、新たなプレビュー枠５１１に対応したカメラ制御を行うためにカメラ制御コマンドをカメラ装置１もしくはカメラ装置２に送信する。つまり、プレビュー枠算出部３０４が、新たなプレビュー枠５１１に対応するカメラ制御パラメーターを算出し、操作コマンド生成・解釈部３０６がその算出したパラメーターに対応したカメラ制御コマンドを生成する。そして、通信部３０７が、生成したカメラ制御コマンドをカメラ装置１またはカメラ装置２に送信する。

（プレビュー枠の枠上をドラッグした際の動作）
図１２は、ユーザー操作により、プレビュー枠上をドラッグした時の画面の遷移を説明するための図である。図１３は、図１２に係る操作を行った際の処理を表すフローチャートである。

Ｓ３０１にて、ビューワー端末３は、マウスダウンが行われたか否かを検知する。マウスダウンが行われていない場合（Ｓ３０１にてＮＯ）、本処理フローを終了する。マウスダウンが行われた場合（Ｓ３０１にてＹＥＳ）、Ｓ３０２にて、ビューワー端末３は、マウスダウン位置が、プレビュー枠５１１の枠上か否かを判定する。枠上でない場合（Ｓ３０２にてＮＯ）、本処理フローを終了する。枠上である場合（Ｓ３０２にてＹＥＳ）、Ｓ３０３にて、ビューワー端末３は、プレビュー枠５１１と同じ位置、同じ大きさでプレビュー枠５１２を表示する。例えば、枠上でマウスダウンをした時点では、図１２（ａ）のようにプレビュー枠５１１とプレビュー枠５１２が重畳表示され、このとき、マウスカーソル５２０の形状が変化する。

その後、Ｓ３０４にて、ビューワー端末３は、ドラッグが行われたか否かを検知する。ドラッグが行われていない場合は（Ｓ３０４にてＮＯ）、Ｓ３０６へ進む。ドラッグが行われた場合は（Ｓ３０４にてＹＥＳ）、Ｓ３０５にて、ビューワー端末３は、プレビュー枠５１２をマウスカーソル５２０の動きに合わせて拡大または縮小する。このとき、プレビュー枠算出部３０４は、図１２（ｂ）のように、基準点５０８の位置が変わらずマウスカーソル５２０が常にプレビュー枠５１２上になるように、ユーザー操作によるマウスカーソル５２０の動きに合わせてプレビュー枠５１２の大きさを調整する。その後、Ｓ３０６へ進む。Ｓ３０６以降の処理は、図１０のＳ２０６以降の処理と同様であるため、ここでの説明は省略する。

なお、図７〜図１３を用いた例では、マウス操作を前提とした操作について記載した。しかし、マウス操作の代わりにタッチパネル操作による構成においては、例えば、マウスダウンをタップ、マウスアップをタップ解除、ドラッグをスワイプ、右クリックをタップしている指とは別の指での２点タップに置き換えることで本実施形態を適用できる。

＜第二の実施形態＞
次に、矩形と円形の全方位画像を切り換えながら、両方でプレビュー枠を用いてパン／チルト／ズーム制御、および画像切り出し制御が行え、更に、操作中以外は視野範囲を正確に表すプレビュー枠を表示する第二の実施形態について説明する。

システム構成、設置イメージ、全方位画像が円形または矩形で固定された場合のプレビュー枠操作時の処理は、第一の実施形態にて示した内容と共通のため説明を省略し、差分のみを説明する。

図１４は、プレビュー枠を算出するための球体モデル、矩形の全方位画像、プレビュー枠の対応関係を表す図である。

プレビュー枠を算出するための球体モデル５００および枠５０１は第一の実施形態にて示した図３と共通であるが、本実施形態では、射影面が球体モデルを取り囲む円筒５３０である点が異なる。円筒５３０上の枠５３２は球体の視野範囲内の曲面と幅が同じ矩形である。矩形の全方位画像５４０およびプレビュー枠５４２は、円筒５３０および枠５３２を平面に展開して高さ方向に圧縮したものに相当する。これは正距円筒図法と呼ばれる射影方式に相当し、チルト角度が等間隔の線５３１が円筒５３０上では下に行くほど間隔が広くなるのに対して、矩形の全方位画像５４０上では線５４１のように等間隔になる。

図１５は、本実施形態の円形の全方位画像上のプレビュー枠外でドラッグした際の画面の遷移を説明するための図である。

処理の流れは第一の実施形態にて述べた図９のフローチャートと共通であるが、プレビュー枠５１１が矩形ではなく、図６のプレビュー枠５１６に相当するような形状である点が異なる。マウス操作の対象であるプレビュー枠５１２は矩形となるが、未操作時および操作完了後のプレビュー枠５１１は視野範囲を正確に表すように曲線で囲まれた枠になる。

図１６は、本実施形態の矩形の全方位画像上のプレビュー枠内でドラッグした際の画面の遷移を説明するための図である。

処理の流れは第一の実施形態にて述べた図１１のフローチャートと共通である。しかし、図１５に示す円形の全方位画像上でのプレビュー枠と同様に、マウス操作の対象であるプレビュー枠５４２は矩形となるが、未操作時および操作完了後のプレビュー枠５４３は視野範囲を正確に表すように曲線で囲まれた枠になる。図１６（ａ）に示すプレビュー枠５４３は、画面の下部に移動させることにより、図１４に示した構成の特性上、図１６（ｄ）に示すように幅広の状態となる。

図１７は、矩形の全方位画像と円形の全方位画像を自動切換する場合の画面例を示す。図１８は図１７に係る処理を表すフローチャートである。

全方位画像表示部３０２は、ビューワー画面６００を表示する。図１７（ａ）に示すように、矩形の全方位画像は、矩形全方位タブ６１０が選択された際に表示される。図１７（ｂ）に示すように、円形の全方位画像は、円形全方位タブ６２０が選択された際に表示される。プルダウンリスト６３０でタブを自動切換するか否かを選択することができる。各全方位画像には同じチルト角度を表す区切り線５５０が表示される。プルダウンリスト６３０で「自動切換」を選んだ場合はプレビュー枠が区切り線５５０をまたぐか否かで自動的にタブが切り換えられる。この区切り線５５０は、プレビュー枠に対応する画像に対する視線方向もしくは視野範囲と、全方位画像の中心との距離が所定の範囲に収まる範囲を示している。ここでの所定の範囲は、画像の歪みを考慮して予め定義されているものとする。

「自動選択」を選んでいない場合は、プレビュー枠に対する移動等の指示を行ったとしても自動的な表示の切り替えは行われない。その他、ユーザーは任意のタイミングでタブを選択することで、いずれかの表示に切り替えることができるものとする。

図１８のフローチャートはプレビュー枠の枠内をドラッグした場合の処理を表す。図１１のフローチャートからＳ４０１、Ｓ４０２が追加されている。ここでは、重複する処理に関しては、同じ参照番号を付与し説明を省略する。

Ｓ２０６にて、マウスアップを検知すると（Ｓ２０６にてＹＥＳ）、Ｓ４０１にて、ビューワー端末３は、移動させたプレビュー枠の基準点５０８の位置が区切り線５５０を超えたか否かを判定する。例えば、矩形の全方位画像の場合、基準点５０８の位置が区切り線５５０の下側に移動した場合に超えたと判定する。また、円形の全方位画像の場合は、基準点５０８の位置が区切り線５５０の外側に移動した場合に超えたと判定する。超えた場合には（Ｓ４０１にてＹＥＳ）Ｓ４０２へ進み、超えていない場合には（Ｓ４０１にてＮＯ）Ｓ２０９へ進む。

Ｓ４０２にて、ビューワー端末３は、もう一方のタブに切り換え、その選択された表示形態にてその後の処理が行われる。具体的には、矩形の全方位画像が表示されていた場合には、円形の全方位画像に表示を切り替える。逆の場合も同様である。その後、Ｓ２１０へ進む。なお、区切り線５５０をまたいだか否かの判定は、プレビュー枠のいずれかの頂点、またはプレビュー枠全体が区切り線５５０を超えるか否かで判定してもよい。

この表示の切り替えにより、プレビュー枠の形状は、円形の全方位画像上では図１５（ａ）のプレビュー枠５１１で示したような狭い形状で表示されることを避けることができる。同様に、矩形の全方位画像上では図１５（ｄ）のプレビュー枠５４３で示したような幅の広い形状で表示されることを避けることができる。その結果、視野範囲内の映像の歪みが大きくなりすぎることがなくなる。

以上、本発明の一実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形、及び変更が可能である。

＜その他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１、２・・・カメラ装置、３・・・ビューワー装置、３０１・・・メイン画像表示部、３０２・・・全方位画像表示部、３０３・・・画像伸長部、３０４・・・プレビュー枠算出部、３０５・・・操作入力部、３０６・・・操作コマンド生成・解釈部、３０７・・・通信部

Claims (16)

1. ネットワークを介してカメラ装置に接続された情報処理装置であって、
   前記カメラ装置が撮影した全方位画像を取得する取得手段と、
   前記取得手段にて取得した全方位画像を表示手段の表示画面に表示させる表示処理手段と、
   前記表示画面にて表示された全方位画像に重畳される枠であって、前記全方位画像から切り出される所定の視野範囲の部分画像の位置を決定するための枠に対するユーザー操作の検出に応じて、前記全方位画像に重畳される枠および当該枠に対応する前記部分画像の切り替えを行う制御手段と
   を備え、
   前記表示処理手段は、ユーザー操作を受け付けている間は、矩形の前記枠を前記表示画面に表示させ、前記枠に対するユーザー操作を受け付けていない間は、当該枠を、当該枠に対応する視野範囲に基づく、少なくとも一部が曲線で構成された形状で前記表示画面に表示させることを特徴とする情報処理装置。
2. 前記表示画面にて表示された全方位画像に重畳される枠に対するユーザー操作に応じて、前記カメラ装置への制御コマンドを生成する生成手段と、
   前記生成手段にて生成された制御コマンドを前記カメラ装置へ送信する送信手段と
   を更に有し、
   前記取得手段は、前記送信手段にて送信された制御コマンドに従って制御された前記カメラ装置から新たな画像を取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記制御コマンドは、パン、チルト、およびズームのいずれかに関する制御のためのコマンドであることを特徴とする請求項２に記載の情報処理装置。
4. 前記表示処理手段は、前記枠に対するユーザー操作を受け付けている間は、当該ユーザー操作が完了するまで、元の位置の枠およびユーザー操作を受け付けている間の枠の両方を識別可能に表示することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
5. 前記ユーザー操作は、前記表示画面に対するマウス操作もしくはタッチパネル操作により行われることを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。
6. 前記全方位画像に重畳される前記枠は、前記カメラ装置を取り囲む球体モデルにて表される視野範囲を、前記全方位画像に射影して得られることを特徴とする請求項１乃至５のいずれか一項に記載の情報処理装置。
7. 前記球体モデルと視線方向が交差する点を前記全方位画像に射影した点を前記枠の基準点とし、
   前記制御手段は、ユーザー操作により前記枠の枠外の第一の位置を指示された場合、前記第一の位置を新たな前記枠の基準点とし、前記枠が前記全方位画像の中心位置に対する前記第一の位置の方向に応じた向きとなり、かつ、元の画角を維持する大きさに変更されるように、前記枠の表示および当該枠に対応する画像を切り替えることを特徴とする請求項６に記載の情報処理装置。
8. 前記球体モデルと視線方向が交差する点を前記全方位画像に射影した点を前記枠の基準点とし、
   前記制御手段は、ユーザー操作により前記枠の枠内の第一の位置が指示され、更に、前記第一の位置とは異なる前記全方位画像内の第二の位置が指示された場合、前記枠の基準点を前記第二の位置へ平行移動させると共に、前記第一の位置と前記第二の位置の距離と方向に応じて前記枠を前記全方位画像の中心位置に対する前記枠の基準点の方向に応じた向きに回転させ、元の画角を維持する大きさに変更されるように、前記枠の表示および当該枠に対応する前記部分画像を切り替えることを特徴とする請求項６に記載の情報処理装置。
9. 前記球体モデルと視線方向が交差する点を前記全方位画像に射影した点を前記枠の基準点とし、
   前記制御手段は、ユーザー操作により前記枠の枠外の第一の位置が指示され、更に、前記第一の位置とは異なる前記全方位画像内の第二の位置が指示された場合、前記第一の位置を新たな前記枠の基準点とし、前記枠が前記全方位画像の中心位置に対する前記第一の位置の方向に応じた向きとなり、かつ、前記枠の大きさが前記第一の位置と前記第二の位置との距離に応じて変更されるように、前記枠の表示および当該枠に対応する前記部分画像を切り替えることを特徴とする請求項６に記載の情報処理装置。
10. 前記球体モデルと視線方向が交差する点を前記全方位画像に射影した点を前記枠の基準点とし、
    前記制御手段は、ユーザー操作により前記枠の枠上の第一の位置が指示され、更に、前記第一の位置とは異なる前記全方位画像内の第二の位置が指示された場合、前記枠の基準点および前記枠の前記全方位画像の中心位置に対する向きを維持しつつ、前記枠の大きさが前記第一の位置と前記第二の位置の距離に応じて変更されるように、前記枠の表示および当該枠に対応する前記部分画像を切り替えることを特徴とする請求項６に記載の情報処理装置。
11. 前記矩形の枠は、前記球体モデルにて表される視野範囲を、前記全方位画像に射影して直線で結んだ矩形の枠であり、
    前記少なくとも一部が曲線で構成された形状は、前記球体モデルにて示される視野範囲の曲面の領域としての矩形でない形状である
    ことを特徴とする請求項６に記載の情報処理装置。
12. ネットワークを介してカメラ装置に接続された情報処理装置であって、
    前記カメラ装置が撮影した全方位画像を取得する取得手段と、
    前記取得手段にて取得した全方位画像を表示手段の表示画面に表示させる表示処理手段と、
    前記表示画面にて表示された全方位画像に重畳される枠であって、前記全方位画像から切り出される画像に対応する枠に対するユーザー操作の検出に応じて、前記全方位画像に重畳される枠および当該枠に対応する前記画像の切り替えを行う制御手段と
    を備え、
    前記全方位画像に重畳される枠は、前記カメラ装置を取り囲む球体モデルにて表される視野範囲を、前記全方位画像に射影して得られ、
    前記表示処理手段は、全方位画像を矩形および円形のいずれかにて切り替えて前記表示画面に表示させることが可能であり、
    前記表示処理手段は、前記枠に対応する画像に対する視線方向もしくは視野範囲と円形の全方位画像の中心との距離が所定の範囲に収まる場合は円形の全方位画像を表示させ、前記所定の範囲に収まらない場合は矩形の全方位画像を表示するように切り替えることを特徴とする情報処理装置。
13. 前記表示手段による矩形および円形のいずれかの全方位画像を自動的に切り替えて表示するか否かの設定を受け付ける手段を更に有し、
    前記表示処理手段は、前記設定に応じて切り替えを行うことを特徴とする請求項１２に記載の情報処理装置。
14. ネットワークを介してカメラ装置に接続された情報処理装置の制御方法であって、
    前記カメラ装置が撮影した全方位画像を取得する取得工程と、
    前記取得工程にて取得した全方位画像を表示手段の表示画面に表示させる表示処理工程と、
    前記表示画面にて表示された全方位画像に重畳される枠であって、前記全方位画像から切り出される所定の視野範囲の部分画像の位置を決定するための枠に対するユーザー操作に応じて、前記全方位画像に重畳される枠および当該枠に対応する前記部分画像の切り替えを行う制御工程と
    を有し、
    前記表示処理工程において、ユーザー操作を受け付けている間は、矩形の前記枠を前記表示画面に表示させ、前記枠に対するユーザー操作を受け付けていない間は、当該枠を、当該枠に対応する視野範囲に基づく、少なくとも一部が曲線で構成された形状で前記表示画面に表示させることを特徴とする情報処理装置の制御方法。
15. ネットワークを介してカメラ装置に接続された情報処理装置の制御方法であって、
    前記カメラ装置が撮影した全方位画像を取得する取得工程と、
    前記取得工程にて取得した全方位画像を表示手段の表示画面に表示させる表示処理工程と、
    前記表示画面にて表示された全方位画像に重畳される枠であって、前記全方位画像から切り出される画像に対応する枠に対するユーザー操作の検出に応じて、前記全方位画像に重畳される枠および当該枠に対応する前記画像の切り替えを行う制御工程と
    を有し、
    前記全方位画像に重畳される枠は、前記カメラ装置を取り囲む球体モデルにて表される視野範囲を、前記全方位画像に射影して得られ、
    前記表示処理工程において、全方位画像を矩形および円形のいずれかにて切り替えて前記表示画面に表示させることが可能であり、
    前記表示処理工程において、前記枠に対応する画像に対する視線方向もしくは視野範囲と円形の全方位画像の中心との距離が所定の範囲に収まる場合は円形の全方位画像を表示させ、前記所定の範囲に収まらない場合は矩形の全方位画像を表示するように切り替えることを特徴とする情報処理装置の制御方法。
16. コンピュータを、請求項１乃至１３のいずれか一項に記載の情報処理装置の各手段として制御するためのプログラム。