JP2013085041A - 情報処理装置、その処理方法及びプログラム - Google Patents

Abstract

【課題】マスクの表示対象となる領域の設定をユーザが容易且つ確実に行なえるようにする。
【解決手段】情報処理装置は、画像の一部の領域をマスクするマスク合成部を有し複数の視点からの画像を撮像可能に構成される撮像装置に接続される。情報処理装置は、撮像装置が撮像可能な複数の視点のうちいずれかの視点で撮像される画像に対してマスク合成部によりマスクされる領域を所定のアルゴリズムに従って算出する算出手段と、算出手段により算出された領域に基づいて、複数の視点において撮像装置により撮像される画像内で常にマスクされる第１のマスク領域を算出する合成領域算出手段と、複数の視点のいずれかにおいて撮像装置により撮像された所定の画像に第１のマスク領域を合成する合成手段と、ユーザの指示に従って所定の画像においてマスクの表示対象となる領域を設定する際に、合成手段による合成後の画像を表示器に表示する表示制御手段とを具備する。
【選択図】図１

Description

本発明は、情報処理装置、その処理方法及びプログラムに関する。

一般に、撮像装置（例えば、監視カメラ）においては、撮像画像内の特定の領域を通過する人物などのプライバシーを保護する機能が備えられている。このような機能としては、例えば、撮像画像内の一部の領域を塗りつぶして出力するプライバシーマスク（単に、マスクと呼ぶ）合成機能が知られている。

このようなカメラに関連する技術として、マスクの中央座標と形状サイズパラメーターを保持することによって、パン、チルトなどの首振り時でも、画像の変化に合わせてマスクの形状を保ったままその位置を移動させる技術が知られている（特許文献１）。

また、マスクの各頂点に対応する角度情報を保持し、パン、チルトなどの首振り時でも、各頂点に対応する画像上の座標を算出することで、画像の変化に合わせてマスクの形状及び位置を変化させる技術も知られている（特許文献２）。

特開２００１−０６９４９４号公報 特開２００４−０１５３６２号公報

上述した特許文献１に開示された技術では、マスクの中央座標から離れたところに映っている物体は、特定のパン、チルト角度では被覆されてるが、それとは異なるパン、チルト角度にカメラ制御すると見えてしまう場合がある。また、この技術では、常に被覆されないようにしたい物体があったとしても、特定のパン及びチルト角度では被覆されないが、それとは異なるパン及びチルト角度では被覆されてしまう場合が生じる。

これは、チルト角度が天頂部に近くなると、特定のパン及びチルト角度で撮像された画像上の物体は、別のパン及びチルト角度で撮像された画像上では形状が変化するが（回転方向の変化も含む）、マスクの形状がそれに合わせて変化しないためである。

また、特許文献２に開示された技術では、画像の変化に合わせてマスクの形状が変化するので、上述したような問題は発生しない。しかし、カメラ側でマスクの形状を変更するには、カメラ側の描画処理の負荷が高くなり、首振り制御時のマスクの追随性が悪くなる場合がある。追随性が悪くなると、首振り制御中の画像上の物体よりも遅れてマスクの位置や形状が変化することになるので、首振り速度が速くなるほど物体の一部が被覆されず、見えてしまう。

こうした問題は、パン及びチルトの角度を変更する首振り制御時だけでなく、カメラの光軸を中心に回転するローテーション制御でも同様であり、パン、チルト、ローテーションのいずれかによって決まるカメラの視点位置が変化した場合に発生する。

本発明は、上記課題に鑑みてなされたものであり、マスクの表示対象となる領域の設定をユーザが容易且つ確実に行なえるようにした技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様は、画像の一部の領域をマスクするマスク合成部を有し複数の視点からの画像を撮像可能に構成される撮像装置に接続される情報処理装置であって、前記撮像装置が撮像可能な複数の視点のうちいずれかの視点で撮像される画像に対して前記マスク合成部によりマスクされる領域を所定のアルゴリズムに従って算出する算出手段と、前記算出手段により算出された領域に基づいて、前記複数の視点において前記撮像装置により撮像される画像内で常にマスクされる第１のマスク領域を算出する合成領域算出手段と、前記複数の視点のいずれかにおいて前記撮像装置により撮像された所定の画像に前記第１のマスク領域を合成する合成手段と、ユーザの指示に従って前記所定の画像においてマスクの表示対象となる領域を設定する際に、前記合成手段による合成後の画像を表示器に表示する表示制御手段とを具備する。

本発明によれば、マスクの表示対象となる領域の設定をユーザが容易且つ確実に行なえる。

本発明の一実施の形態に係わる撮像システムの構成の一例を示す図。 マスクを設定する際に用いられる画面イメージの一例を示す図。 マスクを設定する際に用いられる画面イメージの一例を示す図。 コントローラ３０の処理の流れの一例を示すフローチャート。 コントローラ３０における処理の概要の一例を示す図。 コントローラ３０の処理の流れの一例を示すフローチャート。 実施形態２に係わるコントローラ３０の処理の流れの一例を示すフローチャート。 実施形態２に係わるコントローラ３０における処理の概要の一例を示す図。 変形例の一例を示す図。

図１は、本発明の一実施の形態に係わる撮像システムの構成の一例を示す図である。

撮像システムにおいては、プライバシーマスク（単に、マスクと呼ぶ）合成機能を持ったカメラ１０と、当該カメラ１０が合成するマスクの設定を行なうコントローラ（情報処理装置）３０とが具備される。カメラ１０及び当該コントローラ３０は、例えば、ネットワーク５０等の通信手段を介して通信可能に接続されている。

カメラ（撮像装置）１０は、撮像時の視点位置を変更可能な可動部（回転機構１２、可動雲台１３）と、撮像画像の一部の領域をマスクするマスク合成部（マスク合成部１６）とを有し、複数の視点からの撮像が可能に構成される。より具体的には、パン、チルト、ローテーションのうち少なくともいずれかの駆動が可能されるとともに、撮像画像の一部をマスクする。カメラ１０は、視点が変わった場合には、マスクの形状を保ったまま、その位置のみを移動させて種々の視点における撮像画像に対してマスクを設定する。

ここで、カメラ１０及びコントローラ３０は、ネットワーク５０上に複数台配されていても良いが、ここでは、説明を分かり易くするため、それぞれ１台ずつ配した構成を示している。また、撮像システムには、映像を閲覧したりカメラを制御したりするビューワークライアントが接続されていても良い。

ネットワーク５０に関しても、各種制御信号、圧縮した画像信号等を通信するのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればどのようなものでも良い。また、ここでは、ネットワークプロトコルとしてＴＣＰ／ＩＰ（ＵＤＰ／ＩＰ）プロトコルを使用する場合について説明する。そのため、以下、アドレスといった場合にはＩＰアドレスを指し、カメラ１０及びコントローラ３０には、それぞれＩＰアドレスが割り当てられているものとする。

ここで、カメラ１０には、レンズ１１と、回転機構１２と、可動雲台１３と、撮像部１４と、カメラ制御部１５と、マスク合成部１６と、圧縮部１７と、通信制御部１８と、記憶部１９と、コマンド解釈部２０とが具備される。

通信制御部１８は、カメラ１０と外部装置（例えば、コントローラ３０）との間の通信制御を司る。通信制御部１８においては、例えば、コントローラ３０やビューワークライアント（不図示）から受信したコマンドに応じて、ネットワーク５０を介して画像を配信する。また、ネットワーク５０を介したコントローラ３０からのカメラ操作コマンドを受信する。これにより、カメラ制御部１５においては、当該コマンドに基づいて、各種カメラ操作を実行する。

撮像部１４は、レンズ１１を介して撮像画像（動画及び静止画）を取り込む。マスク合成部１６においては、マスクが有効になっていれば、撮像部１４により取り込まれた撮像画像に対して、マスクを合成する。圧縮部１７は、撮像画像をビューワークライアント（不図示）に配信し易いデータサイズに圧縮する。

記憶部１９は、各種設定値及びデータを保持する。記憶部１９には、例えば、コントローラ３０から送信されたマスクの設定値やパノラマ画像などが保持される。なお、パノラマ画像とは、カメラ１０を首振り制御することによって複数の連続する視点で撮像された複数の撮像画像を合成した横幅又は縦長の画像である。

可動雲台１３及び回転機構１２は、カメラ１０の可動部として機能する。可動雲台１３は、カメラ１０のパン及びチルト制御を行なう。また、回転機構１２は、カメラ１０の光軸を中心にカメラ１０を回転させるローテーション制御を行なう。可動雲台１３及び回転機構１２は、カメラ制御部１５によりその動作が制御される。

コマンド解釈部２０は、通信制御部１８を介してコントローラ３０から受信したカメラ操作コマンドを解釈する。

カメラ制御部１５は、カメラ１０の動作を統括制御する。カメラ制御部１５では、例えば、コマンド解釈部２０により解釈されたコマンドに従って、レンズ１１、回転機構１２、可動雲台１３をズーム、パン、チルト、ローテーション制御する。

圧縮部１７は、撮像部１４で取り込まれた撮像画像を圧縮する（例えば、ＭｏｔｉｏｎＪＰＥＧ）。圧縮されたデータは、例えば、通信制御部１８の制御によってネットワーク５０に送出される。なお、画像の圧縮形式は、ＭｏｔｉｏｎＪＰＥＧに限定されず、何でも良い。

続いて、コントローラ３０について説明する。コントローラ３０は、カメラ毎に割り当てられているＩＰアドレスを指定することによってカメラ１０に接続する。また、コントローラ３０には、マスクの設定を行なうマスク設定ツールがインストールされている。

ここで、コントローラ３０には、表示部３１と、表示制御部３２と、操作部３３と、コマンド処理部３４と、通信制御部３５と、伸長部３６と、合成処理部３７と、補正情報保持部４４とが具備される。なお、合成処理部３７内の合成方法指定部４３と、補正情報保持部４４とについては、実施形態１では必須の構成でないため、これら構成についての説明は後述する。

通信制御部３５は、コントローラ３０と外部装置（例えば、カメラ１０）との間の通信制御を司る。通信制御部３５においては、例えば、カメラ１０から送られてきた撮像画像（記憶部１９に保持されたパノラマ画像を含む）を受信するとともに、各種カメラ操作の結果を受信する。伸長部３６は、カメラ１０から送られてきた圧縮された撮像画像を伸長し、展開する。

表示部（表示器）３１は、例えば、液晶ディスプレイ等で実現され、各種情報をユーザに向けて表示する。表示制御部３２は、伸長部３６で展開された撮像画像や各種カメラ操作の結果に基づいて、グラフィカルユーザーインタフェース（ＧＵＩ）を生成し、表示部３１に表示する。操作部３３は、例えば、マウスやキーボード等により実現され、ユーザからの各種指示を装置内に入力する。

コマンド処理部３４は、各種コマンドを処理する機能を有し、操作コマンド処理部３４ａと、設定コマンド処理部３４ｂとを具備して構成される。

操作コマンド処理部３４ａは、操作部３３を介したユーザの指示（スライダーやボタン等の操作、パノラマ画像上でのマウスクリックといったＧＵＩ操作）に基づいて、パン、チルト、ズーム、ローテーションなどの各種カメラ操作コマンドを生成する。カメラ操作コマンドは、通信制御部３５の通信制御によりカメラ１０に向けて送信される。また、操作コマンド処理部３４ａは、カメラ１０から受信したカメラ操作結果を解釈し、その解釈結果を表示制御部３２に出力する。

設定コマンド処理部３４ｂは、操作部３３を介したユーザの指示（マスクの設定値に関する操作）に基づいて、マスク設定コマンドを生成する。マスク設定コマンドは、通信制御部３５の通信制御によりカメラ１０に向けて送信される。マスク設定コマンドとは、マスクの設定値に関する命令であり、より具体的には、カメラ１０によって撮像された撮像画像内においてマスクの表示対象となる領域を指示する命令である。

また、設定コマンド処理部３４ｂは、カメラ１０から受信したカメラ操作結果を解釈し、その解釈結果を表示制御部３２に出力する。設定コマンドは、通信制御部３５の通信制御によりカメラ１０に向けて送信される。マスクの設定値に関するユーザ指示や設定結果は、表示制御部３２に出力され、表示部３１で表示されるＧＵＩに反映されてユーザに視覚的にフィードバックされる。

合成処理部３７は、カメラ１０から入力される（マスク処理済みの）撮像画像に対して、第１のマスク領域及び第２のマスク領域を合成し、合成後の撮像画像を表示制御部３２に出力する。詳細については後述するが、第１のマスク領域は、カメラ１０がどの視点位置にあっても、マスク（設定済み又は設定中のマスク）により常に被覆される部分領域を示す。第２のマスク領域は、カメラの視点位置によっては、マスク（設定済み又は設定中のマスク）により被覆されたり被覆されなかったりする部分領域を示す。

ここで、合成処理部３７には、第１の算出部３８と、第２の算出部３９と、合成領域算出部４０と、合成部４１と、合成可否判定部４２と、合成方法指定部４３とが具備される。上述した通り、合成方法指定部４３についての説明は、ここでは省略する。

第１の算出部３８は、カメラ１０が撮像可能な複数の視点のうち、いずれかの視点で撮像される画像に対してカメラ１０によってマスクされる領域（第１の算出領域）を所定のアルゴリズムに従って算出する。ここで、コントローラ３０（第１の算出部３８）においては、カメラ１０のマスク合成部１６によりマスクを合成する際に使用されるマスク合成アルゴリズムと同じアルゴリズムが所定のアルゴリズムとして実装されている。そのため、第１の算出部３８においては、当該所定のアルゴリズムに従って、カメラ１０が撮像可能な複数の視点において画像上に合成されるマスクの領域を計算上で求めることができる。

第２の算出部３９は、第１の算出領域の算出元となる撮像装置の視点位置と、カメラ１０が撮像中の撮像画像（基準画像）における撮像時の視点位置とに基づいて、撮像中の撮像画像内において第１の算出領域に対応する領域（第２の算出領域）を算出する。

合成領域算出部４０は、カメラ１０が撮像中の撮像画像内（基準画像内）で常にマスクされる領域（第１のマスク領域）と、マスクされたりマスクされなかったりする領域（第２のマスク領域）とを算出する。この算出は、第２の算出領域と、カメラ１０が撮像中の撮像画像内でマスクされた領域とに基づいて行なわれる。

合成部４１は、合成対象として指定された画像上に第１のマスク領域及び第２のマスク領域を合成する。合成対象として指定される画像としては、撮像中の撮像画像や、カメラ１０の記憶部１９に保持されたパノラマ画像、等が挙げられる。撮像中の撮像画像内に写っている領域を少なくとも含む画像であれば何でも良い。

合成可否判定部４２は、上述した第１のマスク領域及び第２のマスク領域の面積が所定値（本実施形態においては、０とする）よりも小さいか否かを判定し、所定値よりも小さければ、合成部４１による合成を中止する。第１のマスク領域及び第２のマスク領域の面積が所定値よりも小さく、合成が中止された場合、その旨が表示制御部３２に出力される。これにより、表示部３１においては、合成が行なわれなかったことを通知するメッセージがユーザに向けて表示される。

以上が、本実施形態に係わる撮像システムの構成の一例についての説明である。なお、上述した、カメラ１０及びコントローラ３０には、コンピュータが内蔵されている。コンピュータには、例えば、ＣＰＵ（Central Processing Unit）等の主制御手段、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶手段が具備される。これら各構成部は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。

次に、図２（ａ）及び図２（ｂ）〜図３（ａ）及び図３（ｂ）を用いて、コントローラ３０において、マスクを設定する際に用いられる画面イメージについて説明する。

図２（ａ）に示すように、マスク設定画面６０には、表示欄６１の他、パンスライダー６２と、チルトスライダー６３と、ズームスライダー６４と、ローテーションボタン６５及び６６とが設けられている。これらスライダー及びボタンからの入力指示は、操作コマンド処理部３４ａによってカメラ操作コマンドに変換された後、カメラ１０に送信される。

また、当該表示欄６１内には、撮像画像が表示されており、その上にプレビュー枠６７が配されている。ここで、ユーザは、マウス等を操作して、プレビュー枠６７を所望の位置及び大きさに変更し、追加ボタン６８や変更ボタン６９を押下する。すると、図２（ｂ）に示すように、マスク７４が、プレビュー枠６７の位置及び大きさに合わせて表示される。これらボタンからの入力指示は、設定コマンド処理部３４ｂによってカメラ設定コマンドに変換された後、カメラ１０に送信される。

ここで、表示欄６１においては、図２（ａ）及び図２（ｂ）に示すように、第１のマスク領域７２及び第２のマスク領域７３が表示されている。第１のマスク領域７２及び第２のマスク領域７３は、例えば、追加ボタン６８や変更ボタン６９が押下された直後や、プレビュー枠６７を移動した直後の一定時間表示される。

第１のマスク領域７２は、カメラ１０がどの視点位置にあっても、マスク（設定済み又は設定中のマスク）により常に被覆される部分領域を示す。第２のマスク領域７３は、カメラの視点位置によっては、マスク（設定済み又は設定中のマスク）により被覆されたり被覆されなかったりする部分領域を示す。第１のマスク領域７２は、例えば、塗りつぶしで表示され、第２のマスク領域７３は、例えば、半透明で表示される。

ここで、ユーザが、マウス等を操作してパノラマボタン７１を押下したとする。この場合、図３（ａ）に示すように、パノラマ画像を表示するパノラマウィンドウ８０が表示される。

このとき、パノラマ画像表示欄８１においては、図２（ａ）及び図２（ｂ）に示すマスク７４、第１のマスク領域７２及び第２のマスク領域７３がパノラマ画像上に表示されている。また更に、図２（ａ）及び図２（ｂ）に示す撮像画像には写っていなかった別のマスク８３が表示されており、また、それに対応する第１のマスク領域８２及び第２のマスク領域８４も表示されている。このように、パノラマ画像上では、カメラの可動範囲全域で設定された複数のマスクにおける第１のマスク領域と第２のマスク領域とが一括表示される。

なお、図３（ｂ）は、上述した第１のマスク領域８２及び第２のマスク領域８４を非表示にした場合の画面レイアウトの一例を示している。これら領域が非表示にされている図３（ｂ）に示す画面は、従来技術に係わる画面レイアウトであるといえる。

次に、図４を用いて、上述した第１のマスク領域を表示する際のコントローラ３０の処理の流れについて説明する。

まず、コントローラ３０は、合成処理部３７において、マスクが表示される可能性のある複数のカメラの視点位置をピックアップする（Ｓ１０１）。このとき、選択される視点位置の数が多くなるほど、第１のマスク領域の表示精度は高くなるが、それに応じて算出時間も長くなってしまうので、なるべく範囲を絞り込むとともに離散的な視点位置が選択されるのが望ましい。

続いて、コントローラ３０は、合成処理部３７において、Ｓ１０１の処理でピックアップされた複数の視点位置のうち１つを選択する（Ｓ１０２でＹＥＳの後、Ｓ１０３）。そして、第１の算出部３８において、当該選択した視点位置での撮像画像に対して設定されるマスクにより被覆される領域を、被覆領域Ａ（第１の算出領域）として算出する（Ｓ１０３）。

コントローラ３０は、第２の算出部３９において、Ｓ１０４の処理で算出された被覆領域Ａに基づいて、カメラ１０の現在の視点位置での撮像画像上における被覆領域Ｂ（第２の算出領域）を算出する（Ｓ１０５）。このとき、被覆領域Ａ及びＢはそれぞれ、図５（ａ）に示すカメラ中心Ｑを基準とするパノラマ画像球面に外接し、その大きさが等しく、また、パン、チルト、ローテーションの角度の違いから異なる撮像画像平面に含まれるとみなすことができる。ここで、被覆領域Ａ及びＢが含まれる撮像画像平面を、それぞれ撮像画像平面Ａ及びＢとすると、被覆領域Ｂは、撮像画像平面Ａ上の被覆領域Ａを示す点を、撮像画像平面Ｂ上への射影変換式を適用することで算出できる。

被覆領域Ｂが算出された後、被覆領域Ｃ（第１のマスク領域）が現時点で未算出であれば（Ｓ１０６でＮＯ）、コントローラ３０は、当該被覆領域Ｂを被覆領域Ｃとして保持する（Ｓ１０７）。

また、被覆領域Ｃが算出済みであれば（Ｓ１０６でＹＥＳ）、コントローラ３０は、合成領域算出部４０において、Ｓ１０５の処理で算出した被覆領域Ｂと、既に算出済みの被覆領域ＣとをＡＮＤ演算する（被覆領域Ｂと被覆領域Ｃとの両方を含む部分領域）。そして、その演算結果を新たな被覆領域Ｃとして保持する（Ｓ１０８）。

被覆領域Ｃが算出されると、コントローラ３０は、合成可否判定部４２において、被覆領域Ｃの面積が所定値（本実施形態においては、０）よりも小さいか否かの判定を行なう。被覆領域Ｃの面積が所定値よりも小さければ（Ｓ１０９でＹＥＳ）、コントローラ３０は、表示制御部３２において、第１のマスク領域が表示されないことを通知するメッセージを表示部３１に表示する（Ｓ１１０）。この場合、第１のマスク領域が表示されずに、この処理は終了する。

Ｓ１０９の判定の結果、被覆領域Ｃの面積が所定値よりも小さくなければ（Ｓ１０９でＮＯ）、コントローラ３０は、再度、Ｓ１０２の処理に戻り、未選択の視点位置からいずれか１つを選択し、Ｓ１０３〜Ｓ１０９の処理を繰り返し行なう。このとき、Ｓ１０２の処理において、未選択の視点位置がなければ（Ｓ１０２でＮＯ）、コントローラ３０は、合成処理部３７において、被覆領域Ｃの平滑化を行なう（Ｓ１１１）。

ここで、図５（ｂ）は、被覆領域Ｂと被覆領域Ｃとの対応関係を示している。符号９０は、カメラ１０の現在の視点位置での撮像画像を示している。破線の矩形９１は、Ｓ１０５の処理で視点位置毎に算出された複数の被覆領域Ｂを示し、領域９２は、それらがＡＮＤ演算された後、Ｓ１１１の処理で平滑化された被覆領域Ｃを示す。平滑化前においては、符号９２で示す被覆領域Ｃはほぼ円形になっており、Ｓ１１１の処理の平滑化処理によって真円になる。

ここで、第１のマスク領域の出力先が撮像画像、すなわち、合成対象として指定された画像が現在撮像中の撮像画像であれば（Ｓ１１２でＹＥＳ）、コントローラ３０は、合成部４１において、当該撮像画像上に合成処理を行なう。すなわち、被覆領域Ｃを第１のマスク領域として撮像画像に合成する（Ｓ１１３）。その後、この処理を終了する。

一方、第１のマスク領域の出力先がパノラマ画像、すなわち、合成対象として指定された画像がパノラマ画像であれば（Ｓ１１２でＮＯ）、コントローラ３０は、合成部４１において、座標変換を行なう。すなわち、第１のマスク領域は、撮像画像上の座標値で算出されているため、それをパノラマ画像上の座標値に変換する。具体的には、コントローラ３０は、合成部４１において、図５（ａ）に示すパノラマ球面に外接する撮像画像平面からパノラマ球面に対する射影変換を行なう（Ｓ１１４）。そして、当該射影変換した被覆領域Ｃを第１のマスク領域としてパノラマ画像上に合成する（Ｓ１１５）。その後、この処理は終了する。

なお、ここでは、１つのマスクを画像上に合成する場合について説明したが、複数のマスクが設定されている場合は、Ｓ１１３を除く処理を、マスクの設定数と同じ回数繰り返し実施すれば良い。

次に、図６を用いて、上述した第２のマスク領域を表示する際のコントローラ３０の処理の流れについて説明する。

ここで、第２のマスク領域の表示に際しては、上述した第１のマスク領域の表示処理と同様の処理が行なわれる（Ｓ２０１〜Ｓ２１５）。但し、Ｓ２０８の処理において相違する。

具体的には、第２のマスク領域を表示する際には、コントローラ３０は、合成領域算出部４０において、Ｓ２０５の処理で算出した被覆領域Ｂと、既に算出済みの被覆領域ＣとをＯＲ演算する（被覆領域Ｂと被覆領域Ｃとの少なくともいずれかを含む部分領域）。そして、その演算結果を新たな被覆領域Ｃとして保持する。

Ｓ２１１の処理で平滑化された被覆領域Ｃは、図５（ｂ）の領域９３に対応する。領域９３は、複数の視点位置毎に算出された複数の被覆領域Ｂ（９１）のＯＲ演算の結果を平滑化したものとなる。

以上説明したよう実施形態１によれば、カメラ１０の視点位置を実際には変更させずに、複数の視点位置におけるマスクの領域を計算上で求め、それによって、第１のマスク領域や第２のマスク領域を表示する。
そのため、マスクの表示対象となる領域を設定する際に、カメラがどの視点位置であっても常にマスクされる第１のマスク領域と、カメラの視点位置によってはマスクされたりマスクされなかったりする第２のマスク領域とが表示される。

これにより、ユーザは、マスクによって確実に隠れる領域を容易に確認できる。そのため、ユーザは、マスクの表示対象となる領域の設定を容易且つ確実に行なえる。

（実施形態２）
次に、実施形態２について説明する。実施形態２においては、レンズ１１の歪曲収差や、カメラ１０駆動時の停止精度による影響を考慮した場合の実施形態について説明する。 ここで、レンズ１１に無視できない歪曲収差がある場合や、回転機構１２及び可動雲台１３に無視できないパン、チルト、ローテーションの停止精度の問題がある場合が考えられる。このような場合、第１のマスク領域及び第２のマスク領域として表示される領域が正確な位置とは、ずれて表示されてしまう可能性がある。

そこで、実施形態２においては、このような不具合を回避するための処理について説明する。具体的には、上述した被覆領域Ｂの算出処理（図４のＳ１０４、Ｓ１０５、及び図６のＳ２０４、Ｓ２０５の処理）を拡張する。

ここで、図７（ａ）を用いて、歪曲収差による影響を考慮して被覆領域Ｂを算出する際の処理の流れの一例について説明する。なお、それ以外の処理については、実施形態１で説明した処理と同様となるため、ここではその説明については省略する。

この処理が開示すると、コントローラ３０は、第１の算出部３８において、被覆領域Ａに対して歪曲収差を補正した被覆領域Ａ’を算出する（Ｓ３０１）。より具体的には、図１に示す補正情報保持部（収差情報保持部）４４において、歪曲収差の補正に関する情報を予め保持しておく。そして、その情報を用いて被覆領域Ａ’を算出する。なお、歪曲収差の補正は、近年のデジタルカメラなどでのレンズの小型化と画像処理能力の向上とによって一般的に使用されており、その技術を用いて当該補正処理を行なえば良いので、ここでは、詳細な処理についての説明は省略する。

続いて、コントローラ３０は、第２の算出部３９において、被覆領域Ａ’から被覆領域Ｂ’を算出する。すなわち、被覆領域Ａ’及び被覆領域Ｂ’に基づいて、上述した図４のＳ１０５で説明した射影変換を行なえば良い（Ｓ３０２）。

最後に、コントローラ３０は、第２の算出部３９において、レンズ１１の歪曲収差を適用して実際に撮像されるシーンに合わせた被覆領域Ｂを算出する（Ｓ３０３）。これにより、歪曲有差による影響を考慮した被覆領域Ｂを算出できる。

次に、図７（ｂ）を用いて、パン、チルト、ローテーションの停止精度を考慮して被覆領域Ｂを算出する際の処理の流れの一例について説明する。

この処理が開示すると、コントローラ３０は、第１の算出部３８において、被覆領域Ａに対してパン、チルト、ローテーションの停止精度を考慮した被覆領域Ａ’を算出する（Ｓ４０１）。より具体的には、図１に示す補正情報保持部（停止精度情報保持部）４４において、パン、チルト、ローテーションの停止精度を示す情報を予め保持しておく。そして、その情報を用いて被覆領域Ａ’を算出する。

続いて、コントローラ３０は、第２の算出部３９において、被覆領域Ａ’から被覆領域Ｂを算出する。すなわち、被覆領域Ａ’及び被覆領域Ｂに基づいて、上述した図４のＳ１０５で説明した射影変換を行なえば良い（Ｓ４０２）。これにより、パン、チルト、ローテーションの停止精度による影響を考慮した被覆領域Ｂを算出できる。

ここで、図８（ａ）〜図８（ｃ）を用いて、パン、チルト、ローテーションの停止精度による影響を考慮して、第１のマスク領域を算出する際の処理の概要について説明する。

図８（ａ）は、第１のマスク領域の算出に際して、パンの停止精度を考慮した場合の第１のマスク領域の算出処理の概要を示している。被覆領域Ｂは、選択された視点位置における撮像画像１００内の領域１０４に対応する。被覆領域Ａ’は、選択された視点位置における被覆領域Ａ（１０１）と、停止誤差による最小のパン位置における被覆領域Ａ（１０２）と、停止誤差による最大のパン位置における被覆領域Ａ（１０３）とをＡＮＤ演算することで算出できる。なお、第２のマスク領域を算出する場合には、被覆領域Ａ’は、これらの領域をＯＲ演算すれば良い。

図８（ｂ）は、第１のマスク領域の算出に際して、チルトの停止精度を考慮した場合の第１のマスク領域の算出処理の概要を示している。被覆領域Ｂは、選択された視点位置における撮像画像２００内の領域２０４に対応する。被覆領域Ａ’は、選択された視点位置における被覆領域Ａ（２０１）と、停止誤差による最小のチルト位置における被覆領域Ａ（２０２）、停止誤差による最大のチルト位置における被覆領域Ａ（２０３）とをＡＮＤ演算することで算出できる。なお、第２のマスク領域を算出する場合には、被覆領域Ａ’は、これらの領域をＯＲ演算すれば良い。

図８（ｃ）は、第１のマスク領域の算出に際して、ローテーションの停止精度を考慮した場合の第１のマスク領域の算出処理の概要を示している。被覆領域Ｂは、選択された視点位置における撮像画像３００内の領域３０４に対応する。被覆領域Ａ’は、選択された視点位置における被覆領域Ａ（３０１）と、停止誤差による最小のローテーション位置における被覆領域Ａ（３０２）と、停止誤差による最大のローテーション位置における被覆領域Ａ（３０３）とをＡＮＤ演算することで算出できる。なお、第２のマスク領域を算出する場合には、被覆領域Ａ’は、これらのＯＲ演算で算出すれば良い。

以上説明したように実施形態２によれば、上述した実施形態１の構成に加えて、光学系の歪曲収差や、カメラ駆動時の停止精度による影響を考慮して、第１のマスク領域及び第２のマスク領域を算出する。そのため、第１のマスク領域及び第２のマスク領域をより正確な位置に表示できる。

以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。

例えば、上述した図２（ａ）及び図２（ｂ）等を用いて、マスクを設定する際に用いられる画面イメージについて説明したが、画面イメージは、これに限られない。例えば、図９に示すように、第１のマスク領域又は第２のマスク領域を表示したときに、カメラ側で合成されるマスクを枠だけにしても良い。

この場合、プレビュー枠６７を用いてマスクを設定したときには、図２（ａ）及び図２（ｂ）で説明した通り、カメラ側で合成されるマスクは塗りつぶしで表示される。これに対して、追加ボタン６８や変更ボタン６９でマスクの設定を変更したときには、マスク７４は枠のみで表示される。この処理は、図１に示す合成方法指定部４３において、第２のマスク領域が表示されるタイミングで、マスクの視覚形態を変更するためのコマンド（枠のみに変更）をカメラ１０に向けて送信することにより行なえば良い。

このようにマスク７４が枠のみで表示されると、ユーザは、半透明で表示される第２のマスク領域７３の背景としてマスク７４で被覆されていた物体を確認することができる。一定時間が経過し、第２のマスク領域が非表示になるタイミングになると、マスクは、塗りつぶしで表示される。この処理は、図１に示す合成方法指定部４３において、第２のマスク領域が非表示になるタイミングで、マスクの視覚形態を変更するためのコマンド（塗りつぶしに変更）をカメラ１０に向けて送信することにより行なえば良い。

また、上述した実施形態１及び２においては、第１のマスク領域と第２のマスク領域との両方を撮像画像に合成して表示する場合について説明したが、これに限られない。例えば、第１のマスク領域と第２のマスク領域とのいずれか一方の領域のみを合成するようにしても良い。

また、上述した実施形態２においては、歪曲収差の補正と、停止精度に起因した第１のマスク領域及び第２のマスク領域のずれの補正とを別々に説明したが、これに限られず、両方の補正を組み合わせて行なうようにしても勿論構わない。

また、上述した実施形態１及び２においては、第１の算出領域を計算上で求め、射影変換によって、現在撮像されている画像上における第２の算出領域を求める場合について説明したが、必ずしもこのような処理に限られない。本発明においては、カメラ１０の視点位置を実際には変更させずに、複数の視点位置におけるマスクの領域を計算上で求め、それによって最終的に第１のマスク領域や第２のマスク領域を求められれば良い。そのため、その過程で行なわれる処理の計算方法（例えば、射影変換等）は、特に実施形態に例示した形態に限られない。

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 画像の一部の領域をマスクするマスク合成部を有し複数の視点からの画像を撮像可能に構成される撮像装置に接続される情報処理装置であって、
   前記撮像装置が撮像可能な複数の視点のうちいずれかの視点で撮像される画像に対して前記マスク合成部によりマスクされる領域を所定のアルゴリズムに従って算出する算出手段と、
   前記算出手段により算出された領域に基づいて、前記複数の視点において前記撮像装置により撮像される画像内で常にマスクされる第１のマスク領域を算出する合成領域算出手段と、
   前記複数の視点のいずれかにおいて前記撮像装置により撮像された所定の画像に前記第１のマスク領域を合成する合成手段と、
   ユーザの指示に従って前記所定の画像においてマスクの表示対象となる領域を設定する際に、前記合成手段による合成後の画像を表示器に表示する表示制御手段と
   を具備することを特徴とする情報処理装置。
2. 前記合成領域算出手段は、
   前記算出手段により算出された領域に基づいて、前記複数の視点において前記撮像装置により撮像される画像内でマスクされたりマスクされなかったりする第２のマスク領域を算出し、
   前記合成手段は、
   前記所定の画像に前記第１のマスク領域及び前記第２のマスク領域を合成する
   ことを特徴とする請求項１記載の情報処理装置。
3. 前記算出手段は、
   前記所定のアルゴリズムに従って算出される領域を第１の算出領域として算出する第１の算出手段と、
   前記第１の算出領域の算出元となった前記撮像装置の視点位置と、前記複数の視点のうちのいずれかにおいて前記撮像装置により撮像された基準画像における撮像時の視点位置とに基づいて、前記基準画像内において前記第１の算出領域に対応する領域を第２の算出領域として算出する第２の算出手段と
   を具備し、
   前記合成領域算出手段は、
   前記第２の算出領域と前記基準画像内でマスクされた領域とに基づいて、前記基準画像内で前記第１のマスク領域を算出する
   ことを特徴とする請求項１記載の情報処理装置。
4. 前記算出手段は、
   前記所定のアルゴリズムに従って算出される領域を第１の算出領域として算出する第１の算出手段と、
   前記第１の算出領域の算出元となった前記撮像装置の視点位置と、前記複数の視点のうちのいずれかにおいて前記撮像装置により撮像された基準画像における撮像時の視点位置とに基づいて、前記基準画像内において前記第１の算出領域に対応する領域を第２の算出領域として算出する第２の算出手段と
   を具備し、
   前記合成領域算出手段は、
   前記第２の算出領域と前記基準画像内でマスクされた領域とに基づいて、前記基準画像内で前記第１のマスク領域及び前記第２のマスク領域を算出し、
   前記合成手段は、
   前記所定の画像に前記第１のマスク領域及び前記第２のマスク領域を合成する
   ことを特徴とする請求項２記載の情報処理装置。
5. 前記合成領域算出手段は、
   前記撮像装置により撮像される画像の座標値で前記第１のマスク領域及び前記第２のマスク領域を算出し、
   前記合成手段は、
   前記撮像装置が撮像中の画像に前記第１のマスク領域及び前記第２のマスク領域を合成する
   ことを特徴とする請求項４記載の情報処理装置。
6. 前記合成領域算出手段は、
   前記撮像装置により撮像される画像の座標値で前記第１のマスク領域及び前記第２のマスク領域を算出し、
   前記合成手段は、
   前記第１のマスク領域及び前記第２のマスク領域を示す座標値を、複数の連続する視点において前記撮像装置により撮像された複数の画像からなるパノラマ画像の座標値に変換した後、該パノラマ画像に該第１のマスク領域及び該第２のマスク領域を合成する
   ことを特徴とする請求項４記載の情報処理装置。
7. 前記撮像装置における光学系の歪曲収差に関する情報を予め保持する収差情報保持手段
   を更に具備し、
   前記第１の算出手段は、
   前記歪曲収差に関する情報に基づいて前記歪曲収差を補正して前記第１の算出領域を算出し、
   前記第２の算出手段は、
   前記第２の算出領域を算出した後、前記歪曲収差に関する情報に基づいて前記第２の算出領域に対して前記歪曲収差の補正を行なう
   ことを特徴とする請求項４から６のいずれか１項に記載の情報処理装置。
8. 撮像時の視点位置を変更可能に駆動する前記撮像装置の可動部の停止精度に関する情報を保持する停止精度情報保持手段
   を更に具備し、
   前記第１の算出手段は、
   前記停止精度に関する情報に基づいて前記第１の算出領域を算出する
   ことを特徴とする請求項４から６のいずれか１項に記載の情報処理装置。
9. ユーザの指示に従って前記所定の画像上においてマスクの表示対象となる領域を設定する際に、前記撮像装置の前記マスク合成部に対してマスクの視覚形態の変更を指示する合成方法指示手段
   を更に具備することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記表示制御手段は、
    前記第１のマスク領域及び前記第２のマスク領域が所定値よりも小さければ、前記第１のマスク領域及び前記第２のマスク領域が表示されないことをユーザに通知するメッセージを前記表示器に表示する
    ことを特徴とする請求項２記載の情報処理装置。
11. 画像の一部の領域をマスクするマスク合成部を有し複数の視点からの画像を撮像可能に構成される撮像装置に接続される情報処理装置の処理方法であって、
    算出手段が、前記撮像装置が撮像可能な複数の視点のうちいずれかの視点で撮像される画像に対して前記マスク合成部によりマスクされる領域を所定のアルゴリズムに従って算出する工程と、
    合成領域算出手段が、前記算出手段により算出された領域に基づいて、前記複数の視点において前記撮像装置により撮像される画像内で常にマスクされる第１のマスク領域を算出する工程と、
    合成手段が、前記複数の視点のいずれかにおいて前記撮像装置により撮像された所定の画像に前記第１のマスク領域を合成する工程と、
    表示制御手段が、ユーザの指示に従って前記所定の画像においてマスクの表示対象となる領域を設定する際に、前記合成手段による合成後の画像を表示器に表示する工程と
    を含むことを特徴とする処理方法。
12. 請求項１１に記載された各工程をコンピュータに実行させるためのプログラム。

Images