JP2012095195A - 映像処理装置、撮像装置、映像処理方法及びプログラム - Google Patents

Abstract

【課題】 撮像部が撮像した撮像画像上の領域においてマスク画像を重畳するマスク領域を設定するために手間や時間をかけず、かつ、平面に表されるマスク領域にマスク画像を適切に重畳することを目的とする。
【解決手段】 球面座標において指定された領域を、撮像画像を表すｘｙ座標平面に投影した対応領域の頂点（ｒ０、ｒ１、ｒ２、ｒ３）のｘ座標値とｙ座標値のそれぞれの平均値を算出し、算出したｘ座標値とｙ座標値の平均値をそれぞれｘ座標ｙ座標とする点Ｇとマスク画像の高さの中点であり且つ幅の中点である点とが重なるようにマスク画像Ｒを撮像画像に重畳する（Ｓ３０４）。
【選択図】 図４

Description

本発明は、撮像画像上のマスク領域にマスク画像を重畳して表示する映像処理装置、撮像装置、映像処理方法及びプログラムに関する。

従来、撮像装置が撮像した画像の一部にマスク画像を重畳して、マスク画像を重畳した部分の画像を閲覧できないようにするマスキング技術が知られている。
ここで、撮像装置の位置を中心として、ある一方向を向いた撮像装置が撮像する撮像領域は、図８（ａ）に示すような球面座標上の領域として表すことができる。また、この球面座標上の撮像領域の撮像画像を平面に表すと図８（ｂ）のように表される。図８（ｂ）に示されるように、撮像画像の中央に比べて周辺部の画像は歪んで表示される。

こうした撮像装置において、上述のマスキング技術を用いてマスク画像の重畳を行う場合、球面座標上で設定したマスクを重畳する領域（以下、マスク領域）が平面上では歪んだ領域となってしまう場合がある。例えば、マスクを設定する領域として図８（ａ）のようにマスク領域ａｂｃｄが設定されている場合、このマスク領域ａｂｃｄを平面で表すと、図８（ｂ）のように領域ａｂｄｃは歪んだ領域となってしまう。

そこで、特許文献１に記載の撮像装置は、マスク領域を設定する際に撮像領域の中心をマスク領域の中心に向けるようにし、画面の中央でマスク領域の設定を行う。

特開２００１−０６９４９４号公報

しかしながら、撮像装置の撮像方向が固定されている場合にはマスク領域の設定のために撮像方向を変更することができないため、特許文献１に示されるような技術を適用することができない。従って、球面座標上で設定したマスク領域が平面上では歪んだ領域となってしまう場合がある。また、撮像方向を変更することができる場合であっても、特許文献１に示される撮像装置のように、マスク領域設定を行う度にカメラ方向を移動させるには時間や手間がかかるという課題がある。

上記の課題を解決するために本発明は、撮像手段を中心とする球面座標において指定された領域を特定する特定手段と、前記撮像手段が撮像した撮像画像を表示手段に表示させる表示制御手段と、前記表示手段に表示される前記撮像画像を表すｘｙ座標平面に前記指定された領域を投影した領域である対応領域に重なるようにマスク画像を重畳する重畳手段とを有する映像処理装置において、前記ｘｙ座標平面における前記対応領域の頂点のｘ座標値とｙ座標値のそれぞれの平均値を算出する算出手段を有し、前記重畳手段は前記ｘｙ座標平面において前記算出手段が算出したｘ座標値とｙ座標値の平均値をそれぞれｘ座標とｙ座標とする点とマスク画像の高さの中点であり且つ幅の中点である点とが重なるように前記マスク画像を前記撮像画像に重畳することを特徴とする。

本発明によれば、マスク領域設定を行うために手間や時間がかからず、かつ、平面上に表されるマスク領域にマスク画像を適切に重畳して保護することができる。

実施例１にかかる撮像装置１およびＧＵＩ１１のブロック図。 実施例１におけるマスクデータの設定を説明するためのフロー図。 実施例１におけるマスク画像生成動作を説明するためのフロー図。 実施例１におけるマスク領域の射影変換を説明するための図。 実施例２にかかる撮像装置２及びＧＵＩ１２のブロック図。 実施例２におけるマスク画像生成動作を説明するためのフロー図。 実施例２におけるマスク領域の射影変換を説明するための図。 球面座標上の領域を座標平面に投影した様子を示す図。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（実施例１）
最初に、本発明の第１の実施例における撮像装置１の構成について図１を用いて説明する。撮像レンズ１００は入射光を後述の撮像素子１０１上に結像する。撮像素子１０１は撮像レンズ１００によって結像された撮像画像の画像信号を生成する。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０２はアナログ信号をデジタル信号に変換するアナログ回路である。ＡＦＥ１０２は、撮像素子１０１において生成された画像信号を増幅し、画像信号に含まれるアンプ雑音およびリセット雑音を除去する回路を含む。ＡＦＥ１０２は撮像素子から出力された画像信号をデジタル信号に変換し、撮像画像として画像合成部１０５に出力する。

マスクデータ記憶部１０３は後述のマスクデータ設定部１１２でユーザが指定したマスクデータを取得して特定する。ここでマスクデータとは、撮像装置を中心とする球面座標においてマスク画像を重畳する領域（以下、マスク領域）を特定するための位置情報のことをいう。

マスク生成部１０４はマスクデータ記憶部１０３に保持しているマスクデータを取得し、取得したマスクデータに基づいて以下のようにしてマスク画像を生成する。まず、マスク生成部１０４は後述の画像表示部１１１に表示される撮像画像を表すｘｙ座標平面にマスク領域を投影した領域である対応領域を特定する。そして、マスク生成部１０４は、ｘｙ座標平面における対応領域の頂点のｘ座標値とｙ座標値のそれぞれの平均値を算出する。さらに、マスク生成部１０４は位置情報に基づいてｘｙ座標平面におけるマスク画像の幅及び高さを導出する。最後に、マスク生成部１０４は算出したマスク画像の幅及び高さに基づいてマスク画像を生成する。マスク画像は矩形に限られない。マスク画像の幅とは、ｘｙ平面におけるマスク画像の頂点のｘ座標の最大値と最小値の差である。また、マスク画像の高さとはｘｙ平面におけるマスク画像の頂点のｙ座標の最大値と最小値の差である。

画像合成部１０５はＡＦＥ１０２より出力された撮像画像において対応領域にマスク生成部１０４により生成されたマスク画像が重なるようにマスク画像を重畳する。画像合成部１０５はｘｙ座標平面においてマスク生成部１０４が算出した平均値それぞれをｘ座標とｙ座標とする点とマスク生成部１０４が生成したマスク画像の高さの中点であり且つ幅の中点である点とが重なるように前記マスク画像を撮像画像に重畳する。そして、画像合成部１０５はマスク画像を重畳した撮像画像を後述の画像表示部１１１に表示させる表示制御を行う。また、画像合成部１０５は撮像された撮像画像に重畳すべきマスク画像がない場合はマスク画像を重畳しないで画像表示部１１１に撮像画像を表示させる表示制御を行う。

マスク生成部１０４および画像合成部１０５の機能は撮像装置１にプロセッサ及びメモリを設け、メモリに記憶されたプログラムをプロセッサが実行することにより、実現させることができる。あるいは、マスク生成部１０４および画像合成部１０５をハードウエアとして構成することとしてもよい。

次に、本実施例における撮像装置１のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）１１について説明する。本件では撮像装置１にＧＵＩ１１が直接接続されている場合について説明するが、ＧＵＩ１１はネットワークを介して撮像装置１と接続されることとしてもよい。ＧＵＩ１１は画像表示部１１１およびマスクデータ設定部１１２を有する。画像表示部１１１は画像合成部１０５より出力された、マスク画像が重畳された撮像画像を表示する。マスクデータ設定部１１２は画像表示部１１１に表示される撮像画像に重畳するマスクデータを設定する。マスクデータの設定については、図２を用いて後述する。

画像表示部１１１およびマスクデータ設定部１１２はハードウエアとして構成することができる。あるいは、ＧＵＩ１１にプロセッサ及びメモリを設け、メモリに記憶されたプログラムをプロセッサが実行することにより、マスクデータ設定部１１２の機能を実現させることとしてもよい。

続いて、本実施例におけるＧＵＩ１１におけるマスクデータの設定について、図２を用いて説明する。ＧＵＩ１１がプロセッサ及びメモリを内蔵する形態では、図２の処理フローは、図２に示される手順をこのプロセッサに実行させるためのプログラムを示す。このＧＵＩ１１が内蔵するプロセッサは、コンピュータであり、ＧＵＩ１１が内蔵するメモリから読み出したプログラムを実行してマスクデータ設定部１１２を制御する。ＧＵＩ１１が内蔵するメモリは、このプロセッサが読み出すことができるようにこのプログラムを記録した記録媒体である。

まずＧＵＩ１１のマスクデータ設定部１１２は、マスク領域の設定値がユーザによって入力されたか判断する（Ｓ２０１）。マスク領域の設定方法として、例えば、ユーザが画像表示部１１１に表示された撮像画像上でマウス等のポインティングディバイスを用いて、矩形の始点と高さと幅をドラッグアンドドロップすることによりマスク領域を指定する方法がある。または、ユーザが画像表示部１１１に表示された入力フォームに始点と高さと幅を数値によって指定することもできる。始点と高さと幅以外に、各マスク領域を塗りつぶすための色情報を保持しても良い。あるいは、ポインティングディバイスを用いてマスク領域を指定する方法と、入力フォームに数値を入力してマスク領域を指定する方法とから設定方法をユーザが選択して設定を行うこととしてもよい。あるいは、ユーザが画像表示部１１１に表示された撮像画像上でマスク領域の中心を指定した後、マスクを重畳したい領域の１頂点を指定することにより、矩形の領域を設定できることとしてもよい。

マスクデータ設定部１１２はマスク領域の設定値が入力されると（Ｓ２０１でＹｅｓの場合）、撮像装置１のマスクデータ記憶部１０３に撮像領域におけるマスク領域の左下の頂点の座標とマスク領域の高さ及び幅をマスクデータとして出力する（Ｓ２０２）。

続いて、マスクデータ設定部１１２は、マスク設定数がマスクデータ記憶部１０３において保持することができる数を超えたか判断する（Ｓ２０３）。マスク設定数が最大マスク数を超えていない場合（Ｓ２０３においてＮｏの場合）はステップＳ２０１の処理に戻る。一方、マスク設定数が最大マスク数を超えた場合（Ｓ２０３においてＹｅｓの場合）はマスク設定処理を終了する。設定数が最大マスク数を超えたか否かについての判断は撮像装置１のマスクデータ記憶部１０３において行うこととしてもよい。

次に、マスク生成部１０４が、設定されたマスクデータからマスク画像を生成する動作について図３を用いて説明する。撮像装置１がプロセッサ及びメモリを内蔵する形態では、図３の処理フローは、図３に示される手順をこのプロセッサに実行させるためのプログラムを示す。撮像装置１が内蔵するプロセッサは、コンピュータであり、撮像装置１が内蔵するメモリから読み出したプログラムを実行してマスク生成部１０４を制御する。撮像装置１が内蔵するメモリは、このプロセッサが読み出すことができるようにこのプログラムを記録した記録媒体である。

まず、マスク生成部１０４はマスクデータ記憶部１０３に記憶されたマスクデータに基づいて、撮像装置１の位置を中心とする球面座標上でマスク領域の頂点を導出する（Ｓ３００）。マスク領域の頂点の導出方法について図４（ａ）を用いて説明する。本実施例では、マスク領域が矩形であるものとして説明するが、マスク領域の形状は矩形に限られない。

図４（ａ）は撮像装置１の位置を中心とする球面座標を示している。球面座標におけるマスク領域の始点の座標をｍ０（Ｐ，Ｔ）とし、幅をΔＰ、高さをΔＴとすると、図４（ａ）のようにマスク領域Ｍを球面座標上に配置することができる。球面座標においてマスク領域Ｍの４頂点は、それぞれｍ０（Ｐ，Ｔ）、ｍ１（Ｐ，Ｔ＋ΔＴ）、ｍ２（Ｐ＋ΔＰ，Ｔ＋ΔＴ）、ｍ３（Ｐ＋ΔＰ，Ｔ）として表される。

次に、マスク生成部１０４は球面座標におけるマスク領域Ｍの各頂点を座標平面に射影する（Ｓ３０１）。マスク領域Ｍを座標平面に射影した対応領域ｒ０ｒ１ｒ２ｒ３を球面座標の中心から見た様子を図４（ｂ）に示す。ここで、マスク生成部１０４は、撮像レンズ１００の光軸と座標球面との交点を点Ｃとして、点Ｃにおいて座標球面と接する座標平面にマスク領域Ｍを射影するものとする。マスク領域Ｍの座標平面への射影は、ステップＳ３００で導出したマスク領域Ｍの４頂点の球面座標を平面座標へ変換することにより行われる。以下、マスク領域Ｍの頂点座標の変換について、図４（ｃ）に示すように座標球面の中心をＯとして、奥行き成分ｘと幅成分ｙと高さ成分ｚに分けて説明する。ただし、ｘ軸は座標球面の中心Ｏの位置にある撮像装置１の撮像レンズ１００の光軸方向に設定される。また、座標球面の半径は１として考えるものとする。

例として、頂点ｍ０の座標変換について説明する。図４（ｃ）に示すように、点Ｏから点Ｃを向いた方向を撮像装置１の基準方向として、点ｍ０の水平方向の角度を角ｐとし、垂直方向の角を角ｔとする。

初めに、マスク生成部１０４は、点Ｏに対する頂点ｍ０の位置を求める。点Ｏに対する頂点ｍ０の位置は、奥行き成分ｘと幅成分ｙと高さ成分ｚについてそれぞれ、
（式１）
｜ｍ０−Ｏｘ｜＝ｃｏｓ（ｔ）ｃｏｓ（ｐ）
｜ｍ０−Ｏｙ｜＝ｓｉｎ（ｐ）ｃｏｓ（ｔ）
｜ｍ０−Ｏｚ｜＝ｓｉｎ（ｔ）
で表される。

次に、マスク生成部１０４は、点Ｃにおいて球面座標と接する座標平面に球面座標上の点ｍ０を射影した点ｒ０の座標平面における座標を求める。図４（ｄ）に示すように点Ｃから点ｒ０までの水平角度、垂直角度をそれぞれｒ０＿ｐ、ｒ０＿ｔとすると、ｒ０＿ｐ、ｒ０＿ｔはそれぞれ、
（式２）
ｒ０＿ｐ＝ａｒｃｔａｎ（｜ｍ０−Ｏｙ｜／｜ｍ０−Ｏｘ｜）
ｒ０＿ｔ＝ａｒｃｔａｎ（｜ｍ０−Ｏｚ｜／｜ｍ０−Ｏｘ｜）
で表される。

そして、点Ｃ（Ｃｘ，Ｃｙ）を原点として平面座標上の点ｒ０のｘ成分をｕ０、ｙ成分をｖ０とすると、
（式３）
ｕ０＝Ｃｘ−画像表示領域の幅＊（ｒ０＿ｐ／撮像装置１の水平画角）
ｖ０＝Ｃｙ＋画像表示領域の高さ＊（ｒ０＿ｔ／撮像装置１の垂直画角）
で表される。ただし、本実施例では画像表示領域の幅と高さについてはマスク生成部１０４があらかじめ保持しているものとする。また、画面のアスペクト比を考慮する場合には、式３において、画像表示領域の幅又は高さにアスペクト比率をかけて計算することとしてもよい。ｍ０と同様にｍ１、ｍ２、ｍ３を変換し、画像表示領域上の平面座標ｒ１（ｕ１，ｖ１）、ｒ２（ｕ２，ｖ２）、ｒ３（ｕ３，ｖ３）を得る。

上記では球面座標上の領域を平面座標に投影する方法の一例を示したが、変換の方法は上記のものに限られない。球面座標上の指定された領域を平面座標に投影した領域である対応領域の頂点の座標を求めることができれば、いずれの方法を用いてもよい。このようにして、マスク生成部１０４は画像表示部１１１に表示される撮像画像を表すｘｙ座標平面にマスク領域を投影した領域である対応領域を特定する。

次にマスク生成部１０４は、ｒ０、ｒ１、ｒ２、ｒ３の座標値を相加平均して、マスク領域Ｍの中心とする点の平面座標を導出する（Ｓ３０２）。ステップＳ１０１において導出した、マスク領域Ｍの４頂点の平面座標についてｘ座標値とｙ座標値のそれぞれの平均値を点Ｇ（ｇｕ，ｇｖ）とすると、
（式４）
ｇｕ＝（ｕ０＋ｕ１＋ｕ２＋ｕ３）／４
ｇｖ＝（ｖ０＋ｖ１＋ｖ２＋ｖ３）／４
となる。このようにして、マスク生成部１０４は、ｘｙ座標平面における対応領域の頂点のｘ座標値とｙ座標値のそれぞれの平均値を算出する。

続いてマスク生成部１０４は、対応領域に重畳するマスク画像の幅及び高さを求める（Ｓ３０３）。マスク画像の幅および高さをそれぞれＷ、Ｈとすると、それぞれ、
（式５）
Ｗ＝画像表示領域の幅＊Δｐ／撮像装置１の水平画角
Ｈ＝画像表示領域の高さ＊Δｔ／撮像装置１の垂直画角
で算出される。ただし、Δｐは図４（ｃ）に示したｘｙｚ空間上のｘｙ平面において点ｍ０と点ｍ３が為す角である。また、Δｔは図４（ｃ）に示したｘｙｚ空間上のｘｚ平面において点ｍ０と点ｍ１が為す角である。マスク画像の幅及び高さの算出方法においても式３と同様に、画面のアスペクト比を考慮してＷ、Ｈを算出することも可能である。マスク画像の幅及び高さの算出方法は上記の方法に限定されず、ステップＳ２０１で入力された設定値に基づいて適宜算出することができる。このようにして、マスク生成部１０４は位置情報に基づいてｘｙ座標平面におけるマスク画像の幅及び高さを算出する。

本実施例において重畳されるマスク画像は矩形であるとすると、マスク画像の左下基準点の座標（Ｘ，Ｙ）は
（式６）
Ｘ＝ｇｕ−Ｗ／２
Ｙ＝ｇｖ−Ｈ／２
となる。

以上の手順より、マスク生成部１０４は撮像画像へ合成するための平面座標データＲ（Ｘ，Ｙ，Ｗ，Ｈ）を取得する。

続いてマスク生成部１０４は、画像合成部１０５に対して平面座標データの（Ｘ，Ｙ）を始点にして、幅Ｗおよび高さＨのマスク画像を撮像画像に合成させる（Ｓ３０４）。

マスク生成部１０４の指示により、画像合成部１０５はマスク画像を撮像画像に重畳する。こうして、画像合成部１０５はマスク生成部１０４が算出したｘ座標値とｙ座標値の平均値をそれぞれｘ座標とｙ座標とする点とマスク画像の高さの中点であり且つ幅の中点である点とが重なるようにマスク画像を前記撮像画像に重畳する。その後、画像合成部１０５は、マスク画像合成後の撮像画像を画像表示部１１１に表示させる。複数のマスクデータがある場合は上と同様の手順を追って撮像画像部に表示させる。各マスクデータが、色情報を保持している場合はその色情報に従ってマスク領域に色付けをして表示する。各マスクデータが、有効か無効かのフラグを保持している場合は、そのフラグに従って有効であれば表示し、無効であれば非表示にする。

以上の構成により、撮像画像には所定の形のマスク画像が重畳される。本実施例にかかる映像処理装置は、撮像画像に射影されたマスク領域の各頂点ｒ０、ｒ１、ｒ２、ｒ３の座標を平均して求めた点とマスク画像の中心が重なるようにマスク画像を重畳する。このようにすることで、例えば撮像画像に射影されたマスク領域ｒ０、ｒ１、ｒ２、ｒ３の対角線の交点とマスク画像の中心が重なるようにした場合に比べて、よりマスク領域とマスク画像とのずれを少なくすることができる。これは特に撮像平面の周辺部にマスク領域がある場合に効果が大きい。例えば、図８（ｂ）に示すように座標平面上に射影されたマスク領域の幅が、図面上方に近づくに従って狭くなっている場合、マスク領域の対角線の交点はマスク領域の上方になる。この対角線の交点を中心とマスク画像の中心が重なるようにマスク画像を重畳した場合、マスク画像はマスク領域の上方に偏って重畳されることとなり、マスク領域の下方をカバーすることができない。一方、本実施例に示すように、マスク領域の各頂点の座標値の平均値を中心座標としてマスク画像を重畳する場合、マスク領域全体に満遍なくマスク画像を重畳することができる。
このようにして、マスク領域設定を行うために手間や時間をかけず、かつ、平面上に表されるマスク領域にマスク画像を適切に重畳して保護することができる。

（実施例２）
実施例２では、パン回転及びチルト回転可能な撮像装置を用いる例について説明する。パン回転及びチルト回転可能な撮像装置においては、撮像装置の撮像方向の変化に伴い、表示画像におけるマスク領域の位置も移動する。従って、撮像装置の撮像方向の変化に伴ってマスク画像の重畳位置も変化する。本実施例では、撮像装置の撮像方向の変化に伴ってマスク画像の重畳位置が変化した場合にも、マスク領域設定を行うために手間や時間をかけず、かつ、平面上に表されるマスク領域にマスク画像を適切に重畳して保護することができる映像処理装置について説明する。

最初に、本発明の第２の実施例における撮像装置２の構成について図５を用いて説明する。実施例２にかかる撮像装置２は、実施例１の撮像装置１の構成に加えて、制御部２０１と、パン・チルト回転機構２０２と、変倍レンズ駆動部２０３と、保持部２０４と、取得部２０５と検出部２０７を有する。また、実施例１の撮像装置１の撮像レンズ１００に替えて、撮像レンズ１００に変倍レンズを付加した撮像レンズ群２００と、撮像装置１のマスク生成部１０４の処理をパン、チルト、ズームの座標変換に対応させたマスク生成部２０６とを有する。

制御部２０１は後述の操作部１２１から出力される命令に基づいて、パン・チルト回転機構２０２と変倍レンズ駆動部２０３を制御する。パン・チルト回転機構２０２は撮像装置全体をパン駆動およびチルト駆動させる機構である。また、変倍レンズ駆動部２０３は撮像レンズ２００の変倍レンズを駆動させて、倍率（以下、ズーム倍率）を変更する機構である。

保持部２０４はパン・チルト回転機構２０２及び変倍レンズ駆動部２０３からズーム倍率とパン回転およびチルト回転の角度情報を取得して保持する。取得部２０５は保持部２０４から現在のパン角度、チルト角度、ズーム倍率の値を取得する。

マスク生成部２０６は取得部２０５が取得した値に応じてマスク生成部２０６でマスクデータの座標変換を行う。また、マスク生成部２０６は撮像画像に重畳するマスク画像の生成を行う。マスク生成部２０６はハードウエアとして構成することができる。あるいは、撮像装置２にプロセッサ及びメモリを設け、メモリに記憶されたプログラムをプロセッサが実行することにより、マスク生成部２０６の機能を実現させることとしてもよい。

検出部２０７は、パン回転またはチルト回転またはズーム倍率の変更を動的に検出し、そのフラグをマスク生成部２０６に渡す。
撮像装置２について、その他の構成は実施例１において説明したものと同一であるので、同一の符号を付して説明を省略する。

次にＧＵＩ１２について説明する。ＧＵＩ１２は実施例１におけるＧＵＩ１１の構成に加えて、操作部１２１を有する。操作部１２１は撮像装置２のパン・チルト回転機構２０２と変倍レンズ駆動部２０３をＧＵＩ１２上で操作するものである。ユーザは操作部１２１を用いて、撮像装置のパン回転角度、チルト回転角度、およびズーム倍率を入力する。操作部１２１は入力された値を制御部２０１に出力する。

ＧＵＩ１２について、その他の構成については実施例１において説明したものと同一なので同一の符号を付して説明を省略する。また、ＧＵＩ１２におけるマスクデータ設定動作についても実施例１において説明したものと同様であるので説明を省略する。

次に、撮像装置２におけるマスク画像の生成と撮像画像への合成動作について説明する。まず、取得部２０５が保持部２０４から撮像装置２の現在のパン回転角度（ｃａｍ＿ｐａｎ）とチルト回転角度（ｃａｍ＿ｔｉｌｔ）、および現在のズーム倍率における水平画角及び垂直画角を取得する。

次に、マスク生成部２０６がマスク画像を生成する。マスク生成部２０６の動作について図６を用いて説明する。撮像装置２がプロセッサ及びメモリを内蔵する形態では、図６の処理フローは、図６に示される手順をこのプロセッサに実行させるためのプログラムを示す。撮像装置２が内蔵するプロセッサは、コンピュータであり、撮像装置２が内蔵するメモリから読み出したプログラムを実行してマスク生成部２０６を制御する。撮像装置２が内蔵するメモリは、このプロセッサが読み出すことができるようにこのプログラムを記録した記録媒体である。

まず、マスク生成部２０６は、取得部２０５が取得した撮像装置のパン回転角度、チルト回転角度及びズーム倍率のいずれかが変更されたか判断する（Ｓ６００）。変更がない場合（Ｓ６００でＮｏの場合）、現在マスクが重畳されている位置にマスクを重畳する。

一方、取得部２０５において変更があった場合（Ｓ６００でＹｅｓの場合）には、マスク生成部２０６は、取得部２０５から取得したデータとマスクデータとに基づいて、撮像装置１の位置を中心とする球面座標上でマスク領域の４頂点を導出する（Ｓ６０１）。

マスク領域Ｍの４頂点の導出方法について図７（ａ）を用いて説明する。本実施例ではマスク領域が矩形であるものとして説明するが、マスク領域の形状は矩形に限られない。
図７（ａ）は撮像装置２の位置を中心とする球面座標を示している。球面座標におけるマスク領域の始点の座標をｍ０（Ｐ’，Ｔ’）とし、幅をΔＰ’、高さをΔＴ’とすると、図７（ａ）のようにマスク領域Ｍ’を球面座標上に配置することができる。球面座標においてマスク領域Ｍの４頂点は、それぞれｍ０’（Ｐ’，Ｔ’）、ｍ１’（Ｐ’，Ｔ’＋ΔＴ’）、ｍ２’（Ｐ’＋ΔＰ’，Ｔ’＋ΔＴ’）、ｍ３’（Ｐ’＋ΔＰ’，Ｔ’）として表される。

次に、マスク生成部２０６は球面座標におけるマスク領域Ｍ’の各頂点を座標平面に射影する（Ｓ６０２）。マスク領域Ｍ’を座標平面に射影した対応領域ｒ０’ｒ１’ｒ２’ｒ３’を球面座標の中心から見た様子を図７（ｂ）に示す。ここで、マスク生成部２０６は、撮像レンズ１００の光軸と座標球面との交点を点Ｃ’として、点Ｃ’において座標球面と接する座標平面にマスク領域Ｍ’を射影するものとする。マスク領域Ｍ’の座標平面への射影は、ステップＳ６０１で導出したマスク領域Ｍ’の４頂点の球面座標を平面座標へ変換することにより行われる。以下、マスク領域Ｍ’の頂点座標の変換について、図７（ｃ）に示すように座標球面の中心をＯとして、奥行き成分ｘと幅成分ｙと高さ成分ｚに分けて説明する。ただし、ｘ軸は座標球面の中心Ｏの位置にある撮像装置２の撮像レンズ群２００の光軸方向に設定される。また、座標球面の半径は１として考えるものとする。

例として、頂点ｍ０’の座標変換について説明する。図７（ｃ）に示すように、中心Ｏから点ｍ０’を向いた方向と撮像装置２の撮像方向の水平方向における為す角をｐａｎ＿ｄｉｆｆ、垂直方向における為す角をｔｉｌｔ＿ｄｉｆｆとする。ここで、ｐａｎ＿ｄｉｆｆ、及びｔｉｌｔ＿ｄｉｆｆは取得部２０５が取得したｃａｍ＿ｐａｎ、及びｃａｍ＿ｔｉｌｔから求められる。

初めに、マスク生成部２０６は、点Ｏに対する頂点ｍ０’の位置を求める。
点ｍ０’を奥行き成分ｘと幅成分ｙと高さ成分ｚに分けて考えると、点Ｏに対する頂点ｍ０の位置は、奥行き成分ｘと幅成分ｙと高さ成分ｚについてそれぞれ、
（式７）
｜ｍ０’−Ｃ’ｘ｜＝ｃｏｓ（ｔｉｌｔ＿ｄｉｆｆ）ｃｏｓ（ｐａｎ＿ｄｉｆｆ）
｜ｍ０’−Ｃ’ｙ｜＝ｓｉｎ（ｐａｎ＿ｄｉｆｆ）ｃｏｓ（ｔｉｌｔ＿ｄｉｆｆ）
｜ｍ０’−Ｃ’ｚ｜＝ｓｉｎ（ｔｉｌｔ＿ｄｉｆｆ）
で算出される。

次に、マスク生成部２０６は、点Ｃ’において球面座標と接する座標平面に球面座標上の点ｍ０’を射影した点ｒ０’の座標平面における座標を求める。点Ｃ’から点ｒ０’までの水平角度、垂直角度をそれぞれｒ０＿ｐ’、ｒ０＿ｔ’とすると、ｒ０＿ｐ’、ｒ０＿ｔ’はそれぞれ、
（式８）
ｒ０＿ｐ’＝ａｒｃｔａｎ（｜ｍ０’−Ｃ’ｙ｜／｜ｍ０’−Ｃ’ｘ｜）
ｒ０＿ｔ’＝ａｒｃｔａｎ（｜ｍ０’−Ｃ’ｚ｜／｜ｍ０’−Ｃ’ｘ｜）
で算出される。

そして、点Ｃ’（Ｃ’ｘ，Ｃ’ｙ）を原点として平面座標上の点ｒ０’のｘ成分をｕ０’、ｙ成分をｖ０’とすると、
（式９）
ｕ０’＝Ｃ’ｘ−画像表示領域の幅＊（ｒ０’＿ｐ／撮像装置２の現在の水平画角）
ｖ０’＝Ｃ’ｙ＋画像表示領域上の高さ＊（ｒ０’＿ｔ／撮像装置２の現在の垂直画角）
で表される。ただし現在の撮像装置２の水平画角及び垂直画角は取得部２０５が取得し、マスク生成部２０６に出力されるものとする。実施例１の場合と同様に、画面のアスペクト比を考慮する場合には、式３において、画像表示領域の幅又は高さにアスペクト比率をかけて計算することとしてもよい。同様に、ｍ１’、ｍ２’、ｍ３’を変換し、描画平面上の座標ｒ１’（ｕ１’，ｖ１’）、ｒ２’（ｕ２’，ｖ２’）、ｒ３’（ｕ３’，ｖ３’）を得る。

上記では球面座標上の領域を平面座標に投影する方法の一例を示したが、変換の方法は上記のものに限られない。球面座標上の指定された領域を平面座標に投影した領域である対応領域の頂点の座標を求めることができれば、いずれの方法を用いてもよい。このようにして、マスク生成部２０６は画像表示部１１１に表示される撮像画像を表すｘｙ座標平面にマスク領域を投影した領域である対応領域を特定する。

次にマスク生成部２０６は、ｒ’１、ｒ’２、ｒ’３、ｒ’４の座標値を相加平均して、マスク領域Ｍの中心とする点の平面座標を導出する（Ｓ６０３）。ステップＳ６０１において導出した、マスク領域Ｍの４頂点の平面座標についてｘ座標値とｙ座標値のそれぞれの平均値を点Ｇ’（ｇｕ’，ｇｖ’）とすると、
（式１０）
ｇｕ’＝（ｕ０’＋ｕ１’＋ｕ２’＋ｕ３’）／４
ｇｖ’＝（ｖ０’＋ｖ１’＋ｖ２’＋ｖ３’）／４
となる。このようにして、マスク生成部２０６は、ｘｙ座標平面における対応領域の頂点のｘ座標値とｙ座標値のそれぞれの平均値を算出する。

続いてマスク生成部１０４は、対応領域に重畳するマスク画像の幅及び高さを求める（Ｓ６０４）。マスク画像の幅および高さをそれぞれＷ’、Ｈ’とすると、それぞれ、
（式１１）
Ｗ’＝画像表示領域の幅＊Δｐ’／撮像装置２の現在の水平画角
Ｈ’＝画像表示領域の高さ＊Δｔ’／撮像装置２の現在の垂直画角
で算出される。ただし、Δｐ’は図６（ｃ）に示したｘｙｚ空間上のｘｙ平面において点ｍ０と点ｍ３が為す角である。また、Δｔ’は図６（ｃ）に示したｘｙｚ空間上のｘｚ平面において点ｍ０と点ｍ１が為す角である。マスク画像の幅及び高さの算出方法においても式３と同様に、画面のアスペクト比を考慮してＷ’、Ｈ’を算出することも可能である。マスク画像の幅及び高さの算出方法は上記の方法に限定されず、入力された設定値に基づいて適宜算出することができる。このようにして、マスク生成部２０６は位置情報に基づいてｘｙ座標平面におけるマスク画像の幅及び高さを算出する。

本実施例において重畳されるマスク画像は矩形であるとすると、マスク画像の左下基準点の座標（Ｘ’，Ｙ’）は
（式１２）
Ｘ’＝ｇｕ’−Ｗ’／２
Ｙ’＝ｇｖ’−Ｈ’／２
となる。以上の手順より、マスク生成部２０６は平面座標データＲ’（Ｘ’，Ｙ’，Ｗ’，Ｈ’）を取得する。

続いてマスク生成部２０６は、画像合成部１０５に対して平面座標データの（Ｘ’，Ｙ’）を始点にして、幅Ｗ’および高さＨ’のマスク画像を撮像画像に合成させる（Ｓ６０５）。

マスク生成部２０６の指示により、画像合成部１０５はマスク画像を撮像画像に重畳する。こうして、画像合成部１０５はマスク生成部２０６が算出したｘ座標値とｙ座標値の平均値をそれぞれｘ座標とｙ座標とする点とマスク画像の高さの中点であり且つ幅の中点である点とが重なるようにマスク画像を撮像画像に重畳する。その後、画像合成部１０５は、マスク画像が合成された撮像画像を画像表示部１１１に表示させる。複数のマスクデータがある場合は上と同様の手順を追って撮像画像部に表示される。各マスクデータが、色情報を保持している場合はその色情報に従ってマスク領域に色付けをして表示する。各マスクデータが、有効か無効かのフラグを保持している場合は、そのフラグに従って有効であれば表示し、無効であれば非表示にする。また、ＰＴＺ位置変更検出部が、パン角度またはチルト角度またはズーム倍率の変更を検出した場合に、マスク生成部２０６で平面座標データＲ’が更新され、画像合成部１０５で撮像画像に描画される。

以上の構成により、実施例１にかかる発明と同じ効果に加えて、撮像装置の撮像方向の変化に伴ってマスク画像の重畳位置が変化した場合にも、平面上に表されるマスク領域にマスク画像を適切に重畳することができる。本実実施例によれば、撮像方向の変化に伴ってマスク画像の重畳位置が変化した場合に、変化量に応じてマスク画像の大きさ等について特段の補正を行わなくても、適切な位置にマスク画像を重畳することができる。従って、マスク画像を重畳するための処理量を軽減することができる。ただし本発明は、本実施例において説明した方法でマスク画像を重畳し、かつ、変化量に応じてマスク画像の大きさ等について補正も行う場合を排除するものではない。

また、本実施例によれば従来例のようにマスク領域設定を行う度に、マスク領域が撮像画像の中心に来るようにカメラ方向を移動させる必要がない。
このようにして、マスク領域設定を行うために手間や時間をかけず、かつ、平面上に表されるマスク領域にマスク画像を適切に重畳して保護することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、ｘｙ座標上に表されるマスク領域の歪みが少ない中央部においては、マスク画像によって保護される領域とマスク領域のズレが少ないので、本実施例を適用せず、マスク領域が表示画面の周辺部にある場合のみ本実施例を適用してもよい。この場合、表示画面におけるマスク領域の位置を検出する検出手段と当該マスク領域の位置が表示画面の周辺部にあるか判定する判定部を設け、マスク領域が周辺部にある場合にのみ本実施例において示したマスク画像の重畳を行うことができる。前記検出部は例えば、撮像レンズ群２００の光軸と前記マスク領域上の点（マスク領域の中心や頂点等）とが為す角度を検出する。そして、前記検出部が検出した角度が所定の角度を超えた場合に、本実施例にかかるマスク画像の重畳を行うようにすることができる。このようにすれば、マスク領域がｘｙ座標の中央部にある場合には計算量を軽減することができる。

（その他の実施例）
実施例１及び実施例２では、撮像画像を表すｘｙ座標平面に投影されたマスク領域の全ての頂点についてｘ座標値とｙ座標のそれぞれの平均値を算出し、算出した座標を中心座標としてマスク画像を重畳したが、平均値の算出方法はこれに限られない。ｘｙ座標平面に投影されたマスク領域の全ての頂点の座標から、ｘ座標値の最大値と最小値を選択して平均し、また、ｙ座標の最大値と最小値を選択して平均することにより求められるｘｙ座標を中心座標としてマスク画像を重畳してもよい。この場合にも、実施例１や実施例２と同様に、マスク領域に対してマスク画像が偏った位置に重畳されることを防ぐことができる。従って、マスク領域設定を行うために手間や時間をかけず、かつ、平面上に表されるマスク領域にマスク画像を適切に重畳して保護することができる。

また、実施例１及び実施例２では、マスク画像をマスクデータに基づいて生成する場合について説明したが、あらかじめ不図示の記憶部に記憶された所定のマスク画像を重畳することとしてもよい。この場合も算出した平均座標をそれぞれｘ座標とｙ座標とする点とマスク画像の高さの中点であり且つ幅の中点である点とが重なるようにマスク画像を重畳することにより、実施例１又は実施例２で説明した効果と同じ効果を奏する。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１ 撮像装置
１００ 撮像レンズ
１０３ マスクデータ記憶部
１０４ マスク生成部
１０５ 画像合成部

Claims (6)

1. 撮像手段を中心とする球面座標において指定された領域を特定する特定手段と、
   前記撮像手段が撮像した撮像画像を表示手段に表示させる表示制御手段と、
   前記表示手段に表示される前記撮像画像を表すｘｙ座標平面に前記指定された領域を投影した領域である対応領域に重なるようにマスク画像を重畳する重畳手段とを有する映像処理装置において、
   前記ｘｙ座標平面における前記対応領域の頂点のｘ座標値とｙ座標値のそれぞれの平均値を算出する算出手段を有し、
   前記重畳手段は前記ｘｙ座標平面において前記算出手段が算出したｘ座標値とｙ座標値の平均値をそれぞれｘ座標ｙ座標とする点とマスク画像の高さの中点であり且つ幅の中点である点とが重なるように前記マスク画像を前記撮像画像に重畳することを特徴とする映像処理装置。
2. 前記特定手段は、前記球面座標における前記指定された領域の位置、幅及び高さを特定し、
   前記指定された領域の前記幅及び前記高さに基づいて、前記ｘｙ座標平面における前記マスク画像の高さ及び幅を導出する導出手段と、
   前記導出手段が導出した高さ及び幅のマスク画像を生成する生成手段と
   を有することを特徴とする請求項１に記載の映像処理装置。
3. 被写体を撮像する撮像手段と、
   前記撮像手段を中心とする球面座標において指定された領域を特定する特定手段と、
   前記撮像手段が撮像した撮像画像を表示手段に表示させる表示制御手段と、
   前記表示手段に表示される前記撮像画像を表すｘｙ座標平面に前記指定された領域を投影した領域である対応領域に重なるようにマスク画像を重畳する重畳手段とを有する撮像装置において、
   前記重畳手段は、前記ｘｙ座標平面における前記対応領域の頂点のｘ座標値とｙ座標値のそれぞれの平均値を算出する算出手段を有し、
   前記重畳手段は前記ｘｙ座標平面において前記算出手段が算出したｘ座標値とｙ座標値の平均値をそれぞれｘ座標ｙ座標とする点とマスク画像の高さの中点であり且つ幅の中点である点とが重なるように前記マスク画像を前記撮像画像に重畳することを特徴とする撮像装置。
4. 前記撮像手段をパン駆動するパン駆動手段と、
   前記撮像手段をチルト駆動するチルト駆動手段とを有し、
   前記重畳手段は、前記パン駆動手段又は前記チルト駆動手段が前記撮像手段を駆動した場合に前記マスク画像の重畳を行うことを特徴とする請求項３に記載の撮像装置。
5. 撮像手段が撮像した撮像画像を表示手段に表示させる映像処理装置における映像処理方法において、
   特定手段が、前記撮像手段を中心とする球面座標において指定された領域を特定する特定ステップと、
   投影手段が、前記表示手段に表示される前記撮像画像を表すｘｙ座標平面に前記指定された領域を投影する投影ステップと、
   算出手段が、前記指定された領域を前記ｘｙ座標平面に投影した領域である対応領域の頂点の前記ｘｙ平面におけるｘ座標値とｙ座標値のそれぞれの平均値を算出する算出ステップと、
   重畳手段が、前記ｘｙ座標平面において前記の算出ステップにおいて算出したｘ座標値とｙ座標値の平均値をそれぞれｘ座標とｙ座標とする点とマスク画像の高さの中点であり且つ幅の中点である点とが重なるように前記マスク画像を前記撮像画像に重畳する重畳ステップとを有することを特徴とする映像処理方法。
6. 撮像手段が撮像した撮像画像を表示手段に表示させるコンピュータに、
   前記撮像手段を中心とする球面座標において指定された領域を特定する特定手順と、
   前記表示手段に表示される前記撮像画像を表すｘｙ座標平面に前記指定された領域を投影する投影手順と、
   前記指定された領域を前記ｘｙ座標平面に投影した領域である対応領域の頂点の前記ｘｙ座標平面におけるｘ座標値とｙ座標値のそれぞれの平均値を算出する算出手順と、
   前記ｘｙ座標平面において前記算出手順において算出したｘ座標値とｙ座標値の平均値をそれぞれｘ座標とｙ座標とする点とマスク画像の高さの中点であり且つ幅の中点である点とが重なるように前記マスク画像を前記撮像画像に重畳する重畳手順とを実行させる映像処理プログラム。

Images