JP3559607B2

JP3559607B2 - 映像処理装置及び映像処理装置の制御方法

Info

Publication number: JP3559607B2
Application number: JP03693195A
Authority: JP
Inventors: 智明河合
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-02-24
Filing date: 1995-02-24
Publication date: 2004-09-02
Anticipated expiration: 2019-09-02
Also published as: JPH08237590A

Description

【０００１】
【産業上の利用分野】
本発明は、１つの撮影映像から１又は複数の映像を生成する映像処理装置及び映像処理装置の制御方法に関する。
【０００２】
【従来の技術】
テレビ会議システム及び監視カメラ・システム等では、広範囲の様子を撮影できるように、ビデオ・カメラの雲台及び撮影レンズをモータ等で駆動して、撮影方向及び倍率（即ち、パン、チルト及びズーム）を遠隔制御できるようにしたカメラ装置や、複数のカメラを設け、それらの出力映像を自在に切り替えできるようにした構成が提案されている。たとえば、テレビ会議などで、複数の話者がおり、それらの複数の話者を次々に切り替えて表示したい場合に、１台のカメラをパンしたり、予め各話者の方向に向けた複数のカメラの出力映像を逐次、電子的に切り替えていく方法が採られる。
【０００３】
【発明が解決しようとする課題】
前者の場合、１台のカメラ装置で対応できるので、安価に構築できるという利点があるが、パン駆動に高速のモータを使用しないと、撮影対象の切替えに時間がかかって、間延びしたものになってしまう。パン速度を上げようとすれば、高速で高価なモータを使用しなければならない。いずれにしても、切替え速度は、モータの物理的な回転速度で限定されるので、瞬間的な切替えは実質的に不可能である。
【０００４】
逆に、後者の場合には、撮影対象の切替えは電子的に瞬時に行なえるものの、複数のカメラ装置を用意しなければならないので、非常に高くついてしまう。また、各カメラ装置を撮影対象に向けて予め設置しておかなければならず、撮影対象の位置の変動に対処しにくい固定的なシステムになってしまう。
【０００５】
ズーム倍率の制御についても同様の問題があり、前者及び後者の従来例共に、撮影方向の制御にズーム倍率の制御を加えると、非常に高価なシステムになってしまう。
【０００６】
本発明はこのような問題点を解決し、異なる方向及びズーム倍率に瞬時に切替えできる映像処理装置及び映像処理装置の制御方法を提示することを目的とする。
【０００７】
本発明は更に、１つの撮影映像から、様々な方向及びズーム倍率の映像を生成し、それらの瞬時的な変更を可能にする映像処理装置及び映像処理装置の制御方法を提示することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る映像処理装置は、操作パネルと映像表示ウインドウとを備える複数の外部装置とネットワークを介して接続される映像処理装置であって、画像を蓄積するためのメモリと、前記メモリに蓄積した画像の切り出し範囲を設定するための前記複数の操作パネルによってそれぞれ設定され切り出された複数の画像を、前記複数の操作パネルに対応する映像表示ウインドウに表示させるために、それぞれネットワークを介して出力するための出力手段とを有することを特徴とする。
本発明に係る映像処理装置の制御方法は、画像を蓄積するためのメモリを備え、操作パネルと映像表示ウインドウとを備える複数の外部装置とネットワークを介して接続される映像処理装置の制御方法であって、前記メモリに蓄積した画像の切り出し範囲を設定するための前記複数の操作パネルによってそれぞれ設定され切り出された複数の画像を、前記複数の操作パネルに対応する映像表示ウインドウに表示させるために、それぞれネットワークを介して出力することを特徴とする。
【００１０】
【実施例】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００１１】
図１は本発明の一実施例の概略構成ブロック図を示す。１０は全体を制御するＣＰＵ、１２はＣＰＵ１０の主記憶、１４はビットマップ・ディスプレイ、１６はマウス、１８はネットワーク・インターフェース、２０はフレーム・メモリであり、これらは、バス２２に接続している。
【００１２】
２４はビデオ・カメラ、２６はビデオ・カメラ２４の出力映像信号をディジタル信号に変換してフレーム・メモリ２０に取り込むためのビデオ・キャプチャ装置である。なお、ビデオ・カメラ２４の撮影レンズは、撮影したい範囲を画角内に納め得る高解像度の広角レンズになっている。ビデオ・カメラ２４の撮像手段はまた、例えばハイビジョン・カメラ又はそれ以上に、高解像度のものであることが望ましい。
【００１３】
図２は、ディスプレイ１４の表示画面の一例を示す。ディスプレイ１４上では、複数のウィンドウを重ねて表示可能なウィンドウ・システムが動作している。図２では、ビデオ・カメラ２４による撮影映像の一部を表示する映像表示ウインドウ３０と、ビデオ・カメラ２４による撮影画像のうちでどの部分をどの倍率で映像表示ウインドウ３０に表示するかを指定操作する操作パネル３２を設定する。制御操作する操作パネル３２を設定する。操作パネル３２は、ビデオ・カメラ２４による撮影画像のうちで映像表示ウインドウ３０に表示する部分を指定する位置指定パネル３４と、映像表示パネル３０に表示する画像の倍率を指定する倍率指定パネル３６を具備する。
【００１４】
図３は、ビデオ・カメラ２４により撮影されフレーム・メモリ２０に格納される画像（撮影画像）と映像表示ウインドウ３０に表示される画像（表示画像）との関係を示す。４０はビデオ・カメラ２４により撮影され、ビデオ・キャプチャ装置２６によりフレーム・メモリ２０に格納される画像、即ち、撮影画像であり、４２は、撮影画像４０の内で、映像表示ウインドウ３０に表示されるべく切り出される範囲である。いうまでもないが、切り出し範囲４２が撮影画像４０を外れるときには、外れた部分については一定色データなどをはめ込むなどして、撮影範囲の外も見ようとしていることが画面上で容易に分かるようにする。従って、このような例外的な場合又は部分を除いて、切り出し範囲４２は一般に表示画像に一致する。
【００１５】
カメラ２４の撮影画面で上下方向をｘ軸、左右方向をｙ軸とし、ｘ方向の角度をθ、ｙ方向の角度をφで表わし、撮影画像の中央でθ＝０、φ＝０、ｘ＝０、及びｙ＝０とすると、表示画像の中心座標（ｘ１，ｙ１）は、
ｘ１＝Ｌｔａｎθ
ｙ１＝Ｌｔａｎφ
となる。但し、Ｌは定数である。撮影画像から表示用に切り出す範囲は、この原点座標（ｘ１，ｙ１）と表示倍率で決まる。表示倍率が高いほど、切り出す範囲は縦横共に小さくなる。
【００１６】
切り出し範囲４２から切り出された画像を、映像表示ウインドウ３０の画素数に合うように画素密度変換する。例えば、映像表示ウィンドウ３０（の映像表示域）の画素数をＨ（縦）×Ｗで（横）、撮影画像から切り出した範囲の画素数をｈ（縦）×ｗ（横）であるとすると、Ｈとｈ、Ｗとｗが一致するのは稀であり、一般的には、切り出し範囲の画素データに内挿と間引きを施して、映像表示ウインドウ３０の映像表示域の画素数に合わせることになる。また、画素密度変換方法として、周知の種々の方法を採用し得る。
【００１７】
切り出し範囲４２の中心（ｘ１，ｙ１）は、位置指定パネル３４の４方向キーをマウスで操作することにより、任意に指定でき、表示倍率は倍率指定パネル３６により任意に指定できる。切り出し範囲４２の縦ｈと横ｗは、倍率指定パネル３６で指定された倍率と、映像表示ウインドウ３０の縦横の大きさにより決まる。
【００１８】
切り出し範囲４２の画像は、ディスプレイ１４に表示され、また、ネットワーク・インターフェース１８を介して遠隔地に伝送される。
【００１９】
本実施例では、切り出し範囲４２の中心を変更するコマンド系として、カメラ操作コマンド系と同様に、ｔｉｌｔ（θ）、ｐａｎ（φ）及びｚｏｏｍ（ｚ）を使用する。ｔｉｌｔ（θ）は上下方向のチルトのコマンド、ｐａｎ（φ）は水平方向のパンのコマンド、ｚｏｏｍ（ｚ）はズームのコマンドである。
【００２０】
即ち、チルト・コマンドは、位置指定パネル３４の上下方向ボタンに割り付けられ、これらのボタンを押下している間、ＣＰＵ１０は角度θを増加又は減少させてｔｉｌｔ（θ）コマンドを生成する。パン・コマンドは位置指定パネル３４の左右方向キーに割り付けられ、これらのボタンを押下している間、ＣＰＵ１０は角度φを増加又は減少させてｐａｎ（φ）コマンドを生成する。ズーム・コマンドは倍率指定パネル３６のスクロール・バーに割り付けられ、ＣＰＵ１０は、このスクロール・バーの移動に伴い、その位置に従う倍率ｚのｚｏｏｍ（ｚ）コマンドを生成する。
【００２１】
これらのチルト・コマンド及びパン・コマンドにより、フレーム・メモリ２０からの切り出し範囲４２の中心が変更され、ズーム・コマンドにより切り出し範囲４２の大きさが変更される。これらのコマンドはネットワーク・インターフェース１８を介して遠隔地に伝送することができる。即ち、遠隔地に設置した図１と同じ構成の装置のフレーム・メモリからの切り出し範囲を遠隔制御により変更できる。
【００２２】
図４は、本実施例における撮影から画像表示までの処理の流れを示す。これらの処理が、動画の１フレーム・サイクルの間に実行できれば、動画を再生表示できることになる。
【００２３】
フレーム・メモリ２０からの切り出し範囲４２を電子的に切り替えることで、表示する方向と範囲を変更できるので、実質的に、１台のカメラ装置の撮影方向及びズーム倍率を瞬時に変更できたのと同様の作用効果を得ることができる。
【００２４】
フレーム・メモリ２０の切り出し範囲４２から切り出した画像をネットワークを介して遠隔地の端末に伝送し、当該遠隔地の端末から逆に上述の各コマンドを伝送するようにすることで、遠隔制御が可能になる。基本的には、カメラ装置のパン、チルト及びズームを遠隔操作するのと全く同じである。
【００２５】
本実施例では、フレーム・メモリ２０の切り出し範囲４２から切り出した画像を、ビットマップ・ディスプレイ１４の映像表示ウインドウ３０に表示し、必要により、ネットワークに出力するが、同時に、ファイルに書き出してもよいことは明らかである。処理速度が間に合えば、出力の形態にこだわらない。転送に際してＪＰＥＧ又はＭＰＥＧ等の画像圧縮を施しても構わない。
【００２６】
ビデオ・カメラ２４が読み出し範囲を外部制御できるメモリ手段を具備する場合、そのメモリ手段をフレーム・メモリ２０の代用としてもよいこともまた、明らかである。
【００２７】
上記実施例では、撮影画像に対して１つの切り出し範囲４２を設定したが、複数の切り出し範囲を設定することができる。各切り出し範囲について、切り出し範囲から切り出した画像を表示する映像表示ウインドウと、その切り出し範囲を設定する操作パネルを具備するカメラ・ウインドウを設ける。図５は、４つのカメラ・ウインドウ５０，５２，５４，５６を設けた画面例であり、図６は、これに対応するフレーム・メモリ２０上の切り出し範囲５８，６０，６２，６４の設定例である。カメラ・ウインドウ５０，５２，５４，５６の映像表示ウインドウ５０ａ，５２ａ，５４ａ，５６ａには、それぞれ、切り出し範囲５８，６０，６２，６４から切り出された画像が表示される。また、カメラ・ウインドウ５０，５２，５４，５６の操作パネル５０ｂ，５２ｂ，５４ｂ，５６ｂは、それぞれ、切り出し範囲５８，６０，６２，６４の位置及び大きさを操作するのに使用される。
【００２８】
カメラ・ウインドウ５０，５２，５４，５６と切り出し範囲５８，６０，６２，６４との対応は、図７に示すような表で管理される。直接的には、仮想カメラ番号が、切り出し範囲５８，６０，６２，６４と対応している。操作パネル５０ｂ，５２ｂ，５４ｂ，５６ｂの操作に応じて、該当する操作パネルＩＤの列におけるθ、φ及びズーム倍率の該当する値を更新し、新たな値に従って、対応する切り出し範囲を再設定する。
【００２９】
図８は、複数の切り出し範囲を設定可能にした場合の動作フローチャートであり、図４に示すフローチャートを、図７に示す表の各エントリに対応するように拡張したものであり、ループ処理が加わった点のみが異なる。動画のフレーム・レートをＦ（フレーム／秒）とすると、１／Ｆ秒の間にＳ１〜Ｓ１９の処理を実行できる限り、１台のカメラの撮影画像からＮ個の映像を取り出すことが出来る。なお、ネットワークに出力する際には、伝送する映像データに仮想カメラ番号を付与して、各映像がどの切り出し範囲からのものかを識別できるようにする。仮想カメラ番号の異なる複数の映像を表示すると、あたかも複数のカメラの映像が表示されているかのように見える。
【００３０】
このようにして、物理的に１台のカメラ装置を使用しながら、複数のカメラ装置を使用しているかのように、様々な方位及びズーム倍率の映像を得ることができる。勿論、個々の映像の方位及びズーム倍率は互いに独立に、且つ瞬時に変更できる。
【００３１】
図９に示すグラフィカル・ユーザ・インターフェースを用いることにより、１又は複数の切り出し範囲をより視覚的に設定できる。７０は切り出し範囲を設定するための操作ウインドウであり、このウインドウ７０の大きさが、フレーム・メモリ２０にとりこまれる撮影画像の大きさに比例する。ウインドウ７０内で、所望する位置及び大きさの切り出し範囲を示す矩形枠７２，７４，７６，７８を設定する。矩形枠７２〜７８は、ウインドウ７０内で伸縮及び移動自在であり、ウインドウ７０内で占める位置及び大きさが、それぞれが示す切り出し範囲の位置及び大きさを代表する。最初に矩形枠７２〜７８を設定するときには、例えば、マウスにより矩形枠の対角頂点を指定する。図９により、各切り出し範囲が撮影画像の中でどの部分に該当するかが一目瞭然となる。
【００３２】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、物理的に１台のカメラ装置を使用しながら、あたかも複数のカメラ装置を使用しているかのような作用効果を得ることができる。即ち、撮影方位及びズーム倍率を瞬時に変更でき、また、様々な方位及びズーム倍率の映像を同時に得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】本実施例の画面例である。
【図３】撮影画像と切り出し範囲の説明図である。
【図４】本実施例のフローチャートである。
【図５】４つの切り出し範囲を設定したときの画面例である。
【図６】撮影画像に設定する４つの切り出し範囲の説明図である。
【図７】切り出し範囲とカメラ・ウインドウの対応表である。
【図８】Ｎ個の仮想カメラを有する場合の動作フローチャートである。
【図９】切り出し範囲を操作し、表示するユーザ・インターフェース例である。
【符号の説明】
１０：ＣＰＵ
１２：主記憶
１４：ビットマップ・ディスプレイ
１６：マウス
１８：ネットワーク・インターフェース
２０：フレーム・メモリ
２２：バス
２４：ビデオ・カメラ
２６：ビデオ・キャプチャ装置
３０：映像表示ウインドウ
３２：操作パネル
３４：位置指定パネル
３６：倍率指定パネル
４０：撮影画像
４２：切り出し範囲
５０，５２，５４，５６：カメラ・ウインドウ
５０ａ，５２ａ，５４ａ，５６ａ：映像表示ウインドウ
５０ｂ，５２ｂ，５４ｂ，５６ｂ：操作パネル
５８，６０，６２，６４：切り出し範囲
７０：操作ウインドウ
７２，７４，７６，７８：矩形枠

Claims

操作パネルと映像表示ウインドウとを備える複数の外部装置とネットワークを介して接続される映像処理装置であって、
画像を蓄積するためのメモリと、
前記メモリに蓄積した画像の切り出し範囲を設定するための前記複数の操作パネルによってそれぞれ設定され切り出された複数の画像を、前記複数の操作パネルに対応する映像表示ウインドウに表示させるために、それぞれネットワークを介して出力するための出力手段
とを有することを特徴とする映像処理装置。
前記操作パネルは、切り出し範囲の中心位置および大きさを設定することを特徴とする請求項１に記載の映像処理装置。
前記出力手段によって出力される画像に識別番号が付与されることを特徴とする請求項１に記載の映像処理装置。
画像を蓄積するためのメモリを備え、操作パネルと映像表示ウインドウとを備える複数の外部装置とネットワークを介して接続される映像処理装置の制御方法であって、
前記メモリに蓄積した画像の切り出し範囲を設定するための前記複数の操作パネルによってそれぞれ設定され切り出された複数の画像を、前記複数の操作パネルに対応する映像表示ウインドウに表示させるために、それぞれネットワークを介して出力することを特徴とする映像処理装置の制御方法。
前記操作パネルを使用することにより、切り出し範囲の中心位置および大きさが設定されることを特徴とする請求項４に記載の映像処理装置の制御方法。
前記出力される画像に識別番号が付与されることを特徴とする請求項４に記載の映像処理装置の制御方法。