JP2006262030A - 画角調整装置、カメラシステムおよび画角調整方法 - Google Patents

Abstract

【課題】 ワイドカメラの画面とパンチルトズームカメラの画面との相対位置校正を、十分な精度で簡易に行うことができる画角調整装置を提供することを目的とする。
【解決手段】 カメラシステム１は、カメラ２およびサーバ３を備る。カメラ２は、ワイドカメラ２１およびパンチルトズームカメラ２２を備える。サーバ３は、パンチルトズームカメラ２２のパン角度およびチルト角度をあらかじめ用意した方向セットに従って順次移動させるための制御信号を送信する。次に、サーバ３は、ワイドカメラ２１で撮像した画像内のマーク形状を検出して、ワイドカメラ２１の画像中の画素位置とパンチルトズームカメラ２２のパン角度およびチルト角度との関係を求める。サーバ３は、ワイドカメラ２１の画像中の画素位置とパンチルトズームカメラ２２のパン角度およびチルト角度との関係を利用して、ワイドカメラ２１とパンチルトカメラ２２における画角を調整する。
【選択図】 図１

Description

本発明は、画角調整装置、カメラシステムおよび画角調整方法に関する。

遠隔ロケーションからのビデオ会議がより一層普及しつつある。インターネットとディジタルカメラの発達および利用可能性によって、異なるロケーションに位置しながらも、様々な状況下で、より多くの人が、他の人と対話することが可能である。従来、二つのロケーション間でのビデオ会議は、ロケーションの各々にビデオカメラを設ける。大部分のシステムには、パン／チルト／ズーム（ＰＴＺ）カメラが組み込まれている。これらのシステムにおいて、パンチルトズームカメラは、ユーザへある部分のクローズアップビューを提供することができる。大部分のシステムにおいて、ビューワ（ｖｉｅｗｅｒ）は、遠隔ロケーションから、パンチルトズームカメラをコントロールすることができる。

このようなシステムとして特許文献１に記載のカメラシステムが提案されている。特許文献１に記載のシステムでは、設置時に、数点の画角・方向においてズーム画像とワイド画像との対応を指示することによって、簡易な位置合わせ程度の校正を行っている。

特開２００４−６４７８４号公報 特開平１１−８８４４号公報

しかしながら、上記特許文献１では、ワイドカメラのカメラキャリブレーションを厳密に行っても、パンチルトズームカメラのキャリブレーションは簡易的にしか行うことができず、相対的な画角合わせを実現することに繋げることができない。このため、単純な画像位置あわせ程度では、ワイド画面中で指示した位置と、パンチルトズームした画面の画角・方向とのずれが大きく、操作者に違和感を与えるだけでなく、実用上も障害となっている。

そこで、本発明は、上記問題点に鑑みてなされたもので、ワイドカメラの画面とパンチルトズームカメラの画面との相対位置校正を、十分な精度で簡易に行うことができる画角調整装置、カメラシステムおよび画角調整方法を提供することを目的とする。

上記課題を解決するために、本発明は、パンチルトズームカメラの光軸方向と同じ方向に所定のマーク形状を持つパターンを投射するポイント手段と、ワイドカメラで撮像した画像内の前記マーク形状を検出して、該ワイドカメラの画像中の画素位置と前記パンチルトズームカメラのパン角度およびチルト角度との関係を求める算出手段と、前記算出手段が求めた関係を利用して、前記ワイドカメラと前記パンチルトカメラにおける画角を調整する調整手段とを備える画角調整装置である。本発明によれば、ワイドカメラの画面とパンチルトズームカメラの画面との相対位置校正を、十分な精度で簡易に行うことができる。

本発明は、前記パンチルトズームカメラのパン角度およびチルト角度をあらかじめ用意した方向セットに従って順次移動させるための制御信号を送信する送信手段をさらに備え、前記算出手段は、前記方向セットにわたって実施した結果得られる、前記パン角度およびチルト角度と前記ワイドカメラの画像中の画素位置情報の組合せ情報群を用いて、前記ワイドカメラの画像中の画素位置と前記パンチルトズームカメラのパン角度およびチルト角度との関係を算出する。本発明のカメラシステムは、ワイドカメラと、パンチルトズームカメラと、上記画角調整装置を備える。本発明によれば、ワイドカメラの画面とパンチルトズームカメラの画面との相対位置校正を、十分な精度で簡易に行うことができるカメラシステムを提供することができる。

本発明は、パンチルトズームカメラの光軸方向と同じ方向に所定のマーク形状を持つパターンを投射する投射ステップと、ワイドカメラで撮像した画像内で前記マーク形状を検出して、該ワイドカメラの画像中の画素位置と前記パンチルトズームカメラのパン角度およびチルト角度との関係を求める算出ステップと、前記算出ステップで求めた関係を利用して、前記ワイドカメラと前記パンチルトカメラにおける画角を調整する調整ステップとを有する画角調整方法である。本発明によれば、カメラ組み立て時、あるいは設置時・移設時などにワイドカメラとパンチルトカメラにおける画角を調整することができる。

本発明の画角調整方法は、前記パンチルトズームカメラのパン角度およびチルト角度をあらかじめ用意した方向セットに従って順次移動させるステップをさらに有する。

本発明によれば、ワイドカメラの画面とパンチルトズームカメラの画面との相対位置校正を、十分な精度で簡易に行うことができる画角調整装置、カメラシステムおよび画角調整方法を提供することができる。

以下、本発明を実施するための最良の形態について説明する。図１は、本発明によるカメラシステムの構成を示す図である。図１に示すように、カメラシステム１は、カメラ２およびサーバ３を備る。カメラ２は、ワイドカメラ２１およびパンチルトズームカメラ２２を備える。ワイドカメラ２１は、ビデオフレームをキャプチャする任意のカメラである。このワイドカメラ２１は、複数の広角カメラ又は単一のパノラマカメラから成り得る。複数の広角カメラを用いて、キャプチャされたビデオは、つなぎ合わされて、パノラマ画像を生成する。たとえば、二つの広角カメラを用いた場合、約１００度の視界角、１２００×４８０解像度の画像フレームを生成するために使用され得る。

パンチルトズームカメラ２２は、サーバ３からの制御信号に応答して、パン、チルトおよびズームオペレーションを実行することが可能なカメラである。このようなカメラは、例えば、ソニーＥＶＩ−Ｄ３０ ＰＴＺカメラである。パンチルトズームカメラ２２は、たとえば７６８×４９２解像度の画像を提供することができ、４．４度の視界まで、ズームされ得る。ワイドカメラ２１とパンチルトズームカメラ２２は、たとえば互いの近傍に配置され、略同一方向に向けられる。また、ワイドカメラ２１とパンチルトズームカメラ２２は、共に位置合わせされている。これによって、パンチルトズームカメラ２２を、ワイドカメラ２１のビュー（視野）から取られたＸ座標とＹ座標に向けることができが、画角調整を行わないと、ワイドカメラ２１の画像と、パンチルトズームカメラ２２の画像の画角・方向とのずれが大きくため、操作者に違和感を与えるだけでなく、実用上も障害となる。

また、パンチルトズームカメラ２２は、ポインタ装置２３を備える。このポインタ装置２３は、ワイドカメラ２１とパンチルトズームカメラ２２における画角調整用のポインタを投影するものである。このポインタ装置２３は、パンチルトズームカメラ２２の光軸方向と同じ方向に特徴的な（所定の）マーク形状を持つパターンを投射する。また、パンチルトズームカメラ２２は、簡易なポインタ装置をカメラ光軸方向と同じ方向へ投射することが出来るように取り付けるためのホットシュー装置を備え、画角校正操作を行う時だけ簡易なポインタ装置を取り付けるようにしてもよい。

サーバ３は、カメラシステム１全体を制御するものであり、単一のサーバであってもよいし、個別のサーバであってもよい。このサーバ３は、ネットワーク４を介して遠隔地と通信を行うことができる。ネットワーク４は、インターネット等を含むワイドエリアネットワーク（ＷＡＮ）又はローカルエリアネットワーク（ＬＡＮ）であってもよい。

サーバ３は、パンチルトズームカメラ２２のパン角度およびチルト角度をあらかじめ用意した方向セットに従って順次移動させるための制御信号を送信する。サーバ３は、ワイドカメラ２１で撮像した画像内のマーク形状を検出して、ワイドカメラ２１の画像中の画素位置とパンチルトズームカメラ２２のパン角度およびチルト角度との関係を求める。より詳細には、サーバ３は、方向セットにわたって実施した結果得られる、パン角度およびチルト角度とワイドカメラ２１の画像中の画素位置情報の組合せ情報群を用いて、ワイドカメラ２１の画像中の画素位置とパンチルトズームカメラ２２のパン角度およびチルト角度との関係を算出する。次に、サーバ３は、ワイドカメラ２１の画像中の画素位置とパンチルトズームカメラ２２のパン角度およびチルト角度との関係を利用して、ワイドカメラ２１とパンチルトカメラ２２における画角を調整する。

図２は、マルチリゾリューションビデオフレーム画像を提供するためのインターフェース５０を示す図である。インターフェース５０は、ランドスケープウィンドウ５１、クローズアップウィンドウ５２を有する。ランドスケープウィンドウ５１は、ワイドカメラ２１で得た環境のオーバービュービデオ画像をユーザに提供するものである。クローズアップウィンドウ５２は、パンチルトズームカメラ２２で撮影したグローズアップ画像をユーザに提供するものである。クローズアップウィンドウ５２に表示されるクローズアップ画像は、ランドスケープウィンドウ５１にディスプレイされた画像の一部に対応している。ここでは、ランドスケープウィンドウ５１は、会議室の画像を表示する。したがって、クローズアップウィンドウ５２は、会議室の一部の画像を表示する。クローズアップ画像コンテンツは、マルチリゾリューションビデオシステムによって又はユーザからの入力に基づいて自動的に選択され得る。

白枠で示した、ランドスケープウィンドウ５１のボックス５１１は、クローズアップウィンドウ画像に対応するランドスケープウィンドウ画像の部分を示す。たとえば、ボックス５１１のサイズおよび位置は、ユーザによって提供される入力に対応する。ユーザは、入力デバイスを用いてランドスケープウィンドウ５１の領域を選択するようにしてもよい。

次に、カメラシステム１の動作について説明する。ワイドカメラ２１は、画像をキャプチャして、画像データを、インターフェース３１を介してサーバ３へ送信する。サーバ３は、ワイドカメラ２１によってキャプチャされた画像を、インターフェース３１を介して受け取ると、この画像をネットワーク４へ送信する。サーバ３は、ユーザおよび自動コントロールユニットから、ネットワーク４を介して、制御信号を受け取る。サーバ３は、制御信号を処理して、制御信号をパンチルトズームカメラ２２へ送る。

サーバ３は、パンチルトズームカメラ２２のパン、チルト、ズームおよび他の機能を指示して、パノラマ画像の領域に関連する画像をキャプチャする。パンチルトズームカメラ２２は、サーバ３から、制御信号を受け取り、画像をキャプチャし、画像データを、インターフェース３２を介してサーバ３へ提供する。サーバ３は、ネットワーク４を介して、ユーザおよび自動コントロールユニットにパンチルトズームカメラ２２の画像を提供する。ワイドカメラ２１およびパンチルトズームカメラ２２によってキャプチャされた画像は、サーバ３内のメモリキャッシュ又は他のメモリソース（図示しない）へ記憶されてもよい。

ユーザおよび自動コントロールユニットは、ネットワーク４を介してビデオ画像を受け取り、ネットワーク４を介して入力を自動コントロールユニットおよびサーバ３へ供給する。カメラシステム１は、ワイドカメラ２１とパンチルトズームカメラ２２から、ビデオフレーム画像を提供することによって、図２に示したようなマルチリゾリューションビデオをユーザに提供する。

次に、カメラシステム１における画角調整処理について説明する。図３は、カメラシステム１における画角調整処理を説明するための図である。図３（ａ）は、ワイドカメラ２１による撮影データを示す。同図において「Ｘ」はポインタ装置２３によって投影されたマークＭを示す。パンチルトズームカメラ２２のパン角度およびチルト角度を事前に用意した方向セットに従ってＡ１〜Ａ５のように、順次移動させる。各角度においてワイドカメラ２１の画像において撮像される特徴的なマーク形状Ｍを検出して、ワイドカメラ２１の画像中における相対的な位置関係の対応を算出する。

この手順を方向セット全体にわたって実施した結果得られる、パン角度（Ｐａｎ）とチルト角度（Ｔｉｌｔ）を含む角度セットとワイドカメラ２１の画像中の画素位置情報（Ｘ，Ｙ）の組合せ情報群を用いて、ワイドカメラ画像中の任意の画素位置とパンチルトズームカメラ２２のパン角度（Ｐａｎ）とチルト角度（Ｔｉｌｔ）との関係を内挿計算によって求める。組合せカメラの組み立て調整時は、設置時、移設時など、対象との関係が変化する場合には、本発明で目指す画角調整をやり直すことが望ましい。これは、パンチルト角度とワイドカメラ２１中の画素位置との関係における誤差分散を対象との関係で調整しなおす意味であり、パンチルトカメラとワイドカメラの光軸がずれていることに起因するからである。上記手順により、パン／チルト角度とワイドカメラ中の画素位置との関係を表すテーブルが得られる（図３（ｂ））。このテーブルを、画角調整を行うサーバ３に設置される制御ソフトウエアに組み込むことにより、クライアントから、ワイドカメラ画像中の特定位置へのパンチルトズーム指示が来たときに、的確なパンチルト角度を算出することが出来る。次に、これらの手順を図４を用いて説明する。

図４は、カメラシステムにおける画角調整処理のフローチャートである。ステップＳ１１で、サーバ３に動作パラメータが入力される。サーバ３は、パンチルトズームカメラ２２に制御信号を送って、パンチルトズームカメラ２２のパン角度およびチルト角度を事前に用意した方向セットに従って順次回転させる。また、サーバ３は、ポインタ装置２３に投射制御信号を送る。ポインタ装置２３は、サーバ３からの投射制御信号に従って、パンチルトズームカメラ２２の光軸方向と同じ方向へ、特徴的なマーク形状を持つパターンを投射する。

ステップＳ１２で、サーバ３は、方向セットが終了でなければステップＳ１３に進む。ステップＳ１３で、サーバ３は、パンチルトズームカメラに制御信号を送って、次の方向へパンチルトの動作の指示を行うとともに、その位置におけるワイドカメラ２１による撮像指示を行う。ステップＳ１４で、サーバ３にインターフェース３１を介して、図３（ａ）で示したようなワイドカメラ２１による撮影データが入力される。ステップＳ１５で、サーバ３は、ワイドカメラ２１からの撮像データに基づいて、特徴的なマーク形状Ｍの検出処理を行い、ワイドカメラ２１の画像中における相対的な位置関係の対応を算出する。

ここで、相対的な位置関係の対応を算出とは、ワイドカメラ２１中のマーク位置を画像処理で検出し、そのワイドカメラ２１中の位置座標と、その際の方向セットのパンチルト角度値とを組み合わせて、対応表の１行として格納するということを意味する。この動作の繰り返しで得られるのは、ワイドカメラ２１中の十数点程度にわたるパンチルト角度ｖｓワイドカメラ２１中位置座標の組合せ表にすぎないので、その方向セットの間を内挿計算で埋めようにしている。さらに、サーバ３は、方向セットデータと特徴的なマーク形状の検出画素位置データの組合せ情報を順次記憶する。ステップＳ１６で、サーバ３は、順次方向セットを獲得する。

ステップＳ１２で、方向セットが終了した場合、ステップＳ１７で、サーバ３は、この手順を方向セット全体にわたって実施した結果得られる、角度セット情報（方向セットデータ）とワイドカメラ画像中の画素位置情報（検出画素位置データ）の組合せ情報群を用いて、ワイドカメラ２１の画像中の任意の画素位置とパンチルトズームカメラ２２のパンチルト角度との関係を内挿計算によって求める。すなわち、図３（ｂ）では、模式的にＸ＝０，１，・・、Ｙ＝０，１，２，３…と記述しているが、実際にはワイドカメラ２１の画素数が１，５００×１０００程度の場合、それに基づいて、たとえばＸ＝２１０，６２５，１０８０，１５２０，Ｙ＝１８０，３９５，６１０，８２０などといった数値になる。

ワイドカメラ２１の画像中の特定位置へのパンチルトズーム指示は、このワイドカメラ２１の画素位置データとして、たとえば(Ｘ,Ｙ)＝（３８５，５５０）などといった指示として与えられる。このため、上記テーブルだけでは対応するパンチルト角度が算出できず、そのつど内挿計算をしているのでは時間がかかるので、全てのワイドカメラ２１の画素位置値に対する内挿パンチルト角度を校正時に算出するようにしている。このような連続関係が明らかな（つまり、歪み特性が多項関数的であることが明快な）場合に、関数関係を内挿して算出することは、容易に実施できる。たとえば（Ｐａｎ，Ｔｉｌｔ）＝Ｆ（Ｘ，Ｙ）という、多項関数レベルの関数における公知な内挿数値計算手法で適用可能である。

ステップＳ１８で、サーバ３は、画素位置とパンチルト角度の関係テーブル化処理を行い、この計算の結果得られる画素位置とパンチルト角度との関係を図３（ｂ）に示すようにテーブル化したデータセットを得る。ステップＳ１９で、サーバ３は、データセットの結果を出力し、カメラ組み立て時、あるいは設置時・移設時などに行う簡易校正手順の結果として制御ソフトウエアに組み込むことで、ワイドカメラ２１の画面とパンチルトズームカメラ２２の画面との相対位置校正を、十分な精度で簡易に行うことができる。

なお、本発明による画角調整方法は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて実現され、プログラムをハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤまたはフレキシブルディスクなどの可搬型記憶媒体等からインストールし、または通信回路からダウンロードし、ＣＰＵがこのプログラムを実行することで、各ステップが実現される。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本発明によるカメラシステムの構成を示す図である。 マルチリゾリューションビデオフレーム画像を提供するためのインターフェース５０を示す図である。 本発明のカメラシステムにおける画角調整方法を説明するための図である。 図４は、カメラシステムにおける画角調整処理のフローチャートである。

符号の説明

１ カメラシステム
２ カメラ
２１ ワイドカメラ
２２ パンチルトズームカメラ
２３ ポインタ装置
３ サーバ
４ ネットワーク

Claims (5)

1. パンチルトズームカメラの光軸方向と同じ方向に所定のマーク形状を持つパターンを投射するポイント手段と、
   ワイドカメラで撮像した画像内の前記マーク形状を検出して、該ワイドカメラの画像中の画素位置と前記パンチルトズームカメラのパン角度およびチルト角度との関係を求める算出手段と、
   前記算出手段が求めた関係を利用して、前記ワイドカメラと前記パンチルトカメラにおける画角を調整する調整手段と
   を備えることを特徴とする画角調整装置。
2. 前記パンチルトズームカメラのパン角度およびチルト角度をあらかじめ用意した方向セットに従って順次移動させるための制御信号を送信する送信手段をさらに備え、
   前記算出手段は、前記方向セットにわたって実施した結果得られる、前記パン角度およびチルト角度と前記ワイドカメラの画像中の画素位置情報の組合せ情報群を用いて、前記ワイドカメラの画像中の画素位置と前記パンチルトズームカメラのパン角度およびチルト角度との関係を算出することを特徴とする請求項１に記載の画角調整装置。
3. ワイドカメラと、
   パンチルトズームカメラと、
   請求項１または請求項２に記載の画角調整装置を備えたカメラシステム。
4. パンチルトズームカメラの光軸方向と同じ方向に所定のマーク形状を持つパターンを投射する投射ステップと、
   ワイドカメラで撮像した画像内で前記マーク形状を検出して、該ワイドカメラの画像中の画素位置と前記パンチルトズームカメラのパン角度およびチルト角度との関係を求める算出ステップと、
   前記算出ステップで求めた関係を利用して、前記ワイドカメラと前記パンチルトカメラにおける画角を調整する調整ステップと
   を有することを特徴とする画角調整方法。
5. 前記パンチルトズームカメラのパン角度およびチルト角度をあらかじめ用意した方向セットに従って順次移動させるステップをさらに有することを特徴とする請求項４に記載の画角調整方法。
   

Images