JP2008236783A - 制御装置、制御方法及び監視システム - Google Patents

Abstract

【課題】天候や時間等の変化に対して違和感のないパノラマ画像を得る。
【解決手段】撮像手段としての撮像装置１０からの映像信号がコンピュータ装置３０のビデオキャプチャーボード３１に供給される。レンズブロック部１１はカメラコントローラ４１からの駆動命令によって変倍用レンズが駆動される。撮像装置１０は回転雲台５０に設置され、パンチルタコントローラ４３からの駆動命令によって各方向に駆動される。モードコントローラ４２はコンピュータ装置３０からの絶対位置駆動要求に対して撮像装置１０及び回転雲台５０の制御を行う。コンピュータ装置３０には記憶装置３２と画像処理装置３３と制御装置３４とが設けられ、これらの装置によってパノラマ画像の形成のための映像信号処理及び制御が行われる。このコンピュータ装置３０で形成された映像信号がコンピュータモニタ６０に供給されてユーザーインターフェースとされる。
【選択図】図１

Description

本発明は、例えばコンピュータネットワークを利用して遠隔地からの監視を行う際に使用して好適な制御装置、制御方法及び監視システムに関するものである。

事象の観察や監視、案内等の目的で、遠隔地からの画像を例えばコンピュータネットワーク（インターネット）を利用して観視を行うことが考えられている。そのような遠隔地からの観視を行う場合に、水平方向の画角を広げたいわゆるパノラマ画像が観視には好適である。

そこでこのようなパノラマ画像を得る方法としては、例えば広角系のレンズを用いる方法が知られているが、一般的に広角系のレンズは高価であり、また通常の広角系のレンズでは垂直方向の画角も広げられるために、パノラマ画像の範囲の走査線数が減少し解像度が低下してしまう恐れがある。

これに対して、パノラマ画像を予め撮像してハードディスク等の記憶装置に保存しておき、新たに撮像された画像をその中に嵌め込み合成してパノラマ画像を形成する方法が実施されている。しかしながらこの方法では、疑似的なパノラマ画像が形成されているに過ぎず、また天候や時間の変化に対して、嵌め込み合成された新たな画像と保存画像との間で違和感を生じる等の問題があった。

この出願はこのような点に鑑みて成されたものであって、解決しようとする問題点は、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば天候や時間の変化に対して違和感を生じる等の問題があったというものである。

このため本発明の第１の制御装置においては、表示制御部と、操作部と、カメラ制御部とを備える構成とし、各部が次のように機能するようにした。表示制御部は、カメラで複数回撮影された画像より生成したパノラマ画像を表示するよう制御する。操作部は、パノラマ画像上で領域を指定する。そして、カメラ制御部は、カメラで撮影された第１の画像と当該画像の撮影より前にカメラで撮影された第２の画像との差異が所定以上の場合、操作部によりパノラマ画像上で事前に指定された領域を、カメラで撮影するよう制御する。

また、本発明の第２の制御装置においては、表示制御部と、操作部と、カメラ制御部とを備える構成とし、各部が次のように機能するようにした。表示制御部は、カメラで複数回撮影された画像より生成したパノラマ画像を表示するよう制御する。操作部は、パノラマ画像上で領域を指定する。そして、カメラ制御部は、操作部によりパノラマ画像上で指定された領域で、カメラで撮影された第１の画像と当該画像の撮影より前にカメラで撮影された第２の画像との差異が所定以上の場合、パノラマ画像を更新するようカメラを制御する。

請求項１、７及び９の発明によれば、カメラで撮影された第１の画像と当該画像の撮影より前にカメラで撮影された第２の画像との差異が所定以上の場合、パノラマ画像上で事前に指定された領域を、カメラで撮影するよう制御して更新することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるようになった。

これによって、従来は従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば天候や時間の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができるものである。

請求項４、８及び１０の発明によれば、パノラマ画像上で指定された領域で、カメラで撮影された第１の画像と当該画像の撮影より前にカメラで撮影された第２の画像との差異が所定以上の場合、パノラマ画像を更新するようカメラを制御することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるものである。

以下、図面を参照して本発明を説明するに、図１は本発明を適用した装置の一例の構成を示すブロック図である。

この図１において、撮像手段としての撮像装置１０は全体としてビデオカメラを示し、被写体（図示せず）から到達する撮像光は、レンズブロック部１１のレンズ、絞り等を通して固体撮像素子、例えばＣＣＤ１２に結像される。そしてこのＣＣＤ１２で、任意の視野映像が映像信号に変換された後、信号分離（サンプルホールド：ＳＨ）／自動利得制御（ＡＧＣ）装置１３に与えられる。

信号分離／自動利得制御装置１３では、ＣＣＤ１２からの映像出力信号が、例えば所定の画素クロックに従ってサンプルホールドされると共に、例えばオートアイリス（ＡＥ）の制御信号によって所定のゲインを持つように自動利得制御が行われる。かくして得られた映像出力信号は、Ａ／Ｄ変換装置１４を介して信号処理装置１５に供給される。

信号処理装置１５では、入力されてきた信号が、輝度、色差、ビデオ信号といった各信号に変換され、映像信号としてテレビジョンモニタ２０や、後述するコンピュータ３０のビデオキャプチャーボード３１に供給される。これによってこのビデオキャプチャーボード３１に供給された映像信号が、順次コンピュータ装置３０に取り込まれる。

また、撮像装置１０のレンズブロック部１１は、変倍用のレンズを駆動することによって撮像する画角を変化させることが可能なズームレンズである。そして後述するカメラコントローラ４１からの駆動命令によって、モータ、例えばズーム用ステッピングモータ１６が回転されて、上述の変倍用のレンズが駆動される如く構成されている。

カメラコントローラ４１は、撮像装置１０のレンズ制御（フォーカス、ズーム）、露出制御（絞り、ゲイン、電子シャッタースピード）、白バランス制御、画質制御等を常時行うと共に、モードコントローラ４２とのインターフェースが行われる。そして例えばズームの駆動要求に対しては、変倍用レンズを要求位置に駆動する制御信号がモータ１６の駆動回路（図示せず）に出力されると共に、変倍用レンズの位置情報が常時モードコントローラ４２に通信される。

さらに撮像装置１０は、駆動手段として例えばパン（左右）及びチルト（上下）といった２軸の回転方向の自由度を持つ装置、例えば回転雲台５０の上に設置される。そして後述するパンチルタコントローラ４３からの駆動命令によって、モータ、例えばパン用ステッピングモータ５１及びチルト用ステッピングモータ５２が回転されて、回転雲台５０が各方向に駆動される如く構成されている。

パンチルタコントローラ４３では、モードコントローラ４２とのインターフェースが行われる。そして例えばパン、チルトの各方向の駆動要求に対しては、回転雲台５０を要求された方向に駆動する制御信号がモータ５１、５２の駆動回路（図示せず）に出力されると共に、回転雲台５０の例えばパン、チルトの各方向の位置情報が常時モードコントローラ４２に通信される。

さらにモードコントローラ４２は、撮像装置１０及び回転雲台５０の内部状態や、装置外部からのインターフェース情報に従ってシステム全体の制御を行う。そしてこのモードコントローラ４２は、例えばＲＳ２３２Ｃによってコンピュータ装置３０に接続され、コンピュータ装置３０からの絶対位置駆動要求に対して制御が行われる。

すなわちモードコントローラ４２では、コンピュータ装置３０からの絶対位置駆動要求に対し、撮像装置１０でその位置を撮像するべく、レンズブロック部１１のモータ１６及び回転雲台５０のモータ５１、５２を駆動する駆動命令が、カメラコントローラ４１及びパンチルタコントローラ４３に振り分けられる。それと共に、これらのコントローラ４１及び４３からの位置情報が、モードコントローラ４２を通じてコンピュータ装置３０に送信される。

さらにこのコンピュータ装置３０には、記憶装置３２と画像処理装置３３と制御装置３４とが設けられ、これらの装置によってこのコンピュータ装置３０は、例えばパノラマ画像の形成のための映像信号処理手段、及び制御手段として使用される。また、このコンピュータ装置３０で形成された映像信号がコンピュータモニタ６０に供給されてユーザーインターフェースとされ、この管面上にグラフィック表示される画像を用いて内部処理の条件等が決定される。

またこのコンピュータ装置３０には、例えば撮像装置１０から入力される映像信号がビデオキャプチャーボード３１を通じて取り込まれる。ビデオキャプチャーボード３１では、取り込まれた映像信号を任意のクォリティでモニタ６０に表示すると共に、キャプチャー信号により任意の画像フォーマット（例えばビットマップ形式、ＪＰＥＧ形式の静止画、動画等）に任意のクォリティでキャプチャーし、ハードディスク等の記憶装置３２に記憶することができる。

さらにこのコンピュータ装置３０で実行される制御アルゴリズムについて図２を用いて説明する。

図２においてプログラムがスタートされると、まずステップ〔１〕で撮像映像とパノラマ画像の各々の表示領域をモニタ６０上に設定する処理が行われる。これによってモニタ６０上には、例えば図１中に示すように、撮像映像の表示領域６１と、パノラマ画像の表示領域６２とが設定される。そしてこの内の表示領域６１に例えば撮像装置１０から入力される映像信号が表示される。

さらにステップ〔２〕で、例えばモードコントローラ４２と周期的に通信を行うためのタイマーが設定される。そしてこれらの初期設定が完了すると、ステップ〔３〕で、各種の発生されるイベントの待機状態に推移される。なお発生されるイベントは、上述のステップ〔２〕で設定されたタイマーイベント（詳細は後述）と、後述のパノラマ画像の作成要求イベントである。

ここでタイマーイベントの詳細について図４を用いて説明する。なおこのタイマーイベントは、例えばモードコントローラ４２と周期的に通信を行うために発生されるイベントである。

そこでこのイベントが発生されると、ステップ〔１１〕で通信ポートの設定が完了しているか否か判断され、初回のみ通信ポートの設定が完了していないのでステップ〔１２〕で通信ポートの開設処理が行われる。なお、上述の装置では、通信ポートとして例えばコンピュータ装置３０上のＲＳ２３２Ｃポートの開設が行われる。

さらに２回目以降のタイマーイベントでは、ステップ〔１３〕で受信データの有無が判断され、受信データが有る時はステップ〔１４〕で受信データの解析処理が行われる。すなわちこのステップ〔１４〕では、例えばモードコントローラ４２との通信によって、レンズブロック部１１の変倍用レンズの位置情報、回転雲台５０のパン、チルトの各方向の位置情報が取得される。そしてこれらの情報からそれぞれズームの倍率情報、パン、チルトの角度情報が取り出される。

次にステップ〔１５〕では、データの転送要求（Ｆｌａｇ ｓｏ）の有無が確認される。そして転送要求が有る（Ｔｒｕｅ）のときは、データはすでに送信バッファに格納されているので、ステップ〔１６〕で直ちにこの送信バッファのデータを用いて転送処理が行われると共に、転送要求が無し（Ｆｌａｇ ｓｏ＝Ｆａｌｓｅ）にされる。

そしてステップ〔１５〕で転送要求が無い（Ｆａｌｓｅ）のときは、ステップ〔１７〕〔１８〕〔１９〕でそれぞれ内部カウンタ（ｒｅｑ ｃｎｔ）の値が判断される。ここで（ｒｅｑ ｃｎｔ＝０）のときは、ステップ〔１７〕からステップ〔２０〕に進められて、回転雲台５０のモータ５１、５２を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。

また（ｒｅｑ ｃｎｔ＝１）のときは、ステップ〔１８〕からステップ〔２１〕に進められて、レンズブロック部１１のモータ１６を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。また（ｒｅｑ ｃｎｔ＝２）のときは、ステップ〔１９〕からステップ〔２２〕に進められて、後述するパノラマ画像の作成処理が行われる。

そしてステップ〔２０〕〔２１〕が実行された後は、ステップ〔２３〕で（ｒｅｑ ｃｎｔ）をカウントアップする処理が行われる。またステップ〔２２〕が実行された後は、ステップ〔２４〕で（ｒｅｑ ｃｎｔ）を０に戻す処理が行われる。これによって、これらのステップ〔２０〕〔２１〕〔２２〕の処理が、各イベントの処理ごとに循環して実行される。

さらに上述のパノラマ画像の作成処理は以下に述べるようにして行われる。すなわちこのパノラマ画像の作成処理は、例えば図３に示すステップ〔３０〕において、パノラマ作成要求（Ｆｌａｇ ｐａ）が設定されることによって、上述のタイマーイベントのステップ〔２２〕においてこの処理が実行される。

ここでパノラマ画像の作成処理の詳細について図５を用いて説明する。なおこの例では、処理の手順が、内部カウンタ（Ｐａｎｏ ｃｎｔ）に従って行われるものである。

そこでまずステップ〔３１〕〔３２〕で内部カウンタ（Ｐａｎｏ ｃｎｔ）の値が判断される。ここで（Ｐａｎｏ ｃｎｔ＝１）のときは、ステップ〔３１〕からステップ〔３３〕に進められて、撮像装置１０の画角を最広角に設定するようにレンズブロック部１１のモータ１６を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。なお、画角が最広角に設定されることで、より少ない回数の画像取得でパノラマ画像が形成される。

また、（Ｐａｎｏ ｃｎｔ＝２）のときは、ステップ〔３２〕からステップ〔３４〕に進められて、撮像装置１０の撮像範囲をパノラマ画像の作成処理で最初に画像取得を行う位置に設定するように、回転雲台５０のモータ５１、５２を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。

さらに（Ｐａｎｏ ｃｎｔ）が３以上のときは、ステップ〔３５〕〔３６〕で上述のステップ〔３３〕〔３４〕で設定されたズーム位置及び撮像範囲に移動されたことが確認される。そしてこれらの設定位置に到達した場合には、ステップ〔３７〕で最初の画像取得が行われる。さらにステップ〔３８〕で次の画像取得位置に回転雲台５０のモータ５１、５２を駆動する処理が行われる。

また、ステップ〔３９〕で先に取得した画像の水平、垂直方向への圧縮処理等が行われ、ステップ〔４０〕でパノラマ画像の作成状況がモニタ６０の表示領域６２に表示される。さらにステップ〔４１〕で（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われ、ステップ〔４２〕でパノラマ画像が完成されたか否か判断され、完成していないときは以上の動作が繰り返される。

そしてステップ〔４２〕でパノラマ画像が完成されると、ステップ〔４３〕でパノラマ作成要求（Ｆｌａｇ ｐａ）が無し（Ｆｌａｇ ｐａ＝Ｆａｌｓｅ）にされると共に、ステップ〔４４〕で完成されたパノラマ画像が保存されて、動作が終了される。

このようにして、例えば回転雲台５０によって撮像装置１０の撮像範囲が順次移動されながら取得された画像が圧縮処理されながら連結されて、パノラマ画像が形成される。なお、ここで回転雲台５０は、指令される目標位置に対して常に同じ方向から進入するように動作される。これによって、例えば画像の連結の際に発生し得る駆動系の機構の遊び（ギアのバックラッシュ等）による連結画像のずれを補正することができるものである。

従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。

これによって、従来は従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば天候や時間の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができる。

なお、上述の装置においては、例えば撮像装置１０の１台を回転雲台５０によって撮像範囲を変化させてパノラマ画像の撮像を行うこととしたが、これは回転雲台５０を用いる代わりに複数台の撮像装置を、パノラマ画像を形成する各方向に向けて配置し、これらの撮像装置からの映像信号を順次切り換えて駆動手段としても、同様の映像信号の取得を行うことができるものである。

あるいは上述の装置において、撮像装置１０のレンズブロック部１１自体、またはその前に、魚眼レンズ等の周囲の画像を湾曲させて広範囲の画像を撮像する手段を設置することが考えられる。この場合には、映像信号処理手段を構成する例えばコンピュータ装置３０の画像処理装置３３にて、緯度、経度方向の座標の変換を行い、平面に投射されるように画像処理を施してパノラマ画像を形成することができる。

従ってこの装置においては、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を正規化して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるものである。

さらに上述の装置において、上述の図３のステップ〔３０〕におけるパノラマ作成要求（Ｆｌａｇ ｐａ）の設定は、例えば使用者がモニタ６０上に示されるボタンを操作したり、いわゆるリモートコントロールによって行うこともできるが、さらに撮影時刻の指定による設定や、画像認識（処理）、各種のセンサの検知等によって自動的に設定が行われるようにすることもできる。

すなわち、例えば撮影時刻の指定による設定を行う場合には、例えば図１のコンピュータ装置３０に付属されるキーボードやいわゆるマウス等のポインティングデバイス等の入力装置３５によってパノラマ撮影を行う時刻を設定することにより、その時刻が記憶装置３２に保存される。

そして例えば図２のイベント判定のステップ〔３〕において、コンピュータ装置３０に内蔵された時計（図示せず）と保存された設定時刻とを比較し、両者が一致したときにパノラマ画像の作成要求が指令され、撮影が行われる。なお、時刻は複数を設定したり、また一定の時間間隔を指示することによって、自動的に連続撮影を行うことも可能である。

あるいは、撮像装置１０から得られる映像情報を現在と過去とで比較して、その差異を検出して自動的にパノラマ画像の作成要求が指令されるようにすることもできる。ここで得られる映像情報とは、画像の輝度、色差、輪郭、カラーバランス等である。

そこで例えば輝度情報を利用する方法では、撮像装置１０から現在映出されている画像の部分の輝度平均が、撮影されて記憶装置３２に保存されているパノラマ画像の一部分の輝度平均と比較される。そしてその差が一定以上に開いたときにパノラマ画像の作成要求が指令され、撮影が行われる。そして作成されたパノラマ画像は直ちに、モニタ６０等に映出される。

なおこの方法では、風景等の撮影において、時間経過と共に周囲の明るさが変化しているような場合に、自動的にパノラマ画像が撮影更新されるので、常に現在の撮像装置１０で撮像されている映像に近いパノラマ画像を提供することが可能となるものである。

また、例えば図６に示すように、撮像装置１０で撮像されている被写体について代表点を指定し、その輝度と色差情報を組み合わせてモデル化して、その位置情報と共に記憶装置３２に保存する。そして同一の範囲を撮像装置１０により常に撮像し、被写体モデルの位置座標に差異が生じたときにパノラマ画像の作成要求が指令され、撮影を行うことが可能である。

すなわち図６のＡにおいて、元の被写体モデルの位置座標（Ｘ０、Ｙ０）が、図６のＢに示すように位置座標（Ｘ１、Ｙ１）になったときに、Ｘ０≠Ｘ１またはＹ０≠Ｙ１を判断して、図６のＣに示すように被写体が移動したと認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。この方法によって、上述の装置を動態監視システムとして利用することができる。

この他、マイクロフォンのような音声情報を得られる手段を備え、音声の検出に伴ってパノラマ画像の作成要求を指令して撮影を開始することも可能である。この場合には、例えば図７に示すように、撮像装置１０が回転雲台５０等の駆動手段によって移動されて撮像可能な範囲に、例えば指向性マイクロフォンを複数設置する。これらの指向性マイクロフォンで収音された音声情報が図１のコンピュータ装置３０に入力される。

そしてこのコンピュータ装置３０では、マイクロフォンで収音された音声情報の中に特定の音声情報を検出すると、パノラマ画像の作成要求を指令すると共に、その音声情報を検出したマイクロフォンの指向性がどの方向であるか記憶し、必要ならばその方向から撮影を行ってパノラマ画像を更新することができる。

このようにして、特定の音声情報の検出によって被写体の変化を認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。またこの方法では、同様に光センサや焦電センサ等の各種センサを用いて、それぞれ必要に応じた検出と、パノラマ画像の更新を行うことができるものである。

さらに上述の説明では、例えば撮像装置１０の視野全域に亙ってパノラマ画像の撮像、更新が行われることとしたが、例えば図８に示すように、モニタ６０上に映出されるパノラマ画像上で、キーボードやポインティングデバイス（マウス）等の入力装置３５を利用して、撮像及び更新したい領域を指定できるようにすることも可能である。

また、撮像された画像や、各種センサからの情報によって、撮像可能範囲内の一部分で変化が検出された場合には、必要に応じてその部分をパノラマ画像上に表示すると共に、その部分を含む領域のみを撮像及び更新できるようにすることも可能である。

さらにこのような特定の領域のみを撮像及び更新領域とする方法では、特に、上述した被写体のモデル化による動態検出や、各種の指向性センサの検出による自動撮影といった監視目的の用途として有効である。

従って上述の装置においては、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な観視を行うことができるものである。

さらに上述の図１の装置において、表示手段としてのコンピュータモニタ６０を設けたことによって、この装置は表示装置として実施することができる。

従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができる。

あるいはこの装置において、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を正規化して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。

そしてこれらの装置において、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な観視を行うことができるものである。

さらに上述の図１の装置において、記録手段としての記憶装置３２を設けたことによって、この装置は記録装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号が直接順次記録されるか、映像信号処理装置３３で形成されたパノラマ画像が記録されるものである。

従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で合成されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができる。

あるいはこの装置において、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で正規化されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができる。

そしてこれらの装置において、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な記録を行うことができるものである。

さらに上述の図１の装置において、再生手段としての記憶装置３２を設けたことによって、この装置は再生装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号が直接順次記録されて再生されるか、映像信号処理装置３３で形成されたパノラマ画像が記録されて再生されるものである。

従ってこの装置において、撮像範囲が順次変化された映像信号を再生し、この再生映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができる。

あるいはこの装置において、撮像手段の撮像範囲の湾曲された映像信号を再生し、この再生映像信号を正規化して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができる。

さらに上述の図１の装置において、コンピュータ装置３０からコンピュータモニタ６０に送られる信号をモデム（図示せず）を介して、例えばインターネットのようなコンピュータネットワークに送出することによって、この装置は伝送装置として実施することができる。

すなわちこのようなコンピュータネットワークにおいて、遠隔地に設置された撮像装置１０〜コンピュータ装置３０〜回転雲台５０の構成に対して、任意のコンピュータ装置と表示装置とモデムを有する使用者側の装置からネットワークを通じてアクセスを行う。これによって、その時の撮像画像と、例えばコンピュータ装置３０の記憶装置３２に保存されているパノラマ画像を、例えば図１のモニタ６０と同様の画面構成で使用者側の表示装置に得ることができる。

従ってこの装置において、遠隔地に設置された撮像手段で撮像された映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができる。

あるいはこの装置において、遠隔地に設置された撮像手段で撮像された撮像範囲の湾曲された映像信号を正規化して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができる。

そしてこれらの装置において、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な観視を行うことができるものである。

さらに上述の図１の装置において、記憶装置３２の記録媒体を着脱自在のものとし、この記録媒体を取り出すことによって、この装置は記録媒体として実施することができる。

従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で合成されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録した記録媒体を得ることができる。

あるいはこの装置において、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で正規化されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録した記録媒体を得ることができる。

そしてこれらの装置において、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な記録媒体を得ることができるものである。

本発明の適用される撮像、表示装置の一例のシステム全体の構成図である。 その動作の説明のためのフローチャート図である。 その動作の説明のためのフローチャート図である。 その動作の説明のためのフローチャート図である。 その動作の説明のためのフローチャート図である。 その説明のための図である。 その説明のための図である。 その説明のための図である。

符号の説明

１０…撮像装置、１１…レンズブロック部、１２…ＣＣＤ、１３…信号分離／自動利得制御装置、１４…Ａ／Ｄ変換装置、１５…信号処理装置、１６…ズーム用ステッピングモータ、２０…テレビジョンモニタ、３０…コンピュータ、３１…ビデオキャプチャーボード、３２…記憶装置、３３…画像処理装置、３４…制御装置、３５…入力装置、４１…カメラコントローラ、４２…モードコントローラ、４３…パンチルタコントローラ、５０…回転雲台、５１…パン用ステッピングモータ、５２…チルト用ステッピングモータ、６０…コンピュータモニタ、６１…撮像映像の表示領域、６２…パノラマ画像の表示領域

Claims (38)

1. 映像信号を発生する撮像手段と、
   上記撮像手段の撮像範囲を変化させる駆動手段と、
   上記撮像手段からの映像信号が供給され上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、
   上記撮像手段での撮像と上記駆動手段での駆動と上記映像信号処理手段での処理とを制御する制御手段とからなる
   ことを特徴とする撮像装置。
2. 映像信号を発生する撮像手段と、
   上記撮像手段の撮像範囲を湾曲させて上記撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、
   上記撮像手段からの映像信号が供給され上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、
   上記撮像手段での撮像と上記映像信号処理手段での処理とを制御する制御手段とからなる
   ことを特徴とする撮像装置。
3. 時間設定手段を設け、
   上記時間設定手段に設定された時間によって上記制御手段による制御が行われることを特徴とする請求項１または２に記載の撮像装置。
4. 上記撮像手段からの映像信号を記憶する記憶手段と、
   上記撮像手段からの映像信号と上記記憶手段に記憶された映像信号との差異を検出する比較手段とを設け、
   上記比較手段で差異が検出されたときに上記制御手段による制御が行われることを特徴とする請求項１または２に記載の撮像装置。
5. 上記撮像手段の設けられた場所の音声を検出または認識する手段を設け、
   上記音声が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項１または２に記載の撮像装置。
6. 上記撮像手段の設けられた場所の物理的状態の変化を検出または認識する手段を設け、
   上記物理的状態の変化が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項１または２に記載の撮像装置。
7. 上記映像信号処理手段で形成された映像信号中の任意の範囲を指定する手段を設け、
   設定された時間ごと、または上記撮像された映像信号に差異が検出されたとき、または上記撮像手段の設けられた場所の音声が検出または認識されたとき、または上記撮像手段の設けられた場所の物理的状態の変化が検出または認識されたときに、上記任意の範囲に対する上記制御手段による制御が行われることを特徴とする請求項１または２に記載の撮像装置。
8. 上記撮像された映像信号に差異が検出されたとき、または上記撮像手段の設けられた場所の物理的状態の変化が検出または認識されたときに、上記差異または変化の検出または認識された範囲に対する上記制御手段による制御が行われると共に、
   上記差異または変化の検出または認識された範囲を上記映像信号処理手段で形成される映像信号中に表示する手段を設けたことを特徴とする請求項１または２に記載の撮像装置。
9. 映像信号を発生する撮像手段と、
   上記撮像手段の撮像範囲を変化させる駆動手段と、
   上記撮像手段からの映像信号が供給され上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、
   上記撮像手段での撮像と上記駆動手段での駆動と上記映像信号処理手段での処理とを制御する制御手段と、
   上記映像信号処理手段で形成された映像信号を表示する表示手段とからなる
   ことを特徴とする表示装置。
10. 映像信号を発生する撮像手段と、
    上記撮像手段の撮像範囲を湾曲させて上記撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、
    上記撮像手段からの映像信号が供給され上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、
    上記撮像手段での撮像と上記映像信号処理手段での処理とを制御する制御手段と、
    上記映像信号処理手段で形成された映像信号を表示する表示手段とからなる
    ことを特徴とする表示装置。
11. 時間設定手段を設け、
    上記時間設定手段に設定された時間によって上記制御手段による制御が行われることを特徴とする請求項９または１０に記載の表示装置。
12. 上記撮像手段からの映像信号を記憶する記憶手段と、
    上記撮像手段からの映像信号と上記記憶手段に記憶された映像信号との差異を検出する比較手段とを設け、
    上記比較手段で差異が検出されたときに上記制御手段による制御が行われることを特徴とする請求項９または１０に記載の表示装置。
13. 上記撮像手段の設けられた場所の音声を検出または認識する手段を設け、
    上記音声が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項９または１０に記載の表示装置。
14. 上記撮像手段の設けられた場所の物理的状態の変化を検出または認識する手段を設け、
    上記物理的状態の変化が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項９または１０に記載の表示装置。
15. 上記映像信号処理手段で形成された映像信号中の任意の範囲を指定する手段を設け、
    設定された時間ごと、または上記撮像された映像信号に差異が検出されたとき、または上記撮像手段の設けられた場所の音声が検出または認識されたとき、または上記撮像手段の設けられた場所の物理的状態の変化が検出または認識されたときに、上記任意の範囲に対する上記制御手段による制御が行われることを特徴とする請求項９または１０に記載の表示装置。
16. 上記撮像された映像信号に差異が検出されたとき、または上記撮像手段の設けられた場所の物理的状態の変化が検出または認識されたときに、上記差異または変化の検出または認識された範囲に対する上記制御手段による制御が行われると共に、
    上記差異または変化の検出または認識された範囲を上記映像信号処理手段で形成される映像信号中に表示する手段を設けたことを特徴とする請求項９または１０に記載の表示装置。
17. 映像信号を発生する撮像手段と、
    上記撮像手段の撮像範囲を変化させる駆動手段と、
    上記撮像手段からの映像信号を直接順次記録、若しくは上記撮像範囲の変化された映像信号から上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて記録する記録手段と、
    上記撮像手段での撮像と上記駆動手段での駆動と上記映像信号処理手段での処理と上記記録手段での記録とを制御する制御手段とからなる
    ことを特徴とする記録装置。
18. 映像信号を発生する撮像手段と、
    上記撮像手段の撮像範囲を湾曲させて上記撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、
    上記撮像手段からの映像信号を直接順次記録、若しくは上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて記録する記録手段と、
    上記撮像手段での撮像と上記映像信号処理手段での処理と上記記録手段での記録とを制御する制御手段とからなる
    ことを特徴とする記録装置。
19. 時間設定手段を設け、
    上記時間設定手段に設定された時間によって上記制御手段による制御が行われることを特徴とする請求項１７または１８に記載の記録装置。
20. 上記撮像手段からの映像信号を記憶する記憶手段と、
    上記撮像手段からの映像信号と上記記憶手段に記憶された映像信号との差異を検出する比較手段とを設け、
    上記比較手段で差異が検出されたときに上記制御手段による制御が行われることを特徴とする請求項１７または１８に記載の記録装置。
21. 上記撮像手段の設けられた場所の音声を検出または認識する手段を設け、
    上記音声が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項１７または１８に記載の記録装置。
22. 上記撮像手段の設けられた場所の物理的状態の変化を検出または認識する手段を設け、
    上記物理的状態の変化が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項１７または１８に記載の記録装置。
23. 撮像範囲の変化された映像信号が順次記録されてなる記録媒体を再生する再生手段と、
    上記再生手段によって再生された映像信号が供給され上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、
    上記再生手段での再生と上記映像信号処理手段での処理とを制御する制御手段とからなる
    ことを特徴とする再生装置。
24. 撮像範囲の湾曲された映像信号が順次記録されてなる記録媒体を再生する再生手段と、
    上記再生手段によって再生された映像信号が供給され上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、
    上記再生手段での再生と上記映像信号処理手段での処理とを制御する制御手段とからなる
    ことを特徴とする再生装置。
25. 映像信号を発生する撮像手段と、
    上記撮像手段の撮像範囲を変化させる駆動手段と、
    上記撮像手段からの映像信号を直接順次伝送、若しくは上記撮像範囲の変化された映像信号から上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて伝送する伝送手段と、
    上記撮像手段での撮像と上記駆動手段での駆動と上記映像信号処理手段での処理と上記伝送手段での伝送とを制御する制御手段とからなる
    ことを特徴とする伝送装置。
26. 映像信号を発生する撮像手段と、
    上記撮像手段の撮像範囲を湾曲させて上記撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、
    上記撮像手段からの映像信号を直接順次伝送、若しくは上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて伝送する伝送手段と、
    上記撮像手段での撮像と上記映像信号処理手段での処理と上記伝送手段での伝送とを制御する制御手段とからなる
    ことを特徴とする伝送装置。
27. 時間設定手段を設け、
    上記時間設定手段に設定された時間によって上記制御手段による制御が行われることを特徴とする請求項２５または２６に記載の伝送装置。
28. 上記撮像手段からの映像信号を記憶する記憶手段と、
    上記撮像手段からの映像信号と上記記憶手段に記憶された映像信号との差異を検出する比較手段とを設け、
    上記比較手段で差異が検出されたときに上記制御手段による制御が行われることを特徴とする請求項２５または２６に記載の伝送装置。
29. 上記撮像手段の設けられた場所の音声を検出または認識する手段を設け、
    上記音声が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項２５または２６に記載の伝送装置。
30. 上記撮像手段の設けられた場所の物理的状態の変化を検出または認識する手段を設け、
    上記物理的状態の変化が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項２５または２６に記載の伝送装置。
31. 上記映像信号処理手段で形成された映像信号中の任意の範囲を指定する手段を設け、
    設定された時間ごと、または上記撮像された映像信号に差異が検出されたとき、または上記撮像手段の設けられた場所の音声が検出または認識されたとき、または上記撮像手段の設けられた場所の物理的状態の変化が検出または認識されたときに、上記任意の範囲に対する上記制御手段による制御が行われることを特徴とする請求項２５または２６に記載の伝送装置。
32. 上記撮像された映像信号に差異が検出されたとき、または上記撮像手段の設けられた場所の物理的状態の変化が検出または認識されたときに、上記差異または変化の検出または認識された範囲に対する上記制御手段による制御が行われると共に、
    上記差異または変化の検出または認識された範囲を上記映像信号処理手段で形成される映像信号中に表示する手段を設けたことを特徴とする請求項２５または２６に記載の伝送装置。
33. 映像信号を発生する撮像手段と、
    上記撮像手段の撮像範囲を変化させる駆動手段と、
    上記撮像手段での撮像と上記駆動手段での駆動とを制御する制御手段とを用いて、
    上記撮像手段からの映像信号が直接順次記録、若しくは上記撮像範囲の変化された映像信号から上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて記録されてなる
    ことを特徴とする記録媒体。
34. 映像信号を発生する撮像手段と、
    上記撮像手段の撮像範囲を湾曲させて上記撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、
    上記撮像手段での撮像を制御する制御手段とを用いて、
    上記撮像手段か−の映像信号が直接順次記録、若しくは上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて記録されてなる
    ことを特徴とする記録媒体。
35. 時間設定手段を設け、
    上記時間設定手段に設定された時間によって上記制御手段による制御と上記映像信号処理手段での処理が行われることを特徴とする請求項３３または３４に記載の記録媒体。
36. 上記撮像手段からの映像信号を記憶する記憶手段と、
    上記撮像手段からの映像信号と上記記憶手段に記憶された映像信号との差異を検出する比較手段とを設け、
    上記比較手段で差異が検出されたときに上記制御手段による制御と上記映像信号処理手段での処理が行われることを特徴とする請求項３３または３４に記載の記録媒体。
37. 上記撮像手段の設けられた場所の音声を検出または認識する手段を設け、
    上記音声が検出または認識されたときに上記制御手段による制御と上記映像信号処理手段での処理が行われることを特徴とする請求項３３または３４の記録媒体。
38. 上記撮像手段の設けられた場所の物理的状態の変化を検出または認識する手段を設け、
    上記物理的状態の変化が検出または認識されたときに上記制御手段による制御と上記映像信号処理手段での処理が行われることを特徴とする請求項３３または３４に記載の記録媒体。

Images