JP2004266668A - 撮像装置及び方法 - Google Patents
撮像装置及び方法 Download PDFInfo
- Publication number
- JP2004266668A JP2004266668A JP2003056242A JP2003056242A JP2004266668A JP 2004266668 A JP2004266668 A JP 2004266668A JP 2003056242 A JP2003056242 A JP 2003056242A JP 2003056242 A JP2003056242 A JP 2003056242A JP 2004266668 A JP2004266668 A JP 2004266668A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- images
- imaging
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができる撮像装置及び方法において、特に撮影時間の大幅な短縮化を図る。
【解決手段】異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また記録媒体に記録されている互いに異なる時点で生成された二つの全体画像の輝度成分を比較し、これに基づいて撮影画角の小さい単位画像から、撮像する単位画像を選択し、また撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する。
【選択図】 図１
【解決手段】異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また記録媒体に記録されている互いに異なる時点で生成された二つの全体画像の輝度成分を比較し、これに基づいて撮影画角の小さい単位画像から、撮像する単位画像を選択し、また撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する撮像装置及び方法に関する。
【０００２】
【従来の技術】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。
【０００３】
このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録し、監視を行うことを可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開平１０−１０８１６３号公報
【特許文献２】
特開２０００−２４３０６２号公報
【０００５】
【発明が解決しようとする課題】
撮像したパノラマ画像について、単独のユーザのみならず複数のユーザがネットワークを介して同時に視認できるシステムが昨今において望まれている。特に百貨店等の商品売り場や立ち入り禁止区域等のような広範囲の状況については、複数のユーザが同時に管理する必要があり、特に事件発生後において、既に蓄積してあるパノラマ画像につき各人が事後的な確認を望む場合もある。
【０００６】
しかしながら、上述したモニタリングシステムや撮像装置は、あくまでユーザが単独で被写体を撮像してパノラマ画像を生成する際に好適なものであるため、複数のユーザによる被写体の同時撮影や、撮影内容の事後的な確認が困難であった。
【０００７】
また、上述したモニタリングシステムや撮像装置では、蓄積したパノラマ画像をデジタルズームにより拡大処理、単位画像を連結する処理や、ズーム値にあわせて画素を間引く処理等が必要となり、精細な画質を維持できず、特に単位画像の連結部を拡大する場合に境界が画面上に表示されてしまい、画質を悪化させる要因にもなっていた。
【０００８】
さらに、撮影画角をあまりに小さく設定すると、小サイズの単位画像を多数貼り合わせて一枚の全体画像を構成する必要が生じ、撮影枚数が増加し、ひいては撮影時間が長期化してしまうという問題点もあった。
【０００９】
そこで本発明は上述した問題点に鑑みて案出されたものであり、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができる撮像装置及び方法において、特に撮影時間の大幅な短縮化を図ることを目的とする。
【００１０】
【課題を解決するための手段】
本発明者は、上述した問題点を解決するために、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また記録媒体に記録されている互いに異なる時点で生成された二つの全体画像の輝度成分を比較し、これに基づいて撮影画角の小さい単位画像から、撮像する単位画像を選択し、また撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する撮像装置及び方法を発明した。
【００１１】
すなわち、本発明を適用した撮像装置は、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成する撮像手段と、撮像された単位画像を上記撮影画角毎に階層化して記録媒体へ記録する記録手段と、上記記録媒体に記録されている、互いに異なる時点で生成された２つの全体画像の輝度成分を比較する比較手段とを備え、上記撮像手段は、上記比較手段により比較された輝度成分に応じて、撮影画角のより小さい単位画像から、撮像する単位画像を選択する。
【００１２】
また、本発明を適用した撮像装置は、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成する撮像手段と、撮像された単位画像を上記撮影画角毎に階層化して記録媒体へ記録する記録手段と、上記全体画像を表示する全体画像表示手段と、上記全体画像表示手段に表示される全体画像において、ユーザが画像領域を指定するための指定手段とを備え、上記撮像手段は、撮影画角のより小さい単位画像から、撮像する単位画像として、上記指定手段により指定された画像領域を含む単位画像を選択する。
【００１３】
すなわち、本発明を適用した撮像方法は、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成し、撮像した単位画像を上記撮影画角毎に階層化して記録媒体へ記録し、上記記録媒体に記録されている互いに異なる時点で生成された２つの全体画像の輝度成分を比較し、比較した輝度成分に応じて、撮影画角のより小さい単位画像から、撮像する単位画像を選択する。
【００１４】
また、本発明を適用した撮像方法は、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成し、撮像した単位画像を上記撮影画角毎に階層化して記録媒体へ記録し、上記全体画像を表示し、上記撮像手段は、撮影画角のより小さい単位画像から、撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した撮像システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、音声信号を受信するマイク１２と、カメラユニット２より伝送された画像信号に所定の処理を施す画像入出力部１３と、マイク１２より伝送された音声信号に所定の処理を施す音声入出力部１４と、少なくとも画像入出力部１３及び音声入出力部１４に接続され、上記画像信号を処理するための演算処理部１５と、演算処理部１５に接続され、上記画像信号を記録するサーバ５３と、ユーザが本システム１を制御するための操作部１６と、演算処理部１５に接続され、各種情報を表示するためのディスプレイ６と、他のユーザがアプリケーションを実行するための端末装置９と、端末装置９に接続される端末ディスプレイ１０と、端末装置９に対して各種情報を送受信するためのネットワーク８とを備えている。
【００１６】
カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。
【００１７】
カメラ部４は、パンチルタ部３を構成する回転台上に配設され、演算処理部１５等による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、演算処理部１５等による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。
【００１８】
画像入出力部１３、音声入出力部１４、演算処理部１５、サーバ５３並びに操作部１６は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器１００により一体化して構成してもよい。この電子機器１００によれば、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの電子機器１００は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれをディスプレイ６に表示するように制御する。この電子機器１００は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて、画像や音声を送信する。
【００１９】
ネットワーク８は、例えば電子機器１００と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）／Ｂ（ｂｒｏａｄｂａｎｄ）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの撮像システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）で構成してもよい。さらにこのネットワーク８は、静止画像に加えて動画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）データを始めとする動画像がある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク８には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、端末装置９による要求を受けて、自身に格納してある所定の情報を送信する。
【００２０】
端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して電子機器１００から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの撮像システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、電子機器１００から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを電子機器１００に対して送信する。なお端末装置９のブロック構成については、後述する電子機器１００の構成を引用し、説明を省略する。
【００２１】
次に、本発明を適用した撮像システム１におけるカメラユニット２，電子機器１００の構成について詳細に説明する。
【００２２】
図２は、カメラユニット２，電子機器１００の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに電子機器１００の各構成要素が接続されている。
【００２３】
カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するＴｉｌｔ部３ａ、Ｐａｎ部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像入出力部１３へ送信するためのＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。
【００２４】
また画像入出力部１３は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２とを備えている。
【００２５】
また演算処理部１５は、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続されるメモリカード６１並びに時計６２とを備えている。
【００２６】
また操作部１６は、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０を備えている。
【００２７】
Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００２８】
レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。
【００２９】
撮像部２４は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。
【００３０】
ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。
【００３１】
バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。
【００３２】
サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号を上述した図示しないネットワークサーバに記録するように制御することにより、サーバ５３を図示しないネットワークサーバに代替することも可能となる。
【００３３】
画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。また、この画像圧縮部５４は、ＣＰＵ５６による制御に従い、サーバ５３に記録されている画像を読み出して、動画像を生成する。ちなみにこの動画像を生成する際の圧縮方法としては、例えばＭＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００等に基づき実行してもよい。
【００３４】
グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。
【００３５】
ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、電子機器１００内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている最適な静止画像、動画像、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。
【００３６】
音声入出力部１２は、マイク１２から入力された音声信号を符号化する。この音声入出力部１２により符号化された音声信号についても、上述の如く画像信号と同様にサーバ５３へ供給され、記録されることになる。
【００３７】
次に本発明を適用した撮像システム１における撮像動作について説明をする。
【００３８】
図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【００３９】
ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。
【００４０】
同様にＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。
【００４１】
カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。
【００４２】
ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように縮小される。この縮小された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。
【００４３】
図４は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この電子機器１００は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また電子機器１００は、パノラマ状の全体画像（パノラマ画像）の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７０に表示させてもよい。
【００４４】
ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、全体画像表示部７０に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。さらにこの拡大画像表示部７１には、後述する方法により生成した動画を表示してもよい。
【００４５】
また表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を縮小して表示させるためのＷＩＤＥボタン７２、撮影倍率を拡大して表示させるためのＺＯＯＭボタン７３が表示される。また、この表示画面４５には、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御部７５、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン７６等も表示される。
【００４６】
また、ユーザは、全体画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０，７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
【００４７】
次に、本発明を適用した撮像装置において、異なる２以上の撮影画角で画像を撮像する場合につき説明をする。
【００４８】
カメラユニット２は、図５に示すように、黒枠で示される同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する。撮像により得られる単位画像を撮影画角毎に合成することにより、全体画像と同一内容の単位画像の集合を図５に示すように幾層にも亘って作成することができる。以下、各撮影画角に応じた単位画像の集合をＬａｙｅｒという。Ｌａｙｅｒの番号は、撮影画角の大きい順からｎ、ｎ＋１、ｎ＋２、・・、と増加するものとする。すなわち撮影画角の大きいＬａｙｅｒｎでは、撮影画角の小さいＬａｙｅｒｎ＋１と比較して、少ない単位画像数で全体画像を合成することができる。ちなみに、単位画像のサイズ、画素数は各Ｌａｙｅｒ間において同等である。
【００４９】
図６は、Ｌａｙｅｒの倍率を順に１、２、４、８倍に設定して撮像する例を示している。図６は、図５で示すような各Ｌａｙｅｒを水平方向又は垂直方向から表示したものであり、倍率１倍のＬａｙｅｒ１は、１枚の単位画像で構成され、倍率２倍のＬａｙｅｒ２は、２×２枚の単位画像で構成され、また倍率４倍のＬａｙｅｒ３は、４×４枚の単位画像で構成され、倍率８倍のＬａｙｅｒ４は８×８枚の単位画像で構成される。
【００５０】
図７は、上述の撮影倍率からなる各Ｌａｙｅｒにつき、単位画像を撮像する手順を示している。先ずステップＳ１１において、ＣＰＵ５６は、レンズ制御部２３に対して駆動信号を送信することにより、カメラ部４の撮影画角を倍率１倍に相当するｕ１に調整し、撮影方向を撮影範囲の中心位置に合わせる。次にステップＳ１２へ移行し、カメラ部４は、かかる撮影画角ｕ１で、撮影範囲全体を表示することができる１枚の全体画像を撮像する。この撮像された全体画像に基づく画像信号は、Ｌａｙｅｒ１として順次サーバ５３へ記録されることになる。
【００５１】
次にカメラ部４は、ＣＰＵ５６による制御に基づき、撮影画角を倍率２倍に相当するｕ２に調整する（ステップＳ１３）。またカメラ部４は、ステップＳ１４において、ＣＰＵ５６による制御に基づき、撮影方向を、撮影範囲左上に位置する座標（１，１）に合わせて撮像を実行する。カメラ部４は、撮影方向を順次１画枠分毎にシフトさせて、Ｌａｙｅｒ２を構成する全ての単位画像につき撮像を実行する。撮像された単位画像に基づく画像信号は、Ｌａｙｅｒ２として順次サーバ５３へ記録される。
【００５２】
同様にカメラ部４は、撮影画角を倍率４倍に相当するｕ３、また倍率８倍に相当するｕ４に調整して、撮影方向を順次シフトさせて撮像を実行する。得られた単位画像に基づく画像信号は、Ｌａｙｅｒ３、Ｌａｙｅｒ４として順次サーバ５３に記録され、最終的には、各Ｌａｙｅｒを構成する画像が全てサーバ５３に記録されている状態となる。
【００５３】
次に、このサーバ５３内に階層化して記録されている各画像信号のうち、Ｌａｙｅｒ１を構成する全体画像に基づく画像信号が最初に読み出され、グラフィックコントローラ５５を経てディスプレイ６等上の全体画像表示部７０に表示される。ユーザは、この全体画像表示部７０に表示されている全体画像において、所望の画像領域につき拡大表示を望む場合には、上述の如くマウス６０等を用いて当該画像領域を指定することができる。
【００５４】
図８は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００５５】
先ずステップＳ２１においてユーザによる画像領域の指定を受けた場合には、ステップＳ２２へ移行し、ＣＰＵ５６は、例えば図９に示すように、ユーザにより指定された画像領域３０のサイズｑと、Ｌａｙｅｒ１における全体画像の画サイズｙとの比を求める。
【００５６】
次にステップＳ２３へ移行し、ＣＰＵ５６は、サーバ５３に階層化して記録されている各Ｌａｙｅｒから一のＬａｙｅｒを選択する。このステップＳ２３におけるＬａｙｅｒの選択は、ステップＳ２２において演算したサイズ比から倍率ｋを計算し、かかる倍率ｋに最も近い撮影倍率のＬａｙｅｒを選択する。例えば、ｑとｙとの比が、１：２．３である場合、倍率ｋは２．３となり、かかる倍率ｋに最も近い撮影倍率で撮像されたＬａｙｅｒは、Ｌａｙｅｒ２であるため、これを選択することになる。すなわち、このステップＳ２３において、ＣＰＵ５６は、指定された画像領域３０のサイズに応じて最も適切なＬａｙｅｒを選択する。
【００５７】
次にステップＳ２４へ移行し、ＣＰＵ５６は、ユーザにより指定された画像領域に応じて、Ｌａｙｅｒ２を構成する単位画像から最適なものを選択する。Ｌａｙｅｒ２を構成する単位画像の座標は、図９に示すように（１，１）、（２，１）、（１，２）、（２，２）の４つである。このうち、Ｌａｙｅｒ１において指定された画像領域３０に示される画像は、このＬａｙｅｒ２における画像領域３１に示される画像に相当する。このため、ＣＰＵ５６は、Ｌａｙｅｒ２を構成する単位画像のうち、画像領域３１が存在する座標（１，２）に位置する単位画像を選択し、これをサーバ５３から読み出す。なお、ＣＰＵ５６は、ステップＳ２３を省略して、ステップＳ２２において求めたサイズ比から、最適な単位画像を直接選択してもよい。
【００５８】
次にステップＳ２５へ移行し、ＣＰＵ５６は、選択した座標（１，２）の単位画像につき、図１０に示すように画像領域３１を含む選択領域４２を抽出する。またＣＰＵ５６は、この抽出した選択領域４２につき、拡大画像表示部７１のサイズに合うように例えばデジタルズームを利用して拡大処理を実行する。
【００５９】
以上の操作を実行することにより、ユーザから指定された画像領域を拡大画像表示部７１に拡大表示させることができる。
【００６０】
なお、図９に示すようにＬａｙｅｒ１を構成する全体画像と、倍率が２倍であるＬａｙｅｒ２を構成する単位画像の画素数、サイズは同等であり、同じ画像領域を示している画像領域３０と画像領域３１では、画像領域３１の方が多くの画素により構成されている。このため、指定された画像領域３０のサイズに応じて、最適なＬａｙｅｒを選択し、かかるＬａｙｅｒにある一の単位画像から選択領域４２を抽出することにより、高画質な拡大画像を生成することができる。上述した例においても、Ｌａｙｅｒ２に基づいて拡大処理を実行することにより、Ｌａｙｅｒ１に基づいて拡大処理を実行する場合と比較して、ディジタルズームに依存せずにより高画質の拡大画像が生成されることになる。
【００６１】
ちなみに、Ｌａｙｅｒ数を増やすことにより、隣接するＬａｙｅｒの倍率差を小さくすることができるため、ユーザにより指定される画像領域に対して、より適切な単位画像を選択することができ、拡大画像の鮮明度をさらに向上させることができる。
【００６２】
また本発明では、同一の撮影範囲を異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像して画像信号を生成し、生成した画像信号に基づき、全体画像或いは単位画像を、撮影画角毎に階層化してサーバ５３へ予め記録しておく。そして全体画像において指定された画像領域に応じてサーバ５３から最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを表示する。
【００６３】
このため、本発明では、全体画像表示部７０において、Ｌａｙｅｒ１を構成する１枚の拡大画像を表示すれば足り、また拡大画像表示部７１に表示される拡大画像は、あくまで一枚の単位画像を拡大、縮小して生成されるため、単位画像を互いに貼り合わせてパノラマ状の拡大画像を合成する必要はなくなる。従って、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることなく、拡大画像の鮮明度をさらに向上させることができる。またシームレスな拡大画像を生成するための煩雑な処理を省略することも可能となり、さらに、パノラマ画像全体を合成するために必要となるメモリを他の用途に有効活用することができるため、コストパフォーマンスに優れたアプリケーションを提供することも可能となる。
【００６４】
また、本発明では、ユーザから所望の画像領域が指定された場合に、既に記録してある単位画像を拡大すれば足りるため拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００６５】
なお、本発明では、最も近い撮影倍率のＬａｙｅｒを選択する場合に限定されるものではなく、他のいかなる方法でＬａｙｅｒを選択してもよい。
【００６６】
本発明に係る撮像システム１では、端末装置９のユーザに対して拡大画像を提供することができる。即ち、本発明を適用した撮像システム１では、電子機器１００を操作するユーザに加えて、ネットワーク８に接続されている端末装置９を操作するユーザに対しても、適切な単位画像を選択し、これを送信することができる。また、ネットワーク８に対して複数の端末装置９を接続することにより、複数のユーザに対して同時に各単位画像を送信することも可能となる。
【００６７】
次に、この表示画面４５における拡大画像表示部７１において、ユーザにより指定された画像位置へ拡大画像をシフトさせて表示する場合につき説明をする。
【００６８】
ユーザによる画像位置の指定前に、カメラユニット２並びに電子機器１００は、以下に説明する処理を実行する。
【００６９】
カメラユニット２は、互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する。図１１に示すように、一画枠毎に撮像する単位画像１０１に加えて、水平方向に半画枠分シフトさせた単位画像１０２、垂直方向に半画枠分シフトさせた単位画像１０３、水平−垂直方向にそれぞれ半画枠分シフトさせた単位画像１０４をさらに撮像する。すなわち、カメラユニット２は、互いに撮影方向の異なる４種類の単位画像１０１，１０２，１０３，１０４を順次撮像する。
【００７０】
サーバ５３は、各単位画像１０１，１０２，１０３，１０４につき、隣接する他の単位画像と互いに連関させてこれを記録する。全体画像表示部７０には、サーバ５３に記録されている単位画像１０１等を合成した全体画像、又は撮影画角ｕ１により撮影した全体画像が表示される。拡大画像表示部７１には、このサーバ５３に記録されている一の単位画像が拡大されて表示される。
【００７１】
この拡大画像表示部７１に単位画像１０４が表示されている場合において、拡大画像表示部７１に表示されている画像は、図１２に示すように、隣接する他の単位画像１０１、１０２、１０３と一部重複した内容となる。ユーザは、この拡大画像表示部７１に表示されている単位画像１０４に基づく拡大画像につき、マウス６０等を用いて所望の画像位置を指定することができる。
【００７２】
図１３は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００７３】
先ずステップＳ４１において、ユーザから拡大画像表示部７１に示される単位画像１０４のうち所望の画像位置が指定された場合にはステップＳ４２へ移行し、ＣＰＵ５６は、拡大画像をシフトさせて表示する必要性につき判断する。このときＣＰＵ５６は、指定された画像位置に対して、最短の画像中心を有する単位画像が、現在拡大画像表示部７１に表示されている単位画像１０４であるか否かにつき先ず判断する。
【００７４】
図１４に示すように、水平方向の長さがｓであり、垂直方向の長さがｔである拡大画像表示部７１において、指定された画像位置に対して、単位画像１０４の画像中心が最短となる領域は、斜線で示される水平方向の長さがｓ／２であり、垂直の長さｔ／２である領域である。この領域の境界を以下、仮想境界という。
【００７５】
すなわち、指定された画像位置が仮想境界内である場合には、単位画像１０４の画像中心が最短となるため、拡大画像をシフトする必要はないものと判別する。一方、指定された画像位置が仮想境界の外側である場合には、隣接する他の単位画像の画像中心が最短となることを示唆しており、さらにステップＳ４３へ移行する。
【００７６】
ステップＳ４３において、ＣＰＵ５６は、指定された画像位置につき、最短の画像中心を有する単位画像を選択する。このとき図１４に示すように、指定された画像位置が領域Ａ、Ｃ、Ｆ、Ｈに含まれる場合には、それぞれ左上、右上、左下、右下に隣接する単位画像１０１の画像中心が最短となるため、これを選択する。また指定された画像位置が領域Ｂ、Ｇに含まれる場合には、それぞれ上、下に隣接する単位画像１０２の画像中心が最短となるため、これを選択する。さらに指定された画像位置が、領域Ｄ、Ｅに含まれる場合には、それぞれ左、右に隣接する単位画像１０３の画像中心が最短となるため、これを選択する。ＣＰＵ５６により選択された単位画像は、サーバ５３から読み出されて拡大画像として拡大画像表示部７１へ表示されることになる。ちなみに、これらの隣接する各単位画像１０１，１０２，１０３は、上述の如く、単位画像１０４に互いに連関されてサーバ５３に記録されているため、ＣＰＵ５６は、かかる隣接する各単位画像１０１，１０２，１０３を容易に参照し、また読み出すことができる。
【００７７】
このように本発明では、指定された画像位置に応じて、拡大画像表示部７１に表示されている単位画像と互いに重複画像領域を形成する他の単位画像のうち最適なものを選択し、当該選択した他の単位画像を拡大して表示することができる。
【００７８】
これにより、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることがなくなり、拡大画像の鮮明度をさらに向上させることができ、さらには単位画像を互いに貼り合わせることにより、シームレスな全体画像を生成するための煩雑な処理を一切省略することができる。
【００７９】
また隣接する単位画像１０１，１０２，１０３，１０４の画像中心の間隔を狭く設定することができるため、拡大画像表示部７０に表示される拡大画像を細かいピッチでシフトさせることができる。
【００８０】
また、ユーザから所望の画像位置が指定された場合に、既に記録してある単位画像を拡大することにより対処することができるため、拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００８１】
また撮像システム１において、ネットワーク８を介して接続されている端末装置９により、画像位置が指定された場合にも、サーバ５３に記録されている最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを送信することにより、複数のユーザに対して所望の拡大画像を同時に提供することもできる。
【００８２】
ちなみに上述した例では、指定された画像位置に対して、最短の画像中心を有する単位画像を選択する場合に限定するものではなく、他のいかなる方法で単位画像を選択してもよい。
【００８３】
また、上述した例では、水平、垂直方向に半画枠分シフトさせて隣接する単位画像を撮像する場合について説明をしたが、かかる場合に限定されるものではない。隣接する単位画像間において互いに重複領域が生じるように撮影方向を制御すれば、いかなるものであってもよく、また一の単位画像に隣接する単位画像の数をさらに増加させてもよい。
【００８４】
ちなみに上述の構成からなる撮像システム１は、以下に説明するアプリケーションに対しても適用することができる。
【００８５】
カメラユニット２並びに電子機器１００は、ユーザから要求され得る撮影画角、撮影方向に応じて、上述の如く、全体画像、単位画像を撮像し、これを予めサーバ５３に記録しておく。また電子機器１００は、端末装置９による要求に応じて、サーバ５３から単位画像を読み出して、これを当該端末装置９に対して送信する。
【００８６】
端末装置９を操作する各ユーザは、この端末ディスプレイ１０に表示される全体画像表示部７０を視認して、所望の画像位置を指定し、また、ＷＩＤＥボタン７２、ＺＯＯＭボタン７３を介して、撮影倍率の拡大、縮小、さらには、撮影方向指定部７５を介して撮影方向を指定する。端末装置９はかかるユーザの指定操作に応じて、単位画像送信要求を電子機器１００へ送信する。
【００８７】
電子機器１００は、端末装置９から送信される単位画像送信要求に基づき、サーバ５３に記録されている単位画像を読み出す。例えば、撮影倍率を拡大する旨の要求信号が送信された場合には、撮影画角の大きい単位画像が記録されているＬａｙｅｒから読み出し処理を行い、これを端末装置９へ送信する。また撮影方向を水平方向に変更する旨の要求信号が表示された場合には、かかる水平方向にシフトさせた座標上の単位画像を読み出し、これを端末装置９に送信する。端末装置９に送信された単位画像は、拡大画像表示部７１に表示される。
【００８８】
ユーザは、送信された単位画像を視認した上で、さらに撮影倍率や撮影方向の変更を電子機器１００に対して要求することができる。
【００８９】
すなわち、このアプリケーションでは、ユーザから要求される可能性のある撮影画角、撮影方向毎に、単位画像を予めサーバ５３に記録しておき、ユーザからの要求に応じて、サーバ５３に記録されている最適な単位画像を順次読み出し、これを各端末装置９に送信する。これにより本発明では、端末装置９から送信される単位画像送信要求に基づき、その都度カメラ部４の撮影倍率、撮影方向を変更しなくても、ユーザに対して、あたかも自分自身でカメラ部４を制御している雰囲気を実感させることができる。
【００９０】
なおカメラ部４は、所定の時間間隔で上述した撮像を実行することにより、サーバ５３には、撮像された斬新な画像が順次記録されることになる。このためユーザは、電子機器１００にアクセスすることにより、カメラ部４で撮像された単位画像をリアルタイムに取得することができ、撮影チャンスを逃すこともなくなり、作業効率を向上させることができる。
【００９１】
またカメラ部４は、隣接する単位画像間で互いに重複画像領域が生じるように撮像を実行し、サーバ５３は、かかる重複画像領域が形成される単位画像を互いに連関させて記録するようにしてもよい。これによりユーザは、端末装置９に表示される単位画像につき、所望の撮影方向につき細かいピッチでシフトさせることができ、また拡大画像表示部７１を介してシームレスな拡大画像を視認することができる。
【００９２】
なお、このネットワーク８に対して複数の端末装置９を接続することにより、１台のカメラユニット２を複数のユーザが擬似的に同時制御することができる。ちなみに、複数のユーザが同時に、同一の撮影倍率、撮影方向へ変更することを要求しても、サーバ５３に記録されている単位画像を複数の端末装置９へ送信することで対応することができる。
【００９３】
またサーバ５３において、所定の時間間隔で順次記録される各単位画像を長年にわたり蓄積することにより、各ユーザは、過去に撮影した単位画像を取得することもできる。これにより、本発明に係る撮像システム１では、カメラユニット２を百貨店の商品売り場等に設置しておくことで、過去に生じた盗難事件の捜査等についても適用することが可能となる。
【００９４】
なお本発明は、上述した実施の形態に限定されるものではない。例えば、撮影画角の小さいＬａｙｅｒにおいて撮像する単位画像を減らすことにより、撮影時間を大幅に短縮させてもよい。
【００９５】
単位画像の撮像枚数は、図５に示すように、撮影画角の大きいＬａｙｅｒｎに対して、撮影画角のより小さいＬａｙｅｒｎ＋１、Ｌａｙｅｒｎ＋２へと進むにつれて増えてゆく。即ち、撮影時間の大半は、この撮影画角の小さいＬａｙｅｒｎ＋２における単位画像の撮像に費やされることになる。このため、本発明では、このＬａｙｅｒｎ＋２における単位画像の撮像を必要最小限に抑え込むことにより、撮影時間の短縮化を図る。
【００９６】
即ち、ＣＰＵ５６は、Ｌａｙｅｒｎ＋２における単位画像のうち、何れの単位画像を撮像し、何れの単位画像の撮像をスキップするかにつき決定する。換言すれば、Ｌａｙｅｒｎ＋２における単位画像のうち、撮像すべき必要最小限の単位画像の選択を行う。この単位画像の選択には、被写体の活発な動きを異なる時点で撮像した画像の輝度成分差に基づいて識別し、動き検出された領域を含む単位画像を優先的に選択する方法と、ユーザにより指定された領域を含む単位画像を優先的に選択する方法がある。
【００９７】
先ず、動き検出された領域を含む単位画像を優先的に選択する手順につき、図１５を用いて説明をする。
【００９８】
先ずＳ５１において、カメラ部４は、上述した撮像動作を実行する。このステップＳ５１における撮像動作において、カメラ部４は、いずれかのＬａｙｅｒにおける全体画像を取得できれば足り、撮影画角の異なる幾層にも亘るＬａｙｅｒの全体画像を取得する必要はない。カメラ部４は、この全体画像の取得を所定の時間間隔を置いて実行する。これにより、同一の撮影範囲につき、異なる時点で撮像された複数の全体画像を取得することができる。
【００９９】
次に、ステップＳ５２へ移行し、演算処理部１５は、取得した全体画像を表示画面４５へ表示する。このとき、この表示する全体画像を動画像で表示してもよい。
【０１００】
次にステップＳ５３へ移行し、演算処理部１５は、異なる時点で撮像された複数の全体画像間で輝度成分の差分値を求める。演算処理部１５は、この輝度成分の差分値につき、例えば、新たに取得した全体画像と、その直前に取得した全体画像の２枚を抽出して、各画素毎にこれを求める。これにより、輝度成分の差分値が大きい画像領域については、被写体の動きが活発な領域として、動き検出されることになる。一方、輝度成分の差分値が小さい画像領域については、被写体の動きがない領域として、動き検出されることはない。
【０１０１】
次にステップＳ５４へ移行し、演算処理部１５は、優先的に撮像を実行する撮影領域を判別する。このステップＳ５４において、演算処理部１５は、例えば、予め所定の閾値を設定し、求めた輝度成分の差分値が閾値を超える場合には、動き検出された領域であると判別し、一方、求めた輝度成分の差分値が閾値以下の場合には、被写体の動きがない領域として判別する。
【０１０２】
次にステップＳ５５へ移行し、カメラ部４は、演算処理部１５からの制御に基づいて、撮影画角の大きいＬａｙｅｒｎにおける単位画像を撮像する。このステップＳ５５では、Ｌａｙｅｒｎを構成する全ての単位画像を取得することができるように、撮像を行う。これにより、このＬａｙｅｒｎにおける単位画像を貼り合わせることにより全体画像を構成することができるため、ユーザは、最低でも撮影範囲全体を視認することが可能となる。
【０１０３】
次にステップＳ５６へ移行し、カメラ部４は、Ｌａｙｅｒｎ＋１における単位画像を撮像する。このステップＳ５６において、カメラ部４は、Ｌａｙｅｒｎ＋１を構成する全ての単位画像を取得することができるように撮像を実行してもよいし、ステップＳ５４において動き検出された領域を含む単位画像のみを取得することができるように撮像を実行してもよい。このＬａｙｅｒｎ＋１における単位画像の撮像を終了した後、ステップＳ５７へ移行する。
【０１０４】
ステップＳ５７において、カメラ部４は、Ｌａｙｅｒｎ＋２における単位画像の撮像を実行する。このとき演算処理部１５は、ステップＳ５７において、撮像すべき必要最小限の単位画像を選択する。この単位画像の選択では、上述の動き検出された領域を含む単位画像を優先して行うようにする。
【０１０５】
即ち、このステップＳ５６〜ステップＳ５７において、動き検出された領域を含む単位画像を選択し、これについてのみ撮像を実行することにより、単位画像の撮像枚数を抑えることができる。特に撮影画角が小さい場合には、撮影画角が大きい場合と比較して被写体の動きを捉えることができる割合が減少するため、選択する単位画像の数も極力抑えることができる。換言すれば、撮影画角のより小さいＬａｙｅｒｎ＋１、Ｌａｙｅｒｎ＋２へと進むにつれて撮影枚数を徐々に抑えることができる。このため、撮影画角の小さいＬａｙｅｒｎ＋２における単位画像の撮像枚数を極力抑えることができる結果、撮影時間の短縮化が可能となる。
【０１０６】
また、動き検出された領域は、監視システム１により撮影範囲内を監視するユーザにとって、特に拡大画像表示部７１を介して表示を望む領域でもあるため、撮影画角の小さい単位画像を予め撮像してサーバ５３へ記録する必要性が出てくる。従って、かかる領域を含む単位画像のみＬａｙｅｒｎ＋２における撮像を実行することにより、必要最小限の単位画像を確保しつつ、ユーザが望む高品質な拡大画像を提供することが可能となる。
【０１０７】
例えば、撮影画角の広角なＬａｙｅｒから順に、Ｌａｙｅｒ１、Ｌａｙｅｒ２、Ｌａｙｅｒ３として、それぞれを構成する単位画像数が、順に３、１９０、３４００としたとき、従来では、全て撮影することができるため２時間以上の時間を費やしていた。しかし、本発明を適用した撮像システム１において、Ｌａｙｅｒ３を構成する単位画像数を、例えば１〜数千枚まで削減することにより、撮影時間を５〜２時間まで短縮化することができる。
【０１０８】
なお、上述した手順では、取得した全体画像に基づき、輝度成分の差分値を求める場合につき説明をしたが、かかる場合に限定されるものではなく、例えば各Ｌａｙｅｒにおける単位画像間で輝度成分の差分値を求めるようにしてもよい。
【０１０９】
次に、ユーザにより指定された領域を含む単位画像を優先的に選択する手順につき、図１６を用いて説明をする。
【０１１０】
先ずステップＳ６１において、カメラ部４は、ステップＳ５１と同様の撮像動作を実行する。
【０１１１】
次にステップＳ６２へ移行し、演算処理部１５は、表示画面４５を介して、所望の画像領域の指定を促す。ユーザは、撮影を望む画像領域を操作部１６を用いて指定する。
【０１１２】
次にステップＳ６３へ移行し、演算処理部１５は、ステップＳ６２において指定された画像領域に基づいて、優先的に撮像を実行する撮影領域を判別する。
【０１１３】
次にステップＳ６４へ移行し、カメラ部４は、演算処理部１５からの制御に基づいて、撮影画角の大きいＬａｙｅｒｎにおける単位画像を撮像する。このステップＳ６５では、上述したステップＳ５５と同様に、Ｌａｙｅｒｎを構成する全ての単位画像を取得することができるように、撮像を行う。これにより、このＬａｙｅｒｎにおける単位画像を貼り合わせることにより全体画像を構成することができるため、ユーザは、最低でも撮影範囲全体を視認することが可能となる。
【０１１４】
次にステップＳ６５へ移行し、カメラ部４は、Ｌａｙｅｒｎ＋１における単位画像を撮像する。このステップＳ６５において、カメラ部４は、Ｌａｙｅｒｎ＋１を構成する全ての単位画像を取得することができるように撮像を実行してもよいし、ステップＳ６３において判別した撮影領域を含む単位画像を優先して取得することができるように撮像を実行してもよい。このＬａｙｅｒｎ＋１における単位画像の撮像を終了した後、ステップＳ６６へ移行する。
【０１１５】
ステップＳ６６において、カメラ部４は、Ｌａｙｅｒｎ＋２における単位画像の撮像を実行する。このとき演算処理部１５は、このステップＳ６６において、撮像すべき必要最小限の単位画像を選択する。この単位画像の選択では、ステップＳ６３において判別した撮影領域を含む単位画像を優先して行うようにする。
【０１１６】
即ち、このステップＳ６５〜ステップＳ６６において、ユーザより指定された領域を含む単位画像を選択し、これについてのみ撮像を実行することにより、同様に単位画像の撮像枚数を抑えることができる。
【０１１７】
以上詳細に説明したように、本発明を適用した撮像システム１では、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化してサーバ５３へ記録し、またサーバ５３に記録されている互いに異なる時点で生成された二つの全体画像の輝度成分を比較し、これに基づいて撮影画角の小さいＬａｙｅｒｎ＋１、Ｌａｙｅｒｎ＋２等における単位画像から、撮像する単位画像を選択する。また、本発明を適用した撮像装置及び方法では、撮影画角の小さいＬａｙｅｒｎ＋１、Ｌａｙｅｒｎ＋２等における単位画像から、撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する。
【０１１８】
これにより、本発明を適用した撮像システム１では、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができ、さらには、単位画像の撮像枚数を極力抑えることができる結果、撮影時間の大幅な短縮化が可能となる。
【０１１９】
なお、本発明は、上述した処理をコンピュータに実行させるためのプログラムや、かかるプログラムが記録された記録媒体に適用してもよいことは勿論である。
【０１２０】
【発明の効果】
以上詳細に説明したように、本発明を適用した撮像装置及び方法では、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また記録媒体に記録されている互いに異なる時点で生成された二つの全体画像の輝度成分を比較し、これに基づいて撮影画角の小さい単位画像から、撮像する単位画像を選択する。また、本発明を適用した撮像装置及び方法では、さらに撮影画角の小さい単位画像から、撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する。
【０１２１】
これにより、本発明を適用した撮像装置及び方法では、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができ、さらには、単位画像の撮像枚数を極力抑えることができる結果、撮影時間の大幅な短縮化が可能となる。
【図面の簡単な説明】
【図１】本発明を適用した撮像システムの構成を示す図である。
【図２】カメラユニット，電子機器のブロック構成図である。
【図３】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。
【図４】ディスプレイ上の表示画面の構成例を示す図である。
【図５】同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する例を示す図である。
【図６】Ｌａｙｅｒの倍率を順に１、２、４、８倍に設定して撮像する例を示す図である。
【図７】各Ｌａｙｅｒにつき、単位画像を撮像する手順を示すフローチャートである。
【図８】ユーザによる指定操作を受けて拡大画像を表示するまでの手順を示すフローチャートである。
【図９】階層化して記録されている各Ｌａｙｅｒから一のＬａｙｅｒを選択する例を示す図である。
【図１０】抽出した選択領域につき拡大処理を実行する例を示す図である。
【図１１】互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する例を示す図である。
【図１２】互いに重複領域が生じるように撮影方向を制御した場合において、拡大画像表示部に表示される拡大画像の例を示す図である。
【図１３】ユーザにより画像位置が指定された場合に、拡大画像を表示するまでの手順を示すフローチャートである。
【図１４】指定された画像位置につき、最短の画像中心を有する単位画像を選択する例につき説明するための図である。
【図１５】動き検出された領域を含む単位画像を優先的に選択する手順を示すフローチャートである。
【図１６】ユーザにより指定された領域を含む単位画像を優先的に選択する手順を示すフローチャートである。
【符号の説明】
１ 撮像システム、２ カメラユニット、３ パンチルタ部、４ カメラ部、６ ディスプレイ、８ ネットワーク、９ ユーザ端末、１０ 端末ディスプレイ、１１ ネットワークサーバ、２１ コントローラバス、２２ レンズ部、２３ レンズ制御部、２４ 撮像部、２５ ＩＥＥＥ１３９４インターフェース、２８ ＧＰＳ受信部、２９ メタデータ生成部、５１ バッファメモリ、５２ エンコーダ、５３ サーバ、５４ 画像圧縮部、５５ グラフィックコントローラ、５６ ＣＰＵ、５８ Ｉ／Ｏポート、５９ キーボード、６０ マウス、６１ メモリカード、６２ 時計、１００ 電子機器
【発明の属する技術分野】
本発明は、撮影方向を順次変化させて撮像することにより得られたパノラマ画像を介して広範囲の状況を監視する撮像装置及び方法に関する。
【０００２】
【従来の技術】
従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子によりの画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。
【０００３】
このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照。）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録し、監視を行うことを可能とする集中監視記録システムも提案されている（例えば、特許文献２参照。）。
【０００４】
【特許文献１】
特開平１０−１０８１６３号公報
【特許文献２】
特開２０００−２４３０６２号公報
【０００５】
【発明が解決しようとする課題】
撮像したパノラマ画像について、単独のユーザのみならず複数のユーザがネットワークを介して同時に視認できるシステムが昨今において望まれている。特に百貨店等の商品売り場や立ち入り禁止区域等のような広範囲の状況については、複数のユーザが同時に管理する必要があり、特に事件発生後において、既に蓄積してあるパノラマ画像につき各人が事後的な確認を望む場合もある。
【０００６】
しかしながら、上述したモニタリングシステムや撮像装置は、あくまでユーザが単独で被写体を撮像してパノラマ画像を生成する際に好適なものであるため、複数のユーザによる被写体の同時撮影や、撮影内容の事後的な確認が困難であった。
【０００７】
また、上述したモニタリングシステムや撮像装置では、蓄積したパノラマ画像をデジタルズームにより拡大処理、単位画像を連結する処理や、ズーム値にあわせて画素を間引く処理等が必要となり、精細な画質を維持できず、特に単位画像の連結部を拡大する場合に境界が画面上に表示されてしまい、画質を悪化させる要因にもなっていた。
【０００８】
さらに、撮影画角をあまりに小さく設定すると、小サイズの単位画像を多数貼り合わせて一枚の全体画像を構成する必要が生じ、撮影枚数が増加し、ひいては撮影時間が長期化してしまうという問題点もあった。
【０００９】
そこで本発明は上述した問題点に鑑みて案出されたものであり、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができる撮像装置及び方法において、特に撮影時間の大幅な短縮化を図ることを目的とする。
【００１０】
【課題を解決するための手段】
本発明者は、上述した問題点を解決するために、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また記録媒体に記録されている互いに異なる時点で生成された二つの全体画像の輝度成分を比較し、これに基づいて撮影画角の小さい単位画像から、撮像する単位画像を選択し、また撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する撮像装置及び方法を発明した。
【００１１】
すなわち、本発明を適用した撮像装置は、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成する撮像手段と、撮像された単位画像を上記撮影画角毎に階層化して記録媒体へ記録する記録手段と、上記記録媒体に記録されている、互いに異なる時点で生成された２つの全体画像の輝度成分を比較する比較手段とを備え、上記撮像手段は、上記比較手段により比較された輝度成分に応じて、撮影画角のより小さい単位画像から、撮像する単位画像を選択する。
【００１２】
また、本発明を適用した撮像装置は、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成する撮像手段と、撮像された単位画像を上記撮影画角毎に階層化して記録媒体へ記録する記録手段と、上記全体画像を表示する全体画像表示手段と、上記全体画像表示手段に表示される全体画像において、ユーザが画像領域を指定するための指定手段とを備え、上記撮像手段は、撮影画角のより小さい単位画像から、撮像する単位画像として、上記指定手段により指定された画像領域を含む単位画像を選択する。
【００１３】
すなわち、本発明を適用した撮像方法は、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成し、撮像した単位画像を上記撮影画角毎に階層化して記録媒体へ記録し、上記記録媒体に記録されている互いに異なる時点で生成された２つの全体画像の輝度成分を比較し、比較した輝度成分に応じて、撮影画角のより小さい単位画像から、撮像する単位画像を選択する。
【００１４】
また、本発明を適用した撮像方法は、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成し、撮像した単位画像を上記撮影画角毎に階層化して記録媒体へ記録し、上記全体画像を表示し、上記撮像手段は、撮影画角のより小さい単位画像から、撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した撮像システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、音声信号を受信するマイク１２と、カメラユニット２より伝送された画像信号に所定の処理を施す画像入出力部１３と、マイク１２より伝送された音声信号に所定の処理を施す音声入出力部１４と、少なくとも画像入出力部１３及び音声入出力部１４に接続され、上記画像信号を処理するための演算処理部１５と、演算処理部１５に接続され、上記画像信号を記録するサーバ５３と、ユーザが本システム１を制御するための操作部１６と、演算処理部１５に接続され、各種情報を表示するためのディスプレイ６と、他のユーザがアプリケーションを実行するための端末装置９と、端末装置９に接続される端末ディスプレイ１０と、端末装置９に対して各種情報を送受信するためのネットワーク８とを備えている。
【００１６】
カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。
【００１７】
カメラ部４は、パンチルタ部３を構成する回転台上に配設され、演算処理部１５等による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、演算処理部１５等による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。
【００１８】
画像入出力部１３、音声入出力部１４、演算処理部１５、サーバ５３並びに操作部１６は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器１００により一体化して構成してもよい。この電子機器１００によれば、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの電子機器１００は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれをディスプレイ６に表示するように制御する。この電子機器１００は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて、画像や音声を送信する。
【００１９】
ネットワーク８は、例えば電子機器１００と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ Ｓｅｒｖｉｃｅｓ Ｄｉｇｉｔａｌ Ｎｅｔｗｏｒｋ）／Ｂ（ｂｒｏａｄｂａｎｄ）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの撮像システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）で構成してもよい。さらにこのネットワーク８は、静止画像に加えて動画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）データを始めとする動画像がある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク８には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、端末装置９による要求を受けて、自身に格納してある所定の情報を送信する。
【００２０】
端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して電子機器１００から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの撮像システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、電子機器１００から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを電子機器１００に対して送信する。なお端末装置９のブロック構成については、後述する電子機器１００の構成を引用し、説明を省略する。
【００２１】
次に、本発明を適用した撮像システム１におけるカメラユニット２，電子機器１００の構成について詳細に説明する。
【００２２】
図２は、カメラユニット２，電子機器１００の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに電子機器１００の各構成要素が接続されている。
【００２３】
カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するＴｉｌｔ部３ａ、Ｐａｎ部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像入出力部１３へ送信するためのＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。
【００２４】
また画像入出力部１３は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２とを備えている。
【００２５】
また演算処理部１５は、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続されるメモリカード６１並びに時計６２とを備えている。
【００２６】
また操作部１６は、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０を備えている。
【００２７】
Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００２８】
レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。
【００２９】
撮像部２４は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。
【００３０】
ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。
【００３１】
バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。
【００３２】
サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号を上述した図示しないネットワークサーバに記録するように制御することにより、サーバ５３を図示しないネットワークサーバに代替することも可能となる。
【００３３】
画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。また、この画像圧縮部５４は、ＣＰＵ５６による制御に従い、サーバ５３に記録されている画像を読み出して、動画像を生成する。ちなみにこの動画像を生成する際の圧縮方法としては、例えばＭＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００等に基づき実行してもよい。
【００３４】
グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。
【００３５】
ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、電子機器１００内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている最適な静止画像、動画像、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。
【００３６】
音声入出力部１２は、マイク１２から入力された音声信号を符号化する。この音声入出力部１２により符号化された音声信号についても、上述の如く画像信号と同様にサーバ５３へ供給され、記録されることになる。
【００３７】
次に本発明を適用した撮像システム１における撮像動作について説明をする。
【００３８】
図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【００３９】
ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。
【００４０】
同様にＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。
【００４１】
カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。
【００４２】
ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように縮小される。この縮小された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。
【００４３】
図４は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この電子機器１００は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また電子機器１００は、パノラマ状の全体画像（パノラマ画像）の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７０に表示させてもよい。
【００４４】
ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、全体画像表示部７０に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。さらにこの拡大画像表示部７１には、後述する方法により生成した動画を表示してもよい。
【００４５】
また表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を縮小して表示させるためのＷＩＤＥボタン７２、撮影倍率を拡大して表示させるためのＺＯＯＭボタン７３が表示される。また、この表示画面４５には、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御部７５、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン７６等も表示される。
【００４６】
また、ユーザは、全体画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０，７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
【００４７】
次に、本発明を適用した撮像装置において、異なる２以上の撮影画角で画像を撮像する場合につき説明をする。
【００４８】
カメラユニット２は、図５に示すように、黒枠で示される同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する。撮像により得られる単位画像を撮影画角毎に合成することにより、全体画像と同一内容の単位画像の集合を図５に示すように幾層にも亘って作成することができる。以下、各撮影画角に応じた単位画像の集合をＬａｙｅｒという。Ｌａｙｅｒの番号は、撮影画角の大きい順からｎ、ｎ＋１、ｎ＋２、・・、と増加するものとする。すなわち撮影画角の大きいＬａｙｅｒｎでは、撮影画角の小さいＬａｙｅｒｎ＋１と比較して、少ない単位画像数で全体画像を合成することができる。ちなみに、単位画像のサイズ、画素数は各Ｌａｙｅｒ間において同等である。
【００４９】
図６は、Ｌａｙｅｒの倍率を順に１、２、４、８倍に設定して撮像する例を示している。図６は、図５で示すような各Ｌａｙｅｒを水平方向又は垂直方向から表示したものであり、倍率１倍のＬａｙｅｒ１は、１枚の単位画像で構成され、倍率２倍のＬａｙｅｒ２は、２×２枚の単位画像で構成され、また倍率４倍のＬａｙｅｒ３は、４×４枚の単位画像で構成され、倍率８倍のＬａｙｅｒ４は８×８枚の単位画像で構成される。
【００５０】
図７は、上述の撮影倍率からなる各Ｌａｙｅｒにつき、単位画像を撮像する手順を示している。先ずステップＳ１１において、ＣＰＵ５６は、レンズ制御部２３に対して駆動信号を送信することにより、カメラ部４の撮影画角を倍率１倍に相当するｕ１に調整し、撮影方向を撮影範囲の中心位置に合わせる。次にステップＳ１２へ移行し、カメラ部４は、かかる撮影画角ｕ１で、撮影範囲全体を表示することができる１枚の全体画像を撮像する。この撮像された全体画像に基づく画像信号は、Ｌａｙｅｒ１として順次サーバ５３へ記録されることになる。
【００５１】
次にカメラ部４は、ＣＰＵ５６による制御に基づき、撮影画角を倍率２倍に相当するｕ２に調整する（ステップＳ１３）。またカメラ部４は、ステップＳ１４において、ＣＰＵ５６による制御に基づき、撮影方向を、撮影範囲左上に位置する座標（１，１）に合わせて撮像を実行する。カメラ部４は、撮影方向を順次１画枠分毎にシフトさせて、Ｌａｙｅｒ２を構成する全ての単位画像につき撮像を実行する。撮像された単位画像に基づく画像信号は、Ｌａｙｅｒ２として順次サーバ５３へ記録される。
【００５２】
同様にカメラ部４は、撮影画角を倍率４倍に相当するｕ３、また倍率８倍に相当するｕ４に調整して、撮影方向を順次シフトさせて撮像を実行する。得られた単位画像に基づく画像信号は、Ｌａｙｅｒ３、Ｌａｙｅｒ４として順次サーバ５３に記録され、最終的には、各Ｌａｙｅｒを構成する画像が全てサーバ５３に記録されている状態となる。
【００５３】
次に、このサーバ５３内に階層化して記録されている各画像信号のうち、Ｌａｙｅｒ１を構成する全体画像に基づく画像信号が最初に読み出され、グラフィックコントローラ５５を経てディスプレイ６等上の全体画像表示部７０に表示される。ユーザは、この全体画像表示部７０に表示されている全体画像において、所望の画像領域につき拡大表示を望む場合には、上述の如くマウス６０等を用いて当該画像領域を指定することができる。
【００５４】
図８は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００５５】
先ずステップＳ２１においてユーザによる画像領域の指定を受けた場合には、ステップＳ２２へ移行し、ＣＰＵ５６は、例えば図９に示すように、ユーザにより指定された画像領域３０のサイズｑと、Ｌａｙｅｒ１における全体画像の画サイズｙとの比を求める。
【００５６】
次にステップＳ２３へ移行し、ＣＰＵ５６は、サーバ５３に階層化して記録されている各Ｌａｙｅｒから一のＬａｙｅｒを選択する。このステップＳ２３におけるＬａｙｅｒの選択は、ステップＳ２２において演算したサイズ比から倍率ｋを計算し、かかる倍率ｋに最も近い撮影倍率のＬａｙｅｒを選択する。例えば、ｑとｙとの比が、１：２．３である場合、倍率ｋは２．３となり、かかる倍率ｋに最も近い撮影倍率で撮像されたＬａｙｅｒは、Ｌａｙｅｒ２であるため、これを選択することになる。すなわち、このステップＳ２３において、ＣＰＵ５６は、指定された画像領域３０のサイズに応じて最も適切なＬａｙｅｒを選択する。
【００５７】
次にステップＳ２４へ移行し、ＣＰＵ５６は、ユーザにより指定された画像領域に応じて、Ｌａｙｅｒ２を構成する単位画像から最適なものを選択する。Ｌａｙｅｒ２を構成する単位画像の座標は、図９に示すように（１，１）、（２，１）、（１，２）、（２，２）の４つである。このうち、Ｌａｙｅｒ１において指定された画像領域３０に示される画像は、このＬａｙｅｒ２における画像領域３１に示される画像に相当する。このため、ＣＰＵ５６は、Ｌａｙｅｒ２を構成する単位画像のうち、画像領域３１が存在する座標（１，２）に位置する単位画像を選択し、これをサーバ５３から読み出す。なお、ＣＰＵ５６は、ステップＳ２３を省略して、ステップＳ２２において求めたサイズ比から、最適な単位画像を直接選択してもよい。
【００５８】
次にステップＳ２５へ移行し、ＣＰＵ５６は、選択した座標（１，２）の単位画像につき、図１０に示すように画像領域３１を含む選択領域４２を抽出する。またＣＰＵ５６は、この抽出した選択領域４２につき、拡大画像表示部７１のサイズに合うように例えばデジタルズームを利用して拡大処理を実行する。
【００５９】
以上の操作を実行することにより、ユーザから指定された画像領域を拡大画像表示部７１に拡大表示させることができる。
【００６０】
なお、図９に示すようにＬａｙｅｒ１を構成する全体画像と、倍率が２倍であるＬａｙｅｒ２を構成する単位画像の画素数、サイズは同等であり、同じ画像領域を示している画像領域３０と画像領域３１では、画像領域３１の方が多くの画素により構成されている。このため、指定された画像領域３０のサイズに応じて、最適なＬａｙｅｒを選択し、かかるＬａｙｅｒにある一の単位画像から選択領域４２を抽出することにより、高画質な拡大画像を生成することができる。上述した例においても、Ｌａｙｅｒ２に基づいて拡大処理を実行することにより、Ｌａｙｅｒ１に基づいて拡大処理を実行する場合と比較して、ディジタルズームに依存せずにより高画質の拡大画像が生成されることになる。
【００６１】
ちなみに、Ｌａｙｅｒ数を増やすことにより、隣接するＬａｙｅｒの倍率差を小さくすることができるため、ユーザにより指定される画像領域に対して、より適切な単位画像を選択することができ、拡大画像の鮮明度をさらに向上させることができる。
【００６２】
また本発明では、同一の撮影範囲を異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像して画像信号を生成し、生成した画像信号に基づき、全体画像或いは単位画像を、撮影画角毎に階層化してサーバ５３へ予め記録しておく。そして全体画像において指定された画像領域に応じてサーバ５３から最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを表示する。
【００６３】
このため、本発明では、全体画像表示部７０において、Ｌａｙｅｒ１を構成する１枚の拡大画像を表示すれば足り、また拡大画像表示部７１に表示される拡大画像は、あくまで一枚の単位画像を拡大、縮小して生成されるため、単位画像を互いに貼り合わせてパノラマ状の拡大画像を合成する必要はなくなる。従って、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることなく、拡大画像の鮮明度をさらに向上させることができる。またシームレスな拡大画像を生成するための煩雑な処理を省略することも可能となり、さらに、パノラマ画像全体を合成するために必要となるメモリを他の用途に有効活用することができるため、コストパフォーマンスに優れたアプリケーションを提供することも可能となる。
【００６４】
また、本発明では、ユーザから所望の画像領域が指定された場合に、既に記録してある単位画像を拡大すれば足りるため拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００６５】
なお、本発明では、最も近い撮影倍率のＬａｙｅｒを選択する場合に限定されるものではなく、他のいかなる方法でＬａｙｅｒを選択してもよい。
【００６６】
本発明に係る撮像システム１では、端末装置９のユーザに対して拡大画像を提供することができる。即ち、本発明を適用した撮像システム１では、電子機器１００を操作するユーザに加えて、ネットワーク８に接続されている端末装置９を操作するユーザに対しても、適切な単位画像を選択し、これを送信することができる。また、ネットワーク８に対して複数の端末装置９を接続することにより、複数のユーザに対して同時に各単位画像を送信することも可能となる。
【００６７】
次に、この表示画面４５における拡大画像表示部７１において、ユーザにより指定された画像位置へ拡大画像をシフトさせて表示する場合につき説明をする。
【００６８】
ユーザによる画像位置の指定前に、カメラユニット２並びに電子機器１００は、以下に説明する処理を実行する。
【００６９】
カメラユニット２は、互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する。図１１に示すように、一画枠毎に撮像する単位画像１０１に加えて、水平方向に半画枠分シフトさせた単位画像１０２、垂直方向に半画枠分シフトさせた単位画像１０３、水平−垂直方向にそれぞれ半画枠分シフトさせた単位画像１０４をさらに撮像する。すなわち、カメラユニット２は、互いに撮影方向の異なる４種類の単位画像１０１，１０２，１０３，１０４を順次撮像する。
【００７０】
サーバ５３は、各単位画像１０１，１０２，１０３，１０４につき、隣接する他の単位画像と互いに連関させてこれを記録する。全体画像表示部７０には、サーバ５３に記録されている単位画像１０１等を合成した全体画像、又は撮影画角ｕ１により撮影した全体画像が表示される。拡大画像表示部７１には、このサーバ５３に記録されている一の単位画像が拡大されて表示される。
【００７１】
この拡大画像表示部７１に単位画像１０４が表示されている場合において、拡大画像表示部７１に表示されている画像は、図１２に示すように、隣接する他の単位画像１０１、１０２、１０３と一部重複した内容となる。ユーザは、この拡大画像表示部７１に表示されている単位画像１０４に基づく拡大画像につき、マウス６０等を用いて所望の画像位置を指定することができる。
【００７２】
図１３は、かかるユーザによる指定操作を受けて拡大画像を表示するまでの手順を示している。
【００７３】
先ずステップＳ４１において、ユーザから拡大画像表示部７１に示される単位画像１０４のうち所望の画像位置が指定された場合にはステップＳ４２へ移行し、ＣＰＵ５６は、拡大画像をシフトさせて表示する必要性につき判断する。このときＣＰＵ５６は、指定された画像位置に対して、最短の画像中心を有する単位画像が、現在拡大画像表示部７１に表示されている単位画像１０４であるか否かにつき先ず判断する。
【００７４】
図１４に示すように、水平方向の長さがｓであり、垂直方向の長さがｔである拡大画像表示部７１において、指定された画像位置に対して、単位画像１０４の画像中心が最短となる領域は、斜線で示される水平方向の長さがｓ／２であり、垂直の長さｔ／２である領域である。この領域の境界を以下、仮想境界という。
【００７５】
すなわち、指定された画像位置が仮想境界内である場合には、単位画像１０４の画像中心が最短となるため、拡大画像をシフトする必要はないものと判別する。一方、指定された画像位置が仮想境界の外側である場合には、隣接する他の単位画像の画像中心が最短となることを示唆しており、さらにステップＳ４３へ移行する。
【００７６】
ステップＳ４３において、ＣＰＵ５６は、指定された画像位置につき、最短の画像中心を有する単位画像を選択する。このとき図１４に示すように、指定された画像位置が領域Ａ、Ｃ、Ｆ、Ｈに含まれる場合には、それぞれ左上、右上、左下、右下に隣接する単位画像１０１の画像中心が最短となるため、これを選択する。また指定された画像位置が領域Ｂ、Ｇに含まれる場合には、それぞれ上、下に隣接する単位画像１０２の画像中心が最短となるため、これを選択する。さらに指定された画像位置が、領域Ｄ、Ｅに含まれる場合には、それぞれ左、右に隣接する単位画像１０３の画像中心が最短となるため、これを選択する。ＣＰＵ５６により選択された単位画像は、サーバ５３から読み出されて拡大画像として拡大画像表示部７１へ表示されることになる。ちなみに、これらの隣接する各単位画像１０１，１０２，１０３は、上述の如く、単位画像１０４に互いに連関されてサーバ５３に記録されているため、ＣＰＵ５６は、かかる隣接する各単位画像１０１，１０２，１０３を容易に参照し、また読み出すことができる。
【００７７】
このように本発明では、指定された画像位置に応じて、拡大画像表示部７１に表示されている単位画像と互いに重複画像領域を形成する他の単位画像のうち最適なものを選択し、当該選択した他の単位画像を拡大して表示することができる。
【００７８】
これにより、単位画像同士を連結することにより生ずる境界が拡大画像表示部７１において表示されることがなくなり、拡大画像の鮮明度をさらに向上させることができ、さらには単位画像を互いに貼り合わせることにより、シームレスな全体画像を生成するための煩雑な処理を一切省略することができる。
【００７９】
また隣接する単位画像１０１，１０２，１０３，１０４の画像中心の間隔を狭く設定することができるため、拡大画像表示部７０に表示される拡大画像を細かいピッチでシフトさせることができる。
【００８０】
また、ユーザから所望の画像位置が指定された場合に、既に記録してある単位画像を拡大することにより対処することができるため、拡大画像を迅速に提供することができ、その都度カメラ部４を制御して画像を撮像する必要がなくなり、労力の軽減を図ることもできる。
【００８１】
また撮像システム１において、ネットワーク８を介して接続されている端末装置９により、画像位置が指定された場合にも、サーバ５３に記録されている最適な単位画像を選択し、当該選択した単位画像に基づき拡大画像を生成してこれを送信することにより、複数のユーザに対して所望の拡大画像を同時に提供することもできる。
【００８２】
ちなみに上述した例では、指定された画像位置に対して、最短の画像中心を有する単位画像を選択する場合に限定するものではなく、他のいかなる方法で単位画像を選択してもよい。
【００８３】
また、上述した例では、水平、垂直方向に半画枠分シフトさせて隣接する単位画像を撮像する場合について説明をしたが、かかる場合に限定されるものではない。隣接する単位画像間において互いに重複領域が生じるように撮影方向を制御すれば、いかなるものであってもよく、また一の単位画像に隣接する単位画像の数をさらに増加させてもよい。
【００８４】
ちなみに上述の構成からなる撮像システム１は、以下に説明するアプリケーションに対しても適用することができる。
【００８５】
カメラユニット２並びに電子機器１００は、ユーザから要求され得る撮影画角、撮影方向に応じて、上述の如く、全体画像、単位画像を撮像し、これを予めサーバ５３に記録しておく。また電子機器１００は、端末装置９による要求に応じて、サーバ５３から単位画像を読み出して、これを当該端末装置９に対して送信する。
【００８６】
端末装置９を操作する各ユーザは、この端末ディスプレイ１０に表示される全体画像表示部７０を視認して、所望の画像位置を指定し、また、ＷＩＤＥボタン７２、ＺＯＯＭボタン７３を介して、撮影倍率の拡大、縮小、さらには、撮影方向指定部７５を介して撮影方向を指定する。端末装置９はかかるユーザの指定操作に応じて、単位画像送信要求を電子機器１００へ送信する。
【００８７】
電子機器１００は、端末装置９から送信される単位画像送信要求に基づき、サーバ５３に記録されている単位画像を読み出す。例えば、撮影倍率を拡大する旨の要求信号が送信された場合には、撮影画角の大きい単位画像が記録されているＬａｙｅｒから読み出し処理を行い、これを端末装置９へ送信する。また撮影方向を水平方向に変更する旨の要求信号が表示された場合には、かかる水平方向にシフトさせた座標上の単位画像を読み出し、これを端末装置９に送信する。端末装置９に送信された単位画像は、拡大画像表示部７１に表示される。
【００８８】
ユーザは、送信された単位画像を視認した上で、さらに撮影倍率や撮影方向の変更を電子機器１００に対して要求することができる。
【００８９】
すなわち、このアプリケーションでは、ユーザから要求される可能性のある撮影画角、撮影方向毎に、単位画像を予めサーバ５３に記録しておき、ユーザからの要求に応じて、サーバ５３に記録されている最適な単位画像を順次読み出し、これを各端末装置９に送信する。これにより本発明では、端末装置９から送信される単位画像送信要求に基づき、その都度カメラ部４の撮影倍率、撮影方向を変更しなくても、ユーザに対して、あたかも自分自身でカメラ部４を制御している雰囲気を実感させることができる。
【００９０】
なおカメラ部４は、所定の時間間隔で上述した撮像を実行することにより、サーバ５３には、撮像された斬新な画像が順次記録されることになる。このためユーザは、電子機器１００にアクセスすることにより、カメラ部４で撮像された単位画像をリアルタイムに取得することができ、撮影チャンスを逃すこともなくなり、作業効率を向上させることができる。
【００９１】
またカメラ部４は、隣接する単位画像間で互いに重複画像領域が生じるように撮像を実行し、サーバ５３は、かかる重複画像領域が形成される単位画像を互いに連関させて記録するようにしてもよい。これによりユーザは、端末装置９に表示される単位画像につき、所望の撮影方向につき細かいピッチでシフトさせることができ、また拡大画像表示部７１を介してシームレスな拡大画像を視認することができる。
【００９２】
なお、このネットワーク８に対して複数の端末装置９を接続することにより、１台のカメラユニット２を複数のユーザが擬似的に同時制御することができる。ちなみに、複数のユーザが同時に、同一の撮影倍率、撮影方向へ変更することを要求しても、サーバ５３に記録されている単位画像を複数の端末装置９へ送信することで対応することができる。
【００９３】
またサーバ５３において、所定の時間間隔で順次記録される各単位画像を長年にわたり蓄積することにより、各ユーザは、過去に撮影した単位画像を取得することもできる。これにより、本発明に係る撮像システム１では、カメラユニット２を百貨店の商品売り場等に設置しておくことで、過去に生じた盗難事件の捜査等についても適用することが可能となる。
【００９４】
なお本発明は、上述した実施の形態に限定されるものではない。例えば、撮影画角の小さいＬａｙｅｒにおいて撮像する単位画像を減らすことにより、撮影時間を大幅に短縮させてもよい。
【００９５】
単位画像の撮像枚数は、図５に示すように、撮影画角の大きいＬａｙｅｒｎに対して、撮影画角のより小さいＬａｙｅｒｎ＋１、Ｌａｙｅｒｎ＋２へと進むにつれて増えてゆく。即ち、撮影時間の大半は、この撮影画角の小さいＬａｙｅｒｎ＋２における単位画像の撮像に費やされることになる。このため、本発明では、このＬａｙｅｒｎ＋２における単位画像の撮像を必要最小限に抑え込むことにより、撮影時間の短縮化を図る。
【００９６】
即ち、ＣＰＵ５６は、Ｌａｙｅｒｎ＋２における単位画像のうち、何れの単位画像を撮像し、何れの単位画像の撮像をスキップするかにつき決定する。換言すれば、Ｌａｙｅｒｎ＋２における単位画像のうち、撮像すべき必要最小限の単位画像の選択を行う。この単位画像の選択には、被写体の活発な動きを異なる時点で撮像した画像の輝度成分差に基づいて識別し、動き検出された領域を含む単位画像を優先的に選択する方法と、ユーザにより指定された領域を含む単位画像を優先的に選択する方法がある。
【００９７】
先ず、動き検出された領域を含む単位画像を優先的に選択する手順につき、図１５を用いて説明をする。
【００９８】
先ずＳ５１において、カメラ部４は、上述した撮像動作を実行する。このステップＳ５１における撮像動作において、カメラ部４は、いずれかのＬａｙｅｒにおける全体画像を取得できれば足り、撮影画角の異なる幾層にも亘るＬａｙｅｒの全体画像を取得する必要はない。カメラ部４は、この全体画像の取得を所定の時間間隔を置いて実行する。これにより、同一の撮影範囲につき、異なる時点で撮像された複数の全体画像を取得することができる。
【００９９】
次に、ステップＳ５２へ移行し、演算処理部１５は、取得した全体画像を表示画面４５へ表示する。このとき、この表示する全体画像を動画像で表示してもよい。
【０１００】
次にステップＳ５３へ移行し、演算処理部１５は、異なる時点で撮像された複数の全体画像間で輝度成分の差分値を求める。演算処理部１５は、この輝度成分の差分値につき、例えば、新たに取得した全体画像と、その直前に取得した全体画像の２枚を抽出して、各画素毎にこれを求める。これにより、輝度成分の差分値が大きい画像領域については、被写体の動きが活発な領域として、動き検出されることになる。一方、輝度成分の差分値が小さい画像領域については、被写体の動きがない領域として、動き検出されることはない。
【０１０１】
次にステップＳ５４へ移行し、演算処理部１５は、優先的に撮像を実行する撮影領域を判別する。このステップＳ５４において、演算処理部１５は、例えば、予め所定の閾値を設定し、求めた輝度成分の差分値が閾値を超える場合には、動き検出された領域であると判別し、一方、求めた輝度成分の差分値が閾値以下の場合には、被写体の動きがない領域として判別する。
【０１０２】
次にステップＳ５５へ移行し、カメラ部４は、演算処理部１５からの制御に基づいて、撮影画角の大きいＬａｙｅｒｎにおける単位画像を撮像する。このステップＳ５５では、Ｌａｙｅｒｎを構成する全ての単位画像を取得することができるように、撮像を行う。これにより、このＬａｙｅｒｎにおける単位画像を貼り合わせることにより全体画像を構成することができるため、ユーザは、最低でも撮影範囲全体を視認することが可能となる。
【０１０３】
次にステップＳ５６へ移行し、カメラ部４は、Ｌａｙｅｒｎ＋１における単位画像を撮像する。このステップＳ５６において、カメラ部４は、Ｌａｙｅｒｎ＋１を構成する全ての単位画像を取得することができるように撮像を実行してもよいし、ステップＳ５４において動き検出された領域を含む単位画像のみを取得することができるように撮像を実行してもよい。このＬａｙｅｒｎ＋１における単位画像の撮像を終了した後、ステップＳ５７へ移行する。
【０１０４】
ステップＳ５７において、カメラ部４は、Ｌａｙｅｒｎ＋２における単位画像の撮像を実行する。このとき演算処理部１５は、ステップＳ５７において、撮像すべき必要最小限の単位画像を選択する。この単位画像の選択では、上述の動き検出された領域を含む単位画像を優先して行うようにする。
【０１０５】
即ち、このステップＳ５６〜ステップＳ５７において、動き検出された領域を含む単位画像を選択し、これについてのみ撮像を実行することにより、単位画像の撮像枚数を抑えることができる。特に撮影画角が小さい場合には、撮影画角が大きい場合と比較して被写体の動きを捉えることができる割合が減少するため、選択する単位画像の数も極力抑えることができる。換言すれば、撮影画角のより小さいＬａｙｅｒｎ＋１、Ｌａｙｅｒｎ＋２へと進むにつれて撮影枚数を徐々に抑えることができる。このため、撮影画角の小さいＬａｙｅｒｎ＋２における単位画像の撮像枚数を極力抑えることができる結果、撮影時間の短縮化が可能となる。
【０１０６】
また、動き検出された領域は、監視システム１により撮影範囲内を監視するユーザにとって、特に拡大画像表示部７１を介して表示を望む領域でもあるため、撮影画角の小さい単位画像を予め撮像してサーバ５３へ記録する必要性が出てくる。従って、かかる領域を含む単位画像のみＬａｙｅｒｎ＋２における撮像を実行することにより、必要最小限の単位画像を確保しつつ、ユーザが望む高品質な拡大画像を提供することが可能となる。
【０１０７】
例えば、撮影画角の広角なＬａｙｅｒから順に、Ｌａｙｅｒ１、Ｌａｙｅｒ２、Ｌａｙｅｒ３として、それぞれを構成する単位画像数が、順に３、１９０、３４００としたとき、従来では、全て撮影することができるため２時間以上の時間を費やしていた。しかし、本発明を適用した撮像システム１において、Ｌａｙｅｒ３を構成する単位画像数を、例えば１〜数千枚まで削減することにより、撮影時間を５〜２時間まで短縮化することができる。
【０１０８】
なお、上述した手順では、取得した全体画像に基づき、輝度成分の差分値を求める場合につき説明をしたが、かかる場合に限定されるものではなく、例えば各Ｌａｙｅｒにおける単位画像間で輝度成分の差分値を求めるようにしてもよい。
【０１０９】
次に、ユーザにより指定された領域を含む単位画像を優先的に選択する手順につき、図１６を用いて説明をする。
【０１１０】
先ずステップＳ６１において、カメラ部４は、ステップＳ５１と同様の撮像動作を実行する。
【０１１１】
次にステップＳ６２へ移行し、演算処理部１５は、表示画面４５を介して、所望の画像領域の指定を促す。ユーザは、撮影を望む画像領域を操作部１６を用いて指定する。
【０１１２】
次にステップＳ６３へ移行し、演算処理部１５は、ステップＳ６２において指定された画像領域に基づいて、優先的に撮像を実行する撮影領域を判別する。
【０１１３】
次にステップＳ６４へ移行し、カメラ部４は、演算処理部１５からの制御に基づいて、撮影画角の大きいＬａｙｅｒｎにおける単位画像を撮像する。このステップＳ６５では、上述したステップＳ５５と同様に、Ｌａｙｅｒｎを構成する全ての単位画像を取得することができるように、撮像を行う。これにより、このＬａｙｅｒｎにおける単位画像を貼り合わせることにより全体画像を構成することができるため、ユーザは、最低でも撮影範囲全体を視認することが可能となる。
【０１１４】
次にステップＳ６５へ移行し、カメラ部４は、Ｌａｙｅｒｎ＋１における単位画像を撮像する。このステップＳ６５において、カメラ部４は、Ｌａｙｅｒｎ＋１を構成する全ての単位画像を取得することができるように撮像を実行してもよいし、ステップＳ６３において判別した撮影領域を含む単位画像を優先して取得することができるように撮像を実行してもよい。このＬａｙｅｒｎ＋１における単位画像の撮像を終了した後、ステップＳ６６へ移行する。
【０１１５】
ステップＳ６６において、カメラ部４は、Ｌａｙｅｒｎ＋２における単位画像の撮像を実行する。このとき演算処理部１５は、このステップＳ６６において、撮像すべき必要最小限の単位画像を選択する。この単位画像の選択では、ステップＳ６３において判別した撮影領域を含む単位画像を優先して行うようにする。
【０１１６】
即ち、このステップＳ６５〜ステップＳ６６において、ユーザより指定された領域を含む単位画像を選択し、これについてのみ撮像を実行することにより、同様に単位画像の撮像枚数を抑えることができる。
【０１１７】
以上詳細に説明したように、本発明を適用した撮像システム１では、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化してサーバ５３へ記録し、またサーバ５３に記録されている互いに異なる時点で生成された二つの全体画像の輝度成分を比較し、これに基づいて撮影画角の小さいＬａｙｅｒｎ＋１、Ｌａｙｅｒｎ＋２等における単位画像から、撮像する単位画像を選択する。また、本発明を適用した撮像装置及び方法では、撮影画角の小さいＬａｙｅｒｎ＋１、Ｌａｙｅｒｎ＋２等における単位画像から、撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する。
【０１１８】
これにより、本発明を適用した撮像システム１では、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができ、さらには、単位画像の撮像枚数を極力抑えることができる結果、撮影時間の大幅な短縮化が可能となる。
【０１１９】
なお、本発明は、上述した処理をコンピュータに実行させるためのプログラムや、かかるプログラムが記録された記録媒体に適用してもよいことは勿論である。
【０１２０】
【発明の効果】
以上詳細に説明したように、本発明を適用した撮像装置及び方法では、異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成して、これを撮影画角毎に階層化して記録媒体へ記録し、また記録媒体に記録されている互いに異なる時点で生成された二つの全体画像の輝度成分を比較し、これに基づいて撮影画角の小さい単位画像から、撮像する単位画像を選択する。また、本発明を適用した撮像装置及び方法では、さらに撮影画角の小さい単位画像から、撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択する。
【０１２１】
これにより、本発明を適用した撮像装置及び方法では、精細な画質を維持しつつ、複数のユーザが所望の画像領域につき拡大、縮小することができ、さらには、単位画像の撮像枚数を極力抑えることができる結果、撮影時間の大幅な短縮化が可能となる。
【図面の簡単な説明】
【図１】本発明を適用した撮像システムの構成を示す図である。
【図２】カメラユニット，電子機器のブロック構成図である。
【図３】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。
【図４】ディスプレイ上の表示画面の構成例を示す図である。
【図５】同一の撮影範囲につき、異なる２以上の撮影画角でそれぞれ撮影方向を制御することにより撮像を実行する例を示す図である。
【図６】Ｌａｙｅｒの倍率を順に１、２、４、８倍に設定して撮像する例を示す図である。
【図７】各Ｌａｙｅｒにつき、単位画像を撮像する手順を示すフローチャートである。
【図８】ユーザによる指定操作を受けて拡大画像を表示するまでの手順を示すフローチャートである。
【図９】階層化して記録されている各Ｌａｙｅｒから一のＬａｙｅｒを選択する例を示す図である。
【図１０】抽出した選択領域につき拡大処理を実行する例を示す図である。
【図１１】互いに重複領域が生じるように撮影方向を制御することにより撮像を実行する例を示す図である。
【図１２】互いに重複領域が生じるように撮影方向を制御した場合において、拡大画像表示部に表示される拡大画像の例を示す図である。
【図１３】ユーザにより画像位置が指定された場合に、拡大画像を表示するまでの手順を示すフローチャートである。
【図１４】指定された画像位置につき、最短の画像中心を有する単位画像を選択する例につき説明するための図である。
【図１５】動き検出された領域を含む単位画像を優先的に選択する手順を示すフローチャートである。
【図１６】ユーザにより指定された領域を含む単位画像を優先的に選択する手順を示すフローチャートである。
【符号の説明】
１ 撮像システム、２ カメラユニット、３ パンチルタ部、４ カメラ部、６ ディスプレイ、８ ネットワーク、９ ユーザ端末、１０ 端末ディスプレイ、１１ ネットワークサーバ、２１ コントローラバス、２２ レンズ部、２３ レンズ制御部、２４ 撮像部、２５ ＩＥＥＥ１３９４インターフェース、２８ ＧＰＳ受信部、２９ メタデータ生成部、５１ バッファメモリ、５２ エンコーダ、５３ サーバ、５４ 画像圧縮部、５５ グラフィックコントローラ、５６ ＣＰＵ、５８ Ｉ／Ｏポート、５９ キーボード、６０ マウス、６１ メモリカード、６２ 時計、１００ 電子機器
Claims (12)
- 異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成する撮像手段と、
撮像された単位画像を上記撮影画角毎に階層化して記録媒体へ記録する記録手段と、
上記記録媒体に記録されている、互いに異なる時点で生成された２つの全体画像の輝度成分を比較する比較手段とを備え、
上記撮像手段は、上記比較手段により比較された輝度成分に応じて、撮影画角のより小さい単位画像から、撮像する単位画像を選択すること
を特徴とする撮像装置。 - 上記比較手段は、２つの全体画像の輝度成分の差分値を演算し、
上記撮像手段は、上記比較手段により演算された差分値に基づいて、上記撮像する単位画像を選択すること
を特徴とする請求項１記載の撮像装置。 - 上記撮像手段は、上記比較手段により演算された差分値が所定の閾値を超える画像領域を含む単位画像を選択すること
を特徴とする請求項１記載の撮像装置。 - 上記撮像手段は、互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像すること
を特徴とする請求項１記載の撮像装置。 - 異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成する撮像手段と、
撮像された単位画像を上記撮影画角毎に階層化して記録媒体へ記録する記録手段と、
上記全体画像を表示する全体画像表示手段と、
上記全体画像表示手段に表示される全体画像において、ユーザが画像領域を指定するための指定手段とを備え、
上記撮像手段は、撮影画角のより小さい単位画像から、撮像する単位画像として、上記指定手段により指定された画像領域を含む単位画像を選択すること
を特徴とする撮像装置。 - 拡大画像を表示する拡大画像表示手段をさらに備え、
上記制御手段は、上記指定手段により指定された画像領域に応じて、上記記録媒体から単位画像を選択し、当該選択した単位画像に基づき上記拡大画像を生成して、これを表示すること
を特徴とする請求項５記載の撮像装置。 - 異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成し、
撮像した単位画像を上記撮影画角毎に階層化して記録媒体へ記録し、
上記記録媒体に記録されている互いに異なる時点で生成された２つの全体画像の輝度成分を比較し、
比較した輝度成分に応じて、撮影画角のより小さい単位画像から、撮像する単位画像を選択すること
を特徴とする撮像方法。 - ２つの全体画像の輝度成分の差分値を演算し、
演算した差分値に基づいて、上記撮像する単位画像を選択すること
を特徴とする請求項７記載の撮像方法。 - 演算した差分値が所定の閾値を超える画像領域を含む単位画像を選択すること
を特徴とする請求項７記載の撮像方法。 - 互いに重複画像領域が生じるように撮影方向を順次変化させて撮影範囲を撮像すること
を特徴とする請求項７記載の撮像方法。 - 異なる２以上の撮影画角で、撮影方向を順次変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を所定の時間間隔で生成し、
撮像した単位画像を上記撮影画角毎に階層化して記録媒体へ記録し、
上記全体画像を表示し、
上記撮像手段は、撮影画角のより小さい単位画像から、撮像する単位画像として、ユーザにより指定された画像領域を含む単位画像を選択すること
を特徴とする撮像方法。 - 指定された画像領域に応じて、上記記録媒体から単位画像を選択し、当該選択した単位画像を拡大してこれを表示すること
を特徴とする請求項１１記載の撮像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003056242A JP4127080B2 (ja) | 2003-03-03 | 2003-03-03 | 撮像装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003056242A JP4127080B2 (ja) | 2003-03-03 | 2003-03-03 | 撮像装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004266668A true JP2004266668A (ja) | 2004-09-24 |
| JP4127080B2 JP4127080B2 (ja) | 2008-07-30 |
Family
ID=33120020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003056242A Expired - Fee Related JP4127080B2 (ja) | 2003-03-03 | 2003-03-03 | 撮像装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4127080B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015098110A1 (ja) * | 2013-12-27 | 2015-07-02 | パナソニックＩｐマネジメント株式会社 | 撮像装置、撮像システムおよび撮像方法 |
-
2003
- 2003-03-03 JP JP2003056242A patent/JP4127080B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015098110A1 (ja) * | 2013-12-27 | 2015-07-02 | パナソニックＩｐマネジメント株式会社 | 撮像装置、撮像システムおよび撮像方法 |
| US9826146B2 (en) | 2013-12-27 | 2017-11-21 | Panasonic Intellectual Property Management Co., Ltd. | Video capturing apparatus, video capturing system and video capturing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4127080B2 (ja) | 2008-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7459685B2 (en) | Imaging device and method, computer program product on computer-readable medium, and imaging system | |
| US9734680B2 (en) | Monitoring system, monitoring method, computer program, and storage medium | |
| KR101029202B1 (ko) | 파노라마 화상을 이용한 감시 장치 및 감시 방법 | |
| JP2006013923A (ja) | 監視装置 | |
| JP2006333133A (ja) | 撮像装置、撮像方法、プログラム、プログラム記録媒体並びに撮像システム | |
| JP4378636B2 (ja) | 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 | |
| JP4736381B2 (ja) | 撮像装置及び方法、監視システム、プログラム並びに記録媒体 | |
| JP3968665B2 (ja) | 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体 | |
| JP4583717B2 (ja) | 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置 | |
| JP2006238326A (ja) | カメラ装置システムおよび撮影動画像再生方法 | |
| JP3994469B2 (ja) | 撮像装置、表示装置及び記録装置 | |
| JP3841033B2 (ja) | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 | |
| JP2004228711A (ja) | 監視装置及び方法、プログラム並びに監視システム | |
| JP4001233B2 (ja) | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 | |
| JP4172352B2 (ja) | 撮像装置及び方法、撮像システム、プログラム | |
| JP3948050B2 (ja) | 撮像、記憶、処理、表示、再生、伝送装置及び記録媒体 | |
| JP4127080B2 (ja) | 撮像装置及び方法 | |
| JP4211377B2 (ja) | 画像信号処理装置 | |
| JP2004241834A (ja) | 動画像生成装置及び方法、動画像送信システム、プログラム並びに記録媒体 | |
| JP4333255B2 (ja) | 監視装置 | |
| JP2005348449A (ja) | 撮像、表示、記録、再生、伝送装置及び記録媒体 | |
| JP2004194112A (ja) | 画像信号処理装置 | |
| JP2004194114A (ja) | 画像情報提供システム | |
| JP3991816B2 (ja) | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 | |
| JP2003324723A (ja) | モニタリングシステムおよび方法並びにプログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Effective date: 20050714 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
| A977 | Report on retrieval |
Effective date: 20070904 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080505 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |